損失関数は、モデルがどれだけ誤っているかを数値的に評価するための仕組みです。
予測と正解の差を定量化し、その値をできるだけ小さくするように学習が進められます。
学習アルゴリズムは、この損失を手がかりにパラメータを更新し、予測の精度を段階的に高めていきます。
損失関数が「学習の方向性を決める羅針盤」のような役割を果たしている、と考えると分かりやすいでしょう。
損失関数の代表的な種類と特徴
回帰タスク向け損失
平均二乗誤差（MSE）
誤差を二乗して評価するため、大きな誤りほど強くペナルティを与えます。
滑らかに変化するため最適化計算との相性がよく、多くの基礎モデルで使われます。
ただし外れ値の影響を受けやすいという性質があります。
平均絶対誤差（MAE）
誤差そのものを絶対値で扱うため、外れ値の影響を受けにくい損失です。
ただし、勾配が一定になるため収束に時間がかかることがあります。
Huber Loss
MSE と MAE の中間的な性質を持ち、誤差が小さいときは滑らかで、大きい誤差には強く反応しすぎないように調整されます。
外れ値が一定数含まれる現実のデータに適したバランスの良い損失です。
分類タスク向け損失
クロスエントロピー損失
分類問題で最もよく用いられる損失です。
モデルが「正しいクラスに対して高い確率を出すように」調整されるため、分類タスクと相性が非常に良い方法です。
ニューラルネットの出力層にある確率計算（例: Softmax）とセットで使われることが多く、学習が安定しやすいという特徴があります。
Focal Loss
クラスに偏りのあるデータ（例：まれなイベントを検出するタスク）のために考案された損失です。
頻繁に現れるクラスよりも、見つけづらいクラスの誤りに重点を置いて学習を進める仕組みを備えています。
物体検出や希少クラス認識で特に効果を発揮します。
距離学習・ランキング向け損失
Contrastive Loss
データ同士の「似ている・似ていない」を学習させるための損失です。
距離が近いべきものは近づくように、離れるべきものは離れるように調整します。
顔認証など、類似度が重要な分野で多用されます。
Triplet Loss
1つのデータを基準に、似ているデータと似ていないデータを比較しながら学習する方法です。
モデルは「基準に似ているデータをより近く」「似ていないデータをより遠く」配置するように調整されます。
高精度な特徴抽出が求められるタスクに向いています。
Hinge Loss（SVM など）
分類境界を「より広い余裕を持って」設定するための損失です。
正しく分類できていても、境界から近すぎる場合はまだ改善の余地があると判断する特徴があり、サポートベクターマシン（SVM）で広く用いられます。
生成モデル向け損失
GAN の損失
生成モデルの代表である GAN では、生成側と識別側が対立するように学習を進めます。
識別器は「本物か偽物かを見分ける力」を高め、生成器は「本物らしく見えるデータを作る力」を高めるというように、互いを競わせることで生成品質を向上させます。
また、学習が安定しない場合には、より勾配が得られやすい変種（例：Non-saturating GAN、WGAN）が使われることも一般的です。
正則化（損失に追加される要素）
損失関数は、モデルの学習が過剰に複雑にならないように「罰」を与える項と組み合わせられることがあります。
主な正則化
- L2 正則化：重みを自然と小さく保ち、過学習を防ぎやすくする
- L1 正則化：不要な重みをゼロにし、特徴を絞り込む効果がある
- Dropout：一部のユニットをランダムに無効化し、モデルの複雑さを抑える
これらは損失関数の一部として扱われることが多く、汎化性能の向上に貢献します。
損失関数の選び方の指針
回帰
- 外れ値が多くない → MSE
- 外れ値が気になる → MAE または Huber Loss
分類
- 基本的にはクロスエントロピー
- クラス不均衡が厳しい場合 → Focal Loss
類似度・特徴学習
- 類似度重視 → Contrastive / Triplet Loss
生成タスク
- GAN → 標準または安定化した損失（WGAN など）
実務でよく意識すべき点
- 損失の値が小さければ良いとは限らない
評価指標と損失の数字は意味が異なるため、混同しないことが大切です。 - 勾配が適切に流れるかを確認する
どの損失を組み合わせるかによって学習の安定性が変わります。 - 正則化との併用が不可欠
損失単体では過学習は防ぎきれません。
まとめ
損失関数は、モデルがどれだけ誤っているかを判断し、学習の方向性を決める中心的な要素です。
タスクの性質やデータの特徴に適した損失関数を選ぶことで、モデルの性能と学習の安定性が大きく変わります。
以上、機械学習の損失関数についてでした。
最後までお読みいただき、ありがとうございました。
