機械学習における損失関数（Loss）は、モデルの「予測」と「実際の答え」がどれだけずれているかを数値で表したものです。
これは、学習の正否を判断するための“物差し”であり、モデルを改善するための最も基本的な指標といえます。
学習の目的は、この損失をできるだけ小さくすることです。損失が小さいほど、モデルは正解に近い予測をしているといえます。
損失関数の基本的な役割
機械学習モデルはデータを入力し、結果を予測します。
しかし最初の段階では、予測は正解から大きく外れていることがほとんどです。
そこで、損失関数を使って「どの程度間違っているのか」を定量的に測ります。
この数値を最小化するようにモデルの内部パラメータを調整していくことで、少しずつ精度を高めていきます。
つまり損失関数は、モデルが学習の方向性を見失わないよう導く“ナビゲーションの羅針盤”のようなものです。
回帰と分類で異なる損失関数
損失関数にはさまざまな種類があります。タスクの内容によって適切なものを選ぶ必要があります。
回帰問題（数値を予測するタスク）では、代表的なものに次のような損失関数があります。
- 平均二乗誤差（MSE）：予測と実際の差を二乗して平均するもので、大きな誤差を強く罰します。
- 平均絶対誤差（MAE）：差の絶対値を取って平均する方法で、外れ値の影響を受けにくい特徴があります。
- Huber損失：小さい誤差にはMSEのように滑らかに反応し、大きな誤差にはMAEのように扱う折衷型。安定性が高く、外れ値を含むデータでも効果的です。
一方、分類問題（カテゴリを予測するタスク）では、出力を確率として扱うため、確率分布のずれを評価する損失関数が用いられます。
- 二値交差エントロピー：正解が0または1のとき、それぞれの確率の対数を取って誤差を測る方法です。
- 多クラス交差エントロピー：複数のクラスを扱う場合に使われる一般化版で、出力確率が正しいクラスにどれだけ集中しているかを評価します。
- KLダイバージェンス：真の分布と予測分布の差を測る手法で、確率分布そのものを学習するモデル（たとえば生成モデルなど）でよく使われます。
損失を最小化する仕組み
学習では、損失関数の値をできるだけ小さくするように、モデルのパラメータを少しずつ更新していきます。
このとき用いられる代表的な手法が「勾配降下法」です。
損失がどの方向に増減するかを調べ、その“下り坂”の方向にパラメータを動かしていくイメージです。
更新の幅は「学習率」と呼ばれる値で調整します。
学習率が大きすぎると最小点を通り越してしまい、逆に小さすぎると学習がなかなか進みません。
最小化の過程は、山を下るように損失の谷底を探していくプロセスと捉えるとわかりやすいでしょう。
損失関数と評価指標の違い
損失関数と混同されやすいのが「評価指標（メトリクス）」です。
損失関数は学習中にモデルを最適化するための基準であり、学習の過程で直接使われます。
一方、評価指標は学習後にモデルの性能を確認するためのもので、たとえば分類タスクなら「正解率（Accuracy）」や「再現率（Recall）」などがこれにあたります。
損失は微分可能でなければ最適化が難しいため、主に滑らかな関数が選ばれます。
対して、評価指標は必ずしも微分可能である必要がなく、人間が理解しやすい形で性能を比較できるよう設計されています。
損失関数を選ぶときの考え方
損失関数の選択は、モデルの性能や学習の安定性に直結します。
- 数値予測であればMSEやMAEが基本。外れ値が多いデータではMAEやHuber損失が安定します。
- 分類タスクでは交差エントロピーが標準。
- 生成モデルではKLダイバージェンスや対数尤度が効果的です。
- 類似度を学ぶタスク（顔認識やレコメンドなど）では、Hinge LossやTriplet Lossなどの特殊な関数が使われます。
また、実務では「損失関数そのもの」に正則化項を加えて過学習を防ぐことも多く、実際の目的関数は「損失＋正則化」で構成されるケースが一般的です。
微分可能性と最適化の関係
損失関数は、基本的に微分可能（またはほとんどの点で微分可能）であることが望まれます。
勾配降下法を用いるには、損失の変化の方向を求める必要があるためです。
ただし、絶対値を使うMAEのように一部で微分できない点があっても、サブグラディエントという手法で対処できるため、実務的には問題なく利用されます。
まとめ
損失関数とは、モデルがどれだけ「間違っているか」を数値で表すものであり、学習の進む方向を決める最も重要な要素です。
学習とは、この損失を少しずつ減らしていくプロセスに他なりません。
損失関数をどのように定義するかによって、モデルが重視する特性や挙動も変わります。
正しい損失関数を選び、適切に最小化できれば、モデルはデータの本質を捉え、より高い予測精度へと進化していきます。
損失関数は単なる数式ではなく、モデルの“学習方針”そのものを定義する、機械学習の根幹にある存在なのです。
以上、機械学習のloss(損失関数)についてでした。
最後までお読みいただき、ありがとうございました。
