機械学習モデルを評価する際、最も重要なのは「何を成功とみなすのか」を明確にすることです。
適切な評価指標を選ばなければ、モデルが高い数値を出しても実際にはビジネス価値を生まないことがあります。
ここでは、分類・回帰・クラスタリング・生成タスクそれぞれにおける評価指標の選び方と実務での使い分けを詳しく解説します。
目次
評価指標選定の基本方針
モデルの性能を測る前に、次の3つの観点を明確にしましょう。
目的（ビジネス上の最適化対象）
- 何を最も重視すべきかを定義します。
例：- スパム検知 → 誤判定を避けたい → Precision重視
- 医療診断 → 見逃しを防ぎたい → Recall重視
- 広告配信 → ROI最適化 → 利益ベースの指標（後述）
データのバランス
- クラス不均衡（例：陽性1%、陰性99%）がある場合、Accuracy（正解率）はほぼ意味を失います。
→ F1スコアやPR-AUC（Precision-Recall AUC）など、偏りに強い指標を用いることが基本です。
誤りのコスト構造
- False Positive（誤検知）とFalse Negative（見逃し）ではコストが異なる。
例：- 不正検知 → 見逃しが致命的 → Recall重視
- 顧客ターゲティング → 誤配信が高コスト → Precision重視
タスク別の評価指標
二値・多クラス分類（Classification）
| 指標 | 意味 | 適用場面 |
|---|---|---|
| Accuracy | 全体の正解率 | クラスが均衡している場合にのみ有効 |
| Precision（適合率） | 予測で陽性としたうちの真の陽性割合 | 誤検知を避けたい（例：広告配信、スパム検知） |
| Recall（再現率） | 実際の陽性をどれだけ拾えたか | 見逃しを防ぎたい（例：病気検出、不正検知） |
| F1スコア | PrecisionとRecallの調和平均 | 全体バランス重視の分類 |
| ROC-AUC | しきい値全域での分類性能 | クラスバランスがある程度保たれている場合 |
| PR-AUC | PrecisionとRecallの関係を評価 | 強い不均衡データで有効 |
| Macro-F1 / Weighted-F1 | クラスごとに重み付け | 多クラス分類（不均衡対応） |
| Balanced Accuracy | クラスごとに同等重み | 不均衡が中程度の分類問題に適する |
実務例
- 医療検査：Recall優先（見逃し回避）＋F1でバランス確認
- メールスパム検知：Precision優先（誤検知防止）
- マルチクラス画像分類：Macro-F1（クラスごとに平等評価）
- 不正検知：PR-AUC＋F1で包括評価
回帰（Regression）
| 指標 | 内容 | 特徴 |
|---|---|---|
| MAE（平均絶対誤差） | 平均的な誤差幅 | 外れ値に強く解釈が直感的 |
| MSE / RMSE | 誤差の二乗平均 | 大きな誤差をより強く罰する |
| R²スコア（決定係数） | モデルが分散をどれだけ説明できるか | データ内での比較には有効だが、他データとの比較は不適 |
| MAPE / SMAPE | 実測値に対する割合誤差 | 0付近で不安定なためSMAPE推奨 |
| RMSLE | 対数変換後のRMSE | 売上・アクセス数など右裾分布に有効 |
| MASE | ナイーブモデルとの比較誤差 | 時系列予測のベースライン比較に便利 |
| Pinball Loss | 分位予測誤差 | 需要予測など非対称リスクに有効 |
実務例
- 住宅価格予測 → RMSE（高誤差を厳しく評価）
- 売上予測 → SMAPE（相対誤差を安定評価）
- 在庫需要予測 → Pinball Loss（欠品リスクを考慮）
クラスタリング（Clustering）
教師なし学習では正解ラベルがないため、内部評価指標か、既知ラベルとの外部評価を行います。
| 指標 | 内容 | 補足 |
|---|---|---|
| Silhouette Score | クラスタ内凝集と分離度のバランス | 1に近いほど良好。高次元では注意。 |
| Davies-Bouldin Index | クラスタ分離度 | 値が小さいほど良好。 |
| ARI（Adjusted Rand Index） | 真のラベルとの一致度 | ランダム一致補正あり。外部評価向き。 |
| NMI（Normalized Mutual Information） | 情報理論的な一致度 | ラベル構造の類似度を測る。 |
生成・翻訳・要約タスク（NLP）
| 指標 | 目的 | 特徴 |
|---|---|---|
| BLEU / ROUGE / METEOR | n-gram一致率 | 翻訳・要約の定番指標 |
| BERTScore | 埋め込み空間での意味類似度 | 意味的な一貫性を重視 |
| COMET / BLEURT | 大規模LLMベース評価 | 人間評価との相関が高い最新手法 |
推薦・ランキングタスク
| 指標 | 内容 | 適用場面 |
|---|---|---|
| Precision@K / Recall@K | 上位K件の精度・網羅率 | 推薦結果の品質評価 |
| MAP（Mean Average Precision） | 順位付きの総合精度 | 検索ランキング全体評価 |
| NDCG（Normalized Discounted Cumulative Gain） | 順位重み付きの関連度 | 段階的関連度を扱う場合に最適 |
不均衡データへの対応と注意点
極端な不均衡（例：陽性1%）では、Accuracyは実質無意味です。
この場合は次を優先します。
- PR-AUC：PrecisionとRecallを包括的に評価
- F1スコア：単一点での総合バランス
- リサンプリング手法：SMOTE・Class Weight調整などで補正
モデルのしきい値設定と利益最適化
分類モデルは「確率 → 判定」に変換するしきい値を決める必要があります。
固定値（0.5）ではなく、Precision–Recall曲線や利益曲線（Profit Curve）で最適なしきい値を探索します。
また、混同行列を可視化して意思決定者と共有すると、現場の理解が進みます。
モデル運用後の評価・監視（MLOps視点）
リリース後のモデルは時間とともに性能が劣化します。
そのため、次のモニタリング指標が必要です。
| 観点 | 指標・方法 |
|---|---|
| 性能劣化検知 | AUC・Recall・Precisionの時系列監視 |
| データドリフト検知 | PSI（Population Stability Index）、KL散逸 |
| キャリブレーション | Brierスコア、ECE（Expected Calibration Error） |
| 公平性検証 | 属性別FNR/FPR差のモニタリング |
| アラート精度維持 | アラート率・PPVの監視（SLA管理） |
まとめ：タスク別おすすめ指標
| タスク | 主指標 | 補助指標 | 備考 |
|---|---|---|---|
| 二値分類 | PR-AUC, F1 | Precision, Recall | 不均衡対応重視 |
| 多クラス分類 | Macro-F1 | Weighted-F1, Balanced Accuracy | クラス間バランス確認 |
| 回帰 | RMSE, SMAPE | MAE, R², RMSLE | 分布と単位に応じて選択 |
| クラスタリング | Silhouette, ARI | NMI | ラベルの有無で選択 |
| 推薦・検索 | NDCG@K | Precision@K, MAP | 順位付き性能重視 |
| 生成・翻訳 | BLEU, BERTScore | COMET, ROUGE | 意味的妥当性を考慮 |
実務的ポイント
- 単一指標に依存しない：主要・補助・運用KPIを明確に区分
- 目的とコストに即した評価：誤検知 vs 見逃しの損益構造を可視化
- 継続的な性能監視：データドリフトとキャリブレーション劣化を早期検知
- ビジネス文脈で解釈可能な指標を優先（例：利益、ROI、SLA達成率など）
以上、機械学習の評価指標の選び方についてでした。
最後までお読みいただき、ありがとうございました。
