ベイズ最適化（Bayesian Optimization）は、コストの高い関数の最適化を行うための手法です。
機械学習の世界では、モデルの性能を左右する「ハイパーパラメータ」を調整する場面で多く利用されています。
特徴は、少ない試行で最良の結果を導き出す点にあります。
たとえば、ニューラルネットワークの学習率や木構築アルゴリズムの深さを最適化したいとき、グリッドサーチやランダムサーチでは膨大な組み合わせを試す必要があります。
ベイズ最適化はこれに対して、「今までの試行結果から次にどこを試すべきかを推論」し、効率的に最適値へと近づいていくのです。
ベイズ最適化の基本構造
ベイズ最適化は、大きく分けて次の2つの要素で構成されます。
サロゲートモデル（代理モデル）
実際の評価関数を直接扱うのではなく、それを近似する確率モデルを作ります。
これをサロゲートモデルと呼び、よく使われるのがガウス過程（Gaussian Process）です。
このモデルは「これまでに評価した点」をもとに、未評価の点に対しても「どの程度良さそうか」と「どれだけ不確実か」を推定します。
獲得関数（Acquisition Function）
サロゲートモデルから得られる情報を利用し、次にどの点を試すべきかを決める関数です。
有名なものに次のような種類があります。
- Expected Improvement（EI）：現在の最良結果より改善する期待値を評価する
- Probability of Improvement（PI）：改善できる確率を重視する
- Upper Confidence Bound（UCB）：平均値と不確実性のバランスを取る
これらの関数を使って、「期待値が高く、かつ不確実性の大きい領域」を優先的に探索します。
探索の流れ
ベイズ最適化は、以下のような流れで進みます。
- 初期点をいくつかランダムに評価する
まず少数のデータ点を実際に評価し、関数の傾向をつかみます。 - サロゲートモデルを構築する
得られたデータをもとに、ガウス過程などを使って近似モデルを学習します。 - 獲得関数を最大化する
次に試すべき点を、獲得関数の値が最も大きくなる場所として選びます。 - その点を実際に評価する
新しい点を関数に入力し、結果を観測します。 - モデルを更新して再び探索
このサイクルを繰り返すことで、試行回数を抑えながら最適値に近づきます。
この手順を通じて、ベイズ最適化は「探索（未知の領域を探る）」と「活用（良さそうな領域を掘り下げる）」のバランスを自動で調整していきます。
他手法との違い
| 手法 | 特徴 | 試行効率 |
|---|---|---|
| グリッドサーチ | 全組み合わせを網羅的に探索 | 非常に低い |
| ランダムサーチ | 無作為に探索して偏りを減らす | 中程度 |
| ベイズ最適化 | 過去の結果をもとに確率的に次を決める | 非常に高い |
特に、評価に時間がかかるモデル（例：ディープラーニング）や、パラメータの数が少ないが精度を極限まで詰めたいケースで力を発揮します。
実務でよく使われるライブラリ
Optuna
日本発のライブラリで、ハイパーパラメータ最適化の定番。
内部的には「TPE（Tree-structured Parzen Estimator）」という確率モデルを利用しており、ガウス過程よりも高速で高次元の探索に強いという特徴があります。
scikit-optimize（skopt）
Scikit-learnと親和性が高く、ガウス過程をベースとした純粋なベイズ最適化を簡単に実装できます。
シンプルな学習タスクに最適です。
Ax（Meta製）
産業応用や大規模実験設計に向いたフレームワークで、複雑な実験条件の最適化が可能です。
GPyOpt / Spearmint
学術的な文脈で使われてきた代表的ライブラリ。
現在はややメンテナンスが止まっていますが、理論理解には有用です。
ベイズ最適化の強みと限界
強み
- 試行回数を劇的に減らせる
グリッドサーチのように全探索しなくても、短時間で高精度な結果が得られます。 - ノイズのある関数にも強い
ガウス過程は不確実性を扱えるため、評価結果にブレがあっても安定して学習できます。 - 「どこがまだ未確定か」を考慮して探索
確率的な視点で、無駄の少ない探索を行えます。
弱み
- 高次元の探索には向かない
パラメータが20個を超えるようなケースでは、効率が急速に悪化します。 - 離散的な変数を扱うのが難しい
カテゴリ型の変数を含む場合、ガウス過程では工夫が必要です。 - 計算コストがかかる
サロゲートモデル自体の更新にコストが発生します。
これらの弱点を補うため、最近では「高次元ベイズ最適化」や「TPE法」「分割探索」など、より実務的な拡張手法も発展しています。
主な応用分野
機械学習のハイパーパラメータチューニング
XGBoostやLightGBMなどの学習率・木の深さ・正則化項などの自動最適化に多く使われています。
Webマーケティング・広告最適化
広告配信アルゴリズムの閾値、入札単価、キャンペーン設定など、「試行にコストがかかるが成果の改善が重要な領域」で有効です。
実験設計・プロダクト開発
化学反応の条件設定、製造ラインのパラメータ調整、UI最適化など、実験コストの高い分野での応用も盛んです。
AutoML
自動機械学習の分野では、ベイズ最適化に類似する仕組みが多数導入されています。
代表的なシステムの多くが、ハイパーパラメータ探索を「確率モデルベース」で実施しています。
まとめ
ベイズ最適化は、「限られた試行で最良の結果を得る」ための戦略的最適化手法です。
不確実性をうまく活用することで、単なる探索を超えた「学習しながらの探索」が可能になります。
実務では、
- 評価コストが高い問題
- 高精度なチューニングが求められる場面
- 自動化・効率化を進めたいシステム設計
などに特に向いています。
これまでランダムサーチで多くの時間を費やしていた最適化タスクも、ベイズ最適化を導入することで少ない試行でより良い成果を出すことができるでしょう。
以上、機械学習のベイズ最適化についてでした。
最後までお読みいただき、ありがとうございました。
