Unityはもともとゲームエンジンですが、現在では強化学習や模倣学習のための高度なシミュレーション環境としても広く利用されています。
その中心となるのが公式ツールキットである Unity ML-Agents です。
ML-Agentsを用いることで、次のような複雑なAI行動を学習できます。
- 迷路探索や経路最適化
- 障害物回避・ターゲット追跡
- 自律移動ロボットの挙動
- 物理シミュレーションに基づくキャラクター行動
- サッカー・カーレースなどのマルチエージェントタスク
- 人間の動きを再現するモーション模倣
Unityの3D物理環境は現実世界の挙動に近く、研究用途としても活発に利用されています。
ML-Agentsの構造
Unityでの機械学習は、次の4つの要素で構成されています。
エージェント（Agent）
学習の対象となるキャラクターやロボット。
エージェントは以下の情報を扱います。
- 観測：環境から取得する情報（位置・速度・距離など）
- 行動：エージェントがとるアクション（移動・回転・選択など）
- 報酬：望ましい行動に対するプラス、望ましくない行動に対するマイナス
これらをどのように設計するかが、学習成功の鍵になります。
環境（Environment）
エージェントが動くUnityのシーン全体。
物理挙動、障害物、ターゲット、ギミックなど、AIが学習する「世界」です。
Unityは強力な物理エンジンと柔軟なシーン設計が可能なため、高度なシミュレーションタスクに適しています。
ポリシー（Behavior / モデル）
エージェントが学習によって獲得する「行動戦略」。
ニューラルネットワークのモデルとして .onnx 形式で保存されます。
以前は「Brain」と呼ばれていましたが、現在は廃止され、Behavior Parameters によってポリシーがエージェントに紐づく仕組みになっています。
Pythonトレーナー（学習アルゴリズム）
学習そのものは Unity 内では行われず、Python 側のトレーナーが担当します。
利用される主なアルゴリズムは以下の通りです。
- PPO（Proximal Policy Optimization）
- SAC（Soft Actor-Critic）
- BC（Behavior Cloning：模倣学習）
Pythonトレーナーは Unity 環境と双方向に通信しながら、エージェントに試行錯誤を繰り返させ、最適な行動方針を学習します。
代表的な学習方式
強化学習（Reinforcement Learning）
エージェントが試行錯誤を繰り返し、報酬の合計を最大化する行動方針を獲得する方式。
例
- ゴールへ向かう → 報酬
- 障害物に衝突 → 減点
- ターゲットに近づく → 報酬
複雑な行動制御が必要なシミュレーションに向いています。
模倣学習（Imitation Learning）
人間やデモデータの行動を真似ることで学習する方式。
プレイヤーの操作履歴や、事前に用意した動作データを元に学習します。
試行錯誤が難しいタスクでも安定して結果を出しやすい特徴があります。
カリキュラム学習（Curriculum Learning）
簡単なタスク → 中程度 → 難しいタスクというように段階的に難易度を上げる学習方式。
最初から難しい環境を与えるよりも、学習が安定し、高い成功率が得られます。
ML-Agentsの学習フロー
エージェントの準備
- 観測に利用する情報を明確化する
- 行動（連続アクションか離散アクションか）を決定する
- 望ましい行動に対する報酬を整理する
環境（Unityシーン）の構築
- エージェントが動く地形や障害物を配置
- ターゲットやゴール位置を決定
- シミュレーション速度を調整して高速化が可能
報酬設計
報酬の設計は最重要ポイントです。
正しく設計すると高速に学習が進み、誤ると不自然な行動を学習してしまうこともあります。
Pythonで学習を実行
YAML設定ファイルを基に、Pythonトレーナーを起動して学習を開始します。
Unity Editor またはビルド済み環境と連携し、試行錯誤が大量に行われます。
学習済モデルのUnityへの反映
学習が完了すると .onnx のモデルが生成されます。
これを Unity に読み込むことで、実行時には「推論のみ」で高速に動くAIになります。
Unityが機械学習に適している理由
- 高精度な物理エンジンによるリアルなシミュレーション
- 3D/2D環境を自由に構築可能
- 描画を省略した高速シミュレーションにより学習時間を短縮
- 学習済モデルをそのままUnityアプリへ統合できる
研究用途、プロトタイピング、ゲームAIの高度化など、幅広く利用できます。
以上、Unityで行う機械学習についてでした。
最後までお読みいただき、ありがとうございました。
