LLM・VLM・VLAは、いずれも近年の生成AIや基盤モデルに関連する重要な用語です。
それぞれ似た言葉に見えますが、主に「どのような情報を扱うのか」「どこまで処理するのか」という点に違いがあります。
簡単に整理すると、LLMは主に言語を扱うモデル、VLMは視覚情報と言語を組み合わせて扱うモデル、VLAは視覚情報や言語情報をもとに行動まで生成するモデルです。
大まかには、次のように整理できます。
| 種類 | 正式名称 | 主に扱う情報 | 主な役割 |
|---|---|---|---|
| LLM | Large Language Model | 言語・テキスト | 文章生成、要約、翻訳、質問応答など |
| VLM | Vision-Language Model | 視覚情報＋言語 | 画像理解、画像に関する質問応答など |
| VLA | Vision-Language-Action Model | 視覚＋言語＋行動 | ロボットなどの行動生成・予測 |
ただし、現在では複数のモダリティを扱うAIが増えているため、LLM・VLM・VLAの境界は必ずしも明確に分かれているわけではありません。
それぞれの言葉は、モデルが持つ中心的な能力を理解するための分類として捉えるとよいでしょう。
LLMとは
LLMは大規模言語モデル
LLMは「Large Language Model」の略で、日本語では「大規模言語モデル」と呼ばれます。
大量のテキストデータなどを学習し、言語のパターンや文脈をもとに文章を生成したり、質問に回答したりするAIモデルです。
代表的な用途としては、次のようなものがあります。
- 質問への回答
- 文章作成
- 要約
- 翻訳
- 情報整理
- プログラムコードの生成
- アイデア出し
- 文書分類
- 情報抽出
LLMは、生成AIサービスの中核技術として広く利用されています。
LLMは言語処理を中心とする
LLMの中心的な役割は、言語情報を処理することです。
文章はそのまま処理されるのではなく、一般的には「トークン」と呼ばれる単位に分割され、数値表現へ変換されたうえでモデルに入力されます。
多くの生成型LLMでは、入力された文脈をもとに次に続くトークンを予測し、その処理を繰り返すことで文章を生成します。
そのため、自然な会話だけでなく、要約や翻訳、プログラミングなど幅広い言語タスクに対応できます。
LLMは必ずしもテキストしか扱えないわけではない
LLMという言葉自体は言語モデルを指しますが、現在のAIシステムには画像や音声などを扱える機能を統合したものもあります。
そのため、「LLMはテキストしか扱えない」と断定するのは適切ではありません。
より正確には、
LLMは言語処理を中心とする大規模モデル
と捉えるのがよいでしょう。
VLMとは
VLMは視覚情報と言語を組み合わせるモデル
VLMは「Vision-Language Model」の略で、日本語では「視覚言語モデル」などと呼ばれます。
VLMの特徴は、画像などの視覚情報と言語情報を関連付けながら処理できることです。
たとえば、写真を入力して、
「この画像には何が写っていますか」
と質問すると、その内容を文章で説明できます。
VLMは画像認識だけを行うモデルではない
VLMは単なる画像認識モデルとは異なります。
従来の画像認識AIでも、画像に写っている対象物を分類することは可能でした。
一方、VLMでは画像と言語を組み合わせることで、より柔軟な処理ができます。
例えば、
- 画像の内容を文章で説明する
- 画像について質問する
- 図表を読み取る
- 画像内の文字を理解する
- 複数の物体の関係を説明する
- 画像から必要な情報を抽出する
といった処理が可能です。
つまり、VLMは「見るAI」というよりも、
視覚情報と言語情報を統合して処理するAI
と表現するほうが正確です。
VLMで扱われる視覚情報は静止画像だけとは限らない
VLMの「Vision」は、必ずしも1枚の画像だけを意味するわけではありません。
モデルや研究分野によっては、
- 静止画像
- 複数画像
- 動画フレーム
- 文書画像
- 図表
などを扱う場合があります。
そのため、VLMは「画像＋テキストモデル」というより、
視覚情報＋言語を扱うモデル
と理解するとよいでしょう。
VLAとは
VLAは視覚・言語情報から行動を生成するモデル
VLAは「Vision-Language-Action Model」の略です。
視覚情報と言語情報を処理するだけでなく、その結果をもとに「行動」まで生成または予測するモデルを指します。
特にロボティクスの分野で注目されています。
例えば、ロボットに、
「机の上にある赤いコップを取ってください」
と指示した場合を考えてみましょう。
VLAでは、
- カメラ映像から机やコップを認識する
- 「赤いコップ」という言語指示を解釈する
- 対象物の位置を判断する
- 必要なロボットの動作を生成する
- ロボットアームなどを動かす
といった処理につなげます。
VLAはVLMを行動まで拡張したものと考えるとわかりやすい
入門的には、
VLM＋Action＝VLA
と考えると理解しやすいでしょう。
VLMが視覚情報と言語情報を処理するのに対し、VLAではさらに、その処理結果をロボットの動作などへ結び付けます。
ただし、すべてのVLAが既存のVLMに機能を追加して作られているわけではありません。
より正確には、
VLAは視覚情報と言語情報をもとに、行動を生成・予測するモデルの総称
と考えるのが適切です。
LLM・VLM・VLAの違い
LLMとVLMの違い
LLMとVLMの大きな違いは、視覚情報をモデルの処理対象として扱うかどうかです。
LLMでは、基本的に言語情報を中心に処理します。
例えば、
「写真には猫が写っています」
という文章が入力されれば、その情報をもとに回答できます。
一方、VLMでは写真そのものを入力し、
「この動物は何ですか」
と質問できます。
したがって、概念的には、
LLMは言語を中心に処理する
VLMは視覚情報と言語を統合して処理する
という違いがあります。
VLMとVLAの違い
VLMとVLAの最大の違いは、処理結果を「行動」へつなげるかどうかです。
例えば、テーブルの上にリンゴがある場合を考えてみましょう。
VLMに、
「赤いリンゴはどこにありますか」
と質問すると、
「テーブルの右側にあります」
などと回答できます。
一方、VLAに、
「赤いリンゴを取ってください」
と指示すると、対象物を認識したうえで、ロボットの動作を生成する必要があります。
つまり、
VLM＝視覚と言語を処理する
VLA＝視覚と言語を処理し、さらに行動を生成する
という違いがあります。
LLM・VLM・VLAの関係
扱える情報や能力の範囲が異なる
LLM・VLM・VLAは、次のように整理すると理解しやすくなります。
LLM
→ 言語を中心に扱う
VLM
→ 視覚情報と言語を扱う
VLA
→ 視覚情報と言語を扱い、行動まで生成する
ただし、これはあくまでも概念を理解するための整理です。
実際のAI技術の歴史が、
LLM
↓
VLM
↓
VLA
という順番で単純に進化したわけではありません。
言語モデル、コンピュータビジョン、ロボティクスは、それぞれ独立した研究分野として発展してきました。
基盤モデルはマルチモーダル化している
現在のAIでは、複数の種類の情報を扱う「マルチモーダルAI」が増えています。
例えば、
- テキスト
- 画像
- 音声
- 動画
- センサー情報
などを同じシステム内で扱えるモデルがあります。
そのため、LLM・VLM・VLAを完全に独立したカテゴリーとして考えるよりも、
モデルがどの種類の情報を扱い、どこまで出力できるのか
という観点で区別するほうが実態に近いといえます。
LLM・VLM・VLAの学習データの違い
LLMの学習データ
LLMでは、さまざまなテキストデータが利用される場合があります。
例えば、
- Web上の文章
- 書籍
- 論文
- プログラムコード
- 会話データ
- 各種文書
などです。
ただし、実際にどのようなデータを利用しているかはモデルによって異なり、詳細が公開されていない場合もあります。
VLMの学習データ
VLMでは、視覚情報とテキストの対応関係を学習するためのデータが重要になります。
例えば、
- 画像とキャプション
- 画像と質問・回答
- Webページ内の画像と文章
- 文書画像とテキスト
- 動画と字幕
などです。
こうしたデータから、視覚情報と文章の関係を学習します。
VLAの学習データ
VLAでは、さらに行動に関するデータが重要になります。
例えば、
- カメラ画像
- 言語による指示
- ロボットの関節の動き
- グリッパーの開閉
- ロボットの移動
- 操作結果
などのデータです。
つまり、VLAでは、
知覚情報＋言語＋行動
の対応関係を学習する必要があります。
VLAの「Action」とは何か
ロボットが実行できる動作を表す
VLAにおけるActionは、単なる文章による命令ではありません。
ロボットであれば、
- 腕を前に動かす
- 関節を回転させる
- グリッパーを開く
- 対象物をつかむ
- 物体を持ち上げる
- ロボット本体を移動させる
といった具体的な動作が含まれます。
アクショントークンを利用する場合もある
一部のVLAでは、ロボットの行動を数値や離散的なトークンとして表現します。
例えば、
- X方向へ移動
- Y方向へ移動
- 回転
- グリッパーを開く
- グリッパーを閉じる
といった動作をモデルが扱いやすい形に変換します。
このような表現は「アクショントークン」などと呼ばれることがあります。
ただし、すべてのVLAが同じ方式を採用しているわけではありません。
VLM・VLAとマルチモーダルAIの違い
マルチモーダルAIはより広い概念
マルチモーダルAIとは、複数種類のデータを扱えるAIを意味します。
モダリティには、例えば次のようなものがあります。
- テキスト
- 画像
- 音声
- 動画
- センサー情報
VLMは、視覚情報と言語という複数のモダリティを扱うため、マルチモーダルモデルの一種と考えられます。
VLAも同様に、複数の種類の情報に加えて行動まで扱うため、広い意味ではマルチモーダルなモデルといえます。
VLAとAIエージェントの違い
VLAはモデル、AIエージェントはシステムとして考えるとわかりやすい
VLAと混同されやすい言葉に「AIエージェント」があります。
AIエージェントは、目的を達成するために情報収集や判断を行い、必要に応じてツールなどを利用してタスクを実行するシステムです。
例えば、
「競合企業について調べてレポートを作成してください」
という指示に対して、
情報検索
↓
情報整理
↓
分析
↓
レポート作成
まで行う仕組みがAIエージェントです。
一方、VLAは主に、
視覚・言語情報から行動を生成するモデル
を指します。
したがって、
AIエージェント
→ 自律的にタスクを実行するシステムの概念
VLA
→ 視覚・言語情報から行動を生成するモデルの概念
と整理すると分かりやすいでしょう。
VLAを搭載したロボットが、AIエージェントとして動作するケースも考えられます。
LLM・VLM・VLAを具体例で比較
LLMの場合
テーブルの上にバナナがある状況について、文章で、
「テーブルの上にバナナがあります。黄色い果物は何ですか」
と入力します。
LLMは文章に含まれる情報をもとに、
「バナナです」
と回答できます。
VLMの場合
テーブルの写真を直接入力して、
「黄色い果物は何ですか」
と質問します。
VLMは画像を処理し、
「バナナです」
と回答できます。
VLAの場合
ロボットのカメラにテーブルが映っている状態で、
「バナナを取ってください」
と指示します。
VLAでは、
バナナを認識する
↓
位置を判断する
↓
ロボットアームの動作を生成する
↓
バナナをつかむ
という行動につなげます。
このように比較すると、それぞれの違いが明確になります。
LLM・VLM・VLAそれぞれの課題
LLMの課題
LLMには、事実と異なる内容をもっともらしく生成してしまう「ハルシネーション」の問題があります。
そのため、重要な情報を扱う場合には、外部データベースや検索、RAGなどを組み合わせて回答をグラウンディングする方法が利用されています。
ただし、こうした仕組みを利用しても誤回答を完全になくせるわけではありません。
VLMの課題
VLMでは、画像の細かな内容を誤認する場合があります。
例えば、
- 小さな物体
- 複雑な図表
- 細かい文字
- 物体の個数
- 微妙な位置関係
などでは、誤った回答を生成する可能性があります。
そのため、「画像を入力できる＝画像を完全に理解できる」というわけではありません。
VLAの課題
VLAでは、AIの判断が物理的な行動につながるため、安全性が特に重要です。
例えば、対象物を誤認識すると、
ロボットが別の物体をつかむ
↓
周囲の物体に接触する
↓
人や設備に危険が及ぶ
といった可能性があります。
そのため、VLAを利用するロボットシステムでは、
- 安全制御
- 衝突回避
- センサー
- フェイルセーフ
- 人間による監視
などを含めた総合的な安全設計が必要になります。
LLM・VLM・VLAの違いを一言で整理
LLM・VLM・VLAの違いをシンプルに表すと、次のようになります。
LLM
言語を中心に処理するモデル。
VLM
視覚情報と言語を組み合わせて処理するモデル。
VLA
視覚情報と言語を処理し、その結果を行動につなげるモデル。
入門的には、
LLM＝言葉を扱うAI
VLM＝見て、言葉を扱うAI
VLA＝見て、言葉を扱い、行動するAI
と覚えると理解しやすいでしょう。
ただし、現在のAIはマルチモーダル化が進んでいるため、これらは完全に分離されたカテゴリーではありません。
重要なのは、モデル名だけで判断するのではなく、
「どのような情報を入力できるのか」「どのような出力や行動が可能なのか」
という観点から、それぞれのAIを理解することです。
以上、LLM・VLM・VLAの違いについてでした。
最後までお読みいただき、ありがとうございました。
