基本構造：LLMは機械学習の中の一形態
まず最も重要な事実として、LLM（Large Language Model）は機械学習の中に含まれるサブカテゴリです。
階層的には次のように整理できます。
- 人工知能（AI）
- 機械学習（Machine Learning）
- 深層学習（Deep Learning）
- Transformer などのモデルアーキテクチャ
- 大規模言語モデル（LLM）
つまり、LLMは独立した技術体系ではなく、機械学習 → 深層学習 → Transformer系アーキテクチャの進化上にある“応用的な巨大モデル”です。
機械学習とは何か
定義
データからパターンを学習し、分類・回帰・推定などのタスクを実行するアルゴリズム群。
機械学習には以下のサブタイプがあります。
- 教師あり学習（分類・回帰）
- 教師なし学習（クラスタリング、次元削減）
- 強化学習
- 半教師あり学習
- 自己教師あり学習
その多くは、特定タスク専用に設計された比較的コンパクトなモデルで構築されます。
例
- 画像分類モデル（ResNetなど）
- 予測モデル（XGBoostなど）
- ラベル分類器（SVMなど）
- 回帰モデル（線形回帰など）
LLMとは何か
定義
大規模テキストデータを用いた自己教師あり学習によって構築され、 自然言語の生成・理解・推論を幅広く扱える深層学習モデル。
主な特徴
- 非常に巨大（数十億～数兆パラメータ）
- 自然言語処理（NLP）に特化
- 汎用性が高く、多様な言語タスクに対応
- 内部で文脈・意味・構文を統合的に扱う
多くのLLMは Transformer アーキテクチャをベースにしていますが、理論上はTransformer以外でもLLMを構築可能です。
ただし実用的には Transformer を中心とする研究が主流です。
学習方法の違い
機械学習
多くは 教師あり学習で訓練されます。
- 入力：特徴量（feature）
- 出力：正解ラベル（target）
- 目的：誤差の最小化（損失関数の最適化）
特徴量設計（feature engineering）が重要です。
LLM
LLMの学習は主に 自己教師あり学習です。
基本タスク
次トークン予測（Language Modeling）
「文脈が与えられたときに次に続く単語を推定する」これを膨大なデータで繰り返すことで、文法・語彙・知識・構造などをモデル内部が自然と獲得します。
追加の学習
- Instruction Tuning（指示可能性の向上）
- RLHF（人間のフィードバックを利用した強化学習）
- SFT（タスク別の追加微調整）
能力の違い
| 項目 | 機械学習 | LLM |
|---|---|---|
| モデル規模 | 小〜中規模 | 超大規模 |
| 目的 | 特定タスク | 複数の言語タスクを統合的に処理 |
| 汎用性 | 低い | 高い |
| 特徴抽出 | 人手または軽量自動 | 膨大なデータから自動獲得 |
| 推論能力 | タスク依存 | 多様な言語推論に対応 |
| 扱うデータ | 画像、数値、カテゴリなど | テキスト（言語）中心 |
機械学習モデルは“個別技能のエキスパート”であり、LLMは“多領域を1モデルで扱う総合型システム”という違いがあります。
アーキテクチャの違い
機械学習でよく使われる手法
- 線形モデル（Linear/Logistic Regression）
- 決定木・ランダムフォレスト
- 勾配ブースティング（XGBoost, LightGBM）
- SVM
- kNN
- MLP（小規模ニューラルネット）
これらは、データ構造が明確な問題に向いています。
LLMのアーキテクチャ
多くは Transformer を基盤にしています。
Transformerの主要技術
- Self-Attention（自己注意）
- Multi-Head Attention（多頭注意）
- Position Encoding（位置情報の保持）
- 大規模パラメータと並列学習技術
Transformerは文脈を長距離的に扱うことが得意で、これがLLMの言語理解能力の基盤です。
用途の違い
機械学習の典型タスク
- 分類（classification）
- 回帰（regression）
- 異常検知
- 時系列予測
- 画像認識
- パターン分類
特定の明確なタスクに最適化されるのが一般的です。
LLMの典型タスク
- 自然言語生成
- 文書要約
- 翻訳
- 質問応答
- 情報抽出
- コード生成
- マルチステップ推論
機械学習モデル複数を統合したような、多用途能力を持つことが大きな特徴です。
本質的な違いのまとめ
機械学習（Machine Learning）
- タスク特化型
- 特徴量設計が必要
- 多様なアルゴリズムが存在
- モデル規模は比較的小さい
LLM（Large Language Model）
- 自然言語処理に特化した超大規模モデル
- 自己教師あり学習が中心
- 文脈理解・推論・生成を統合的に扱う
- Transformerベースが事実上の標準
以上、機械学習とLLMの違いについてでした。
最後までお読みいただき、ありがとうございました。
