← 機械学習テキスト 一覧

🎓 Phase 9 生成モデル（ドメイン目次）

Phase 9 生成モデル 目次

ここまでの教師あり学習は「入力 $x$ から $y$ を当てる」識別モデル（$p(y\mid x)$）でした。生成モデルは一歩進んで、データそのものの分布 $p(x)$ を学び、そこから新しいデータをサンプリングします。画像生成・文章生成・異常検知の土台です。

整理の軸は「尤度をどう扱うか」です。

• 尤度を明示的に最大化：自己回帰モデル（厳密）・オートエンコーダとVAE（下界 ELBO で近似）
• 尤度を陽に書かず、サンプルの質で勝負：敵対的生成ネットワーク（GAN・暗黙的）
• 段階的にノイズを除去して生成：拡散モデル（現在の画像生成の主役）

数理の土台は統計サイトに繋ぎます。VAE の変分下界は欠測データ・EMアルゴリズム（ELBO・Jensen）とベイズ推定・MAP推定、拡散は確率過程（マルコフ連鎖・ポアソン過程）が下敷きです。

• 前提：生成モデルとは（枠組み）・誤差逆伝播法（学習）・表現学習と埋め込み（潜在表現）
• この後の土台：自己回帰生成は大規模言語モデル（LLM）へ繋がります

トピック一覧

1. 生成モデルとは（基礎）— 識別 vs 生成・尤度・サンプリング・手法の地図
2. オートエンコーダとVAE（発展）— 潜在変数・変分下界(ELBO)・再パラメータ化
3. 敵対的生成ネットワーク（発展）— 生成器 vs 識別器・ミニマックス・モード崩壊
4. 自己回帰モデル（標準）— 尤度の連鎖分解・系列生成（PixelRNN・GPT系）
5. 拡散モデル（発展）— 順過程／逆過程・ノイズ除去・スコア（要最新確認）

関連ドメイン

• 深層学習アーキテクチャ 目次（生成に使う部品＝CNN／RNN／Transformer）
• 教師あり学習・分類 目次（生成的分類器＝ナイーブベイズ・判別分析）
• 大規模言語モデル 目次（自己回帰生成の大規模版）
• 統計サイト：確率過程（マルコフ連鎖・ポアソン過程）・欠測データ・EMアルゴリズム・ベイズ推定・MAP推定
• 機械学習テキスト 全体目次