← ベイズ統計 一覧

🎓 第6章：変分推論

第6章 変分推論

第4章の MCMC は事後からサンプルを取りました。本章の変分推論は、事後を扱いやすい分布 $q$ で近似する最適化問題として解きます。MCMC が「厳密だが遅い」のに対し VI は「速いが近似」——大規模・高次元で活きる、もう一つの計算の柱です。最後に、同じ ELBO が深層生成モデル VAE を動かしていることを見ます。

トピック一覧

1. 変分推論の考え方 — 発展
2. 平均場近似と座標上昇法 — 発展
3. 確率的変分推論と再パラメータ化 — 発展
4. VAEとELBOの共通構造 — 発展

この章の骨格

• ELBO と KL：$\log p(D)=\mathrm{ELBO}(q)+\mathrm{KL}(q\,\|\,\text{事後})$。ELBO 最大化＝KL 最小化（正規化定数 $p(D)$ 不要）。
• 平均場・CAVI：$q=\prod q_i$ に分解し因子を順に最適化。相関を無視するので分散を過小評価。
• 確率的 VI・再パラメータ化：$\theta=m+s\varepsilon$ で低分散の勾配。共役不要・大規模対応・自動微分と好相性。
• VAE：ELBO ＝ 再構成 − KL。エンコーダ＝$q(z\mid x)$、デコーダ＝$p(x\mid z)$。ベイズ VI と同じ数理。

関連章

• 第4章 第4章 MCMC 目次 — サンプリングによる厳密な推論（VI と対比）
• 第1章 事前・尤度・事後・周辺尤度 — 周辺尤度 p(D)＝ELBO が近づく対象
• 第5章 経験ベイズ — 周辺尤度最大化との関係
• 機械学習：オートエンコーダとVAE（VAE の実装）・正則化の理論

上位ハブ

• ベイズ統計テキスト 全体目次