← 情報理論 一覧

🎓 第7章：機械学習・統計との接続

第7章 機械学習・統計との接続

情報理論は通信のための理論として生まれましたが、その言葉（エントロピー・KL・相互情報量）は機械学習と統計の至るところに現れます。この章は橋渡しです。分類器のクロスエントロピー損失は KL 最小化＝最尤推定そのもの、AIC・MDL は「データを最短で記述する」という符号化の発想でモデルを選び、決定木の情報利得は相互情報量、変分推論の ELBO は KL を裏に隠した下界。ここでは情報理論側の核心だけを示し、応用の本体（損失関数の最適化・モデルの実装）は機械学習・統計の各分野へ wikilink で渡します。

トピック一覧

1. クロスエントロピーと最尤 — 標準
2. 情報量規準_AICとMDL — 標準
3. 特徴選択と情報利得 — 標準
4. 変分推論とELBO — 発展

この章の要点

• クロスエントロピー損失＝最尤＝KL 最小化：分類器の学習は経験分布と模型の KL を縮める（KLダイバージェンス）。
• AIC・MDL：モデル選択を「記述長の最小化」（符号化）として定式化。複雑さに罰則。
• 情報利得＝相互情報量 $I(\text{特徴};\text{ラベル})$。決定木の分割基準（相互情報量）。
• ELBO $=\log p(x)-D(q\,\|\,p(z\mid x))$。最大化は KL 最小化、証拠の下界。

関連章

• 第2章 相互情報量とKL — この章の道具すべての源
• 機械学習：損失関数・決定木・変分オートエンコーダの実装
• 統計：最尤・モデル選択・ベイズ

上位ハブ

• 情報理論 全体目次