← 情報理論 一覧

🎓 第2章：相互情報量とダイバージェンス

第2章 相互情報量とダイバージェンス

第1章のエントロピーを土台に、ここでは2つの量の関係を測ります。相互情報量 $I(X;Y)$ は「$X$ を知ると $Y$ の不確かさがどれだけ減るか」＝依存の強さ。KLダイバージェンス は2つの分布の隔たりで、相互情報量も通信路容量も最大エントロピーも、すべて KL の特別な形として統一的に見えてきます。さらに、情報は処理で決して増えない（情報不等式とデータ処理不等式）という強力な原理、そして統計の最尤推定を支えるフィッシャー情報との橋（フィッシャー情報との接続）まで進みます。

トピック一覧

1. 相互情報量 — 標準
2. KLダイバージェンス — 標準
3. 情報不等式とデータ処理不等式 — 発展
4. フィッシャー情報との接続 — 発展

この章の要点

• 相互情報量 $I(X;Y)=H(X)+H(Y)-H(X,Y)=D\big(p(x,y)\,\|\,p(x)p(y)\big)\ge 0$。独立なら 0。
• KL $D(p\|q)=\sum p\log\frac{p}{q}\ge 0$（Gibbs）。非対称・距離ではない。交差エントロピー $=H(p)+D(p\|q)$。
• データ処理不等式：$X\to Y\to Z$ なら $I(X;Z)\le I(X;Y)$。後処理で情報は増やせない。
• フィッシャー情報：KL の2次近似 $D(p_\theta\|p_{\theta+\delta})\approx\frac12 \mathcal I(\theta)\delta^2$。最尤・CRLB の土台（統計へ）。

関連章

• 第1章 情報量とエントロピー — エントロピーの差として相互情報量を定義
• 第4章 通信路容量 — 相互情報量の最大化が容量
• 機械学習：KL・クロスエントロピー損失・変分推論の応用
• 統計：最尤・フィッシャー情報・CRLB

上位ハブ

• 情報理論 全体目次