Mímisbrunnr知恵の泉

information theory // 情報を測る

情報理論

情報理論は、ひとことで言えば「情報を数で測る」数学です。エントロピー（不確かさ）・相互情報量（依存）・KLダイバージェンス（隔たり）を土台に、どこまで圧縮できるか（情報源符号化）・どこまで誤りなく送れるか（通信路容量）を明らかにします。統計・ML・通信・暗号の背後にいます。

なぜ学ぶのか

  • 多くの分野を貫く。統計の最尤、MLのクロスエントロピー、通信の符号化が一本の糸で繋がります。
  • 限界が分かる。シャノンの符号化定理で「圧縮の限界・通信の限界」を理解できます。
  • KLの意味が腑に落ちる。相対エントロピーが最尤・変分推論の背後にあると分かります。

こんな場面で役立つ

  • MLクロスエントロピー損失・KL・変分推論の土台
  • 統計最尤・フィッシャー情報・AIC/MDL
  • 圧縮ハフマン・算術符号で情報源を符号化
  • 通信通信路容量・誤り訂正符号

ここでは、エントロピー・符号長・通信路容量を実際に計算し、不等式や符号化定理が成り立つかを必ず数値で確かめる方針です（logの底も明示）。エントロピーから相互情報量・符号化・通信路・誤り訂正・連続情報量・ML/統計接続までを体系化しました。クロスエントロピーは機械学習、最尤・モデル選択は統計へ相互リンク。

カリキュラム（全7章）

目次・インデックス

第1章 ── 情報量とエントロピー

第2章 ── 相互情報量とダイバージェンス

第3章 ── 情報源符号化

第4章 ── 通信路と通信路容量

第5章 ── 誤り訂正符号

第6章 ── 連続情報量とレート歪み

第7章 ── 機械学習・統計との接続