← 情報理論 一覧

🗺️ このノートは 情報理論 テキストの最上位ハブ です。

情報理論 全体目次

情報理論は「情報」を数で測る数学。エントロピー（不確かさ）・相互情報量（依存）・KLダイバージェンス（隔たり）を土台に、どこまで圧縮できるか（情報源符号化）・どこまで誤りなく送れるか（通信路容量）を明らかにします。統計の最尤、機械学習のクロスエントロピー、通信の符号化、暗号の安全性 — 多くの分野の背後にいます。

このサイトの位置づけ

• 情報量そのものの理論と符号化が主役：クロスエントロピー損失・変分推論の応用は機械学習へ、最尤・モデル選択は統計へ、通信路の工学はコンピュータネットワークへ、暗号の実務はサイバーセキュリティへ wikilink で繋ぐ

章別目次（全7章・25トピック完結）

第1章 情報量とエントロピー — 第1章 情報量とエントロピー 目次

• 自己情報量とエントロピー ／ 結合・条件付きエントロピーと連鎖則 ／ エントロピーの性質と最大エントロピー ／ 漸近等分割性とAEP

第2章 相互情報量とダイバージェンス — 第2章 相互情報量とダイバージェンス 目次

• 相互情報量 ／ KLダイバージェンス ／ 情報不等式とデータ処理不等式 ／ フィッシャー情報との接続

第3章 情報源符号化 — 第3章 情報源符号化 目次

• 無歪み符号化とKraft不等式 ／ シャノンの情報源符号化定理 ／ ハフマン符号 ／ 算術符号とユニバーサル符号

第4章 通信路と通信路容量 — 第4章 通信路と通信路容量 目次

• 離散無記憶通信路 ／ 通信路容量 ／ シャノンの通信路符号化定理

第5章 誤り訂正符号 — 第5章 誤り訂正符号 目次

• 誤り検出と訂正の基礎 ／ 線形符号とハミング符号 ／ 代表的な符号の概観

第6章 連続情報量とレート歪み — 第6章 連続情報量とレート歪み 目次

• 微分エントロピー ／ ガウス通信路と容量 ／ レート歪み理論入門

第7章 機械学習・統計との接続 — 第7章 機械学習・統計との接続 目次

• クロスエントロピーと最尤 ／ 情報量規準_AICとMDL ／ 特徴選択と情報利得 ／ 変分推論とELBO

関連分野（Mímisbrunnr）

• 機械学習（クロスエントロピー・KL・変分推論・特徴選択）
• 統計（最尤・フィッシャー情報・モデル選択 AIC/MDL）
• コンピュータネットワーク（通信路・符号化）
• サイバーセキュリティ（情報理論的安全性・暗号）