← 情報理論 一覧

🎓 第1章：情報量とエントロピー

第1章 情報量とエントロピー

情報理論のすべての出発点です。「情報量」とは何かを 驚きの量 として定義し、その平均である エントロピー が不確かさの唯一の自然な尺度であることを見ます。さらに複数の確率変数に拡張（結合・条件付き・連鎖則）し、エントロピーの数理的性質（凸性・一様分布で最大）を押さえ、最後に「典型的な系列はほぼ $2^{nH}$ 通り」という 漸近等分割性（AEP） へ。AEP はのちの情報源符号化定理（シャノンの情報源符号化定理）と通信路符号化定理（シャノンの通信路符号化定理）の数理的な土台になります。

トピック一覧

1. 自己情報量とエントロピー — 基礎
2. 結合・条件付きエントロピーと連鎖則 — 標準
3. エントロピーの性質と最大エントロピー — 標準
4. 漸近等分割性とAEP — 発展

この章の要点

• 自己情報量 $I(x)=-\log p(x)$：稀な事象ほど驚き（情報）が大きい。底2なら単位は bit、底 $e$ なら nat。
• エントロピー $H(X)=\mathbb E[-\log p(X)]$：平均の驚き＝不確かさ。一様分布で最大、確定なら 0。
• 連鎖則：$H(X,Y)=H(X)+H(Y\mid X)$。条件づけは平均でエントロピーを増やさない（$H(Y\mid X)\le H(Y)$）。
• AEP：長さ $n$ の系列の確率は $\approx 2^{-nH}$ に集中し、典型集合の要素数は $\approx 2^{nH}$。これが「エントロピー＝圧縮の限界」の正体。

関連章

• 第2章 相互情報量とダイバージェンス — エントロピーの差・隔たりへ拡張
• 第3章 情報源符号化 — AEP が符号化定理の限界を与える
• 統計：確率分布・期待値の基礎

上位ハブ

• 情報理論 全体目次