← 情報理論 一覧

🎓 第6章：連続情報量とレート歪み

第6章 連続情報量とレート歪み

これまでは離散の記号でしたが、音声・画像・電圧などは連続値です。連続版のエントロピー＝微分エントロピーは、離散とよく似た式ながら「負になりうる」など独特の癖を持ちます。これを使うと、ノイズが加法ガウスのガウス通信路の容量が $C=\frac12\log_2(1+\mathrm{SNR})$ という有名な式で書け、帯域と SNR が通信速度を決めるシャノン・ハートレーの定理に繋がります。最後に、完全復元をあきらめ「ある歪みまで許す」非可逆圧縮の理論限界——レート歪み関数——を導きます。JPEG や MP3 がなぜあれだけ縮むのか、その理論的な底です。

トピック一覧

1. 微分エントロピー — 発展
2. ガウス通信路と容量 — 発展
3. レート歪み理論入門 — 発展

この章の要点

• 微分エントロピー $h(X)=-\int f\log_2 f\,dx$。離散と違い負になりうる（座標変換で値が変わる）。同じ分散ならガウスが最大。
• ガウス通信路の容量 $C=\frac12\log_2(1+P/N)=\frac12\log_2(1+\mathrm{SNR})$ bit/使用。帯域込みでは $C=B\log_2(1+\mathrm{SNR})$ bit/秒。
• レート歪み関数（ガウス源・2乗誤差）$R(D)=\frac12\log_2(\sigma^2/D)$。逆に $D(R)=\sigma^2 2^{-2R}$（1ビットで歪み1/4）。
• 圧縮（情報源符号化）の非可逆版がレート歪み、伝送（通信路符号化）の連続版がガウス通信路。

関連章

• 第1章 エントロピー — 離散版との対比
• 第3章 情報源符号化 — 無歪み（可逆）圧縮との対比
• 第4章 通信路容量 — 離散通信路の連続版

上位ハブ

• 情報理論 全体目次