← 情報理論 一覧

🎓 第4章：通信路と通信路容量

第4章 通信路と通信路容量

情報源符号化（第3章）が「どこまで圧縮できるか」なら、この章は「ノイズのある通信路でどこまで誤りなく送れるか」。鍵は第2章の相互情報量（相互情報量）です。通信路を遷移確率 $p(y\mid x)$ で表し、入力と出力の相互情報量を入力分布について最大化したものが通信路容量。そしてシャノンの最も有名な結果——「容量未満の速度なら、誤り確率をいくらでも0に近づける符号が存在する」——が、Fano の不等式を逆定理として成立します。圧縮限界がエントロピー、通信限界が容量、どちらも情報量で決まります。

トピック一覧

1. 離散無記憶通信路 — 標準
2. 通信路容量 — 発展
3. シャノンの通信路符号化定理 — 発展

この章の要点

• 離散無記憶通信路（DMC）：遷移確率行列 $p(y\mid x)$ で定義。BSC（反転 $f$）、BEC（消失 $e$）が代表。
• 通信路容量 $C=\max_{p(x)} I(X;Y)$。BSC は $C=1-H(f)$、BEC は $C=1-e$。対称通信路は一様入力で達成、非対称では最適入力は一様でない。
• 通信路符号化定理：$R<C$ なら誤り率 $\to0$ の符号が存在、$R>C$ なら誤り率は0にできない（逆定理は Fano の不等式）。
• 容量は通信路の固有の性質で、符号設計の目標値。

関連章

• 第2章 相互情報量 — 容量は $I(X;Y)$ の最大化
• 第5章 誤り訂正符号 — 容量に近づくための具体的な符号
• ネットワーク：実際の通信路・変調／第6章：連続のガウス通信路

上位ハブ

• 情報理論 全体目次