🗺️ このノートは 第2章「マルコフ連鎖」のハブ です。
第2章 マルコフ連鎖
マルコフ連鎖は「次の状態は現在の状態だけで決まり、過去の経路は忘れる」というマルコフ性を持つ離散時間過程です。記憶を1ステップに切り詰めることで、過程の全体が遷移行列という有限の表に凝縮されます。この単純さゆえに、確率過程の中で最も計算しやすく、MCMC・待ち行列・ページランク・強化学習の土台になっています。
トピック一覧
- マルコフ連鎖とは・遷移行列 — マルコフ性と遷移行列、チャップマン・コルモゴロフ方程式
- 状態の分類 — 既約性・再帰/過渡・周期
- 定常分布と収束 — 既約非周期なら唯一の定常分布へ収束（エルゴード定理）
- 詳細釣り合いと可逆連鎖 — 可逆性と詳細釣り合い、MCMC の設計原理
- ランダムウォークと再帰性 — 王道の具体例とポリアの定理（次元と再帰性）
この章の位置づけ
定常分布への収束はポアソン過程の連続時間版（連続時間マルコフ連鎖と生成行列）へ、詳細釣り合いは MCMC（ベイズ）へ、ランダムウォークはマルチンゲールの定義と例やブラウン運動の定義と性質へ繋がります。
関連分野
- MCMC の推論応用 → ベイズ統計、実装 → シミュレーション
- ページランク・MDP・強化学習 → 機械学習