定常分布と詳細釣り合い

🎓 レベル：標準　|　重要度：A（必須） 📎 前提：連続時間マルコフ連鎖と生成行列、詳細釣り合いと可逆連鎖

要点（BLUF）

連続時間の定常分布 $\pi$ は $\pi Q = 0$ （確率の流入と流出が全状態で釣り合う＝大域釣り合い）。離散の $\pi P=\pi$ に対応します。
詳細釣り合い（連続時間版）： $\pi_i q_{ij} = \pi_j q_{ji}$ 。これを満たせば $\pi Q=0$ が自動的に従い、連鎖は可逆。
既約な CTMC が定常分布を持てば一意で、 $P(t)=e^{Qt}$ の各行は $t\to\infty$ で $\pi$ に収束します（周期性の問題がない分、離散より素直）。

概念

離散時間で学んだ定常分布・収束・詳細釣り合い（定常分布と収束詳細釣り合いと可逆連鎖）を、生成行列 $Q$ の言葉に翻訳します。本質は同じ「平衡」ですが、連続時間では周期性が存在しないため、既約なら常に収束する、という嬉しい簡明さがあります。

数式による定式化

大域釣り合い（定常分布）：

\pi Q = 0, \qquad \sum_i \pi_i = 1

成分で書くと、各状態 $j$ で「流入＝流出」：

\sum_{i\ne j}\pi_i q_{ij} = \pi_j \sum_{i\ne j} q_{ji} = \pi_j q_j

詳細釣り合い（局所釣り合い）：

\pi_i q_{ij} = \pi_j q_{ji} \qquad (\forall i\ne j)

これを $i$ について和をとると $\sum_i \pi_i q_{ij}=\pi_j\sum_i q_{ji}$ 、 $Q$ の行和0（ $\sum_i q_{ji}=0$ を列で読み替え）から $\pi Q=0$ が従います。詳細釣り合いを満たす CTMC が可逆です。

直観

要するに「定常状態では各状態の確率が時間で動かない」。 $\pi Q=0$ は「どの状態も、入ってくる確率の流れと出ていく流れが釣り合っている」こと。詳細釣り合いはさらに強く「どの2状態ペアでも個別に流れが釣り合う」。離散の $P$ が連続の $Q$ に変わっただけで、釣り合いの論理は同一です。

具体例

出生死亡型の4状態 CTMC で、 $\pi Q=0$ を解いて定常分布を求め、詳細釣り合いが各隣接ペアで成り立つことを確認します。

import numpy as np
b = [1.0, 0.8, 0.5]      # i -> i+1 の率
d = [1.2, 1.0, 0.9]      # i -> i-1 の率（状態1,2,3から）
Q = np.zeros((4, 4))
for i in range(3):
    Q[i, i+1] = b[i]; Q[i, i] -= b[i]
for i in range(1, 4):
    Q[i, i-1] = d[i-1]; Q[i, i] -= d[i-1]
# pi Q = 0, sum(pi)=1 を最小二乗で解く
A = np.vstack([Q.T, np.ones(4)])
rhs = np.array([0, 0, 0, 0, 1.0])
pi, *_ = np.linalg.lstsq(A, rhs, rcond=None)
print("定常分布 pi =", np.round(pi, 4))
print("pi Q =", np.round(pi @ Q, 8), "(0ベクトル)")
for i in range(3):                                 # 詳細釣り合い
    print(f"i={i}: pi_i*q(i,i+1)={pi[i]*Q[i,i+1]:.5f}  vs  pi_(i+1)*q(i+1,i)={pi[i+1]*Q[i+1,i]:.5f}")
# 定常分布 pi = [0.3484 0.2903 0.2323 0.129 ]
# pi Q = [-0.  0.  0. -0.] (0ベクトル)
# i=0: pi_i*q(i,i+1)=0.34839  vs  pi_(i+1)*q(i+1,i)=0.34839
# i=1: pi_i*q(i,i+1)=0.23226  vs  pi_(i+1)*q(i+1,i)=0.23226
# i=2: pi_i*q(i,i+1)=0.11613  vs  pi_(i+1)*q(i+1,i)=0.11613

$\pi Q$ がゼロベクトル（定常）で、各隣接ペアの上り流れと下り流れが厳密に一致（詳細釣り合い＝可逆）しています。

他過程との関係

これは定常分布と収束詳細釣り合いと可逆連鎖の連続時間版。出生死亡過程の積形式解は、ここでの詳細釣り合いを下から順に解いた結果です。
連続状態空間へ拡張すると、定常分布は生成作用素の随伴に対する方程式（フォッカー＝プランク方程式）になります（確率微分方程式とEuler-Maruyama）。

数式の直観的意味

$\pi Q=0$ は「 $\pi$ が $Q$ の左零空間にある（固有値0の左固有ベクトル）」こと。 $Q$ の固有値は実部が非正で、唯一の0固有値が定常分布、それ以外の負の実部が緩和（収束）の速さを与えます。離散時間で収束を妨げた周期性（固有値が単位円上で $-1$ など）は、連続時間では存在しません（ $e^{Qt}$ が振動的固有値を持たない）。だから既約な CTMC は常に定常分布へ収束します。

⚠️ よくある誤解

連続時間に「非周期性」の条件は要らない。既約なら収束します。周期性は離散時間特有の障害です。
大域釣り合いと詳細釣り合いは別物。すべての定常分布が詳細釣り合いを満たすわけではありません（閉路を一方向に回る非可逆な定常流が存在しうる）。出生死亡のような一次元構造では自動的に可逆になります。
$\pi Q=0$ の数値解はスケールに注意。 $Q$ の零空間ベクトルは定数倍の自由度があるので、 $\sum\pi_i=1$ で正規化が必須です。

対応シミュレーション

本文の $b,d$ を変えても $\pi Q=0$ と詳細釣り合いは保たれます。閉路を持つ非可逆な3状態リング（ $0\to1\to2\to0$ の一方向に強い率）を作ると、定常分布はあるが詳細釣り合いが破れる例が観察できます（stochastic-processes-study/simulations/）。