📊 対象級：準1級・ 1級　|　重要度：B（標準）

確率過程（マルコフ連鎖・ポアソン過程）

要点（BLUF）

確率過程とは、時間で添字付けられた確率変数の族 $\{X_t\}_{t\in T}$ のこと。要するに「時間とともに値が確率的に動いていくもの」です。試験で問われる代表は次の2つです。

\boxed{\; \begin{aligned} \textbf{マルコフ連鎖}&:\ P(X_{n+1}=j\mid X_n=i,\dots,X_0)=P(X_{n+1}=j\mid X_n=i)=P_{ij}\\[2pt] \textbf{ポアソン過程}&:\ N(t)\sim\mathrm{Poisson}(\lambda t),\quad \text{到着間隔}\sim\mathrm{Exp}(\lambda) \end{aligned} \;}

要するに、マルコフ連鎖は「未来は現在だけで決まり過去は忘れる（無記憶）離散ステップの過程」、ポアソン過程は「ランダムに到着する事象を数える連続時間の過程」です。準1級は推移確率行列と定常分布の計算・ポアソン過程の基本性質、1級は収束定理（エルゴード定理）と状態分類の理論まで問われます。

1. 確率過程とは

確率過程（stochastic process） は、添字集合 $T$ の各 $t$ に確率変数 $X_t$ を対応させた集まり

\{X_t : t\in T\}

です。 $T$ が $\{0,1,2,\dots\}$ のような離散集合なら離散時間、 $[0,\infty)$ のような連続集合なら連続時間の過程です。各 $X_t$ が取りうる値の集合を状態空間 $S$ と呼びます。

要するに「1個の確率変数を時間方向に並べたもの」です。 $t$ を固定すれば普通の確率変数 $X_t$ 、 $\omega$ （試行結果）を固定すれば時間の関数 $t\mapsto X_t(\omega)$ が1本得られ、これを標本路（サンプルパス） と呼びます。

過程	時間 $T$	状態空間 $S$	本ノートでの扱い
マルコフ連鎖	離散 $\{0,1,2,\dots\}$	離散（有限・可算）	推移確率行列・定常分布
ポアソン過程	連続 $[0,\infty)$	離散（計数 $0,1,2,\dots$ ）	到着数・到着間隔

時系列モデル（AR・MA など）も離散時間連続状態の確率過程の一種で、こちらは時系列解析（定常性・ACF/PACF・AR・MA・ARMA・ARIMA）で扱います。本ノートは確率過程の基礎理論に焦点を当て、マルコフ連鎖の MCMC への応用は MCMC（マルコフ連鎖モンテカルロ）に譲ります。

2. マルコフ性（無記憶性）

マルコフ性とは、未来の状態が「現在の状態だけ」で決まり、それ以前の履歴に依存しない性質です。離散時間で書くと

P(X_{n+1}=j\mid X_n=i,\,X_{n-1}=i_{n-1},\dots,X_0=i_0)=P(X_{n+1}=j\mid X_n=i)

要するに「今どこにいるかが分かれば、そこに至るまでの経路は次の一歩に一切影響しない」。過去を条件に加えても確率が変わらない、という条件付き独立の言い換えです（条件付き確率の一般論は条件付き確率・独立性・全確率の定理）。

この右辺を推移確率と呼び、 $i$ から $j$ への1ステップ確率を

P_{ij}=P(X_{n+1}=j\mid X_n=i)

と書きます。さらに、この $P_{ij}$ が $n$ （時刻）によらず一定であるとき時間的に一様（斉時的, homogeneous） といい、本ノートではこの一様な連鎖だけを扱います。要するに「ルールが時間で変わらない」ということです。

3. 離散時間マルコフ連鎖

3.1 推移確率行列

状態空間が有限 $S=\{1,2,\dots,m\}$ のとき、推移確率 $P_{ij}$ をすべて並べた行列

P=\begin{pmatrix} P_{11} & P_{12} & \cdots & P_{1m}\\ P_{21} & P_{22} & \cdots & P_{2m}\\ \vdots & & \ddots & \vdots\\ P_{m1} & P_{m2} & \cdots & P_{mm} \end{pmatrix}

を推移確率行列（遷移行列） と呼びます。要するに「 $i$ 行 $j$ 列が、状態 $i$ から状態 $j$ へ1歩で移る確率」を集めた表です。

この行列には絶対的な制約があります。各成分は確率なので $P_{ij}\ge0$ 、かつ各行の和が必ず1です。

\sum_{j=1}^{m}P_{ij}=1\qquad(\text{すべての } i)

要するに「今 $i$ にいるなら、次にどこかの状態へは必ず行く（行き先の確率を全部足せば1）」。この性質を持つ行列を確率行列（stochastic matrix） と呼びます。⚠️ 列の和ではなく行の和が1です（行＝出発点、列＝行き先）。

具体例として、天気が「晴 (S)・雨 (R)」の2状態で動くモデルを考えます。

P=\begin{pmatrix}P_{SS} & P_{SR}\\ P_{RS} & P_{RR}\end{pmatrix}=\begin{pmatrix}0.8 & 0.2\\ 0.4 & 0.6\end{pmatrix}

stateDiagram-v2
    direction LR
    S : 晴 S
    R : 雨 R
    S --> S : 0.8
    S --> R : 0.2
    R --> S : 0.4
    R --> R : 0.6

「晴の翌日が晴は 0.8、雨は 0.2（行和 1）」「雨の翌日が晴は 0.4、雨は 0.6（行和 1）」という読み方です。

3.2 n段推移とチャップマン–コルモゴロフ方程式

「 $n$ ステップ後」の推移確率を考えます。 $i$ から $n$ 歩で $j$ に到達する確率を

P^{(n)}_{ij}=P(X_{n}=j\mid X_0=i)

と書きます。これがどう計算できるかを与えるのがチャップマン–コルモゴロフ方程式です。 $m$ ステップと $n$ ステップに分けて、途中の状態 $k$ で場合分けします。

P^{(m+n)}_{ij}=\sum_{k\in S}P^{(m)}_{ik}\,P^{(n)}_{kj}

要するに「 $i$ から $m$ 歩で中継地 $k$ へ行き、そこから $n$ 歩で $j$ へ行く。中継地 $k$ をすべて足し合わせれば $m+n$ 歩の確率になる」（全確率の定理をマルコフ性のもとで適用したもの）。マルコフ性のおかげで「 $k$ に到達した経路」を忘れてよいので、 $P^{(m)}_{ik}$ と $P^{(n)}_{kj}$ の単純な積になります。

この式の右辺は、ちょうど行列の積の定義です。だから

\boxed{\;P^{(n)}=P^{n}\;}

すなわち「 $n$ 段推移確率行列は、推移確率行列 $P$ の $n$ 乗そのもの」になります。要するに「 $n$ ステップ後の確率を知りたければ、 $P$ を $n$ 回掛ければよい」。これがマルコフ連鎖の計算が線形代数に帰着する理由です。

時刻 0 の状態分布を行ベクトル $\boldsymbol\pi^{(0)}=(\pi^{(0)}_1,\dots,\pi^{(0)}_m)$ とすると、 $n$ 時刻後の分布は

\boldsymbol\pi^{(n)}=\boldsymbol\pi^{(0)}P^{n}

要するに「初期分布（行ベクトル）に $P$ を右から $n$ 回掛ければ、 $n$ 時刻後にどの状態にいる確率がいくつか分かる」。

3.3 定常分布

連鎖を長く回したとき、状態分布が落ち着く先が定常分布です。行ベクトル $\boldsymbol\pi=(\pi_1,\dots,\pi_m)$ が

\boxed{\;\boldsymbol\pi=\boldsymbol\pi P,\qquad \sum_{i}\pi_i=1,\quad \pi_i\ge0\;}

を満たすとき、 $\boldsymbol\pi$ を定常分布（不変分布） と呼びます。要するに「 $P$ を1回掛けても分布が変わらない（自分自身に戻る）分布」です。一度この分布になれば、その後どれだけ時刻が進んでも分布は $\boldsymbol\pi$ のまま固定されます。

これは線形代数の言葉では「固有値 1 に対応する左固有ベクトルを、和が1になるよう規格化したもの」です（確率行列は必ず固有値1を持つ。なぜなら全成分1の列ベクトル $\mathbf 1$ に対し $P\mathbf 1=\mathbf 1$ 、行和が1だから。右固有ベクトルが $\mathbf 1$ なら左にも固有値1の固有ベクトルが存在する）。

定常分布の求め方（完全に展開）

$\boldsymbol\pi=\boldsymbol\pi P$ を成分で書くと、各 $j$ について

\pi_j=\sum_{i}\pi_i P_{ij}

要するに「状態 $j$ にいる定常確率は、各状態 $i$ から $j$ へ流れ込む確率 $\pi_i P_{ij}$ をすべて足したもの（流入＝定常）」。これは状態数 $m$ 本の連立方程式ですが、 $\boldsymbol\pi P=\boldsymbol\pi$ は $\boldsymbol\pi(P-I)=\mathbf 0$ と同値で、 $P-I$ はランク落ち（行和0）なので1本は冗長です。そこで規格化条件 $\sum_i\pi_i=1$ を1本足して解きます。

先の天気の例 $P=\begin{pmatrix}0.8&0.2\\0.4&0.6\end{pmatrix}$ で実際に解きます。 $\boldsymbol\pi=(\pi_S,\pi_R)$ として $\boldsymbol\pi P=\boldsymbol\pi$ は

\begin{cases} 0.8\,\pi_S+0.4\,\pi_R=\pi_S\\ 0.2\,\pi_S+0.6\,\pi_R=\pi_R \end{cases}

第1式を整理すると $0.4\,\pi_R=0.2\,\pi_S$ つまり $\pi_S=2\,\pi_R$ （第2式も同じ式に帰着＝冗長）。規格化 $\pi_S+\pi_R=1$ に代入して

2\pi_R+\pi_R=1\;\Longrightarrow\;\pi_R=\tfrac13,\quad \pi_S=\tfrac23

\boldsymbol\pi=\left(\tfrac23,\ \tfrac13\right)

要するに「長期的には、3日に2日が晴・1日が雨に落ち着く」。検算： $\boldsymbol\pi P=\left(\tfrac23\cdot0.8+\tfrac13\cdot0.4,\ \tfrac23\cdot0.2+\tfrac13\cdot0.6\right)=\left(\tfrac23,\tfrac13\right)=\boldsymbol\pi$ 。確かに不変です。

3.4 状態の分類（1級の山）

定常分布がいつ存在し一意になるかは、状態の性質で決まります。1級ではこの分類の理論が問われます。

到達可能・既約： $i$ から $j$ へ有限ステップで到達できる（ $P^{(n)}_{ij}>0$ となる $n$ が存在する）とき「 $j$ は $i$ から到達可能」。すべての状態が互いに到達可能なら連鎖は既約（irreducible） という。要するに「どの状態からでも、どの状態へもいつかは行ける（孤立した塊がない）」。
再帰的・過渡的：状態 $i$ から出発していつか必ず $i$ に戻る確率を $f_i$ とする。 $f_i=1$ なら再帰的（recurrent, 再帰）、 $f_i<1$ なら過渡的（transient, 過渡）。要するに「再帰＝必ず戻ってくる状態、過渡＝二度と戻らない可能性がある（やがて見捨てられる）状態」。有限既約な連鎖は全状態が再帰的。
周期性：状態 $i$ に戻れるステップ数の集合の最大公約数 $d(i)=\gcd\{n\ge1: P^{(n)}_{ii}>0\}$ を周期と呼ぶ。 $d(i)=1$ なら非周期的（aperiodic）、 $d(i)>1$ なら周期的。要するに「戻れるのが必ず $d$ の倍数ステップ後だけなら周期 $d$ 、特定の周期に縛られず戻れるなら非周期」。例えば2状態を $1\to2\to1\to2$ と必ず往復する連鎖は周期2です。

graph LR
    A["既約<br/>どの状態にも到達可"] --> D["エルゴード的<br/>= 既約 + 非周期"]
    B["非周期<br/>周期 d = 1"] --> D
    D --> E["定常分布が一意<br/>かつ極限分布に収束"]

3.5 収束定理（エルゴード定理）

マルコフ連鎖の定常分布への収束

初期分布が違っても（実線=状態1から／破線=状態3から）数ステップで同じ定常分布 π に収束する（エルゴード性）。図は simulations/markov_shusoku.py で生成。

有限状態で既約かつ非周期的なマルコフ連鎖（エルゴード的という）では、初期分布によらず分布が定常分布へ収束します。

\lim_{n\to\infty}P^{(n)}_{ij}=\pi_j\qquad(\text{すべての } i,j)

要するに「十分時間が経つと、どこから出発したか（ $i$ ）を忘れて、状態 $j$ にいる確率が定常確率 $\pi_j$ に近づく」。さらにこのとき定常分布 $\boldsymbol\pi$ はただ1つに定まります（既約性が一意性を、非周期性が収束を保証する）。

この極限としての分布を極限分布と呼びます。エルゴード的なら「定常分布＝極限分布」で一致しますが、両者は定義が別物であり、周期があると一致しない点が重要です（次章）。

なぜ非周期性が要るのか（直観）

周期2の往復連鎖 $P=\begin{pmatrix}0&1\\1&0\end{pmatrix}$ を考えます。 $\boldsymbol\pi=(\tfrac12,\tfrac12)$ は $\boldsymbol\pi P=\boldsymbol\pi$ を満たす立派な定常分布です。ところが状態1から出発すると分布は $(1,0)\to(0,1)\to(1,0)\to\cdots$ と永遠に振動し、どこにも収束しません。 $P^{(n)}_{11}$ は $n$ が偶数なら1、奇数なら0で、 $\tfrac12$ に近づきません。要するに「周期があると、定常分布は存在しても極限としては到達できない」。非周期性は、この振動を消して収束を保証するための条件です。

4. 詳細釣り合い（可逆連鎖）

定常分布を「解かずに見抜く」便利な条件が詳細釣り合い（detailed balance） です。分布 $\boldsymbol\pi$ がすべての状態対 $(i,j)$ について

\boxed{\;\pi_i P_{ij}=\pi_j P_{ji}\;}

を満たすとき、連鎖は $\boldsymbol\pi$ について可逆（reversible） といいます。要するに「定常状態で、 $i\to j$ の向きに流れる確率と、 $j\to i$ の向きに流れる確率がちょうど釣り合う」。各リンクごとに行きと帰りの流量が等しい、という強い局所条件です。

詳細釣り合い → 定常分布（導出）

詳細釣り合いを満たす $\boldsymbol\pi$ は、必ず定常方程式 $\boldsymbol\pi=\boldsymbol\pi P$ を満たします。各 $j$ について両辺を $i$ で和を取ります。

\sum_i \pi_i P_{ij}=\sum_i \pi_j P_{ji}=\pi_j\sum_i P_{ji}=\pi_j\cdot 1=\pi_j

左から順に、(1) 詳細釣り合い $\pi_i P_{ij}=\pi_j P_{ji}$ を代入、(2) $\pi_j$ を和の外に出す、(3) $\sum_i P_{ji}=1$ （ $j$ の行和は1）。結果 $\sum_i\pi_i P_{ij}=\pi_j$ はまさに定常方程式の $j$ 成分です。

要するに「詳細釣り合い（各リンクの局所的な釣り合い）が成り立てば、各状態への流入＝流出（大域的な釣り合い＝定常）が自動的に従う」。この含意こそが詳細釣り合いの価値で、MCMC（MCMC（マルコフ連鎖モンテカルロ））では「狙った分布 $\boldsymbol\pi$ を定常分布に持つ連鎖」を、解きにくい定常方程式の代わりに詳細釣り合いを満たすように推移確率を設計することで作ります（メトロポリス・ヘイスティングス法の土台）。

⚠️ 逆は成り立ちません。詳細釣り合いは定常分布であるための十分条件であって必要条件ではない。詳細釣り合いを満たさない（非可逆な）定常分布はいくらでもあります。1級ではこの「十分だが必要でない」が頻出の引っかけです（次章）。

5. ポアソン過程

ポアソン過程は、時刻 0 から始めて事象（到着・故障・来店）がランダムに起きるのを数える連続時間の確率過程です。時刻 $t$ までの累積到着数を $N(t)$ とします（ $N(0)=0$ ）。

5.1 定義（3つの公理）

ポアソン過程（強度 $\lambda>0$ ）は次の3条件で特徴づけられます。

独立増分：互いに重ならない時間区間での到着数は独立。要するに「過去の到着が未来の到着に影響しない（区間どうしが独立）」。
定常増分：区間 $[s,\,s+t]$ の到着数の分布は、始点 $s$ によらず長さ $t$ だけで決まる。要するに「いつ測っても、同じ長さなら同じ分布（時間的に一様）」。
希少性（稀発性）：微小時間 $h$ の間に到着が1回起きる確率は $\lambda h+o(h)$ 、2回以上起きる確率は $o(h)$ 。要するに「ごく短い時間には、たかだか1回しか起きない（同時多発しない）」。

これら（独立増分＋定常増分＋無記憶な発生）から、後述のとおり到着数がポアソン分布に、到着間隔が指数分布になることが導かれます。これがポアソン過程・ポアソン分布・指数分布が密結合する理由です。

5.2 到着数はポアソン分布

3公理から、時刻 $t$ までの到着数 $N(t)$ は平均 $\lambda t$ のポアソン分布に従います。

\boxed{\;P\big(N(t)=k\big)=\frac{(\lambda t)^k e^{-\lambda t}}{k!}\;}\qquad(k=0,1,2,\dots)

要するに「強度 $\lambda$ （単位時間あたり平均 $\lambda$ 回）の過程を時間 $t$ 走らせると、到着回数は平均 $\lambda t$ のポアソン分布になる」。 $E[N(t)]=\lambda t$ 、 $V[N(t)]=\lambda t$ （ポアソン分布の平均＝分散、ポアソン分布）。 $\lambda$ を強度（到着率, rate） と呼びます。

導出の概略：区間 $[0,t]$ を $n$ 等分し、各小区間で「到着1回 ≒ 確率 $\lambda t/n$ のベルヌーイ試行」とみなす（希少性より1区間に高々1回）。到着総数は $\mathrm{Bin}(n,\ \lambda t/n)$ で、独立増分よりこれらは独立。 $n\to\infty$ で二項分布のポアソン極限（ $np=\lambda t$ 一定）により $\mathrm{Poisson}(\lambda t)$ に収束します（少数の法則はポアソン分布）。

5.3 到着間隔は指数分布（完全導出）

ポアソン過程で「次の事象が起きるまでの待ち時間（到着間隔）」 $T$ の分布を求めます。ここが準1級頻出の核心です。

待ち時間 $T$ が $t$ より大きい、つまり「時刻 $t$ までまだ1回も到着していない」という事象は、 $N(t)=0$ と同じです。

P(T>t)=P\big(N(t)=0\big)

要するに「次が来るまで $t$ 以上待つ」＝「最初の $t$ の間に到着0回」。 $N(t)\sim\mathrm{Poisson}(\lambda t)$ なので $k=0$ を代入すると

P(T>t)=\frac{(\lambda t)^0 e^{-\lambda t}}{0!}=e^{-\lambda t}

よって累積分布関数は $F_T(t)=P(T\le t)=1-e^{-\lambda t}$ 、これを微分して密度は

\boxed{\;f_T(t)=\frac{d}{dt}\big(1-e^{-\lambda t}\big)=\lambda e^{-\lambda t}\;}\qquad(t\ge 0)

これはまさに指数分布 $\mathrm{Exp}(\lambda)$ （指数分布・ガンマ分布・ベータ分布）です。要するに「ポアソン過程の到着間隔は、強度 $\lambda$ の指数分布に従う」。平均待ち時間は $E[T]=1/\lambda$ （強度が高いほど待ち時間は短い）で直観に合います。

指数分布の無記憶性 $P(T>s+t\mid T>s)=P(T>t)$ は、ポアソン過程の独立増分・定常増分の裏返しです。要するに「すでに $s$ だけ待ったという事実は、これから先の待ち時間に一切影響しない（バスはあと何分かを、これまで待った時間と無関係に決める）」。

5.4 第 n 到着時刻はガンマ分布

$n$ 回目の到着が起きる時刻 $S_n$ は、独立な到着間隔 $T_1,\dots,T_n$ （各 $\mathrm{Exp}(\lambda)$ ）の和です。

S_n=T_1+T_2+\cdots+T_n

独立な指数分布の和はガンマ分布になる（指数分布・ガンマ分布・ベータ分布）ので

\boxed{\;S_n\sim\mathrm{Gamma}(n,\ \lambda)\;}\qquad f_{S_n}(t)=\frac{\lambda^n t^{n-1}e^{-\lambda t}}{(n-1)!}

要するに「 $n$ 回目の到着までの所要時間は、形状 $n$ ・強度 $\lambda$ のガンマ分布」。 $E[S_n]=n/\lambda$ （間隔の平均 $1/\lambda$ が $n$ 個分）。ポアソン過程は「到着数＝ポアソン分布」「到着間隔＝指数分布」「第 $n$ 到着時刻＝ガンマ分布」の三位一体で覚えるのが定石です。

問いたいもの	分布	パラメータ
時刻 $t$ までの到着数 $N(t)$	ポアソン分布	平均 $\lambda t$
次の到着までの待ち時間 $T$	指数分布	率 $\lambda$ 、平均 $1/\lambda$
$n$ 回目の到着時刻 $S_n$	ガンマ分布	形状 $n$ ・率 $\lambda$ 、平均 $n/\lambda$

6. 引っかけ・頻出論点

⚠️ 定常分布と極限分布は別物：定常分布は「 $\boldsymbol\pi P=\boldsymbol\pi$ を満たす分布（存在すれば複数のこともある）」、極限分布は「 $n\to\infty$ で実際に収束する先」。エルゴード的（既約＋非周期）なら一致して一意ですが、周期があると定常分布は存在しても極限分布は存在しない（振動して収束しない）。「定常分布があるから収束する」は誤り。
⚠️ 周期性で極限が消える：周期 $d>1$ の連鎖は $P^{(n)}_{ij}$ が $\pi_j$ に収束しない（ $n$ の偶奇などで値が振れる）。収束を主張するには非周期性が必須。
⚠️ 詳細釣り合いは十分条件であって必要条件でない：詳細釣り合い $\Rightarrow$ 定常分布、は正しい。しかし定常分布 $\Rightarrow$ 詳細釣り合い、は偽。非可逆な定常分布は普通に存在します（一方向に循環する連鎖など）。「定常分布なら詳細釣り合いを満たす」は誤り。
⚠️ 推移確率行列は行和が1（列和ではない）： $\sum_j P_{ij}=1$ 。行＝出発状態、列＝到着状態。定常分布は左固有ベクトル（ $\boldsymbol\pi P=\boldsymbol\pi$ 、行ベクトルに右から $P$ ）。 $P\boldsymbol\pi=\boldsymbol\pi$ （右固有ベクトル）と混同しない。
⚠️ ポアソン過程の3公理を1つでも欠くと別物：独立増分・定常増分・希少性のどれかが崩れると到着数はポアソン分布にならない（例：定常増分を外すと非斉時ポアソン過程で率が $\lambda(t)$ ）。
⚠️ 「率 $\lambda$ 」と「平均 $1/\lambda$ 」の取り違え：指数分布のパラメータは率 $\lambda$ （密度 $\lambda e^{-\lambda x}$ ）だが平均は $1/\lambda$ 。「1時間に平均3件」なら $\lambda=3$ （時間単位）で平均待ち時間は $1/3$ 時間。

試験での問われ方（級ごとの差）

確率過程は準1級・1級の出題範囲です（マルコフ連鎖は準1級ワークブック第14章相当、ポアソン過程は確率過程・時系列の単元）。級で深さが明確に違います（出題範囲・配点は改訂されうるため要最新確認）。

準1級レベル

ここで問われるのは「計算と基本性質」。推移確率行列から $n$ 段推移や定常分布を実際に計算できるか、ポアソン過程の到着数・到着間隔の分布を正しく当てはめられるか。

推移確率行列 $P$ が与えられ、 $\boldsymbol\pi=\boldsymbol\pi P$ と $\sum\pi_i=1$ を連立して定常分布を数値で求める（2〜3状態）。
$P^n$ や $\boldsymbol\pi^{(0)}P^n$ で $n$ ステップ後の状態確率を計算する。
ポアソン過程で「時刻 $t$ までに $k$ 回」「次まで $t$ 以上待つ」確率を、 $N(t)\sim\mathrm{Poisson}(\lambda t)$ ・到着間隔 $\sim\mathrm{Exp}(\lambda)$ から計算する。
有限マルコフ連鎖のパラメータ推定（観測した遷移回数から $\hat P_{ij}=\dfrac{n_{ij}}{\sum_k n_{ik}}$ を最尤推定する）。

1級レベル

ここで問われるのは「理論と収束」。状態分類（既約・再帰/過渡・周期）を定義し、エルゴード定理（既約＋非周期 $\Rightarrow$ 定常分布が一意・極限に収束）を理由とともに説明できるか。

定常分布と極限分布の区別を論じ、周期性があると極限分布が存在しないことを示す。
チャップマン–コルモゴロフ方程式から $P^{(n)}=P^n$ を導く。
詳細釣り合い $\Rightarrow$ 定常分布の証明、および「十分条件であって必要条件でない」ことの理解。
ポアソン過程の3公理から到着数のポアソン分布・到着間隔の指数分布を導出する。連続時間マルコフ連鎖（生成行列）への接続。

確率の土台は条件付き確率・独立性・全確率の定理、分布の前提はポアソン分布と指数分布・ガンマ分布・ベータ分布、連続状態の確率過程としての時系列は時系列解析（定常性・ACF/PACF・AR・MA・ARMA・ARIMA）が関連します。

よくある疑問（Q&A）

Q1. 定常分布と極限分布は、結局何が違うのですか？

定義が別物です。定常分布は方程式 $\boldsymbol\pi P=\boldsymbol\pi$ を満たす分布で、「いったんこの分布になれば以後変わらない」という静的な性質。極限分布は初期分布から出発して $n\to\infty$ で「実際に収束する先」という動的な性質です。エルゴード的（既約＋非周期）な連鎖では両者は一致して一意になりますが、周期 $d>1$ の連鎖は定常分布を持っていても分布が振動して収束しないので極限分布を持ちません。「定常分布が存在する＝収束する」ではない、ここが1級頻出の区別です。

Q2. なぜ非周期性がないと収束しないのですか？

周期があると分布が「決まった周期で振動」して落ち着かないからです。例えば $P=\begin{pmatrix}0&1\\1&0\end{pmatrix}$ は状態1と2を必ず交互に往復します。状態1から出発すれば分布は $(1,0),(0,1),(1,0),\dots$ と振れ続け、定常分布 $(\tfrac12,\tfrac12)$ には近づきません。 $P^{(n)}_{11}$ は偶数ステップで1・奇数ステップで0となり、 $\tfrac12$ に収束しないのです。非周期性はこの振動を消し、 $P^{(n)}_{ij}$ を1つの値 $\pi_j$ に収束させるための条件です。

Q3. 詳細釣り合いを満たさないと定常分布は存在しないのですか？

いいえ。詳細釣り合いは定常分布であるための十分条件であって必要条件ではありません。詳細釣り合い（各リンクで行き帰りの流量が等しい）を満たせば必ず定常分布になりますが、逆に定常分布が詳細釣り合いを満たすとは限りません。例えば3状態を $1\to2\to3\to1$ と一方向に循環する連鎖は、一様分布が定常分布になりますが、リンクは一方通行なので $\pi_i P_{ij}=\pi_j P_{ji}$ （行き帰りの釣り合い）は満たしません。詳細釣り合いはあくまで「定常分布を作りやすくする・MCMCで設計しやすくする」ための強い十分条件です。

Q4. ポアソン分布・指数分布・ガンマ分布は、なぜ全部ポアソン過程に出てくるのですか？

同じポアソン過程を「3つの角度から見ている」からです。ポアソン過程は「ランダムに到着する事象の列」で、(1)「ある時間 $t$ までの到着回数」を見るとポアソン分布 $\mathrm{Poisson}(\lambda t)$ 、(2)「次の到着までの待ち時間」を見ると指数分布 $\mathrm{Exp}(\lambda)$ 、(3)「 $n$ 回目の到着までの総時間（＝指数分布の和）」を見るとガンマ分布 $\mathrm{Gamma}(n,\lambda)$ になります。「回数を数える」か「時間を測る」かの視点の違いで、根は1つの過程です。だから「到着間隔が指数 $\Leftrightarrow$ 到着数がポアソン」は同値な言い換えになります。

Q5. マルコフ性は「1ステップ前だけ」見ますが、2ステップ前を見たいときはどうするのですか？

状態の定義を拡張します。「過去2ステップを使うと未来が決まる」過程（2階のマルコフ）は、 $\tilde X_n=(X_n,X_{n-1})$ というペアを新しい状態とみなせば、その $\tilde X_n$ は1階のマルコフ連鎖になります。要するに「必要な履歴を状態に畳み込めば、見かけ上『現在だけ』に依存する形に戻せる」。これがマルコフ連鎖が非常に汎用的な理由で、状態空間を広げる代償でマルコフ性を回復できます。だから「マルコフ性は本質的に限定的」というより「状態の設計次第で広く適用できる」枠組みです。

まとめ

確率過程は時間で添字付けられた確率変数の族 $\{X_t\}$ 。試験の主役はマルコフ連鎖（離散時間）とポアソン過程（連続時間）。
マルコフ性＝未来は現在だけで決まる（過去を忘れる）。推移確率 $P_{ij}$ を集めたのが推移確率行列（各行和1の確率行列）。 $n$ 段推移はチャップマン–コルモゴロフ方程式より $P^{(n)}=P^n$ 。
定常分布 $\boldsymbol\pi=\boldsymbol\pi P,\ \sum\pi_i=1$ は固有値1の左固有ベクトル。連立方程式＋規格化で解く。既約＋非周期（エルゴード的）なら定常分布は一意かつ極限分布に一致（エルゴード定理）。
詳細釣り合い $\pi_i P_{ij}=\pi_j P_{ji}$ は定常分布の十分条件（必要条件ではない）。MCMC の設計原理。
ポアソン過程（独立増分・定常増分・希少性）：到着数 $N(t)\sim\mathrm{Poisson}(\lambda t)$ 、到着間隔 $\sim\mathrm{Exp}(\lambda)$ 、第 $n$ 到着時刻 $\sim\mathrm{Gamma}(n,\lambda)$ 。
引っかけ：定常分布≠極限分布（周期で極限消失）／詳細釣り合いは十分のみ／行和1・左固有ベクトル。準1級は計算、1級は収束定理と状態分類の理論。