マルコフ過程

home > 確率過程

独立な確率試行モデルの最も直接的な一般化がマルコフ連鎖モデルである。1906年にこれを研究したロシアの数学者マルコフにちなんで名付けられ、その後コルモゴロフ、フェラー、ドゥーブなどの数学者がこの理論を発展させた。大雑把に言えば、確率過程において、現在の時刻$t$の値$X_t$が与えられたとき、未来の$X_s (s>t)$の値が過去の値$X_u (u<t)$の影響を受けない場合、マルコフ性を持つと呼ばれる。添字集合$T$が非負整数の場合、過程は離散時間マルコフ連鎖と呼ばれる。$t$が連続時間の場合は連続時間マルコフ連鎖となる。さらに状態空間も連続である場合はマルコフ過程となる。本章では主にマルコフ連鎖について議論する。

3.1 マルコフ連鎖の定義と例

本節からは主に確率過程 $\{X_n, n=0,1,\cdots\}$ を考える。添え字$n$は通常時間を表す。$X_n$が値をとる状態空間は有限集合または可算集合であり、状態空間の要素は非負整数 $0,1,2,\cdots$ で表すことができる。これらは確率過程が属する状態と呼ばれる。例えば、$X_n=i$のとき、過程は時間$n$において状態$i$にあると言う。

定義 3.1 任意の一連の状態 $i_0, i_1, \cdots, i_{n-1}, i, j$ および任意の $n \ge 0$ に対して、確率過程 $\{X_n, n \ge 0\}$ が以下のマルコフ性を満たすとき、$X_n$を離散時間マルコフ連鎖と呼ぶ。

$$P\{X_{n+1}=j \mid X_0=i_0, \cdots, X_{n-1}=i_{n-1}, X_n=i\} = P\{X_{n+1}=j \mid X_n=i\}\tag{34}$$

定義 3.2 $X_n$ を離散時間マルコフ連鎖とする。$X_n$が状態$i$にあると与えられたとき、$X_{n+1}$が状態$j$にある条件付き確率 $P\{X_{n+1}=j \mid X_n=i\}$ をマルコフ連鎖の1歩推移確率と呼び、$P_{ij}^{n,n+1}$ と記す。この確率が$n$に依存しないとき、このマルコフ連鎖は定常推移確率を持つといい、$P_{ij}$と記す。

主に定常推移確率を持つマルコフ連鎖について議論する。これは時間的に斉次なマルコフ連鎖、または略して時斉マルコフ連鎖とも呼ばれる。確率は非負であり、また過程は必ずいずれかの状態へ推移するため、自然に任意の $i, j \ge 0$ に対して以下が成り立つ。

$$P_{ij} \ge 0, \quad \sum_{j=0}^{\infty} P_{ij} = 1\tag{35}$$

もちろんここでは、過程がその場にとどまることも一種の「推移」とみなす。つまり、$i$から$i$への推移である。通常、$P_{ij}$を無限次元の正方行列として並べ、次のように記す。

$$P = \begin{pmatrix} P_{00} & P_{01} & P_{02} & \cdots \\ P_{10} & P_{11} & P_{12} & \cdots \\ P_{20} & P_{21} & P_{22} & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{pmatrix}\tag{36}$$

$P = (P_{ij})$ はマルコフ連鎖の推移確率行列と呼ばれる。行列の第$i+1$行は、$X_n=i$ が与えられたときの $X_{n+1}$ の条件付き確率分布である。マルコフ連鎖の状態の総数が有限である場合、$P$は有限次の正方行列となり、その階数は状態空間における状態の総数に等しい。まず簡単な例を見る。

例 3.1 (直線上のランダムウォーク) 直線上の整数点上を運動する粒子を考える。粒子が位置$j$にいるとき、これを過程が属する状態と仮定する。右の$j+1$へ移動する確率は$p$、左の$j-1$へ移動する確率は$q = 1-p$である。時刻$0$において粒子は原点にいる、すなわち $X_0 \equiv 0$ と仮定する。このとき、粒子が時刻$n$にいる位置 $X_n$ はマルコフ連鎖となり、その推移確率は以下のようになる。

$$P_{jk} = \begin{cases} p, & k = j+1, \\ q, & k = j-1, \\ 0, & \text{その他}. \end{cases}$$

$p = q = 1/2$ のとき、これは単純対称ランダムウォークとなり、公平なギャンブルのモデルに用いることができる。例えば、表と裏が出る確率がともに$1/2$のコイン投げゲームを考える。粒子の位置を$X_n$として、$n$回目のギャンブル後にギャンブラー甲が勝っている金額（1回のコイン投げの勝ち負けは1円）を表すとする。甲の元手を$A_1$、対戦相手である乙の元手を$A_2$とすれば、甲にとって最も関心のある問題は、自分が破産する前に乙が破産する可能性がどれくらいあるかということである。これが有名なギャンブラーの破産問題である。乙が先に破産する確率は $A_1 / (A_1 + A_2)$ であることが証明できる。元手が多いほど最終的な勝利を得やすい。このモデルは統計学の逐次分析に重要な応用がある。状態 $A_2$ と $-A_1$ は吸収状態と呼ばれ、このようなランダムウォークは吸収壁を持つランダムウォークと呼ばれる。

マルコフ連鎖は、その初期状態 $X_0$、または初期状態の確率分布と推移確率行列によって完全に決定される。 $P\{X_0 = i_0\} = p_{i_0}$ と記すと、以下のように計算できる。

$$\begin{aligned}& P\{X_0 = i_0, X_1 = i_1, \cdots, X_n = i_n\} \\ & = P\{X_0 = i_0, \cdots, X_{n-1} = i_{n-1}\} P\{X_n = i_n \mid X_0 = i_0, \cdots, X_{n-1} = i_{n-1}\} \\ & = P\{X_0 = i_0, X_1 = i_1, \cdots, X_{n-1} = i_{n-1}\} P_{i_{n-1}, i_n}\end{aligned}$$

帰納法により以下が分かる。

$$P\{X_0 = i_0, X_1 = i_1, \cdots, X_n = i_n\} = p_{i_0} P_{i_0, i_1} P_{i_1, i_2} \cdots P_{i_{n-2}, i_{n-1}} P_{i_{n-1}, i_n}\tag{37}$$

したがって、確率過程 $\{X_n, n \ge 0\}$ の各時刻における振る舞いの法則を把握することができる。マルコフ連鎖の分析において、人々が主に関心を持つのは、過程の実現可能な確率がどれくらいかということである。その計算において、$n$歩推移確率 $P_{ij}^{(n)} = P\{X_{m+n} = j \mid X_m = i\}$ は重要な量である。これは、現在の時刻$m$において過程が状態$i$にあると与えられたとき、$n$歩の推移の後、時刻$m+n$において過程が状態$j$へ推移する条件付き確率を表す。 $P_{ij}^{(n)}$ を $(i,j)$ 要素とする行列 $(P_{ij}^{(n)})$ を $P^{(n)}$ と記し、これをマルコフ連鎖の$n$歩推移確率行列と呼ぶ。興味深いことに、$P^{(n)}$ は推移確率行列 $P$ から求めることができる。正確に言えば、$P^{(n)} = P \times P \times \cdots \times P = P^n$ となる。すなわち、$P^{(n)}$ は1歩推移確率行列$P$を$n$回乗じることで得られる。これが以下の定理である。

定理 3.1 マルコフ連鎖の$n$歩推移確率行列は以下を満たす。

$$P_{ij}^{(n)} = \sum_{k=0}^{\infty} P_{ik} P_{kj}^{(n-1)}\tag{38}$$

上式において、$P_{ii}^{(0)} = 1$、および $j \ne i$ のとき $P_{ij}^{(0)} = 0$ と約束する。

証明． 方針としては、まず1歩推移の全ての可能な状況を分析し、過程のマルコフ性を十分に利用する。もし過程が状態$i$から出発し、$n$歩後に状態$j$へ推移したとすれば、最初の1歩の後に必ずある状態$k$に跳び、その後状態$k$から$n-1$歩の推移を経て状態$j$に到達するはずである。最初の1歩で異なる状態$k$へ推移する事象は互いに排反であることに注意する。これは一人の人間が同時に二頭の馬に乗ることができないのと同じである。したがって以下が成り立つ。

$$\begin{aligned}P_{ij}^{(n)} &= P\{X_n = j \mid X_0 = i\} \\ &= \sum_{k=0}^{\infty} P\{X_n = j, X_1 = k \mid X_0 = i\} \\ &= \sum_{k=0}^{\infty} P\{X_1 = k \mid X_0 = i\} P\{X_n = j \mid X_0 = i, X_1 = k\} \\ &= \sum_{k=0}^{\infty} P_{ik} P_{kj}^{(n-1)}\end{aligned}$$

(38)式を行列形式で書けば、行列の乗法の規則によりまさに $P^{(n)} = P \times P^{(n-1)}$ となる。したがって $P^{(n)} = P \times P^{n-1} = P^n$ を得る。より一般に、任意の $m, n \ge 0$ に対して $P^{(m+n)} = P^{(n)} \times P^{(m)}$ となる。行列の積の形式をその要素の方程式として書いたものが有名なチャップマン・コルモゴロフ (Chapman-Kolmogorov) 方程式である。

$$P_{ij}^{(n+m)} = \sum_{k=0}^{\infty} P_{ik}^{(n)} P_{kj}^{(m)}\tag{39}$$

以下にマルコフ連鎖のいくつかの例を紹介する。

例 3.2 (エーレンフェスト模型) 薄膜間の分子拡散を記述する際、エーレンフェスト (Ehrenfest) の壺モデルに遭遇する。このとき、薄膜の両側を2つの異なる壺とし、分子を壺の中に入れられた小さな球と想定する。2つの壺には合計$2a$個の球（すなわち分子の総数）が入っていると仮定する。Aの壺に$k$個の球、Bの壺に$2a-k$個の球があるとする。全部で$2a$個の球の中から毎回等確率で1つの球を任意に選び、もう一方の壺に入れるという操作により、薄膜間の分子のランダムな拡散を視覚的に記述できる。明らかに球は2つの壺の間を行き来し、常により満たされた壺からより空いている壺へと移る傾向がある。そのため、壺の中の球が多いほど、選ばれる確率も大きくなる。時刻$n$においてAの壺に$Y_n$個の球があるとする。このときBの壺には$2a-Y_n$個の球がある。Aの壺の中の球数が総数の半分を超える量を $X_n$ と定義する、すなわち $X_n = Y_n - a$ とおく。すると $\{X_n\}$ はマルコフ連鎖となり、互いに達可能な有限個の状態 $i = -a, -a+1, \cdots, 0, 1, \cdots, a$ をとる。推移確率は以下のようになる。

$$P_{ij} = \begin{cases} \dfrac{a-i}{2a}, & j = i+1 \text{ のとき}, \\[10pt] \dfrac{a+i}{2a}, & j = i-1 \text{ のとき}, \\ 0, & \text{その他の場合}. \end{cases}$$

このモデルにおいて関心が持たれるのは、それぞれの壺における球の平衡分布である。

例 3.3 (理想化された遺伝モデル) 遺伝の要素は染色体であり、遺伝的性質のキャリアは遺伝子と呼ばれ、染色体上に位置している。遺伝子は生物の特徴を制御している。遺伝子は対になって現れ、同一の特徴を制御する異なる遺伝子は対立遺伝子と呼ばれる。この対立遺伝子をAとaと記す。ある集団における遺伝子Aとaの割合は遺伝子頻度であり、通常$p$と$q$ ($p+q=1$) で表される。ここで、集団の個体数を$N$に固定すると、繁殖した第2世代の遺伝子型は$2N$回のベルヌーイ試行によって決定される。もし第$n$世代の母集団にA型遺伝子が$j$回、a型遺伝子が$2N-j$回現れたとすると、次世代がA型になる確率は $p_j = \frac{j}{2N}$、a型になる確率は $q_j = 1 - \frac{j}{2N}$ である。第$n$世代においてA型遺伝子を持つ個体数を $X_n$ と記すと、$\{X_n, n \ge 1\}$ はマルコフ連鎖となり、その推移確率行列の$(j,k)$要素は以下のようになる。

$$P_{jk} = \binom{2N}{k} p_j^k q_j^{2N-k} = \binom{2N}{k} \left(\frac{j}{2N}\right)^k \left(1 - \frac{j}{2N}\right)^{2N-k}$$

著名な生物統計学者フィッシャー (Fisher) は、このモデルについて深く論じている。変異を考慮に入れると、より複雑な遺伝モデルを構築できる。

例 3.4 (待ち行列問題) 顧客がサービス窓口に並んでサービスを待つとする。各サービス周期において、サービス窓口の前に顧客が待っていれば、列の先頭にいる顧客にサービスを提供する。当然、サービス窓口の前が空であればサービスを実行することはできない。第$n$番目のサービス周期に到着する顧客数を確率変数 $Y_n$ とし、その分布は$n$に依存せず以下のようであるとする。

$$P\{Y_n = k\} = p_k, \quad k = 0, 1, \cdots, \quad \sum_{k=0}^{\infty} p_k = 1$$

かつ、$Y_n$は互いに独立であるとする。サービス周期開始時にサービス窓口の前に並んでいる顧客数を $X_n$ とすると、明らかに以下が成り立つ。

$$X_{n+1} = \begin{cases} X_n - 1 + Y_n, & X_n \ge 1 \text{ のとき}, \\ Y_n, & X_n = 0 \text{ のとき}. \end{cases}$$

このとき $\{X_n, n \ge 1\}$ はマルコフ連鎖となり、その推移確率行列は以下のようになる。

$$P = \begin{pmatrix} p_0 & p_1 & p_2 & p_3 & \cdots \\ p_0 & p_1 & p_2 & p_3 & \cdots \\ 0 & p_0 & p_1 & p_2 & \cdots \\ 0 & 0 & p_0 & p_1 & \cdots \\ \vdots & \vdots & \vdots & \vdots & \ddots \end{pmatrix}$$

新たに到着する顧客数の期待値 $\sum_{k=0}^{\infty} k p_k > 1$ のとき、待ち行列の長さは無限大に近づくことが予想される。逆に、 $\sum_{k=0}^{\infty} k p_k < 1$ のときは平衡状態に近づく可能性があり、このときの極限確率

$$\lim_{n \to \infty} P\{X_n = k \mid X_0 = j\} = \pi_k, \quad k = 0, 1, \cdots$$

を待ち行列モデルの平衡分布と呼ぶ。$\pi_0$ はサービス設備がアイドル状態にある確率を表し、これは管理科学においてサービスシステムの効率を測る重要な指標である。一方、顧客がサービス窓口の前で並ぶ平均待ち行列長 $\sum_{k=0}^{\infty} k \pi_k$ は顧客の満足度とサービス品質を測る重要な指標である。平衡分布に関する問題については、後ほど議論する。

例 3.5 3つの状態を持つマルコフ連鎖 $\{X_n\}$ を考える。その推移確率行列は以下の通りである。

$$P = \begin{pmatrix} 0 & 1 & 0 \\ p & q & r \\ 0 & 0 & 1 \end{pmatrix}$$

ここで $p, q, r > 0$ かつ $p+q+r=1$ である。このマルコフ連鎖は状態1から始まり、一度状態0または2に入ると抜け出せず吸収される。そこで、過程が状態1から出発して状態0（または2）に吸収される確率はいくらか、また、平均してどれくらいの時間で過程は吸収状態に入り、そこに永遠に留まることになるか、という2つの問題が考えられる。

解．まず、過程が吸収状態に入る時刻を表すことにする。 $T = \min\{n \ge 0 \mid X_n = 0 \text{ または } X_n = 2\}$ とおく。すると、例で求める確率および期待値は、$u = P\{\text{状態1から出発して過程が吸収状態0に入る}\} = P\{X_T = 0 \mid X_0 = 1\}$、および $v = E[T \mid X_0 = 1]$（最終的に吸収されるまでの平均時間）として表すことができる。もし $X_1 = 0$ であれば $T=1$ となり、したがって $X_T=0$ となる。また、もし $X_1 = 2$ であっても $T=1$ であるが、この場合は $X_T=2$ となる。$X_1=1$ のときにのみ、過程は $X_0$ があった状態1に戻り、再び推移を始める。したがって、全確率の公式により以下が成り立つ。

$$\begin{aligned}u &= P\{X_T = 0 \mid X_0 = 1\} \\ &= \sum_{k=0}^2 P\{X_T = 0 \mid X_0 = 1, X_1 = k\} P\{X_1 = k \mid X_0 = 1\} \\ &= \sum_{k=0}^2 P\{X_T = 0 \mid X_1 = k\} P\{X_1 = k \mid X_0 = 1\} \\ &= 1 \cdot p + u \cdot q + 0 \cdot r = p + qu\end{aligned}$$

これを解いて $u = \dfrac{p}{1-q} = \dfrac{p}{p+r}$ を得る。同様にして、$v$ に関する方程式を立て、最終的に吸収されるまでの平均時間を求めることができる。

$$\begin{aligned}v &= E[T \mid X_0 = 1] \\ &= \sum_{k=0}^2 E[T \mid X_0 = 1, X_1 = k] P\{X_1 = k \mid X_0 = 1\} \\ &= \sum_{k=0}^2 E[T \mid X_1 = k] P\{X_1 = k \mid X_0 = 1\} \\ &= 1 \cdot p + (1+v) \cdot q + 1 \cdot r \\ &= 1 + qv\end{aligned}$$

これを解いて $v = \dfrac{1}{1-q}$ を得る。この解から、過程が状態1から状態1に戻る確率 $q$ が大きいほど、吸収状態に入るのが難しくなり、平均時間が延びることがわかる。これは常識とも一致する。

3.2 マルコフ連鎖の状態分類

3.2.1 到達可能性と周期性

マルコフ連鎖をより深く研究するために、状態を分類する必要がある。これには一連の定義が含まれるが、重要なのはそれらの確率論的な意味を把握し、実際の例を通じてこれらの概念への理解を深めることである。

定義 3.3（到達可能と互いに到達可能） ある $n \ge 0$ に対して $P_{ij}^{(n)} > 0$ であるとき、状態 $j$ は状態 $i$ から到達可能（accessible）であるといい、$i \to j$ と記す。これは、状態 $i$ から有限回の推移を経て状態 $j$ に到達できることを意味する。互いに到達可能な2つの状態 $i$ と $j$ は、互いに到達可能（communicate）であるといい、$i \leftrightarrow j$ と記す。

もし2つの状態 $i$ と $j$ が互いに到達可能でない場合、すべての $n \ge 0$ に対して $P_{ij}^{(n)} = 0$ であるか、すべての $n \ge 0$ に対して $P_{ji}^{(n)} = 0$ であるか、あるいはその両方が成り立つかのいずれかである。互いに到達可能であるという関係は数学的な同値関係である。つまり、反射律、対称律、推移律を満たす。

命题 3.1 互いに到達可能である関係は同値関係である。すなわち、 (i) $i \leftrightarrow i$ （反射律） (ii) $i \leftrightarrow j$ ならば $j \leftrightarrow i$ （対称律） (iii) $i \leftrightarrow j$ かつ $j \leftrightarrow k$ ならば $i \leftrightarrow k$ （推移律）

証明． (i)と(ii)は互いに到達可能であることの定義からすぐに証明できるため、ここでは(iii)のみを証明する。もし $i \leftrightarrow j$ であれば、ある整数 $n$ が存在して $P_{ij}^{(n)} > 0$ となる。また $j \leftrightarrow k$ より、ある整数 $m$ が存在して $P_{jk}^{(m)} > 0$ となる。((39))式のチャップマン・コルモゴロフ方程式により、

$$P_{ik}^{(n+m)} = \sum_{r=0}^\infty P_{ir}^{(n)} P_{rk}^{(m)} \ge P_{ij}^{(n)} P_{jk}^{(m)} > 0$$

となる。同様にして、ある $s$ が存在して $P_{ki}^{(s)} > 0$ となることを証明できる。したがって定義により $i \leftrightarrow k$ を得る。

2つの状態が互いに到達可能である場合、それらは同じ類（クラス）に属すると言う。マルコフ連鎖のすべての状態は、互いに到達可能であるという同値関係によって異なる同値類に分割される。命題3.1により、2つの類は互いに素であるか、完全に一致するかのいずれかであることが直ちにわかる。もし互いに到達可能であるという同値関係の下で、マルコフ連鎖のすべての状態が同一の類に属する場合、そのマルコフ連鎖は既約（irreducible）であると呼ばれる。言い換えれば、既約な過程の各状態はすべて互いに到達可能である。

例 3.6 マルコフ連鎖が以下の推移確率行列を持つとする。

$$P = \begin{pmatrix} 1/2 & 1/2 & 0 & 0 & 0 \\ 1/4 & 3/4 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 1/2 & 0 & 1/2 \\ 0 & 0 & 0 & 1 & 0 \end{pmatrix}$$

このとき明らかに $\{1, 2\}$ と $\{3, 4, 5\}$ は互いに到達可能であるという意味での2つの同値類であり、この連鎖は可約である。これを2つの連鎖に分けて研究することができる。図3.1を参照のこと。

图 3.1

例 3.1（続） ランダムウォークの例3.1において、状態 $\{A_2\}$、$\{-A_1+1, \cdots, 0, 1, 2, \cdots, A_2-1\}$、$\{-A_1\}$ は3つの異なる類である。このとき、中間の類から吸収状態 $A_2$ または $-A_1$ へ推移することはできるが、一度吸収されると永遠に戻ることはできない。そのため、この過程は既約ではない。

定義 3.4 状態の周期。$i$ をマルコフ連鎖のある状態とする。$P_{ii}^{(n)} > 0$ となるすべての正整数 $n$ $(n \ge 1)$ の最大公約数を状態 $i$ の周期と呼び、$d(i)$ と記す。もしすべての $n \ge 1$ に対して $P_{ii}^{(n)} = 0$ であれば、周期を $\infty$ と約束する。$d(i) = 1$ の状態は非周期的であると呼ばれる。定義より直ちにわかるように、もし $n$ が周期 $d(i)$ で割り切れないならば、必ず $P_{ii}^{(n)} = 0$ となる。

例 3.7 マルコフ連鎖が状態 0, 1, 2, 3 を持ち、推移確率行列が以下のものであるとする。

$$P = \begin{pmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \\ 1/2 & 0 & 1/2 & 0 \end{pmatrix}$$

状態0の周期を求めよ。図3.2を参照のこと。

图 3.2

解．直接計算することにより、$P_{00}=0$、$P_{00}^{(2)}=P_{00}^{(3)}=P_{00}^{(5)}=P_{00}^{(2n+1)}=0$ であり、$P_{00}^{(4)} = 1/2$、$P_{00}^{(6)} = 1/4$、$P_{00}^{(8)} = 3/8$ となることが容易にわかる。そして $\{4, 6, 8, \cdots\}$ の最大公約数は2である。したがって $d(0)=2$ である。

では、上の例における他の状態の周期はいくつであろうか。周期性は同値類全体が持つ性質であるため、もし過程が既約であれば（例3.6のような場合を除き）、すべての状態は同じ周期を持つ。これが次の命題である。

命題 3.2 もし $i \leftrightarrow j$ ならば $d(i) = d(j)$ である。

証明． $i \leftrightarrow j$ より、ある $m, n$ が存在して $P_{ij}^{(m)} > 0$ かつ $P_{ji}^{(n)} > 0$ となる。したがって以下が成り立つ。

$$P_{jj}^{(n+m)} \ge P_{ji}^{(n)} P_{ij}^{(m)} > 0$$

もしある $s$ が存在して $P_{ii}^{(s)} > 0$ であれば、以下も成り立つ。

$$P_{jj}^{(n+s+m)} \ge P_{ji}^{(n)} P_{ii}^{(s)} P_{ij}^{(m)} > 0$$

なぜなら、不等式の最も左側が表しているのは状態 $j$ から出発して $n+s+m$ 歩の推移の後に再び $j$ に戻る確率であり、それは当然、より多くの制限を加えた部分事象の確率よりも大きくなるからである。その部分事象とは、$j$ から出発して $n$ 歩の推移で $i$ に至り、そこからさらに $s$ 歩で $i$ に戻り、また $i$ から出発して $m$ 歩で $j$ に到達するというものである。その結果も同様に $n+s+m$ 歩推移して $j$ に戻ることになる。$d(j)$ の定義により、それは $n+m$ および $n+s+m$ を同時に割り切るため、$d(j)$ は必ず $s$ を割り切る。一方、$d(i)$ は $P_{ii}^{(s)} > 0$ を満たすすべての $s$ の最大公約数であるため、$d(j)$ は $d(i)$ を割り切る。同様にして $d(i)$ は $d(j)$ を割り切ることも証明できるため、$d(i) = d(j)$ を得る。

以下では周期の基本的な性質について議論する。次の結論が得られる。

命題 3.3 状態 $i$ が周期 $d(i)$ を持つならば、ある整数 $N$ が存在して、すべての $n > N$ に対して常に $P_{ii}^{(n d(i))} > 0$ となる。

証明． この命題の証明は主に数論的な事実に依存している。すなわち、もし正整数 $n_1, n_2, \cdots, n_k$ の最大公約数が $d$ であれば、ある正整数 $N$ が存在して、すべての $n > N$ に対して非負整数 $c_r$ を見つけて以下を満たすようにできる。

$$n d = \sum_{r=1}^k c_r n_r\tag{40}$$

状態 $i$ について、$n_1, n_2, \cdots, n_k$ を $P_{ii}^{(n_r)} > 0$ ($r=1,2,\cdots,k$) となるような正整数とすると、周期の定義により $d(i)$ はそれらの最大公約数となる。そして((40))式より $n > N$ に対して

$$P_{ii}^{(n d(i))} = P_{ii}^{\left(\sum_{r=1}^k c_r n_r\right)} \ge \prod_{r=1}^k \left(P_{ii}^{(n_r)}\right)^{c_r} > 0$$

となる。

命題3.3および事実 $P_{ji}^{(m+nd(i))} \ge P_{ji}^{(m)} P_{ii}^{(nd(i))}$ から、直ちに次の系が得られる。

系 3.1 もし $P_{ji}^{(m)} > 0$ ならば、ある正整数 $N$ が存在して、$n \ge N$ に対して常に $P_{ji}^{(m+nd(i))} > 0$ となる。

これらの性質を議論する意義はどこにあるのだろうか。それは、$n$ が非常に大きいときに $P_{ji}^{(n)}$ の極限が存在するかどうか、存在する条件は何か、もし存在するならどのように簡便に求められるかを研究する助けになることである。周期性とは、ある同値類内のすべての状態が共有する性質である。周期が1であるとき、マルコフ連鎖は非周期的であると呼ばれる。非周期的で既約なマルコフ連鎖に対して、以下の結論がある。

命題 3.4 $P$ を既約、非周期的かつ有限状態のマルコフ連鎖の推移確率行列とする。このとき、必ず $N$ が存在し、$n \ge N$ のとき、$n$歩推移確率行列 $P^{(n)}$ のすべての要素がゼロではなくなる。

証明． マルコフ連鎖が既約であるため、過程の任意の2つの状態 $i$ と $j$ は到達可能であり、したがって（$i, j$ に依存する）ある $m$ が存在して $P_{ij}^{(m)} > 0$ となる。系3.1および連鎖が非周期的であることから、$n \ge N$ のときに $P_{ij}^{(m+n \cdot 1)} > 0$ となるような $N$ が存在することがわかる。状態空間は有限であるため、すべての状態対 $(i,j)$ に対して $N(i,j)$ を求め、$N = \max_{(i,j)} (m(i,j) + N(i,j))$ と取れば、すべての状態 $i, j$ に対して $n > N$ のときに $P_{ij}^{(n)} > 0$ となることは明らかである。

このように、$P^n$ の要素がすべてゼロでなくなるような $n$ が存在する $k$ 個の状態（$0, 1, \cdots, k-1$ と記す）を持つマルコフ連鎖は、正則（regular）であると呼ばれる。そして最も重要な事実は、正則な有限状態マルコフ連鎖に対して、極限 $\lim_{n\to\infty} P_{ij}^{(n)}$ が常に存在し（これを $\pi_j$ と記す。極限は初期状態に依存しないことに注意）、かつこれらの極限が確率分布を構成するということである。すなわち $\pi = (\pi_0, \pi_1, \cdots, \pi_{k-1})$ に対して、$\pi_j > 0$ （$j=0,1,\cdots,k-1$）かつ $\sum_j \pi_j = 1$ を満たす。これらは次節の極限定理と定常分布で議論する内容である。

3.2.2 常返（recurrent）と瞬過（transient）

以下の議論の便宜上、重要な確率 $f_{ij}^{(n)}$ を導入する。これは $i$ から出発して $n$ 歩の推移で初めて $j$ に到達する確率を表し、式で表現すると以下のようになる。

$$\begin{aligned}f_{ij}^{(0)} &= 0 \\ f_{ij}^{(n)} &= P\{X_n = j, X_k \ne j, k=1, \cdots, n-1 \mid X_0 = i\}\end{aligned}$$

そして $f_{ii}^{(n)}$ は、$i$ から出発して第 $n$ 回目の推移で初めて状態 $i$ に戻る確率を表す。出発したことがなければ戻ることはあり得ないため、$f_{ii}^{(0)} = 0$ と約束する。同様に次のように定義する。

$$f_{ii}^{(n)} = P\{X_n = i, X_k \ne i, k=1, \cdots, n-1 \mid X_0 = i\}$$

$f_{ij} = \sum_{n=1}^\infty f_{ij}^{(n)}$ と記すと、これは $i$ から出発して最終的に状態 $j$ に移る確率である。$i \ne j$ のとき、$i \to j$ となるのは $f_{ij} > 0$ のとき、かつそのときに限る。これで次の定義を与えることができる。

定義 3.5 もし $f_{ii} = 1$ であれば、状態 $i$ は常返（recurrent）であると呼ぶ。常返でない状態は瞬過（transient）であると呼ばれる。

定義からわかるように、もし常返状態であれば、$i$ から出発して有限歩の推移の後に最終的に再び $i$ に戻る確率は1である。では、ある状態が常返であるかどうかはどのように判定すればよいのだろうか。$n$ 歩推移確率 $P_{ii}^{(n)}$ で表される判定基準を与える。

定理 3.2 状態 $i$ が常返であるための必要十分条件は

$$\sum_{n=1}^\infty P_{ii}^{(n)} = \infty\tag{41}$$

である。もちろんこれと同等に、状態 $i$ が瞬過であるための必要十分条件は

$$\sum_{n=1}^\infty P_{ii}^{(n)} < \infty\tag{42}$$

である。

証明． まず瞬過状態を考える。このとき過程が $i$ から出発して少なくとも1回戻る確率は $f_{ii} < 1$ である。過程のマルコフ性により、一度 $i$ に戻ると過程のその後の展開は現在にのみ依存するため、$i$ から出発して少なくとも2回戻る確率は $f_{ii}^2$ となる。このように繰り返し続け、過程が $i$ に戻る回数を確率変数 $K$ とすると、$X_0 = i$ が与えられた下での $K$ の条件付き確率分布は以下を満たすはずである。

$$P\{K \ge k \mid X_0 = i\} = f_{ii}^k, \quad k=1,2,\cdots$$

これはまさにパラメータが $1-f_{ii}$ の幾何分布である。したがって $K$ の条件付き期待値は

$$E[K \mid X_0 = i] = \sum_{k=1}^\infty P(K \ge k \mid X_0 = i) = \sum_{k=1}^\infty f_{ii}^k = \frac{f_{ii}}{1-f_{ii}}$$

となる。明らかに、$f_{ii} < 1$ のとき $E[K \mid X_0 = i] < \infty$ である。すなわち、過程が $i$ から出発して $i$ に戻る平均回数は有限である。一方で、

$$I_n = \begin{cases} 1, & X_n = i \text{ のとき}, \\ 0, & \text{その他}, \end{cases}$$

と記すと、$K = \sum_{n=1}^\infty I_n$ となる。したがって

$$\sum_{n=1}^\infty P_{ii}^{(n)} = \sum_{n=1}^\infty P\{X_n = i \mid X_0 = i\} = \sum_{n=1}^\infty E[I_n \mid X_0 = i] = E\left[\sum_{n=1}^\infty I_n \mathrel{\Big|} X_0 = i\right] = E[K \mid X_0 = i] < \infty$$

となる。

逆に、もし $\sum_{n=1}^\infty P_{ii}^{(n)} < \infty$ であれば、必ず $i$ は瞬過である。そうでないとし、$i$ が常返であると仮定すると、$i$ から出発して最終的に $i$ に戻る確率は1である。マルコフ性により過程は継続して繰り返し、絶えず戻るため、確率1で過程が $i$ に戻る回数は無限大となる。すなわち $E[K \mid X_0 = i] = \infty$ であり、これは $\sum_{n=1}^\infty P_{ii}^{(n)} < \infty$ と矛盾する。定理は証明された。

系 3.2 もし $i$ が常返であり、かつ $i \leftrightarrow j$ であれば、$j$ も常返である。

証明． $i \leftrightarrow j$ より、ある $m, n$ が存在して $P_{ji}^{(m)} > 0$ かつ $P_{ij}^{(n)} > 0$ となる。したがって任意の正整数 $s > 0$ に対して

$$P_{jj}^{(m+s+n)} \ge P_{ji}^{(m)} P_{ii}^{(s)} P_{ij}^{(n)}$$

となるため、

$$\sum_{s=1}^\infty P_{jj}^{(m+s+n)} \ge \sum_{s=1}^\infty P_{ji}^{(m)} P_{ii}^{(s)} P_{ij}^{(n)} = P_{ji}^{(m)} P_{ij}^{(n)} \sum_{s=1}^\infty P_{ii}^{(s)} = \infty$$

である。よって $\sum_{k=1}^\infty P_{jj}^{(k)} = \infty$ となる。定理3.2により $j$ は常返状態であることがわかる。常返性もまた同値類が共有する性質である。同じ同値類内の状態は、すべて常返であるか、すべて瞬過であるかのいずれかである。

例 3.8 整数点上でのランダムウォークを続けて考える。右に1マス移動する確率を $p$、左に1マス移動する確率を $q = 1-p$ とする。原点（状態0）から出発して偶数歩推移したときにしか原点には戻れないため、$n=0, 1, 2, \cdots$ に対して $P_{00}^{(2n+1)} = 0$ であり、$P_{00}^{(2n)} = \binom{2n}{n} p^n q^n$ となる。スターリングの公式を用いると、$n$ が十分に大きいとき $n! \sim n^{n+1/2} e^{-n} \sqrt{2\pi}$ であるため、$P_{00}^{(2n)} \sim \frac{2^{2n}(pq)^n}{\sqrt{\pi n}} = \frac{(4pq)^n}{\sqrt{\pi n}}$ となる。そして $pq \le \frac{1}{4}$ であり、等号が成立するのは $p = q = \frac{1}{2}$ のとき、かつそのときに限る。したがって $p = \frac{1}{2}$ のときは $\sum_{n=1}^\infty P_{ii}^{(n)} = \infty$ となる。それゆえ、直線上の対称ランダムウォークは常返である。明らかに $p \ne q$ のとき、過程の状態は瞬過である。興味深いことに、2次元の対称ランダムウォークも常返であるが、3次元以上の対称ランダムウォークは瞬過になることが証明できる。具体的な証明は練習問題として残しておく。

常返状態について、$T_i$ を初めて状態 $i$ に戻る時刻と定義し、これを常返時と呼ぶ。$\mu_i = E[T_i]$ と記すと、以下が成り立つ。

$$\mu_i = \sum_{n=1}^\infty n f_{ii}^{(n)}\tag{43}$$

$f_{ii}^{(n)}$ は出発点から第 $n$ 歩の推移で初めて $i$ に戻る確率を表すため、$\mu_i$ は初めて戻るまでの期待歩数であり、状態 $i$ の平均常返時とも呼ばれる。$\mu_i$ を用いて常返状態をさらに分類し、零常返（null recurrent）と正常返（positive recurrent）に分けることができる。

定義 3.6 ある常返状態 $i$ は、$\mu_i = \infty$ のときかつそのときに限り零常返であると呼ばれ、$\mu_i < \infty$ のときかつそのときに限り正常返であると呼ばれる。

有限個の状態しか持たないマルコフ連鎖においては、$\mu_i$ は常に有限であるため、零常返状態が現れる可能性があるのは状態数が可算無限個の場合のみである（練習問題3の第15題を参照のこと）。状態数が少ない場合は直接的な計算と分析により状態の分類を明らかにできるが、状態の総数が多い場合はコンピュータの力を借りる必要がある。すでにグラフ理論のアルゴリズムを用いてマルコフ連鎖の分類を行う研究がなされているため、興味のある読者は関連する著作を参照されたい。

3.3 マルコフ連鎖の極限定理と定常分布

前節のマルコフ連鎖の状態分類に関する議論において、すでに常返状態の常返時 $T_i$ を導入した。これは以下のようにも記述できる。

$$T_i = \min\{n \ge 1 \mid X_n = i\}$$

そして

$$\begin{aligned}f_{ii}^{(n)} &= P\{X_n = i, X_k \ne i, k=1,\cdots,n-1 \mid X_0 = i\} \\ &= P\{T_i = n \mid X_0 = i\}, \quad n=1,2,\cdots\end{aligned}$$

は $T_i$ の条件付き確率分布を表し、$\mu_i = \sum_{n=1}^\infty n f_{ii}^{(n)}$ は $X_0 = i$ が与えられた下での $T_i$ の条件付き期待値となる。

より深く議論を進める前に、以下の例を見る。

例 3.9 状態0と1の2つの状態のみを持つマルコフ連鎖 $X_n$ を考える。その推移確率行列は以下の通りである。

$$P = \begin{pmatrix} 1-\alpha & \alpha \\ \beta & 1-\beta \end{pmatrix}, \quad 0 < \alpha, \beta < 1$$

$\alpha = 1-\beta$ のとき、$X_n$ は独立同分布の確率変数となり、$P\{X_n=0\} = \beta$、$P\{X_n=1\} = \alpha = 1-\beta$ である。一方 $\alpha \ne 1-\beta$ のときは通常意味されるマルコフ連鎖となる。直接計算することにより、状態0について $T_0$ の分布は以下のようになる。

$$\begin{aligned}f_{00}^{(1)} &= 1-\alpha \\ f_{00}^{(n)} &= \alpha\beta(1-\beta)^{n-2}, \quad n=2,3,\cdots\end{aligned}$$

したがって $\mu_0 = E[T_0] = \sum_{n=1}^\infty n f_{00}^{(n)} = \frac{\alpha+\beta}{\beta}$ となる。別の観点から見ると、以下のように記せる。

$$A = \begin{pmatrix} \beta & \alpha \\ \beta & \alpha \end{pmatrix}, \quad B = \begin{pmatrix} \alpha & -\alpha \\ -\beta & \beta \end{pmatrix}$$

このとき $P = \frac{1}{\alpha+\beta}A + \frac{1-\alpha-\beta}{\alpha+\beta}B$ となる。数学的帰納法により以下が証明できる。

$$P^n = \frac{1}{\alpha+\beta} \begin{pmatrix} \beta & \alpha \\ \beta & \alpha \end{pmatrix} + \frac{(1-\alpha-\beta)^n}{\alpha+\beta} \begin{pmatrix} \alpha & -\alpha \\ -\beta & \beta \end{pmatrix}$$

これは以下の等式が成り立つためである。

$$\begin{aligned}P^n \cdot P &= \frac{1}{\alpha+\beta}(A + (1-\alpha-\beta)^n B) \cdot P \\ &= \frac{1}{\alpha+\beta}(A \cdot P + (1-\alpha-\beta)^n B \cdot P) \\ &= \frac{1}{\alpha+\beta}(A + (1-\alpha-\beta)^{n+1} B) = P^{n+1}\end{aligned}$$

$0 < \alpha, \beta < 1$ より、$n \to \infty$ のとき $(1-\alpha-\beta)^n \to 0$ となることが直ちにわかるため、以下を得る。

$$\lim_{n\to\infty} P^n = \begin{pmatrix} \frac{\beta}{\alpha+\beta} & \frac{\alpha}{\alpha+\beta} \\ \frac{\beta}{\alpha+\beta} & \frac{\alpha}{\alpha+\beta} \end{pmatrix}$$

ここでの行列の極限とは、その各要素の数列の極限から構成される行列を意味する。$Q = \lim_{n\to\infty} P^{(n)}$、$Q = (q_{ij})$ とし、$q_{ij} = \lim_{n\to\infty} P_{ij}^{(n)}$ とすると、これは過程の初期状態が何であっても、過程が長期間経過した後には確率 $\frac{\beta}{\alpha+\beta}$ で状態0にあり、確率 $\frac{\alpha}{\alpha+\beta}$ で状態1にあることを示している。この極限確率 $\{\lim_{n\to\infty} P_{00}^{(n)}, \lim_{n\to\infty} P_{11}^{(n)}\}$ を $\{\pi_0, \pi_1\}$ と記す。もし $\pi = \{\pi_0, \pi_1\}$ が存在して確率分布となるならば、これをこのマルコフ連鎖の定常分布（平稳分布）と呼ぶ。現在 $\pi_0 = \frac{\beta}{\alpha+\beta}$ であり、注意深い読者であれば $\pi_0$ と $\mu_0$ が互いに逆数となっていることに気づくであろう。これは単なる偶然の一致ではなく、以下の定理3.3においてその背景にある深い理由を議論する。直観的に見れば、$\pi_0 = \lim_{n\to\infty} P_{00}^{(n)} = \frac{1}{\mu_0}$ の意味するところは、過程が状態0に戻る平均常返時が長いほど、長期的に見て過程が状態0に存在する確率が小さくなるということである。$\pi_0$ には2つの意味がある。時間という長い流れの中で過程が状態0に存在する割合（機会）を反映すると同時に、過程全体が平衡状態（極限状態）に達したときに状態0に存在する機会を表している。

定理 3.3（マルコフ連鎖の基本極限定理） (a) 状態 $i$ が瞬過または零常返であるならば、$\lim_{n\to\infty} P_{ii}^{(n)} = 0$ となる。 (b) 状態 $i$ が周期 $d$ を持つ常返状態であるならば、$\lim_{n\to\infty} P_{ii}^{(nd)} = \frac{d}{\mu_i}$ となる。 (c) 状態 $i$ が非周期的かつ正常返であるならば、$\lim_{n\to\infty} P_{ii}^{(n)} = \frac{1}{\mu_i}$ となる。

証明． ここでは(c)のみを証明するが、少し修正を加えれば(a)と(b)も証明できる。 $P_{ii}^{(n)}, f_{ii}^{(n)}$ ($n=0,1,2,\cdots$) の形式的な母関数をそれぞれ $P_i(t)$、$F_i(t)$ と記す。すなわち $t < 0$ に対して

$$P_i(t) = \sum_{n=0}^\infty e^{tn} P_{ii}^{(n)}, \quad F_i(t) = \sum_{n=0}^\infty e^{tn} f_{ii}^{(n)}$$

とする。練習問題3の第9題より $P_{ii}^{(n)} = \sum_{k=1}^n f_{ii}^{(k)} P_{ii}^{(n-k)}$ が知られているため、以下が成り立つ。

$$\begin{aligned}P_i(t) &= P_{ii}^{(0)} + \sum_{n=1}^\infty e^{tn} P_{ii}^{(n)} = 1 + \sum_{n=1}^\infty e^{tn} \sum_{k=1}^n f_{ii}^{(k)} P_{ii}^{(n-k)} \\ &= 1 + \sum_{k=1}^\infty f_{ii}^{(k)} \sum_{n=k}^\infty e^{tn} P_{ii}^{(n-k)} \\ &= 1 + \sum_{k=1}^\infty e^{tk} f_{ii}^{(k)} \sum_{n=k}^\infty e^{t(n-k)} P_{ii}^{(n-k)} \\ &= 1 + P_i(t) \sum_{k=1}^\infty e^{tk} f_{ii}^{(k)} = 1 + P_i(t) F_i(t)\end{aligned}$$

したがって $P_i(t) = \frac{1}{1-F_i(t)}$ を得る。 $t < 0$ および正常返性により、級数の絶対収束と和の順序交換の正当性が保証されるため、以下が成り立つ。

$$(1-e^t)P_i(t) = \frac{1-e^t}{1-F_i(t)}\tag{44}$$

上式の両辺についてそれぞれ極限をとる。まず左辺は以下のようになる。

$$\lim_{t \to 0^-} (1-e^t)P_i(t) = \lim_{t \to 0^-} \frac{\sum_{n=0}^\infty e^{tn} P_{ii}^{(n)}}{\sum_{n=0}^\infty e^{tn}} = \lim_{t \to 0^-} \frac{\sum_{k=0}^n e^{tk} P_{ii}^{(k)}}{\sum_{n=0}^k e^{tn}} = \lim_{k\to\infty} \frac{\sum_{n=0}^k P_{ii}^{(n)}}{k} = \lim_{k\to\infty} P_{ii}^{(k)}$$

ここで $\lim_{t \to 0^-}$ は0の左側から0に近づく極限を意味する。最後の等式は微積分におけるシュトルツ（Stolz）の定理を用いた。これは非負の収束数列の極限とその算術平均の極限が一致することを示している。一方、右辺についてはロピタルの定理により以下となる。

$$\lim_{t \to 0^-} \frac{1-e^t}{1-F_i(t)} = \lim_{t \to 0^-} \frac{-e^t}{-\sum_{n=0}^\infty n e^{tn} f_{ii}^{(n)}} = \frac{1}{\sum_{n=0}^\infty n f_{ii}^{(n)}} = \frac{1}{\mu_i}$$

これにより定理は証明された。

正常返かつ非周期的な状態は、エルゴード的（ergodic）とも呼ばれる。定理3.3 (c) は、エルゴード的な状態に対して $\lim_{n\to\infty} P_{ii}^{(n)} = \frac{1}{\mu_i}$ が成り立つことを示している。ここで $\mu_i$ は常返時の期待値である。異なる状態間の $n$ 歩推移確率 $P_{ji}^{(n)}$ については、以下の系がある。

系 3.3 状態 $j$ がエルゴード的であるならば、$i \to j$ となるすべての $i$ に対して以下が成り立つ。

$$\lim_{n\to\infty} P_{ji}^{(n)} = \lim_{n\to\infty} P_{jj}^{(n)} = \frac{1}{\mu_j}$$

証明は練習問題として読者に残しておく。

$P^n$ の各要素 $P_{ij}^{(n)}$ の極限を直接求めることは容易なことではなく、条件付き期待値 $E[T_i]$ を求めるのも便利ではない。これには一連の条件付き確率 $f_{ii}^{(n)}$ を求める必要があるためである。そのため、極限分布を扱うより簡便な方法が求められる。

定義 3.7 マルコフ連鎖が推移確率行列 $P = (P_{ij})$ を持つとする。ある確率分布 $\{\pi_i, i \ge 0\}$ が $\pi_j = \sum_{i=0}^\infty \pi_i P_{ij}$ を満たすとき、これをそのマルコフ連鎖の定常分布と呼ぶ。

容易にわかるように、過程の初期状態 $X_0$ が定常確率分布 $\pi = \{\pi_j, j \ge 0\}$ を持つ、すなわち $P\{X_0 = j\} = \pi_j$ であるならば、以下が成り立つ。

$$P\{X_1 = j\} = \sum_{i=0}^\infty P\{X_1 = j \mid X_0 = i\} P\{X_0 = i\} = \sum_{i=0}^\infty \pi_i P_{ij} = \pi_j$$

さらに帰納法により以下が得られる。

$$P\{X_n = j\} = \sum_{i=0}^\infty P\{X_n = j \mid X_{n-1} = i\} P\{X_{n-1} = i\} = \sum_{i=0}^\infty \pi_i P_{ij} = \pi_j$$

したがって、すべての $n$ に対して $X_n$ は同一の分布を持つ。さらにマルコフ性を加えれば、任意の $k \ge 0$ に対して $X_n, X_{n+1}, \cdots, X_{n+k}$ の同時分布が $n$ に依存しないことが直ちにわかる。つまり、確率過程としての $\{X_n, n \ge 0\}$ は定常（平稳）であり、定常分布という名はこれに由来する。この概念を用いて、重要な定理を議論することができる。

定理 3.4 既約なマルコフ連鎖のすべての状態がエルゴード的であるならば、すべての $i, j$ に対して極限 $\lim_{n\to\infty} P_{ij}^{(n)} = \pi_j$ が存在し、かつ $\pi = \{\pi_j, j \ge 0\}$ は定常分布となる。すなわち以下が成り立つ。

$$\begin{aligned}\sum_{j=0}^\infty \pi_j &= 1, \quad \pi_j > 0 \\ \sum_{i=0}^\infty \pi_i P_{ij} &= \pi_j\end{aligned}\tag{45}$$

逆に、既約なマルコフ連鎖にただ1つの定常分布が存在する（すなわち上の2式を満たす）とき、かつこのマルコフ連鎖のすべての状態がエルゴード的であるならば、その定常分布はこのマルコフ連鎖の極限分布となる。すなわち任意の $i$ に対して $\lim_{n\to\infty} P_{ij}^{(n)} = \pi_j$ が成り立つ。

証明． 定理3.3 (c) および系3.3により、エルゴード的な状態 $j$ に対して以下が知られている。

$$\lim_{n\to\infty} P_{ij}^{(n)} = \frac{1}{\mu_j}$$

かつ $\mu_j < \infty$ であるため $\frac{1}{\mu_j} > 0$ である。これを $\pi_j$ と記す。 $\sum_{j=0}^\infty P_{ij}^{(n)} = 1$ より、総和記号の内部で極限をとることにより $\sum_{j=0}^\infty \pi_j \le 1$ が証明できる。さらにチャップマン・コルモゴロフ方程式 $P_{ij}^{(n)} = \sum_{k=0}^\infty P_{ik}^{(n-1)} P_{kj}$ を用い、$n \to \infty$ とすると、一方で任意の $M$ に対して以下が導かれる。

$$\pi_j = \lim_{n\to\infty} P_{ij}^{(n)} = \lim_{n\to\infty} \sum_{k=0}^\infty P_{ik}^{(n-1)} P_{kj} \ge \lim_{n\to\infty} \sum_{k=0}^M P_{ik}^{(n-1)} P_{kj} = \sum_{k=0}^M \pi_k P_{kj}$$

すなわち $\pi_j \ge \sum_{k=0}^\infty \pi_k P_{kj}$ である。他方、もし $\pi_j$ が厳密に $\sum_{k=0}^\infty \pi_k P_{kj}$ より大きいとすると、以下が成り立つ。

$$\sum_{j=0}^\infty \pi_j > \sum_{j=0}^\infty \sum_{k=0}^\infty \pi_k P_{kj} = \sum_{k=0}^\infty \pi_k \sum_{j=0}^\infty P_{kj} = \sum_{k=0}^\infty \pi_k$$

すでに証明された不等式 $\sum_{j=0}^\infty \pi_j \le 1$ が和の順序交換の妥当性と $\sum_j \pi_j$ の収束を保証しているため、ここで矛盾が生じる。背理法により、必ず等式が成立することがわかる。すなわち $\pi_j = \sum_{k=0}^\infty \pi_k P_{kj}$ である。この式を上式の $\pi_k$ に繰り返し代入していくと、$\pi_j = \sum_{k=0}^\infty \pi_k P_{kj}^{(n)}$ が得られる。さらに $n \to \infty$ とすれば、$\pi_j = \sum_{k=0}^\infty \pi_k \pi_j = \pi_j \sum_{k=0}^\infty \pi_k$ となる。$\pi_j > 0$ より $\sum_{k=0}^\infty \pi_k = 1$ が導かれ、$\pi = \{\pi_j, j \ge 0\}$ が確かに定常分布であることがわかる。

逆に、既約なマルコフ連鎖に定常分布 $\pi_j$ が存在すると仮定すると、帰納法により任意の $n$ に対して $\pi_j = \sum_{k=0}^\infty \pi_k P_{kj}^{(n)}$ となることがわかる。連鎖の既約性により、連鎖内の各状態は同じ種類に属する。また $\pi_j > 0$ および $\sum_j \pi_j = 1$ より、それらが瞬過または零常返であることはあり得ないことがわかる。もしそうであれば $\lim_{n\to\infty} P_{kj}^{(n)} = 0$ となってしまうからである。したがって $\lim_{n\to\infty} P_{kj}^{(n)} = \frac{1}{\mu_j}$ となるしかない。先の式で $n \to \infty$ とすれば、以下が得られる。

$$\pi_j = \sum_{k=0}^\infty \pi_k \frac{1}{\mu_j} = \frac{1}{\mu_j}$$

これにより、この極限分布がまさに定常分布であることが証明された。

例 3.9（続） 例3.9において、定常分布の満たすべき方程式は以下のようになる。

$$\begin{cases} \pi_0 + \pi_1 = 1 \\ (1-\alpha)\pi_0 + \beta\pi_1 = \pi_0 \\ \alpha\pi_0 + (1-\beta)\pi_1 = \pi_1 \end{cases}$$

この解は $\pi_0 = \frac{\beta}{\alpha+\beta}$、$\pi_1 = \frac{\alpha}{\alpha+\beta}$ となる。これは例3.9の計算ですでに知られているものであり、アプローチは異なっても同じ結果にたどり着く。

実際の応用において、$\{\pi_j\}$ には2つの解釈がある。1つは $P_{ij}^{(n)}$ の極限分布としての解釈であり、過程の長期的な実行において初期状態が何であれ、一定期間経過後に過程が状態 $j$ にある確率が $\pi_j$ になることを教えてくれる。もう1つの解釈は、$\pi_j$ が長期的に見て過程が状態 $j$ を訪問する回数が総時間に占める平均的な割合（シェア）を表すというものである。これは以下の系から見て取れる。

$$I_n = \begin{cases} 1, & X_n = j \text{ のとき} \\ 0, & \text{その他の場合} \end{cases}$$

とすると、$m$ 歩の推移中に訪問する回数が占める割合は $\frac{1}{m} \sum_{n=0}^{m-1} I_n$ となる。初期状態が $X_0 = i$ である場合、この割合の条件付き期待値は以下のようになる。

$$E\left[\frac{1}{m} \sum_{n=0}^{m-1} I_n \mathrel{\Big|} X_0 = i\right] = \frac{1}{m} \sum_{n=0}^{m-1} P\{X_n = j \mid X_0 = i\} = \frac{1}{m} \sum_{n=0}^{m-1} P_{ij}^{(n)}$$

$m \to \infty$ のとき、再びシュトルツの定理により以下となる。

$$\lim_{m\to\infty} \frac{1}{m} \sum_{n=0}^{m-1} P_{ij}^{(n)} = \lim_{m\to\infty} P_{ij}^{(m)} = \pi_j$$

これが第2の解釈を支持している。

周期を持つマルコフ連鎖や、連鎖が可約である場合の極限分布の計算はさらに複雑になるが、紙面の制約からここでは詳細な議論を行わない。

3.4 分岐過程

分岐過程（Branching process）の概念は、早くも1874年にF. Galtonによって初めて提唱された。当時彼が研究していたのは家族の姓の消滅問題であったが、この数学モデルは特殊なマルコフ連鎖の一種であり、生物の遺伝や原子核の連鎖反応などの分野にも応用されている。モデルの概要は以下の通りである。第0世代（通常は祖先と呼ばれる）に1つの個体が存在し、それが繁殖する第1世代の子供の数は確率変数であり、0、1、2、$\cdots$ となり得る。そして、第1世代の各個体はさらに子孫を派生させ、集団全体は繁栄することもあれば、消滅することもある。例えば原子核の連鎖反応において、原子は中性子の衝突によって核分裂を起こすが、分裂によって放出された中性子は別の原子に衝突して連鎖反応を引き起こす機会を持つ。したがって、前の世代の衝突によって生成された中性子の多少が、次の世代で生成される中性子の数に直接影響を与えることになる。第0世代の祖先の数を $X_0$ と記し（通常は1と仮定する）、第 $n$ 世代の子孫の大きさを $X_n$ と記す。このときのマルコフ連鎖 $\{X_n, n \ge 0\}$ を分岐過程と呼ぶ。第 $n$ 世代の $i$ 番目の個体が繁殖する子孫の数を $Z_i$ と記すと、以下が成り立つ。

$$X_{n+1} = \sum_{i=1}^{X_n} Z_i$$

すなわち、$X_{n+1}$ は $X_n$ 個の確率変数 $Z_i$ の確率和である。各世代の個体の繁殖能力は同じであり、かつ同世代の個体の繁殖は互いに独立であると単純化して仮定する。このとき $Z_i$ は独立同分布であり、$P(Z_1 = k) = p_k$ である。さらに $EZ_1 = \mu$、$Var Z_1 = \sigma^2$ と記す。このとき、マルコフ連鎖 $\{X_n, n \ge 0\}$ の推移確率は $P_{ij} = P\{X_{n+1} = j \mid X_n = i\} = P\left\{\sum_{k=1}^i Z_k = j\right\}$ と計算できる。第1章の((20))式を用いると、$X_{n+1}$ の期待値と分散は以下を満たすことがわかる。

$$\begin{aligned}EX_{n+1} &= EX_n \cdot EZ_1 \\ Var X_{n+1} &= EX_n \cdot Var Z_1 + Var X_n \cdot (EZ_1)^2\end{aligned}\tag{46}$$

(46)式を繰り返し用いると、以下が得られる。

$$EX_{n+1} = EX_n \cdot \mu = EX_{n-1} \cdot \mu^2 = \cdots = EX_1 \cdot \mu^n = \mu^{n+1}$$

ここで、第0世代には1つの個体しかいないため、$X_1$ と $Z_1$ は同分布であることに注意する。同様に(46)式より、以下がわかる。

$$\begin{aligned}Var X_{n+1} &= \mu^n \cdot \sigma^2 + Var X_n \cdot \mu^2 \\ &= \mu^n \cdot \sigma^2 + \mu^2 [\mu^{n-1} \cdot \sigma^2 + Var(X_{n-1}) \mu^2] \\ &= \mu^n \cdot \sigma^2 + \mu^{n+1} \cdot \sigma^2 + \mu^4 [\mu^{n-2} \sigma^2 + Var(X_{n-2}) \cdot \mu^2] \\ &= \cdots = \sigma^2 \mu^n [1 + \mu + \cdots + \mu^n] \\ &= \begin{cases} \sigma^2 \mu^n \dfrac{1-\mu^{n+1}}{1-\mu}, & \mu \ne 1, \\ (n+1)\sigma^2, & \mu = 1. \end{cases}\end{aligned}$$

(46)式、(46)式からわかるように、$\mu$ の大きさは集団全体や家族の繁栄と存亡にとって極めて重要である。$\mu < 1$ であり、かつ $n$ が非常に大きいとき、$EX_n$ と $Var X_n$ はともに0に近づく。有名なチェビシェフ（Chebyshev）の不等式より、任意に与えられた $\epsilon > 0$ に対して直ちに以下が導かれる。

$$P\{|X_n - EX_n| > \epsilon\} \le \frac{Var X_n}{\epsilon^2}$$

すなわち $n \to \infty$ のとき $P\{|X_n - 0| > \epsilon\} \to 0$ となることが証明できる。言い換えれば、$X_n$ は確率収束で0に近づき、集団は最終的に消滅する。一方、$\mu \ge 1$ のときの集団消滅確率は比較的複雑な問題となるが、これは分岐過程における興味深い量である。マルコフ連鎖の状態分類の観点から見れば、集団の消滅とはある時刻 $n$ において過程 $X_n$ が吸収状態に入ることであり、集団の消滅確率は過程が最終的に吸収状態に入る確率に他ならない。中性子の衝突による原子核分裂の物理問題においては、$p_0 = P(Z_1 = 0) = 0$（すなわち粒子は消滅しない）であり、$p_1$ は原子が命中されないか分裂しない確率となる。このとき人々が最も関心を持つのは消滅確率ではなく、粒子数が増加する速度である。

我々は母関数を用いて消滅確率を研究する。過程 $X_n$ の母関数を $\phi_n(s)$ と記し、$X_1$ の母関数を直接 $\phi(s)$ と記す。すなわち $\phi(s) = \sum_{k=0}^\infty p_k s^k$ であり、ここで $p_k = P(X_1 = k), k=0, 1, 2, \cdots$ である。第1章の((24))式より、確率和 $X_{n+1}$ の母関数は $\phi_{n+1}(s) = \phi_n(\phi(s))$ または $\phi_{n+1}(s) = \phi(\phi_n(s))$ と表すことができる。単一の祖先から始まった家族が第 $n$ 世代までに消滅する確率を $\pi_n$ と記すと、$\pi_n = P\{X_n = 0\} = \phi_n(0)$ である。我々が関心を持つ集団全体が最終的に消滅する確率は、$n \to \infty$ のときの $\pi_n$ の極限である。$p_0 = 1$ のとき、家族は発端から生じ得ない。一方 $p_0 = 0$ のとき、それは決して消滅しない。そのため一般に $0 < p_0 < 1$ を仮定する。このとき $s \in (0, 1)$ に対して

$$\phi'(s) = \frac{d}{ds}\left(\sum_{j=0}^\infty p_j s^j\right) = \sum_{j=1}^\infty p_j \cdot j \cdot s^{j-1} > 0$$

となるため、$\phi(s)$ は $(0, 1)$ 区間における単調増加関数となる。そして $\phi(0) = p_0 > 0$ であるため、

$$\pi_{n+1} = \phi_{n+1}(0) = \phi_n(\phi(0)) > \phi_n(0) = \pi_n$$

となる。したがって $\pi_n$ は $n$ に伴い単調に増加し、極限 $\lim_{n \to \infty} \pi_n$ が存在する。これを $\pi$ と記すと、$\pi$ こそが集団の消滅確率である。$\phi_{n+1}(s) = \phi(\phi_n(s))$ より $\pi_{n+1} = \phi(\pi_n)$ であることがわかる。さらに $n \to \infty$ とすれば $\pi = \phi(\pi)$ が得られる。したがって関数方程式 $\phi(s) = s$ を解くことにより $\pi$ を求めることができる。実際、以下の定理を厳密に証明することもできる。

定理 3.5 分岐過程 $X_n$ について、$p_0 > 0, p_0 + p_1 < 1$ であるならば、以下が成り立つ。 (a) 集団の消滅確率は方程式 $\phi(s) = s$ の最小の正の解である。ここで $\phi(s) = \sum_{j=0}^\infty p_j s^j$ であり、$\{p_j\}$ は $X_1$ と $Z_1$ の確率分布である。 (b) $\pi = 1$ となるのは $\mu \le 1$ のとき、かつそのときに限る。ここで $\mu = EZ_1$ である。

証明． ここでは(a)のみを証明する。(b)の証明には凸関数に関する知識がいくらか必要となるため、興味のある読者は数学解析の証明問題として練習してみるとよい。問題は、もし $\phi(s)$ が $(0, 1]$ 半開区間上の狭義凸関数であるならば、1が関数方程式 $\phi(s) = s$ の最小の正の解となるための必要十分条件は $\phi'(1) \le 1$ となることである。(a)を証明するため、$x$ を方程式 $\phi(s) = s$ の任意の正の根とする。このとき $\pi_1 = \phi(0) < \phi(x) = x$ であり、$\phi_{n+1}(s) = \phi(\phi_n(s))$ および帰納法により $\pi_{n+1} = \phi(\pi_n) < \phi(x) = x$ が得られる。したがって $\pi = \lim_{n \to \infty} \pi_n \le x$ である。また $\lim_{n \to \infty} \pi_n$ が存在することから、$\pi$ が $\phi(s) = s$ の根であることがわかるため、(a)が証明された。

定理の(b)は、$\mu \le 1$ のときは集団が必ず消滅し、$\mu > 1$ のときは集団が正の確率 $1 - \pi$ で無限大まで成長することを示している。

例 3.10 ある生物集団において、各個体が派生させる次世代の数がパラメータ $\lambda$ のポアソン（Poisson）分布に従うと仮定する。すると以下が成り立つ。

$$p_k = P(Z = k) = \frac{\lambda^k}{k!} e^{-\lambda}, \quad k = 0, 1, 2, \cdots$$

$i$ 個の独立なパラメータ $\lambda$ のポアソン確率変数の和は依然としてポアソン確率変数であり、そのパラメータは $i\lambda$ となる。したがって、分岐過程 $X_n$ の推移確率は

$$p_{ij} = P\{X_{n+1} = j \mid X_n = i\} = \frac{(\lambda i)^j}{j!} e^{-\lambda i}$$

となる。また、ポアソン変数の母関数は $\phi(s) = \exp\{\lambda(s - 1)\}$ である。曲線 $e^{\lambda(s - 1)}$ と直線 $s$ は $(0, 1)$ 区間でただ1つの交点を持ち、この交点がまさに集団の消滅確率となる。そして $\lambda > 1$ のとき集団は正の確率 $1 - \pi$ で無限大まで成長し、$\lambda \le 1$ のときは $\pi = 1$ となり集団は必ず消滅する。例えば $\lambda = 2$ とすると、$\pi \approx 0.2$ となる。

分岐過程には様々な一般化が考えられる。例えば、成熟した個体が $Z$ 個の次世代を生み出し、その母関数が $\phi(s)$ であるとする。一方で未成熟な個体は確率 $p$ で成熟し、確率 $q = 1 - p$ で未成熟な状態のままとどまるため子孫を繁殖できないとする。すると、子孫を産む数という確率変数の母関数は $(1 - p) + p\phi(s)$ となる。このとき、各個体が繁殖する子孫の期待値は $p\phi'(1)$、分散は $p[\phi''(1) + \phi'(1) - (\phi'(1))^2]$ となる。集団内に $k$ 個の個体が存在し、それぞれが独立に子孫を繁殖させる場合、産まれる子孫の数は母関数 $(q + p\phi(s))^k$ を持つ。これは多重分岐過程の一例である。移民を伴うものや、死傷を伴うさらに複雑な集団成長モデルを考えることもでき、これらは生物学、人口学、および社会科学において広範な応用を持つが、紙面の制約により一つ一つ詳細に紹介することはできない。

3.5 連続時間マルコフ連鎖

3.5.1 連続時間マルコフ連鎖

その名の通り、連続時間マルコフ連鎖の要点もマルコフ性である。マルコフ性とは、現在の状態が与えられたとき、過程の未来の展開が過去の状況から独立していることである。離散時間マルコフ連鎖と異なるのは、時間パラメータを離散的な $0, 1, 2, \cdots$ から連続的な実数へと変更した点のみであり、一般に $t \ge 0$ となる。一方、過程の取る値や属する状態は依然として整数で標識される。ポアソン過程や生滅過程など、多くの重要な確率モデルが連続時間マルコフ連鎖である。

定義 3.8 確率過程 $X(t), t \ge 0$ が、すべての $s, t \ge 0$ と任意の非負整数 $i, j$、および $x(u), 0 \le u \le s$ に対して以下を満たすとき、これを連続時間マルコフ連鎖と呼ぶ。

$$P\{X(t+s) = j \mid X(s) = i, X(u) = x(u), 0 \le u < s\} = P\{X(t+s) = j \mid X(s) = i\}\tag{47}$$

(47)式が表しているのがまさにマルコフ性である。さらに $P\{X(t+s) = j \mid X(s) = i\}$ が $s$ に依存しない場合、この $X(t)$ は定常推移確率を持つ連続時間マルコフ連鎖とも呼ばれる。これが我々の主な研究対象となり、このとき定常推移確率は簡単に $P_{ij}(t)$ と記すことができる。過程の初期分布は引き続き $p_i = P\{X(0) = i\}$ と記す。すると依然として以下の命題が成り立つ。

命題 3.5 連続時間マルコフ連鎖の推移確率 $P_{ij}(t)$ と $p_i$ は、過程のすべての結合分布を完全に決定する。

証明． マルコフ性により、任意の $0 < t_1 < t_2 < \cdots < t_n$ と状態 $i_k$ ($1 \le k \le n, n = 0, 1, 2, \cdots$) に対して以下が成り立つ。

$$\begin{aligned}&P\{X(t_n) = i_n, X(t_{n-1}) = i_{n-1}, \cdots, X(0) = i_0\} \\ &= P\{X(t_n) = i_n \mid X(t_{n-1}) = i_{n-1}, \cdots, X(0) = i_0\} \\ &\quad \cdot P\{X(t_{n-1}) = i_{n-1} \mid X(t_{n-2}) = i_{n-2}, \cdots, X(0) = i_0\} \cdots P\{X(0) = i_0\} \\ &= P_{i_{n-1}, i_n}(t_n - t_{n-1}) \cdots P_{i_0, i_1}(t_1) p_{i_0}\end{aligned}$$

ここでの問題は、すべての $t \ge 0$ で定義された関数群 $P_{ij}(t)$ がマルコフ連鎖の推移確率として機能するためには、どのような条件を満たすべきかということである。いくつかの条件は自明である。例えば、

$$P_{ij}(t) \ge 0, \quad \sum_j P_{ij}(t) = 1\tag{48}$$

である。また、もし過程が状態 $i$ から状態 $j$ へ推移するのに時間 $t + \tau$ を費やしたとすれば、時刻 $\tau$ において過程は必ずある状態 $k$ に存在しているはずである。したがって

$$\begin{aligned}P\{X(t+\tau) = j, X(\tau) = k \mid X(0) = i\} &= P\{X(t+\tau) = j \mid X(\tau) = k, X(0) = i\} \cdot P\{X(\tau) = k \mid X(0) = i\} \\ &= P_{kj}(t) P_{ik}(\tau)\end{aligned}$$

となるため、$P_{ij}(t)$ は連続形式のチャップマン・コルモゴロフ方程式を満たす必要がある。

$$P_{ij}(t+\tau) = \sum_k P\{X(t+\tau) = j, X(\tau) = k \mid X(0) = i\} = \sum_k P_{ik}(\tau) P_{kj}(t)\tag{49}$$

さらに、過程が有限の時間内に無限回の推移をしないようにするための条件を追加する。つまり、過程がある状態に到着して瞬時に離れることがないようにする。これは任意の状態 $i$ に対して以下を要求する。

$$\lim_{\tau \downarrow 0} P\{X(t+\tau) = i \mid X(t) = i\} = \lim_{\tau \downarrow 0} P_{ii}(\tau) = 1\tag{50}$$

実際、以下の定理を証明することができる。

定理 3.6 関数 $P_{ij}(t)$ が瞬時推移のないマルコフ過程の推移確率関数となるための必要十分条件は、それが条件(48)、(49)、および(50)を満たすことである。

連続時間マルコフ連鎖が離散時間マルコフ連鎖と異なるのは、過程を考察する際にどの状態へ推移するか、推移する機会はどれくらいかに関心を持つだけでなく、過程がある状態にどれくらいの時間とどまるかにも関心を持つ点である。もし時刻0において過程が状態 $i$ にあり、$s$ 単位時間だけ $i$ にとどまり離れていないと仮定したとき、その後の $t$ 単位時間でも過程が離れない確率はどれくらいだろうか。マルコフ性より、過程が $[s, s+t]$ の時間区間で $i$ にとどまる確率（実際には条件付き確率）は、過程が少なくとも $s$ 単位時間は状態 $i$ にとどまるという条件の下で、それと等価である。過程は時刻 $s$ より前の過去を忘れてしまったかのようである。したがって、過程が推移する前に状態 $i$ にとどまる時間を $\tau_i$ と記せば、$P\{\tau_i > s+t \mid \tau_i > s\} = P\{\tau_i > t\}$ となるはずである。

もしこの式がすべての $s, t > 0$ に対して成立するならば、確率変数 $\tau_i$ は無記憶性を持つと言う。確率論の知識より、$\tau_i$ が指数分布に従うことを容易に導くことができる。そのパラメータを $\nu_i$ と記す。このように分析すると、連続時間マルコフ連鎖に対する理解が明確になる。連続時間マルコフ連鎖は、以下の2つの性質を持つ確率過程である。 (a) 過程がある状態 $i$ から他の状態へ推移する前に、$i$ にとどまる時間はパラメータ $\nu_i$ の指数分布に従う。 (b) 過程が状態 $i$ を離れ、次の推移で状態 $j$ へ移る確率は $P_{ij}$ である。ここで $\sum_{j \ne i} P_{ij} = 1$ である。

(a)におけるパラメータ $\nu_i$ は $i$ に依存することに注意する。これは、とどまる時間の分布が異なる状態では異なる可能性があるが、すべて指数分布のタイプに属することを示している。これら2つの性質があれば、連続時間マルコフ連鎖を比較的容易に理解できる。一般に $\nu_i = \infty$ の場合は考慮しない。$\nu_i = 0$ のとき、状態 $i$ は吸収状態となり、一度入ると永遠に推移できなくなる。$\nu_i$ は過程が状態 $i$ を離れる速度を表し、$P_{ij}$ は過程が推移を起こすときに $i$ から $j$ へ移る確率であるため、$j \ne i$ のとき $q_{ij} = \nu_i P_{ij}$ と記すと、$q_{ij}$ は過程が $i$ から $j$ へ移る推移率を表す。

例 3.11 ポアソン過程 $\{X(t), t \ge 0\}$ を考える。時間区間 $[t, t+\tau]$ 内に到着する粒子数はパラメータ $\lambda\tau$ のポアソン分布に従う。独立増分性により、$0 \le t_1 < \cdots < t_n < t$ に対して

$$\begin{aligned}&P\{X(t+\tau) = k+j \mid X(t) = j, X(t_n) = j_n, \cdots, X(t_1) = j_1\} \\ &= \frac{(\lambda\tau)^k}{k!} e^{-\lambda\tau} = P\{X(t+\tau) - X(t) = k\} \\ &= P\{X(t+\tau) = k+j \mid X(t) = j\}\end{aligned}$$

となるため、$X(t)$ は定常推移確率を持つ連続時間マルコフ連鎖であり、その推移確率は

$$P_{ij}(t) = \begin{cases} 0, & j < i, \\ \dfrac{(\lambda t)^{j-i}}{(j-i)!} e^{-\lambda t}, & j \ge i \end{cases}$$

である。ポアソン過程に対しては、$j \ne i+1$ のとき $q_{ij} = 0$ であり、$j = i+1$ のとき $P_{i, i+1} = 1, \nu_i = \lambda$ となるため、推移率 $q_{i, i+1} = \lambda$ である。2回の推移の間の間隔時間はパラメータ $\lambda$ の指数分布に従う。これは第2章ですでに知られている通りである。ポアソン過程は連続時間マルコフ連鎖を理解するための基本的な範例である。

連続時間マルコフ連鎖を分析・研究する際によく用いられる方法は、無限小解析である。マルコフ性を利用し、非常に小さな $h$ について $P_{ij}(h)$ に関連する関係式、あるいは推移確率が満たすべき微分方程式系を求め、境界条件に基づいてそれを解く。第2章でポアソン過程を分析した際にも、すでに同様の方法を用いている。

3.5.2 純生過程

純生過程（pure birth process）はポアソン過程の自然な一般化であり、良好な環境、十分な食料、死亡なし、移動なしという理想的な条件下での生物集団の成長モデルを考えるものである。新しい個体が誕生する確率は、集団の現在の大きさ（すなわち過程が属する状態）に依存し、時間の長さに比例する。疫学の研究において、純生過程は新たな症例の増殖モデルを構築するために用いることができる。一連の正の数 $\{\lambda_k\}, k=0,1,2,\cdots$ を考える。$X(t)$ を時間区間 $(0, t]$ に誕生した新しい個体数とする。$X(t)$ が以下の4つの仮定を満たすとき、これを純生過程と呼ぶ。

$X(0) = 0$
$P\{X(t+h) - X(t) = 1 \mid X(t) = k\} = \lambda_k h + o(h)$
$P\{X(t+h) - X(t) = 0 \mid X(t) = k\} = 1 - \lambda_k h + o(h)$
$P\{X(t+h) - X(t) < 0 \mid X(t) = k\} = 0$

上の(ii), (iii)の2つの仮定について、推移確率の記号を用いれば以下のようになる。

$$P_{k, k+1}(h) = \lambda_k h + o(h), \quad P_{k, k}(h) = 1 - \lambda_k h + o(h)\tag{51}$$

$P_{0n}(t) = P\{X(t) = n \mid X(0) = 0\}$ を簡単に $P_n(t)$ と記す。すると全確率の公式および仮定(iv)により、$P_n(t)$ は以下の関係式を満たすべきであることがわかる。

$$\begin{aligned}P_n(t+h) &= \sum_{k=0}^\infty P_k(t) P\{X(t+h) = n \mid X(t) = k\} \\ &= \sum_{k=0}^\infty P_k(t) P\{X(t+h) - X(t) = n-k \mid X(t) = k\}\end{aligned}$$

さらに(ii), (iii)および(iv)を利用すると、

$$P_n(t+h) = P_n(t)[1 - \lambda_n h + o(h)] + P_{n-1}(t)[\lambda_n h + o(h)] + o(h)$$

移項して整理し、$h \to 0$ とすれば、以下の微分方程式系が得られる。

$$\begin{cases} P_0'(t) = -\lambda_0 P_0(t) \\ P_n'(t) = -\lambda_n P_n(t) + \lambda_{n-1} P_{n-1}(t), \quad n \ge 1 \end{cases}\tag{52}$$

最初の微分方程式の解は一目でわかる通り、$P_0(t) = e^{-\lambda_0 t} \ (t > 0)$ である。次の微分方程式は少し手間がかかるが、$Q_n(t) = e^{\lambda_n t} P_n(t)$ を導入すると、(52)より $Q_n'(t) = e^{\lambda_n t} \lambda_{n-1} P_{n-1}(t)$ であり、$Q_n(0) = P_n(0) = 0$ となる。等式の両辺を0から$t$まで積分すると以下を得る。

$$Q_n(t) = \int_0^t e^{\lambda_n x} \lambda_{n-1} P_{n-1}(x) dx$$

すなわち、

$$P_n(t) = \lambda_{n-1} e^{-\lambda_n t} \int_0^t e^{\lambda_n x} P_{n-1}(x) dx, \quad n = 1, 2, \cdots$$

もし $\lambda_1 \ne \lambda_0$ であれば、

$$P_1(t) = \lambda_0 \left( \frac{1}{\lambda_1 - \lambda_0} e^{-\lambda_0 t} + \frac{1}{\lambda_0 - \lambda_1} e^{-\lambda_1 t} \right)$$

となり、$\lambda_1 = \lambda_0$ のときは、

$$P_1(t) = \lambda_0 t e^{-\lambda_0 t}$$

となる。逐次代入を繰り返すことで、一般の$n$に対する $P_n(t)$ の表現形式が得られる。$\lambda_i$ が互いに異なるときは、

$$P_n(t) = \prod_{i=0}^{n-1} \lambda_i \left[ \sum_{i=0}^n c_{i,n} e^{-\lambda_i t} \right]$$

である。ここで $c_{i,n} = \left( \prod_{k \ne i} (\lambda_k - \lambda_i) \right)^{-1}$ である。微分方程式系(52)の求解はもはや本コースのタスクではないため、不慣れな読者は微分方程式の書籍を参照されたい。

純生過程が状態$i$に滞在する時間を $T_i$ と記し、$W_k = \sum_{i=0}^{k-1} T_i$ が$k$番目の新しい個体が誕生する時刻を表すとすると、以下が成り立つ。

$$P_n(t) = P\{W_n \le t < W_{n+1}\}$$

$T_i \ (i=0,1,\cdots)$ は互いに独立な、パラメータ $\lambda_i$ の指数分布に従うことが証明できる。例えば初めての誕生を待つ時間 $T_0$ の分布は $P(T_0 \le t) = 1 - P_0(t) = 1 - e^{-\lambda_0 t}$ であり、確かにパラメータ $\lambda_0$ の指数分布である。これらのパラメータ $\lambda_i$ は過程が状態$i$に滞在する時間の長さを示しており、$\frac{1}{\lambda_i}$ は状態の平均滞在時間を表している。$\sum_{n=0}^\infty P_n(t) = 1$、すなわち $P\{X(t) = \infty\} = 1 - \sum_{n=0}^\infty P_n(t) = 0$ を保証するための十分条件は $\sum_{n=0}^\infty \frac{1}{\lambda_n} = \infty$ であることが証明できる。つまり、集団が無限大に成長するまでの平均時間 $\sum_{n=0}^\infty \frac{1}{\lambda_n}$ が無限大であるとき、過程が有限の時刻に無限大となる確率は0である。したがって、過程は任意の時刻$t$において必ずある有限の個体数$n$をとることになる。これが $\sum_{n=0}^\infty P_n(t) = 1$ の確率論的な意味であり、そのため条件 $\sum_{n=0}^\infty \frac{1}{\lambda_n} = \infty$ は必要でもある。

例 3.12 (ユール（Yule）過程) これは物理学や生物学において広範な応用を持つ、特殊な純生過程の一種である。長さ$h$の短い時間区間において、集団の各構成員が確率 $\beta h + o(h)$ で新しい個体を1つ生成し、かつ構成員の行動は互いに独立であると仮定する。すると以下が成り立つ。

$$\begin{aligned}P\{X(t+h) - X(t) = 1 \mid X(t) = n\} &= \binom{n}{1} [\beta h + o(h)] [1 - \beta h + o(h)]^{n-1} \\ &= n\beta h + o(h)\end{aligned}$$

すなわち $P_{n, n+1}(h) = n\beta h + o(h)$、または $\lambda_n = n\beta$ である。このとき、方程式(52)は $X(0)=1$ の条件下で以下のように変わる。

$$P_n'(t) = -\beta [n P_n(t) - (n-1) P_{n-1}(t)], \quad n = 1, 2, \cdots$$

ここで $P_n(t) = P\{X(t) = n \mid X(0) = 1\}$ であり、初期条件は $P_1(0) = 1$、$P_n(0) = 0 \ (n \ge 2)$ である。方程式の解は以下のようになる。

$$P_n(t) = e^{-\beta t} (1 - e^{-\beta t})^{n-1}, \quad n \ge 1\tag{53}$$

これは $p = e^{-\beta t}$ をパラメータとする幾何分布である。一般の純生過程の解の式に $\lambda_k = k\beta$ を代入すると、

$$c_{i,n} = (-1)^{i-1} / (\beta^{n-1} (i-1)! (n-i)!)$$

となるため、

$$\begin{aligned}P_n(t) &= \beta^{n-1} (n-1)! \sum_{i=1}^n c_{i,n} e^{-i\beta t} \\ &= \sum_{i=1}^n \frac{(n-1)!}{(i-1)! (n-i)!} (-1)^{i-1} e^{-i\beta t} \\ &= e^{-\beta t} \sum_{j=0}^{n-1} \binom{n-1}{j} (-e^{-\beta t})^j \\ &= e^{-\beta t} (1 - e^{-\beta t})^{n-1}\end{aligned}$$

となり、ちょうど(53)式と一致する。

純生過程のほかに、純死過程（pure death process）を考えることもできる。このとき、生物集団の死亡率や設備部品の故障率は $\mu_k$ で表すことができる。(51)と同様の仮定の下で関連する微分方程式を構築し、対応する解を求めることができる。時間的に斉次なポアソン過程を非斉次なポアソン過程へと一般化するのと同様に、$\lambda$ を時間の関数とした時変ユール過程を考えることも可能である。純生過程において、新しい個体が出現する確率を $\lambda(k, t)h + o(h)$ とさらに仮定することもできる。$\lambda(k, t) = \frac{\lambda + \lambda a k}{1 + \lambda a t}$ と取ったものが有名なポリア（Polya）過程である。

3.6 生滅過程

3.6.1 生滅過程（birth and death process）

純生過程と純死過程の自然な一般化として、$X(t)$ の増加と減少を同時に考慮する生滅過程がある。モデルの仮定は次の通りである。$X(t)$ は状態 $0, 1, 2, \cdots$ 上のマルコフ連鎖であり、その推移確率 $P_{ij}(t)$ は定常である。すなわちすべての $u \ge 0$ に対して $P\{X(t+u) = j \mid X(u) = i\} = P_{ij}(t)$ が成り立つ。さらに以下を仮定する。

$P_{i, i+1}(h) = \lambda_i h + o(h), \quad i \ge 0$
$P_{i, i-1}(h) = \mu_i h + o(h), \quad i \ge 1$
$P_{i, i}(h) = 1 - (\lambda_i + \mu_i)h + o(h)$
$P_{i, i}(0) = 1, \quad P_{ij}(0) = 0 \ (i \ne j)$
$\mu_0 = 0, \quad \mu_i > 0 \ (i \ge 1); \quad \lambda_i > 0 \ (i \ge 0)$

$$\tag{54}$$

ここで $\lambda_i$ と $\mu_i$ はそれぞれ出生率および死亡率と呼ばれる。過程のメカニズムとしては、状態 $i$ にあるときには $i+1$ または $i-1$ のいずれかの状態にのみ推移できる。前者は誕生を、後者は死亡を表す。また、過程が状態 $i$ に滞在する時間は $\nu_i = \lambda_i + \mu_i$ の指数分布に従い、推移率は $q_{i, i+1} = \lambda_i$、$q_{i, i-1} = \mu_i$ であり、その他はすべて0となる。したがって関係式 $q_{ij} = \nu_i P_{ij} \ (i \ne j)$ から直ちに $P_{i, i+1} = \frac{\lambda_i}{\lambda_i + \mu_i} = 1 - P_{i, i-1}$ がわかる。これは、時刻 $t$ において過程が推移を起こすという条件の下で、その推移が誕生である確率が $\frac{\lambda_i}{\lambda_i + \mu_i} = \frac{\lambda_i}{\nu_i}$ であることを示しており、ちょうど出生率と全推移率 $\nu_i$ の比になっている。

確率モデルを構築する際に注意すべき点として、任意のパラメータの組 $\{\lambda_i\}, \{\mu_i\}$ が常に生滅過程の出生率と死亡率になれるわけではない。推移確率が $P_{ij}(t) \ge 0$ を満たし、かつチャップマン・コルモゴロフ方程式が成立するような一意のマルコフ過程を保証するためには、これらのパラメータは以下の条件を満たす必要がある。

$$\sum_{n=0}^\infty \frac{1}{\lambda_n \theta_n} \sum_{k=0}^n \theta_k = \infty\tag{55}$$

ここで $\theta_0 = 1, \theta_n = \prod_{i=1}^n \frac{\lambda_{i-1}}{\mu_i} \ (n = 1, 2, \cdots)$ である。幸いなことに、通常の現実の問題においては、この条件は満たされやすい。

3.6.2 コルモゴロフの後退・前進微分方程式

チャップマン・コルモゴロフ方程式から、推移確率に関する2つの微分方程式系を得ることができる。これらはそれぞれコルモゴロフの後退または前進微分方程式と呼ばれる。

定理 3.7 生滅過程 $X(t)$ の推移確率 $P_{ij}(t)$ に対し、コルモゴロフの後退微分方程式（Kolmogorov backward equations）は以下となる。

$$\begin{aligned}P_{ij}'(t) &= \mu_i P_{i-1, j}(t) - (\lambda_i + \mu_i) P_{i, j}(t) + \lambda_i P_{i+1, j}(t), \quad i \ge 0 \\ P_{0j}'(t) &= -\lambda_0 P_{0j}(t) + \lambda_0 P_{1j}(t) \nonumber\end{aligned}\tag{56}$$

また、コルモゴロフの前進微分方程式（Kolmogorov forward equations）は以下となる。

$$\begin{aligned}P_{ij}'(t) &= \mu_{j+1} P_{i, j+1}(t) - (\lambda_j + \mu_j) P_{i, j}(t) + \lambda_{j-1} P_{i, j-1}(t) \\ P_{i0}'(t) &= -\lambda_0 P_{i0}(t) + \mu_1 P_{i1}(t) \nonumber\end{aligned}\tag{57}$$

証明． チャップマン・コルモゴロフ方程式より、

$$\begin{aligned}P_{ij}(t+h) &= \sum_{k=0}^\infty P_{ik}(h) P_{kj}(t) \\ &= P_{i, i-1}(h) P_{i-1, j}(t) + P_{ii}(h) P_{ij}(t) + P_{i, i+1}(h) P_{i+1, j}(t) + {\sum_k}^* P_{ik}(h) P_{kj}(t)\end{aligned}$$

ここで ${\sum_k}^*$ は $k \ne i-1, i, i+1$ となるすべての $k$ に対する和である。仮定(i), (ii), (iii)より以下のように評価できる。

$$\begin{aligned}{\sum_k}^* P_{ik}(h) P_{kj}(t) &\le {\sum_k}^* P_{ik}(h) \\ &= 1 - [P_{i, i-1}(h) + P_{ii}(h) + P_{i, i+1}(h)] \\ &= 1 - [\mu_i h + o(h) + 1 - (\lambda_i + \mu_i)h + o(h) + \lambda_i h + o(h)] \\ &= o(h)\end{aligned}$$

したがって、

$$P_{ij}(t+h) = \mu_i h P_{i-1, j}(t) + [1 - (\lambda_i + \mu_i)h] P_{ij}(t) + \lambda_i h P_{i+1, j}(t) + o(h)$$

$P_{ij}(t)$ を左辺に移項して $h$ で割り、$h \downarrow 0$ とすれば、

$$P_{ij}'(t) = \mu_i P_{i-1, j}(t) - (\lambda_i + \mu_i) P_{ij}(t) + \lambda_i P_{i+1, j}(t)$$

となり、(56)式が証明された。もしチャップマン・コルモゴロフ方程式で $h$ と $t$ の位置を入れ替えれば、以下を得る。

$$P_{ij}(t+h) = \sum_{k=0}^\infty P_{ik}(t) P_{kj}(h)$$

よって

$$\frac{P_{ij}(t+h) - P_{ij}(t)}{h} = \sum_{k \ne j} P_{ik}(t) \frac{P_{kj}(h)}{h} - P_{ij}(t) \frac{1 - P_{jj}(h)}{h}$$

極限操作と和の順序交換が可能な条件が満たされているとき、仮定(i), (ii), (iii)を用いることで以下のように計算できる。

$$\begin{aligned}P_{ij}'(t) &= \sum_{k \ne j} P_{ik}(t) \lim_{h \to 0} \frac{P_{kj}(h)}{h} - P_{ij}(t) \lim_{h \to 0} \frac{1 - P_{jj}(h)}{h} \\ &= \lambda_{j-1} P_{i, j-1}(t) - (\lambda_j + \mu_j) P_{ij}(t) + \mu_{j+1} P_{i, j+1}(t)\end{aligned}$$

後退方程式は、時間区間 $(0,t+h)$ を $(0,h)$ と $[h,t+h)$ に分けて状態の推移を考察するものである。$P_{kj}(t)$ は $X(h)=k$ が与えられたときの $X(t+h)=j$ の条件付き確率であるが、$h$ が非常に小さいため、$(0,h)$ における事象は遠い過去のものとして扱われる。一方、前進方程式は時間区間 $(0,t+h)$ を $(0,t)$ と $[t,t+h)$ に分けて考察する。与えられる条件は $X(t)=k$ であり、考察の対象は未来の長さ $h$ の小区間である。後退および前進という名称はこれに由来する。

例 3.13 (移住を伴う線形増殖・線形死滅モデル) $\lambda_n = \lambda n + a$、$\mu_n = \mu n$ とする。ここで $\lambda, \mu, a > 0$ である。これは人口問題においてよく見られるモデルであり、最も関心が持たれるのは時刻 $t$ における期待人口数 $E[X(t)]$ である。前進微分方程式を用いて $\lambda_i, \mu_i$ を代入すると、以下のようになる。

$$\begin{aligned}P_{i0}'(t) &= -aP_{i0}(t) + \mu P_{i1}(t) \\ P_{ij}'(t) &= [\lambda(j-1)+a]P_{i,j-1}(t) - [(\lambda+\mu)j+a]P_{ij}(t) + \mu(j+1)P_{i,j+1}(t), \quad j \ge 1\end{aligned}$$

$E[X(t)] = m(t) = \sum_{j=1}^\infty j P_{ij}(t)$ と記すと、$m(t)$ は以下の微分方程式を満たす。

$$m'(t) = a + (\lambda - \mu)m(t)$$

初期条件を $X(0) = i$ とすると、$m(0) = i$ である。$\lambda = \mu$ のとき、$m(t) = at + i$ となることが容易にわかる。$\lambda \ne \mu$ のときは、

$$m(t) = \frac{a}{\lambda - \mu} \{e^{(\lambda - \mu)t} - 1\} + i e^{(\lambda - \mu)t}$$

となる。 $\lambda \ge \mu$ のとき、$t \to \infty$ とすると $m(t) \to \infty$ となる。一方、$\lambda < \mu$ のとき、$m(t)$ の極限は $\frac{a}{\mu - \lambda}$ となる。長期間が経過した後、人口の平均数は統計的な平衡に近づく。

連続時間マルコフ連鎖の極限分布についても、離散の場合と同様の議論が可能であり、平衡分布を求めることができる。興味のある読者は文献を参照されたい。また、平衡分布が存在する場合、それに対応する確率変数の期待値は、まさに上の例における極限となる。

これまで議論してきたのは、$X(t)$ が有限個または可算無限個の状態しかとらない場合に限られていた。さらに一般化すれば、連続時間のマルコフ過程を議論することができる。その最も有名な例は第5章で議論するブラウン運動である。本章を終えるにあたり、以下の定義を与える。

定義 3.9 確率過程 $X(t), t \ge 0$ が、任意の $s, t \ge 0$ に対して、その条件付き確率分布関数が以下を満たすとき、これをマルコフ過程と呼ぶ。

$$P\{X(t+s) \le a \mid X(s) = x, X(u) = x(u), 0 \le u < s\} = P\{X(t+s) \le a \mid X(s) = x\}\tag{58}$$

(58)式が表しているのは依然としてマルコフ性である。

« ポアソン過程定常過程 »