定常過程

home > 確率過程

定常過程 $X = \{X(t), t \in T\}$ とは、その確率的性質が時間の平行移動に対して不変である確率過程である。この概念は、固定された時間（または空間）の起点を持たない物理システムにおける最も自然な現象を捉えており、通信、天文学、生物学、生態学、経済学などの各分野で広く応用されている。 定常性から、理論上の多くの重要な結論を導くことができる。本章では主に、エルゴード定理、スペクトル表現理論、および予測理論について議論する。

4.1 定義と例

以下では、$T$ を次のような性質を持つ添字集合とする。すなわち、$t_1, t_2 \in T$ ならば $t_1 + t_2 \in T$ である。通常、$T$ は以下のいずれかの集合をとる。(i) $T = \{0, 1, 2, \cdots\}$、(ii) $T = \{0, \pm 1, \pm 2, \cdots\}$、(iii) $T = \{t : t \ge 0\}$、(iv) $T = \{t : -\infty < t < \infty\}$。直観的には、添字集合は時間と解釈できる（もちろん、$T$ が空間位置などを表すこともある）。

定義 4.1 $X = \{X(t), t \in T\}$ を確率過程とする。任意の正整数 $k$ および $T$ 内の任意の $k$ 個の時刻 $t_1 < t_2 < \cdots < t_k$、さらに $T$ 内の $h$ に対して、以下が成り立つとき、確率過程 $X$ を厳密な定常過程（厳密に定常な確率過程）と呼ぶ。

$$\{X(t_1), \cdots, X(t_k)\} \stackrel{d}{=} \{X(t_1+h), \cdots, X(t_k+h)\}\tag{59}$$

ここで「$\stackrel{d}{=}$」は、等式の両辺の $k$ 次元確率ベクトルの分布が同一であることを表す。

注 4.1 もし $T = \{0, \pm 1, \cdots\}$ であれば、通常 $X$ を確率系列と呼び、もし $X$ がさらに厳密な定常性を持つならば、厳密な定常系列と呼ぶ。以下では逐一説明しない。

$X = \{X(t), t \in T\}$ を厳密な定常過程とする。定義により、もし平均関数 $m(t) = E[X(t)]$ が存在するならば、それは必ず定数となる。すなわち $m(t) = m, t \in T$ である。同様に、もし分散関数が存在するならば、$Var(X(t)) = E[(X(t)-m)^2]$ も定数となり、これを $\sigma^2$ と記す。$s, t \in T$ （$s < t$ とする）とすると、定常性によりその共分散関数は

$$E[(X(t)-m)(X(s)-m)] = E[(X(t-s)-m)(X(0)-m)]$$

となる。等式の右辺は時間差 $t-s$ にのみ依存する。もし $R(h) = E[(X(h)-m)(X(0)-m)]$ と記せば、

$$E[(X(t+h)-m)(X(t)-m)] = R(h)$$

となる。すなわち、共分散関数は時間差にのみ依存し、起点には依存しない。当然、定義より $Var(X(t)) = R(0)$ である。 さらに、$r(\tau) = E[X(t)X(t+\tau)]$ も起点に依存しないことが容易にわかる。$r(\tau)$ と $\rho(\tau) = R(\tau)/\sigma^2 = R(\tau)/R(0)$ をそれぞれ定常過程 $X$ の自己相関関数および標準自己相関関数と呼ぶ。確率論における相関係数の性質より、$\rho(0) = 1$ および $|\rho(\tau)| \le 1$ となることが容易にわかる。

以下に定常過程のいくつかの簡単な例を示す。

例 4.1 通信理論における電気パルスは、しばしば定常過程を用いて記述される。当然、任意の物理システムにおいて、信号を生成するには常に短い時間が必要である。この時間は信号の長さに比べて非常に短いため、定常過程で記述することができる。さらに、電子通信理論において、電位や電流は複素確率変数で表されることが多いため、複素数値の定常過程に遭遇することもある。

例 4.2 星、星雲、植物や動物の空間的（または平面的）な分布は、しばしば定常過程を用いて記述される。ここでは $T$ がユークリッド空間、球の表面、または平面などになり得る。

例 4.3 海の波の高さも定常過程として扱われることがある。このとき $T$ は球面の経度および緯度である。

厳密な定常過程については、そのすべての有限次元分布が起点に依存しないことが求められる。これは間違いなく非常に厳しい条件であり、実際には検証することも困難である。しかし、実際の物理システムから見れば、過程の最初の2次のモーメントがすでにその過程の多くの主要な確率的性質を反映している。そのため、以下のより弱い定常過程の概念を導入する。

定義 4.2 $X = \{X(t), t \in T\}$ を実数値確率過程とする。もし任意の $t \in T$ に対して $E[X^2(t)] < \infty$、$E[X(t)] = m$ であり、かつ共分散関数 $E[(X(t)-m)(X(s)-m)]$ が $t-s$ にのみ依存するとき、$X$ を広義定常確率過程と呼ぶ。

一般的に、これら2つの過程は互いに包含し合うものではない。すなわち、厳密な定常過程は必ずしも2次のモーメントを持つとは限らないため、広義定常であるとは限らない。逆に、広義定常過程はその有限次元結合分布が((59))式を満たすとは限らないため、厳密な定常であるとは限らない。しかし、過程の2次のモーメントが存在しさえすれば、厳密な定常過程は必ず広義定常過程となる。

例 4.4 $Z$ をゼロでない確率変数とし、以下の2つの確率過程を考える。$X = \{X(t) = tZ, t \in T\}$、$Y = \{Y(t) = Z, t \in T\}$。これら2つの確率過程の定常性について考察せよ。

解． 確率過程 $Y$ については、任意の時刻における値が $t$ に依存しないため、必然的に厳密な定常である。もし $E[Z^2] < \infty$ であれば、広義定常でもある。一方、確率過程 $X$ については、その1次元分布が $t$ に依存するため、厳密な定常ではない。次に、たとえ $E[Z^2] < \infty$ であっても、もし $E[Z] \ne 0$ であれば、$E[X(t)] = tE[Z]$ は $t$ に依存するため、広義定常ではない。もし $E[Z] = 0$ であっても、$E[X(t)X(s)] = tsE[Z^2]$ は $t, s$ に依存するため、やはり広義定常ではない。

自然な疑問として、これら2つの定常過程の定義が等価になるような過程のクラスは存在するだろうか。答えは肯定である。そのために以下の定義を導入する。

定義 4.3 $G = \{G(t), -\infty < t < \infty\}$ を確率過程とする。もし任意の正整数 $k$ および $k$ 個の時刻 $t_1 \le t_2 \le \cdots \le t_k$ に対して、$(G(t_1), G(t_2), \cdots, G(t_k))$ の結合分布が $k$ 次元正規分布となる場合、これをガウス過程と呼ぶ。

よく知られているように、$k$ 次元正規分布は共分散行列と平均ベクトルによって完全に決定され、これらの量は最初の2次のモーメントにのみ依存する。したがってガウス過程においては、2つの定常性の定義は等価である。

以下では主に広義定常過程について研究する。便宜上、広義定常過程を単に定常過程と呼ぶことにする。

例 4.5（定常ホワイトノイズ系列） $X_n, n = 0, 1, \cdots$ を互いに無相関な確率変数系列とする。$E[X_n] = 0$、$E[X_n^2] = \sigma^2$（$n = 0, 1, \cdots$）を満たし、かつ $m \ne n$ のとき $E[X_m X_n] = 0$ であるとする。このとき $X = \{X_n, n = 0, 1, \cdots\}$ は定常系列である。なぜなら、共分散関数は

$$E[X_m X_n] = \begin{cases} \sigma^2, & m = n, \\ 0, & m \ne n \end{cases}\tag{60}$$

となり、$m-n$ にのみ依存するからである。

例 4.6（三角多項式過程） 定常過程に関する興味深い例のいくつかは、ランダムな振幅を持つある種の三角関数表現を考えることで得られる。$A$ と $B$ を同一分布に従う確率変数とし、平均は0、分散は $\sigma^2$、さらに $A$ と $B$ は無相関であるとする。すなわち $Cov(A, B) = E[AB] = 0$ である。$[0, \pi]$ の固定された周波数 $\omega$ に対して、

$$X_t = A \cos \omega t + B \sin \omega t$$

と定義すると、$X = \{X_t : -\infty < t < \infty\}$ は定常過程となる。これは以下の理由による。 $E[AB] = 0$ より、

$$E[X_t] = \cos \omega t E[A] + \sin \omega t E[B] = 0$$

であり、

$$\begin{aligned}E[X_{t+\tau}X_t] &= E[(A \cos(t+\tau)\omega + B \sin(t+\tau)\omega)(A \cos t\omega + B \sin t\omega)] \\ &= E[A^2] \cos(t+\tau)\omega \cos t\omega + E[B^2] \sin(t+\tau)\omega \sin t\omega \\ &= \sigma^2 \cos \tau\omega\end{aligned}$$

となる。すなわち共分散関数は時間差 $\tau$ にのみ依存するため、定常過程である。(式)

より一般的に、次のような拡張が可能である。$A_0, A_1, \cdots, A_m; B_0, B_1, \cdots, B_m$ を互いに無相関な確率変数とし、かつ $E[A_i] = E[B_j] = 0$、$E[A_i^2] = E[B_i^2] = \sigma_i^2$ （$0 \le i \le m, 0 \le j \le m$）とする。$\omega_0, \omega_1, \cdots, \omega_m$ を $[0, \pi]$ 内の異なる周波数とし、

$$X_t = \sum_{k=0}^m (A_k \cos t\omega_k + B_k \sin t\omega_k)$$

と定義する。すると明らかに $E[X_t] = 0$ である。各 $A_i, B_j$ が無相関であることを利用し、(式)式を導いたのと同様の議論を行うと、

$$E[X_{t+\tau}X_t] = \sum_{k=0}^m \sigma_k^2 \cos \tau\omega_k\tag{61}$$

が得られる。(61)式は $\tau$ にのみ依存するため、$\{X_t, -\infty < t < \infty\}$ は定常過程である。

例 4.7（移動平均系列） $\{\epsilon_n, n = 0, \pm 1, \pm 2, \cdots\}$ を無相関で同一の平均 $m$ と分散 $\sigma^2$ を持つ確率変数系列とする。$a_1, \cdots, a_k$ を任意の $k$ 個の実数とし、以下の式で定義される系列を考える。

$$X_n = a_1\epsilon_n + a_2\epsilon_{n-1} + \cdots + a_k\epsilon_{n-k+1}, \quad n = 0, \pm 1, \cdots$$

このとき

$$E[X_n] = m(a_1 + \cdots + a_k)$$

となる。$\xi_j = \epsilon_j - m$ と記すと、$\epsilon_j$ が互いに無相関であることから、共分散関数は

$$\begin{aligned}R(n+\tau, n) &= E[(X_n - m(a_1+\cdots+a_k))(X_{n+\tau} - m(a_1+\cdots+a_k))] \\ &= E[(a_1\xi_n + a_2\xi_{n-1} + \cdots + a_k\xi_{n-k+1})(a_1\xi_{n+\tau} + a_2\xi_{n+\tau-1} + \cdots + a_k\xi_{n+\tau-k+1})] \\ &= \begin{cases} \sigma^2(a_k a_{k-\tau} + \cdots + a_{\tau+1}a_1), & 0 \le \tau \le k-1 \text{ のとき}, \\ 0, & \tau \ge k \text{ のとき}. \end{cases}\end{aligned}$$

すなわち、共分散関数は時間間隔 $\tau$ にのみ依存するため、$\{X_n, n = 0, \pm 1, \cdots\}$ は定常過程である。もし $a_j = 1/\sqrt{k}, j = 1, \cdots, k$ ととれば、

$$R(|\tau|) = \begin{cases} \sigma^2(1 - |\tau|/k), & |\tau| \le k-1 \text{ のとき}, \\ 0, & |\tau| \ge k \text{ のとき}. \end{cases}$$

となる。

例 4.8（ランダムテレグラフ信号） 信号流 $X = \{X(t), t \ge 0\}$ を確率過程とし、各 $t$ に対して

$$P(X(t) = I) = P(X(t) = -I) = \frac{1}{2}$$

であるとする。また、時間 $[t, t+\tau]$ の間に符号が変化する回数 $N$ は、レート $\lambda$ のポアソン過程に従うとする。すなわち、

$$P(N(\tau) = k) = e^{-\lambda\tau}(\lambda\tau)^k/k!, \quad \lambda > 0$$

である。この信号流の定常性について議論せよ。

解． 明らかに、$E[X(t)] = 0, t \ge 0$ である。共分散関数を計算するために $\tau \ge 0$ とする。$X(t+\tau)$ と $X(t)$ の積は $I^2$ と $-I^2$ の2つの値しかとらないことに注意すると、以下のようになる。

$$\begin{aligned}E[X(t+\tau)X(t)] &= I^2 \cdot P(\text{信号が } [t, t+\tau] \text{ 内で偶数回符号を変える}) \\ &\quad - I^2 \cdot P(\text{信号が } [t, t+\tau] \text{ 内で奇数回符号を変える})\end{aligned}$$

しかし、

$$\begin{aligned}P(\text{信号が } [t, t+\tau] \text{ 内で偶数回符号を変える}) &= \sum_{k=0}^\infty P(N(t+\tau) - N(t) = 2k) \\ &= \sum_{k=0}^\infty e^{-\lambda\tau}(\lambda\tau)^{2k}/(2k)! = e^{-\lambda\tau} \cosh(\lambda\tau)\end{aligned}$$

であり、

$$\begin{aligned}P(\text{信号が } [t, t+\tau] \text{ 内で奇数回符号を変える}) &= \sum_{k=0}^\infty P(N(t+\tau) - N(t) = 2k+1) \\ &= \sum_{k=0}^\infty e^{-\lambda\tau}(\lambda\tau)^{2k+1}/(2k+1)! = e^{-\lambda\tau} \sinh(\lambda\tau)\end{aligned}$$

であるため、

$$E[X(t+\tau)X(t)] = I^2 \sum_{k=0}^\infty e^{-\lambda\tau}(-\lambda\tau)^k/k! = I^2 e^{-2\lambda\tau}$$

となる。$\tau < 0$ のときは、$[t+\tau, t]$ 内での信号の変化回数を考えることで、同様に $E[X(t+\tau)X(t)] = I^2 e^{-2\lambda|\tau|}$ が得られる。すなわち、共分散関数は時間間隔 $\tau$ にのみ依存するため、ランダムテレグラフ信号流は定常過程である。

定常過程において、よく見られる過程の一種は周期定常過程である。

定義 4.4 $X = \{X(t), t \in T\}$ を定常過程とする。もし正の定数 $\kappa$ が存在して $X(t+\kappa) = X(t)$ となるならば、$X$ は周期定常過程と呼ばれ、$\kappa$ を過程の周期と呼ぶ。もし $X$ が周期定常過程であるならば、その共分散関数もまた周期関数であり、過程と同じ周期を持つ。これは以下の理由による。

$$R(\tau+\kappa) = E[(X(t+\tau+\kappa)-m)(X(t)-m)] = E[(X(t+\tau)-m)(X(t)-m)] = R(\tau)$$

複素定常過程を考えることもできる。その定義は定義4.2と類似しているが、違いの一つは $X(t)$ を複素数値に改めること、もう一つは共分散関数を $E[(X(t)-m)\overline{(X(s)-m)}]$ と定義することである。ここで $\overline{X}$ は $X$ の共役を表す。

例 4.9（周期振動） $X(t) = X \cdot f(t)$ とする。ここで $X$ は実確率変数であり、$E[X] = 0, E[X^2] = \sigma^2$ を満たす。$f(t)$ は非確率的な複素数値関数である。複素数値過程 $\{X(t), -\infty < t < \infty\}$ を考える。$\{X(t)\}$ が定常過程であるための必要十分条件は $f(t) = C e^{j(\lambda t + \theta)}$ となることである。ここで $j = \sqrt{-1}$ であり、$C, \lambda, \theta$ は定数である。

証明． $E[X] = 0$ より、$E[X(t)] = 0, -\infty < t < \infty$ である。もし $f(t) = C e^{j(\lambda t + \theta)}$ であれば、

$$\begin{aligned}E[X(t+\tau)\overline{X(t)}] &= E[X^2] C^2 e^{j(\lambda(t+\tau)+\theta)} e^{-j(\lambda t+\theta)} \\ &= \sigma^2 C^2 e^{j\lambda\tau}\end{aligned}$$

となるため、$X$ は定常過程である。逆に、$X(t)$ が定常過程であるとすると、

$$R(\tau) = E[X(t+\tau)\overline{X(t)}] = E[X^2] f(t+\tau) \overline{f(t)} = \sigma^2 f(t+\tau) \overline{f(t)}$$

となる。すなわち $f(t+\tau)\overline{f(t)}$ は $t$ に依存しない。$\tau=0$ ととれば、

$$|f(t)|^2 = C^2 = R(0)$$

を得る。したがって $f(t) = C e^{j\psi(t)}$ となる。ここで $\psi(t)$ は実数である。これにより $f(t+\tau)\overline{f(t)} = C^2 e^{j(\psi(t+\tau)-\psi(t))}$ は $t$ に依存しないため、

$$\frac{d(\psi(t+\tau)-\psi(t))}{dt} = 0$$

となる。 すなわち、すべての $t$ に対して $\frac{d\psi(t+\tau)}{dt} = \frac{d\psi(t)}{dt}$ が成り立つ。したがって $\frac{d\psi(t)}{dt}$ は定数であり、これを $\lambda$ と記す。よって $\psi(t) = \lambda t + \theta$ となり、$f(t) = C e^{j(\lambda t + \theta)}$ を得る。

4.2 エルゴード定理

以下の2つの定常過程を考える。 $X = \{X_n, n=0,1,2,\cdots\}$ とし、ここで $X_n$ は独立同分布の確率変数系列であり、

$$E[X_n^2] < \infty, \quad E[X_n] = m \quad (n=0,1,\cdots)$$

を満たす。 また、$Y = \{Y_n = Y, n=0,1,2,\cdots\}$ とし、ここで $Y$ は確率変数であり $E[Y^2] < \infty$ を満たす。

これら2つの確率過程は定常過程における2つの極端な状況であり、これらを用いて異なる定常過程間の差異を説明することができる。例えば大数の法則より、過程 $X$ に対しては

$$\frac{1}{n}(X_0 + X_1 + \cdots + X_{n-1})$$

が確率収束で定数 $m$ に近づくことが知られている。しかし過程 $Y$ に対しては、

$$\frac{1}{n}(Y_0 + Y_1 + \cdots + Y_{n-1}) = Y$$

となり、時間に対する平均をとった後もランダム性は全く変化しない。

すると自然に次のような疑問が生じる。 「定常過程にどのような条件を加えれば、時間に対する平均値が過程の平均値と等しくなるのだろうか。」 この問題は定常過程のエルゴード性（ergodic）の問題と呼ばれ、定常過程の研究において重要な課題の一つである。その重要性は以下のような大まかな分析からも見て取れる。

定常過程 $X$ に対して重要なのは、その平均値 $m$ と共分散関数 $R(\tau)$ を決定することである。$E[X(t)] = m$ であるため、$m$ を推定するには確率過程 $X$ に対する大量の観測を行う必要がある。第 $i$ 回目の観測における時刻 $t$ での値を $X_i(t)$（$i=1,2,\cdots,n$）と記せば、大数の法則より

$$\hat{m}_n = \frac{1}{n}(X_1(t) + \cdots + X_n(t))$$

を用いて推定できることがわかる。同様に、共分散関数を推定するためにも

$$\hat{R}_n(\tau) = \frac{1}{n}\sum_{k=1}^n (X_k(t+\tau) - \hat{m}_n)(X_k(t) - \hat{m}_n)$$

を用いて推定できる。

しかし、確率過程に対して複数回の観測を行うことは一般的に非常に困難である。比較的容易なのは、1回の観測を行って1本のサンプルパスを取得することである。我々はこの1回の観測から $m$ と $R(\tau)$ を推定したいと考える。

言うまでもなく、一般的な確率過程に対してこれは不可能に近いが、定常過程に対しては、観測時間が十分に長いなどの一般的な条件を加えるだけで、1回の観測から $m$ と $R(\tau)$ の良好な推定を得ることができる。これが有名なエルゴード定理である。この定理を導くために、以下の定義が必要となる。

定義 4.5 $X = \{X(t), -\infty < t < \infty\}$ を定常過程（または系列）とする。もし

$$\overline{X} = \lim_{T \to \infty} \frac{1}{2T} \int_{-T}^T X(t) dt \xrightarrow{L_2} m\tag{62}$$

または

$$\overline{X} = \lim_{N \to \infty} \frac{1}{2N+1} \sum_{k=-N}^N X(k) \xrightarrow{L_2} m\tag{63}$$

であるならば、$X$ の平均値はエルゴード性を持つと言う。もし

$$\hat{R}(\tau) = \lim_{T \to \infty} \frac{1}{2T} \int_{-T}^T (X(t)-m)(X(t+\tau)-m) dt \xrightarrow{L_2} R(\tau)\tag{64}$$

または

$$\hat{R}(\tau) = \lim_{N \to \infty} \frac{1}{2N+1} \sum_{k=1}^N (X(k+\tau)-\hat{m}_n)(X(k)-\hat{m}_n) \xrightarrow{L_2} R(\tau)\tag{65}$$

であるならば、$X$ の共分散関数はエルゴード性を持つと言う。確率過程（または系列）の平均値と共分散関数がともにエルゴード性を持つとき、その確率過程はエルゴード性を持つと言う。

ここでの極限は定義1.8における平均二乗極限（mean square limit）であることに注意する。((62))式を例にとれば、$E\left[\left(\frac{1}{2T} \int_{-T}^T X(t) dt - m\right)^2\right] \to 0 \quad (T \to \infty)$ である。 エルゴード性は各態歴経性とも呼ばれ、直観的には次のように理解できる。有限個の状態しか持たない定常系列 $\{X_n, n=0,\pm 1,\cdots\}$ を考え、その状態空間を $E = \{e_1, \cdots, e_b\}$ とする。すると $m = E[X_n]$ は各状態の加重平均となる。 $A_N = \{X_n : -N \le n \le N\}$ とおくと、エルゴード性が教えてくれるのは、ほぼ全てのサンプルにおいて $N$ が非常に大きいとき、$A_N$ 内の要素が $E$ 中の各状態をくまなく経歴し、さらに $N \to \infty$ のときに $A_N$ 内の要素が状態 $e_i$ となる頻度が $p_i$ に近づくということである。したがって $A_N$ 内の要素の平均 $\overline{X}_N = \frac{1}{2N+1} \sum_{n=-N}^N X_n$ は過程の平均値 $m = \sum_{i=1}^b p_i e_i$ に近づく。 エルゴード性の定義式((62))〜((65))について、非負の実数（非負の整数）のみをとる場合は、対応する積分や和は $[0, \infty)$ 上に制限される。例えば、((62))式と((63))式に対応する定義は以下のようになる。

$$\overline{X} = \lim_{T \to \infty} \frac{1}{T} \int_0^T X(t) dt \xrightarrow{L_2} m\tag{66}$$

または

$$\overline{X} = \lim_{N \to \infty} \frac{1}{N+1} \sum_{k=0}^N X(k) \xrightarrow{L_2} m\tag{67}$$

エルゴード性の定義式から、等式の左辺の極限が存在するのか、という疑問が自然に生じる。もし極限が存在するとして、等式の左辺は確率変数の平均二乗極限であるため、どのような条件下でそれが定数 $m$ と等しくなり得るのか。最初の問題については主に数学的な考慮が必要となる。1931年にバーコフ（Birkhoff）は、$E|X(t)| < \infty$ でありさえすれば、ほぼすべてのサンプルに対して((62))式の左辺の極限が必ず存在することを証明した。二番目の問題こそが本節で解答を与えようとするものである。まず定常過程の平均値のエルゴード性問題から考える。

定理 4.1（平均値のエルゴード定理） (i) $X = \{X_n, n=0,\pm 1,\cdots\}$ を定常系列とし、その共分散関数を $R(\tau)$ とする。このとき $X$ がエルゴード性を持つための必要十分条件は

$$\lim_{N \to \infty} \frac{1}{N} \sum_{\tau=0}^{N-1} R(\tau) = 0$$

となることである。 (ii) $X = \{X(t), -\infty < t < \infty\}$ を定常過程とする。このとき $X$ がエルゴード性を持つための必要十分条件は

$$\lim_{T \to \infty} \frac{1}{T} \int_0^{2T} \left(1 - \frac{\tau}{2T}\right) R(\tau) d\tau = 0$$

となることである。

証明． 離散の場合と連続時間の場合の証明のアプローチは同じであるため、ここでは連続時間の平均値のエルゴード定理のみを証明する。まず $\overline{X}_T$ の平均と分散を計算する。

$$\overline{X}_T = \frac{1}{2T} \int_{-T}^T X(t) dt$$

と記すると、

$$E[\overline{X}_T] = \frac{1}{2T} \int_{-T}^T E[X(t)] dt = m$$

となる。次に $\overline{X}_T$ の分散を計算する。

$$\begin{aligned}Var(\overline{X}_T) &= E\left[\frac{1}{2T} \int_{-T}^T X(t) dt\right]^2 - \frac{1}{4T^2} \left[ \int_{-T}^T E[X(t)] dt \right]^2 \\ &= \frac{1}{4T^2} \int_{-T}^T \int_{-T}^T E[(X(t)-m)(X(s)-m)] dt ds \\ &= \frac{1}{4T^2} \int_{-T}^T \int_{-T}^T R(t-s) dt ds\end{aligned}$$

上記の積分において、$\tau = t-s$、$v = t+s$ とおくと、変換のヤコビアンは

$$J = \left| \begin{matrix} 1 & -1 \\ 1 & 1 \end{matrix} \right|^{-1} = \frac{1}{2}$$

となる。積分領域は $D = \{-2T \le \tau \pm v \le 2T\}$ に変換される。 $R(\tau)$ が偶関数であることに注意すると、上式は以下のようになる。

$$\begin{aligned}\frac{1}{4T^2} \cdot \frac{1}{2} \iint_D R(\tau) d\tau dv &= \frac{1}{4T^2} \int_{-2T}^{2T} R(\tau) (2T - |\tau|) d\tau \\ &= \frac{1}{2T^2} \int_0^{2T} R(\tau) (2T - \tau) d\tau \\ &= \frac{1}{T} \int_0^{2T} R(\tau) \left(1 - \frac{\tau}{2T}\right) d\tau\end{aligned}$$

したがって、平均値のエルゴード定理は、上式の極限がゼロに近づくかどうかの問題に帰着される。平均二乗収束の定義により、これは確かに等価であり、それによって定理が証明された。

この定理により、定常過程の平均値がエルゴード性を持つことを判定するためのいくつかの十分条件を導くことができる。

系 4.1 もし $\int_{-\infty}^\infty |R(\tau)| d\tau < \infty$ であれば、平均値のエルゴード性が成り立つ。

これは、$0 \le \tau \le 2T$ のとき $\left|\left(1 - \frac{\tau}{2T}\right) R(\tau)\right| \le |R(\tau)|$ であり、

$$\frac{1}{T} \left| \int_0^{2T} \left(1 - \frac{\tau}{2T}\right) R(\tau) d\tau \right| \le \frac{1}{T} \int_0^{2T} |R(\tau)| d\tau \le \frac{1}{T} \int_0^\infty |R(\tau)| d\tau \to 0 \quad (T \to \infty)$$

となるためである。

系 4.2 定常系列に対して、もし $R(\tau) \to 0 \quad (\tau \to \infty)$ であれば、平均値のエルゴード性が成り立つ。

証明． $R(\tau) \to 0 \quad (\tau \to \infty)$ であるため、シュトルツ（Stolz）の定理より

$$\lim_{N \to \infty} \frac{1}{N} \sum_{\tau=0}^{N-1} R(\tau) = \lim_{N \to \infty} R(N-1) = 0$$

となる。したがって系列の平均値はエルゴード性を持つ。

共分散関数 $R(\tau)$ のエルゴード性定理については、確率過程 $Y_\tau = \{Y_\tau(t), -\infty < t < \infty\}$ を考えることができる。ここで $Y_\tau(t) = (X(t+\tau)-m)(X(t)-m)$ であり、すると $E[Y_\tau(t)] = R(\tau)$ となる。定理4.1の証明過程から、平均値がエルゴード性を持つことは $Var(\overline{X}_T) \to 0 \quad (T \to \infty)$ と等価であることがわかっている。したがって類推により、共分散関数 $R(\tau)$ がエルゴード性を持つことは $Var(\overline{Y}_\tau^T(t)) \to 0 \quad (T \to \infty)$ と等価である。ここで $\overline{Y}_\tau^T(t) = \frac{1}{2T} \int_{-T}^T Y_\tau(t) dt$ である。 $Var(\overline{Y}_\tau^T(t))$ を展開することにより、以下の定理を得る。

定理 4.2（共分散関数エルゴード定理） $X = \{X(t), -\infty < t < \infty\}$ を定常過程とし、$Y_\tau = \{Y_\tau(t), -\infty < t < \infty\}$ を上記で定義されたものとする。このとき、与えられた $\tau$ に対して、$X$ の共分散関数 $R(\tau)$ がエルゴード性を持つための必要十分条件は

$$\lim_{T \to \infty} \frac{1}{T} \int_0^{2T} \left(1 - \frac{\tau_1}{2T}\right) (B(\tau_1) - R^2(\tau)) d\tau_1 = 0$$

となることである。ここで $B(\tau_1) = E[X(t+\tau+\tau_1)X(t+\tau_1)X(t+\tau)X(t)]$ である。

$[0, \infty)$ 上で定義された定常過程に対しては、エルゴード性を((66))や((67))の等式として解釈するだけで、定理4.1と定理4.2は依然として成立する。 共分散関数のエルゴード性については、過程の4次のモーメントが関与するため、一般的に検証することは困難である。しかしガウス過程に対しては、問題ははるかに単純になる。例えば次のような結果がある。

定理 4.3 $X = \{X_n, n=0,\pm 1,\cdots\}$ を平均が0のガウス定常過程とする。もし

$$\lim_{N \to \infty} \frac{1}{N} \sum_{k=0}^{N-1} R^2(k) = 0$$

であれば、ガウス過程の共分散関数はエルゴード性を持つ。

例 4.10 $X(t) = a \cos(\omega t + \Theta), \Theta \sim U(0, 2\pi), \omega \ne 0$ とする。このとき $X = \{X(t), -\infty < t < \infty\}$ の平均値はエルゴード性を持つ。

証明． まず

$$E[X(t)] = \frac{1}{2\pi} \int_0^{2\pi} a \cos(\omega t + \theta) d\theta = 0$$

であり、その共分散関数は

$$\begin{aligned}E[X(t+\tau)X(t)] &= E[a^2 \cos(\omega(t+\tau) + \Theta) \cos(\omega t + \Theta)] \\ &= \frac{a^2}{2\pi} \int_0^{2\pi} \cos((t+\tau)\omega + \theta) \cos(t\omega + \theta) d\theta \\ &= \frac{a^2}{4\pi} \int_0^{2\pi} [\cos((2t+\tau)\omega + 2\theta) + \cos \tau\omega] d\theta \\ &= \frac{a^2}{2} \cos \tau\omega\end{aligned}$$

となる。したがって $X$ は定常である。

$$\frac{1}{T} \int_0^{2T} \left(1 - \frac{\tau}{2T}\right) R(\tau) d\tau = \frac{a^2}{2T} \int_0^{2T} \left(1 - \frac{\tau}{2T}\right) \cos \omega\tau d\tau$$

について、部分積分により

$$= \frac{a^2}{2T} \cdot \frac{\sin(2T\omega)}{\omega} - \frac{a^2}{4T^2} \int_0^{2T} \tau \cos \omega\tau d\tau$$

となる。

$$\left| \int_0^{2T} \tau \cos \omega\tau d\tau \right| = \left| \frac{1}{\omega} \left[ 2T \sin(2T\omega) - \frac{1}{\omega} (1 - \cos(2T\omega)) \right] \right| \le \frac{2T}{\omega}$$

であるため、この結果を代入すると、

$$\frac{1}{T} \int_0^{2T} \left(1 - \frac{\tau}{2T}\right) R(\tau) d\tau \to 0 \quad (T \to \infty)$$

となることがわかる。したがって定理4.1よりエルゴード性が成立する。読者は本例に対して直接 $\frac{1}{2T} \int_{-T}^T X(t) dt \to 0$ を検証することもできる。

例 4.11 確率変数系列 $\{X_n, n=0,\pm 1,\cdots\}$ が以下を満たすとする。

$$X_n = \sum_{k=0}^m (A_k \cos n\omega_k + B_k \sin n\omega_k)$$

ここで $A_1, \cdots, A_m; B_1, \cdots, B_m$ は平均が0で互いに無相関な確率変数であり、また $E[A_k^2] = E[B_k^2] = \sigma_k^2, 1 \le k \le m, 0 < \omega_k < 2\pi$ である。その平均値のエルゴード性について考察せよ。

解． 例4.6と同様にして、$E[X_n] = 0, n=0,\pm 1,\cdots$

$$R(\tau) = \sum_{k=0}^m \sigma_k^2 \cos \tau\omega_k$$

と計算できる。 三角級数の和の公式 $\frac{1}{2} + \cos x + \cdots + \cos nx = \frac{\sin(n+1/2)x}{2 \sin(x/2)}$ より、

$$\begin{aligned}\frac{1}{N} \left| \sum_{\tau=0}^{N-1} R(\tau) \right| &= \frac{1}{N} \left| \sum_{\tau=0}^{N-1} \sum_{k=0}^m \sigma_k^2 \cos \tau\omega_k \right| \\ &\le \frac{1}{N} \sum_{k=0}^m \sigma_k^2 \left| \sum_{\tau=0}^{N-1} \cos \tau\omega_k \right| = \frac{1}{N} \sum_{k=0}^m \sigma_k^2 \left| \frac{\sin(N-1/2)\omega_k}{2 \sin(\omega_k/2)} - \frac{1}{2} \right| \\ &\le \frac{1}{N} \sum_{k=0}^m \sigma_k^2 \frac{1}{\sin(\omega_k/2)} \to 0\end{aligned}$$

となるため、定常系列 $X$ の平均値はエルゴード性を持つ。

例 4.12 例4.7における移動平均系列の平均値のエルゴード性について考察せよ。

解． 例4.7より

$$R(\tau) = \begin{cases} \sigma^2(a_k a_{k-\tau} + \cdots + a_{\tau+1}a_1), & \tau \le k-1 \text{ のとき}, \\ 0, & \tau \ge k \text{ のとき}. \end{cases}$$

定理4.1の系4.1から、直ちに移動平均過程の平均値はエルゴード性を持つことがわかる。

例 4.13 例4.8におけるランダムテレグラフ信号の平均値にエルゴード性があるかどうか研究せよ。

解． 例4.8より $R(\tau) = I^2 e^{-2\lambda|\tau|}$ である。ここで $\lambda > 0$ であり、したがって

$$\int_{-\infty}^\infty R(\tau) d\tau = 2I^2 \int_0^\infty e^{-2\lambda\tau} d\tau = \frac{I^2}{\lambda} < \infty$$

定理4.1の系から、直ちにランダムテレグラフ信号の平均値はエルゴード性を持つことがわかる。

応用において、もし実験記録 $x(t)$ が時間区間 $[0,T]$ 内でのみ与えられた場合、以下のような近似推定式が存在する。

$$\begin{aligned}m &\approx \hat{m}_T = \frac{1}{T} \int_0^T x(t) dt \\ R(\tau) &\approx \hat{R}_T(\tau) = \frac{1}{T-\tau} \int_0^{T-\tau} (x(t)-\hat{m}_{T-\tau})(x(t+\tau)-\hat{m}_{T-\tau}) dt \nonumber \\ &= \frac{1}{T-\tau} \int_0^{T-\tau} x(t)x(t+\tau) dt - \hat{m}_{T-\tau}^2\end{aligned}\tag{68}$$

ここで $0 \le \tau \le T$ である。しかし実際には $x(t)$ の式は未知であるため、通常は数値的方法を用いて((68))式と((68))式を計算する。まず $[0,T]$ を $N$ 個の長さ $\Delta t = T/N$ の時間間隔に等分し、次に時刻 $t_k = (k-1/2)\Delta t, k=1,2,\cdots,N$ において $X(t)$ をサンプリングし、$N$ 個のサンプル値 $x_k = x(t_k), k=1,2,\cdots,N$ を得る。((68))の積分を和の記号で代用することで、以下を得る。

$$\hat{m}_T \approx \frac{1}{T} \sum_{k=1}^N x_k \Delta t = \frac{1}{N} \sum_{k=1}^N x_k$$

$\tau_r = r\Delta t$ のときの共分散関数は、以下の式を用いて推定できる。

$$\begin{aligned}R_T(\tau_r) &\approx \frac{1}{T-\tau_r} \sum_{k=1}^{N-r} x_k x_{k+r} \Delta t - \left(\frac{1}{T-\tau_r} \sum_{k=1}^{N-r} x_k \Delta t\right)^2 \\ &= \frac{1}{N-r} \sum_{k=1}^{N-r} x_k x_{k+r} - \left(\frac{1}{N-r} \sum_{k=1}^{N-r} x_k\right)^2, \quad r=0,1,\cdots,m < N\end{aligned}$$

これら2つの式の計算やグラフ化はコンピュータによって容易に実現できる。現在の問題は、$\Delta t$ をどれくらい小さく取るのがよいかということである。和の記号を用いて積分を近似する場合、原則として $\Delta t$ は小さいほどよい。しかし技術的な理由（例えばサンプリングには必ず一定の時間間隔が必要である等）により、$\Delta t$ を実際には過度に小さく取ることは不可能である。理論的には、もし $x(t) \ (0 \le t \le T)$ のフーリエ変換 $H(j\omega)$ が遮断角周波数 $\omega_c$ を持つ（すなわち $H(j\omega)$ が周波数領域 $\omega \le \omega_c$ で非ゼロであり、$\omega > \omega_c$ のとき $H(j\omega) = 0$ となる）ならば、$\Delta t \le \pi/\omega_c$ （または $N > (\omega_c T)/\pi$ ととる）のとき、$x_k, k=1,2,\cdots,N$ は関数 $x(t)$ の $[0,T]$ 上での全ての情報を代表することができる（これはいわゆる標本化定理である）。ここで $j = \sqrt{-1}$ は虚数単位を表す。

最後に指摘しておくべきことは、エルゴード定理の条件は、一般的に工学で遭遇する定常過程に対しては満たされるものの、実際にそれが成立するかどうかを検証することは非常に困難であるということである。そのため応用においては、通常はまず遭遇した定常過程がエルゴード性を持つと仮定し、その後に実験に基づいてこの仮定が妥当であるかどうかを検証する。

定常過程のエルゴード性は応用において非常に重要な意義を持つ。まず本節の冒頭で述べたように、過程の長期間にわたるある期間のサンプル値を利用しさえすれば、その過程の平均値と共分散関数を推定できる。次に、これを直接用いて電子システムにおける信号やノイズ過程の直流成分、平均電力などを求めることができる。例えば、$X(t)$ をノイズ電圧（または電流）、$x(t)$ をある観測で得られたノイズ電圧（または電流）の曲線とする。もし過程 $X$ がエルゴード性を持てば、((66))式より、ノイズ電圧（または電流）の直流成分は以下のようになる。

$$m = \overline{m} = \lim_{T \to \infty} \frac{1}{T} \int_0^T x(t) dt$$

この直流成分は実験方法によって容易に決定できる。また、

$$\sigma^2 = R(0) = \lim_{T \to \infty} \frac{1}{T} \int_0^T (x(t)-m)^2 dt$$

を算出することもできる。$R(0)$ はまさにノイズ電圧（または電流）が1オームの抵抗上で消費する交流電力であり、一方でそれは電圧（または電流）の実効値を表していることは明らかである。

4.3 定常過程の共分散関数とパワースペクトル密度

信号における決定論的な関数と同様に、定常過程に対しても時間領域でその性質を研究できるだけでなく、フーリエ変換を用いて周波数領域で研究することもできる。具体的にどちらの領域で研究するかは問題によって決まる。本節では主に定常過程の共分散関数と、それに対応する周波数領域における周波数構造について議論する。この議論は定常過程の自己相関関数 $r(\tau)$ に対しても同様に適用できるため、ここでは共分散関数、すなわち平均が0である定常過程の自己相関関数についてのみ議論する。

4.3.1 共分散関数

定常過程 $X$ の共分散関数 $R(\tau)$ について、定義より容易に以下の性質が得られる。 第1に、対称性。すなわち $R(-\tau)=R(\tau)$ である。 第2に、有界性。すなわち $|R(\tau)| \le R(0)$ である。 第3に、非負定値性。すなわち任意の時刻 $t_n$ および実数 $a_n$ ($n=1,2,\cdots,N$) に対して、 $\sum_{n=1}^N \sum_{m=1}^N a_n a_m R(t_n - t_m) \ge 0$ となる。これは非常に重要な性質である。

定常過程の導関数について、以下のように定義する。もし $Y(t), t \in T$ が存在して $\lim_{h \to 0} E\left|\frac{X(t+h)-X(t)}{h} - Y(t)\right|^2 = 0$ となるとき、$Y=\{Y(t)\}$ を過程 $X$ の点 $t$ における平均二乗導関数（略して導関数）と呼び、$X'(t)$ または $\frac{dX(t)}{dt}$ と記す。平均二乗導関数が存在するための必要十分条件は極限 $\lim_{h \to 0, k \to 0} \frac{R(0)-R(h)-R(k)+R(h-k)}{hk}$ が有限な値として存在することであることが検証できる。ここから以下の興味深い性質を導くことができる。以下に関連する導関数が存在しさえすれば、性質は成立する。 第4に、定常過程の $n$ 階導関数の共分散関数は $Cov(X^{(n)}(t), X^{(n)}(t+\tau)) = (-1)^n R^{(2n)}(\tau)$ である。

表4.1に工学で頻繁に遭遇するいくつかの共分散関数を列挙する。以下にそのうちのいくつかを紹介する。 A. $R(\tau) = 1 - \frac{|\tau|}{T}$（$|\tau| \le T$ のとき）、および $0$（$|\tau| > T$ のとき）。$R(\tau)$ のグラフは三角形となる。$R(\tau)$ は $\tau=0$ で連続であるが微分不可能である。性質4より $X'(t)$ は存在しない。 B. $R(\tau) = e^{-\kappa|\tau|}, \kappa > 0$。そのグラフは指数減衰型となる。これは最もよく見られる共分散関数である。グラフは軸の上方にあり、かつ凸である（すなわち2階導関数が正）。$\tau=0$ で連続であるが微分不可能であるため、$X'(t)$ も存在しない。 C. $R(\tau) = (1-k|\tau|)e^{-k|\tau|}, k > 0$。図より、 $|\tau| > 1/k$ のときグラフは軸の下方にあり、かつ $|\tau| = 2/k$ のときに最小値をとることがわかる。$R(\tau)$ は $\tau=0$ で導関数が存在しないため、$X'(t)$ は存在しない。 D. $R(\tau) = \exp\left\{-\frac{k}{2}\tau^2\right\}$。このグラフは平均が0、分散が $1/k$ の正規分布の密度関数と定数因子のみが異なる。$\tau=0$ のとき $R(\tau)$ は任意回微分可能であるため、$X^{(n)}(t)$ は存在する。

4.3.2 いくつかの一般的なランダム信号の共分散関数

1. 振幅変調波 $\{Y(t), t \in R\}$ を平均0の実定常過程とし、$\lambda_0$ を実数とする。このとき

$$Z(t) = Y(t)e^{j\lambda_0 t}, \quad t \in R\tag{69}$$

は複素数値の定常過程であり、$\lambda_0$ は角周波数である。$Z(t)$ は $Y(t)$ によって決定される振幅変調信号と呼ばれる。過程 $Z$ と $Y$ の共分散関数をそれぞれ $R_Z$ と $R_Y$ と記すと、$R_Z(\tau) = R_Y(\tau)e^{j\lambda_0 \tau}$ となる。特に $R_Y(\tau) = e^{-k|\tau|}$ のとき、$R_Z(\tau) = e^{-k|\tau|+j\lambda_0 \tau}$ となる。ここおよび以下において $j$ は虚数単位を表す、すなわち $j = \sqrt{-1}$ である。 実数形式の振幅変調波は $X(t) = Y(t)\cos(\omega t + \Theta), t \in R$ と表される。ここでランダムな位相 $\Theta$ は $(0, 2\pi)$ 上の均一分布であり、かつランダムな振幅 $Y(t)$ と独立であるとする。このとき、$E[Y(t)]=0$ であればその共分散関数は

$$\begin{aligned}R_X(\tau) &= R_Y(\tau) \cdot \frac{1}{2\pi} \int_0^{2\pi} \cos(\omega t + \theta)\cos(\omega(t+\tau)+\theta)d\theta \\ &= \frac{1}{2} R_Y(\tau) \cos \omega\tau\end{aligned}$$

となる。もし $R_Y(\tau) = e^{-k|\tau|}$ であれば、$R_X(\tau) = \frac{1}{2} e^{-k|\tau|} \cos \omega\tau$ となる。

2. 周波数変調波 簡単のため、定常過程 $Y = \{Y(t), t \in R\}$ によって決定される位相変調信号のみを議論する。 $X(t) = \cos Y(t), t \in R$ とする。 $Y(t)$ を平均0のガウス過程とし、過程 $X$ の共分散関数を求める。 $C = \sqrt{R_Y(0)}$ とする。

$$E[X(t)] = E[\cos Y(t)] = E\left[\frac{1}{2}(e^{jY(t)} + e^{-jY(t)})\right]$$

$Y(t)$ の積率母関数を $g(s)$ とすると、$g(s) = E[e^{sY(t)}] = \exp\{C^2 s^2 / 2\}$ となる。形式的に $s=j$ を上式に代入すると（このとき積率母関数は特性関数と呼ばれる）、

$$\begin{aligned}E[\cos Y(t)] &= \frac{1}{2} \left( \exp\left\{-\frac{C^2}{2}\right\} + \exp\left\{-\frac{C^2}{2}\right\} \right) = \exp\left\{-\frac{C^2}{2}\right\} \\ &= \exp\{-R_Y(0)/2\}\end{aligned}$$

三角関数の公式 $\cos\alpha \cos\beta = \frac{1}{4}(e^{j(\alpha+\beta)} + e^{-j(\alpha+\beta)} + e^{j(\alpha-\beta)} + e^{-j(\alpha-\beta)})$ より、計算によって以下も得られる。

$$E[X(t)X(t+\tau)] = e^{-R_Y(0)}\cosh(R_Y(\tau))$$

したがって、以下を得る。

$$\begin{aligned}R_X(\tau) &= E[X(t)X(t+\tau)] - (E[X(t)])^2 \nonumber \\ &= e^{-R_Y(0)}(\cosh(R_Y(\tau)) - 1)\end{aligned}\tag{70}$$

もし $\tau \to \infty$ のとき $R_Y(\tau) \to 0$ であれば、((70))式より $R_X(\tau) \to 0$ となる。 共分散関数の性質より、$-R_Y''(0) = E[(Y'(t))^2] > 0$ であるため、$R_Y(\tau)$ は $\tau=0$ の近傍において以下の近似公式を持つ。

$$R_Y(\tau) \approx R_Y(0) - \frac{k^2}{2}\tau^2$$

上式に1次の項がないのは $R_Y(\tau)$ が偶関数であるためである。これを((70))式に代入すると、

$$R_X(\tau) \approx \exp\{-R_Y(0) + R_Y(\tau)\} = \exp\left\{-\frac{1}{2}k^2\tau^2\right\}$$

すなわち、$\tau=0$ の近傍では正規分布の密度関数に近似した共分散関数を持つ。

3. 二乗検波 $\{Y(t), t \in R\}$ を平均0の定常ガウス過程とする。$X(t) = Y^2(t), t \in R$ とする。計算により、過程 $X$ と $Y$ の共分散関数には以下の関係があることがわかる。

$$R_X(\tau) = 2R_Y^2(\tau)$$

4.3.3 パワースペクトル密度

本小節では主に共分散関数（すなわち平均が0の自己相関関数）の周波数構造について研究する。まず決定論的な時間関数のエネルギー、エネルギースペクトル密度、パワースペクトルなどの概念から出発し、その後定常過程のパワースペクトルの概念を導入する。

$x(t)$ を実軸上の周期 $2T$ の関数とし、$[-T, T]$ 上に有限個の第1種不連続点のみを持つとする（他の条件に変更することも可能である）。このとき $x(t)$ はフーリエ展開を持つ。すなわち

$$x(t) = \sum_{n=-\infty}^\infty A(n)e^{-jn\omega t}$$

ここで $\omega = \pi/T$ であり、

$$A(n) = \frac{1}{2T} \int_{-T}^T x(t)e^{jn\omega t}dt$$

である。$A(n)$ は一般に複素数であり、定義より明らかに $A(n)$ の共役 $\overline{A}(n) = A(-n)$ である。$A(0)/2$ は直流成分、$|A(1)|$ は基本波の振幅、$|A(n)|$ は高調波 $n\omega$ の振幅と呼ばれる。ここで、$x(t)$ の周波数による $[-T, T]$ 上のエネルギーの分解を考える（諸物理用語を理解しやすくするため、$x(t)$ を1オームの抵抗に印加された電圧と想像してもよい）。 もし $\int_{-T}^T x^2(t)dt < \infty$ であれば、パーセバルの等式が成立する。

$$\int_{-T}^T x^2(t)dt = 2T \sum_{n=-\infty}^\infty |A(n)|^2$$

上式の左辺は $x(t)$ の $[-T, T]$ 上における総エネルギーを表し、言い換えれば $x(t)$ の電力は

$$\frac{1}{2T} \int_{-T}^T x^2(t)dt = \sum_{n=-\infty}^\infty |A(n)|^2$$

となる。 $\omega_n = n\omega$ を各高調波の角周波数と呼ぶ。$\lambda = n/2T$ は高調波の線周波数と呼ばれる。$x(t)$ の線パワースペクトル図において、各線分はスペクトル線と呼ばれ、その高さは $|A(n)|^2$ である。$|A(-n)|^2 + |A(n)|^2$ は基本波または第 $(n-1)$ 高調波の電力となる。パワースペクトルを右半直線上に集中させたものを半パワースペクトルと呼ぶ。ここでの「半」の字は値の半分ではなく領域の半分を意味する。なぜなら0を除き、半パワースペクトルの値は同じ場所におけるパワースペクトルの2倍となるからである。上記のスペクトル線は離散的であるため、我々はこの種のパワースペクトルを離散スペクトルと呼ぶ。以上の分析は、もし $[-T, T]$ 上の $x(t)$ の総エネルギーが有限であれば、総電力は各高調波の電力の和に分解できることを教えてくれる。

もし $x(t)$ が周期的ではないが、総エネルギーが有限であるとする。すなわち

$$\int_{-\infty}^\infty x^2(t)dt < \infty\tag{71}$$

であるとする。このとき $x(t)$ のフーリエ変換は存在し、言い換えれば周波数スペクトルを持つ。

$$F(\omega) = \int_{-\infty}^\infty x(t)e^{-j\omega t}dt$$

一般に $F(\omega)$ は複素数であり、かつ $\overline{F}(\omega) = F(-\omega)$ である。そしてパーセバルの等式は依然として成立する。すなわち

$$\int_{-\infty}^\infty x^2(t)dt = \frac{1}{2\pi} \int_{-\infty}^\infty |F(\omega)|^2 d\omega$$

この公式の意味するところは、$x(t)$ の全エネルギーが全ての周波数に沿って分解できるということである。$|F(\omega)|^2$ はエネルギースペクトル密度と呼ばれる。((71))式を満たす信号はエネルギー型信号と呼ばれる。

しかし一般的な状況において、信号は((71))式を満たさない。すなわち総エネルギーは無限大となる。しかし平均電力は

$$P = \lim_{T \to \infty} \frac{1}{2T} \int_{-T}^T x^2(t)dt < \infty$$

となる。このような信号は電力型信号と呼ばれる。正弦波型信号、定常過程の標本関数などの時間関数は、$t$ が正負の無限大に近づくときに0に収束しないため、いずれもエネルギー型信号ではない。しかし明らかに正弦波型信号は電力型である。フーリエ変換を利用して平均電力のスペクトル表現を与えるために、以下のように考えることができる。

$$x_T(t) = \begin{cases} x(t), & |t| \le T, \\ 0, & |t| > T, \end{cases}$$

とすると、$x(t)$ の有限区間におけるエネルギーは常に有限であるため、$x_T(t)$ のフーリエ変換は存在する。

$$F(\omega, T) = \int_{-\infty}^\infty x_T(t)e^{-j\omega t}dt\tag{72}$$

かつパーセバルの等式が成立する。

$$\int_{-\infty}^\infty x_T^2(t)dt = \frac{1}{2\pi} \int_{-\infty}^\infty |F(\omega, T)|^2 d\omega\tag{73}$$

両辺を $2T$ で割ると、左辺はまさに $x_T(t)$ の平均電力となる。$T \to \infty$ とすると、$x(t)$ の実数軸上における平均電力は以下のように表すことができる。

$$\lim_{T \to \infty} \frac{1}{2T} \int_{-\infty}^\infty x_T^2(t)dt = \frac{1}{2\pi} \lim_{T \to \infty} \int_{-\infty}^\infty \frac{1}{2T} |F(\omega, T)|^2 d\omega\tag{74}$$

もし

$$\lim_{T \to \infty} \frac{1}{2T} |F(\omega, T)|^2 = S(\omega)$$

が存在するならば、((74))式における極限記号と積分記号は交換可能である。((72))式に注意すると、以下が成り立つ。

$$\lim_{T \to \infty} \frac{1}{2T} \int_{-T}^T x_T^2(t)dt = \frac{1}{2\pi} \int_{-\infty}^\infty S(\omega)d\omega\tag{75}$$

我々は $S(\omega)$ を $x(t)$ の平均パワースペクトル密度と呼ぶ。 $S(\omega)\Delta\omega$ は $x(t)$ の周波数における $[\omega, \omega+\Delta\omega]$ の成分が $x(t)$ の総電力に対して寄与する量を表している。

以下では平均パワースペクトル密度の概念を定常過程 $X = \{X(t), -\infty < t < \infty\}$ に拡張する。このため、各標本軌道に対して、((73))式および((75))式（$S(\omega)$ が存在すると仮定する）に基づくと、以下のようになる。

$$F(\omega, T) = \int_{-T}^T X(t)e^{-j\omega t}dt\tag{76}$$

および

$$\frac{1}{2T} \int_{-T}^T X^2(t)dt = \frac{1}{2\pi} \int_{-\infty}^\infty \frac{1}{2T} |F(\omega, T)|^2 d\omega\tag{77}$$

注意すべきは、((76))式および((77))式における量はすべて確率変数であるため、意味を持つのはそれらの平均値であるということである。我々は過程 $X$ の平均パワースペクトル密度を以下のように定義する（もし極限が存在するならば）。

$$S(\omega) = \lim_{T \to \infty} E\left[\frac{1}{2T}|F(\omega, T)|^2\right]\tag{78}$$

そして

$$\lim_{T \to \infty} E\left[\frac{1}{2T} \int_{-T}^T X^2(t)dt\right]\tag{79}$$

を定常過程 $X$ の平均電力として定義する。$E[X(t)]=0$ の仮定により、((79))において積分と期待値演算の順序を交換すると、

$$\lim_{T \to \infty} \frac{1}{2T} \int_{-T}^T E[X^2(t)]dt = \lim_{T \to \infty} \frac{1}{2T} \int_{-T}^T R(0)dt = R(0)\tag{80}$$

すなわち $R(0)$ はまさに過程の平均電力を表している。((78))式において演算の順序を交換すると、

$$\begin{aligned}\lim_{T \to \infty} E\left[\int_{-\infty}^\infty \frac{1}{2T}|F(\omega, T)|^2 d\omega\right] &= \int_{-\infty}^\infty \lim_{T \to \infty} E\left[\frac{1}{2T}|F(\omega, T)|^2\right] d\omega \nonumber \\ &= \int_{-\infty}^\infty S(\omega)d\omega\end{aligned}\tag{81}$$

((77))式の両辺の期待値をとり、その後 $T \to \infty$ とすると、((80))式および((81))式より以下を得る。

$$R(0) = \frac{1}{2\pi} \int_{-\infty}^\infty S(\omega)d\omega\tag{82}$$

((82))式は定常過程の平均電力のスペクトル表現式と呼ばれる。もちろん、ここでは前述の演算の順序が交換可能であるかという問題が残っている。定常過程の共分散関数 $R(\tau)$ が $\int |R(\tau)|d\tau < \infty$ を満たすならば、以上の各種演算の順序交換はすべて正当であることが証明できる。

もし $\omega < 0$ におけるスペクトル密度を $\omega > 0$ における箇所に加え、スペクトル密度が正の半実軸上でのみ定義されるようにした場合、それを半（パワー）スペクトル密度、または片側スペクトル密度と呼ぶ。半スペクトル密度を $G(\omega)$ で表すと、

$$G(\omega) = \begin{cases} \lim_{T \to \infty} \frac{1}{T} E|F(\omega, T)|^2, & \omega \ge 0, \\ 0, & \omega < 0 \end{cases} = \begin{cases} 2S(\omega), & \omega \ge 0, \\ 0, & \omega < 0 \end{cases}\tag{83}$$

半スペクトル密度は工学においてより頻繁に使用される。

スペクトル密度はスペクトル分析において重要であるため、その性質、特に共分散関数との関係について詳細に議論する必要がある。 $S(\omega)$ の定義から $\overline{S}(\omega) = S(\omega) \ge 0$、$S(-\omega) = S(\omega)$ となることがわかる。これは $|F(\omega, T)|^2 = F(\omega, T)F(-\omega, T)$ が実数かつ非負の偶関数であるためである。次に、((78))式で定義された平均パワースペクトル密度 $S(\omega)$ と共分散関数 $R(\tau)$（定常過程の平均をゼロと仮定）はフーリエ変換の対となる。一般に、((78))式で定義される平均パワースペクトル密度 $S(\omega)$ と自己相関関数 $r(\tau)$ もフーリエ変換の対である。より具体的には、以下の定理が成り立つ。

定理 4.4（ウィーナー・ヒンチン公式） $E[X(t)] = 0$ かつ $\int |R(\tau)| d\tau < \infty$ と仮定する。このとき以下が成り立つ。

$$\begin{aligned}S(\omega) &= \int R(\tau)e^{-j\omega\tau} d\tau \\ R(\tau) &= \frac{1}{2\pi} \int S(\omega)e^{j\omega\tau} d\omega\end{aligned}\tag{84}$$

証明． $E[X(t)] = 0$ であるため、$R(t-s) = E[X(t)X(s)]$ となる。 $S(\omega)$ の定義より、以下のようになる。

$$\begin{aligned}S(\omega) &= \lim_{T \to \infty} \frac{1}{2T} E\left[ \int_{-T}^T X(t)e^{-j\omega t} dt \int_{-T}^T X(s)e^{j\omega s} ds \right] \\ &= \lim_{T \to \infty} \frac{1}{2T} \iint_D E[X(t)X(s)]e^{-j\omega(t-s)} dt ds \\ &= \lim_{T \to \infty} \frac{1}{2T} \iint_D R(t-s)e^{-j\omega(t-s)} dt ds\end{aligned}$$

ここで $D = \{-T \le t \le T, -T \le s \le T\}$ である。上式の積分において変数変換 $u = t+s, \tau = t-s$ を行うと、積分領域 $D$ は $D_1 = \{-2T \le u+\tau \le 2T, -2T \le u-\tau \le 2T\}$ に変換される。 定理4.1の証明と同様にして、上式は以下のようになる。

$$\begin{aligned}S(\omega) &= \lim_{T \to \infty} \frac{1}{4T} \iint_{D_1} R(\tau)e^{-j\omega\tau} du d\tau \\ &= \lim_{T \to \infty} \int_{-\infty}^\infty R^T(\tau)e^{-j\omega\tau} d\tau\end{aligned}$$

式中の $R^T(\tau)$ は以下の通りである。

$$R^T(\tau) = \begin{cases} \left(1 - \frac{|\tau|}{2T}\right) R(\tau), & |\tau| \le 2T, \\ 0, & |\tau| > 2T \end{cases}$$

$T \to \infty$ のとき $R^T(\tau) \to R(\tau)$ であり、条件 $\int |R(\tau)| d\tau < \infty$ より、極限と積分の順序が交換可能であることがわかる。すなわち以下が成り立つ。

$$S(\omega) = \int_{-\infty}^\infty \lim_{T \to \infty} R^T(\tau)e^{-j\omega\tau} d\tau = \int_{-\infty}^\infty R(\tau)e^{-j\omega\tau} d\tau$$

フーリエ変換の性質から、$R(\tau)$ は $S(\omega)$ の逆フーリエ変換であることがわかる。したがって((84))式および((84))式が成立する。

注 4.2 $R(\tau)$ と $S(\omega)$ はともに偶関数であるため、ウィーナー・ヒンチン（Wiener-Khintchine）公式はフーリエ余弦変換の形式で記述することもできる。

$$\begin{aligned}S(\omega) &= 2 \int_0^\infty R(\tau) \cos \omega\tau d\tau \\ R(\tau) &= \frac{1}{\pi} \int_0^\infty S(\omega) \cos \omega\tau d\omega\end{aligned}\tag{85}$$

定常系列について、$R(\tau), \tau = 0, \pm 1, \pm 2, \cdots$ をその共分散関数とし、$\sum_\tau |R(\tau)| < \infty$ であるとする。$S(\omega)$ を対応するスペクトル密度（すなわち((76))式において積分を和の記号に変更し、その後((78))式によって得られる平均パワースペクトル密度）とすると、((86))式および((86))式に対応するウィーナー・ヒンチン公式は以下のようになる。

$$\begin{aligned}S(\omega) &= \sum_{\tau=-\infty}^\infty e^{-j\omega\tau} R(\tau) \\ R(\tau) &= \frac{1}{2\pi} \int_{-\pi}^\pi S(\omega) \cos \omega\tau d\omega\end{aligned}\tag{86}$$

注 4.3 $E[X(t)] = m$ のとき、((78))式で定義される平均パワースペクトル密度と自己相関関数はフーリエ変換の対となる。すなわち以下が成り立つ。

$$\begin{aligned}S(\omega) &= \int r(\tau)e^{-j\omega\tau} d\tau \\ r(\tau) &= \frac{1}{2\pi} \int S(\omega)e^{j\omega\tau} d\omega\end{aligned}$$

便宜上、以下では常に $E[X(t)] = 0$ と仮定する。

最も一般的なスペクトル密度は有理スペクトル密度であり、すなわち $S(\omega)$ は2つの多項式の比となる。

$$S(\omega) = \frac{P(\omega)}{Q(\omega)}$$

スペクトル密度は非負の実数値偶関数であるため、$S(\omega)$ は以下のような形式となる。

$$s_0 \frac{\omega^{2n} + a_{2n-2}\omega^{2n-2} + \cdots + a_2\omega^2 + a_0}{\omega^{2m} + b_{2m-2}\omega^{2m-2} + \cdots + b_2\omega^2 + b_0}$$

式中 $s_0 \ne 0$ である。また $R(0) > 0$ であるため、$S(\omega)$ は $[0, \infty)$ 上で可積分でなければならない。したがって $S(\omega)$ の分母は実根を持たず、分母多項式の次数は分子よりも少なくとも2高く、かつ $s_0 > 0$ である必要がある。

例 4.14 スペクトル密度が $S(\omega) = \frac{\omega^2 + 2}{\omega^4 + 5\omega^2 + 4}$ であることが知られている。平稳過程 $X$ の共分散関数と分散を求めよ。

解． 公式((84))より以下となる。

$$R(\tau) = \frac{1}{2\pi} \int_{-\infty}^\infty \frac{\omega^2 + 2}{\omega^4 + 5\omega^2 + 4} e^{j\omega\tau} d\omega$$

留数定理（$\tau \ge 0$ のときは上半平面の経路を用い、$\tau < 0$ のときは下半平面の経路を用いる）により計算すると以下が得られる。

$$\begin{aligned}R(\tau) &= \frac{1}{2\pi} 2\pi j \left\{ \frac{z^2 + 2}{z^4 + 5z^2 + 4} e^{jz|\tau|} \text{ の } z=j \text{ と } 2j \text{ における留数の和} \right\} \\ &= \frac{1}{6} (e^{-|\tau|} + e^{-2|\tau|})\end{aligned}$$

過程の分散は

$$R(0) = \frac{1}{6} (1 + 1) = \frac{1}{3}$$

となる。

例 4.15 平稳系列の共分散関数が $R(\tau) = \frac{1}{2\pi} \rho^{|\tau|}, \tau = 0, \pm 1, \cdots, |\rho| < 1$ であることが知られている。スペクトル密度関数を求めよ。

解． 公式((86))より、以下となる。

$$\begin{aligned}S(\omega) &= \frac{1}{2\pi} \sum_{\tau=-\infty}^\infty e^{-j\omega\tau} \rho^{|\tau|} \\ &= \frac{1}{2\pi} \left[ \sum_{\tau=0}^\infty (\rho e^{-j\omega})^\tau + \sum_{\tau=0}^\infty (\rho e^{j\omega})^\tau - 1 \right] \\ &= \frac{1}{2\pi} \left[ \frac{1}{1 - \rho e^{-j\omega}} + \frac{1}{1 - \rho e^{j\omega}} - 1 \right] \\ &= \frac{1}{2\pi} \cdot \frac{1 - \rho^2}{|1 - \rho e^{j\omega}|^2} = \frac{1}{2\pi} \cdot \frac{1 - \rho^2}{1 - 2\rho \cos \omega + \rho^2}\end{aligned}$$

例 4.16 もし上の例における $R(\tau)$ が平稳過程の共分散関数であるならば、対応するスペクトル密度関数を求めよ。

解． 公式((84))より、$0 \le \omega \le 2\pi$ に対して以下となる。

$$\begin{aligned}S(\omega) &= \int_{-\infty}^\infty \frac{1}{2\pi} \rho^{|\tau|} e^{-j\omega\tau} d\tau \\ &= \frac{1}{2\pi} \left[ \int_0^\infty (\rho e^{-j\omega})^\tau d\tau + \int_0^\infty (\rho e^{j\omega})^\tau d\tau \right] \\ &= -\frac{1}{2\pi} \left( \frac{1}{\ln \rho - j\omega} + \frac{1}{\ln \rho + j\omega} \right) = \frac{-\ln \rho}{\pi(\ln^2 \rho + \omega^2)}\end{aligned}$$

$R(\tau)$ からスペクトル密度 $S(\omega)$ を求める方法については、しばしばフーリエ変換の性質を利用して行うことができる。例えば畳み込みの性質や微分の性質などを利用できるが、ここでは一つ一つ列挙することはしない。

最後に指摘しておくべきことは、実際の問題においては、共分散関数やスペクトル密度関数が通常意味でのフーリエ変換を持たないような平稳過程に遭遇することがあるということである。例えば定数や正弦波型関数などである。しかしフーリエ解析から知られているように、スペクトル密度や共分散関数の中にデルタ関数 $\delta$ を含むことを許容すれば、広義のフーリエ変換の下でウィーナー・ヒンチン公式は依然として成立する。これは主に関数の以下のような基本性質を利用している。任意の連続関数 $f(\tau)$ に対して、

$$\int \delta(\tau - \tau_0)f(\tau) d\tau = f(\tau_0)$$

となる。これから以下が得られる。

$$\begin{aligned}\frac{1}{2\pi} \int_{-\infty}^\infty e^{j\omega\tau} d\omega &= \delta(\tau) \\ \int \delta(\tau)e^{-j\omega\tau} d\tau &= 1\end{aligned}\tag{87}$$

((87))式より、共分散関数が定数1であるとき、対応するスペクトル密度関数は $2\pi\delta(\omega)$ となる。逆に、スペクトル密度が1であるとき、((87))式より共分散関数は $\delta(\tau)$ となる。さらに $\cos \omega\tau = \frac{1}{2}(e^{j\omega\tau} + e^{-j\omega\tau})$、$\sin \omega\tau = \frac{1}{2j}(e^{j\omega\tau} - e^{-j\omega\tau})$ より、スペクトル密度が $a \cos \omega\tau_0$ であるとき、対応する共分散関数は以下のように計算できる。

$$\begin{aligned}R(\tau) &= \frac{1}{2\pi} \int a \cos \omega\tau_0 e^{j\omega\tau} d\omega \\ &= \frac{a}{4\pi} \left[ \int e^{j\omega(\tau+\tau_0)} d\omega + \int e^{j\omega(\tau-\tau_0)} d\omega \right] \\ &= \frac{a}{2}(\delta(\tau+\tau_0) + \delta(\tau-\tau_0))\end{aligned}$$

スペクトル密度が定数 $S_0$ である平稳過程は白色雑音（ホワイトノイズ）過程と呼ばれる。これは白色光のスペクトルに似ているため白色雑音と呼ばれる。白色雑音の共分散関数はインパルス関数となる。

$$R(\tau) = \frac{1}{2\pi} \int S_0 e^{j\omega\tau} d\omega = S_0 \delta(\tau)$$

したがって白色雑音過程においては、異なる時刻間は無相関である。定理4.1の系4.1から容易にわかるように、白色雑音過程はエルゴード的である。白色雑音は理想化された数学モデルであり、その平均電力 $R(0)$ は無限大となるため、物理的には実現不可能である。実用的なスペクトル分析において、ある種の雑音が実際に考慮される有用な周波数帯域よりもはるかに広い範囲で比較的平坦なスペクトル密度を持つ場合、それを白色雑音として近似的に扱うことができる。例えば電子管における散弾雑音や電子機器における熱雑音などがそれにあたる。

平稳系列 $X = \{X(n), n=0, \pm 1, \pm 2, \cdots\}$ に対して、スペクトル密度が定数 $S_0$ である場合、白色雑音系列と呼ばれる。その共分散関数は以下のようになる。

$$R(\tau) = \frac{1}{2\pi} \int_{-\pi}^\pi S_0 \cos \omega\tau d\omega = \begin{cases} S_0, & \tau = 0, \\ 0, & \tau = \pm 1, \pm 2, \cdots \end{cases}$$

すなわち異なる時刻間は無相関である。さらに $X(n)$ が正規分布に従うと仮定した場合、ガウス白色雑音系列と呼ばれる。その分散は $S_0$ である。このとき多次元正規分布の性質より $\{X(n), n = \cdots, -1, 0, 1, \cdots\}$ は互いに独立となる。

例 4.17 信号入力 $\{\epsilon_n, n=0,1,\cdots\}$ が平均0、分散1のガウス白色雑音系列であるとする。出力 $X_n$

$$X_n = a_1\epsilon_n + a_2\epsilon_{n-1}, \quad n=1,2,\cdots$$

のスペクトル密度を求めよ。

解． 例4.7より $\{X_n, n=1,2,\cdots\}$ は平稳系列であり、その共分散関数 $R(\tau)$ は以下のようになる。

$$R(\tau) = \begin{cases} a_1^2 + a_2^2, & \tau = 0, \\ a_1 a_2, & \tau = -1, 1, \\ 0, & \text{その他の場合} \end{cases}$$

したがって対応するスペクトル密度は((87))式より以下のように求められる。

$$\begin{aligned}S(\omega) &= \sum_{\tau=-\infty}^\infty R(\tau)e^{-j\omega\tau} = (a_1^2 + a_2^2) + a_1 a_2(e^{j\omega} + e^{-j\omega}) \\ &= a_1^2 + 2a_1 a_2 \cos \omega + a_2^2\end{aligned}$$

これは周期が $2\pi$ の周期関数である。

例 4.18 信号分析において信号を複素数形式で表現することがよくあるため、複素数値の平稳過程を考慮することには意義がある。平稳過程 $X$ を

$$X(t) = a e^{j(Wt-\varphi)}$$

とする。ここで $W$ は確率密度 $f_W(\omega)$ を持つ確率変数であり、$a$ は実定数である。容易に検証できることとして、その自己相関関数 $r(\tau) = E[X(t+\tau)\overline{X(t)}]$ は以下となる。

$$r(\tau) = a^2 \int f_W(\omega)e^{j\omega\tau} d\omega$$

ウィーナー・ヒンチン公式の注4.3より、そのスペクトル密度は

$$S(\omega) = 2\pi a^2 f_W(\omega)$$

となる。 この公式は物理学において興味深い応用を持つ。ドップラー（Doppler）効果を考える。調和振動子が $x$ 軸上の点 $P$ に位置し、それが速度 $v$ で $x$ 軸方向に移動し、信号 $e^{j\omega_0 t}$ を発しているとする。原点に位置する受信機が受信する信号は

$$s(t) = a e^{j\omega_0(t - r/c)}$$

となる。ここで $r = r_0 + vt$ は原点から $P$ までの距離であり、$c$ は伝播速度である。すると $s(t)$ は以下のように書ける。

$$s(t) = a e^{j(Wt-\varphi)}$$

ここで $W = \omega_0(1 - v/c)$、$\varphi = r_0\omega_0/c$ である。 もし $f_v(v)$ を $v$ の確率密度とすると、$W$ と $v$ の線形関係 $W = \omega_0(1 - v/c)$ から直ちにわかるように、$W$ の確率密度関数は以下となる。

$$f_W(\omega) = \frac{c}{\omega_0} f_v\left[ \left(1 - \frac{\omega}{\omega_0}\right)c \right]$$

したがって受信信号のスペクトルは以下に等しい。

$$S(\omega) = \frac{2\pi a^2 c}{\omega_0} f_v\left[ \left(1 - \frac{\omega}{\omega_0}\right)c \right]$$

もし振動子が $x$ 軸と一定の角度をなす方向に移動する場合でも、上式は依然として成立する。ただしこのとき $v$ は速度の $x$ 軸上の成分を表す。 $v=0$ のとき $S(\omega) = 2\pi a^2 \delta(\omega - \omega_0)$ となることに注意する。一方、原点で受信された信号 $s(t)$ は運動によりそのスペクトル密度が広がることになる。

4.4 定常系列の予測

科学技術や経済などの分野において、人々は確率過程（しばしば定常過程または定常系列）の過去および現在の状態 $X(s) \ (s \le t)$ の観測を通じて、未来の時刻 $t+\tau$ における状態 $X(t+\tau)$ の分布を推論または推定する。これが確率過程の予測（または予報）問題である。予測は平均二乗誤差が最小となるような意味合いで行われ、これは確率論や確率過程の理論においてすでに解決されている。しかし、これらの理論的な結果は過程のすべての有限次元確率分布の知識に依存するか、あるいは計算上無限個のパラメータを含むため、そのような予測（非線形なもの）を実際に適用することはほぼ不可能であった。1941年前後にコルモゴロフ（Kolmogorov）とウィーナー（Wiener）は、それぞれ定常過程または定常系列に対して幾何学的または直交射影法および演算子のスペクトル表現方法を適用し、後にコルモゴロフ・ウィーナーの定常過程の線形予測理論と呼ばれるものを構築した。彼らは線形予測のクラスの中で最小平均二乗誤差を持つ予測式を導き出し、一定の条件下で明示的な計算公式を得た。彼らの研究は理論的にも実用的にも極めて重要であり、定常過程の新たな研究および応用分野を切り開いた。本節では定常系列の線形予測に重点を置いて紹介する。

定常系列を $X_n, n = 0, \pm 1, \cdots$ とし、一般性を失うことなく $EX_n = 0$ と仮定する。いわゆる予測とは、この定常系列の一部である確率変数 $\{X_s, s \in T\}$（ここで $T$ は時間の添字集合）のある関数の線形結合を用いて、未知の（一般には将来の）確率変数 $X_t$（ここで $t \notin T$ であり、しばしばすべての $s \in T$ に対して $t > s$ となる）を近似し、平均二乗誤差を最小にすることである。もしこの関数が線形関数であれば、この種の予測は線形予測と呼ばれる。もし $T$ が全歴史の期間 $s \le t-\tau, \tau \ge 1$ である場合、すなわち無限の定常系列 $X_{t-\tau}, X_{t-\tau-1}, \cdots$ である場合、この状況での予測は無限予測と呼ばれる。もし $T$ が $t-\tau$ 時刻から始まる $n$ 個の歴史的期間 $t-\tau, t-\tau-1, \cdots, t-\tau-n+1$ のみである場合、その予測は有限予測と呼ばれる。

簡単のため、ここでは1歩先の予測問題のみを議論し、かつ有限予測のみを議論する。統一性と便宜上、定常系列を $Y_n, n = 0, \pm 1, \pm 2, \cdots$ と記し、その平均はゼロであるとする。$Y_0$ を予測したい確率変数とし、$Y_{-1}, Y_{-2}, \cdots, Y_{-n}$ をその既知の（最近の過去の）確率変数の値とする。$Y_0$ の最適線形予測を $\hat{Y}_0$ と記すと、以下の形式で表すことができる。

$$\hat{Y}_0 = \sum_{j=1}^n a_j Y_{-j}\tag{88}$$

ここで、実定数 $a_1, a_2, \cdots, a_n$ は、平均二乗誤差

$$E[Y_0 - \hat{Y}_0]^2 = E\left[Y_0 - \sum_{j=1}^n a_j Y_{-j}\right]^2$$

が最小になるように選ばれなければならない（ここでの数学的期待値は $Y_{-1}, Y_{-2}, \cdots, Y_{-n}$ が与えられた下での条件付き期待値である）。$Y_n$ は平均が0の定常系列であるため、付録Bを参照することにより以下が成り立つ。

$$E[Y_0 Y_{-k}] = \sum_{j=1}^n a_j E[Y_{-j}Y_{-k}], \quad k=1,2,\cdots,n\tag{89}$$

これは $Y_0 - \sum_{j=1}^n a_j Y_{-j}$ と $Y_{-k}$ ($k=1,2,\cdots,n$) が直交するためである。$R(k) = E[Y_0 Y_{-k}], R(k-j) = E[Y_{-j} Y_{-k}]$ を((89))式に代入すると、以下が得られる。

$$R(k) = \sum_{j=1}^n a_j R(k-j), \quad k=1,2,\cdots,n\tag{90}$$

この方程式はユール・ウォーカー（Yule-Walker）方程式と呼ばれる。$R(k)$ および $R(k-j)$ はすべて既知であるため（一般に実用上は、確率変数に対して十分な回数の観測を行うことでその自己相関関数を推定する。ここでは共分散関数は既知であるとみなしてよい）、予測係数 $a_1, \cdots, a_n$ を解くことができ、また平均二乗誤差を最小にすることができる。 ユール・ウォーカー方程式を導出したのと全く類似した方法を用いることで、この最小の平均二乗誤差を以下のように求めることができる。

$$E[Y_0 - \hat{Y}_0]^2 = E\left[Y_0 - \sum_{j=1}^n a_j Y_{-j}\right]^2 = E\left[\left(Y_0 - \sum_{j=1}^n a_j Y_{-j}\right)Y_0\right] - \sum_{j=1}^n a_j E\left[\left(Y_0 - \sum_{k=1}^n a_k Y_{-k}\right)Y_{-j}\right] = R(0) - \sum_{j=1}^n a_j R(j)$$

例 4.19 ある定常系列があり、その共分散関数が以下のように既知であるとする。

$$R(k) = \begin{cases} 1, & k=0, \\ \rho, & k = \pm 1, \\ 0, & |k| \ge 2. \end{cases}$$

1歩前の観測値に基づく1歩先の最適線形予測と、その予測の平均二乗誤差を求めよ。

解． 題意より $n=1$ であり、 $E[Y_0 - a_1 Y_{-1}]^2$ を最小にする定数 $a_1$ を見つけたい。ユール・ウォーカー方程式より $R(1) = a_1 R(0)$ となるため、解いて $a_1 = R(1)/R(0) = \rho$ を得る。したがって、1歩前の観測値に基づく1歩先の最適線形予測は $\hat{Y}_0 = \rho Y_{-1}$ となる。その予測誤差の分散（すなわち平均二乗誤差）は $R(0) - a_1 R(1) = 1 - \rho^2$ である。

例 4.20 上の例に基づいて、2歩前までの観測値に基づく1歩先の最適線形予測および平均二乗誤差を求めよ。

解． このとき $n=2$ であり、予測は $\hat{Y}_0 = a_1 Y_{-1} + a_2 Y_{-2}$ となる。以下のユール・ウォーカー方程式を満たす定数 $a_1, a_2$ を探す。

$$\begin{aligned}R(1) &= a_1 R(0) + a_2 R(-1) \\ R(2) &= a_1 R(1) + a_2 R(0)\end{aligned}$$

$R(k)$ の値を代入すると、以下のようになる。

$$\begin{aligned}\rho &= a_1 + a_2 \rho \\ 0 &= a_1 \rho + a_2\end{aligned}$$

これを解いて $a_1 = \frac{\rho}{1 - \rho^2}$、$a_2 = \frac{-\rho^2}{1 - \rho^2}$ を得る。すなわち予測は $\hat{Y}_0 = \frac{\rho}{1-\rho^2} Y_{-1} - \frac{\rho^2}{1-\rho^2} Y_{-2}$ となる。その平均二乗誤差は $R(0) - a_1 R(1) - a_2 R(2) = 1 - \frac{\rho^2}{1 - \rho^2}$ である。

無限予測の理論についてはここではこれ以上紹介しない。興味のある読者はJ. Doobらによる『定常確率過程』などの関連する専門書を参照されたい。

« マルコフ過程ブラウン運動 »