確率過程の最良予測は, ガウス過程回帰の平均値と一致する

確率過程$ (X_t)_{t\in T}$について考える.
平均関数$m(t) = \text{E}[X_t]$と自己相関関数$C(t,s) = \text{E}[X_t\overline{X_s}]$とする.

$X_t$の2次モーメントが有限であるとすると, 任意の$t\in T$に対して$X_t\in L^2(\Omega,P)$である. そこで, $L^2(\Omega,P)$の閉部分空間を

\begin{equation} \overline{L}(X) = \text{cl Span} \lbrace X_t\in L^2(\Omega,P) | t\in T\rbrace \end{equation}
により定義する. これは, $(X_t)_{t\in T}$が生成するヒルベルト空間である.

自己相関関数$C(t,s)$は$T$上の正定値カーネルであるので, 再生核ヒルベルト空間$H_R$が定まる.

$\varepsilon_t$を平均値0で標準偏差σの正規分布に従うとし、有限個の観測$(Y_t)$は
\begin{equation} Y_t = X_t+\varepsilon_t \end{equation}
によりえられるとする.

$(Y_t)$の自己相関関数$R(t,s)$は,
\begin{equation} R(t,s)=\text{E}[Y_t Y_s] = C(t,s)+\sigma^2 \delta(t,s)  \end{equation}

$X_{t_0}$の最良予測$Z_{\ast}$は,

\begin{equation} \Psi(Z_{\ast}) = \rho_{X_{t_0}} \end{equation}

である[1].　

ただし, $Z_{\ast} = \sum_{j=1}^{n}\alpha_j Y_{t_j}$であり,$\rho_{X_{t_0}}(t_i)=E[X_{t_0}Y_{t_i}]=C(t_0,t_i)$である.

また, $\Psi$は同型写像である.

\begin{equation} \Psi:\overline{L}(X)\rightarrow H_R:\sum_{i}a_i X_i\rightarrow \sum_{i}a_i R(・,t_i) \end{equation}

式変形をしていくと,

\begin{eqnarray} \Psi\left(Z_{\ast}\right) (t_i) &=& \Psi\left(\sum_{j=1}^{n}\alpha_j Y_{t_j}\right)(t_i)\\ &=& \sum_{j=1}^{n}\alpha_j R(t_j,t_i)\\ &=& C(t_0,t_i) \end{eqnarray}

よって,

\begin{equation} \sum_{j=1}^{n}\alpha_j R(t_j,t_i) = C(t_0,t_i) \end{equation}

式変形すると,
\begin{equation} \sum_{j=1}^{n}\alpha_j \left(C(t_i,t_j)+\sigma^2 \delta(t_i,t_j)\right) = C(t_0,t_i) \end{equation}

式変形すると,
\begin{equation} \alpha = (C+\sigma^2 I )^{-1}c \end{equation}

よって, 線形予測$Z_{\ast}$は,
\begin{equation} Z_{\ast} = \alpha^T Y = c^T(C+\sigma^2 I )^{-1}Y \end{equation}

となる.

よって, 確率過程の最良予測は, ガウス過程回帰の平均値と一致する.