確率過程の最良予測は, ガウス過程回帰の平均値と一致する

確率過程$(X_t{)}_{t\in T}$について考える.
平均関数$m(t)=\text{E}[X_t]$と自己相関関数$C(t,s)=\text{E}[X_t\overline{X_s}]$とする.

$X_t$の2次モーメントが有限であるとすると, 任意の$t\in T$に対して$X_t\in L^2(\mathrm{\Omega },P)$である. そこで, $L^2(\mathrm{\Omega },P)$の閉部分空間を

$$\bar{L}(X)=\text{cl Span}\{X_t\in L^2(\mathrm{\Omega },P)|t\in T\}$$
により定義する. これは, $(X_t{)}_{t\in T}$が生成するヒルベルト空間である.

自己相関関数$C(t,s)$は$T$上の正定値カーネルであるので, 再生核ヒルベルト空間$H_R$が定まる.

${\epsilon }_t$を平均値0で標準偏差σの正規分布に従うとし、有限個の観測$(Y_t)$は
$$Y_t=X_t+{\epsilon }_t$$
によりえられるとする.

$(Y_t)$の自己相関関数$R(t,s)$は,
$$R(t,s)=\text{E}[Y_t{Y}_s]=C(t,s)+{\sigma }^2\delta (t,s)$$

$X_{t_0}$の最良予測$Z_{\ast }$は,

$$\mathrm{\Psi }(Z_{\ast })={\rho }_{X_{t_0}}$$

である[1].　

ただし, $Z_{\ast }=\sum _{j=1}^n{\alpha }_j{Y}_{t_j}$であり,${\rho }_{X_{t_0}}(t_i)=E[X_{t_0}{Y}_{t_i}]=C(t_0,t_i)$である.

また, $\mathrm{\Psi }$は同型写像である.

$$\mathrm{\Psi }:\bar{L}(X)\to H_R:\sum _i{a}_i{X}_i\to \sum _i{a}_{i}R(・,t_i)$$

式変形をしていくと,

$$\begin{array}{rcl}\mathrm{\Psi }\left(Z_{\ast }\right)(t_i)& =& \mathrm{\Psi }\left(\sum _{j=1}^n{\alpha }_j{Y}_{t_j}\right)(t_i)\\ & =& \sum _{j=1}^n{\alpha }_{j}R(t_j,t_i)\\ & =& C(t_0,t_i)\end{array}$$

よって,

$$\sum _{j=1}^n{\alpha }_{j}R(t_j,t_i)=C(t_0,t_i)$$

式変形すると,
$$\sum _{j=1}^n{\alpha }_j(C(t_i,t_j)+{\sigma }^2\delta (t_i,t_j))=C(t_0,t_i)$$

式変形すると,
$$\alpha =(C+{\sigma }^{2}I{)}^{-1}c$$

よって, 線形予測$Z_{\ast }$は,
$$Z_{\ast }={\alpha }^{T}Y=c^T(C+{\sigma }^{2}I{)}^{-1}Y$$

となる.

よって, 確率過程の最良予測は, ガウス過程回帰の平均値と一致する.