EMアルゴリズムを用いたときの観測情報行列

EMアルゴリズムの基礎 と同じ記号を用いる.

知りたいのは $\ell (\theta )=\log p(y|\theta )$ のヘシアンだが, EMアルゴリズムのメリットは $E[\log p(y,z|\theta )]$ を用いることで $\ell (\theta )$ を直接評価しなくていいようにしたことだった.

そこで, $E[\log p(y,z|\theta )]$ の微分を用いて $\log p(y|\theta )$ の微分を表すことを考えよう.

$$\begin{array}{rl}\frac{\partial }{\partial \theta }\log p(y|\theta )& =\frac{1}{p(y|\theta )}\frac{\partial }{\partial \theta }p(y|\theta )\\ & =\frac{1}{p(y|\theta )}\int \frac{\partial }{\partial \theta }p(y,z|\theta )dz\\ & =\int (\frac{\partial }{\partial \theta }\log p(y,z|\theta ))\frac{p(y,z|\theta )}{p(y|\theta )}dz\\ & =E[\frac{\partial }{\partial \theta }\log p(y,z|\theta )].\end{array}$$

これを用いると次の結果が得られる.

$$\begin{array}{rl}& \frac{\partial }{\partial {\theta }^{\prime }}(\frac{\partial }{\partial \theta }\log p(y|\theta ))\\ & =\int \frac{\partial }{\partial {\theta }^{\prime }}(\frac{\partial }{\partial \theta }\log p(y,z|\theta ))\frac{p(y,z|\theta )}{p(y|\theta )}dz\\ & +\int (\frac{\partial }{\partial \theta }\log p(y,z|\theta ))(\frac{\partial }{\partial {\theta }^{\prime }}p(y,z\theta ))\frac{dz}{p(y|\theta )}\\ & -\int (\frac{\partial }{\partial \theta }\log p(y,z|\theta ))\frac{p(y,z|\theta )}{\{p(y|\theta ){\}}^2}dz\\ & =E[\frac{{\partial }^2}{\partial \theta \partial {\theta }^{\prime }}\log p(y,z|\theta )]-V[\frac{\partial }{\partial \theta }\log p(y,z|\theta )].\end{array}$$

ここでは $f(z)$ の $p(z|y)$ による条件付き分散を $V[f(z)]$と書いた.