EMアルゴリズムを用いたときの観測情報行列

EMアルゴリズムの基礎 と同じ記号を用いる.

知りたいのは $\ell(\theta) = \log p(y|\theta)$ のヘシアンだが, EMアルゴリズムのメリットは $E[\log p(y, z|\theta)]$ を用いることで $\ell(\theta)$ を直接評価しなくていいようにしたことだった.

そこで, $E[\log p(y, z|\theta)]$ の微分を用いて $\log p(y|\theta)$ の微分を表すことを考えよう.

\begin{align} \frac{\partial}{\partial \theta} \log p(y|\theta) &= \frac{1}{p(y|\theta)} \frac{\partial}{\partial \theta} p(y| \theta) \nonumber\\ &= \frac{1}{p(y|\theta)} \int \frac{\partial}{\partial \theta} p(y, z| \theta) \, dz \nonumber\\ &= \int \left( \frac{\partial}{\partial \theta} \log p(y, z |\theta) \right) \frac{p(y, z |\theta)}{p(y|\theta)}\, dz \nonumber\\ &= E\left[\frac{\partial}{\partial \theta} \log p(y, z |\theta) \right]. \end{align}

これを用いると次の結果が得られる.

\begin{align} & \frac{\partial}{\partial \theta '} \left( \frac{\partial}{\partial \theta} \log p(y|\theta) \right) \nonumber\\ &= \int \frac{\partial}{\partial \theta '}\left(\frac{\partial}{\partial \theta} \log p(y, z |\theta) \right) \frac{p(y,z | \theta)}{p(y|\theta)}dz \nonumber\\ & \quad + \int \left( \frac{\partial}{\partial \theta} \log p(y, z |\theta) \right) \left(\frac{\partial}{\partial \theta '}p(y,z\theta)\right) \frac{dz}{p(y|\theta)}\nonumber\\ & \quad - \int \left( \frac{\partial}{\partial \theta} \log p(y, z |\theta) \right) \frac{p(y, z |\theta)}{\{p(y|\theta)\}^2}\, dz \nonumber\\ &= E\left[\frac{\partial^2}{\partial \theta \partial \theta'} \log p(y,z | \theta) \right] - V\left[\frac{\partial}{\partial \theta} \log p(y,z | \theta)\right]. \end{align}

ここでは $f(z)$ の $p(z|y)$ による条件付き分散を $V[f(z)]$と書いた.