不偏推定論におけるCramér–Raoの不等式について
はじめに
本記事は不偏推定論におけるCramér–Rao (クラメール-ラオ) の不等式に関する備忘録です. もし間違い等があればコメントいただけますと幸いです.
不偏推定論
$(\mathscr{X}, \mathscr{A}, \mu)$を$\sigma$-有限測度空間とし, $\Theta \subset \mathbb{R}^p$を未知パラメータの空間とします. また, $\{ P_{\bm{\theta}} \}_{\bm{\theta} \in \Uptheta}$を$(\mathscr{X}, \mathscr{A})$上の確率分布族とし, 各$\bm{\theta} \in \Uptheta$に対して$P_{\bm{\theta}}$は$\mu$に関して絶対連続で密度$f(\,\cdot\,, \bm{\theta})$を持つとします. さらに, $\bm{\theta} \in \Uptheta$を固定するとき, $X$を分布$P_{\bm{\theta}}$に従う$\mathscr{X}$-値確率変数とします.
以下では, 次のように定義される不偏推定量と呼ばれる推定量のクラスについて考えます.
写像$g:\Uptheta \to \mathbb{R}^q$を所与とする. 任意の$\bm{\theta} \in \Uptheta$に対して, $g(\bm{\theta})$の推定量$\delta: \mathscr{X} \to \mathbb{R}^q$が
\begin{align}
\mathrm{E}_{\bm{\theta}}\big[ \delta(X) \big] = g(\bm{\theta})
\end{align}
を満たすとき, $\delta$を$g(\bm{\theta})$の不偏推定量という. $g(\bm{\theta})$に対する不偏推定量が存在するとき, $g(\bm{\theta})$はU-推定可能であるという.
不偏推定量$\delta$は未知パラメータ$\bm{\theta}$の値が何であっても平均的には$g(\bm{\theta})$を言い当てているという意味で妥当な推定量であると考えられます. 一般に不偏推定量は複数存在することがあり得るため, 未知パラメータの推定にあたり推定量のクラスを不偏推定量に絞るとしても, その中から最適なものを選択する必要があります. この最適性の規準として挙げられるものの1つが推定量の分散の大きさです. 本記事では, 不偏推定量の分散の下限を与えるCramér–Raoの不等式を証明します.
準備
- 行列$\boldsymbol{\mathrm{A}}$に対して$\boldsymbol{\mathrm{A}}^\prime$はその転置を表す.
- $\| \cdot \|$はFrobeniusノルムを表す. すなわち, 行列$\boldsymbol{\mathrm{A}}$に対して$\| \boldsymbol{\mathrm{A}} \| = \sqrt{\text{tr}(\boldsymbol{\mathrm{A}}^\prime \boldsymbol{\mathrm{A}})}$.
- $\nabla_{\boldsymbol{\theta}}^\prime = [\partial/\partial\theta_1, \ldots, \partial/\partial\theta_p]$とする. 例えば, $f: \mathbb{R}^p \to \mathbb{R}$に対して
\begin{align} \nabla_{\boldsymbol{\theta}} f(\boldsymbol{\theta}) = \bigg[ \frac{\partial f(\boldsymbol{\theta})}{\partial \theta_i} \bigg]_{p \times 1}, \quad \nabla_{\boldsymbol{\theta}}^2 f(\boldsymbol{\theta}) = \bigg[ \frac{\partial f(\boldsymbol{\theta})}{\partial \theta_i \partial \theta_j} \bigg]_{p \times p}. \end{align}
- $(\mathscr{X}, \mathscr{A}, \mu)$は$\sigma$-有限測度空間.
- $\Theta$は$\mathbb{R}^p$の部分集合 (パラメータ空間).
- $\{ P_{\bm{\theta}} \}_{\boldsymbol{\theta} \in \Theta}は(\mathscr{X}, \mathscr{A})$上の確率分布族.
- $P_{\bm{\theta}}$は$\mu$に関して絶対連続で密度$f(\,\cdot\,, \bm{\theta})$を持つ
- $X$は分布$P_{\bm{\theta}}$に従う$\mathscr{X}$-値確率変数.
Cramér–Raoの不等式
次の定理は不偏推定量の分散の下限を与えます.
所与の関数$g: \Uptheta \to \mathbb{R}^q$に対して, $\delta$を$g(\bm{\theta})$の2乗可積分な不偏推定量とする. すなわち,
\begin{align*}
\mathrm{E}_{\bm{\theta}}\big[ \delta(X) \big] = g(\bm{\theta}), \quad
\mathrm{E}_{\bm{\theta}}\Big[ \big\| \delta(X) \big\|^2 \Big] < \infty,
\quad \bm{\theta} \in \Uptheta.
\end{align*}
次の5つの条件を仮定する.
- $\Uptheta$は$\mathbb{R}^p$の開集合.
- $\mu\text{-a.e.}x \in \mathscr{X}$について, $\bm{\theta} \mapsto f(x, \bm{\theta})$は$\Uptheta$上偏微分可能.
- $\bm{\theta} \mapsto g(\bm{\theta})$は$\Uptheta$上偏微分可能.
- 各$\bm{\theta} \in \Uptheta$に対して
\begin{align*} \mathrm{E}_{\bm{\theta}}\Big[ \big\| \nabla_{\bm{\theta}} \log f(X, \bm{\theta}) \big\|^2 \Big] < \infty \end{align*}
であり,
\begin{align*} \mathcal{I}(\bm{\theta}) = \mathrm{E}_{\bm{\theta}}\Big[ \big( \nabla_{\bm{\theta}} \log f(X, \bm{\theta}) \big) \big( \nabla_{\bm{\theta}}^\prime \log f(X, \bm{\theta}) \big) \Big] \end{align*}
は正定値である. - 各$\bm{\theta} \in \Uptheta$に対して
\begin{align*} \int_{\mathscr{X}} \nabla_{\bm{\theta}} f(x, \bm{\theta}) \mu(dx) = \bm{0}, \quad \int_{\mathscr{X}} \delta(x) \nabla_{\bm{\theta}}^\prime f(x, \bm{\theta}) \mu(dx) = \nabla_{\bm{\theta}} g(\bm{\theta}) \end{align*}
が成り立つ.
このとき, $\bm{\mathrm{G}}(\bm{\theta}) = \nabla_{\bm{\theta}} g(\bm{\theta})$とおくと, 任意の$\bm{\theta} \in \Uptheta$に対して$q \times q$行列
\begin{align*}
\var_{\bm{\theta}}\bigl[ \delta(X) \big] - \bm{\mathrm{G}}(\bm{\theta}) \mathcal{I}(\bm{\theta})^{-1} \bm{\mathrm{G}}(\bm{\theta})^\prime
\end{align*}
は非負定値である.
任意に$\bm{\theta} \in \Uptheta$を固定する. 今, $P_{\bm{\theta}}$-a.s.$x \in \mathscr{X}$に対して
\begin{align*}
\nabla_{\bm{\theta}} \log f(x, \bm{\theta})
= \frac{1}{f(x, \bm{\theta})} \nabla_{\bm{\theta}} f(x, \bm{\theta})
\end{align*}
であるから,
\begin{align*}
\mathrm{E}_{\bm{\theta}}\big[ \nabla_{\bm{\theta}} \log f(X, \bm{\theta}) \big] = \bm{0}, \quad
\mathrm{E}_{\bm{\theta}}\big[ \delta(X) \nabla_{\bm{\theta}}^\prime \log f(X, \bm{\theta}) \big] = \bm{\mathrm{G}}(\bm{\theta})
\end{align*}
が成り立つことに注意すると,
\begin{align*}
&\var_{\bm{\theta}}\bigl[ \delta(X) - \bm{\mathrm{G}}(\bm{\theta}) \mathcal{I}(\bm{\theta})^{-1} \nabla_{\bm{\theta}} \log f(X, \bm{\theta}) \big] \\[2pt]
&= \var_{\bm{\theta}}\bigl[ \delta(X) \big] - \cov_{\bm{\theta}}\bigl[ \delta(X), \bm{\mathrm{G}}(\bm{\theta}) \mathcal{I}(\bm{\theta})^{-1} \nabla_{\bm{\theta}} \log f(X, \bm{\theta}) \big] - \cov_{\bm{\theta}}\bigl[ \bm{\mathrm{G}}(\bm{\theta}) \mathcal{I}(\bm{\theta})^{-1} \nabla_{\bm{\theta}} \log f(X, \bm{\theta}), \delta(X) \big] + \var_{\bm{\theta}}\bigl[ \bm{\mathrm{G}}(\bm{\theta}) \mathcal{I}(\bm{\theta})^{-1} \nabla_{\bm{\theta}} \log f(X, \bm{\theta}) \big] \\[2pt]
&= \var_{\bm{\theta}}\bigl[ \delta(X) \big] - \bm{\mathrm{G}}(\bm{\theta}) \mathcal{I}(\bm{\theta})^{-1} \bm{\mathrm{G}}(\bm{\theta})^\prime - \bm{\mathrm{G}}(\bm{\theta}) \mathcal{I}(\bm{\theta})^{-1} \bm{\mathrm{G}}(\bm{\theta})^\prime + \bm{\mathrm{G}}(\bm{\theta}) \mathcal{I}(\bm{\theta})^{-1} \bm{\mathrm{G}}(\bm{\theta})^\prime \\[2pt]
&= \var_{\bm{\theta}}\bigl[ \delta(X) \big] - \bm{\mathrm{G}}(\bm{\theta}) \mathcal{I}(\bm{\theta})^{-1} \bm{\mathrm{G}}(\bm{\theta})^\prime
\end{align*}
となるから, 結論を得る. (証明終)
分散行列は必ず非負定値となることに注意してください. 実際, 所与の$k$次元確率ベクトル$\bm{Y}$と任意の$\bm{a} \in \mathbb{R}^k$に対して
\begin{align*}
\bm{a}^\prime\,\var[\bm{Y}]\,\bm{a}
= \var[\bm{a}^\prime \bm{Y}]
\geq 0
\end{align*}
となります.
$p \times p$行列$\mathcal{I}(\bm{\theta})$はFisher情報行列と呼ばれ, $q \times q$行列$\bm{\mathrm{G}}(\bm{\theta}) \mathcal{I}(\bm{\theta})^{-1} \bm{\mathrm{G}}(\bm{\theta})^\prime$はCramér–Raoの下限と呼ばれます. 不偏推定量$\delta$の分散がこの下限を達成するとき, $\delta$は一様最小分散不偏推定量であり, 有効推定量と呼ばれます.
仮定[5]について
仮定[5]は微分と積分の順序交換ができることを意味します. 実際, $\int$と$\nabla$の交換が可能ならば,
\begin{align*}
&\int_{\mathscr{X}} \nabla_{\boldsymbol{\theta}} f(x; \boldsymbol{\theta}) \mu(dx)
= \nabla_{\boldsymbol{\theta}} \int_{\mathscr{X}} f(x; \boldsymbol{\theta}) \mu(dx)
= \nabla_{\boldsymbol{\theta}}\;1
= \boldsymbol{0}, \\[5pt]
&\int_{\mathscr{X}} \delta(x) \nabla_{\boldsymbol{\theta}}^\prime f(x; \boldsymbol{\theta}) \mu(dx)
= \nabla_{\boldsymbol{\theta}} \int_{\mathscr{X}} \delta(x) f(x; \boldsymbol{\theta}) \mu(dx)
= \nabla_{\boldsymbol{\theta}} g(\bm{\theta})
\end{align*}
となります. このような微分と積分の順序交換が保証されるための条件については, 記事「
情報量等式の証明
」の補題1を参照してください.
1次元の場合のCramér–Raoの不等式
thm:1から1次元の場合のCramér–Raoの不等式が系として得られます.
所与の関数$g: \Uptheta \to \mathbb{R}$に対して, $\delta(X)$を$g(\theta)$の2乗可積分な不偏推定量とする. すなわち,
\begin{align*}
\mathrm{E}_{\theta}\big[ \delta(X) \big] = g(\theta), \quad
\mathrm{E}_{\theta}\Big[ \big| \delta(X) \big|^2 \Big] < \infty,
\quad \theta \in \Uptheta.
\end{align*}
次の5つの条件を仮定する.
- $\Uptheta$は$\mathbb{R}$の開集合.
- $\mu\text{-a.e.}x \in \mathscr{X}$について, $\theta \mapsto f(x, \theta)$は$\Uptheta$上微分可能.
- $\theta \mapsto g(\theta)$は$\Uptheta$上微分可能.
- 各$\theta \in \Uptheta$に対して
\begin{align*} 0 < \mathcal{I}(\theta) = \mathrm{E}_{\theta}\Bigg[ \bigg( \frac{d\log f(X, \theta)}{d\theta} \bigg)^2 \Bigg] < \infty. \end{align*} - 各$\theta \in \Uptheta$に対して
\begin{align*} \int_{\mathscr{X}} \frac{df(x, \theta)}{d\theta} \mu(dx) = 0, \quad \int_{\mathscr{X}} \delta(x) \frac{df(x, \theta)}{d\theta} \mu(dx) = \frac{dg(\theta)}{d\theta} \end{align*}
が成り立つ.
このとき, 任意の$\theta \in \Uptheta$に対して
\begin{align*}
\var_{\theta}\bigl[ \delta(X) \big]
\geq \frac{\left( \displaystyle\frac{dg(\theta)}{d\theta} \right)^2}{\mathcal{I}(\theta)}
\end{align*}
が成り立つ.
thm:1において$p = q = 1$とすればよい. (証明終)
1次元の場合, $\mathcal{I}(\theta)$はFisher情報量と呼ばれます. 多次元の場合と同じく,
\begin{align*}
\var_{\theta}\bigl[ \delta(X) \big]
= \frac{\left( \displaystyle\frac{dg(\theta)}{d\theta} \right)^2}{\mathcal{I}(\theta)}
\end{align*}
が成り立つならば, $\delta$は有効であるといいます.
参考文献
この記事を高評価した人
この記事に送られたバッジ
投稿者
