文献あり

M-推定量の漸近正規性について

146

はじめに

本記事はM-推定量の漸近正規性に関する備忘録です. もし間違い等があればコメントいただけますと幸いです.

M-推定

$\{ X_i \}_{i \in \mathbb{N}}$を確率空間$(\Omega, \mathscr{F}, \mathbb{P})$上に定義された$\mathscr{X}$-値確率変数列とします. また, $\Theta$を未知パラメータの空間とし, パラメータの真値$\boldsymbol{\theta}_0$の推定を考えます.

$\{ Q_n \}_{n \in \mathbb{N}}$を$\mathscr{X}^n \times \Theta$上の実数値関数列とします. $X_1, \ldots, X_n$を$n$個の観測とするとき, $\widehat{\boldsymbol{\theta}}_n: \Omega \to \Theta$が$\boldsymbol{\theta}_0$のM-推定量であるとは, それが
\begin{align} \widehat{\boldsymbol{\theta}}_n(\omega) = \underset{\boldsymbol{\theta} \in \Theta}{\text{argmax}}\;Q_n\big( X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta} \big), \quad \omega \in \Omega \end{align}
を満たす$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測写像であるときに言います.

M-推定の"M"は"Maximum likelihood like"を意味し, その名の通りM-推定は最尤推定の一般化です. M-推定を念頭に置く際, $\{ Q_n \}$は真値$\boldsymbol{\theta}_0$を唯一の最小点に持つ関数$Q_0: \Theta \to \mathbb{R}$に (各点で) 確率収束する量であり, この意味で$Q_n$の最大点$\widehat{\boldsymbol{\theta}}_n$は真値$\boldsymbol{\theta}_0$に十分近いと考えるのがM-推定の思想です.$Q_n, Q_0$はそれぞれ最尤推定の枠組みにおける対数尤度, 期待対数尤度に相当します.

本記事では, M-推定量$\widehat{\boldsymbol{\theta}}_n$の漸近正規性を証明します.

準備

記法

位相空間$\mathcal{X}$に対して$\mathscr{B}(\mathcal{X})$は$\mathcal{X}$のBorel集合族を表す.
$\mathbb{B}(\boldsymbol{\theta}, \rho)$は中心$\boldsymbol{\theta}$, 半径$\rho$の開球を表す. すなわち, $\mathbb{B}(\boldsymbol{\theta}, \rho) = \{ \widetilde{\boldsymbol{\theta}} \in \Theta\,|\,\| \widetilde{\boldsymbol{\theta}} - \boldsymbol{\theta} \| < \rho \}$.
行列$\boldsymbol{\mathrm{A}}$に対して$\boldsymbol{\mathrm{A}}^\prime$はその転置を表す.
$\| \cdot \|$はFrobeniusノルムを表す. すなわち, 行列$\boldsymbol{\mathrm{A}}$に対して$\| \boldsymbol{\mathrm{A}} \| = \sqrt{\text{tr}(\boldsymbol{\mathrm{A}}^\prime \boldsymbol{\mathrm{A}})}$.
$\nabla_{\boldsymbol{\theta}}^\prime = [\partial/\partial\theta_1, \ldots, \partial/\partial\theta_p]$とする. 例えば, $f: \mathbb{R}^p \to \mathbb{R}$に対して
\begin{align} \nabla_{\boldsymbol{\theta}} f(\boldsymbol{\theta}) = \bigg[ \frac{\partial f(\boldsymbol{\theta})}{\partial \theta_i} \bigg]_{p \times 1}, \quad \nabla_{\boldsymbol{\theta}}^2 f(\boldsymbol{\theta}) = \bigg[ \frac{\partial f(\boldsymbol{\theta})}{\partial \theta_i \partial \theta_j} \bigg]_{p \times p}. \end{align}
$\mathcal{N}_p(\boldsymbol{0}, \boldsymbol{\Sigma})$は平均ベクトル$\boldsymbol{0}$, 分散共分散行列$\boldsymbol{\Sigma}$の$p$変量正規分布を表す.
$\to^p$は確率変数列の確率収束を表す.
$\to^d$は確率変数列の分布収束を表す.

設定

$(\Omega, \mathscr{F}, \mathbb{P})$は確率空間.
$\Theta$は$\mathbb{R}^p$の非空部分集合 (パラメータ空間).
$\boldsymbol{\theta}_0 \in \Theta$はパラメータの真値.
$\{ Q_n \}_{n \in \mathbb{N}}$は$\Omega \times \Theta$上の実数値関数列.

次の命題は大前提となるM-推定量$\widehat{\boldsymbol{\theta}}_n$の存在を保証するのに必要です.

可測選択定理 (Jennrichpaper1, Lemma 2)

$Q$を$\Omega \times \Uptheta$上の実数値関数とする. 次の3つの条件を仮定する.

各$\boldsymbol{\theta} \in \Uptheta$に対して$\Omega \ni \omega \mapsto Q(\omega, \boldsymbol{\theta}) \in \mathbb{R}$は$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測.
各$\omega \in \Omega$に対して$\Uptheta \ni \boldsymbol{\theta} \mapsto Q(\omega, \boldsymbol{\theta}) \in \mathbb{R}$は連続.
$\Theta$はコンパクト.

このとき, $\mathscr{F}/\mathscr{B}(\Theta)$-可測写像$\widehat{\boldsymbol{\theta}}: \Omega \to \Theta$が存在して, 任意の$\omega \in \Omega$に対して,
\begin{align*} Q\big( \omega, \widehat{\boldsymbol{\theta}}(\omega) \big) = \max_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta}) \end{align*}
が成り立つ.

prop:1の証明は記事「 M-推定量の可測性について」を参照してください.

M-推定量の漸近正規性

次の5つの条件を仮定する.

$\Theta$はコンパクトである. また, 開集合$\mathscr{N}$が存在して, $\boldsymbol{\theta}_0 \in \mathscr{N} \subset \Theta$.
各$n \in \mathbb{N}$と各$\bm{\theta} \in \Uptheta$に対して, $\Omega \ni \omega \mapsto Q_n(\omega, \bm{\theta}) \in \mathbb{R}$は$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測.
各$n \in \mathbb{N}$と各$\omega \in \Omega$に対して, $\Uptheta \ni \bm{\theta} \mapsto Q_n(\omega, \bm{\theta}) \in \mathbb{R}$は連続. また, $\mathscr{N} \ni \bm{\theta} \mapsto Q_n(\omega, \bm{\theta}) \in \mathbb{R}$は$C^2$級.
$p$次正定値行列$\bm{\Sigma}$が存在して, $\sqrt{n} \nabla_{\bm{\theta}} Q_n(\cdot\,, \bm{\theta}_0) \to^d \mathcal{N}_p(\bm{0}, \bm{\Sigma})$.
写像$\bm{\mathrm{H}}: \mathscr{N} \to \mathbb{R}^{p \times p}$が存在して, $\sup_{\bm{\theta} \in \mathscr{N}} \| \nabla_{\bm{\theta}}^2 Q_n(\cdot\,, \bm{\theta}) - \bm{\mathrm{H}}(\bm{\theta}) \| \to^p 0$であり, 行列$\bm{\mathrm{H}}_0 = \bm{\mathrm{H}}(\bm{\theta}_0)$は正則.

このとき, 次の2つが成り立つ.

各$n \in \mathbb{N}$について$\mathscr{F}/\mathscr{B}(\Uptheta)$-可測写像$\widehat{\bm{\theta}}_n: \Omega \to \Uptheta$が存在して, 任意の$\omega \in \Omega$に対して,
\begin{align} Q_n\big( \omega, \widehat{\bm{\theta}}_n(\omega) \big) = \max_{\bm{\theta} \in \Uptheta} Q_n(\omega, \bm{\theta}) \label{eq:1} \end{align}
が成り立つ.
$\widehat{\bm{\theta}}_n \to^p \bm{\theta}_0$ならば,
\begin{align} \sqrt{n}(\widehat{\bm{\theta}}_n - \bm{\theta}_0) \to^d \mathcal{N}_p\big( \bm{0}, \bm{\mathrm{H}}_0^{-1} \bm{\Sigma} \bm{\mathrm{H}}_0^{-1} \big) \label{eq:2} \end{align}
が成り立つ.

(ii)の証明はNewey and McFaddenpaper2のTheorem 3.1を参考にしています.

【(i)の証明】

仮定[1] - [3]よりprop:1 (可測選択定理) が適用できて, (i)が成り立つ.

【(ii)の証明】

【第1段】

(i)で得られた可測写像列$\{ \widehat{\bm{\theta}}_n \}$に対して, $\widehat{\bm{\theta}}_n \to^p \bm{\theta}_0$を仮定する. 今, $\mathscr{N}_0 = \mathbb{B}(\bm{\theta}_0, r) \subset \mathscr{N}$となるように十分小さい$r > 0$をとり,
\begin{align*} 　　 A_n = \big\{ \omega\in\Omega\,\big|\,\widehat{\bm{\theta}}_n(\omega) \in \mathscr{N}_0 \big\} \end{align*}
とおく. このとき, $\widehat{\bm{\theta}}_n$の一致性より
\begin{align*} 　　 \lim_{n\to\infty} \mathbb{P}(A_n) = 1. \end{align*}
となることに注意する. また,
\begin{align*} 　　 \bm{\mathrm{H}}_n(\omega) = \begin{cases} \displaystyle\int_0^1 \nabla_{\bm{\theta}}^2 Q_n\big( \omega, \bm{\theta}_0 + u(\widehat{\bm{\theta}}_n(\omega) - \bm{\theta}_0) \big) du, & \omega\in A_n \\[5pt] \bm{\mathrm{O}}, & \omega\in A_n^c \end{cases} \end{align*}
と定め,
\begin{align*} 　　 B_n = \{ \omega\in\Omega\,\big|\,\det\bm{\mathrm{H}}_n(\omega) \neq 0 \big\} \end{align*}
とおく. 後に示すが,
\begin{align} 　　 \lim_{n\to\infty} \mathbb{P}(A_n \cap B_n) = 1 \label{eq:3} \end{align}
であるから, $\widehat{\bm{\theta}}_n$の漸近正規性を示すには$\Omega$全体ではなく事象$A_n \cap B_n$のみを考えればよい$^{(*)}$.

(*)部分の補足

ある確率変数列$\{ X_n \}$および確率変数$Y$に対して, $\{ Y_n \}$を
\begin{align*} 　　 Y_n(\omega) = \begin{cases} X_n(\omega), & \omega\in A_n \cap B_n \\[5pt] 0, & \text{otherwise} \end{cases} \end{align*}
で定義するとき,
\begin{align*} 　　 \mathbb{P}(X_n = Y_n) \geq \mathbb{P}(A_n \cap B_n) \to 1 \end{align*}
であるから, $Y_n \to^d Y$ならば,
\begin{align*} 　　 X_n = (X_n - Y_n) + Y_n \to^d 0 + Y = Y \end{align*}
となる.

【第2段】

任意に$\omega\in A_n \cap B_n$を固定し, 以降は$Q_n(\bm{\theta}) = Q_n(\omega,\bm{\theta})$と略記する. $\widehat{\bm{\theta}}_n$は$Q_n$を最大化するから,
\begin{align*} 　　 \nabla_{\bm{\theta}} Q_n(\widehat{\bm{\theta}}_n) = \bm{0} \end{align*}
となり, 左辺に平均値の定理を適用することにより
\begin{align} 　　 \bm{0} = \nabla_{\bm{\theta}} Q_n(\bm{\theta}_0) + \bigg\{ \int_0^1 \nabla_{\bm{\theta}}^2 Q_n\big( \bm{\theta}_0 + u(\widehat{\bm{\theta}}_n - \bm{\theta}_0) \big) du \bigg\} (\widehat{\bm{\theta}}_n - \bm{\theta}_0) = \nabla_{\bm{\theta}} Q_n(\bm{\theta}_0) + \bm{\mathrm{H}}_n (\widehat{\bm{\theta}}_n - \bm{\theta}_0) \label{eq:4} \end{align}
となる ($\mathscr{N}_0$の凸性より上式における積分は意味を持つ). この両辺に$\sqrt{n} \bm{\mathrm{H}}_n^{-1}$を掛けて整理することにより
\begin{align*} 　　 \sqrt{n} (\widehat{\bm{\theta}}_n - \bm{\theta}_0) = -\bm{\mathrm{H}}_n^{-1} \cdot \sqrt{n} \nabla_{\bm{\theta}} Q_n(\bm{\theta}_0) \end{align*}
を得る. 後に示すが,
\begin{align} 　　 \bm{\mathrm{H}}_n \to^p \bm{\mathrm{H}}_0, \label{eq:5} \end{align}
であるから, 仮定[A4]と合わせて
\begin{align*} 　　 -\bm{\mathrm{H}}_n^{-1} \cdot \sqrt{n} \nabla_{\bm{\theta}} Q_n(\bm{\theta}_0) \to^d \mathcal{N}_p\big( \bm{0}, \bm{\mathrm{H}}_0^{-1} \bm{\Sigma} \bm{\mathrm{H}}_0^{-1} \big) \end{align*}
となり, $\widehat{\bm{\theta}}_n$の漸近正規性を得る.

【第3段】

$\bm{\mathrm{H}}_n \to^p \bm{\mathrm{H}}_0$を示す. 任意に$\varepsilon > 0$を固定する. 仮定[A5]より$\delta \in (0, r)$を十分小さく選ぶとき, $\| \bm{\theta} - \bm{\theta}_0 \| < \delta$ならば, $\| \bm{\mathrm{H}}(\bm{\theta}) - \bm{\mathrm{H}}_0 \| < \varepsilon/2$が成り立つ. 今,
\begin{align*} 　　 C_n = \big\{ \omega\in\Omega\,\big|\,\big\| \widehat{\bm{\theta}}_n(\omega) - \bm{\theta}_0 \big\| < \delta \big\} \end{align*}
とおくと, $\widehat{\bm{\theta}}_n$の一致性より
\begin{align*} 　　 \lim_{n\to\infty} \mathbb{P}(C_n) = 1. \end{align*}
である. また,
\begin{align*} 　　 \bm{\theta}_n^u(\omega) = \bm{\theta}_0 + u\big( \widehat{\bm{\theta}}_n(\omega) - \bm{\theta}_0 \big), \quad u \in [0, 1] \end{align*}
とおくと, $\omega\in C_n$ならば任意の$u\in [0, 1]$について
\begin{align*} 　　 \big\| \bm{\theta}_n^u(\omega) - \bm{\theta}_0 \big\| = u\big\| \widehat{\bm{\theta}}_n(\omega) - \bm{\theta}_0 \big\| < \delta \end{align*}
であるから,
\begin{align*} 　　 \| \bm{\mathrm{H}}_n - \bm{\mathrm{H}}_0 \| &\leq \int_0^1 \big\| \nabla_{\bm{\theta}}^2 Q_n(\bm{\theta}_n^u) - \bm{\mathrm{H}}_0 \big\| du \\ &\leq \int_0^1 \big\| \nabla_{\bm{\theta}}^2 Q_n(\bm{\theta}_n^u) - \bm{\mathrm{H}}(\bm{\theta}_n^u) \big\| du + \int_0^1 \big\| \bm{\mathrm{H}}(\bm{\theta}_n^u) - \bm{\mathrm{H}}_0 \big\| du \\ &\leq \sup_{\bm{\theta} \in \mathscr{N}_0} \big\| \nabla_{\bm{\theta}}^2 Q_n(\bm{\theta}) - \bm{\mathrm{H}}(\bm{\theta}) \big\| + \frac{\varepsilon}{2}. % \bm{1}_{C_n} \cdot \| \bm{\mathrm{H}}_n - \bm{\mathrm{H}}_0 \| % &\leq \bm{1}_{C_n} \int_0^1 \big\| \nabla_{\bm{\theta}}^2 Q_n(\bm{\theta}_n^u) - \bm{\mathrm{H}}_0 \big\| du \\ % &\leq \bm{1}_{C_n} \int_0^1 \big\| \nabla_{\bm{\theta}}^2 Q_n(\bm{\theta}_n^u) - \bm{\mathrm{H}}(\bm{\theta}_n^u) \big\| du + \bm{1}_{C_n} \int_0^1 \big\| \bm{\mathrm{H}}(\bm{\theta}_n^u) - \bm{\mathrm{H}}_0 \big\| du \\ % &\leq \bm{1}_{C_n} \cdot \bigg( \sup_{\bm{\theta} \in \mathscr{N}_0} \big\| \nabla_{\bm{\theta}}^2 Q_n(\bm{\theta}) - \bm{\mathrm{H}}(\bm{\theta}) \big\| + \frac{\varepsilon}{2} \bigg) \end{align*}
したがって,
\begin{align*} 　　 \mathbb{P}\big( \| \bm{\mathrm{H}}_n - \bm{\mathrm{H}}_0 \| > \varepsilon \big) &\leq \mathbb{P}\big( \bm{1}_{C_n} \cdot \| \bm{\mathrm{H}}_n - \bm{\mathrm{H}}_0 \| > \varepsilon \big) + \mathbb{P}\big( \bm{1}_{C_n^c} \cdot \| \bm{\mathrm{H}}_n - \bm{\mathrm{H}}_0 \| > \varepsilon \big) \\ &\leq \mathbb{P}\bigg( \sup_{\bm{\theta} \in \mathscr{N}_0} \big\| \nabla_{\bm{\theta}}^2 Q_n(\bm{\theta}) - \bm{\mathrm{H}}(\bm{\theta}) \big\| > \frac{\varepsilon}{2} \bigg) + \mathbb{P}\big( C_n^c \big) \\ &\to 0 \end{align*}
となり, 結論を得る (以上の議論に$\mathbb{P}(A_n \cap B_n) \to 1$を用いていないことに注意する).

【第4段】

$\mathbb{P}(A_n \cap B_n) \to 1$を示す. 仮定[A5]および$\bm{\mathrm{H}}_n \to^p \bm{\mathrm{H}}_0$より
\begin{align*} \mathbb{P}\big( B_n^c \big) = \mathbb{P}(\det \bm{\mathrm{H}}_n = 0) \leq \mathbb{P}\bigg( |\det \bm{\mathrm{H}}_n - \det \bm{\mathrm{H}}_0| > \frac{1}{2} |\det \bm{\mathrm{H}}_0| \bigg) \to 0. \end{align*}
したがって,
\begin{align*} \mathbb{P}(A_n^c \cup B_n^c) \leq \mathbb{P}(A_n^c) + \mathbb{P}(B_n^c) \to 0 \end{align*}
となり, 結論を得る. (証明終)

定理3の仮定について

$\Theta$のコンパクト性 (仮定[1]), $Q_n(\,\cdot\,, \boldsymbol{\theta})$の可測性 (仮定[2]), $Q_n(\omega, \,\cdot\,)$の連続性 (仮定[3]) はM-推定量$\widehat{\boldsymbol{\theta}}_n$の存在を保証するために必要です.
真値$\boldsymbol{\theta}_0$が$\Theta$の内点であること (仮定[1]) は$\widehat{\boldsymbol{\theta}}_n$の漸近正規性に必須です ($\boldsymbol{\theta}_0$が$\Theta$の境界上にある場合は漸近分布が正規分布とならない).
仮定[4]は最尤推定の枠組みにおけるスコア関数の漸近正規性に相当し, 通常は中心極限定理より成り立ちます.
$\boldsymbol{\mathrm{H}}_n$のヘシアンの$\boldsymbol{\theta}_0$の近傍における一様な確率収束 (仮定[5]) は通常一様な大数の法則により保証されます (一様な大数の法則については, 記事「一様な大数の法則について」を参照してください).
$Q_0(\boldsymbol{\theta}) = \text{plim}_{n \to \infty} Q_n(\boldsymbol{\theta})$とするとき, 適当な正則条件の下で$\boldsymbol{\mathrm{H}}(\boldsymbol{\theta}_0) = \nabla_{\boldsymbol{\theta}}^2 Q_0(\boldsymbol{\theta}_0)$であるから, $\boldsymbol{\mathrm{H}}(\boldsymbol{\theta}_0)$が正則行列であること (仮定[5]) は局所的な識別可能性のための十分条件となっています.
$\widehat{\boldsymbol{\theta}}_n \to^p \boldsymbol{\theta}_0$が成り立つための条件については, 例えば記事「 M-推定量の一致性について」を参照してください.