M-推定量の一致性について
はじめに
本記事はM-推定量の一致性に関する備忘録です. もし間違い等があればコメントいただけますと幸いです.
M-推定
$\{ X_i \}_{i \in \mathbb{N}}$を確率空間$(\Omega, \mathscr{F}, \mathbb{P})$上に定義された$\mathscr{X}$-値確率変数列とします. また, $\Theta$を未知パラメータの空間とし, パラメータの真値$\boldsymbol{\theta}_0$の推定を考えます.
$\{ Q_n \}_{n \in \mathbb{N}}$を$\mathscr{X}^n \times \Theta$上の実数値関数列とします. $X_1, \ldots, X_n$を$n$個の観測とするとき, $\widehat{\boldsymbol{\theta}}_n: \Omega \to \Theta$が$\boldsymbol{\theta}_0$のM-推定量であるとは, それが
\begin{align}
\widehat{\boldsymbol{\theta}}_n(\omega)
= \underset{\boldsymbol{\theta} \in \Theta}{\text{argmax}}\;Q_n\big( X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta} \big), \quad \omega \in \Omega
\end{align}
を満たす$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測写像であるときに言います.
M-推定の"M"は"Maximum likelihood like"を意味し, その名の通りM-推定は最尤推定の一般化です. M-推定を念頭に置く際, $\{ Q_n \}$は真値$\boldsymbol{\theta}_0$を唯一の最小点に持つ関数$Q_0: \Theta \to \mathbb{R}$に (各点で) 確率収束する量であり, この意味で$Q_n$の最大点$\widehat{\boldsymbol{\theta}}_n$は真値$\boldsymbol{\theta}_0$に十分近いと考えるのがM-推定の思想です.$Q_n, Q_0$はそれぞれ最尤推定の枠組みにおける対数尤度, 期待対数尤度に相当します.
本記事では, M-推定量$\widehat{\boldsymbol{\theta}}_n$の一致性を証明します.
M-推定量の一致性
- 位相空間$\mathcal{X}$に対して$\mathscr{B}(\mathcal{X})$は$\mathcal{X}$のBorel集合族を表す.
- $\to^p$は確率変数列の確率収束を表す.
- a.s.はalmost surely (ほとんど確実に, 確率1での意) の略.
- $(\Omega, \mathscr{F}, \mathbb{P})$は確率空間.
- $\Theta$は$\mathbb{R}^p$の非空部分集合 (パラメータ空間).
- $\boldsymbol{\theta}_0 \in \Theta$はパラメータの真値.
- $\{ Q_n \}_{n \in \mathbb{N}}$は$\Omega \times \Uptheta$上の実数値関数列.
- $Q_0$は$\Theta$上の実数値関数.
次の命題は大前提となるM-推定量$\widehat{\boldsymbol{\theta}}_n$の存在を保証するのに必要です.
$Q$を$\Omega \times \Uptheta$上の実数値関数とする. 次の3つの条件を仮定する.
- 各$\boldsymbol{\theta} \in \Uptheta$に対して$\Omega \ni \omega \mapsto Q(\omega, \boldsymbol{\theta}) \in \mathbb{R}$は$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測.
- 各$\omega \in \Omega$に対して$\Uptheta \ni \boldsymbol{\theta} \mapsto Q(\omega, \boldsymbol{\theta}) \in \mathbb{R}$は連続.
- $\Theta$はコンパクト.
このとき, $\mathscr{F}/\mathscr{B}(\Theta)$-可測写像$\widehat{\boldsymbol{\theta}}: \Omega \to \Theta$が存在して, 任意の$\omega \in \Omega$に対して,
\begin{align*}
Q\big( \omega, \widehat{\boldsymbol{\theta}}(\omega) \big)
= \max_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta})
\end{align*}
が成り立つ.
prop:1の証明は記事「 M-推定量の可測性について 」を参照してください.
次の5つの条件を仮定する.
- 各$n \in \mathbb{N}$と各$\bm{\theta} \in \Uptheta$に対して, $\Omega \ni \omega \mapsto Q_n(\omega, \bm{\theta}) \in \mathbb{R}$は$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測.
- 各$n \in \mathbb{N}$と各$\omega \in \Omega$に対して, $\Uptheta \ni \bm{\theta} \mapsto Q_n(\omega, \bm{\theta}) \in \mathbb{R}$は連続.
- $\Theta$はコンパクト.
- 任意の$\varepsilon > 0$に対して$\sup_{\bm{\theta}: \| \bm{\theta} - \bm{\theta}_0 \| \geq \varepsilon} Q_0(\bm{\theta}) < Q_0(\bm{\theta}_0)$.
- $\sup_{\bm{\theta} \in \Uptheta} |Q_n(\cdot\,, \bm{\theta}) - Q_0(\bm{\theta})| \to^p 0$.
このとき, 次の3つが成り立つ.
- 各$n \in \mathbb{N}$について$\mathscr{F}/\mathscr{B}(\Uptheta)$-可測写像$\widehat{\bm{\theta}}_n: \Omega \to \Uptheta$が存在して, 任意の$\omega \in \Omega$に対して,
\begin{align*} Q_n\big( \omega, \widehat{\bm{\theta}}_n(\omega) \big) = \max_{\bm{\theta} \in \Uptheta} Q_n(\omega, \bm{\theta}) \label{eq:1} \end{align*}
が成り立つ. - $Q_0: \Uptheta \to \mathbb{R}$は連続.
- M-推定量$\widehat{\boldsymbol{\theta}}_n$は一致性を持つ. すなわち, $\widehat{\boldsymbol{\theta}}_n \to^p \boldsymbol{\theta}_0$が成り立つ.
(iii)の証明はvan der Vaartbook3のTheorem 5.7を参考にしています.
【(i)の証明】
仮定[1] - [3]よりprop:1 (可測選択定理) が適用できて, (i)が成り立つ.
【(ii)の証明】
任意に$\varepsilon > 0$を固定する. 仮定[A5]より$\{ Q_n \}$の部分列$\{ Q_{n_q} \}$が存在して, $\mathbb{P}$-零集合$\mathscr{N}$を除き,
\begin{align}
\lim_{q\to\infty} \sup_{\bm{\theta} \in \Uptheta} \big| Q_{n_q}(\omega, \bm{\theta}) - Q_0(\bm{\theta}) \big| = 0 \label{eq:2}
\end{align}
が成り立つ. すなわち, $\omega_0$を$\Omega \setminus \mathscr{N}$の1点とすると, ある$N(\omega_0, \varepsilon) \in \mathbb{N}$が存在して, $n_q \geq N(\omega_0, \varepsilon)$ならば,
\begin{align*}
\sup_{\bm{\theta} \in \Uptheta} \big| Q_{n_q}(\omega_0, \bm{\theta}) - Q_0(\bm{\theta}) \big| < \frac{\varepsilon}{4}
\end{align*}
となる. さらに, 仮定[A2]より十分小さい$\delta(n, \varepsilon, \bm{\theta}) > 0$が存在して, $\| \widetilde{\bm{\theta}} - \bm{\theta} \| < \delta(n, \varepsilon, \bm{\theta})$ならば,
\begin{align*}
\big| Q_n(\omega_0, \widetilde{\bm{\theta}}) - Q_n(\omega_0, \bm{\theta}) \big| < \frac{\varepsilon}{2}
\end{align*}
となる. 故に, $n_q \geq N(\omega_0, \varepsilon)$かつ$\| \widetilde{\bm{\theta}} - \bm{\theta} \| < \delta(n_q, \varepsilon, \bm{\theta})$ならば,
\begin{align*}
\big| Q_0(\widetilde{\bm{\theta}}) - Q_0(\bm{\theta}) \big|
&\leq \big| Q_0(\widetilde{\bm{\theta}}) - Q_{n_q}(\omega_0, \widetilde{\bm{\theta}}) \big| + \big| Q_{n_q}(\omega_0, \widetilde{\bm{\theta}}) - Q_{n_q}(\omega_0, \bm{\theta}) \big| + \big| Q_{n_q}(\omega_0, \bm{\theta}) - Q_0(\bm{\theta}) \big| \\[5pt]
&\leq 2\sup_{\bm{\theta} \in \Uptheta} \big| Q_{n_q}(\omega_0, \bm{\theta}) - Q_0(\bm{\theta}) \big| + \big| Q_{n_q}(\omega_0, \widetilde{\bm{\theta}}) - Q_{n_q}(\omega_0, \bm{\theta}) \big| \\[3pt]
&< 2 \cdot \frac{\varepsilon}{4} + \frac{\varepsilon}{2}
= \varepsilon.
\end{align*}
すなわち, $Q_0: \Uptheta \to \mathbb{R}$は連続である.
【(iii)の証明】
(i)より各$n \in \mathbb{N}$と各$\omega \in \Omega$に対して
\begin{align*}
Q_0(\bm{\theta}_0) - Q_0\big( \widehat{\bm{\theta}}_n(\omega) \big)
&= Q_n(\omega, \bm{\theta}_0) - Q_0\big( \widehat{\bm{\theta}}_n(\omega) \big) + Q_0(\bm{\theta}_0) - Q_n(\omega, \bm{\theta}_0) \\[3pt]
&\leq \big\{ Q_n\big( \omega, \widehat{\bm{\theta}}_n(\omega) \big) - Q_0\big( \widehat{\bm{\theta}}_n(\omega) \big) \big\} + \big\{ Q_0(\bm{\theta}_0) - Q_n(\omega, \bm{\theta}_0) \big\} \\[5pt]
&\leq 2\sup_{\bm{\theta} \in \Uptheta} \big| Q_n(\omega, \bm{\theta}) - Q_0(\bm{\theta}) \big|
\end{align*}
であるから, 仮定[A5]より
\begin{align*}
Q_0(\bm{\theta}_0) - Q_0(\widehat{\bm{\theta}}_n)
\leq 2\sup_{\bm{\theta} \in \Uptheta} \big| Q_n(\cdot\,, \bm{\theta}) - Q_0(\bm{\theta}) \big|
\to^p 0
\end{align*}
となる (($\mathrm{ii}$)より各$n$について$Q_0(\widehat{\bm{\theta}}_n)$は$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測であることに注意する). 任意に$\varepsilon > 0$を十分小さく固定し,
\begin{align*}
\eta(\varepsilon)
= Q_0(\bm{\theta}_0) - \sup_{\bm{\theta}: \| \bm{\theta} - \bm{\theta}_0 \| \geq \varepsilon} Q_0(\bm{\theta})
\end{align*}
とおく. このとき, 仮定[A4]より$\eta(\varepsilon) > 0$であり, 各$n$について$\| \widehat{\bm{\theta}}_n - \bm{\theta}_0 \| \geq \varepsilon$ならば,
\begin{align*}
Q_0(\widehat{\bm{\theta}}_n)
\leq \sup_{\bm{\theta}: \| \bm{\theta} - \bm{\theta}_0 \| \geq \varepsilon} Q_0(\bm{\theta})
= Q_0(\bm{\theta}_0) - \eta(\varepsilon)
\end{align*}
が成り立つ. したがって,
\begin{align*}
\mathbb{P}\big( \| \widehat{\bm{\theta}}_n - \bm{\theta}_0 \| \geq \varepsilon \big)
\leq \mathbb{P}\big( Q_0(\bm{\theta}_0) - Q_0(\widehat{\bm{\theta}}_n) \geq \eta(\varepsilon) \big)
\to 0
\end{align*}
となり, 結論を得る. (証明終)
定理2の仮定について
- 仮定[1] - [3]はM-推定量$\widehat{\boldsymbol{\theta}}_n$の存在を保証するために必要です.
- 仮定[4]は真値$\boldsymbol{\theta}_0$が$Q_0$の孤立最大点であることを述べており (識別可能性条件), これはM-推定の思想の根幹です.
- 仮定[5]は$\{ Q_n \}$が$Q_0$に一様に確率収束することを述べています. 大抵の場合, $Q_n$は標本平均の形
\begin{align} Q_n(X_1, \ldots, X_n; \boldsymbol{\theta}) = \frac{1}{n} \sum_{i=1}^n q(X_i; \boldsymbol{\theta}) \end{align}
に表されるので, 各点$\boldsymbol{\theta}$での確率収束は大数の法則より成り立ちます. しかし, この確率収束が一様なものであるかは不明です. これを保証するには一様な大数の法則が必要です. 一様な大数の法則については, 記事「 一様な大数の法則について 」を参照してください. - 仮定[5]における確率収束を概収束に取り替えれば, 定理の結論(iii)は強一致性$\widehat{\boldsymbol{\theta}}_n \to \boldsymbol{\theta}_0$ a.s.として得られます.
参考文献
この記事を高評価した人
この記事に送られたバッジ
投稿者
