M-推定量の一致性について
はじめに
本記事はM-推定量の一致性に関する備忘録です. もし間違い等があればコメントいただけますと幸いです.
M-推定
$\{ X_i \}_{i \in \mathbb{N}}$を確率空間$(\Omega, \mathscr{F}, \mathbb{P})$上に定義された$\mathscr{X}$-値確率変数列とします. また, $\Theta$を未知パラメータの空間とし, パラメータの真値$\boldsymbol{\theta}_0$の推定を考えます.
$\{ Q_n \}_{n \in \mathbb{N}}$を$\mathscr{X}^n \times \Theta$上の実数値関数列とします. $X_1, \ldots, X_n$を$n$個の観測とするとき, $\widehat{\boldsymbol{\theta}}_n: \Omega \to \Theta$が$\boldsymbol{\theta}_0$のM-推定量であるとは, それが
\begin{align}
\widehat{\boldsymbol{\theta}}_n(\omega)
= \underset{\boldsymbol{\theta} \in \Theta}{\text{argmax}}\;Q_n\big( X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta} \big), \quad \omega \in \Omega
\end{align}
を満たす$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測写像であるときに言います.
M-推定の"M"は"Maximum likelihood like"を意味し, その名の通りM-推定は最尤推定の一般化です. M-推定を念頭に置く際, $\{ Q_n \}$は真値$\boldsymbol{\theta}_0$を唯一の最小点に持つ関数$Q_0: \Theta \to \mathbb{R}$に (各点で) 確率収束する量であり, この意味で$Q_n$の最大点$\widehat{\boldsymbol{\theta}}_n$は真値$\boldsymbol{\theta}_0$に十分近いと考えるのがM-推定の思想です.$Q_n, Q_0$はそれぞれ最尤推定の枠組みにおける対数尤度, 期待対数尤度に相当します.
本記事では, M-推定量$\widehat{\boldsymbol{\theta}}_n$の一致性を証明します.
M-推定量の一致性
- 位相空間$\mathcal{X}$に対して$\mathscr{B}(\mathcal{X})$は$\mathcal{X}$のBorel集合族を表す.
- $\to^p$は確率変数列の確率収束を表す.
- a.s.はalmost surely (ほとんど確実に, 確率1での意) の略.
- $(\Omega, \mathscr{F}, \mathbb{P})$は確率空間.
- $\{ X_i \}_{i \in \mathbb{N}}$は$(\Omega, \mathscr{F}, \mathbb{P})$上に定義された$\mathscr{X}$-値確率変数列.
- $\Theta$は$\mathbb{R}^p$の部分集合 (パラメータ空間).
- $\boldsymbol{\theta}_0 \in \Theta$はパラメータの真値.
- $\{ Q_n \}_{n \in \mathbb{N}}$は$\mathscr{X}^n \times \Uptheta$上の実数値関数列.
- $Q_0$は$\Theta$上の実数値関数.
次の命題は大前提となるM-推定量$\widehat{\boldsymbol{\theta}}_n$の存在を保証するのに必要です.
$Q$を$\Omega \times \Uptheta$上の実数値関数とする. 次の3つの条件を仮定する.
- 各$\boldsymbol{\theta} \in \Uptheta$に対して$\Omega \ni \omega \mapsto Q(\omega, \boldsymbol{\theta}) \in \mathbb{R}$は$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測.
- 各$\omega \in \Omega$に対して$\Uptheta \ni \boldsymbol{\theta} \mapsto Q(\omega, \boldsymbol{\theta}) \in \mathbb{R}$は連続.
- $\Theta$は$\mathbb{R}^p$のコンパクト部分集合.
このとき, $\mathscr{F}/\mathscr{B}(\Theta)$-可測写像$\widehat{\boldsymbol{\theta}}: \Omega \to \Theta$が存在して, 任意の$\omega \in \Omega$に対して,
\begin{align*}
Q\big( \omega, \widehat{\boldsymbol{\theta}}(\omega) \big)
= \max_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta})
\end{align*}
が成り立つ.
prop:1の証明は記事「 M-推定量の可測性について 」を参照してください.
次の5つの条件を仮定する.
- 各$n \in \mathbb{N}$について, 任意に$\boldsymbol{\theta} \in \Uptheta$を固定するとき, $\Omega \ni \omega \mapsto Q_n(X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta}) \in \mathbb{R}$は$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測.
- 各$n \in \mathbb{N}$について, 任意に$\omega \in \Omega$を固定するとき, $\Theta \ni \boldsymbol{\theta} \mapsto Q_n(X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta}) \in \mathbb{R}$は連続.
- $\Theta$はコンパクト.
- 任意の$\varepsilon > 0$に対して$\sup_{\boldsymbol{\theta}: \| \boldsymbol{\theta} - \boldsymbol{\theta}_0 \| \geq \varepsilon} Q_0(\boldsymbol{\theta}) < Q_0(\boldsymbol{\theta}_0)$.
- $\sup_{\boldsymbol{\theta} \in \Theta} |Q_n(X_1, \ldots, X_n, \boldsymbol{\theta}) - Q_0(\boldsymbol{\theta})| \to^p 0$.
このとき, 次の3つが成り立つ.
- 各$n \in \mathbb{N}$について, 任意の固定された$\omega \in \Omega$に対して
\begin{align} Q_n\big( X_1(\omega), \ldots, X_n(\omega), \widehat{\boldsymbol{\theta}}_n(\omega) \big) = \max_{\boldsymbol{\theta} \in \Theta} Q_n\big( X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta} \big) \end{align}
を満たすような$\mathscr{F}/\mathscr{B}(\Uptheta)$-可測写像$\widehat{\boldsymbol{\theta}}_n: \Omega \to \Theta$が存在する. - $Q_0: \Uptheta \to \mathbb{R}$は連続.
- M-推定量$\widehat{\boldsymbol{\theta}}_n$は一致性を持つ. すなわち, $\widehat{\boldsymbol{\theta}}_n \to^p \boldsymbol{\theta}_0$が成り立つ.
(iii)の証明はvan der Vaartbook3のTheorem 5.7を参考にしています.
【(i)の証明】
仮定[1] - [3]よりprop:1 (可測選択定理) が適用できて, (i)が成り立つ.
【(ii)の証明】
任意に$\varepsilon > 0$を十分小さく固定する. 仮定[5]より$\{ Q_n \}$の部分列$\{ Q_{n^\prime} \}$が存在して, ある$N(\varepsilon) \in \mathbb{N}$に対して$n^\prime \geq N(\varepsilon)$ならば,
\begin{align*}
\sup_{\boldsymbol{\theta} \in \Theta} \big| Q_{n^\prime}(X_1, \ldots, X_{n^\prime}, \boldsymbol{\theta}) - Q_0(\boldsymbol{\theta}) \big| < \frac{\varepsilon}{4} \quad \text{a.s.}
\end{align*}
が成り立つ (例えば, 吉田book4の命題1.47). このときの$\mathbb{P}$-零集合を$\mathscr{N}$とし, $\omega_0 \in \Omega \setminus \mathscr{N}$とする. 任意に$\boldsymbol{\theta} \in \Theta$と$n^\prime \geq N(\varepsilon)$を固定するとき, 仮定[2]より十分小さい$\delta(\varepsilon) > 0$が存在して, $\| \widetilde{\boldsymbol{\theta}} - \boldsymbol{\theta} \| < \delta(\varepsilon)$ならば,
\begin{align*}
\big| Q_0(\widetilde{\boldsymbol{\theta}}) - Q_0(\boldsymbol{\theta}) \big|
&\leq \big| Q_0(\widetilde{\boldsymbol{\theta}}) - Q_{n^\prime}(X_1(\omega_0), \ldots, X_{n^\prime}(\omega_0), \widetilde{\boldsymbol{\theta}}) \big| \\[3pt]
&\qquad+ \big| Q_{n^\prime}(X_1(\omega_0), \ldots, X_{n^\prime}(\omega_0), \widetilde{\boldsymbol{\theta}}) - Q_{n^\prime}(X_1(\omega_0), \ldots, X_{n^\prime}(\omega_0), \boldsymbol{\theta}) \big| \\[3pt]
&\qquad+ \big| Q_{n^\prime}(X_1(\omega_0), \ldots, X_{n^\prime}(\omega_0), \boldsymbol{\theta}) - Q_0(\boldsymbol{\theta}) \big| \\[5pt]
&\leq 2\sup_{\boldsymbol{\theta} \in \Theta} \big| Q_{n^\prime}(X_1(\omega_0), \ldots, X_{n^\prime}(\omega_0), \boldsymbol{\theta}) - Q_0(\boldsymbol{\theta}) \big| \\[3pt]
&\qquad+ \big| Q_{n^\prime}(X_1(\omega_0), \ldots, X_{n^\prime}(\omega_0), \widetilde{\boldsymbol{\theta}}) - Q_{n^\prime}(X_1(\omega_0), \ldots, X_{n^\prime}(\omega_0), \boldsymbol{\theta}) \big| \\[5pt]
&< 2 \cdot \frac{\varepsilon}{4} + \frac{\varepsilon}{2}
= \varepsilon
\end{align*}
となる. すなわち, $Q_0: \Uptheta \to \mathbb{R}$は連続である.
【(iii)の証明】
(i)と仮定[5]より
\begin{align*}
Q_0(\boldsymbol{\theta}_0) - Q_0(\widehat{\boldsymbol{\theta}}_n)
&= Q_n(X_1, \ldots, X_n, \boldsymbol{\theta}_0) - Q_0(\widehat{\boldsymbol{\theta}}_n) + Q_0(\boldsymbol{\theta}_0) - Q_n(X_1, \ldots, X_n, \boldsymbol{\theta}_0) \\[5pt]
&\leq \big\{ Q_n(X_1, \ldots, X_n, \widehat{\boldsymbol{\theta}}_n) - Q_0(\widehat{\boldsymbol{\theta}}_n) \big\} + \big\{ Q_0(\boldsymbol{\theta}_0) - Q_n(X_1, \ldots, X_n, \boldsymbol{\theta}_0) \big\} \\[5pt]
&\leq 2\sup_{\boldsymbol{\theta} \in \Theta} \big| Q_n(X_1, \ldots, X_n, \boldsymbol{\theta}) - Q_0(\boldsymbol{\theta}) \big| \\[5pt]
&\to^p 0
\end{align*}
となる ((ii)より各$n$について$Q_0(\widehat{\boldsymbol{\theta}}_n)$は$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測であることに注意する). 任意に$\varepsilon > 0$を固定し,
\begin{align*}
\eta(\varepsilon) = Q_0(\boldsymbol{\theta}_0) - \sup_{\boldsymbol{\theta}: \| \boldsymbol{\theta} - \boldsymbol{\theta}_0 \| \geq \varepsilon} Q_0(\boldsymbol{\theta})
\end{align*}
とおく. このとき, 仮定[4]より$\eta(\varepsilon) > 0$であり, 各$n$について$\| \widehat{\boldsymbol{\theta}}_n - \boldsymbol{\theta}_0 \| \geq \varepsilon$ならば,
\begin{align*}
Q_0(\widehat{\boldsymbol{\theta}}_n) \leq \sup_{\boldsymbol{\theta}: \| \boldsymbol{\theta} - \boldsymbol{\theta}_0 \| \geq \varepsilon} Q_0(\boldsymbol{\theta}) = Q_0(\boldsymbol{\theta}_0) - \eta(\varepsilon)
\end{align*}
が成り立つ. したがって,
\begin{align*}
\mathbb{P}\big( \| \widehat{\boldsymbol{\theta}}_n - \boldsymbol{\theta}_0 \| \geq \varepsilon \big)
\leq \mathbb{P}\big( Q_0(\boldsymbol{\theta}_0) - Q_0(\widehat{\boldsymbol{\theta}}_n) \geq \eta(\varepsilon) \big)
\to 0
\end{align*}
となり, 結論を得る. (証明終)
定理2の仮定について
- 仮定[1] - [3]はM-推定量$\widehat{\boldsymbol{\theta}}_n$の存在を保証するために必要です.
- 仮定[4]は真値$\boldsymbol{\theta}_0$が$Q_0$の孤立最大点であることを述べており (識別可能性条件), これはM-推定の思想の根幹です.
- 仮定[5]は$\{ Q_n \}$が$Q_0$に一様に確率収束することを述べています. 大抵の場合, $Q_n$は標本平均の形
\begin{align} Q_n(X_1, \ldots, X_n; \boldsymbol{\theta}) = \frac{1}{n} \sum_{i=1}^n q(X_i; \boldsymbol{\theta}) \end{align}
に表されるので, 各点$\boldsymbol{\theta}$での確率収束は大数の法則より成り立ちます. しかし, この確率収束が一様なものであるかは不明です. これを保証するには一様な大数の法則が必要です. 一様な大数の法則については, 記事「 一様な大数の法則について 」を参照してください. - 仮定[5]における確率収束を概収束に取り替えれば, 定理の結論(iii)は強一致性$\widehat{\boldsymbol{\theta}}_n \to \boldsymbol{\theta}_0$ a.s.として得られます.
参考文献
この記事を高評価した人
投稿者
