本記事はM-推定量の可測性に関する備忘録です. もし間違い等があればコメントいただけますと幸いです.
$\{ X_i \}_{i \in \mathbb{N}}$を確率空間$(\Omega, \mathscr{F}, \mathbb{P})$上に定義された$\mathscr{X}$-値確率変数列とします. また, $\Theta$を未知パラメータの空間とし, パラメータの真値$\boldsymbol{\theta}_0$の推定を考えます.
$\{ Q_n \}_{n \in \mathbb{N}}$を$\mathscr{X}^n \times \Theta$上の実数値関数列とします. $X_1, \ldots, X_n$を$n$個の観測とするとき, $\widehat{\boldsymbol{\theta}}_n: \Omega \to \Theta$が$\boldsymbol{\theta}_0$のM-推定量であるとは, それが
\begin{align}
\widehat{\boldsymbol{\theta}}_n(\omega)
= \underset{\boldsymbol{\theta} \in \Theta}{\text{argmax}}\;Q_n(X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta}), \quad \omega \in \Omega
\end{align}
を満たす$\mathscr{F}/\mathscr{B}(\Theta)$-可測写像であるときに言います.
M-推定の"M"は"Maximum likelihood like"を意味し, その名の通りM-推定は最尤推定の一般化です. M-推定を念頭に置く際, $\{ Q_n \}$は真値$\boldsymbol{\theta}_0$を唯一の最小点に持つ関数$Q_0: \Theta \to \mathbb{R}$に (各点で) 確率収束する量であり, この意味で$Q_n$の最大点$\widehat{\boldsymbol{\theta}}_n$は真値$\boldsymbol{\theta}_0$に十分近いと考えるのがM-推定の思想です.$Q_n, Q_0$はそれぞれ最尤推定の枠組みにおける対数尤度, 期待対数尤度に相当します.
さて, このM-推定を理論的に考察する上での最初の難点は, $\widehat{\boldsymbol{\theta}}_n(\omega)$が$\boldsymbol{\theta} \mapsto Q_n(X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta})$の最大点であるという情報だけでは一般に$\widehat{\boldsymbol{\theta}}_n$が$\mathscr{F}/\mathscr{B}(\Theta)$-可測となるかが分からないことです. そこで, 本記事では適当な条件の下で$\widehat{\boldsymbol{\theta}}_n$の$\mathscr{F}/\mathscr{B}(\Theta)$-可測性が保証されることを示します.
次の3つの条件を仮定する.
このとき, $\mathscr{F}/\mathscr{B}(\Theta)$-可測写像$\widehat{\boldsymbol{\theta}}_n: \Omega \to \Theta$が存在して, 任意の$\omega \in \Omega$に対して
\begin{align}
Q\big( \omega, \widehat{\boldsymbol{\theta}}(\omega) \big)
= \max_{\boldsymbol{\theta} \in \Uptheta} Q(\omega, \boldsymbol{\theta})
\end{align}
が成り立つ.
次の証明はGourieroux and Monfortbook1のProperty 24.1を参考にしています.
$\mathbb{R}^p$の任意のコンパクト部分集合は可算な稠密部分集合を持つ (例えば, 齋藤book4の命題5.4.12). したがって, $\Theta$の有限部分集合の増大列$\{ \Theta_n \}_{n \in \mathbb{N}}$で, 可算集合$\Theta_\infty = \lim_{n \to \infty} \Theta_n$に対して$\text{cl}(\Theta_\infty) = \Theta$を成り立つようなものが存在する.
以下$n$を固定し, $Q(\omega, \,\cdot\,)$の$\Uptheta_n$上での最大化を考える. 今, $\Theta_n = \{ \boldsymbol{\theta}_1, \ldots, \boldsymbol{\theta}_{K_n} \}$, $K_n < \infty$とし, $\widehat{\boldsymbol{\theta}}_n$を次のように定義する : 各$\omega \in \Omega$について
\begin{align*}
\widehat{\boldsymbol{\theta}}_n(\omega) &= \boldsymbol{\theta}_1, \quad \text{if}\;\;Q(\omega, \boldsymbol{\theta}_1) \geq Q(\omega, \boldsymbol{\theta}_i),\;i = 2, \ldots, K_n, \\
\widehat{\boldsymbol{\theta}}_n(\omega) &= \boldsymbol{\theta}_2, \quad \text{if}\;\;Q(\omega, \boldsymbol{\theta}_2) > Q(\omega, \boldsymbol{\theta}_1),\;Q(\omega, \boldsymbol{\theta}_2) \geq Q(\omega, \boldsymbol{\theta}_i),\;i = 3, \ldots, K_n, \\
&\vdots \\
\widehat{\boldsymbol{\theta}}_n(\omega) &= \boldsymbol{\theta}_{K_n}, \quad \text{if}\;\;Q(\omega, \boldsymbol{\theta}_{K_n}) > Q(\omega, \boldsymbol{\theta}_i),\;i = 1, \ldots, K_n-1.
\end{align*}
このとき, $\widehat{\boldsymbol{\theta}}_n$は明らかに任意の$\omega \in \Omega$に対して
\begin{align*}
Q(\omega, \widehat{\boldsymbol{\theta}}_n(\omega)) = \max_{\boldsymbol{\theta} \in \Theta_n}\;Q(\omega, \boldsymbol{\theta})
\end{align*}
を満たす. また,
\begin{align*}
\{ \widehat{\boldsymbol{\theta}}_n = \boldsymbol{\theta}_j \}
= \Bigg[ \bigcap_{i=1}^{j-1} \big\{ \omega\,\big|\,Q(\omega,\boldsymbol{\theta}_j) > Q(\omega, \boldsymbol{\theta}_i) \big\} \Bigg] \cap \Bigg[ \bigcap_{i=j}^{K_n} \big\{ \omega\,\big|\,Q(\omega, \boldsymbol{\theta}_j) \geq Q(\omega, \boldsymbol{\theta}_i) \big\} \Bigg], \quad j = 1, \ldots, K_n
\end{align*}
であり, $Q(\,\cdot\,, \boldsymbol{\theta})$の可測性より右辺は$\mathscr{F}$に属するから, $\widehat{\boldsymbol{\theta}}_n$は$\mathscr{F}$-可測である.
$\widehat{\theta}^{\hspace{1pt}(1)}(\omega) = \liminf_{n \to \infty} \widehat{\theta}_n^{\hspace{1pt}(1)}(\omega)$とおく. ここで, $\widehat{\theta}_n^{\hspace{1pt}(1)}(\omega)$は$\widehat{\boldsymbol{\theta}}_n(\omega)$の第1成分である. このとき, 第2段の結果より$\widehat{\theta}^{\hspace{1pt}(1)}$は$\mathscr{F}$-可測である (例えば, 伊藤book3の定理10.6).
任意に$\omega \in \Omega$を固定する. このとき, $\{ \widehat{\boldsymbol{\theta}}_n(\omega) \}_{n \in \mathbb{N}}$の部分列$\{ \widehat{\boldsymbol{\theta}}_{n_q}(\omega) \}_{q \in \mathbb{N}}$が存在して, $\Theta$のコンパクト性より適当な$\overline{\theta}^{\hspace{1pt}(2)}(\omega), \ldots, \overline{\theta}^{\hspace{1pt}(p)}(\omega)$に対して
\begin{align*}
\lim_{q \to \infty} \widehat{\boldsymbol{\theta}}_{n_q}(\omega)
= \big[ \widehat{\theta}^{\hspace{1pt}(1)}(\omega), \overline{\theta}^{\hspace{1pt}(2)}(\omega), \ldots, \overline{\theta}^{\hspace{1pt}(p)}(\omega) \big]^\prime
\end{align*}
が成り立つ. これより
\begin{align*}
\sup_{\theta^{\hspace{1pt}(2)}, \ldots, \theta^{\hspace{1pt}(p)}} Q\big( \omega, \widehat{\theta}^{\hspace{1pt}(1)}(\omega), \theta^{\hspace{1pt}(2)}, \ldots, \theta^{\hspace{1pt}(p)} \big)
&\geq Q\big( \omega, \widehat{\theta}^{\hspace{1pt}(1)}(\omega), \overline{\theta}^{\hspace{1pt}(2)}(\omega), \ldots, \overline{\theta}^{\hspace{1pt}(p)}(\omega) \big) \\
&= \lim_{q \to \infty} Q\big( \omega, \widehat{\boldsymbol{\theta}}_{n_q}(\omega) \big) \\
&= \lim_{q \to \infty} \max_{\boldsymbol{\theta} \in \Theta_{n_q}} Q(\omega, \boldsymbol{\theta}) \\
&= \sup_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta})
\end{align*}
となる. ここで, 第2行は$Q(\omega, \,\cdot\,)$の連続性, 最終行は$\Uptheta_\infty$の稠密性および$Q(\omega, \,\cdot\,)$の連続性による. したがって,
\begin{align*}
Q^{(1)}\big( \omega, \theta^{\hspace{1pt}(2)}, \ldots, \theta^{\hspace{1pt}(p)} \big)
= Q\big( \omega, \widehat{\theta}^{\hspace{1pt}(1)}(\omega), \theta^{\hspace{1pt}(2)}, \ldots, \theta^{\hspace{1pt}(p)} \big)
\end{align*}
とおくと, $Q^{(1)}(\,\cdot\,, \theta^{\hspace{1pt}(2)}, \ldots, \theta^{\hspace{1pt}(p)})$は$\mathscr{F}$-可測であり,
\begin{align*}
\sup_{\boldsymbol{\theta} \in \Theta} Q^{(1)}\big( \omega, \theta^{\hspace{1pt}(2)}, \ldots, \theta^{\hspace{1pt}(p)} \big)
\geq \sup_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta})
\end{align*}
が成り立つ.
関数$Q$を$Q^{(1)}$に置き換えて第3段における議論を繰り返す. このとき, $\mathscr{F}$-可測となるように写像$\widehat{\theta}^{\hspace{1pt}(2)}$が構成できて,
\begin{align*}
Q^{(2)}\big( \omega, \theta^{\hspace{1pt}(3)}, \ldots, \theta^{\hspace{1pt}(p)} \big)
= Q^{(1)}\big( \omega, \widehat{\theta}^{\hspace{1pt}(2)}(\omega), \theta^{\hspace{1pt}(3)}, \ldots, \theta^{\hspace{1pt}(p)} \big)
\end{align*}
で定義される$Q^{(2)}(\,\cdot\,, \theta^{\hspace{1pt}(3)}, \ldots, \theta^{\hspace{1pt}(p)})$も$\mathscr{F}$-可測となり, 任意の$\omega \in \Omega$に対して
\begin{align*}
\sup_{\boldsymbol{\theta} \in \Theta} Q^{(2)}\big( \omega, \theta^{\hspace{1pt}(3)}, \ldots, \theta^{\hspace{1pt}(p)} \big)
\geq \sup_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta})
\end{align*}
が成り立つ. 同様の議論を残り$p-2$回繰り返すと, 最終的に$\mathscr{F}$-可測写像$\widehat{\boldsymbol{\theta}} = [\widehat{\theta}^{\hspace{1pt}(1)}, \ldots, \widehat{\theta}^{\hspace{1pt}(p)}]^\prime$が構成でき, 任意の$\omega \in \Omega$に対して
\begin{align*}
Q\big( \omega, \widehat{\boldsymbol{\theta}}(\omega) \big)
= Q^{(p-1)}\big( \omega, \widehat{\theta}^{\hspace{1pt}(p)}(\omega) \big)
\geq \sup_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta})
\end{align*}
が成り立つ. 逆向きの不等式は明らかであるから, コンパクト集合上の連続関数は最大値を持つことに注意すると, 任意の$\omega \in \Omega$に対して
\begin{align*}
Q\big( \omega, \widehat{\boldsymbol{\theta}}(\omega) \big)
=\max_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta})
\end{align*}
が成り立つ. (証明終)