0
大学数学基礎解説
文献あり

M-推定量の可測性について

72
0
$$$$

はじめに

本記事はM-推定量の可測性に関する備忘録です. もし間違い等があればコメントいただけますと幸いです.

M-推定

$\{ X_i \}_{i \in \mathbb{N}}$を確率空間$(\Omega, \mathscr{F}, \mathbb{P})$上に定義された$\mathscr{X}$-値確率変数列とします. また, $\Theta$を未知パラメータの空間とし, パラメータの真値$\boldsymbol{\theta}_0$の推定を考えます.

$\{ Q_n \}_{n \in \mathbb{N}}$$\mathscr{X}^n \times \Theta$上の実数値関数列とします. $X_1, \ldots, X_n$$n$個の観測とするとき, $\widehat{\boldsymbol{\theta}}_n: \Omega \to \Theta$$\boldsymbol{\theta}_0$M-推定量であるとは, それが
\begin{align} \widehat{\boldsymbol{\theta}}_n(\omega) = \underset{\boldsymbol{\theta} \in \Theta}{\text{argmax}}\;Q_n(X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta}), \quad \omega \in \Omega \end{align}
を満たす$\mathscr{F}/\mathscr{B}(\Theta)$-可測写像であるときに言います.

M-推定の"M"は"Maximum likelihood like"を意味し, その名の通りM-推定は最尤推定の一般化です. M-推定を念頭に置く際, $\{ Q_n \}$は真値$\boldsymbol{\theta}_0$を唯一の最小点に持つ関数$Q_0: \Theta \to \mathbb{R}$に (各点で) 確率収束する量であり, この意味で$Q_n$の最大点$\widehat{\boldsymbol{\theta}}_n$は真値$\boldsymbol{\theta}_0$に十分近いと考えるのがM-推定の思想です.$Q_n, Q_0$はそれぞれ最尤推定の枠組みにおける対数尤度, 期待対数尤度に相当します.

さて, このM-推定を理論的に考察する上での最初の難点は, $\widehat{\boldsymbol{\theta}}_n(\omega)$$\boldsymbol{\theta} \mapsto Q_n(X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta})$の最大点であるという情報だけでは一般に$\widehat{\boldsymbol{\theta}}_n$$\mathscr{F}/\mathscr{B}(\Theta)$-可測となるかが分からないことです. そこで, 本記事では適当な条件の下で$\widehat{\boldsymbol{\theta}}_n$$\mathscr{F}/\mathscr{B}(\Theta)$-可測性が保証されることを示します.

M-推定量の可測性

記法
  • 位相空間$\mathcal{X}$に対して$\mathscr{B}(\mathcal{X})$$\mathcal{X}$のBorel集合族を表す.
  • 位相空間$\mathcal{X}$に対して$\text{cl}(\mathcal{X})$$\mathcal{X}$の閉包を表す.
設定
  • $(\Omega, \mathscr{F})$は可測空間.
  • $\Theta$$\mathbb{R}^p$の部分集合.
  • $Q$$\Omega \times \Theta$上の実数値関数.
可測選択定理 (Jennrichpaper2, Lemma 2)

次の3つの条件を仮定する.

  1. $\Theta$はコンパクト.
  2. $\boldsymbol{\theta} \in \Theta$に対して$\Omega \ni \omega \mapsto Q(\omega, \boldsymbol{\theta}) \in \mathbb{R}$$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測.
  3. $\omega \in \Omega$に対して$\Theta \ni \boldsymbol{\theta} \mapsto Q(\omega, \boldsymbol{\theta}) \in \mathbb{R}$は連続.

このとき, $\mathscr{F}/\mathscr{B}(\Theta)$-可測写像$\widehat{\boldsymbol{\theta}}_n: \Omega \to \Theta$が存在して, 任意の$\omega \in \Omega$に対して
\begin{align} Q\big( \omega, \widehat{\boldsymbol{\theta}}(\omega) \big) = \max_{\boldsymbol{\theta} \in \Uptheta} Q(\omega, \boldsymbol{\theta}) \end{align}
が成り立つ.

次の証明はGourieroux and Monfortbook1のProperty 24.1を参考にしています.

【第1段】

$\mathbb{R}^p$の任意のコンパクト部分集合は可算な稠密部分集合を持つ (例えば, 齋藤book4の命題5.4.12). したがって, $\Theta$の有限部分集合の増大列$\{ \Theta_n \}_{n \in \mathbb{N}}$で, 可算集合$\Theta_\infty = \lim_{n \to \infty} \Theta_n$に対して$\text{cl}(\Theta_\infty) = \Theta$を成り立つようなものが存在する.

【第2段】

以下$n$を固定し, $Q(\omega, \,\cdot\,)$$\Uptheta_n$上での最大化を考える. 今, $\Theta_n = \{ \boldsymbol{\theta}_1, \ldots, \boldsymbol{\theta}_{K_n} \}$, $K_n < \infty$とし, $\widehat{\boldsymbol{\theta}}_n$を次のように定義する : 各$\omega \in \Omega$について
\begin{align*} \widehat{\boldsymbol{\theta}}_n(\omega) &= \boldsymbol{\theta}_1, \quad \text{if}\;\;Q(\omega, \boldsymbol{\theta}_1) \geq Q(\omega, \boldsymbol{\theta}_i),\;i = 2, \ldots, K_n, \\ \widehat{\boldsymbol{\theta}}_n(\omega) &= \boldsymbol{\theta}_2, \quad \text{if}\;\;Q(\omega, \boldsymbol{\theta}_2) > Q(\omega, \boldsymbol{\theta}_1),\;Q(\omega, \boldsymbol{\theta}_2) \geq Q(\omega, \boldsymbol{\theta}_i),\;i = 3, \ldots, K_n, \\ &\vdots \\ \widehat{\boldsymbol{\theta}}_n(\omega) &= \boldsymbol{\theta}_{K_n}, \quad \text{if}\;\;Q(\omega, \boldsymbol{\theta}_{K_n}) > Q(\omega, \boldsymbol{\theta}_i),\;i = 1, \ldots, K_n-1. \end{align*}
このとき, $\widehat{\boldsymbol{\theta}}_n$は明らかに任意の$\omega \in \Omega$に対して
\begin{align*} Q(\omega, \widehat{\boldsymbol{\theta}}_n(\omega)) = \max_{\boldsymbol{\theta} \in \Theta_n}\;Q(\omega, \boldsymbol{\theta}) \end{align*}
を満たす. また,
\begin{align*} \{ \widehat{\boldsymbol{\theta}}_n = \boldsymbol{\theta}_j \} = \Bigg[ \bigcap_{i=1}^{j-1} \big\{ \omega\,\big|\,Q(\omega,\boldsymbol{\theta}_j) > Q(\omega, \boldsymbol{\theta}_i) \big\} \Bigg] \cap \Bigg[ \bigcap_{i=j}^{K_n} \big\{ \omega\,\big|\,Q(\omega, \boldsymbol{\theta}_j) \geq Q(\omega, \boldsymbol{\theta}_i) \big\} \Bigg], \quad j = 1, \ldots, K_n \end{align*}
であり, $Q(\,\cdot\,, \boldsymbol{\theta})$の可測性より右辺は$\mathscr{F}$に属するから, $\widehat{\boldsymbol{\theta}}_n$$\mathscr{F}$-可測である.

【第3段】

$\widehat{\theta}^{\hspace{1pt}(1)}(\omega) = \liminf_{n \to \infty} \widehat{\theta}_n^{\hspace{1pt}(1)}(\omega)$とおく. ここで, $\widehat{\theta}_n^{\hspace{1pt}(1)}(\omega)$$\widehat{\boldsymbol{\theta}}_n(\omega)$の第1成分である. このとき, 第2段の結果より$\widehat{\theta}^{\hspace{1pt}(1)}$$\mathscr{F}$-可測である (例えば, 伊藤book3の定理10.6).
任意に$\omega \in \Omega$を固定する. このとき, $\{ \widehat{\boldsymbol{\theta}}_n(\omega) \}_{n \in \mathbb{N}}$の部分列$\{ \widehat{\boldsymbol{\theta}}_{n_q}(\omega) \}_{q \in \mathbb{N}}$が存在して, $\Theta$のコンパクト性より適当な$\overline{\theta}^{\hspace{1pt}(2)}(\omega), \ldots, \overline{\theta}^{\hspace{1pt}(p)}(\omega)$に対して
\begin{align*} \lim_{q \to \infty} \widehat{\boldsymbol{\theta}}_{n_q}(\omega) = \big[ \widehat{\theta}^{\hspace{1pt}(1)}(\omega), \overline{\theta}^{\hspace{1pt}(2)}(\omega), \ldots, \overline{\theta}^{\hspace{1pt}(p)}(\omega) \big]^\prime \end{align*}
が成り立つ. これより
\begin{align*} \sup_{\theta^{\hspace{1pt}(2)}, \ldots, \theta^{\hspace{1pt}(p)}} Q\big( \omega, \widehat{\theta}^{\hspace{1pt}(1)}(\omega), \theta^{\hspace{1pt}(2)}, \ldots, \theta^{\hspace{1pt}(p)} \big) &\geq Q\big( \omega, \widehat{\theta}^{\hspace{1pt}(1)}(\omega), \overline{\theta}^{\hspace{1pt}(2)}(\omega), \ldots, \overline{\theta}^{\hspace{1pt}(p)}(\omega) \big) \\ &= \lim_{q \to \infty} Q\big( \omega, \widehat{\boldsymbol{\theta}}_{n_q}(\omega) \big) \\ &= \lim_{q \to \infty} \max_{\boldsymbol{\theta} \in \Theta_{n_q}} Q(\omega, \boldsymbol{\theta}) \\ &= \sup_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta}) \end{align*}
となる. ここで, 第2行は$Q(\omega, \,\cdot\,)$の連続性, 最終行は$\Uptheta_\infty$の稠密性および$Q(\omega, \,\cdot\,)$の連続性による. したがって,
\begin{align*} Q^{(1)}\big( \omega, \theta^{\hspace{1pt}(2)}, \ldots, \theta^{\hspace{1pt}(p)} \big) = Q\big( \omega, \widehat{\theta}^{\hspace{1pt}(1)}(\omega), \theta^{\hspace{1pt}(2)}, \ldots, \theta^{\hspace{1pt}(p)} \big) \end{align*}
とおくと, $Q^{(1)}(\,\cdot\,, \theta^{\hspace{1pt}(2)}, \ldots, \theta^{\hspace{1pt}(p)})$$\mathscr{F}$-可測であり,
\begin{align*} \sup_{\boldsymbol{\theta} \in \Theta} Q^{(1)}\big( \omega, \theta^{\hspace{1pt}(2)}, \ldots, \theta^{\hspace{1pt}(p)} \big) \geq \sup_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta}) \end{align*}
が成り立つ.

【第4段】

関数$Q$$Q^{(1)}$に置き換えて第3段における議論を繰り返す. このとき, $\mathscr{F}$-可測となるように写像$\widehat{\theta}^{\hspace{1pt}(2)}$が構成できて,
\begin{align*} Q^{(2)}\big( \omega, \theta^{\hspace{1pt}(3)}, \ldots, \theta^{\hspace{1pt}(p)} \big) = Q^{(1)}\big( \omega, \widehat{\theta}^{\hspace{1pt}(2)}(\omega), \theta^{\hspace{1pt}(3)}, \ldots, \theta^{\hspace{1pt}(p)} \big) \end{align*}
で定義される$Q^{(2)}(\,\cdot\,, \theta^{\hspace{1pt}(3)}, \ldots, \theta^{\hspace{1pt}(p)})$$\mathscr{F}$-可測となり, 任意の$\omega \in \Omega$に対して
\begin{align*} \sup_{\boldsymbol{\theta} \in \Theta} Q^{(2)}\big( \omega, \theta^{\hspace{1pt}(3)}, \ldots, \theta^{\hspace{1pt}(p)} \big) \geq \sup_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta}) \end{align*}
が成り立つ. 同様の議論を残り$p-2$回繰り返すと, 最終的に$\mathscr{F}$-可測写像$\widehat{\boldsymbol{\theta}} = [\widehat{\theta}^{\hspace{1pt}(1)}, \ldots, \widehat{\theta}^{\hspace{1pt}(p)}]^\prime$が構成でき, 任意の$\omega \in \Omega$に対して
\begin{align*} Q\big( \omega, \widehat{\boldsymbol{\theta}}(\omega) \big) = Q^{(p-1)}\big( \omega, \widehat{\theta}^{\hspace{1pt}(p)}(\omega) \big) \geq \sup_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta}) \end{align*}
が成り立つ. 逆向きの不等式は明らかであるから, コンパクト集合上の連続関数は最大値を持つことに注意すると, 任意の$\omega \in \Omega$に対して
\begin{align*} Q\big( \omega, \widehat{\boldsymbol{\theta}}(\omega) \big) =\max_{\boldsymbol{\theta} \in \Theta} Q(\omega, \boldsymbol{\theta}) \end{align*}
が成り立つ. (証明終)

参考文献

[1]
Gourieroux, C. and Monfort, A., Statistics and Econometric Models Volume 2: Testing, Confidence Regions, Model Selection and Asymptotic Theory, Themes in Modern Econometrics , Cambridge University Press, 1995
[2]
Jennrich, R. I., Asymptotic properties of non-linear least squares estimators, The Annals of Mathematical Statistics, 1969, 633 - 643
[3]
伊藤清三, ルベーグ積分入門 (新装版), 数学選書4, 裳華房, 2017
[4]
齋藤正彦, 数学の基礎 集合・数・位相, 基礎数学, 東京大学出版会, 2002
投稿日:121
更新日:22
OptHub AI Competition

この記事を高評価した人

高評価したユーザはいません

この記事に送られたバッジ

バッジはありません。
バッチを贈って投稿者を応援しよう

バッチを贈ると投稿者に現金やAmazonのギフトカードが還元されます。

投稿者

非数学科で統計してる人

コメント

他の人のコメント

コメントはありません。
読み込み中...
読み込み中
  1. はじめに
  2. M-推定
  3. M-推定量の可測性
  4. 参考文献