一様な大数の法則について
はじめに
本記事は一様な大数の法則に関する備忘録です. もし間違い等があればコメントいただけますと幸いです.
一様な大数の法則
一様な大数の法則はM-推定の漸近理論において必須の道具です.
- 位相空間$\mathcal{X}$に対して$\mathscr{B}(\mathcal{X})$は$\mathcal{X}$のBorel集合族を表す.
- $\mathbb{B}(\theta, \rho)$は中心$\theta$, 半径$\rho$の開球を表す. すなわち, $\mathbb{B}(\theta, \rho) = \{ \widetilde{\theta} \in \Theta\,|\,d(\widetilde{\theta} - \theta) < \rho \}$.
- a.s.はalmost surely (ほとんど確実に, 確率1での意) の略.
- $(\Omega, \mathscr{F}, \mathbb{P})$は確率空間.
- $(\mathscr{X}, \mathscr{A})$は可測空間.
- $(\Theta, d)$は距離空間.
- $\{ X_i \}_{i \in \mathbb{N}}$は$(\Omega, \mathscr{F}, \mathbb{P})$上に定義された$\mathscr{X}$-値確率変数列.
- $q$は$\mathscr{X} \times \Theta$上の実数値関数.
- $\overline{q}$は次で定まる$\mathscr{X} \times \Theta \times \mathbb{R}_+$上の実数値関数 :
\begin{align*} \overline{q}(X_i, \boldsymbol{\theta}, \rho) = \sup_{\widetilde{\boldsymbol{\theta}} \in \mathbb{B}(\boldsymbol{\theta},\hspace{0.5pt}\rho)} q(X_i, \widetilde{\boldsymbol{\theta}}). \end{align*}
次の命題は各点での標本平均の概収束を保証します.
$\{ X_i \}_{i \in \mathbb{N}}$は強定常かつエルゴード的で, $\mathbb{E}[|X_1|] < \infty$とする. このとき,
\begin{align}
\frac{1}{n} \sum_{i=1}^n X_i \to \mathbb{E}[X_1] \quad \text{a.s.}
\end{align}
が成り立つ.
次の補題は一様な大数の法則を示すために必要です.
次の5つの条件を仮定する.
- $\Theta_0$は$\Theta$のコンパクト部分集合.
- $\{ X_i \}_{i \in \mathbb{N}}$は強定常かつエルゴード的.
- $\mathbb{P}$-a.s.$\omega \in \Omega$に対して, $\Theta \ni \theta \mapsto q(X_1(\omega), \theta) \in \mathbb{R}$は上半連続.
- 各$\theta \in \Theta$に対して, $\rho(\theta)$が十分小さければ, $\mathscr{X} \ni x \mapsto \overline{q}(x, \theta, \rho(\theta)) \in \mathbb{R}$は$\mathscr{A}/\mathscr{B}(\mathbb{R})$-可測.
- 関数$M: \mathscr{X} \to \mathbb{R}$で$\mathbb{E}[M(X_1)] < \infty$なるものが存在して, $\sup_{\theta \in \Uptheta} q(X_1, \theta) \leq M(X_1)$ a.s.
このとき, 写像
\begin{align*}
\Theta \ni \theta \mapsto \mathbb{E}\big[ q(X_1, \theta) \big] \in \mathbb{R}
\end{align*}
は上半連続であり,
\begin{align*}
\limsup_{n \to \infty} \sup_{\theta \in \Uptheta_0} \frac{1}{n} \sum_{i=1}^n q(X_i, \theta)
\leq \sup_{\theta \in \Uptheta_0} \mathbb{E}\big[ q(X_1, \theta) \big] \quad \text{a.s.}
\end{align*}
が成り立つ.
任意に$\theta \in \Theta$を固定する. 仮定[4]より$m_0(\theta) \in \mathbb{N}$が存在して, $m \geq m_0(\theta)$ならば, 各$i$について$\Omega \ni \omega \mapsto \overline{q}(X_i(\omega), \theta, 1/m) \in \mathbb{R}$は$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測となる. また, 仮定[3]より$\overline{q}(X_1, \theta, 1/m) \downarrow q(X_1, \theta)$ a.s. ($m \to \infty$) であるから, 仮定[5]と合わせることにより単調収束定理が適用できて, 任意に固定された$\varepsilon > 0$と$A \in \mathbb{R}$に対して, $m_1(\theta, \varepsilon, A) \in \mathbb{N}$が存在して, $m \geq m_0(\theta) \vee m_1(\theta, \varepsilon, A)$なる$m$に対して
\begin{align}
\mathbb{E}\big[ \overline{q}(X_1, \theta, 1/m) \vee A \big]
\leq \mathbb{E}\big[ q(X_1, \theta) \vee A \big] + \varepsilon
= \mathbb{E}\big[ q(X_1, \theta) \big] \vee A + \varepsilon
\end{align}
となる ($\overline{q}(X_1(\,\cdot\,), \theta, 1/m)$の$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測性と$q(X_1(\omega), \,\cdot\,)$の上半連続性より$q(X_1(\,\cdot\,), \theta)$は$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測となることに注意する). これより$m \geq m_0(\theta) \vee m_1(\theta, \varepsilon, A)$ならば,
\begin{align*}
\mathbb{E}\big[ q(X_1, \theta) \big]
\leq \sup_{\widetilde{\theta} \in \mathbb{B}(\theta, 1/m)} \mathbb{E}\big[ q(X_1, \widetilde{\theta}) \big]
\leq \mathbb{E}\big[ \overline{q}(X_1, \theta, 1/m) \big]
\leq \mathbb{E}\big[ q(X_1, \theta) \big] \vee A + \varepsilon
\end{align*}
となるから, 写像$\theta \mapsto \mathbb{E}[q(X_1, \theta)]$は上半連続である.
さて, $\widetilde{m}(\theta, \varepsilon, A) = m_0(\theta) \vee m_1(\theta, \varepsilon, A)$とおくとき, 開球の族$\{ \mathbb{B}(\theta, 1/\widetilde{m}(\theta, \varepsilon, A)) \}_{\theta \in \Theta_0}$は$\Theta_0$の開被覆であり, $\Theta_0$のコンパクト性より有限個の点$\theta_1, \ldots, \theta_J \in \Theta_0$を選び, $\Theta_0 \subset \bigcup_{j=1}^J \mathbb{B}(\theta_j, 1/\widetilde{m}(\theta_j, \varepsilon, A))$とできる. 今, $\widetilde{m}_j = \widetilde{m}(\theta_j, \varepsilon, A)$, $j = 1, \ldots, J$と書くと,
\begin{align}
\sup_{\theta \in \Theta_0} \frac{1}{n} \sum_{i=1}^n q(X_i, \theta)
\leq \max_{1 \leq j \leq J} \sup_{\theta \in \mathbb{B}(\theta, 1/\widetilde{m}_j)} \frac{1}{n} \sum_{i=1}^n q(X_i, \theta)
\leq \max_{1 \leq j \leq J} \frac{1}{n} \sum_{i=1}^n \overline{q}(X_i, \theta_j, 1/\widetilde{m}_j)
\end{align}
となる. したがって, prop:1 (エルゴード定理) より, 確率1で
\begin{align*}
\limsup_{n \to \infty} \sup_{\theta \in \Theta_0} \frac{1}{n} \sum_{i=1}^n q(X_i, \theta)
&\leq \limsup_{n \to \infty} \max_{1 \leq j \leq J} \frac{1}{n} \sum_{i=1}^n \big( \overline{q}(X_i, \theta_j, 1/\widetilde{m}_j) \vee A \big) \\[5pt]
&= \max_{1 \leq j \leq J} \mathbb{E}\big[ \overline{q}(X_1, \theta_j, 1/\widetilde{m}_j) \vee A \big] \\[5pt]
&\leq \max_{1 \leq j \leq J} \mathbb{E}\big[ q(X_1, \theta_j) \big] \vee A + \varepsilon \\[5pt]
&\leq \sup_{\theta \in \Uptheta_0} \mathbb{E}\big[ q(X_1, \theta) \big] \vee A + \varepsilon
\end{align*}
となり, $\varepsilon$, $A$は任意であるから, 目的の不等式を得る. (証明終)
以上の準備の下で, 一様な大数の法則は次で与えられます.
次の5つの条件を仮定する.
- $\Uptheta_0$は$\Uptheta$のコンパクト部分集合.
- $\{ X_i \}_{i \in \mathbb{N}}$は強定常かつエルゴード的.
- $\mathbb{P}$-a.s.$\omega \in \Omega$に対して, $\Uptheta \ni \theta \mapsto q(X_1(\omega), \theta) \in \mathbb{R}$は連続.
- 各$\theta \in \Theta$に対して, $\mathscr{X} \ni x \mapsto q(x, \theta) \in \mathbb{R}$は$\mathscr{A}/\mathscr{B}(\mathbb{R})$-可測.
- 関数$M: \mathscr{X} \to \mathbb{R}_+$で$\mathbb{E}[M(X_1)] < \infty$なるものが存在して, $\sup_{\theta \in \Uptheta} |q(X_1, \theta)| \leq M(X_1)$ a.s.
このとき, 写像
\begin{align*}
\Theta \ni \theta \mapsto \mathbb{E}\big[ q(X_1, \theta) \big] \in \mathbb{R}
\end{align*}
は連続であり,
\begin{align*}
\lim_{n \to \infty} \sup_{\theta \in \Uptheta_0} \frac{1}{n} \sum_{i=1}^n \Big| q(X_i, \theta) - \mathbb{E}\big[ q(X_1, \theta) \big] \Big|
= 0 \quad \text{a.s.}
\end{align*}
が成り立つ.
写像$\theta \mapsto \mathbb{E}[q(X_1, \theta)]$の連続性は仮定[iii], [iv], [v]およびLebesgueの収束定理より分かる.
$r(x, \theta) = q(x, \theta) - \mathbb{E}[q(X_1, \theta)]$とおく. 定理を示すには
\begin{align}
\limsup_{n \to \infty} \sup_{\theta \in \Uptheta_0} \frac{1}{n} \sum_{i=1}^n r(X_i, \theta) \leq 0 \quad \text{a.s.}, \\[5pt]
\liminf_{n \to \infty} \inf_{\theta \in \Uptheta_0} \frac{1}{n} \sum_{i=1}^n r(X_i, \theta) \geq 0 \quad \text{a.s.}
\end{align}
を言えばよい.
任意に$\theta \in \Theta_0$を固定する. 仮定[i]より$\Theta_0$は可分であるから, 各$\rho > 0$について$\Theta_0 \cap \mathbb{B}(\theta, \rho)$において稠密な点列$\{ \theta_j \}_{j \in \mathbb{N}}$がとれる. 今, 各$x \in \mathscr{X}$に対して$\theta \mapsto r(x, \theta)$は連続であることに注意すると,
\begin{align*}
\sup_{\widetilde{\theta} \in \Uptheta_0 \cap \mathbb{B}(\theta, \rho)} r(x, \widetilde{\theta})
= \lim_{J \to \infty} \max_{1 \leq j \leq J} r(x, \theta_j)
\end{align*}
となるから, 仮定[iv]より[4]が$\Theta$を$\Theta_0$として関数$r$に対して成り立つ. また, 仮定[v]より
\begin{align*}
\sup_{\theta \in \Uptheta} r(X_i, \theta)
\leq \sup_{\theta \in \Uptheta} \big| q(x, \theta) \big| + \mathbb{E}\bigg[ \sup_{\theta \in \Uptheta} \big| q(X_1, \theta) \big| \bigg]
\leq M(X_1) + \mathbb{E}\big[ M(X_1) \big]
\end{align*}
となるから, [5]も関数$r$に対して成り立つ. したがって, lem:2より1つ目の目的の不等式を得る. $r$の代わりに$-r$に対して同様の議論をすることにより2つ目の目的の不等式も得られる. (証明終)
参考文献
この記事を高評価した人
この記事に送られたバッジ
投稿者
