一様な大数の法則について

任意に$\theta \in \mathrm{\Theta }$を固定する. 仮定[4]より$m_0(\theta )\in \mathbb{N}$が存在して, $m\ge m_0(\theta )$ならば, 各$i$について$\mathrm{\Omega }\ni \omega \mapsto \bar{q}(X_i(\omega ),\theta ,1/m)\in \mathbb{R}$は$\mathcal{F}/\mathcal{B}(\mathbb{R})$-可測となる. また, 仮定[3]より$\bar{q}(X_1,\theta ,1/m)\downarrow q(X_1,\theta )$ a.s. ($m\to \mathrm{\infty }$) であるから, 仮定[5]と合わせることにより単調収束定理が適用できて, 任意に固定された$\epsilon >0$と$A\in \mathbb{R}$に対して, $m_1(\theta ,\epsilon ,A)\in \mathbb{N}$が存在して, $m\ge m_0(\theta )\vee m_1(\theta ,\epsilon ,A)$なる$m$に対して
$$\begin{array}{r}\mathbb{E}[\bar{q}(X_1,\theta ,1/m)\vee A]\le \mathbb{E}[q(X_1,\theta )\vee A]+\epsilon =\mathbb{E}[q(X_1,\theta )]\vee A+\epsilon \end{array}$$
となる ($\bar{q}(X_1(\cdot ),\theta ,1/m)$の$\mathcal{F}/\mathcal{B}(\mathbb{R})$-可測性と$q(X_1(\omega ),\cdot )$の上半連続性より$q(X_1(\cdot ),\theta )$は$\mathcal{F}/\mathcal{B}(\mathbb{R})$-可測となることに注意する). これより$m\ge m_0(\theta )\vee m_1(\theta ,\epsilon ,A)$ならば,
$$\begin{array}{r}\mathbb{E}[q(X_1,\theta )]\le \underset{\tilde{\theta }\in \mathbb{B}(\theta ,1/m)}{sup}\mathbb{E}[q(X_1,\tilde{\theta })]\le \mathbb{E}[\bar{q}(X_1,\theta ,1/m)]\le \mathbb{E}[q(X_1,\theta )]\vee A+\epsilon \end{array}$$
となるから, 写像$\theta \mapsto \mathbb{E}[q(X_1,\theta )]$は上半連続である.

さて, $\tilde{m}(\theta ,\epsilon ,A)=m_0(\theta )\vee m_1(\theta ,\epsilon ,A)$とおくとき, 開球の族$\{\mathbb{B}(\theta ,1/\tilde{m}(\theta ,\epsilon ,A)){\}}_{\theta \in {\mathrm{\Theta }}_0}$は${\mathrm{\Theta }}_0$の開被覆であり, ${\mathrm{\Theta }}_0$のコンパクト性より有限個の点${\theta }_1,\dots ,{\theta }_J\in {\mathrm{\Theta }}_0$を選び, ${\mathrm{\Theta }}_0\subset \bigcup _{j=1}^J\mathbb{B}({\theta }_j,1/\tilde{m}({\theta }_j,\epsilon ,A))$とできる. 今, ${\tilde{m}}_j=\tilde{m}({\theta }_j,\epsilon ,A)$, $j=1,\dots ,J$と書くと,
$$\begin{array}{r}\underset{\theta \in {\mathrm{\Theta }}_0}{sup}\frac{1}{n}\sum _{i=1}^{n}q(X_i,\theta )\le \underset{1\le j\le J}{max}\underset{\theta \in \mathbb{B}(\theta ,1/{\tilde{m}}_j)}{sup}\frac{1}{n}\sum _{i=1}^{n}q(X_i,\theta )\le \underset{1\le j\le J}{max}\frac{1}{n}\sum _{i=1}^n\bar{q}(X_i,{\theta }_j,1/{\tilde{m}}_j)\end{array}$$
となる. したがって, prop:1 (エルゴード定理) より, 確率1で
$$\begin{array}{rl}\underset{n\to \mathrm{\infty }}{lim sup}\underset{\theta \in {\mathrm{\Theta }}_0}{sup}\frac{1}{n}\sum _{i=1}^{n}q(X_i,\theta )& \le \underset{n\to \mathrm{\infty }}{lim sup}\underset{1\le j\le J}{max}\frac{1}{n}\sum _{i=1}^n(\bar{q}(X_i,{\theta }_j,1/{\tilde{m}}_j)\vee A)\\ & =\underset{1\le j\le J}{max}\mathbb{E}[\bar{q}(X_1,{\theta }_j,1/{\tilde{m}}_j)\vee A]\\ & \le \underset{1\le j\le J}{max}\mathbb{E}[q(X_1,{\theta }_j)]\vee A+\epsilon \\ & \le \underset{\theta \in {\mathrm{\Theta }}_0}{sup}\mathbb{E}[q(X_1,\theta )]\vee A+\epsilon \end{array}$$
となり, $\epsilon$, $A$は任意であるから, 目的の不等式を得る. (証明終)

写像$\theta \mapsto \mathbb{E}[q(X_1,\theta )]$の連続性は仮定[iii], [iv], [v]およびLebesgueの収束定理より分かる.

$r(x,\theta )=q(x,\theta )-\mathbb{E}[q(X_1,\theta )]$とおく. 定理を示すには
$$\begin{array}{r}\underset{n\to \mathrm{\infty }}{lim sup}\underset{\theta \in {\mathrm{\Theta }}_0}{sup}\frac{1}{n}\sum _{i=1}^{n}r(X_i,\theta )\le 0\text{a.s.},\\ \underset{n\to \mathrm{\infty }}{lim inf}\underset{\theta \in {\mathrm{\Theta }}_0}{inf}\frac{1}{n}\sum _{i=1}^{n}r(X_i,\theta )\ge 0\text{a.s.}\end{array}$$
を言えばよい.

任意に$\theta \in {\mathrm{\Theta }}_0$を固定する. 仮定[i]より${\mathrm{\Theta }}_0$は可分であるから, 各$\rho >0$について${\mathrm{\Theta }}_0\cap \mathbb{B}(\theta ,\rho )$において稠密な点列$\{{\theta }_j{\}}_{j\in \mathbb{N}}$がとれる. 今, 各$x\in \mathcal{X}$に対して$\theta \mapsto r(x,\theta )$は連続であることに注意すると,
$$\begin{array}{r}\underset{\tilde{\theta }\in {\mathrm{\Theta }}_0\cap \mathbb{B}(\theta ,\rho )}{sup}r(x,\tilde{\theta })=\underset{J\to \mathrm{\infty }}{lim}\underset{1\le j\le J}{max}r(x,{\theta }_j)\end{array}$$
となるから, 仮定[iv]より[4]が$\mathrm{\Theta }$を${\mathrm{\Theta }}_0$として関数$r$に対して成り立つ. また, 仮定[v]より
$$\begin{array}{r}\underset{\theta \in \mathrm{\Theta }}{sup}r(X_i,\theta )\le \underset{\theta \in \mathrm{\Theta }}{sup}|q(x,\theta )|+\mathbb{E}[\underset{\theta \in \mathrm{\Theta }}{sup}|q(X_1,\theta )|]\le M(X_1)+\mathbb{E}[M(X_1)]\end{array}$$
となるから, [5]も関数$r$に対して成り立つ. したがって, lem:2より1つ目の目的の不等式を得る. $r$の代わりに$-r$に対して同様の議論をすることにより2つ目の目的の不等式も得られる. (証明終)