M-推定量の漸近正規性について

(ii)の証明はNewey and McFadden[2]のTheorem 3.1および清水[3]の補題3.1.23を参考にしています.

【(i)の証明】

仮定[1] - [3]より命題1 (可測選択定理) が適用できて, (i)が成り立つ.

【(ii)の証明】

【第1段】

${\hat{\mathit{\theta }}}_n{\to }^p{\mathit{\theta }}_0$を仮定する. 今, 十分小さい$r>0$が存在して, ${\mathcal{N}}_0=\mathbb{B}({\mathit{\theta }}_0,r)\subset \mathcal{N}$となる. 以降$X_1,\dots ,X_n$を省略し, $Q_n(\mathit{\theta })=Q_n(X_1,\dots ,X_n,\mathit{\theta })$と書く. 任意に$\omega \in \mathrm{\Omega }$を固定するとき, (i)より
$$\begin{array}{r}{\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}{\mathrm{\nabla }}_{\mathit{\theta }}{Q}_n({\hat{\mathit{\theta }}}_n)=\mathbf{0}\end{array}$$
となり, この左辺に平均値の定理を適用することにより
$$\begin{array}{rl}& {\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}{\mathrm{\nabla }}_{\mathit{\theta }}{Q}_n({\mathit{\theta }}_0)+{\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}\{{\int }_0^1{\mathrm{\nabla }}_{\mathit{\theta }}^2{Q}_n({\mathit{\theta }}_0+u({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0))du\}({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0)=\mathbf{0}\end{array}$$
となる (${\mathcal{N}}_0$の凸性より上の積分は意味を持つ). 今,
$$\begin{array}{rl}{\mathbf{H}}_n& ={\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}{\int }_0^1{\mathrm{\nabla }}_{\mathit{\theta }}^2{Q}_n({\mathit{\theta }}_0+u({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0))du=\{\begin{array}{ll}{\displaystyle {\int }_0^1{\mathrm{\nabla }}_{\mathit{\theta }}^2{Q}_n({\mathit{\theta }}_0+u({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0))du,}& {\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\\ \mathbf{O},& {\hat{\mathit{\theta }}}_n\notin {\mathcal{N}}_0\end{array}\end{array}$$
とおき, 先ほどの両辺に${\mathbf{1}}_{\{\det {\mathbf{H}}_n\ne 0\}}\sqrt{n}$を掛けて整理することにより
$$\begin{array}{r}\sqrt{n}({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0)=-{\mathbf{1}}_{\{\det {\mathbf{H}}_n\ne 0\}}{\mathbf{H}}_n^{-1}\cdot \sqrt{n}{\mathrm{\nabla }}_{\mathit{\theta }}{Q}_n({\mathit{\theta }}_0)+(1-{\mathbf{1}}_{\{\det {\mathbf{H}}_n\ne 0\}})\cdot \sqrt{n}({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0)\end{array}$$
を得る ($\{\det {\mathbf{H}}_n\ne 0\}\subset \{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}$に注意する). したがって,
$$\begin{array}{rl}& {\mathbf{H}}_n{\to }^p\mathbf{H}({\mathit{\theta }}_0),\\ & {\mathbf{1}}_{\{\det {\mathbf{H}}_n\ne 0\}}{\to }^{p}1\end{array}$$
が成り立つならば, この右辺第1項は仮定[4]より
$$\begin{array}{r} -{\mathbf{1}}_{\{\det {\mathbf{H}}_n\ne 0\}}{\mathbf{H}}_n^{-1}\cdot \sqrt{n}{\mathrm{\nabla }}_{\mathit{\theta }}{Q}_n({\mathit{\theta }}_0){\to }^d-{\mathbf{H}}^{-1}({\mathit{\theta }}_0){\mathcal{N}}_p(\mathbf{0},\mathbf{\Sigma })={\mathcal{N}}_p(\mathbf{0},{\mathbf{H}}^{-1}({\mathit{\theta }}_0)\mathbf{\Sigma }{\mathbf{H}}^{-1}({\mathit{\theta }}_0))\end{array}$$
となり, 右辺第2項は
$$\begin{array}{r}\mathbb{P}(|(1-{\mathbf{1}}_{\{\det {\mathbf{H}}_n\ne 0\}})\cdot \sqrt{n}({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0)|\ne 0)\le \mathbb{P}({\mathbf{1}}_{\{\det {\mathbf{H}}_n\ne 0\}}=0)\to 0\end{array}$$
より
$$\begin{array}{r}(1-{\mathbf{1}}_{\{\det {\mathbf{H}}_n\ne 0\}})\cdot \sqrt{n}({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0){\to }^{p}0\end{array}$$
となるから, 結論が得られる.

【第2段】

${\mathbf{H}}_n{\to }^p\mathbf{H}({\mathit{\theta }}_0)$を示す. 仮定${\hat{\mathit{\theta }}}_n{\to }^p{\mathit{\theta }}_0$より
$$\begin{array}{r}\mathbb{E}[{\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\notin {\mathcal{N}}_0\}}]=\mathbb{P}({\hat{\mathit{\theta }}}_n\notin {\mathcal{N}}_0)=\mathbb{P}(\parallel {\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0\parallel \ge r)\to 0\end{array}$$
となるから, 命題2より${\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}{\to }^{p}1$となることに注意する.

さて, ${\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}{\to }^{p}1$と$\underset{\mathit{\theta }\in \mathcal{N}}{sup}\parallel {\mathrm{\nabla }}_{\mathit{\theta }}^2{Q}_n(\mathit{\theta })-\mathbf{H}(\mathit{\theta })\parallel {\to }^{p}0$ (仮定[5]) より
$$\begin{array}{rl}\Vert {\mathbf{H}}_n-\mathbf{H}({\mathit{\theta }}_0)\Vert & \le \Vert {\mathbf{H}}_n-{\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}\mathbf{H}({\mathit{\theta }}_0)\Vert +(1-{\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}})\Vert \mathbf{H}({\mathit{\theta }}_0)\Vert \\ & \le {\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}{\int }_0^1\Vert {\mathrm{\nabla }}_{\mathit{\theta }}^2{Q}_n({\mathit{\theta }}_0+u({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0))-\mathbf{H}({\mathit{\theta }}_0)\Vert du+o_p(1)\\ & \le {\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}{\int }_0^1\Vert {\mathrm{\nabla }}_{\mathit{\theta }}^2{Q}_n({\mathit{\theta }}_0+u({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0))-\mathbf{H}({\mathit{\theta }}_0+u({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0))\Vert du\\ & +{\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}{\int }_0^1\Vert \mathbf{H}({\mathit{\theta }}_0+u({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0))-\mathbf{H}({\mathit{\theta }}_0)\Vert du+o_p(1)\\ & \le \underset{\mathit{\theta }\in \mathcal{N}}{sup}\Vert {\mathrm{\nabla }}_{\mathit{\theta }}^2{Q}_n(\mathit{\theta })-\mathbf{H}(\mathit{\theta })\Vert +{\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}\underset{u\in [0,1]}{sup}\Vert \mathbf{H}({\mathit{\theta }}_0+u({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0))-\mathbf{H}({\mathit{\theta }}_0)\Vert +o_p(1)\\ & ={\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}\underset{u\in [0,1]}{sup}\Vert \mathbf{H}({\mathit{\theta }}_0+u({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0))-\mathbf{H}({\mathit{\theta }}_0)\Vert +o_p(1)\end{array}$$
となる. 任意に$u\in [0,1]$を固定するとき, ${\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}{\to }^{p}1$と$\mathbf{H}$の${\mathit{\theta }}_0$における連続性 (仮定[5]) より
$$\begin{array}{r}{\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_n\in {\mathcal{N}}_0\}}\Vert \mathbf{H}({\mathit{\theta }}_0+u({\hat{\mathit{\theta }}}_n-{\mathit{\theta }}_0))-\mathbf{H}({\mathit{\theta }}_0)\Vert {\to }^{p}0\end{array}$$
となるから, ${\mathbf{H}}_n{\to }^p\mathbf{H}({\mathit{\theta }}_0)$が成り立つ.

【第3段】

${\mathbf{1}}_{\{\det {\mathbf{H}}_n\ne 0\}}{\to }^{p}1$を示す. ${\mathit{\xi }}_n=[{\hat{\mathit{\theta }}}_n^{\prime },|\det {\mathbf{H}}_n|{]}^{\prime }$とおく. ${\mathbf{H}}_n{\to }^p\mathbf{H}({\mathit{\theta }}_0)$と仮定${\hat{\mathit{\theta }}}_n{\to }^p{\mathit{\theta }}_0$より${\mathit{\xi }}_n{\to }^p[{\mathit{\theta }}_0^{\prime },|\det \mathbf{H}({\mathit{\theta }}_0)|{]}^{\prime }$となるから, 命題2より$\{{\mathit{\xi }}_n\}$の任意の部分列$\{{\mathit{\xi }}_{n^{\prime }}\}$に対して${\mathit{\xi }}_{n^{\prime \prime }}\to [{\mathit{\theta }}_0^{\prime },|\det \mathbf{H}({\mathit{\theta }}_0)|{]}^{\prime }$ a.s.となるような部分列$\{{\mathit{\xi }}_{n^{\prime \prime }}\}$がとれる. このとき, 任意の$\epsilon >0$に対して$N(\epsilon )\in \mathbb{N}$が存在して, $n^{\prime \prime }\ge N(\epsilon )$ならば,
$$\begin{array}{r}\parallel {\hat{\mathit{\theta }}}_{n^{\prime \prime }}-{\mathit{\theta }}_0\parallel +||\det {\mathbf{H}}_{n^{\prime \prime }}|-|\det \mathbf{H}({\mathit{\theta }}_0)||<\epsilon \text{a.s.}\end{array}$$
となり, 特に${\hat{\mathit{\theta }}}_{n^{\prime \prime }}\in \mathbb{B}({\mathit{\theta }}_0,\epsilon )$ a.s.かつ$|\det {\mathbf{H}}_{n^{\prime \prime }}|>|\det \mathbf{H}({\mathit{\theta }}_0)|-\epsilon$ a.s.が成り立つ. したがって, 正数$\epsilon$を$\epsilon <r\wedge |\det \mathbf{H}({\mathit{\theta }}_0)|/2$を満たすように小さく固定すれば, 十分大きい$n^{\prime \prime }$に対して
$$\begin{array}{rl}& {\hat{\mathit{\theta }}}_{n^{\prime \prime }}\in \mathbb{B}({\mathit{\theta }}_0,\epsilon )\subset {\mathcal{N}}_0\text{a.s.},\\ & |\det {\mathbf{H}}_{n^{\prime \prime }}|>|\det \mathbf{H}({\mathit{\theta }}_0)|-\epsilon >\frac{1}{2}|\det \mathbf{H}({\mathit{\theta }}_0)|>0\text{a.s.}\end{array}$$
となり, すなわち, ${\mathbf{1}}_{\{\det {\mathbf{H}}_{n^{\prime \prime }}\ne 0\}}={\mathbf{1}}_{\{{\hat{\mathit{\theta }}}_{n^{\prime \prime }}\in {\mathcal{N}}_0,\det {\mathbf{H}}_{n^{\prime \prime }}\ne 0\}}=1$ a.s.となる. 故に, 命題2より${\mathbf{1}}_{\{\det {\mathbf{H}}_n\ne 0\}}{\to }^{p}1$が成り立つ.