【5個】共分散についても触れておく |・`)

Def.

Prop&Proof

$X$ は二乗可積分であるから、特に可積分である。
したがって、
$$ \mathbb E[X]\in\mathbb R $$
である。ここで、
$$ \mu:=\mathbb E[X] $$
とおく。共分散の定義より、
$$ \operatorname{Cov}(X,X) = \mathbb E\left[(X-\mathbb E[X])(X-\mathbb E[X])\right] $$
である。$\mu=\mathbb E[X]$ であるから、
$$ \operatorname{Cov}(X,X) = \mathbb E\left[(X-\mu)(X-\mu)\right] $$
である。
任意の $\omega\in\Omega$ に対して、
$$ (X(\omega)-\mu)(X(\omega)-\mu) = (X(\omega)-\mu)^2 $$
であるから、$\Omega$ 上の非負可測関数として
$$ (X-\mu)(X-\mu)=(X-\mu)^2 $$
である。
したがって、
$$ \begin{align} \operatorname{Cov}(X,X) &= \mathbb E\left[(X-\mu)(X-\mu)\right] \\ &= \mathbb E\left[(X-\mu)^2\right] \\ &= \mathbb V(X) \end{align} $$
である。
以上より、
$$ \operatorname{Cov}(X,X)=\mathbb V(X) $$
が成り立つ。
$$ \Box$$

1. $X,Y$ は二乗可積分であるから、特に可積分である。
   そこで、
   $$ \mu_X:=\mathbb E[X],\qquad \mu_Y:=\mathbb E[Y] $$
   とおく。このとき、
   $$ \mu_X,\mu_Y\in\mathbb R $$
   である。
   $ $
   また、$X-\mu_X$ と $Y-\mu_Y$ は二乗可積分である。
   実際、
   $$ (X-\mu_X)^2\le 2X^2+2\mu_X^2 $$
   であり(補足を参照)、右辺は可積分であるから、$X-\mu_X$ は二乗可積分である。
   同様に、
   $$ (Y-\mu_Y)^2\le 2Y^2+2\mu_Y^2 $$
   であり、右辺は可積分であるから、$Y-\mu_Y$ もまた二乗可積分である。
   $ $
   したがって、$\mathrm{Cauchy}$-$\mathrm{Schwarz}$ の不等式より、
   $$ \mathbb E\left[\left|(X-\mu_X)(Y-\mu_Y)\right|\right] \le \left(\mathbb E[(X-\mu_X)^2]\right)^{1/2} \left(\mathbb E[(Y-\mu_Y)^2]\right)^{1/2} < \infty $$
   である。
   よって、$(X-\mu_X)(Y-\mu_Y)$ は可積分であり、$\operatorname{Cov}(X,Y)$ は有限な実数として定義される。
   同様に、$(Y-\mu_Y)(X-\mu_X)$ も可積分であり、$\operatorname{Cov}(Y,X)$ も有限な実数として定義される。
   $ $
2. 共分散の定義より、
   $$ \operatorname{Cov}(X,Y) = \mathbb E\left[(X-\mu_X)(Y-\mu_Y)\right] $$
   である。
   また、実数の積は可換であるから、任意の $\omega\in\Omega$ に対して
   $$ (X(\omega)-\mu_X)(Y(\omega)-\mu_Y) = (Y(\omega)-\mu_Y)(X(\omega)-\mu_X) $$
   が成り立つ。
   したがって、$\Omega$ 上の実数値可測関数としてとして
   $$ (X-\mu_X)(Y-\mu_Y) = (Y-\mu_Y)(X-\mu_X) $$
   である。
   $ $
3. よって、
   $$ \begin{align} \operatorname{Cov}(X,Y) &= \mathbb E\left[(X-\mu_X)(Y-\mu_Y)\right] \\ &= \mathbb E\left[(Y-\mu_Y)(X-\mu_X)\right] \\ &= \operatorname{Cov}(Y,X) \end{align} $$
   である。

-以上より、
$$ \operatorname{Cov}(X,Y)=\operatorname{Cov}(Y,X) $$
が成り立つ。
$$ \Box$$

1. 仮定$\mathbb E[X^2]<\infty$より、$\mathrm{Cauchy}$-$\mathrm{Schwarz}$ の不等式を用いて
   $$ \mathbb E[|X|]\le \sqrt{\mathbb E[X^2]}<\infty $$
   が成り立つ。従って$\mathbb E[X]\in\mathbb R$が定まる。
   同様に$\mathbb E[Y]\in\mathbb R$も定まる。
   $ $
2. 次に、$(a-b)^2\le 2a^2+2b^2$を用いると各$\omega\in\Omega$で
   $$ (X-\mathbb E[X])^2\le 2X^2+2(\mathbb E[X])^2 $$
   が成り立つので
   $$ \mathbb E\Bigl[(X-\mathbb E[X])^2\Bigr] \le 2\mathbb E[X^2]+2(\mathbb E[X])^2 <\infty $$
   である。
   同様に
   $$ \mathbb E\Bigl[(Y-\mathbb E[Y])^2\Bigr]<\infty $$
   も成り立つ。
   従って$\mathrm{Cauchy}$-$\mathrm{Schwarz}$ の不等式より
   $$ \mathbb E\Bigl[\bigl|(X-\mathbb E[X])(Y-\mathbb E[Y])\bigr|\Bigr] \le \sqrt{\mathbb E[(X-\mathbb E[X])^2]}\sqrt{\mathbb E[(Y-\mathbb E[Y])^2]} <\infty $$
   となり、特に
   $$ \mathbb E\Bigl[(X-\mathbb E[X])(Y-\mathbb E[Y])\Bigr] $$
   は有限実数として定義される。
   $ $
3. ここで
   $$ U:=X-\mathbb E[X],\quad V:=Y-\mathbb E[Y] $$
   とおくと、$X$と$Y$が独立であり$\mathbb E[X],\mathbb E[Y]$は定数であるから、$U$と$V$も独立である(補足を参照)。
   また、すでに示した通り
   $$ \mathbb E[U^2]<\infty,\qquad \mathbb E[V^2]<\infty $$
   である。したがって、$\mathrm{Cauchy}$-$\mathrm{Schwarz}$ の不等式より
   $$ \mathbb E[|U|]\leq \sqrt{\mathbb E[U^2]}<\infty, \qquad \mathbb E[|V|]\leq \sqrt{\mathbb E[V^2]}<\infty $$
   である。
   $ $
4. また、$U$ と $V$ は独立であるから、
   独立な可積分確率変数に対する積の期待値の公式( 証明はコチラ )より
   $$ \mathbb E[UV]=\mathbb E[U]\mathbb E[V] $$
   が成り立つ。ところが期待値の線形性( 証明はコチラ )より
   $$ \mathbb E[U]=\mathbb E[X-\mathbb E[X]] =\mathbb E[X]-\mathbb E[X] =0 $$
   同様に$\mathbb E[V]=0$である。
   従って
   $$ \mathbb E\Bigl[(X-\mathbb E[X])(Y-\mathbb E[Y])\Bigr] =\mathbb E[UV] =\mathbb E[U]\mathbb E[V] =0 $$
   が成り立つ。

-共分散の定義より
$$ \mathrm{Cov}(X,Y) :=\mathbb E\Bigl[(X-\mathbb E[X])(Y-\mathbb E[Y])\Bigr] $$
なので$\mathrm{Cov}(X,Y)=0$が従う。
$$ \Box$$

1. $X,Y$ は二乗可積分であるから、特に可積分である。
   したがって、
   $$ \mathbb E[X]\in\mathbb R,\qquad \mathbb E[Y]\in\mathbb R $$
   である。
   ここで、
   $$ \mu_X:=\mathbb E[X],\qquad \mu_Y:=\mathbb E[Y] $$
   とおく。
   また、$X$ と $Y$ は二乗可積分であるから、$\mathrm{Cauchy}$-$\mathrm{Schwarz}$ の不等式より、
   $$ \mathbb E[|XY|] \le \left(\mathbb E[X^2]\right)^{1/2} \left(\mathbb E[Y^2]\right)^{1/2} < \infty $$
   である。よって、$XY$ は可積分である。
   さらに、$\mu_XY$、$\mu_YX$、$\mu_X\mu_Y$ はいずれも可積分である。
   $ $
2. 共分散の定義より、
   $$ \operatorname{Cov}(X,Y) = \mathbb E[(X-\mu_X)(Y-\mu_Y)] $$
   である。
   任意の $\omega\in\Omega$ に対して、
   $$ (X(\omega)-\mu_X)(Y(\omega)-\mu_Y) = X(\omega)Y(\omega)-\mu_XY(\omega)-\mu_YX(\omega)+\mu_X\mu_Y $$
   であるから、$\Omega$ 上の実数値可測関数としてとして
   $$ (X-\mu_X)(Y-\mu_Y) = XY-\mu_XY-\mu_YX+\mu_X\mu_Y $$
   である。
   $ $
3. したがって、期待値の線形性、定数倍の性質、定数確率変数の期待値( 証明はコチラ )より、
   $$ \begin{align} \operatorname{Cov}(X,Y) &= \mathbb E[(X-\mu_X)(Y-\mu_Y)] &&\because \text{共分散の定義} \\ &= \mathbb E[XY-X\mu_Y-\mu_XY+\mu_X\mu_Y] &&\because \text{積の展開} \\ &= \mathbb E[XY-\mu_YX-\mu_XY+\mu_X\mu_Y] &&\because X\mu_Y=\mu_YX \\ &= \mathbb E[XY]-\mathbb E[\mu_YX]-\mathbb E[\mu_XY]+\mathbb E[\mu_X\mu_Y] &&\because \text{期待値の線形性} \\ &= \mathbb E[XY]-\mu_Y\mathbb E[X]-\mu_X\mathbb E[Y]+\mu_X\mu_Y &&\because \text{期待値の定数倍の性質と定数確率変数の期待値} \\ &= \mathbb E[XY]-\mu_Y\mu_X-\mu_X\mu_Y+\mu_X\mu_Y &&\because \mu_X=\mathbb E[X]\text{ かつ }\mu_Y=\mathbb E[Y] \\ &= \mathbb E[XY]-\mu_X\mu_Y &&\because \mu_Y\mu_X=\mu_X\mu_Y\text{ かつ }-\mu_X\mu_Y+\mu_X\mu_Y=0 \\ &= \mathbb E[XY]-\mathbb E[X]\mathbb E[Y] &&\because \mu_X=\mathbb E[X]\text{ かつ }\mu_Y=\mathbb E[Y] \end{align} $$
   である。

-以上より、
$$ \operatorname{Cov}(X,Y) = \mathbb E[XY]-\mathbb E[X]\mathbb E[Y] $$
が成り立つ。
$$ \Box$$

1. まず、$S$ が二乗可積分であることを示す。
   有限個の実数値確率変数の線形結合であるから、
   $$ S=\sum_{j=1}^{n}a_jX_j $$
   も実数値確率変数である。
   任意の実数 $b_1,\dots,b_n$ に対して、$\mathrm{Cauchy}$-$\mathrm{Schwarz}$ の不等式より、
   $$ \left(\sum_{j=1}^{n}b_j\right)^2 \le n\sum_{j=1}^{n}b_j^2 $$
   が成り立つ(補足を参照)。
   これを
   $$ b_j=a_jX_j(\omega) $$
   に適用すると、任意の $\omega\in\Omega$ に対して
   $$ S(\omega)^2 = \left(\sum_{j=1}^{n}a_jX_j(\omega)\right)^2 \le n\sum_{j=1}^{n}a_j^2X_j(\omega)^2 $$
   である。
   したがって、$\Omega$ 上の非負可測関数として
   $$ S^2 \le n\sum_{j=1}^{n}a_j^2X_j^2 $$
   が成り立つ。
   期待値の単調性と線形性( 証明はコチラ )より、
   $$ \begin{align} \mathbb E[S^2] &\le \mathbb E\left[n\sum_{j=1}^{n}a_j^2X_j^2\right] &&\because S^2\le n\sum_{j=1}^{n}a_j^2X_j^2 \\ &= n\sum_{j=1}^{n}a_j^2\mathbb E[X_j^2] &&\because \text{期待値の線形性と定数倍の性質} \\ &< \infty &&\because \text{各 }X_j\text{ は二乗可積分であり、}a_j\in\mathbb R\text{ かつ }n\text{ は有限である} \end{align} $$
   である。
   したがって、$S$ は二乗可積分である。
   $ $
2. 次に、共分散が有限な実数として定義できることを確認する。
   各 $X_i$ は二乗可積分であるから、特に可積分である。
   そこで、
   $$ \mu_i:=\mathbb E[X_i]\qquad (i=1,\dots,n) $$
   とおく。
   このとき、
   $$ \mu_i\in\mathbb R $$
   である。
   各 $i\in\{1,\dots,n\}$ について、$X_i$ は二乗可積分であり、$\mu_i\in\mathbb R$ であるから、$X_i-\mu_i$ も二乗可積分である。
   実際、
   $$ (X_i-\mu_i)^2\le 2X_i^2+2\mu_i^2 $$
   であり(補足を参照)、右辺は可積分である。
   さらに、任意の $i,j\in\{1,\dots,n\}$ について、$\mathrm{Cauchy}$-$\mathrm{Schwarz}$ の不等式より、
   $$ \mathbb E\left[|(X_i-\mu_i)(X_j-\mu_j)|\right] \le \left(\mathbb E[(X_i-\mu_i)^2]\right)^{1/2} \left(\mathbb E[(X_j-\mu_j)^2]\right)^{1/2} < \infty $$
   である。
   したがって、$(X_i-\mu_i)(X_j-\mu_j)$ は可積分であり、
   $$ \operatorname{Cov}(X_i,X_j) = \mathbb E[(X_i-\mu_i)(X_j-\mu_j)] $$
   は有限な実数として定義される。
   $ $
3. 次に、分散を計算する。
   期待値の線形性( 証明はコチラ )より、
   $$ \mathbb E[S] = \mathbb E\left[\sum_{j=1}^{n}a_jX_j\right] = \sum_{j=1}^{n}a_j\mathbb E[X_j] = \sum_{j=1}^{n}a_j\mu_j $$
   である。
   したがって、
   $$ S-\mathbb E[S] = \sum_{j=1}^{n}a_jX_j-\sum_{j=1}^{n}a_j\mu_j = \sum_{j=1}^{n}a_j(X_j-\mu_j) $$
   である。
   分散の定義より、
   $$ \begin{align} \mathbb V(S) &= \mathbb E\left[(S-\mathbb E[S])^2\right] &&\because \text{分散の定義} \\ &= \mathbb E\left[\left(\sum_{j=1}^{n}a_j(X_j-\mu_j)\right)^2\ \right] &&\because S-\mathbb E[S]=\sum_{j=1}^{n}a_j(X_j-\mu_j) \end{align} $$
   である。
   ここで、和の二乗の展開公式( 詳しくはコチラ )より、
   $$ \left(\sum_{j=1}^{n}a_j(X_j-\mu_j)\right)^2 = \sum_{i=1}^{n}\sum_{j=1}^{n} a_i a_j(X_i-\mu_i)(X_j-\mu_j) $$
   である。
   よって、期待値の線形性( 証明はコチラ )より、
   $$ \begin{align} \mathbb V(S) &= \mathbb E\left[ \sum_{i=1}^{n}\sum_{j=1}^{n} a_i a_j(X_i-\mu_i)(X_j-\mu_j) \right] \\ &= \sum_{i=1}^{n}\sum_{j=1}^{n} a_i a_j \mathbb E[(X_i-\mu_i)(X_j-\mu_j)] &&\because \text{期待値の線形性と定数倍の性質} \\ &= \sum_{i=1}^{n}\sum_{j=1}^{n} a_i a_j \operatorname{Cov}(X_i,X_j) &&\because \text{共分散の定義} \end{align} $$
   である。

-以上より、
$$ \mathbb V(S) = \sum_{i=1}^{n}\sum_{j=1}^{n} a_i a_j \operatorname{Cov}(X_i,X_j) $$
が成り立つ。$S=\sum_{j=1}^{n}a_jX_j$ であるから、
$$ \mathbb V\left(\sum_{j=1}^{n}a_jX_j\right) = \sum_{i=1}^{n}\sum_{j=1}^{n} a_i a_j \operatorname{Cov}(X_i,X_j) $$
が成り立つ。
$$ \Box$$

1. $X,Y$ は二乗可積分であるから、特に可積分である。
   したがって、
   $$ \mathbb E[X]\in\mathbb R,\qquad \mathbb E[Y]\in\mathbb R $$
   である。
   ここで、
   $$ \mu_X:=\mathbb E[X],\qquad \mu_Y:=\mathbb E[Y] $$
   とおく。まず、
   $$ X-\mu_X,\qquad Y-\mu_Y $$
   が二乗可積分であることを確認する。
   任意の $\omega\in\Omega$ に対して、
   $$ (X(\omega)-\mu_X)^2\le 2X(\omega)^2+2\mu_X^2 $$
   である(補足を参照)から、
   $$ \begin{align} \mathbb E[(X-\mu_X)^2] &\le 2\mathbb E[X^2]+2\mu_X^2 \\ &< \infty \end{align} $$
   である。
   同様に、任意の $\omega\in\Omega$ に対して、
   $$ (Y(\omega)-\mu_Y)^2\le 2Y(\omega)^2+2\mu_Y^2 $$
   である(補足を参照)から、
   $$ \begin{align} \mathbb E[(Y-\mu_Y)^2] &\le 2\mathbb E[Y^2]+2\mu_Y^2 \\ &< \infty \end{align} $$
   である。
   $ $
2. したがって、$\Omega$ 上の関数 $X-\mu_X$ と $Y-\mu_Y$ に対して、積分形の $\mathrm{Cauchy}$-$\mathrm{Schwarz}$ の不等式を適用できる。
   すなわち、
   $$ \left| \int_\Omega (X-\mu_X)(Y-\mu_Y)\,d\mathbb P \right| \le \left(\int_\Omega (X-\mu_X)^2\,d\mathbb P\right)^{1/2} \left(\int_\Omega (Y-\mu_Y)^2\,d\mathbb P\right)^{1/2} $$
   が成り立つ。
   ここで、共分散の定義より、
   $$ \operatorname{Cov}(X,Y) = \mathbb E[(X-\mu_X)(Y-\mu_Y)] = \int_\Omega (X-\mu_X)(Y-\mu_Y)\,d\mathbb P $$
   である。
   また、分散の定義より、
   $$ \mathbb V(X) = \mathbb E[(X-\mu_X)^2] = \int_\Omega (X-\mu_X)^2\,d\mathbb P $$
   かつ
   $$ \mathbb V(Y) = \mathbb E[(Y-\mu_Y)^2] = \int_\Omega (Y-\mu_Y)^2\,d\mathbb P $$
   である。
   したがって、
   $$ \begin{align} |\operatorname{Cov}(X,Y)| &= \left| \int_\Omega (X-\mu_X)(Y-\mu_Y)\,d\mathbb P \right| &&\because \text{共分散の定義} \\ &\le \left(\int_\Omega (X-\mu_X)^2\,d\mathbb P\right)^{1/2} \left(\int_\Omega (Y-\mu_Y)^2\,d\mathbb P\right)^{1/2} &&\because \mathrm{Cauchy}\text{-}\mathrm{Schwarz}\text{ の不等式} \\ &= \sqrt{\mathbb V(X)}\sqrt{\mathbb V(Y)} &&\because \text{分散の定義} \\ &= \sqrt{\mathbb V(X)\mathbb V(Y)} \end{align} $$
   である。

-以上より、
$$ |\operatorname{Cov}(X,Y)| \le \sqrt{\mathbb V(X)\mathbb V(Y)} $$
が成り立つ。
$$ \Box$$