【13個】期待値の代表的な性質をまとめておく(´・ω・`)

Def.

Prop&Proof

1. まず、$\mathbf 1_A$ が可測であることを示す。
   $\mathbf 1_A$ の値域は $\{0,1\}$ である。任意のボレル集合 $B\in\mathcal B(\mathbb R)$ に対して、
   $$ \mathbf 1_A^{-1}(B) $$
   は、$B$ が $0$ と $1$ を含むかどうかに応じて、次の $4$ 通りのいずれかになる。
   $$ \varnothing,\quad A,\quad A^c,\quad \Omega $$
   である。
   ここで、$A\in\mathcal F$ であり、$\mathcal F$ は $\sigma$-代数であるから、
   $$ A^c\in\mathcal F,\quad \varnothing\in\mathcal F,\quad \Omega\in\mathcal F $$
   である。
   したがって、任意の $B\in\mathcal B(\mathbb R)$ に対して
   $$ \mathbf 1_A^{-1}(B)\in\mathcal F $$
   である。よって、$\mathbf 1_A$ は確率変数である。
   $ $
2. 次に、$\mathbf 1_A$ が可積分であることを示す。
   任意の $\omega\in\Omega$ に対して
   $$ |\mathbf 1_A(\omega)|\le1 $$
   である。したがって、
   $$ |\mathbf 1_A|\le1_\Omega $$
   である。
   よって、非負ルベーグ積分の単調性より、
   $$ \int_\Omega |\mathbf 1_A|\,d\mathbb P \le \int_\Omega 1_\Omega\,d\mathbb P = \mathbb P(\Omega) = 1 <\infty $$
   である。したがって、$\mathbf 1_A$ は可積分である。
   $ $
3. 最後に、期待値を計算する。
   指示関数の積分の定義より、
   $$ \int_\Omega \mathbf 1_A\,d\mathbb P = \mathbb P(A) $$
   である。
   したがって、期待値の定義より、
   $$ \mathbb E[\mathbf 1_A] = \int_\Omega \mathbf 1_A\,d\mathbb P = \mathbb P(A) $$
   である。

-以上より、
$$ \mathbb E[\mathbf 1_A]=\mathbb P(A) $$
が成り立つ。
$$ \Box$$

1. まず、非負単関数の場合を考える。
   $\varphi:\Omega\to[0,\infty)$ を非負単関数とする。
   すなわち、ある $m\in\mathbb N_{>0}$ に対して、互いに排反な事象 $E_1,\dots,E_m\in\mathcal F$、および非負実数 $a_1,\dots,a_m\ge0$ によって
   $$ \varphi=\sum_{j=1}^{m}a_j1_{E_j} $$
   と表されるとする。
   このとき、非負単関数の積分の定義より、
   $$ \int_\Omega \varphi\,d\mathbb P = \sum_{j=1}^{m}a_j\mathbb P(E_j) $$
   である。
   各 $j\in\{1,\dots,m\}$ について
   $$ a_j\ge0,\quad \mathbb P(E_j)\ge0 $$
   であるから、
   $$ a_j\mathbb P(E_j)\ge0 $$
   である。
   したがって、非負実数の有限和は非負なので、
   $$ \int_\Omega \varphi\,d\mathbb P\ge0 $$
   が成り立つ。
   $ $
2. 次に、一般の非負可測関数 $X:\Omega\to[0,\infty]$ を考える。
   非負可測関数のルベーグ積分は、
   $$ \int_\Omega X\,d\mathbb P := \sup\left\{ \int_\Omega \varphi\,d\mathbb P \mid \varphi\ \text{は非負単関数であり}\ 0\le\varphi\le X \right\} $$
   で定義される。
   $ $
   ここで、零関数
   $$ 0:\Omega\to[0,\infty),\quad 0(\omega)=0 $$
   は非負単関数であり、
   $$ 0\le0\le X $$
   を満たす。したがって、上の集合は空でない。
   また、1. で示したように、任意の非負単関数 $\varphi$ について
   $$ \int_\Omega \varphi\,d\mathbb P\ge0 $$
   である。
   よって、それらの上限も非負である。すなわち、
   $$ \int_\Omega X\,d\mathbb P\ge0 $$
   である。

-期待値の定義より、
$$ \mathbb E[X]=\int_\Omega X\,d\mathbb P $$
であるから、
$$ \mathbb E[X]\ge0 $$
が成り立つ。
$$ \Box$$

1. まず、$Y$ が可積分であることを示す。
   $Y(\omega)=C$ は定数関数であるから可測である。
   また、任意の $\omega\in\Omega$ に対して
   $$ |Y(\omega)|=|C| $$
   である。
   さらに、任意の $\omega\in\Omega$ に対して
   $$ 1_\Omega(\omega)=1 $$
   なので、
   $$ |C|1_\Omega(\omega)=|C|\cdot1=|C| $$
   である。したがって、$\Omega$ 上の実数値可測関数として
   $$ |Y|=|C|1_\Omega $$
   が成り立つ。
   よって、
   $$ \begin{align} \int_\Omega |Y|\,d\mathbb P &= \int_\Omega |C|1_\Omega\,d\mathbb P &&\because |Y|=|C|1_\Omega \\ &= |C|\mathbb P(\Omega) &&\because |C|1_\Omega\text{ は }m=1,\ a_1=|C|,\ E_1=\Omega\text{ の非負単関数である} \\ &= |C| &&\because \mathbb P\text{ は確率測度であるから }\mathbb P(\Omega)=1 \end{align} $$
   である。
   したがって、
   $$ \int_\Omega |Y|\,d\mathbb P=|C|<\infty $$
   であるから、$Y$ は可積分である。
   $ $
2. 次に、期待値を計算する。
   期待値の定義より、
   $$ \mathbb E[Y]=\int_\Omega Y\,d\mathbb P $$
   である。
   また、任意の $\omega\in\Omega$ に対して
   $$ Y(\omega)=C=C1_\Omega(\omega) $$
   であるから、$\Omega$ 上の実数値可測関数として
   $$ Y=C1_\Omega $$
   である。
   したがって、
   $$ \begin{align} \mathbb E[Y] &= \int_\Omega Y\,d\mathbb P &&\because \text{期待値の定義} \\ &= \int_\Omega C1_\Omega\,d\mathbb P &&\because Y=C1_\Omega \\ &= C\mathbb P(\Omega) &&\because C1_\Omega\text{ は定数関数であり、定数関数の積分より }C\int_\Omega 1_\Omega\,d\mathbb P=C\mathbb P(\Omega) \\ &= C &&\because \mathbb P(\Omega)=1 \end{align} $$
   である。

-したがって、
$$ \mathbb E[Y]=C $$
が成り立つ。
$$ \Box$$

仮定より $X,Y$ は可積分であるから、
$$ \int_\Omega |X|\,d\mathbb P<\infty,\quad \int_\Omega |Y|\,d\mathbb P<\infty $$
である。

1. まず、$X+Y$ が可積分であることを示す。
   任意の $\omega\in\Omega$ に対して、三角不等式より
   $$ |X(\omega)+Y(\omega)|\le |X(\omega)|+|Y(\omega)| $$
   が成り立つ。したがって、$\Omega$ 上の非負可測関数として
   $$ |X+Y|\le |X|+|Y| $$
   である。
   よって、非負ルベーグ積分の単調性より、
   $$ \int_\Omega |X+Y|\,d\mathbb P \le \int_\Omega (|X|+|Y|)\,d\mathbb P $$
   である。
   また、非負可測関数に対する積分の加法性より、
   $$ \int_\Omega (|X|+|Y|)\,d\mathbb P = \int_\Omega |X|\,d\mathbb P + \int_\Omega |Y|\,d\mathbb P $$
   である。
   よって、
   $$ \int_\Omega |X+Y|\,d\mathbb P \le \int_\Omega |X|\,d\mathbb P + \int_\Omega |Y|\,d\mathbb P <\infty $$
   である。したがって、$X+Y$ は可積分である。
   $ $
2. 次に、期待値を計算する。
   期待値の定義より、
   $$ \mathbb E[X+Y] = \int_\Omega (X+Y)\,d\mathbb P $$
   である。
   $X,Y$ は可積分であり、$X+Y$ も可積分であるから、可積分関数に対するルベーグ積分の線形性より、
   $$ \int_\Omega (X+Y)\,d\mathbb P = \int_\Omega X\,d\mathbb P + \int_\Omega Y\,d\mathbb P $$
   が成り立つ。
   したがって、
   $$ \begin{align} \mathbb E[X+Y] &= \int_\Omega (X+Y)\,d\mathbb P &&\because \text{期待値の定義} \\ &= \int_\Omega X\,d\mathbb P+\int_\Omega Y\,d\mathbb P &&\because \text{可積分関数に対するルベーグ積分の線形性} \\ &= \mathbb E[X]+\mathbb E[Y] &&\because \text{期待値の定義} \end{align} $$
   である。

-以上より、
$$ \mathbb E[X+Y]=\mathbb E[X]+\mathbb E[Y] $$
が成り立つ。
$$ \Box$$

$X$ は可積分であるから、
$$ \int_\Omega |X|\,d\mathbb P<\infty $$
である。

1. まず、$cX$ が可積分であることを示す。
   任意の $\omega\in\Omega$ に対して、
   $$ |cX(\omega)|=|c|\,|X(\omega)| $$
   である。したがって、$\Omega$ 上の非負可測関数として
   $$ |cX|=|c|\,|X| $$
   が成り立つ。よって、非負可測関数に対する積分の定数倍の性質より、
   $$ \begin{align} \int_\Omega |cX|\,d\mathbb P &= \int_\Omega |c|\,|X|\,d\mathbb P \\ &= |c|\int_\Omega |X|\,d\mathbb P \end{align} $$
   である。ここで、
   $$ \int_\Omega |X|\,d\mathbb P<\infty $$
   であり、また $|c|<\infty$ であるから、
   $$ |c|\int_\Omega |X|\,d\mathbb P<\infty $$
   である。
   したがって、
   $$ \int_\Omega |cX|\,d\mathbb P<\infty $$
   である。ゆえに、$cX$ は可積分である。
   $ $
2. 次に、期待値を計算する。
   期待値の定義より、
   $$ \mathbb E[cX]=\int_\Omega cX\,d\mathbb P $$
   である。
   可積分関数に対するルベーグ積分の定数倍の性質より、
   $$ \int_\Omega cX\,d\mathbb P = c\int_\Omega X\,d\mathbb P $$
   が成り立つ。
   したがって、
   $$ \begin{align} \mathbb E[cX] &= \int_\Omega cX\,d\mathbb P &&\because \text{期待値の定義} \\ &= c\int_\Omega X\,d\mathbb P &&\because \text{可積分関数に対するルベーグ積分の定数倍の性質} \\ &= c\mathbb E[X] &&\because \text{期待値の定義} \end{align} $$
   である。

-以上より、
$$ \mathbb E[cX]=c\mathbb E[X] $$
が成り立つ。
$$ \Box$$

$X,Y$ は実数値確率変数であるから、$X,Y$ は可測関数である。
また、可測関数の定数倍、和、定数関数との和は可測であるから、$cX+dY+t$ もまた実数値確率変数である。

1. まず、$cX+dY+t$ が可積分であることを示す。
   $X,Y$ は可積分であるから、
   $$ \mathbb E[|X|]<\infty,\qquad \mathbb E[|Y|]<\infty $$
   である。
   任意の $\omega\in\Omega$ に対して、三角不等式より
   $$ |cX(\omega)+dY(\omega)+t| \le |c||X(\omega)|+|d||Y(\omega)|+|t| $$
   である。したがって、$\Omega$ 上の非負可測関数として
   $$ |cX+dY+t| \le |c||X|+|d||Y|+|t| $$
   である。
   非負可測関数に対する積分の単調性より、
   $$ \int_\Omega |cX+dY+t|\,d\mathbb P \le \int_\Omega \left(|c||X|+|d||Y|+|t|\right)\,d\mathbb P $$
   である。
   さらに、非負可測関数に対する積分の加法性と定数倍の性質より、
   $$ \begin{aligned} \int_\Omega \left(|c||X|+|d||Y|+|t|\right)\,d\mathbb P &= |c|\int_\Omega |X|\,d\mathbb P + |d|\int_\Omega |Y|\,d\mathbb P + \int_\Omega |t|\,d\mathbb P \\ &= |c|\mathbb E[|X|]+|d|\mathbb E[|Y|]+|t| \end{aligned} $$
   である。
   ここで、
   $$ \mathbb E[|X|]<\infty,\qquad \mathbb E[|Y|]<\infty $$
   であり、$c,d,t\in\mathbb R$ であるから、
   $$ \int_\Omega |cX+dY+t|\,d\mathbb P<\infty $$
   である。
   よって、$cX+dY+t$ は可積分である。
   $ $
2. 次に、期待値を計算する。
   定数関数
   $$ \Omega\ni\omega\mapsto t\in\mathbb R $$
   を単に $t$ と書く。
   可積分関数に対する積分の加法性と定数倍の性質より、
   $$ \begin{aligned} \mathbb E[cX+dY+t] &= \int_\Omega (cX+dY+t)\,d\mathbb P \\ &= c\int_\Omega X\,d\mathbb P + d\int_\Omega Y\,d\mathbb P + \int_\Omega t\,d\mathbb P \\ &= c\mathbb E[X]+d\mathbb E[Y]+t\mathbb P(\Omega) \\ &= c\mathbb E[X]+d\mathbb E[Y]+t \end{aligned} $$
   である。
   したがって、
   $$ \mathbb E[cX+dY+t] = c\mathbb E[X]+d\mathbb E[Y]+t $$
   が成り立つ。
   $$ \Box$$

$X,Y$ は可積分であるから、
$$ \int_\Omega |X|\,d\mathbb P<\infty,\quad \int_\Omega |Y|\,d\mathbb P<\infty $$
である。

1. まず、$Y-X$ が可積分であることを示す。
   任意の $\omega\in\Omega$ に対して、三角不等式より
   $$ |Y(\omega)-X(\omega)|\le |Y(\omega)|+|X(\omega)| $$
   が成り立つ。したがって、$\Omega$ 上の非負可測関数として
   $$ |Y-X|\le |Y|+|X| $$
   である。
   非負ルベーグ積分の単調性を非負関数に対して用いると、
   $$ \int_\Omega |Y-X|\,d\mathbb P \le \int_\Omega (|Y|+|X|)\,d\mathbb P $$
   である。
   また、非負可測関数に対する積分の加法性より、
   $$ \int_\Omega (|Y|+|X|)\,d\mathbb P = \int_\Omega |Y|\,d\mathbb P+\int_\Omega |X|\,d\mathbb P $$
   である。
   よって、
   $$ \int_\Omega |Y-X|\,d\mathbb P \le \int_\Omega |Y|\,d\mathbb P+\int_\Omega |X|\,d\mathbb P <\infty $$
   である。したがって、$Y-X$ は可積分である。
   $ $
2. 次に、仮定より任意の $\omega\in\Omega$ に対して
   $$ X(\omega)\le Y(\omega) $$
   であるから、
   $$ Y(\omega)-X(\omega)\ge0 $$
   が成り立つ。したがって、
   $$ Y-X\ge0 $$
   である。
   非負確率変数の期待値の非負性より、
   $$ \mathbb E[Y-X]\ge0 $$
   である。
   一方、期待値の線形性より、
   $$ \begin{align} \mathbb E[Y-X] &= \mathbb E[Y+(-X)] \\ &= \mathbb E[Y]+\mathbb E[-X] &&\because \text{期待値の加法性} \\ &= \mathbb E[Y]-\mathbb E[X] &&\because \text{期待値の定数倍の性質より }\mathbb E[-X]=-\mathbb E[X] \end{align} $$
   である。
   したがって、
   $$ \mathbb E[Y]-\mathbb E[X]\ge0 $$
   である。

-ゆえに、
$$ \mathbb E[X]\le\mathbb E[Y] $$
が成り立つ。
$$ \Box$$

まず、$X,Y,XY$ が可積分であるから、
$$ \mathbb E[X],\quad \mathbb E[Y],\quad \mathbb E[XY] $$
は有限な実数として定義される。
ここで、
$$ \mu_X:=\mathbb E[X],\quad \mu_Y:=\mathbb E[Y] $$
とおく。このとき、$\mu_X,\mu_Y$ は実数である。
まず、
$$ (X-\mu_X)(Y-\mu_Y) = XY-\mu_XY-\mu_YX+\mu_X\mu_Y $$
である。
また、$X,Y,XY$ は可積分であり、$\mu_X,\mu_Y$ は実数であるから、
$$ XY-\mu_XY-\mu_YX+\mu_X\mu_Y $$
も可積分である。
したがって、期待値の加法性、定数倍の性質、定数確率変数の期待値より、
$$ \begin{align} \operatorname{Cov}(X,Y) &= \mathbb E\left[(X-\mathbb E[X])(Y-\mathbb E[Y])\right] &&\because \text{共分散の定義} \\ &= \mathbb E\left[(X-\mu_X)(Y-\mu_Y)\right] &&\because \mu_X=\mathbb E[X],\ \mu_Y=\mathbb E[Y] \\ &= \mathbb E\left[XY-\mu_XY-\mu_YX+\mu_X\mu_Y\right] &&\because \text{積を展開した} \\ &= \mathbb E[XY]-\mathbb E[\mu_XY]-\mathbb E[\mu_YX]+\mathbb E[\mu_X\mu_Y] &&\because \text{期待値の加法性} \\ &= \mathbb E[XY]-\mu_X\mathbb E[Y]-\mu_Y\mathbb E[X]+\mu_X\mu_Y &&\because \text{期待値の定数倍の性質と定数確率変数の期待値} \\ &= \mathbb E[XY]-\mu_X\mu_Y-\mu_Y\mu_X+\mu_X\mu_Y &&\because \mu_X=\mathbb E[X],\ \mu_Y=\mathbb E[Y] \\ &= \mathbb E[XY]-\mu_X\mu_Y &&\because -\mu_X\mu_Y-\mu_Y\mu_X+\mu_X\mu_Y=-\mu_X\mu_Y \\ &= \mathbb E[XY]-\mathbb E[X]\mathbb E[Y] &&\because \mu_X=\mathbb E[X],\ \mu_Y=\mathbb E[Y] \end{align} $$
よって、
$$ \operatorname{Cov}(X,Y)=\mathbb E[XY]-\mathbb E[X]\mathbb E[Y] $$
である。
したがって、両辺に $\mathbb E[X]\mathbb E[Y]$ を加えると、
$$ \mathbb E[XY]=\mathbb E[X]\mathbb E[Y]+\operatorname{Cov}(X,Y) $$
を得る。
以上より、
$$ \mathbb E[XY]=\mathbb E[X]\mathbb E[Y]+\operatorname{Cov}(X,Y) $$
が成り立つ。
$$ \Box$$

$X$ と $Y$ の分布測度をそれぞれ
$$ \mathbb P_X,\quad \mathbb P_Y $$
と書く。また、$(X,Y)$ の同時分布測度を
$$ \mathbb P_{(X,Y)} $$
と書く。すなわち、任意の $B\in\mathcal B(\mathbb R^2)$ に対して
$$ \mathbb P_{(X,Y)}(B):=\mathbb P((X,Y)\in B) $$
である。
$X$ と $Y$ は独立であるから、同時分布測度は周辺分布測度の直積測度に等しい。すなわち、
$$ \mathbb P_{(X,Y)}=\mathbb P_X\otimes\mathbb P_Y $$
が成り立つ。

1. まず、$XY$ が可積分であることを示す。
   期待値の分布測度による表示より、
   $$ \mathbb E[|XY|] = \int_{\mathbb R^2}|xy|\,d\mathbb P_{(X,Y)}(x,y) $$
   である。独立性より $\mathbb P_{(X,Y)}=\mathbb P_X\otimes\mathbb P_Y$ であるから、
   $$ \mathbb E[|XY|] = \int_{\mathbb R^2}|xy|\,d(\mathbb P_X\otimes\mathbb P_Y)(x,y) $$
   である。
   ここで、任意の $x,y\in\mathbb R$ に対して
   $$ |xy|=|x||y| $$
   である。したがって、$\mathrm{Tonelli}$の定理より、
   $$ \begin{align} \int_{\mathbb R^2}|xy|\,d(\mathbb P_X\otimes\mathbb P_Y)(x,y) &= \int_{\mathbb R}\left(\int_{\mathbb R}|x||y|\,d\mathbb P_Y(y)\right)d\mathbb P_X(x) \\ &= \int_{\mathbb R}\left(|x|\int_{\mathbb R}|y|\,d\mathbb P_Y(y)\right)d\mathbb P_X(x) \\ &= \left(\int_{\mathbb R}|x|\,d\mathbb P_X(x)\right) \left(\int_{\mathbb R}|y|\,d\mathbb P_Y(y)\right) \end{align} $$
   である。また、$X,Y$ は可積分であるから、
   $$ \int_{\mathbb R}|x|\,d\mathbb P_X(x)=\mathbb E[|X|]<\infty $$
   かつ
   $$ \int_{\mathbb R}|y|\,d\mathbb P_Y(y)=\mathbb E[|Y|]<\infty $$
   である。
   したがって、
   $$ \mathbb E[|XY|] = \mathbb E[|X|]\mathbb E[|Y|] <\infty $$
   である。よって、$XY$ は可積分である。
   $ $
2. 次に、$\mathbb E[XY]$ を計算する。
   期待値の分布測度による表示より、
   $$ \mathbb E[XY] = \int_{\mathbb R^2}xy\,d\mathbb P_{(X,Y)}(x,y) $$
   である。独立性より $\mathbb P_{(X,Y)}=\mathbb P_X\otimes\mathbb P_Y$ であるから、
   $$ \mathbb E[XY] = \int_{\mathbb R^2}xy\,d(\mathbb P_X\otimes\mathbb P_Y)(x,y) $$
   である。
   すでに $XY$ が可積分であることを示したので、$\mathrm{Fubini}$の定理 を適用できる。したがって、
   $$ \begin{align} \mathbb E[XY] &= \int_{\mathbb R}\left(\int_{\mathbb R}xy\,d\mathbb P_Y(y)\right)d\mathbb P_X(x) \\ &= \int_{\mathbb R}\left(x\int_{\mathbb R}y\,d\mathbb P_Y(y)\right)d\mathbb P_X(x) \\ &= \left(\int_{\mathbb R}x\,d\mathbb P_X(x)\right) \left(\int_{\mathbb R}y\,d\mathbb P_Y(y)\right) \end{align} $$
   である。ここで、期待値の分布測度による表示より、
   $$ \int_{\mathbb R}x\,d\mathbb P_X(x)=\mathbb E[X] $$
   かつ
   $$ \int_{\mathbb R}y\,d\mathbb P_Y(y)=\mathbb E[Y] $$
   である。

-したがって、
$$ \mathbb E[XY]=\mathbb E[X]\mathbb E[Y] $$
が成り立つ。
$$ \Box$$

$n$ に関する数学的帰納法で示す。

1. $n=1$ の場合を示す。
   このとき、
   $$ \mathbb E\left[\prod_{i=1}^{1}X_i\right] = \mathbb E[X_1] = \prod_{i=1}^{1}\mathbb E[X_i] $$
   である。
   したがって、$n=1$ の場合は成り立つ。
   $ $
2. 帰納法の仮定をおく。
   ある $k\in\mathbb N_{>0}$ に対して、任意の可積分な実数値確率変数 $X_1,\dots,X_k$ が相互に独立であるならば、
   $$ \prod_{i=1}^{k}X_i $$
   は可積分であり、
   $$ \mathbb E\left[\prod_{i=1}^{k}X_i\right] = \prod_{i=1}^{k}\mathbb E[X_i] $$
   が成り立つと仮定する。
   $ $
3. $n=k+1$ の場合を示す。
   $X_1,\dots,X_k,X_{k+1}$ を可積分な実数値確率変数とし、これらが相互に独立であるとする。
   ここで、
   $$ Z:=\prod_{i=1}^{k}X_i $$
   とおく。
   帰納法の仮定より、$Z$ は可積分であり、
   $$ \mathbb E[Z] = \prod_{i=1}^{k}\mathbb E[X_i] $$
   が成り立つ。
   また、$X_1,\dots,X_k,X_{k+1}$ は相互に独立であるから、$X_1,\dots,X_k$ から作られる確率変数
   $$ Z=\prod_{i=1}^{k}X_i $$
   と $X_{k+1}$ は独立である(補足を参照)。
   したがって、$2$ つの独立な可積分確率変数の積の期待値の公式より、$ZX_{k+1}$ は可積分であり、
   $$ \mathbb E[ZX_{k+1}] = \mathbb E[Z]\mathbb E[X_{k+1}] $$
   が成り立つ。
   ここで、
   $$ ZX_{k+1} = \left(\prod_{i=1}^{k}X_i\right)X_{k+1} = \prod_{i=1}^{k+1}X_i $$
   である。
   よって、
   $$ \begin{align} \mathbb E\left[\prod_{i=1}^{k+1}X_i\right] &= \mathbb E[ZX_{k+1}] &&\because Z=\prod_{i=1}^{k}X_i \\ &= \mathbb E[Z]\mathbb E[X_{k+1}] &&\because Z\text{ と }X_{k+1}\text{ は独立である} \\ &= \left(\prod_{i=1}^{k}\mathbb E[X_i]\right)\mathbb E[X_{k+1}] &&\because \text{帰納法の仮定} \\ &= \prod_{i=1}^{k+1}\mathbb E[X_i] \end{align} $$
   である。
   したがって、$n=k+1$ の場合も成り立つ。

-以上より、数学的帰納法により、任意の $n\in\mathbb N_{>0}$ について
$$ \mathbb E\left[\prod_{i=1}^{n}X_i\right] = \prod_{i=1}^{n}\mathbb E[X_i] $$
が成り立つ。
$$ \Box$$

まず、
$$ \mu_i:=\mathbb E[X],\quad \mu_j:=\mathbb E[Y] $$
とおく。
$X$ と $Y$ は可積分であるから、
$$ \mu_i,\mu_j\in\mathbb R $$
である。
また、$X$ と $Y$ は独立で可積分であるから、独立な可積分確率変数の積の期待値の公式より、
$$ XY\text{ は可積分であり、}\quad \mathbb E[XY]=\mathbb E[X]\mathbb E[Y] $$
が成り立つ。
したがって、
$$ \mathbb E[XY]=\mu_i\mu_j $$
である。
ここで、偏差の積を展開すると、
$$ (X-\mu_i)(Y-\mu_j) = XY-\mu_jX-\mu_iY+\mu_i\mu_j $$
である。
$X,Y,XY$ は可積分であり、$\mu_i,\mu_j$ は実数であるから、
$$ (X-\mu_i)(Y-\mu_j) $$
も可積分である。
よって、期待値の加法性、期待値の定数倍の性質、定数確率変数の期待値より、
$$ \begin{align} \mathbb E\left[(X-\mathbb E[X])(Y-\mathbb E[Y])\right] &= \mathbb E\left[(X-\mu_i)(Y-\mu_j)\right] &&\because \mu_i=\mathbb E[X],\ \mu_j=\mathbb E[Y] \\ &= \mathbb E\left[XY-\mu_jX-\mu_iY+\mu_i\mu_j\right] &&\because \text{分配法則} \\ &= \mathbb E[XY]-\mathbb E[\mu_jX]-\mathbb E[\mu_iY]+\mathbb E[\mu_i\mu_j] &&\because \text{期待値の加法性} \\ &= \mathbb E[XY]-\mu_j\mathbb E[X]-\mu_i\mathbb E[Y]+\mu_i\mu_j &&\because \text{期待値の定数倍の性質と定数確率変数の期待値} \\ &= \mathbb E[XY]-\mu_j\mu_i-\mu_i\mu_j+\mu_i\mu_j &&\because \mu_i=\mathbb E[X],\ \mu_j=\mathbb E[Y] \\ &= \mathbb E[XY]-\mu_i\mu_j &&\because -\mu_j\mu_i-\mu_i\mu_j+\mu_i\mu_j=-\mu_i\mu_j \\ &= \mu_i\mu_j-\mu_i\mu_j &&\because X\text{ と }Y\text{ は独立なので }\mathbb E[XY]=\mu_i\mu_j \\ &= 0 \end{align} $$
したがって、
$$ \mathbb E\left[(X-\mathbb E[X])(Y-\mathbb E[Y])\right]=0 $$
が成り立つ。
$$ \Box$$

$X$ の分布測度を $\mathbb P_X$ とおく。すなわち、任意の $B\in\mathcal B(\mathbb R)$ に対して
$$ \mathbb P_X(B):=\mathbb P(X\in B) $$
で定める。
仮定より、任意の $B\in\mathcal B(\mathbb R)$ に対して
$$ \mathbb P_X(B)=\int_B p(x)\,dx $$
が成り立つ。
したがって、$\mathbb P_X$ はルベーグ測度に関して密度 $p$ をもつ。すなわち、任意の非負ボレル可測関数 $h:\mathbb R\to[0,\infty]$ に対して
$$ \int_{\mathbb R}h(x)\,d\mathbb P_X(x) = \int_{\mathbb R}h(x)p(x)\,dx $$
が成り立つ。

1. まず、$g(X)$ が可積分であることを示す。
   分布測度による積分表示より、
   $$ \begin{align} \int_\Omega |g(X)|\,d\mathbb P &= \int_{\mathbb R}|g(x)|\,d\mathbb P_X(x) &&\because \text{分布測度による積分表示} \\ &= \int_{\mathbb R}|g(x)|p(x)\,dx &&\because \mathbb P_X\text{ は密度 }p\text{ をもつ} \\ &< \infty &&\because \text{仮定より }\int_{\mathbb R}|g(x)|p(x)\,dx<\infty \end{align} $$
   である。
   したがって、
   $$ \int_\Omega |g(X)|\,d\mathbb P<\infty $$
   であるから、$g(X)$ は可積分である。
   $ $
2. 次に、期待値を計算する。
   期待値の定義より、
   $$ \mathbb E[g(X)] = \int_\Omega g(X)\,d\mathbb P $$
   である。
   また、$g(X)$ は可積分であるから、分布測度による積分表示を $g$ に適用できる。よって、
   $$ \begin{align} \mathbb E[g(X)] &= \int_\Omega g(X)\,d\mathbb P &&\because \text{期待値の定義} \\ &= \int_{\mathbb R}g(x)\,d\mathbb P_X(x) &&\because \text{分布測度による積分表示} \\ &= \int_{\mathbb R}g(x)p(x)\,dx &&\because \mathbb P_X\text{ は密度 }p\text{ をもつ} \\ &= \int_{-\infty}^{\infty}g(x)p(x)\,dx \end{align} $$
   である。

-したがって、
$$ \mathbb E[g(X)] = \int_{-\infty}^{\infty}g(x)p(x)\,dx $$
が成り立つ。
$$ \Box$$

1. まず、$g(X)$ と $h(Y)$ が確率変数であることを確認する。
   $X,Y$ は実数値確率変数であり、$g,h$ はボレル可測関数であるから、合成関数
   $$ g(X):=g\circ X,\qquad h(Y):=h\circ Y $$
   は実数値確率変数である。
   $ $
2. 次に、$g(X)$ と $h(Y)$ が独立であることを示す。
   任意の $B,C\in\mathcal B(\mathbb R)$ をとる。このとき、
   $$ \{\,\omega\in\Omega:g(X(\omega))\in B\,\} = \{\,\omega\in\Omega:X(\omega)\in g^{-1}(B)\,\} $$
   である。
   また、$g$ はボレル可測であるから、
   $$ g^{-1}(B)\in\mathcal B(\mathbb R) $$
   である。同様に、
   $$ h^{-1}(C)\in\mathcal B(\mathbb R) $$
   である。
   したがって、$X$ と $Y$ の独立性より、
   $$ \begin{align} \mathbb P(g(X)\in B,\ h(Y)\in C) &= \mathbb P(X\in g^{-1}(B),\ Y\in h^{-1}(C)) &&\because \text{逆像の定義} \\ &= \mathbb P(X\in g^{-1}(B))\,\mathbb P(Y\in h^{-1}(C)) &&\because X\text{ と }Y\text{ は独立である} \\ &= \mathbb P(g(X)\in B)\,\mathbb P(h(Y)\in C) &&\because \text{逆像の定義} \end{align} $$
   である。ゆえに、$g(X)$ と $h(Y)$ は独立である。
   $ $
3. ここで、仮定より
   $$ \mathbb E[|g(X)|]<\infty,\qquad \mathbb E[|h(Y)|]<\infty $$
   であるから、$g(X)$ と $h(Y)$ は可積分である。
   さらに、$g(X)$ と $h(Y)$ は独立であるから、独立な可積分確率変数の積の期待値の公式より、
   $$ g(X)h(Y)\text{ は可積分であり、} $$
   かつ
   $$ \mathbb E[g(X)h(Y)] = \mathbb E[g(X)]\,\mathbb E[h(Y)] $$
   が成り立つ。

-以上より、
$$ \mathbb E[g(X)h(Y)] = \mathbb E[g(X)]\,\mathbb E[h(Y)] $$
が成り立つ。
$$ \Box$$