有名不等式の統計学的解釈(ガバ解説つき)
動機
期待値で有名不等式を解釈することによる見た目の綺麗さと覚えやすさと直感性があるからまとめた．
準備
次の期待値の定義に注意せよ
$$\begin{align} \mathbb E[X] &:= \sum_{x \in X}\frac{x}{|X|} \\ \mathbb E[f(X)] &:= \sum_{x \in X}\frac{f(x)}{|X|} \ (f(X) := \{f(x) | x \in X \}) \\ \mathbb E[XY] & := \sum_{z \in XY}\frac{z}{|X|} \ (XY := \{x_iy_i | x_i \in X , y_i \in Y \} \ , \ |X| = |Y|) \\ \end{align}$$
重みと$X$の元を大きい順・小さい順に並べた集合を次のように表記する．
$$\begin{align} & W \ \ := \left\{ w\in W \left|w>0, \sum_{w \in W}w=1 \right. \right\} \\ & X^+ :=\{ x_i \in X|x_i \leq x_j \ ,\ i< j \} \\ & X^- :=\{ x_i \in X|x_j \leq x_i \ ,\ i< j \} \\ \end{align}$$
また，特筆しないが文脈により,$X$の元を正とする場合がある(式中に$\sqrt x$が出てくる場合など)．
$|X|$としても良かったが，動機である見た目の良さに反するのでつけないこととした．各自で判断せよ．
オーソドックスな
$$ \mathbb E[X^a]^{1/a} \geq \mathbb E[X^b]^{1/b} \ (a > b) $$
$ \mathbb E[X^t]^{1/t}$は言うまでもなく，$t=1$で相加平均，$t=-1$で調和平均，$t=2$で二乗平均平方根だが，実は$t \rightarrow 0$で相乗平均となる．
$$ \mathbb E[X_1^n]\cdots\mathbb E[X_n^n] \geq \mathbb E\left[{X_1\cdots X_n}\right]^n $$
重みを等しくした場合である．$\mathbb E[X_1]\cdots\mathbb E[X_n] \geq \mathbb E\left[\sqrt[n]{X_1\cdots X_n}\right]^n $という解釈もできる．
言うまでもなく，$n=2$のときコーシー・シュワルツの不等式
$$
\mathbb E[X^2]\mathbb E[Y^2] \geq \mathbb E[{XY}]^2
$$
である．
$$ \mathbb E[\|X_1\|^p]^{1/p} + \cdots + \mathbb E[\|X_n\|^p]^{1/p} \geq \mathbb E\left[\|X_1 + \cdots + X_n\|^p\right]^{1/p} \ (p \geq 1) $$
$X_i = \{ x_i \} , p = 1$で三角不等式$\mathbb E[\|X\|] \geq \|\mathbb E[X]\|$ である．
順序絡み
$$ \mathbb E[X^+ Y^+] \geq \mathbb E[XY]\geq \mathbb E[X^+ Y^-] $$
(空腹の方が美味しく食えるなら)
寿司を食う時は好きなもんから食った方がいいって意味．
$$ \mathbb E[X^+Y^+] \geq \mathbb E[X]\mathbb E[Y] \geq\mathbb E[X^+Y^-] $$
$(x_i,y_i)\ (x_i \in X^+,y_i \in Y^+)$は共分散が正か0で$(x_i,y_i)\ (x_i \in X^+,y_i \in Y^-)$は共分散が負か0だから
$ \mathrm{Cov}[X,Y]=\mathbb E[XY]-\mathbb E[X]\mathbb E[Y]$より，
$ \mathbb E[X^+Y^+]\geq\mathbb E[X]\mathbb E[Y]\ \ ,\ \ \mathbb E[X^+Y^-]\leq\mathbb E[X]\mathbb E[Y]$ ゆえ，題意を得るというイメージ．
凸関数絡み
$$ f''(x)\leq 0 \ \ \left(\mathrm{for} \ \min_{x \in X} x \leq x \leq \max_{x \in X}x\right) \ \ (f\mathrm{が凸関数)のとき,}$$
$$
\mathbb E[Wf(X)] \geq f\left(\mathbb E[WX]\right)
$$
特に，重みが等しいとき
$$
\frac{\mathbb E[f(X)]}{|X|} \geq f\left(\frac{\mathbb E[X]}{|X|}\right)
$$
$f$が$I$上で凹関数のとき$f''\geq0$ だから，上式の$f\mapsto -f$と置き換えると$(-f)''=-f''\leq 0$だから，
$$\begin{align} &\mathbb E[-Wf(X)] \geq -f\left(\mathbb E[WX]\right) \\ &\iff \mathbb E[Wf(X)] \leq f\left(\mathbb E[WX]\right), \end{align}$$
$$\begin{align} &\frac{\mathbb E[-f(X)]}{|X|} \geq -f\left(\frac{\mathbb E[X]}{|X|}\right) \\ &\iff \frac{\mathbb E[f(X)]}{|X|} \leq f\left(\frac{\mathbb E[X]}{|X|}\right) \end{align}$$
$$ X \succeq Y \ , \ f''(x)\leq 0 \ \ \left(\min_{x \in X \cup Y} x \leq x \leq \max_{x \in X \cup Y}x\right) \ \ (f\mathrm{が凸関数)のとき,} $$
$$ \mathbb E[f(X)] \geq \mathbb E[f(Y)] $$
$Y$の元をすべて$\mathbb E[WX]$と置くと，$WX \succeq Y$だから，この不等式より，
$$\begin{align}
\mathbb E[f(WX)]
\geq \mathbb E[f(Y)]
= \mathbb E[f(\mathbb E[WX])]
= f(\mathbb E[WX])
\end{align}$$
だから，ジェンセンの一般化とも言える．
