有名不等式の統計学的解釈(ガバ解説つき)

動機

期待値で有名不等式を解釈することによる見た目の綺麗さと覚えやすさと直感性があるからまとめた．

準備

次の期待値の定義に注意せよ

$\begin{aligned} E [X] & := \sum_{x \in X} \frac{x}{| X |} \\ E [f (X)] & := \sum_{x \in X} \frac{f (x)}{| X |} (f (X) := {f (x) | x \in X}) \\ E [X Y] & := \sum_{z \in X Y} \frac{z}{| X |} (X Y := {x_{i} y_{i} | x_{i} \in X, y_{i} \in Y}, | X | = | Y |) \end{aligned}$

重みと $X$ の元を大きい順・小さい順に並べた集合を次のように表記する．

$\begin{aligned} W := {w \in W | w > 0, \sum_{w \in W} w = 1} \\ X^{+} := {x_{i} \in X | x_{i} \leq x_{j}, i < j} \\ X^{-} := {x_{i} \in X | x_{j} \leq x_{i}, i < j} \end{aligned}$

また，特筆しないが文脈により, $X$ の元を正とする場合がある(式中に $\sqrt{x}$ が出てくる場合など)．
$| X |$ としても良かったが，動機である見た目の良さに反するのでつけないこととした．各自で判断せよ．

オーソドックスな

Power mean

$E [X^{a}]^{1 / a} \geq E [X^{b}]^{1 / b} (a > b)$

$E [X^{t}]^{1 / t}$ は言うまでもなく， $t = 1$ で相加平均， $t = - 1$ で調和平均， $t = 2$ で二乗平均平方根だが，実は $t \to 0$ で相乗平均となる．

Hölder's inequality

$E [X_{1}^{n}] \dots E [X_{n}^{n}] \geq E {[X_{1} \dots X_{n}]}^{n}$

重みを等しくした場合である． $E [X_{1}] \dots E [X_{n}] \geq E {[\sqrt[n]{X_{1} \dots X_{n}}]}^{n}$ という解釈もできる．
言うまでもなく， $n = 2$ のときコーシー・シュワルツの不等式
$E [X^{2}] E [Y^{2}] \geq E [X Y]^{2}$
である．

Minkowski's inequality

$E [∥ X_{1} ∥^{p}]^{1 / p} + \dots + E [∥ X_{n} ∥^{p}]^{1 / p} \geq E {[∥ X_{1} + \dots + X_{n} ∥^{p}]}^{1 / p} (p \geq 1)$

$X_{i} = {x_{i}}, p = 1$ で三角不等式 $E [∥ X ∥] \geq ∥ E [X] ∥$ である．

順序絡み

Rearrangement inequality

$E [X^{+} Y^{+}] \geq E [X Y] \geq E [X^{+} Y^{-}]$

(空腹の方が美味しく食えるなら)
寿司を食う時は好きなもんから食った方がいいって意味．

Chebyshev's sum inequality

$E [X^{+} Y^{+}] \geq E [X] E [Y] \geq E [X^{+} Y^{-}]$

$(x_{i}, y_{i}) (x_{i} \in X^{+}, y_{i} \in Y^{+})$ は共分散が正か0で $(x_{i}, y_{i}) (x_{i} \in X^{+}, y_{i} \in Y^{-})$ は共分散が負か0だから
$Cov [X, Y] = E [X Y] - E [X] E [Y]$ より，
$E [X^{+} Y^{+}] \geq E [X] E [Y], E [X^{+} Y^{-}] \leq E [X] E [Y]$ ゆえ，題意を得るというイメージ．

凸関数絡み

Jensen's inequality

$f^{″} (x) \leq 0 (for min_{x \in X} x \leq x \leq max_{x \in X} x) (f が凸関数) のとき,$

$E [W f (X)] \geq f (E [W X])$
特に，重みが等しいとき
$\frac{E [f (X)]}{| X |} \geq f (\frac{E [X]}{| X |})$

$f$ が $I$ 上で凹関数のとき $f^{″} \geq 0$ だから，上式の $f \mapsto - f$ と置き換えると $(- f)^{″} = - f^{″} \leq 0$ だから，

$\begin{aligned} E [- W f (X)] \geq - f (E [W X]) \\ ⟺ E [W f (X)] \leq f (E [W X]), \end{aligned}$

$\begin{aligned} \frac{E [- f (X)]}{| X |} \geq - f (\frac{E [X]}{| X |}) \\ ⟺ \frac{E [f (X)]}{| X |} \leq f (\frac{E [X]}{| X |}) \end{aligned}$

Karamata's inequality

$X ⪰ Y, f^{″} (x) \leq 0 (min_{x \in X \cup Y} x \leq x \leq max_{x \in X \cup Y} x) (f が凸関数) のとき,$

$E [f (X)] \geq E [f (Y)]$

$Y$ の元をすべて $E [W X]$ と置くと， $W X ⪰ Y$ だから，この不等式より，
$\begin{array}{r} E [f (W X)] \geq E [f (Y)] = E [f (E [W X])] = f (E [W X]) \end{array}$

だから，ジェンセンの一般化とも言える．

投稿日：2024年8月26日

この記事を高評価した人

高評価したユーザはいません

この記事に送られたバッジ

バッジはありません。

バッチを贈って投稿者を応援しよう

バッチを贈ると投稿者に現金やAmazonのギフトカードが還元されます。

投稿者

ドジコジ

5320

東北大学工学研究科出身できるだけ受け売りはせず，自分で思いついた解法や妄想を備忘録がてら書き綴っていこうと思います．

他の人のコメント

コメントはありません。

読み込み中

ドジコジ

有名不等式の統計学的解釈(ガバ解説つき)

動機
準備
オーソドックスな
順序絡み
凸関数絡み