1
大学数学基礎解説
文献あり

Φ-ダイバージェンスはKLダイバージェンスを包含してるよ。

103
0
$$$$
$\phi$-ダイバージェンス

z=1で最小値0をとる非負の凸関数$\phi(z)$に対して, $\phi$-ダイバージェンスは下式で定義される.

\begin{eqnarray} \mathcal{H}_{\phi}\left(\mathbb{Q}|\mathbb{P}\right):= \begin{cases} \sum_{i}{p_i\phi\left(\dfrac{q_i}{p_i}\right)} & 1^Tq=1,q\geq0 \\ +\infty & \text{その他.} \end{cases} \end{eqnarray}

$\dfrac{q_i}{p_i}=1$のとき, $\phi(1)=0$なので,

$$ \sum_{i}{p_i\phi\left(\dfrac{q_i}{p_i}\right)} = \sum_{i}{p_i\phi\left(1\right)} = 0 $$

$\dfrac{q_i}{p_i}\neq1$のとき,$\phi\left(\dfrac{q_i}{p_i}\right)\geq0$なので, $\mathcal{H}_{\phi}\left(\mathbb{Q}|\mathbb{P}\right)$は正である.

$\phi(z)=z\ln z-z+1$のとき, $\phi$-ダイバージェンスはKullback-Leiblerダイバージェンスに一致する.

\begin{eqnarray} \mathcal{H}_{\phi}:= \begin{cases} \sum_{i}{q_i\ln\left(\dfrac{q_i}{p_i}\right)} & 1^Tq=1,q\geq0 \\ +\infty & \text{その他.} \end{cases} \end{eqnarray}

$\phi(z)=z\ln z-z+1$とおく.

$\sum_{i}{p_i\phi\left(\dfrac{q_i}{p_i}\right)}$

$ = \sum_{i}{ p_i \left( \dfrac{q_i}{p_i}\ln \dfrac{q_i}{p_i}-\dfrac{q_i}{p_i}+1 \right) }$ ($\because $ $\phi(z)$を代入)

$ = \sum_{i}{ \left( q_i\ln \dfrac{q_i}{p_i}-q_i+p_i \right) } $

$ = \sum_{i}{ q_i\ln \dfrac{q_i}{p_i} } -\sum_{i}{q_i}+\sum_{i}{p_i} $

$ = \sum_{i}{ q_i\ln \dfrac{q_i}{p_i} } $ ($\because $ $\sum_{i}{p_i}=1$, $\sum_{i}{q_i}=1$, )

$\phi(z)=z\ln z-z+1$のとき, $\phi$-ダイバージェンスはKullback-Leiblerダイバージェンスに一致する.

参考文献

投稿日:2022812
OptHub AI Competition

この記事を高評価した人

高評価したユーザはいません

この記事に送られたバッジ

バッジはありません。

投稿者

hdk105
hdk105
14
13907
計測・制御・情報に興味があります. 備忘録として残していきます.

コメント

他の人のコメント

コメントはありません。
読み込み中...
読み込み中