0

相互情報量による確率変数の独立性判定

438
1

離散確率変数X,Yが独立であるとき,以下の式が成り立つ。

P(x,y)=P(x)P(y)

この性質を応用しているのが,以下の式で定義される相互情報量I(X;Y)である。

I(X;Y)=yYxXP(x,y)logP(x,y)P(x)P(y)

log0=0とする

相互情報量I(X;Y)0であるとき,X,Yは互いに独立である。

I(X;Y)=0  X,Yが互いに独立

同様の使われ方をする概念に,相関係数rXYというものがある。

rXY=i=1|X|(XiX)(YiY)i=1|X|(XiX)2i=1|X|(YiY)2

しかし,こちらは以下のみが成り立つため,一般に独立性を調べる用途においては,相互情報量の方が都合の良い場合が多い。

X,Yが互いに独立  rXY=0

例えば,以下のような曲線的な依存関係がX,Y間にあった場合,相関係数は0に近しい値を示すのに対し,相互情報量は十分大きい値を示す。
XーY間の曲線的な依存関係 XーY間の曲線的な依存関係

投稿日:20201026
OptHub AI Competition

この記事を高評価した人

高評価したユーザはいません

この記事に送られたバッジ

バッジはありません。
バッチを贈って投稿者を応援しよう

バッチを贈ると投稿者に現金やAmazonのギフトカードが還元されます。

投稿者

コメント

他の人のコメント

コメントはありません。
読み込み中...
読み込み中