離散確率変数X,Yが独立であるとき,以下の式が成り立つ。
P(x,y)=P(x)P(y)
この性質を応用しているのが,以下の式で定義される相互情報量I(X;Y)である。
I(X;Y)=∑y∈Y∑x∈XP(x,y)logP(x,y)P(x)P(y)
※log0=0とする
相互情報量I(X;Y)が0であるとき,X,Yは互いに独立である。
I(X;Y)=0 ⟺ X,Yが互いに独立
同様の使われ方をする概念に,相関係数rXYというものがある。
rXY=∑i=1|X|(Xi−X―)(Yi−Y―)∑i=1|X|(Xi−X―)2∑i=1|X|(Yi−Y―)2
しかし,こちらは以下のみが成り立つため,一般に独立性を調べる用途においては,相互情報量の方が都合の良い場合が多い。
X,Yが互いに独立 ⟹ rXY=0
例えば,以下のような曲線的な依存関係がX,Y間にあった場合,相関係数は0に近しい値を示すのに対し,相互情報量は十分大きい値を示す。 XーY間の曲線的な依存関係
バッチを贈ると投稿者に現金やAmazonのギフトカードが還元されます。