※この記事はお遊びです。
カルバック・ライブラー情報量(Kullback-Leibler divergence)は統計学や情報理論によく現れる函数であり、真の分布
で測るものです。個人的にこの
教科書を読んでいるといきなり現れて「重要です」と言われるので、「はいそうですか」と受け入れるしかないのですが、正直納得がいきません。可能ならば数学的な背景が欲しいところです。本稿では、ファジィ論理を用いてカルバック・ライブラー情報量の数学的な意味を考察することが目的でした。
まずカルバック・ライブラー情報量の性質について述べ、それが何故ズレを測ると言われるのかについて考えてみます。
渡辺に順じて
となるので、
このようにカルバック・ライブラー情報量は、確率分布の為す空間において、正定値性を持ち、距離というよりも距離の二乗のように振舞います。これがズレを測ると言われている理由です。
次にカルバック・ライブラー情報量が統計学で重要な理由を述べますが、次を仮定する必要があります。
データ
真の分布は唯一つ存在し、それに沿ってデータは生成されているという仮定です。これがないと統計学はできません。
の第一項は
で近似できます。
で近似することができます。このようにして、複数のモデルから(カルバック・ライブラー情報量の意味で)真の分布
しかし「距離」の測り方は他にもあるので、以上が良い説明になるとは思えません。情報幾何や渡辺理論の文脈で何かしら言えるかもしれませんが、詳しくないので分かりません。また大偏差原理との関わりもあるそうですが詳しくない(以下略)。
真偽値
これにより
更にこの構造はclosedでもあります。圏論的には上記のモノイダル積が、internal homと呼ばれる右随伴
が成り立ちます。
2値論理の場合、含意
実際確かめてみると、
ファジィ論理(Fuzzy logic)は一昔ちょっと流行った気がしますが、真偽値ではなく確率値で上のような構造を考えた論理です。
構造 | モノイダル積 | モノイダル単位 | internal hom |
---|---|---|---|
product structure | 1 | ||
Godel structure | 1 | ||
Lukasiewicz structure | 1 |
同じように
が成り立つことを確かめてみます。
今回は一番上のproduct structureを用います。
これから意味論(semantics)を行うのですが、数理論理学では命題に対する真偽値割り当てというものを行います。命題変数
さて、モデル
とするのが理想的ですが、これを計算する方法がありません。そこで事象の情報量(あるいはエントロピー)に着目します。これは「ある事象が起きた」という情報の価値の高さを表す量です。事象の確率が低いほど価値は高くなります。数学的には次の閉モノイダル構造に関する同型で定義されます。
右辺の
を持ちます。
これを踏まえて確率モデルに対して割り当てを行います。
真の分布
と定める。
次に命題の概念を少し拡張します。
以下の操作で作られるものを命題と呼ぶ。
更に
という函数とみなして割り当てを拡張します。
命題
で定める。
本稿の目的はカルバック・ライブラー情報量をファジィ論理で特徴付けることでした。計算してみると
が得られます。なるほどカルバック・ライブラー情報量は
?????
また
という式も成り立ちます。エネルギー保存則みたいですね!
?????
もう少し筋が良さそうな捉え方をしてみます。命題
このとき
また一般の
より
も分かります。
もっと頑張りましょう