PRML1.68式の導出方法をガッツリ考えてみる。

機械学習,ベイズ

やりたいこと

PRML本に出てくる以下の1.68式が不明のため、導出を試みます。

＜1.68式＞

$p (t | x, t, x) = \int p (t | x, w) p (w | t, x) d w$

事後予測分布と事後分布の一般的な関係性

1.68式を証明する前に、事後予測分布と事後分布の一般的な関係性を述べます。
※PRML本の記号と混同しないように、このパートだけ敢えて別の記号を用いております。

$n$ 個の与えられたデータの確率変数 $Y = (Y_{1}, Y_{2}, . . ., Y_{n})$ と予測したい確率変数 $Y$ は、パラメータを表す確率変数 $Θ$ の下で独立とします。すなわち、それぞれの実現値を $y, y, θ$ と表記したとき、その条件付確率について
$p (y, y | θ) = p (y | θ) p (y | θ)$
が成り立つとします（このような性質を条件付独立といいます）。
このとき、事後予測確率 $p (y | y)$ は事後確率 $p (θ | y)$ を用いて次のように表すことができます。
$p (y | y) = \int p (y | θ) p (θ | y) d θ$

以下のようにして求めることができます。
$\begin{array}{rcl} p (y | y) = \frac{p (y, y)}{p (y)} & = & \frac{1}{p (y)} \int p (y, y, θ) d θ \\ = & \frac{1}{p (y)} \int p (y, y | θ) p (θ) d θ \\ = & \frac{1}{p (y)} \int p (y | θ) p (y | θ) p (θ) d θ \\ = & \frac{1}{p (y)} \int p (y | θ) p (y, θ) d θ \\ = & \int p (y | θ) \frac{p (y, θ)}{p (y)} d θ \\ = & \int p (y | θ) p (θ | y) d θ \end{array}$
$□$

右辺の意味

$p (y | θ)$ は確率モデルと呼ばれます。上記の算式は、与えられたデータ $y$ から事後分布（ $y$ が与えられた下での $Θ$ の分布）を推定し、事後分布から作成した（ $y$ が与えられた下での）確率モデル $p (y | Θ)$ の条件付期待値が事後予測分布 $p (y | y)$ になることを意味していると言えます。

$データ y ⟶ 確率モデルの設定と事後分布の推定 ⟶ 事後予測確率 p (y | y) を確率モデルの条件付期待値によって推定$
＜補足＞
多くの機械学習の書籍等では記号の煩雑さを避けるため、確率変数や条件付であることを明記せずに $E [p (y | θ)]$ のような表記がなされることが多いようです。
この場合でも上記の条件付期待値 $E [p (y | Θ) | Y = y]$ と同じ式を意味します。

1.68式の証明にあたっての課題

そのため、以下のような仮定を設定して1.68式の証明を試みることとします。

記号の定義と仮定

1.68式に出てくる記号とそれぞれの仮定を整理しておきます。
まず、記号はPRML本に基づくと以下の通りです。

＜記号の定義＞

訓練データセット

$x = (x_{1}, . . ., x_{N})^{T}$ ： $N$ 個の訓練データの入力値
$t = (t_{1}, . . ., t_{N})^{T}$ ： $N$ 個の訓練データの出力値
$(x, t)$ ：訓練データセット（入力値と出力値の組み合わせ）

予測データセット

$x$ ：予測データの入力値
$t$ ：予測データの出力値（入力値とパラメータから出力される値）
$(x, t)$ ：予測データセット（入力値と出力値の組み合わせ）

パラメータセット

$w$ ：（訓練データセットから推定される）パラメータ

PRML本では明記されておりませんが、通常は訓練データセット・予測データセット・パラメータには以下の関係性が仮定されます。

＜仮定①＞

$x$ と訓練データ $(x, t)$ は互いに独立である。すなわち、
$p (x, t, x) = p (x) p (t, x)$

これは予測データセットの入力値 $x$ が訓練データセット $(x, t)$ とは関連しないことを意味します。

＜仮定②＞

$x$ とパラメータ $w$ は互いに独立である。すなわち、
$p (x, w) = p (x) p (w)$

パラメータ $w$ は訓練データセット $(x, t)$ のみで推定されることから、訓練データセットと独立な $x$ はパラメータ $w$ とも独立となります。

＜注意＞
予測データの出力値 $t$ はパラメータ $w$ およびこれを推定するための訓練データセット $(x, t)$ によって予測される値であることから、 $t$ については仮定①②を設定せず、入力値 $x$ についてのみ仮定①②を設定していることを補足しておきます。

＜仮定③＞

予測データセット $(x, t)$ と訓練データセット $(x, t)$ は、パラメータ $w$ が与えられた条件の下で互いに独立である。すなわち、
$p (t, x, t, x | w) = p (t, x | w) p (t, x | w)$

訓練データセットと予測データセットはパラメータが固定されれば互いに関連しないという条件付独立を仮定します。
これは前記の命題1の条件付独立 $p (y, y | θ) = p (y | θ) p (y | θ)$ と同じ仮定となります。

1.68式の証明

以上の仮定のもと、1.68式を証明していきます。

まず、左辺 $p (t | x, t, x)$ を以下のように式変形していきます。
$\begin{array}{rcl} p (t | x, t, x) & = & \frac{p (t, x, t, x)}{p (x, t, x)} \\ = & \frac{1}{p (x, t, x)} \int p (t, x, t, x, w) d w \\ = & \frac{1}{p (x, t, x)} \int p (t, x, t, x | w) p (w) d w \\ = & \frac{1}{p (x, t, x)} \int p (t, x | w) p (t, x | w) p (w) d w \end{array}$
最後の等式は仮定③「 $(t, x)$ と $(t, x)$ が $w$ の下での条件付独立である」ことを用いました。
ここで、
$\begin{array}{r} p (t, x | w) = \frac{p (t, x, w)}{p (w)} = p (t | x, w) \frac{p (x, w)}{p (w)} \\ p (t, x | w) = \frac{p (t, x, w)}{p (w)} = p (w | t, x) \frac{p (t, x)}{p (w)} \end{array}$
を代入すると次式が得られます。
$\begin{array}{rcl} p (t | x, t, x) & = & \frac{1}{p (x, t, x)} \int (p (t | x, w) \frac{p (x, w)}{p (w)}) (p (w | t, x) \frac{p (t, x)}{p (w)}) p (w) d w \\ = & \int p (t | x, w) p (w | t, x) (\frac{p (x, w)}{p (w)} \frac{p (t, x)}{p (x, t, x)}) d w \end{array}$
余分な $(\frac{p (x, w)}{p (w)} \frac{p (t, x)}{p (x, t, x)})$ が出てきました。これについては、

「仮定② $x$ と $w$ が互いに独立である」ことより、 $p (x, w) = p (x) p (w)$
「仮定① $x$ と $(t, x)$ が互いに独立である」ことより、 $p (x, t, x) = p (x) p (t, x)$

となるので、
$(\frac{p (x, w)}{p (w)} \frac{p (t, x)}{p (x, t, x)}) = (\frac{p (x) p (w)}{p (w)} \frac{p (t, x)}{p (x) p (t, x)}) = 1$
よって、求める等式
$p (t | x, t, x) = \int p (t | x, w) p (w | t, x) d w$
が得られました。
$□$

左辺と右辺それぞれの意味

＜補足＞
多くの機械学習の書籍等では記号の煩雑さを避けるため、確率変数や条件付であることを明記せずに $E [p (y | w)]$ のような表記がなされることが多いようです。
この場合でも上記の条件付期待値 $E [p (y | x, W) | T = t, X = x]$ と同じ式を意味します（確かにこの表記は冗長すぎる気がしますね）。
機械学習系の数学では期待値の記号を簡略化することが多いため、文脈からどの確率密度関数で期待値を計算しているかを判断する必要があります。

疑問

「1.68式の証明にあたっての課題」のところで述べましたが、命題１の等式 $p (y | y) = \int p (y | θ) p (θ | y) d θ$ に対して形式的に「 $y$ を $t | x$ 」、「 $y$ を $(x, t)$ 」、「 $θ$ を $w$ 」に置き換えることで、
$p (t | x | t, x) = \int p (t | x | w) p (w | t, x) d w$
という式が出てきます。もし一般の事象 $A, B, C$ に対して $P (A | B | C) = P (A | B, C)$ が成り立てば、

$\begin{array}{rclrc} p (t | x | t, x) & = & p (t | x, t, x), p (t | x | w) & = & p (t | x, w) \end{array}$
より仮定①②を満たさずとも仮定③のみで1.68式が導かれます。しかしながら、一般にP(A|B|C)が定義されるのか調べても分かりませんでした。