PRML1.68式の導出方法をガッツリ考えてみる。

やりたいこと

PRML本に出てくる以下の1.68式が不明のため、導出を試みます。

事後予測分布と事後分布の一般的な関係性

1.68式を証明する前に、事後予測分布と事後分布の一般的な関係性を述べます。
※PRML本の記号と混同しないように、このパートだけ敢えて別の記号を用いております。

右辺の意味

ところで、この右辺は$p(y|\theta)$を$p(\theta|\boldsymbol{y})$で確率加重平均していることから、
$$ p(y|\boldsymbol{y}) =E[p(y|\Theta)|\boldsymbol{Y}=\boldsymbol{y}] $$
のように表記することもできます。ここで、$E[\cdot|\boldsymbol{Y}=\boldsymbol{y}]$は条件付確率密度関数$p(\theta|\boldsymbol{y})$を持つ確率変数の期待値です。つまり、ある関数$g(\theta)$について、
$$ E[g(\Theta)|\boldsymbol{Y}=\boldsymbol{y}]:= \int g(\theta) p(\theta|\boldsymbol{y})d\theta $$
で定義される条件付期待値です。

$p(y|\theta)$は確率モデルと呼ばれます。上記の算式は、与えられたデータ$\boldsymbol{y}$から事後分布（$\boldsymbol{y}$が与えられた下での$\Theta$の分布）を推定し、事後分布から作成した（$\boldsymbol{y}$が与えられた下での）確率モデル$p(y|\Theta)$の条件付期待値が事後予測分布$ p(y|\boldsymbol{y})$になることを意味していると言えます。

$$ \text{データ}\boldsymbol{y} \longrightarrow \text{確率モデルの設定と事後分布の推定} \longrightarrow \text{事後予測確率}p(y|\boldsymbol{y}) \text{を確率モデルの条件付期待値によって推定} $$
＜補足＞
多くの機械学習の書籍等では記号の煩雑さを避けるため、確率変数や条件付であることを明記せずに$E[p(y|\theta)]$のような表記がなされることが多いようです。
この場合でも上記の条件付期待値$E[p(y|\Theta)|\boldsymbol{Y}=\boldsymbol{y}]$と同じ式を意味します。

1.68式の証明にあたっての課題

さて、この等式$p(y|\boldsymbol{y}) =\int p(y|\theta )p(\theta|\boldsymbol{y})d\theta $を1.68式にそのまま適用しようとすると上手く行きません。
例えば、$y$を$x,t$に、$\boldsymbol{y}$を$\boldsymbol{\rm{t}},\boldsymbol{\rm{x}}$に置き換えるだけでは$p(x,t|\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})$となって1.68式の左辺$ p(t|x,\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})$と一致せず、
$y$を$t|x$に、$\boldsymbol{y}$を$\boldsymbol{\rm{t}},\boldsymbol{\rm{x}}$に置き換えても$p(t|x|\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})$のような表記となり、一般に見られない記号となってしまうため、この式が$ p(t|x,\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})$とどう関係するのか更に検討しなければなりません。

そのため、以下のような仮定を設定して1.68式の証明を試みることとします。

記号の定義と仮定

1.68式に出てくる記号とそれぞれの仮定を整理しておきます。
まず、記号はPRML本に基づくと以下の通りです。

PRML本では明記されておりませんが、通常は訓練データセット・予測データセット・パラメータには以下の関係性が仮定されます。

これは予測データセットの入力値$x$が訓練データセット$(\boldsymbol{\rm{x}},\boldsymbol{\rm{t}})$とは関連しないことを意味します。

パラメータ$\boldsymbol{\rm{w}}$は訓練データセット$(\boldsymbol{\rm{x}},\boldsymbol{\rm{t}})$のみで推定されることから、訓練データセットと独立な$x$はパラメータ$\boldsymbol{\rm{w}}$とも独立となります。

＜注意＞
予測データの出力値$t$はパラメータ$\boldsymbol{\rm{w}}$およびこれを推定するための訓練データセット$(\boldsymbol{\rm{x}},\boldsymbol{\rm{t}})$によって予測される値であることから、$t$については仮定①②を設定せず、入力値$x$についてのみ仮定①②を設定していることを補足しておきます。

訓練データセットと予測データセットはパラメータが固定されれば互いに関連しないという条件付独立を仮定します。
これは前記の命題1の条件付独立$ p(y,\boldsymbol{y}|\theta)=p(y|\theta )p(\boldsymbol{y}|\theta) $と同じ仮定となります。

1.68式の証明

以上の仮定のもと、1.68式を証明していきます。

左辺と右辺それぞれの意味

1.68式の左辺$p(t|x,\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})$は訓練データセット$(\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})$と予測データの入力値$x$が与えられた下での$t$の確率（事後予測確率）です。
一方、右辺の積分は$p(t|x, \boldsymbol{\rm{w}})$を$p(\boldsymbol{w}|\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})$で確率加重平均していることから、
$$ p(t|x, \boldsymbol{\rm{w}}) =E[p(y|x,\boldsymbol{\rm{W}})|\boldsymbol{\rm{T}}=\boldsymbol{\rm{t}},\boldsymbol{\rm{X}}=\boldsymbol{\rm{x}}] $$
のように表記することもできます。ここで、$E[\cdot|\boldsymbol{\rm{T}}=\boldsymbol{\rm{t}},\boldsymbol{\rm{X}}=\boldsymbol{\rm{x}}]$は条件付確率密度関数$p(\boldsymbol{w}|\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})$を持つ確率変数の期待値です。つまり、ある関数$g(w)$について、
$$ E[g(\boldsymbol{\rm{W}})|\boldsymbol{\rm{T}}=\boldsymbol{\rm{t}},\boldsymbol{\rm{X}}=\boldsymbol{\rm{x}}]:= \int g(\boldsymbol{\rm{w}}) p(\boldsymbol{w}|\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})\rm{d}\boldsymbol{\rm{w}} $$
で定義される条件付期待値です。
$p(t|x, \boldsymbol{\rm{w}})$は確率モデルと呼ばれます。上記の算式は、与えられた訓練データセット$(\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})$から事後分布を推定し、事後分布から作成した確率モデル$p(y|x,\boldsymbol{\rm{W}})$の条件付期待値が事後予測分布$p(t|x,\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})$になることを意味していると言えます。
$$ \text{訓練データ}(\boldsymbol{\rm{t}},\boldsymbol{\rm{x}}) \longrightarrow \text{確率モデルの設定と事後分布（パラメータwの分布）の推定} \longrightarrow \text{入力値}x\text{が与えられた下での事後予測確率}p(t|x,\boldsymbol{\rm{t}},\boldsymbol{\rm{x}}) \text{を確率モデルの条件付期待値によって推定} $$

＜補足＞
多くの機械学習の書籍等では記号の煩雑さを避けるため、確率変数や条件付であることを明記せずに$E[p(y|\boldsymbol{\rm{w}})]$のような表記がなされることが多いようです。
この場合でも上記の条件付期待値$E[p(y|x,\boldsymbol{\rm{W}})|\boldsymbol{\rm{T}}=\boldsymbol{\rm{t}},\boldsymbol{\rm{X}}=\boldsymbol{\rm{x}}]$と同じ式を意味します（確かにこの表記は冗長すぎる気がしますね）。
機械学習系の数学では期待値の記号を簡略化することが多いため、文脈からどの確率密度関数で期待値を計算しているかを判断する必要があります。

疑問

「1.68式の証明にあたっての課題」のところで述べましたが、命題１の等式$p(y|\boldsymbol{y}) =\int p(y|\theta )p(\theta|\boldsymbol{y})d\theta $に対して形式的に「$y$を$t|x$」、「$\boldsymbol{\rm{y}}$を$(\boldsymbol{\rm{x}},\boldsymbol{\rm{t}})$」、「$\theta$を$\boldsymbol{\rm{w}}$」に置き換えることで、
$$ p(t|x|\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})= \int p(t|x| \boldsymbol{\rm{w}}) p(\boldsymbol{w}|\boldsymbol{\rm{t}},\boldsymbol{\rm{x}}) \rm{d}\boldsymbol{\rm{w}} $$
という式が出てきます。もし一般の事象$A,B,C$に対して$P(A|B|C)=P(A|B,C)$が成り立てば、

$$ \begin{eqnarray} p(t|x|\boldsymbol{\rm{t}},\boldsymbol{\rm{x}})&=&p(t|x,\boldsymbol{\rm{t}},\boldsymbol{\rm{x}}) ,\quad p(t|x| \boldsymbol{\rm{w}})&=&p(t|x, \boldsymbol{\rm{w}}) \end{eqnarray} $$
より仮定①②を満たさずとも仮定③のみで1.68式が導かれます。しかしながら、一般にP(A|B|C)が定義されるのか調べても分かりませんでした。

※なお、仮に$B,C$が独立な場合に$P(A|B|C)=P(A|B,C)$が成り立つとしたら、仮定①②（および仮定③）によって1.68式が導かれます。