はじめまして。プラチナ会と申します。どうぞよろしくお願い申し上げます。
統計学やデータ分析を学んでいると、t検定、回帰分析、分散分析といった様々な手法が登場します。これらを学ぶ際、多くの教科書では手法ごとに行列計算や複雑な数式の変形が個別に説明されます。
しかし、毎回のように複雑な行列計算を繰り返すアプローチは、全体の見通しを悪くしてしまいます。そもそも行列(線形代数)という道具は、(ベクトル・数列・関数etc...といった、)一見異なる考え方や手法を1つの統一的な方法論でスッキリと整理するために導入されたはずです。それなのに、単回帰モデルや分散分析などで、毎回同じような、でもちょっと違うような行列計算を繰り返して個別に暗記しようとするのは、本質が見えにくく、難しく感じてしまいます。一体これは他にも当てはまるのだろうか?この状況下で特殊に当てはまるものではないか?と。
また、統計学の証明の中には、突然「ヘルマート行列」のようなトリッキーな行列が登場することがあります。確かにそれらを用いた証明は美しいものですが、「なぜその行列を思いつくのか」「天才にしか証明できないのではないか」とか思ったりします。どうしてそう考えたのか?という糸口が見えないものですから。本記事は、まさにこうした違和感を解消し、よりクリアに見通しを良くしたいという想いで書きました。
その解決の鍵となるのが、「直交射影」という幾何学的な視点です。
この視点を取り入れると、t検定も、回帰分析も、分散分析も、すべて「観測データ(ベクトル)を幾何学的な部分空間へ直交射影する」という根本的にまったく同じ考え方に基づいていることが示せます。これらが同じ手法であるとわかれば、統計モデルへの納得感が大きく増しますし、何より数式による証明が驚くほどシンプルになります。
さらに、統計学でよく議論される「自由度」の理解も深まります。よく「平均という制約で縛られているから、1個分だけ自由に動けなくなり、自由度が $ N-1 $ になる」といった説明がされますが、これだけでは釈然としないことも多いでしょう。少なくとも私はそうでした。自由に動けなくなると、なぜ$N-1$という疑問には、答えていないからです。しかし幾何学的な視点に立てば、自由度とは単に「線形代数における部分空間の次元そのものである」ということが一目で分かります。
毎回初見では理解しづらいトリッキーな証明に頼るのではなく、この統一的な枠組み(直交射影と次元)さえ理解しておけば、これまで学んだ手法がすべてつながるだけでなく、将来出会う未知の分析手法を理解する際にも強力な武器となりえませんか。
というわけで、これからt検定の自由度がなぜ$n-1$なのか、実際に1年生の直交射影の考え方を使って考えていきましょう〜〜〜〜
統計的データ解析において、分散分析や回帰分析などの線形モデルにおける検定(${ t }$検定や ${ F }$検定)の本質は、観測データの「ばらつき」(平方和)を幾何学的な部分空間へ分解することにあります。
本章では、まず確率的な仮定(正規分布など)を脇に置き、線形代数における直交射影の幾何学的な性質を用いて、平方和がどのようにして一意に分解されるか(ピタゴラスの定理の拡張)を解説します。
観測値を ${ Y=(Y_1,\dots,Y_N)\in\mathbb R^N }$ とし、${ \mathbb R^N }$ に通常の内積を導入します。
$ \langle u,v\rangle=\displaystyle\sum_{i=1}^N u_iv_i, \qquad \|u\|^2=\langle u,u\rangle=\sum_{i=1}^N u_i^2 $
観測値の平均ベクトルが属する部分空間を モデル空間と呼ぶことにします。たとえば、全ての観測値が共通の平均をもつモデルは、${ \mathbf 1=(1,\dots,1)^\top }$ として次のように表される部分空間です。
$ \mathcal C = \operatorname{span}\{\mathbf 1\} $
なお、固定された平均を含む仮説は、中心化によって原点を通る部分空間の問題に帰着できます。
以下、${ \mathcal M_0\subset\mathcal M_1\subset\mathbb R^N }$ を二つの入れ子になったモデル空間とし、${ P_0,P_1 }$ をそれぞれ ${ \mathcal M_0,\mathcal M_1 }$ への直交射影とします。
直交射影 ${ P }$ は任意のベクトル ${ Y \in \mathbb R^N }$ に対し、射影成分 ${ PY \in \mathcal M }$ と残差成分 ${ Y - PY }$ に分解します。この残差成分は定義より ${ \mathcal M }$ と直交します。すなわち、任意の ${ u \in \mathcal M }$ に対して以下が成り立ちます。
$ \langle Y - PY, u \rangle = 0 $
この直交性から、射影作用素 ${ P }$ は自己随伴性 ${ \langle Pu, v \rangle = \langle u, Pv \rangle }$ およびべき等性 ${ P^2 = P }$ を満たします。
また、入れ子になった部分空間 ${ \mathcal M_0 \subset \mathcal M_1 }$ に対する直交射影 ${ P_0, P_1 }$ の間には、${ P_0 P_1 = P_1 P_0 = P_0 }$ という性質が成り立ちます。これを用いると、観測値 ${ Y }$ の全残差ベクトルは次のように直交分解できます。
$ Y-P_0Y=(P_1Y-P_0Y)+(Y-P_1Y) $
この右辺の2つのベクトルについて、それぞれの幾何学的性質を詳しく調べてみましょう。
まず、第1成分について、${ P_1Y \in \mathcal M_1 }$ であり、また ${ \mathcal M_0 \subset \mathcal M_1 }$ より ${ P_0Y \in \mathcal M_0 \subset \mathcal M_1 }$ ですから、それらの差もやはり大きいモデル空間に属します。
$ P_1Y-P_0Y \in \mathcal M_1 $
さらに、任意の ${ u \in \mathcal M_0 }$ に対する内積を考えると、${ u \in \mathcal M_0 \subset \mathcal M_1 }$ であるため、直交射影の性質 ${ \langle P_1Y, u\rangle = \langle Y, u\rangle }$ および ${ \langle P_0Y, u\rangle = \langle Y, u\rangle }$ が成り立ちます。したがって、
$ \langle P_1Y-P_0Y, u \rangle = \langle P_1Y, u \rangle - \langle P_0Y, u \rangle = \langle Y, u \rangle - \langle Y, u \rangle = 0 $
となり、${ P_1Y-P_0Y }$ は ${ \mathcal M_0 }$ の任意の元と直交します(すなわち ${ P_1Y-P_0Y \in \mathcal M_0^\perp }$)。
以上を合わせることで、第1成分は追加された部分空間に属することがわかります。
$ P_1Y-P_0Y \in \mathcal M_1 \cap \mathcal M_0^\perp $
次に、第2成分 ${ Y-P_1Y }$ は、直交射影の性質から大きいモデル空間の直交補空間に属します。
$ Y-P_1Y \in \mathcal M_1^\perp $
ここで、${ P_1Y-P_0Y \in \mathcal M_1 }$ であり、一方 ${ Y-P_1Y \in \mathcal M_1^\perp }$ ですから、これら2つのベクトルは互いに直交します。
$ P_1Y-P_0Y \perp Y-P_1Y $
したがって、ピタゴラスの定理から、次の平方和の分解を得ます。
任意の入れ子構造のモデル空間 ${ \mathcal M_0 \subset \mathcal M_1 \subset \mathbb R^N }$ と直交射影 ${ P_0, P_1 }$ に対して、以下が成り立つ。
$ \|Y-P_0Y\|^2 = \|P_1Y-P_0Y\|^2 + \|Y-P_1Y\|^2 $
これは言葉で表すと、以下の関係に対応します。
小さいモデルの残差平方和=追加されたモデル成分の平方和(説明平方和)+大きいモデルの残差平方和
追加された部分空間 ${ \mathcal M_1\cap\mathcal M_0^\perp }$ への射影の平方和を説明平方和と呼びます。
この平方和の自由度は ${ \dim\mathcal M_1-\dim\mathcal M_0 }$ であり、大きいモデルの残差平方和の自由度は ${ N-\dim\mathcal M_1 }$ です。
※以下では、制約がより多く次元の低いモデル(帰無仮説に対応)を「小さいモデル ${ \mathcal M_0 }$」、
制約を緩めて次元を拡張したモデル(対立仮説に対応)を「大きいモデル ${ \mathcal M_1 }$」と呼びます。
ここでは、まず最も基本的な平均からの平方和分解(1.1節)を解説します。そして後半において正規等分散誤差の仮定を導入し、個々の統計的手法(${ t }$検定、分散分析、回帰分析)における平方和と自由度の分解がどのように幾何学的に決定され、どのような確率分布に従うかを詳しく見ていきます。
任意の定数 $a$ に対して、次の平方和分解が成り立つ。
$ \displaystyle\sum_{i=1}^N(Y_i-a)^2 = N(\bar Y-a)^2 + \sum_{i=1}^N(Y_i-\bar Y)^2 $
特に ${ a=\mu }$ (母平均)とすれば、次を得る。
$ \displaystyle\sum_{i=1}^N(Y_i-\mu)^2 = N(\bar Y-\mu)^2 + \sum_{i=1}^N(Y_i-\bar Y)^2 $
${ a }$ は固定された定数であるため、基準値からの平方和 ${ \displaystyle\sum_{i=1}^N(Y_i-a)^2 }$ の自由度は ${ N }$ である。
一方、標本平均 ${ \bar Y }$ を用いて中心化した残差には ${ \displaystyle\sum_{i=1}^N (Y_i-\bar Y)=0 }$ という制約があるため、その自由度は ${ N-1 }$ となる。
したがって、自由度は以下のように分解される。
$ N = 1 + (N-1) $
偏差ベクトル ${ Y' = Y-a\mathbf 1 }$ を新しい観測値ベクトルとし、平方和の分解における部分空間を以下のように定める。
このとき、それぞれの空間への直交射影は、
これらを平方和の分解の等式 ${ \|Y' - P_0 Y'\|^2 = \|P_1 Y' - P_0 Y'\|^2 + \|Y' - P_1 Y'\|^2 }$ に代入すると、
これにより、主張の等式が得られる。
${ a }$ は固定された定数であるため基準値からの平方和の自由度は ${ N }$ である。
これにより、全体の自由度 ${ N }$ が ${ 1 + (N-1) }$ に分解される。
1.で確認した幾何学的な平方和の分解に対して、統計的な確率分布の性質を与えるのが正規等分散誤差の仮定です。
線形モデルに基づく検定(${ t }$検定や ${ F }$検定)を行うためには、観測誤差が正規分布に従うとき、互いに直交する部分空間へ射影した各成分の平方和が、それぞれ独立なカイ二乗分布に従うという性質が必要不可欠となります。
本章では、正規等分散誤差のもとで各線形モデル(${ t }$検定、分散分析、回帰分析)における統計的検定を導出します。(分布論的根拠はコクランの定理が保証します)
一般に、データが以下の正規線形モデルに従うと仮定します。
$ Y = m + \varepsilon, \qquad \varepsilon \sim N_N(0, \sigma^2 I_N) $
ここでは、共通分散 ${ \sigma^2 }$ をもつ正規等分散誤差を仮定しており、真の平均ベクトル ${ m }$ が帰無仮説の下で小さいモデル空間 ${ \mathcal M_0 }$ に属しているとします。
1.で示した通り、入れ子構造のモデル空間 ${ \mathcal M_0 \subset \mathcal M_1 \subset \mathbb R^N }$ への直交射影をそれぞれ ${ P_0, P_1 }$ とすると、観測値の平方和は以下のように直交分解されます。
$ \|Y - P_0 Y\|^2 = \|P_1 Y - P_0 Y\|^2 + \|Y - P_1 Y\|^2 $
帰無仮説の下では ${ m \in \mathcal M_0 \subset \mathcal M_1 }$ ですから、${ P_1 m - P_0 m = 0 }$ および ${ m - P_1 m = 0 }$ が成り立ちます。したがって、${ P_1 Y - P_0 Y = (P_1 - P_0)\varepsilon }$、${ Y - P_1 Y = (I - P_1)\varepsilon }$ となり、両者は誤差ベクトル ${ \varepsilon }$ の直交射影成分そのものとなります。
これら直交する部分空間への射影成分の平方和は、互いに独立なカイ二乗分布に従います。ここではまず、この独立性とカイ二乗分布の性質を用いて、各統計検定を導出していきましょう。
${ Y_1,\dots,Y_N \overset{\mathrm{i.i.d.}}{\sim} N(\mu, \sigma^2) }$ とする。帰無仮説 ${ H_0:\mu=\mu_0 }$ のもとで、偏差ベクトル ${ Y' = Y-\mu_0\mathbf 1 }$ に対する平方和分解
$\displaystyle\sum_{i=1}^N(Y_i-\mu_0)^2 = N(\bar Y-\mu_0)^2 + \sum_{i=1}^N(Y_i-\bar Y)^2$
から、1標本 ${ t }$ 統計量は以下のように定義され、自由度 ${ N-1 }$ の ${ t }$ 分布に従う。
$ t = \displaystyle\frac{\bar Y-\mu_0}{s / \sqrt{N}} \sim t(N-1) $
ここで、${ s^2 }$ は標本不偏分散である。
$ s^2 = \displaystyle\frac{1}{N-1}\sum_{i=1}^N(Y_i-\bar Y)^2 $
なお、この ${ t }$ 統計量の二乗は、平方和比から構成される検定統計量 ${ F }$ と一致し、帰無仮説のもとで自由度 ${ (1, N-1) }$ の ${ F }$ 分布に従う。
$ F = t^2 = \displaystyle\frac{N(\bar Y-\mu_0)^2}{s^2} \sim F_{1, N-1} $
偏差ベクトル ${ Y' = Y-\mu_0\mathbf 1 }$ を観測値ベクトルとし、平方和の分解における部分空間が、以下であるとする。
このとき、それぞれの空間への直交射影は、
これらを平方和の分解の等式に代入し、主張の平方和分解 ${ \|Y' - P_0 Y'\|^2 = \|P_1 Y' - P_0 Y'\|^2 + \|Y' - P_1 Y'\|^2 }$を得る。
追加された空間 ${ \mathcal M_1 \cap \mathcal M_0^\perp = \mathcal C }$ (次元 1)の正規直交基底は ${ \displaystyle\frac{\mathbf 1}{\|\mathbf 1\|} = \frac{1}{\sqrt{N}}\mathbf 1 }$ ゆえ、
偏差ベクトル ${ Y' }$ のこの基底への射影成分(内積)
$ \left\langle Y', \displaystyle\frac{\mathbf 1}{\sqrt{N}} \right\rangle = \displaystyle\frac{1}{\sqrt{N}}\sum_{i=1}^N (Y_i - \mu_0) = \sqrt{N}(\bar Y - \mu_0) $
と書ける。帰無仮説のもとで ${ Y_i \sim N(\mu_0, \sigma^2) }$ (独立)であると仮定すると、この内積は ${ N(0, \sigma^2) }$ に従う正規確率変数である。
一方、残差成分 ${ Y' - P_1 Y' }$ のノルムの二乗は残差平方和であり、コクランの定理から以下が成り立つ。(コクランの定理の証明はnote(後述)参照)
$ \displaystyle\frac{\|Y' - P_1 Y'\|^2}{\sigma^2} = \frac{\sum (Y_i - \bar Y)^2}{\sigma^2} \sim \chi^2(N-1) $
射影成分と残差成分は互いに直交する空間への射影であるため、正規性の仮定のもとで独立である。
したがって、標準正規確率変数と、それとは独立なカイ二乗確率変数をその自由度で割ったものの平方根との比は、
$ t = \displaystyle\frac{\sqrt{N}(\bar Y - \mu_0) / \sigma}{\sqrt{\frac{1}{N-1} \sum (Y_i - \bar Y)^2 / \sigma^2}} = \frac{\bar Y - \mu_0}{s / \sqrt{N}} $
である。これは定義より自由度 ${ N-1 }$ の ${ t }$ 分布に従う(${ \sigma }$ は相殺される)。
ここで、1標本 ${ t }$ 検定において不偏分散の分母(残差平方和を割る数)がなぜ ${ N-1 }$ になるのかという疑問の幾何学的理由が明らかになります。すなわち、標本平均 ${ \bar Y }$ を推定したことで、残差が属する空間の次元(自由度)が ${ N }$ から ${ N-1 }$ に減少するためです。
全体で ${ g }$ 個の群があり、第 ${ i }$ 群の標本数を ${ n_i }$, 全標本数を ${ N=\sum_{i=1}^g n_i }$ とするとき、次の平方和分解が成り立つ。
$ SS_T = SS_B + SS_W $
具体的には以下の数式で表される。
$ \displaystyle\sum_{i=1}^g\sum_{j=1}^{n_i} (Y_{ij}-\bar Y_{\cdot\cdot})^2 = \sum_{i=1}^g n_i(\bar Y_{i\cdot}-\bar Y_{\cdot\cdot})^2 + \sum_{i=1}^g\sum_{j=1}^{n_i} (Y_{ij}-\bar Y_{i\cdot})^2 $
これは「全平方和 ${ = }$ 群間平方和 ${ + }$ 群内変動」を意味する。
自由度の分解は以下の通り。
$ N-1 = (g-1) + (N-g) $
この分解に基づく分散分析表(ANOVA表)は以下の通り。
| 変動の源泉 | 平方和 (SS) | 自由度 (df) | 平均平方 (MS) | F値 |
|---|---|---|---|---|
| 群間変動 | ${ SS_B = \sum n_i(\bar Y_{i\cdot}-\bar Y_{\cdot\cdot})^2 }$ | ${ g-1 }$ | ${ MS_B = \frac{SS_B}{g-1} }$ | ${ F = \frac{MS_B}{MS_W} }$ |
| 群内変動 | ${ SS_W = \sum \sum (Y_{ij}-\bar Y_{i\cdot})^2 }$ | ${ N-g }$ | ${ MS_W = \frac{SS_W}{N-g} }$ | |
| 合計 | ${ SS_T = \sum \sum (Y_{ij}-\bar Y_{\cdot\cdot})^2 }$ | ${ N-1 }$ |
平方和の分解における部分空間を以下のようにおく。
このとき、それぞれの空間への直交射影は、
これらを平方和の分解の等式 ${ \|Y-P_0Y\|^2 = \|P_1Y-P_0Y\|^2 + \|Y-P_1Y\|^2 }$ に適用すると、
以上より、主張の平方和分解が得られる。
これにより、自由度 ${ N-1 }$ が ${ (g-1) + (N-g) }$ に分解される。
因子 ${ A }$ の水準数を ${ a }$、因子 ${ B }$ の水準数を ${ b }$、各セルの反復数を ${ r }$ とする均衡配置において、全平方和 ${ SS_T }$ は因子Aの主効果 ${ SS_A }$、因子Bの主効果 ${ SS_B }$、交互作用 ${ SS_{AB} }$、および残差平方和 ${ SS_E }$ に直交分解される。
$ SS_T = SS_A + SS_B + SS_{AB} + SS_E $
具体的には以下の数式で表される。
$ \begin{align*} \sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r (Y_{ijk}-\bar Y_{\cdot\cdot\cdot})^2 ={}& br\sum_{i=1}^a (\bar Y_{i\cdot\cdot}-\bar Y_{\cdot\cdot\cdot})^2 + ar\sum_{j=1}^b (\bar Y_{\cdot j\cdot}-\bar Y_{\cdot\cdot\cdot})^2 + r\sum_{i=1}^a\sum_{j=1}^b \left( \bar Y_{ij\cdot} - \bar Y_{i\cdot\cdot} - \bar Y_{\cdot j\cdot} + \bar Y_{\cdot\cdot\cdot} \right)^2+\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r (Y_{ijk}-\bar Y_{ij\cdot})^2 \end{align*} $
自由度の分解は次の通り。
$ abr - 1 = (a - 1) + (b - 1) + (a - 1)(b - 1) + ab(r - 1) $
ごめんなさい。ANOVA表を書こうと思ったのですが、ここで力尽きてしまいました...これ以降はnoteで販売しておりますPDFをご覧ください。
https://note.com/platinum__party/n/ne6c0ca14b626?sub_rt=share_pw
二元配置分散分析だけでなく、単回帰分析や重回帰分析についても掲載しております。おまけでコクランの定理の証明も載っております。リポストで無料となっておりますので、ぜひご覧いただけますと幸いです。
ここまでお読みいただき、ありがとうございます!全ての皆様に、感謝申し上げます。🙇