最小二乗法とその幾何学的解釈

631

はじめに

なにかと説明する場面が多い最小二乗法ですが、ここでは最小二乗法(Least Squares Method, $L S M$ )の基礎と幾何学的解釈について解説します。この記事では話を簡単にするために、一般線形モデル( $G L M$ ) $Y = X β + ε$ における単回帰モデル $y_{i} = β_{0} + β_{1} x_{i}$ を想定した話で展開していきます。なお誤差 $ε$ に関しては、不偏性と等分散性が成り立っているものとします。

正規方程式

$L S M$ は、以下の残差二乗和(Residual Sum of Squares, $R S S$ )を最小にするようなパラメータ $\hat{β}$ を推定する方法でした。

$R S S = (Y - X \hat{β})^{'} (Y - X \hat{β})$

これを最小たらしめる $\hat{β}$ は、一階条件によって $\frac{\partial R S S}{\partial β} = 0$ で求められます。実際にこれは、 $\frac{\partial R S S}{\partial β} = - 2 X^{'} Y + 2 X^{'} X \hat{β} = 0$ という正規方程式の形になり、これを解けば $\hat{β} = (X^{'} X)^{- 1} X^{'} Y$ が求まります。

最小二乗法のおもな性質

$\hat{β}$ の期待値に関しては、 $E (\hat{β}) = β$ が成り立つ。つまり $\hat{β}$ は $β$ の不偏推定量である。

$E [(X^{'} X)^{- 1} X^{'} Y] = (X^{'} X)^{- 1} X^{'} E (Y) = β$

$\hat{β}$ の分散に関しては、 $V (\hat{β}) = σ^{2} (X^{'} X)^{- 1}$ が成り立つ。

$V [(X^{'} X)^{- 1} X^{'} Y] = (X^{'} X)^{- 1} X^{'} V (Y) [(X^{'} X)^{- 1} X^{'}]^{'} = σ^{2} (X^{'} X)^{- 1} X^{'} X (X^{'} X)^{- 1} = σ^{2} (X^{'} X)^{- 1}$

ある特定の条件を満たしていると $\hat{β}$ は $B L U E$ である。

Gauss Markovの定理とその証明

$L S M$ の幾何学的解釈

実は三平方の定理の関係だったりする

シンプルな図を載せましたが、結論から言えば、最小二乗法は三平方の定理で解釈できます。

$X$ が張る部分空間へ $Y$ を射影するような正射影行列 $P_{X}$ を用意すると、 $P_{X} = X (X^{'} X)^{- 1} X^{'}$ であるため、 $X \hat{β}$ は $P_{X} Y$ と表せます。一方で残差 $ε = Y - X \hat{β}$ は $(1 - P_{X}) Y$ と表せます。 $P_{X}$ は正射影行列なので、 $ε$ と $X \hat{β}$ が直交していることと同義であることに注意してください。