はじめに
なにかと説明する場面が多い最小二乗法ですが、ここでは最小二乗法(Least Squares Method,)の基礎と幾何学的解釈について解説します。この記事では話を簡単にするために、一般線形モデル()における単回帰モデルを想定した話で展開していきます。なお誤差に関しては、不偏性と等分散性が成り立っているものとします。
正規方程式
は、以下の残差二乗和(Residual Sum of Squares,)を最小にするようなパラメータを推定する方法でした。
これを最小たらしめるは、一階条件によってで求められます。実際にこれは、という正規方程式の形になり、これを解けばが求まります。
最小二乗法のおもな性質
の期待値に関しては、が成り立つ。つまりはの不偏推定量である。
の幾何学的解釈
実は三平方の定理の関係だったりする
シンプルな図を載せましたが、結論から言えば、最小二乗法は三平方の定理で解釈できます。
が張る部分空間へを射影するような正射影行列を用意すると、であるため、はと表せます。一方で残差はと表せます。は正射影行列なので、とが直交していることと同義であることに注意してください。
参考文献
- 佐和隆光 「回帰分析」,朝倉書店,1979
- Stephen Boyd & Lieven Vandenberghe,"Introduction to Applied Linear Algebra",Cambridge University Press,2018