0

最小二乗法とその幾何学的解釈

631
0

はじめに

なにかと説明する場面が多い最小二乗法ですが、ここでは最小二乗法(Least Squares Method,LSM)の基礎と幾何学的解釈について解説します。この記事では話を簡単にするために、一般線形モデル(GLM) Y=Xβ+ε における単回帰モデルyi=β0+β1xiを想定した話で展開していきます。なお誤差εに関しては、不偏性と等分散性が成り立っているものとします。

正規方程式

LSMは、以下の残差二乗和(Residual Sum of Squares,RSS)を最小にするようなパラメータβ^を推定する方法でした。

RSS=(YXβ^)(YXβ^)

これを最小たらしめるβ^は、一階条件によってRSSβ=0で求められます。実際にこれは、RSSβ=2XY+2XXβ^=0 という正規方程式の形になり、これを解けば β^=(XX)1XY が求まります。

最小二乗法のおもな性質

β^の期待値に関しては、E(β^)=βが成り立つ。つまりβ^βの不偏推定量である。

E[(XX)1XY]=(XX)1XE(Y)=β

β^の分散に関しては、V(β^)=σ2(XX)1が成り立つ。

V[(XX)1XY]=(XX)1XV(Y)[(XX)1X]=σ2(XX)1XX(XX)1=σ2(XX)1

ある特定の条件を満たしているとβ^BLUEである。

Gauss Markovの定理とその証明

LSMの幾何学的解釈

実は三平方の定理の関係だったりする 実は三平方の定理の関係だったりする

シンプルな図を載せましたが、結論から言えば、最小二乗法は三平方の定理で解釈できます。

Xが張る部分空間へYを射影するような正射影行列PXを用意すると、PX=X(XX)1Xであるため、Xβ^PXYと表せます。一方で残差ε=YXβ^(1PX)Yと表せます。PXは正射影行列なので、εXβ^が直交していることと同義であることに注意してください。

参考文献

  1. 佐和隆光 「回帰分析」,朝倉書店,1979
  2. Stephen Boyd & Lieven Vandenberghe,"Introduction to Applied Linear Algebra",Cambridge University Press,2018
投稿日:20201116
OptHub AI Competition

この記事を高評価した人

高評価したユーザはいません

この記事に送られたバッジ

バッジはありません。
バッチを贈って投稿者を応援しよう

バッチを贈ると投稿者に現金やAmazonのギフトカードが還元されます。

投稿者

大学で応用経済学(計量経済学、産業組織論)をかじったあと、医学系の大学院に進学して疫学と統計学の世界に迷い込んできました。

コメント

他の人のコメント

コメントはありません。
読み込み中...
読み込み中
  1. はじめに
  2. 正規方程式
  3. 最小二乗法のおもな性質
  4. LSMの幾何学的解釈