はじめに
回帰モデルにおいて、最小二乗法(Least Squares Method,) は最尤法(Maximun Likelihood,)よりも古典的な手法ですが、確率分布(Prob. Dist.)を指定しない推定手法として広く用いられています。一般化線形モデル(Generalized Linear Model,)の文脈では、はの特別な場合であることが知られています。ここではやの初歩的な内容は他の記事に譲り、一般線形モデル(General Linear Model,)を少し紹介します。そのあと回帰モデルにおける最小二乗推定量(Least Squares Estimator)がGauss-Markovの定理によって最良線形不偏推定量(Best Linear Unbiased Estimator,)を満たすことに焦点を当てます。
準備
ここでいう線形とは、任意のパラメータに関して線形であるという限られた意味で用いられているので注意してください。この形で回帰モデルや分散分析モデルなど、いろいろ表現できてしまうのがうれしいところです。
を仮定することによって、ここでのは不偏性(unbiasedness)をもった線形モデルといえます。また、追加的に等分散性(Homoskedasticity)の仮定をおけば、 が見えます。よってといえるでしょう。この等分散性の仮定は、との独立性を担保していることも示唆しています。
不偏性と等分散性をもったを考えることでの平均や分散を導出できますが、確認したい方は
こちら
へどうぞ。
Gauss-Markovの定理
そもそもというのは、すべての線形不偏推定量の中で分散が最小のものであることをいうのでした。つまり、
Gauss-Markovの定理
最小二乗推定量をと表し、を線形不偏推定量とすれば、が成り立つ。
確認ですが、Gauss-Markovの定理は、最小二乗推定量がになることを主張しているのであって、そのものではありません。
さて、における回帰モデルの最小二乗推定量は、の線形和を用いたに関する線形関数として表すことができます。つまり、というよく見る正規方程式の解のことです。最小二乗推定量自身も線形不偏推定量なので、あとは分散が最小という意味で最良であればよいだけです。ではでは証明へレッツラゴー。
をを満たすに関する行列としたとき、はに対して不偏であって、分散を持つ。最小二乗推定量が不偏で、分散はであることから、これらつの分散共分散行列の差が半正定値であることを示せればよいだろう。つまり。
最後の不等式は、が二次形式の性質から半正定値であることを示しています。
さいごに
少し重い内容をどうまとめるか苦戦しました。要はGauss-Markovが言いたいのは、ある特定の条件の下では最小二乗推定量がbestになるんだよってことです。
ちなみに誤差が正規分布に従うと仮定したときには、最小二乗推定量は一様最小分散不偏推定量(Uniformly Minimum Variance Unbiased Estimator,)になることが知られています。
参考文献
- Jun Shao "Mathematical Statistics" 2nd ed.,Springer,2003
- Bruce Hansen "Econometrics",2020
- Fumio Hayashi "Econometrics",Princeton University Press,2000
- 佐和隆光 「回帰分析」,朝倉書店,1979