1

Gauss-Markovの定理とその証明

478
0

はじめに

回帰モデルにおいて、最小二乗法(Least Squares Method,LSM) は最尤法(Maximun Likelihood,ML)よりも古典的な手法ですが、確率分布(Prob. Dist.)を指定しない推定手法として広く用いられています。一般化線形モデル(Generalized Linear Model,GLIM)の文脈では、MLLSMの特別な場合であることが知られています。ここではMLLSMの初歩的な内容は他の記事に譲り、一般線形モデル(General Linear Model,GLM)を少し紹介します。そのあと回帰モデルにおける最小二乗推定量(Least Squares Estimator)がGauss-Markovの定理によって最良線形不偏推定量(Best Linear Unbiased Estimator,BLUE)を満たすことに焦点を当てます。

準備

誤差項ベクトルが不偏性を持ったGLM

 (y1y2yi)Y=(x11x12x1jx21x22x2jxi1xi2xij)X(β1β2βj)β+(ε1ε2εi)ε, E(ε|X)=0
whereXdesign mtrxYoutcome variable vectorβparameter vectorεerror term vector

ここでいう線形とは、任意のパラメータに関して線形であるという限られた意味で用いられているので注意してください。この形で回帰モデルや分散分析モデルなど、いろいろ表現できてしまうのがうれしいところです。

E(ε|X)=0を仮定することによって、ここでのGLMは不偏性(unbiasedness)をもった線形モデルといえます。また、追加的に等分散性(Homoskedasticity)の仮定E(ε2|X)=σ2をおけば、Varε=σ2I が見えます。よってεMVN(0,σ2I)といえるでしょう。この等分散性の仮定は、Xεの独立性を担保していることも示唆しています。

不偏性と等分散性をもったGLMを考えることでLSMの平均や分散を導出できますが、確認したい方は こちら へどうぞ。

Gauss-Markovの定理

そもそもBLUEというのは、すべての線形不偏推定量の中で分散が最小のものであることをいうのでした。つまり、

Gauss-Markovの定理

最小二乗推定量をβ^と表し、b^を線形不偏推定量とすれば、Varβ^tVarb^t , t=1,,jが成り立つ。

確認ですが、Gauss-Markovの定理は、最小二乗推定量β^BLUEになることを主張しているのであって、BLUEそのものではありません。

さて、GLMにおける回帰モデルの最小二乗推定量は、Yの線形和を用いたβ^に関する線形関数として表すことができます。つまり、β^=(XX)1XYというよく見る正規方程式の解のことです。最小二乗推定量自身も線形不偏推定量なので、あとは分散が最小という意味で最良であればよいだけです。ではでは証明へレッツラゴー。

AAX=Iを満たすXに関する行列としたとき、AYβに対して不偏であって、分散σ2AAを持つ。最小二乗推定量が不偏で、分散はσ2(XX)1であることから、これら2つの分散共分散行列の差が半正定値であることを示せればよいだろう。つまりAA(XX)1>0

CAX(XX)1とし、XC=0であることに注意すれば次のようになる。
AA(XX)1=(C+X(XX)1)(C+X(XX)1)(XX)1=CC+CX(XX)1+(XX)1XC+(XX)1XX(XX)1(XX)1=CC>0

最後の不等式は、CCが二次形式の性質から半正定値であることを示しています。

さいごに

少し重い内容をどうまとめるか苦戦しました。要はGauss-Markovが言いたいのは、ある特定の条件の下では最小二乗推定量がbestになるんだよってことです。

ちなみに誤差が正規分布に従うと仮定したときには、最小二乗推定量は一様最小分散不偏推定量(Uniformly Minimum Variance Unbiased Estimator,UMVUE)になることが知られています。

参考文献

  1. Jun Shao "Mathematical Statistics" 2nd ed.,Springer,2003
  2. Bruce Hansen "Econometrics",2020
  3. Fumio Hayashi "Econometrics",Princeton University Press,2000
  4. 佐和隆光 「回帰分析」,朝倉書店,1979
投稿日:20201114
OptHub AI Competition

この記事を高評価した人

高評価したユーザはいません

この記事に送られたバッジ

バッジはありません。
バッチを贈って投稿者を応援しよう

バッチを贈ると投稿者に現金やAmazonのギフトカードが還元されます。

投稿者

大学で応用経済学(計量経済学、産業組織論)をかじったあと、医学系の大学院に進学して疫学と統計学の世界に迷い込んできました。

コメント

他の人のコメント

コメントはありません。
読み込み中...
読み込み中
  1. はじめに
  2. 準備
  3. Gauss-Markovの定理
  4. さいごに