最小二乗法の最も簡単な解説

$L=\sum {\epsilon }_i^2$とおく。
$L$を最小化する$a,b$は${\displaystyle \frac{\partial L}{\partial a}}=0$かつ${\displaystyle \frac{\partial L}{\partial b}}=0$の解だから
$$\begin{array}{rl}\frac{\partial L}{\partial a}& =\frac{\partial }{\partial a}\sum (y_i-a{x}_i-b{)}^2\\ & =\sum \frac{\partial }{\partial a}(y_i-a{x}_i-b{)}^2\\ & =\sum 2(y_i-a{x}_i-b)(-x_i)\\ & =-2\sum (y_i{x}_i-a{x}_i^2-b{x}_i)\end{array}$$
ここで，${\displaystyle \frac{\partial L}{\partial a}}=0$を考えると
$$\begin{array}{rl}\sum (y_i{x}_i-a{x}_i^2-b{x}_i)& =0\\ \sum y_i{x}_i-a\sum x_i^2-b\sum x_i& =0\end{array}$$
同様にして，${\displaystyle \frac{\partial L}{\partial b}}=0$を考えると
$$\begin{array}{rl}{\displaystyle \frac{\partial L}{\partial b}}& =\sum \frac{\partial }{\partial b}(y_i-a{x}_i-b{)}^2\\ & =-2\sum (y_i-a{x}_i-b)\end{array}$$
よって，
$$\sum y_i-a\sum x_i-nb=0$$
したがって，
$$\begin{array}{r}\{\begin{array}{l}\sum y_i{x}_i-a\sum x_i^2-b\sum x_i=0\\ \sum y_i-a\sum x_i-nb=0\end{array}\end{array}$$
を得る。このまま解くこともできるが，少々見にくいのでそれぞれを${\displaystyle \frac{1}{n}}$で割って
$$\begin{array}{r}\{\begin{array}{l}\overline{xy}-a\overline{x^2}-b\bar{x}=0\\ \bar{y}-a\bar{x}-b=0\end{array}\end{array}$$
よって，$b=-a\overline{x}+\overline{y}$を得る。また，$\bar{y}-a\bar{x}-b=0$に$\bar{x}$をかけて$\overline{xy}-a\overline{x^2}-b\bar{x}=0$から引けば
$$\begin{array}{rl}\overline{xy}-\bar{x}\cdot \bar{y}& =a(\overline{x^2}-{\bar{x}}^2)\\ S_{xy}& =a{S}_x^2\\ a& ={\displaystyle \frac{S_{xy}}{S_x^2}}\end{array}$$
ただし$S_{xy}=\overline{xy}-\bar{x}\cdot \bar{y}$と$S_x^2=\overline{x^2}-{\bar{x}}^2$を用いた。
したがって，$a={\displaystyle \frac{S_{xy}}{S_x^2}}$を得る。

加えて，$b=-a\overline{x}+\overline{y}$を${\hat{y}}_i=a{x}_i+b$に代入すると
$$y_i-\overline{y}=a(x_i-\overline{x})$$
となる