最小二乗法の最も簡単な解説

$L=\sum\varepsilon_i^2$とおく。
$L$を最小化する$a,b$は$\dfrac{\partial L}{\partial a}=0$かつ$\dfrac{\partial L}{\partial b}=0$の解だから
\begin{align} \frac{\partial L}{\partial a} &= \frac{\partial}{\partial a}\sum (y_i-ax_i-b)^2 \\ &= \sum \frac{\partial}{\partial a}(y_i-ax_i-b)^2 \\ &= \sum 2(y_i-ax_i-b)(-x_i) \\ &= -2 \sum (y_ix_i-ax_i^2-bx_i)\\ \end{align}
ここで，$\dfrac{\partial L}{\partial a}=0$を考えると
\begin{align} \sum (y_ix_i-ax_i^2-bx_i) &= 0\\ \sum y_ix_i -a\sum x_i^2 -b\sum x_i &= 0 \end{align}
同様にして，$\dfrac{\partial L}{\partial b}=0$を考えると
\begin{align} \dfrac{\partial L}{\partial b} &= \sum \frac{\partial}{\partial b}(y_i-ax_i-b)^2 \\ &= -2\sum (y_i-ax_i-b)\\ \end{align}
よって，
$$\sum y_i-a\sum x_i- nb = 0$$
したがって，
\begin{eqnarray} \left\{ \begin{array}{l} \sum y_ix_i -a\sum x_i^2 -b\sum x_i = 0 \\ \sum y_i-a\sum x_i- nb = 0 \end{array} \right. \end{eqnarray}
を得る。このまま解くこともできるが，少々見にくいのでそれぞれを$\dfrac{1}{n}$で割って
\begin{eqnarray} \left\{ \begin{array}{l} \mean{xy}-a\mean{x^2}-b\mean{x}=0\\ \mean{y}-a\mean{x}-b=0 \end{array} \right. \end{eqnarray}
よって，$b=-a\bar{x}+\bar{y}$を得る。また，$\mean{y}-a\mean{x}-b=0$に$\mean{x}$をかけて$\mean{xy}-a\mean{x^2}-b\mean{x}=0$から引けば
\begin{align} \mean{xy}-\mean{x}\cdot\mean{y}&=a(\mean{x^2}-\mean{x}^2)\\ S_{xy}&=aS^2_{x}\\ a&=\dfrac{S_{xy}}{S^2_{x}} \end{align}
ただし$S_{xy}=\mean{xy}-\mean{x}\cdot\mean{y}$と$S^2_{x}=\mean{x^2}-\mean{x}^2$を用いた。
したがって，$a=\dfrac{S_{xy}}{S^2_{x}}$を得る。

加えて，$b=-a\bar{x}+\bar{y}$を$\hat{y}_i=ax_i+b$に代入すると
$$y_i-\bar{y}=a(x_i-\bar{x})$$
となる