平均をどちらも $0$ にする平行移動を利用した証明

実データ $(x_{i},y_{i})$ を，$x$ 軸方向に $-\overline{x}$，$y$ 軸方向に $-\overline{y}$ 平行移動した，変換したデータを $X_{i}=x_{i}-\overline{x}$，$Y_{i}=y_{i}-\overline{y}$ とする．$(X_{i},Y_{i})$ に対しての回帰直線を $\alpha x+\beta$ とし，これをまず求める．

データ $Y_{i}$ と $\alpha X_{i}+\beta$ の差(残差)の2乗の和(残差平方和)

$\displaystyle S(\alpha,\beta)=\sum_{i=1}^{n}\{Y_{i}-(\alpha X_{i}+\beta)\}^{2}$

を最小にすることを考える．

$\displaystyle \sum_{i=1}^{n} X_{i}=0$，$\displaystyle \sum_{i=1}^{n} Y_{i}=0$ であることを踏まえ，$S(\alpha,\beta)$ を変形すると

　$\displaystyle S(\alpha,\beta)$

$\displaystyle =\sum\{Y_{i}-(\alpha X_{i}+\beta)\}^{2}$　←以降シグマは略記

$\displaystyle =\sum(-\alpha X_{i}+Y_{i}-\beta)^{2}$

$\displaystyle =\sum\{X_{i}^{2}\alpha^{2}-2X_{i}(Y_{i}-\beta)\alpha+(Y_{i}-\beta)^{2}\}$

$\displaystyle =\left(\sum X_{i}^{2}\right)\alpha^{2}-2\left(\sum X_{i}Y_{i}\right)\alpha+\sum Y_{i}^{2}+n\beta^{2}$

$\displaystyle =\left(\sum X_{i}^{2}\right)\left(\alpha^{2}-\dfrac{\displaystyle 2\sum X_{i}Y_{i}}{\displaystyle \sum X_{i}^{2}}\alpha\right)+\sum Y_{i}^{2}+n\beta^{2}$

$\displaystyle =\left(\sum X_{i}^{2}\right)\left(\alpha-\dfrac{\displaystyle \sum X_{i}Y_{i}}{\displaystyle \sum X_{i}^{2}}\right)^{2}-\dfrac{\left(\displaystyle \sum X_{i}Y_{i}\right)^{2}}{\displaystyle \sum X_{i}^{2}}+\sum Y_{i}^{2}+n\beta^{2}$

以上より

　$\beta=0$

　$\alpha$

$=\dfrac{\displaystyle \sum X_{i}Y_{i}}{\displaystyle \sum X_{i}^{2}}$

$=\dfrac{\displaystyle \sum (x_{i}-\overline{x})(y_{i}-\overline{y})}{\displaystyle \sum (x_{i}-\overline{x})^{2}}$

$=\dfrac{s_{xy}}{s_{x}^{2}}$

のとき最小なので $(X_{i},Y_{i})$ での回帰直線は

$y=\dfrac{s_{xy}}{s_{x}^{2}}\cdot x$

求める回帰直線は，上の直線を $x$ 軸方向に $\overline{x}$，$y$ 軸方向に $\overline{y}$ 平行移動すればいいので

$y-\overline{y}=\dfrac{s_{xy}}{s_{x}^{2}}\left(x-\overline{x}\right)$

$\Longleftrightarrow \ y=\dfrac{s_{xy}}{s_{x}^{2}}x+\overline{y}-\dfrac{s_{xy}}{s_{x}^{2}}\overline{x}$

※平行移動をしない証明は計算が尋常でない量になるのでやめた方がいいです．