最良線形不偏推定量（BLUE）とガウス・マルコフの定理

$$\begin{aligned}\hat{A}&=\dfrac{1}{\sigma_X^2}\displaystyle\sum_{i}(x_i-\overline{x})(y_i-\overline{y})\\ &=\dfrac{1}{\sigma_X^2}\left\{\displaystyle\sum_{i}(x_i-\overline{x})y_i+\overline{y}\sum_i(x_i-\overline{x})\right\}\\ &=\dfrac{1}{\sigma_X^2}\displaystyle\sum_{i}(x_i-\overline{x})y_i\end{aligned}$$ これは，$y_i$ たちの1次式である。係数は $\dfrac{x_i-\overline{x}}{\sigma_X^2}$

まず，$E[y_i]=Ax_i+B$ である。

これを $i$ についてたしあげて $n$ で割ると， $$E[\overline{y}]=A\overline{x}+B$$ を得る。以上2つの式を使うと， $$\begin{aligned}E[\hat{A}]&=E\left[\dfrac{1}{\sigma_X^2}\displaystyle\sum_{i}(x_i-\overline{x})(y_i-\overline{y})\right]\\& =\dfrac{1}{\sigma_X^2}\sum_i(x_i-\overline{x})(E[y_i]-E[\overline{y}])\\ &=\dfrac{A}{\sigma_X^2}\sum_i(x_i-\overline{x})(x_i-\overline{x})\\ &=A\end{aligned}$$

ただし，1つめの等号は期待値の線形性，最後の等号は分散 $\sigma_X^2$ の定義を使った。

線形推定量 $\displaystyle\sum_i c_iy_i$ が不偏推定量のとき， $$E\left[\displaystyle\sum_i c_iy_i\right]=E\left[\displaystyle\sum_i c_i(Ax_i+B+\varepsilon_i)\right]=A$$ が $x_i$ によらず成立するので $$\sum_ic_ix_i=1,\sum_i c_i=0$$ である。この制約のもとで，分散 $$V\left[\displaystyle\sum_i c_iy_i\right]=\sum_{i}c_i^2V[y_i]=\sigma^2\sum_i c_i^2$$ を最小化したい（上記変形で $y_i$ たちが無相関であることを使った）。

これは，シュワルツの不等式を以下のように使うとできる： $$(\sum_i c_i^2)\left\{\sum_i (x_i-\overline{x})^2\right\}\geq \left\{\sum_ic_i(x_i-\overline{x})\right\}^2$$ （制約より右辺は1で左辺は $\sigma_X^2\displaystyle\sum_ic_i^2$ になる）

よって，分散を最小にするのは，シュワルツの不等式の等号成立条件より，$c_i=w(x_i-\overline{x})$ となる定数 $w$ が存在するときである。そして，$c_i=\dfrac{x_i-\overline{x}}{\sigma_X^2}$ とすれば制約も満たす。