正規方程式の導出と計算例

求める直線の傾きを $p$ ，切片を $q$ とおくと，以下のように行列表現できる。

目標： $\|Ax-b\|$ を最小にする $x=\begin{pmatrix}p\\q\end{pmatrix}$ を求める。

ただし，$A=\begin{pmatrix}2&1\\4&1\\9&1\end{pmatrix}$ ，$b=\begin{pmatrix}3\\7\\11\end{pmatrix}$

よって，答えは正規方程式を解くことにより，

$x=(A^{\top}A)^{-1}A^{\top}b=\begin{pmatrix}\frac{14}{13}\\\frac{21}{13}\end{pmatrix}$

求める直線の方程式は $y=\dfrac{14}{13}x+\dfrac{21}{13}$

まず，目的関数の二乗 $\|Ax-b\|^2$ を整理する：

$\|Ax-b\|^2=(Ax-b)^{\top}(Ax-b)\\ =(x^{\top}A^{\top}-b^{\top})(Ax-b)\\ =x^{\top}A^{\top}Ax-2x^{\top}A^{\top}b+b^{\top}b$

ただし，最後の変形で補足1を用いた。

これを $x$ で微分する（各要素で偏微分する，つまり勾配ベクトルを求める→補足2）と，$2A^{\top}Ax-2A^{\top}b$ となる。よって，$\|Ax-b\|$ が最小となる必要条件として，$A^{\top}Ax=A^{\top}b$ が得られる。

特に，$A^{\top}A$ が正則なときは，$x=(A^{\top}A)^{-1}A^{\top}b$ が唯一の解であり，この $x$ が最小値を与える。