最小二乗法の行列表現（一変数，多変数，多項式）

データ $(x_1,y_1),\dots ,(x_n,y_n)$ を直線モデル $y=\alpha x+\beta$ で説明したい（求めたいのは $\alpha$ と $\beta$）。最小二乗法の考え方に基づき，$\displaystyle\sum_{i=1}^n(y_i-\alpha x_i-\beta)^2$ を最小化したい。

これは，$A=\begin{pmatrix}1 & x_1\\ 1& x_2\\ \vdots & \vdots \\1 &x_n \end{pmatrix}$，$\overrightarrow{x}=\begin{pmatrix}\beta \\\alpha\end{pmatrix}$，$\overrightarrow{b}=\begin{pmatrix}y_1\\y_2\\ \vdots \\ y_n\end{pmatrix}$

とおくと $\|A\overrightarrow{x}-\overrightarrow{b}\|$ の最小化問題として書ける。

データ $(x_1,y_1,z_1),\dots, (x_n,y_n,z_n)$ を線形モデル $z=\alpha x+\beta y+\gamma$ で説明したい。最小二乗法の考え方に基づき，$\displaystyle\sum_{i=1}^n(z_i-\alpha x_i-\beta y_i-\gamma)^2$ を最小化したい。

これは，$A=\begin{pmatrix}1 & x_1&y_1\\ 1& x_2&y_2\\ \vdots & \vdots &\vdots\\1 &x_n &y_n\end{pmatrix}$，$\overrightarrow{x}=\begin{pmatrix}\gamma\\ \alpha \\\beta\end{pmatrix}$，$\overrightarrow{b}=\begin{pmatrix}z_1\\z_2\\ \vdots \\ z_n\end{pmatrix}$

とおくと $\|A\overrightarrow{x}-\overrightarrow{b}\|$ の最小化問題として書ける。

データ $(x_1,y_1),\dots ,(x_n,y_n)$ を $k$ 次多項式モデル $y=\displaystyle\sum_{t=0}^k\alpha_tx^t$ で説明したい。最小二乗法の考え方に基づき，$\displaystyle\sum_{i=1}^n(y_i-\displaystyle\sum_{t=0}^k\alpha_tx_i^t)^2$ を最小化したい。

これは，$A=\begin{pmatrix}1 & x_1& x_1^2 &\cdots &x_1^k \\ 1& x_2&x_2^2&\cdots &x_2^k\\ \vdots & \vdots& \vdots& & \vdots \\1 &x_n & x_n^2 &\cdots & x_n^k\end{pmatrix}$，$\overrightarrow{x}=\begin{pmatrix}\alpha_0 \\\alpha_1\\\vdots \\\alpha_k\end{pmatrix}$，$\overrightarrow{b}=\begin{pmatrix}y_1\\y_2\\ \vdots \\ y_n\end{pmatrix}$

とおくと $\|A\overrightarrow{x}-\overrightarrow{b}\|$ の最小化問題として書ける。