行列のQR分解と応用（固有値・最小二乗法）

$n\times n$ 行列 $A$ が正則な場合のみ証明する。

$A$ の $i$ 列目を $\overrightarrow{a_i}$ とおく。$\overrightarrow{a_i}$ たちは線形独立であり，グラムシュミットの直交化法を使うと，正規直交基底 $\overrightarrow{q_1},...,\overrightarrow{q_n}$ を得る。

このとき，$\overrightarrow{q_j}$ は $\overrightarrow{a_1},...,\overrightarrow{a_j}$ の一次結合である。この係数を $r_{ij}$ で表す： $$\overrightarrow{q_j}=\sum_{i=1}^jr_{ij}\overrightarrow{a_i}$$

この $n$ 本の関係式をまとめて行列の形で書くと， $$(\overrightarrow{q_1},\overrightarrow{q_2},\dots,\overrightarrow{q_n})=(\overrightarrow{a_1},\overrightarrow{a_2},\dots,\overrightarrow{a_n})\begin{pmatrix}r_{11}&r_{12}&\cdots&r_{1n}\\ 0&r_{22}&\cdots &r_{2n}\\ \vdots&\vdots&\ddots &\vdots\\ 0&0&\cdots&r_{nn}\end{pmatrix}$$

左辺はユニタリ行列である。これを $Q$ とおく。右辺の上三角行列を $R'$ とおくと， $$Q=AR'$$ となる。右から $R'$ の逆行列 $R$ をかける（$A$ が正則なら $\det R'\neq 0$ より $R'$ も正則）と， $$A=QR$$ となる。上三角行列の逆行列は上三角行列なので $R$ は上三角行列である。

$A=QR$ とQR分解できたとする。

積の行列式は行列式の積なので，

$\det A=\det Q\det R$

である。ユニタリ行列の行列式の絶対値は $1$ なので $|\det A|=|\det R|$

さらに，三角行列の行列式は対角成分の積(※)なので

$|\det A|$ は簡単に計算できる。

ユニタリ行列は正則であり， $$A_2=R_1Q_1=(Q_1^{-1}A)Q_1=Q_1^{-1}AQ_1$$ 相似変換で固有値は変わらないので $A_2$ と $A$ の固有値は等しい。

同様に，$k=3,4,...,n$ に対して $$A_{k}=R_{k-1}Q_{k-1}=Q_{k-1}^{-1}A_{k-1}Q_{k-1}$$

より $A_n$ と $A$ の固有値は等しい。

$A^{\top}A$ が正則なとき，$x^*$ は $A^{\top}Ax=A^{\top}b$ の唯一の解である。
→正規方程式の導出と計算例

もし $A=QR$ とQR分解できて，$Rx^{*}=Q^{\top}b$ なら正規方程式を満たすことがわかる：

$A^{\top}Ax^*\\ =R^{\top}Q^{\top}QRx^{*}\\ =R^{\top}Rx^{*}\\ =R^{\top}Q^{\top}b\\ =(QR)^{\top}b\\ =A^{\top}b$