線形代数

以下の条件を満たすとき，ベクトル $\overrightarrow{v}_1,\dots,\overrightarrow{v}_k$ は一次独立であるという。

条件：$\displaystyle\sum_{i=1}^kc_i\overrightarrow{v}_i=\overrightarrow{0}$ を満たす実数 $c_1,\dots, c_k$ の組は $c_1=\cdots =c_k=0$ のみ。

三次元空間において，$\overrightarrow{n}$ を軸として，$\overrightarrow{r}$ を $\theta$ 回転させた点 $\overrightarrow{r'}$ は，

$\overrightarrow{r'}=(\cos\theta)\overrightarrow{r}+(1-\cos\theta)(\overrightarrow{r}\cdot\overrightarrow{n})\overrightarrow{n}+(\sin\theta)(\overrightarrow{n}\times\overrightarrow{r})$

$i=1,\dots, n$ について，$i$ 列目が $1,x_i,x_i^2,\dots,x_i^{n-1}$ である $n\times n$ 行列：

$$V_n=\begin{pmatrix}1&1&1&\cdots&1\\x_1&x_2&x_3&\cdots&x_n\\x_1^2&x_2^2&x_3^2&\cdots&x_n^2\\ \vdots&\vdots&\vdots&\ddots&\vdots\\x_1^{n-1}&x_2^{n-1}&x_3^{n-1}&\cdots&x_{n}^{n-1}\end{pmatrix}$$

をヴァンデルモンド行列と呼ぶ。

連立方程式 $A\overrightarrow{x}=\overrightarrow{b}$ の解は，$\det A\neq 0$ のもとで， $$x_i=\dfrac{\det A_i}{\det A}$$ である。ただし，$x_i$ は $\overrightarrow{x}$ の第 $i$ 成分であり，$A_i$ は $A$ の第 $i$ 列の部分を $\overrightarrow{b}$ にしたもの。

$A\overrightarrow{x}=\lambda \overrightarrow{x}$

が成立するとき $\overrightarrow{x}$ を $A$ の固有ベクトル(英：eigenvector)，$\lambda$ を $A$ の固有値(英：eigenvalue)と言う。ただし，$A$ は正方行列，$\overrightarrow{x}$ は $\overrightarrow{0}$ でないベクトル，$\lambda$ は スカラー。

$A=\begin{pmatrix} a_{11}& a_{12}\\ a_{21}& a_{22} \end{pmatrix}$，$B=\begin{pmatrix} b_{11}& b_{12}\\ b_{21}& b_{22} \end{pmatrix}$ のとき， $$AB=\begin{pmatrix} a_{11}b_{11}+a_{12}b_{21}& a_{11}b_{12}+a_{12}b_{22}\\ a_{21}b_{11}+a_{22}b_{21}& a_{21}b_{12}+a_{22}b_{22} \end{pmatrix}$$

行列に対して「行」と「列」を入れ替えた行列を転置行列と言う。

$A$ を $m\times n$ 実行列とするとき， $$\mathrm{rank}\:A+\dim (\mathrm{Ker}\:A)=n$$

有限集合 $E$ とその部分集合族 $\mathcal{F}$ について，以下の3つの条件が成立するとき $(E,\mathcal{F})$ のペアをマトロイドと言う。

1. $\emptyset\in \mathcal{F}$

2. $X\subseteq Y$ かつ $Y\in\mathcal{F}$ なら $X\in\mathcal{F}$

3. $X,Y\in \mathcal{F}$ かつ $|X| <|Y|$ ならある $e\in Y\setminus X$ が存在して $X+e\in \mathcal{F}$

実対称行列について，

• 固有値がすべて $0$ 以上であるとき，半正定値行列という。
• 固有値がすべて正であるとき，正定値行列という。

行列 $A$ が対称行列であるとは，転置しても変わらないことをいう。

つまり，$A$ の $i$ 行 $j$ 列の成分を $a_{ij}$ としたとき，$a_{ij} = a_{ji}$ が成立する行列のことをいう。

正方行列 $A$ に対して，$\det(A-\lambda I)$ という $\lambda$ の多項式の $\lambda$ の部分を $A$ に変えたものはゼロ行列になる。

与えられた正方行列 $A$ に対して，正則行列 $P$ をうまく取ってきて $P^{-1}AP$ を対角行列にする操作を対角化と言う。

$n\times n$ 正方行列 $A$ に対して，対角成分の和 $\displaystyle\sum_{k=1}^na_{kk}$ を $A$ のトレース（跡）と言い，$\mathrm{tr}\:A$ と書く。

$A=\begin{pmatrix}a&b\\c&d\end{pmatrix}$ の逆行列は，$A^{-1}=\dfrac{1}{ad-bc}\begin{pmatrix}d&-b\\-c&a\end{pmatrix}$

1. $U^{\top}=U^{-1}$

2. $U$ の $n$ 本の行ベクトルが正規直交基底をなす

3. $U$ の $n$ 本の列ベクトルが正規直交基底をなす

4. 任意の $x\in \mathbb{R}^n$ に対して $\|Ux\|=\|x\|$

5. 任意の $x,y\in\mathbb{R}^n$ に対して $Ux\cdot Uy=x\cdot y$

ある行と別の行を交換する。

例. 1行目と3行目を交換する

行列 $A$ に対して，$Ax=\overrightarrow{0}$ を満たすベクトル $x$ の集合を $A$ のカーネル（または核）と言い，$\mathrm{Ker}\:A$ と書くことが多い。

$\|A\|_{\mathrm{F}}^2=\mathrm{tr}(AA^{\top})=\mathrm{tr}(A^{\top}A)$

$$a_{n+k}=p_{k-1}a_{n+k-1}+p_{k-2}a_{n+k-2}+\cdots +p_1a_{n+1}+p_0a_n$$

という漸化式について，$k$ 次方程式 $$\phi(\lambda)=\lambda^k-p_{k-1}\lambda^{k-1}-p_{k-2}\lambda^{k-2}-\cdots -p_1\lambda-p_0=0$$ を特性方程式と言う。特性方程式の解 $\lambda_1,\cdots, \lambda_k$ が全て異なるとき，数列 $a_n$ の一般項は $$a_n=C_1\lambda_1^n+C_2\lambda_2^n+\cdots +C_k\lambda_k^n$$ と表せる（$C_1,\cdots,C_k$ は初期条件によって決まる定数）。

$A$ を $m\times n$ 行列，$B$ を $n\times m$ 行列とする。

$m\leq n$ なら，

$\det AB=\displaystyle\sum_{S}\det A[S]\det B[S]$

正方行列 $A$ に対して，$e^A$ を以下の式で定義する。

$e^{A}=I+A+\dfrac{A^2}{2!}+\dfrac{A^3}{3!}+\cdots$

正方行列 $A$ について，$AB=BA=I$（単位行列）となる行列 $B$ が存在するとき，$A$ を正則行列と言う。

次の連立微分方程式を解け。 $$\begin{cases} \dfrac{dx_1(t)}{dt} = x_1(t)-2x_2(t)\\ \dfrac{dx_2(t)}{dt} = x_1(t) +4x_2(t) \end{cases}$$ ただし $x_1(0)=1,x_2(0)=-2$ とする。

正方行列 $A$ に対して，$e^A$ は

$$e^{A}=I+A+\dfrac{A^2}{2!}+\dfrac{A^3}{3!}+\cdots$$

と定義される。

$\begin{pmatrix}x&y&z\\z&x&y\\y&z&x\end{pmatrix}$ のように，「左上～右下方向」に同じ値が並んだ行列を巡回行列（循環行列，Circulant matrix）という。

$P^2=P$ を満たす正方行列 $P$ を射影行列という。

1(大雑把な言い方)：
多変数の二次関数を平方完成したとき，二乗の係数のプラス・0・マイナスの数は平方完成のやり方によらない。

2(数式で正確に)：
対称行列 $A$ に対して，正の固有値の数，$0$ の固有値の数，負の固有値の数を $p(A),z(A),n(A)$ とおく。正則行列 $S$ を用いて $B=S^{\top}AS$ という関係が成立するなら，$p(A)=p(B),z(A)=z(B),n(A)=n(B)$

3(簡潔な言い方)：
互いに合同な行列の固有値の各符号の数は同じ。

対角成分が $1$ で，それ以外の成分が $0$ である正方行列を単位行列と言う。

• サイズ2の単位行列：$\begin{pmatrix}1&0\\0&1\end{pmatrix}$
• サイズ3の単位行列：$\begin{pmatrix}1&0&0\\0&1&0\\0&0&1\end{pmatrix}$

任意の $m\times n$ 複素行列 $A$ に対して，以下の4つの条件を満たす $n\times m$ 複素行列 $B$ がただ1つ存在する。

1. $ABA=A$
2. $BAB=B$
3. $(AB)^{*}=AB$
4. $(BA)^{*}=BA$

$A\overrightarrow{x}=\overrightarrow{b}$ を満たす $\overrightarrow{x}$ の中で $\|\overrightarrow{x}\|_2$ を最小にする解 $\overrightarrow{x_*}$ がただ1つ存在し， $$\overrightarrow{x_*}=A^{\top}(AA^{\top})^{-1}\overrightarrow{b}$$ ただし，$A$ は行ベクトルが線形独立な $m\times n$ 行列，$\overrightarrow{x}$ は $n$ 次元ベクトル，$\overrightarrow{b}$ は $m$ 次元ベクトルとする。

任意の正方行列 $A$ に対して，あるユニタリ行列 $Q$ と上三角行列 $R$ が存在して $$A=QR$$ と分解できる。

正方行列 $A$ が $$AA^{\ast}=A^{\ast}A$$ を満たすとき，$A$ を正規行列（normal matrix）と言う。

正方行列に対して

「$i$ 行目と $j$ 列目を除いた行列」の行列式に $(-1)^{i+j}$ をかけたもの

を$(i,j)$ 余因子と言う。

任意の正規行列 $A$ は以下のように分解できる。 $$A=\displaystyle\sum_{i=1}^N\lambda_iP_{\lambda_i}$$ ただし，$\lambda_1,...,\lambda_N$ は $A$ の相異なる固有値すべてで，$P_{\lambda_i}$ は固有値 $\lambda_i$ の固有空間への射影行列。

$V$ を実ベクトル空間とする。$x,y\in V$ に対して実数を定める関数 $\langle x,y \rangle :V\times V\to \mathbb{R}$ が以下の1～4を満たすとき，$\langle \ , \ \rangle$ を内積といい，$V$ を内積空間（計量ベクトル空間）という。

1. $\langle x,y \rangle = \langle y,x \rangle$（エルミート性）
2. $\langle x + ay , z \rangle = \langle x,z \rangle + a\langle y,z \rangle$（$x,y,z \in V$，$a \in \mathbb{R}$）（線型性）
3. $\langle x,x \rangle \geqq 0$（正定値性）
4. $\langle x,x \rangle = 0 \Rightarrow x = 0$（非退化性）

$V$ を内積空間とする。ここで内積を $\langle \; , \; \rangle$ で表す。

$V$ の部分空間 $W$ の直交補空間 $W^{\perp}$ を $$W^{\perp} = \{ v \in V \mid \forall w \in W , \langle v,w \rangle = 0 \}$$ と定める。

※ 内積空間よりも広く，双線型形式というものが定義されたベクトル空間であれば，直交補空間を定義することができます。

実ノルム空間 $V$ について，中線定理 $$\| x+y \|^2 + \| x-y \|^2 = 2 \left( \| x \|^2 + \| y \|^2 \right)$$ が成立するとき， $$\langle x,y \rangle = \dfrac{1}{4} (\| x+y \|^2 - \| x-y \|^2)$$ により内積が定まる。

またこうして得られた内積において $$\langle x,x \rangle = \| x \|$$ となる。

$$\begin{aligned} \det A &= \sum_{\sigma\in S_n}\mathrm{sgn} (\sigma) \prod_{i=1}^na_{i\sigma(i)}\\ &= \sum_{\sigma\in S_n} \mathrm{sgn} (\sigma) \ a_{1\sigma(1)}a_{2\sigma(2)}\cdots a_{n\sigma(n)} \end{aligned}$$

$$\begin{aligned} \det A &= \sum_{\sigma\in S_n}\mathrm{sgn} (\sigma) \prod_{i=1}^na_{i\sigma(i)}\\ &= \sum_{\sigma\in S_n} \mathrm{sgn} (\sigma) \ a_{1\sigma(1)}a_{2\sigma(2)}\cdots a_{n\sigma(n)} \end{aligned}$$

$$\begin{aligned} \det A &= \sum_{\sigma\in S_n}\mathrm{sgn} (\sigma) \prod_{i=1}^na_{i\sigma(i)}\\ &= \sum_{\sigma\in S_n} \mathrm{sgn} (\sigma) \ a_{1\sigma(1)}a_{2\sigma(2)}\cdots a_{n\sigma(n)} \end{aligned}$$

正則な $2 \times 2$ 行列は，回転行列・対角行列・（対角成分が $1$ である）上三角行列の積，つまり $$\begin{pmatrix} \cos \theta & \sin \theta\\ -\sin \theta & \cos \theta \end{pmatrix} \begin{pmatrix} x &0\\ 0 &y \end{pmatrix} \begin{pmatrix} 1 & t\\ 0&1 \end{pmatrix}$$ という形に分解できる。

行列 $A$ の最小多項式とは，最高次数の係数が $1$ の多項式 $f$ であって $f (A) = O$ となるもののうち次数が一番小さいものである。

与えられた正方行列 $A$ に対して，ユニタリ行列（直交行列） $P$ をうまく取ってきて $P^{-1}AP$ を上三角行列にできる。

※ $A$ の固有値が全て実数の場合，直交行列で三角化できる。

ベクトル空間 $V$ の2つの基底 $\{ v_1 , \dots , v_n \}$，$\{ {v_1}', \dots , {v_n}' \}$ について

$$\begin{pmatrix} {v_1}' & \cdots & {v_n}' \end{pmatrix} = \begin{pmatrix} v_1 & \cdots & v_n \end{pmatrix} P$$

を満たす $n\times n$ 正方行列 $P$ を基底の変換行列という。ただし，

• $\begin{pmatrix} {v_1}' & \cdots & {v_n}' \end{pmatrix}$ とは，$n$ 本の縦ベクトル ${v_1}',...,{v_n}'$ を横に並べた $n\times n$ 行列
• $\begin{pmatrix} {v_1} & \cdots & {v_n} \end{pmatrix}$ とは，$n$ 本の縦ベクトル ${v_1},...,{v_n}$ を横に並べた $n\times n$ 行列

ベクトル空間 $V$ と $W$ の基底をそれぞれ $\{ v_1 , \cdots , v_n \}$ と $\{ w_1 , \cdots , w_m \}$ とする。

ベクトル空間の線型写像 $f : V \to W$ について $$\begin{cases} f(v_1) = a_{11} w_1 + a_{21} w_2 + \cdots + a_{m1} w_m\\ f(v_2) = a_{12} w_1 + a_{22} w_2 + \cdots + a_{m2} w_m\\ \; \vdots\\ f(v_m) = a_{1n} w_1 + a_{2n} w_2 + \cdots + a_{mn} w_m \end{cases}$$ と表されたとする。この係数を並べた行列 $$\begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \vdots & \vdots & \ddots & \vdots\\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{pmatrix}$$ を$\{ v_1 , \cdots , v_n \}$ と $\{ w_1 , \cdots , w_m \}$ による線型写像の表現行列という。

つまり表現行列とは， $$\begin{pmatrix} f(v_1) & \cdots & f(v_n) \end{pmatrix} = \begin{pmatrix} w_1 & \cdots & w_m \end{pmatrix} A$$ と表すことができる行列 $A$ のことである。

行列 $A$ に対して，転置して複素共役を取った行列 $A^{\ast} = \overline{A^{\top}}$ を，随伴行列（共役転置行列・エルミート転置行列）という。

$V,W$ を $K$ 上のベクトル空間とする。（$K$ は体，例えば $\mathbb{R}$ や $\mathbb{C}$ など）

写像 $p: V \to W$ が

1. $\phi (v_1 + v_2) = \phi (v_1) + \phi (v_2)$（$v_1 , v_2 \in V$）
2. $\phi (cv) = c \phi (v)$（$a \in K$，$v \in V$）

を満たすとき $\phi$ を線型写像（線型変換）という。

$V$ をベクトル空間，$W$ を $V$ の部分ベクトル空間とする。

$V$ 上の二項関係 $\sim$ を $v \sim v'\iff v-v' \in W$ で定義すると，$\sim$ は同値関係を成す。$V$ をこの同値関係で割った商集合はベクトル空間の構造を持つ。

これを商ベクトル空間といい，$V/W$ と書く。

対角化可能な行列 $A,B$ について次の2つは同値である。

• $AB = BA$ を満たす。
• $A,B$ は同時対角化である。つまり，ある正則行列 $P$ があって $PAP^{-1}$ と $PBP^{-1}$ は対角行列にできる。

$n \times n$ 行列 $A$ に対して，固有値 $\lambda$ の固有ベクトル全体（に $0$ ベクトルを加えたもの）の集合はベクトル空間になる。これを $\lambda$ に対する固有空間 という。

有限次元ベクトル空間 $V$ の部分空間 $W$ について，次が成り立つ。

• $\dim V \ge \dim W$
• $\dim V = \dim W$ であれば $V = W$ になる。