二次形式の意味，微分，標準形など

二次形式とは，二次の項のみからなる多項式のことです。例えば，$3x_1^2-2x_1x_2+4x_2^2$ は $x_1,x_2$ についての二次形式です。

二次形式は，対称行列 $A$ と「変数を縦に並べたベクトル $x$」を用いて，$x^{\top}Ax$ というコンパクトな形で書けます。

例えば，

$$\begin{aligned} 3x_1^2-2x_1x_2+4x_2^2\\ &=\begin{pmatrix}x_1&x_2\end{pmatrix}\begin{pmatrix}3&-1\\-1&4\end{pmatrix}\begin{pmatrix}x_1\\x_2\end{pmatrix}\\ &=x^{\top}Ax \end{aligned}$$

と表現できます。

この場合，$x=\begin{pmatrix}x_1\\x_2\end{pmatrix}$，$A=\begin{pmatrix}3&-1\\-1&4\end{pmatrix}$ です。

二次形式は，ベクトルと行列を使って $x^{\top}Ax$ と表せることが分かりました。実は，$A$ の $ij$ 成分を $a_{ij}$ と書くと， $$x^{\top}Ax=\displaystyle\sum_{i,j}a_{ij}x_ix_j$$ と表すことができます。ただし，$i,j$ はそれぞれ $1$ から $n$（変数の個数）までを動きます。

例えば，$A=\begin{pmatrix}3&-1\\-1&4\end{pmatrix}$ の場合，

$$\begin{aligned} &\sum_{i,j}a_{ij}x_ix_j\\ &=3x_1x_1-x_1x_2-x_2x_1+4x_2^2 \end{aligned}$$

となり，$x^{\top}Ax=3x_1^2-2x_1x_2+4x_2^2$ と一致します。

二次形式には，以下の2種類があります。

きれいな二次形式：

$2x_1^2+3x_2^2$ のように「$ax^2$ という項のみの二次形式」

きたない二次形式：

$3x_1^2-2x_1x_2+3x_2^2$ のように「$x_1x_2$ のような変数の混ざった項を含む二次形式」

実は，きたない二次形式は，変数を適切に直交変換することで，きれいな二次形式で表現できます。

例えば，$3x^2-2xy+3y^2$ という二次形式に対しては，

$$\begin{pmatrix}X\\Y\end{pmatrix}=\dfrac{1}{\sqrt{2}}\begin{pmatrix}1&1\\1&-1\end{pmatrix}\begin{pmatrix}x\\y\end{pmatrix}$$

と変数変換すると，

$$\begin{aligned} &3x^2-2xy+3y^2\\ &=2\left(\dfrac{x}{\sqrt{2}}+\dfrac{y}{\sqrt{2}} \right)^2+4\left(\dfrac{x}{\sqrt{2}}-\dfrac{y}{\sqrt{2}} \right)^2\\ &=2X^2+4Y^2 \end{aligned}$$

となり，$XY$ というクロスタームがないきれいな二次形式に変換できます。平方完成の多変数バージョンです。

一般に，二次形式 $x^{\top}Ax$ を標準形になおすことは，対称行列 $A$ の対角化に対応します。

二次形式 $x^{\top}Ax$ の微分について考えてみます。

※$A$ が対称行列とは限らない一般の場合，$x^{\top}Ax$ の微分は $(A+A^{\top})x$ になります。

勾配ベクトルとは，各変数での微分を並べたベクトルのことです。→勾配ベクトルの意味と例題

二次形式の微分公式を，$3x_1^2-2x_1x_2+4x_2^2$ の場合について確認してみましょう。

この二次形式を

• $x_1$ で偏微分すると，$6x_1-2x_2$
• $x_2$ で偏微分すると，$-2x_1+8x_2$

となります。よって，勾配ベクトルは， $$\begin{pmatrix}6x_1-2x_2\\-2x_1+8x_2\end{pmatrix}$$ です。

一方，この二次形式に対応する対称行列は， $$A=\begin{pmatrix}3&-1\\-1&4\end{pmatrix}$$ でした。よって， $$2Ax=2\begin{pmatrix}3&-1\\-1&4\end{pmatrix}\begin{pmatrix}x_1\\x_2\end{pmatrix}$$ です。$2Ax$ は確かに勾配ベクトルと一致しています。

具体例で確認しましたが，一般の二次形式の微分が $2Ax$ になることも，成分計算で証明できます。

ちなみに，1変数の場合は「$ax^2$ の微分が $2ax$ になる」という高校数学の微分公式になります。

二次形式は行列のトレースで表現することもできます。

統計などでときどき使う公式です。これも簡単な計算で確認できるので練習にどうぞ。