二次形式の意味,微分,標準形など

二次形式とは,二次の項のみからなる多項式のこと。例えば,3x122x1x2+4x223x_1^2-2x_1x_2+4x_2^2 は二次形式。

線形代数や微分幾何など様々な分野に登場する二次形式についての知識を整理しました。

二次形式とは

二次形式とは,二次の項のみからなる多項式のことです。例えば,3x122x1x2+4x223x_1^2-2x_1x_2+4x_2^2x1,x2x_1,x_2 についての二次形式です。

二次形式は,対称行列 AA と「変数を縦に並べたベクトル xx」を用いて,xAxx^{\top}Ax というコンパクトな形で書けます。

例えば,

3x122x1x2+4x22=(x1x2)(3114)(x1x2)=xAx3x_1^2-2x_1x_2+4x_2^2\\ =\begin{pmatrix}x_1&x_2\end{pmatrix}\begin{pmatrix}3&-1\\-1&4\end{pmatrix}\begin{pmatrix}x_1\\x_2\end{pmatrix}\\ =x^{\top}Ax

と表現できます。

この場合,x=(x1x2)x=\begin{pmatrix}x_1\\x_2\end{pmatrix}A=(3114)A=\begin{pmatrix}3&-1\\-1&4\end{pmatrix} です。

二次形式をシグマで表す

二次形式は,ベクトルと行列を使って xAxx^{\top}Ax と表せることが分かりました。実は,AAijij 成分を aija_{ij} と書くと,

xAx=i,jaijxixjx^{\top}Ax=\displaystyle\sum_{i,j}a_{ij}x_ix_j

と表すことができます。ただし,i,ji,j はそれぞれ 11 から nn(変数の個数)までを動きます。

例えば,A=(3114)A=\begin{pmatrix}3&-1\\-1&4\end{pmatrix} の場合,

i,jaijxixj=3x1x1x1x2x2x1+4x22\displaystyle\sum_{i,j}a_{ij}x_ix_j\\ =3x_1x_1-x_1x_2-x_2x_1+4x_2^2

となり,xAx=3x122x1x2+4x22x^{\top}Ax=3x_1^2-2x_1x_2+4x_2^2 と一致します。

二次形式の標準形

二次形式には,以下の2種類があります。

きれいな二次形式:

2x12+3x222x_1^2+3x_2^2 のように「ax2ax^2 という項のみの二次形式」

きたない二次形式:

3x122x1x2+3x223x_1^2-2x_1x_2+3x_2^2 のように「x1x2x_1x_2 のような変数の混ざった項を含む二次形式」

実は,きたない二次形式は,変数を適切に直交変換することで,きれいな二次形式で表現できます。

例えば,3x22xy+3y23x^2-2xy+3y^2 という二次形式に対しては,

(XY)=12(1111)(xy)\begin{pmatrix}X\\Y\end{pmatrix}=\dfrac{1}{\sqrt{2}}\begin{pmatrix}1&1\\1&-1\end{pmatrix}\begin{pmatrix}x\\y\end{pmatrix}

と変数変換すると,

3x22xy+3y2=2(x2+y2)2+4(x2y2)2=2X2+4Y23x^2-2xy+3y^2\\ =2\left(\dfrac{x}{\sqrt{2}}+\dfrac{y}{\sqrt{2}} \right)^2+4\left(\dfrac{x}{\sqrt{2}}-\dfrac{y}{\sqrt{2}} \right)^2\\ =2X^2+4Y^2

となり,XYXY というクロスタームがないきれいな二次形式に変換できます。平方完成の多変数バージョンです。

二次形式の標準化と対角化

一般に,二次形式 xAxx^{\top}Ax を標準形になおすことは,対称行列 AA の対角化に対応します。

説明

対称行列 AA はある直交行列 UU を用いて対角化できる。→対称行列の固有値と固有ベクトルの性質の証明

つまり,UAUUAU^{\top} が対角行列になるような直交行列 UU が存在する。対角成分には AA の固有値 λi\lambda_i が並ぶ。

このとき,

xAx=xUUAUUx=(Ux)(UAU)(Ux)=iλiXi2x^{\top}Ax\\ =x^{\top}U^{\top}UAU^{\top}Ux\\ =(Ux)^{\top}(UAU^{\top})(Ux)\\ =\displaystyle\sum_{i}\lambda_iX_i^2

(ただし,XiX_iUxUx の第 ii 成分)

二次形式の微分

二次形式 xAxx^{\top}Ax の微分について考えてみます。

二次形式の微分公式

二次形式 xAxx^{\top}Ax の微分(勾配ベクトル)は 2Ax2Ax

AA が対称行列とは限らない一般の場合,xAxx^{\top}Ax の微分は (A+A)x(A+A^{\top})x になります。

勾配ベクトルとは,各変数での微分を並べたベクトルのことです。→勾配ベクトルの意味と例題

二次形式の微分公式を,3x122x1x2+4x223x_1^2-2x_1x_2+4x_2^2 の場合について確認してみましょう。

この二次形式を

  • x1x_1 で偏微分すると,6x12x26x_1-2x_2
  • x2x_2 で偏微分すると,2x1+8x2-2x_1+8x_2

となります。よって,勾配ベクトルは,

(6x12x22x1+8x2)\begin{pmatrix}6x_1-2x_2\\-2x_1+8x_2\end{pmatrix}

です。

一方,この二次方程式に対応する対称行列は,

A=(3114)A=\begin{pmatrix}3&-1\\-1&4\end{pmatrix}

でした。よって,

2Ax=2(3114)(x1x2)2Ax=2\begin{pmatrix}3&-1\\-1&4\end{pmatrix}\begin{pmatrix}x_1\\x_2\end{pmatrix}

です。2Ax2Ax は確かに勾配ベクトルと一致しています。

具体例で確認しましたが,一般の二次形式の微分が 2Ax2Ax になることも,成分計算で証明できます。

ちなみに,1変数の場合は「ax2ax^2 の微分が 2ax2ax になる」という高校数学の微分公式になります。

二次形式と行列のトレース

二次形式は行列のトレースで表現することもできます。

xAx=tr(Axx)x^{\top}Ax=\mathrm{tr}\:(Axx^{\top})

統計などでときどき使う公式です。これも簡単な計算で確認できるので練習にどうぞ。

複素数の二次形式を考えるときはエルミート行列が登場します。三次形式というものも一応あるみたいです。