分散共分散行列の定義と性質

確率変数が二つの場合の定義

確率変数 $X_1,X_2$ に対して，分散共分散行列（単に共分散行列とも言う）$\Sigma$ を以下のように定めます：

$\Sigma=\begin{pmatrix}\sigma_{1}^2&\sigma_{12}\\\sigma_{12}&\sigma_{2}^2\end{pmatrix}$

ただし，$\sigma_{1}^2$ は $X_1$ の分散，$\sigma_{2}^2$ は $X_2$ の分散，$\sigma_{12}$ は $X_1$ と $X_2$ の共分散です（この記事では $\mathrm{Cov}(X_1,X_2)$ という記号は使いません）。

対角成分には分散が並び，非対角成分には共分散が並ぶため分散共分散行列と呼ばれます。

確率変数が $n$ 個の場合も全く同様に定義されます。

データの散らばり具合や相関という情報を集約したものです！

同様に，$n$ 次元のデータに対しても標本分散共分散行列が定義されます（対角成分には標本分散，非対角成分には標本共分散が並ぶ）。

具体例

例えば $x_i$ が $i$ 番目の人の国語の点数，$y_i$ が数学の点数と思って下さい。

解答

$E[X]=70,E[Y]=90$

であり，偏差ベクトル（平均からの差）は $(-30,-10),(10,0),(20,10)$

よって

$\sigma_X^2=\dfrac{1}{3}\{(-30)^2+10^2+20^2\}=\dfrac{1400}{3}$ $\sigma_Y^2=\dfrac{1}{3}\{(-10)^2+10^2\}=\dfrac{200}{3}$ $\sigma_{XY}=\dfrac{1}{3}(300+200)=\dfrac{500}{3}$

分散共分散行列は，$\Sigma=\begin{pmatrix}\dfrac{1400}{3}&\dfrac{500}{3}\\ \dfrac{500}{3}&\dfrac{200}{3}\end{pmatrix}$

注：共分散が負になることがあるので，分散共分散行列の要素（非対角成分）が負になることもあります。

別の表現

分散と共分散の定義を思い出してみると， 分散共分散行列の第 $ij$ 成分は $E[(X_i-\mu_{i})(X_j-\mu_{j})]$ と書けることが分かります。

（ただし $\mu_{i}$ は $X_i$ の平均）

この表現を使うことで，対角成分と非対角成分を場合分けせずに統一的に扱うことができます。

独立な場合

確率変数たちが互いに独立な場合，共分散は全て $0$ になります。（独立なら無相関）→独立と無相関の意味と違いについて

つまり，分散共分散行列の非対角成分は $0$ になるので，この場合には分散共分散行列は対角行列になります。対角成分には分散（＝固有値）が並びます。

半正定値であること

分散共分散行列は半正定値であるという重要な性質があります。

以下の証明は $2$ 変数の場合です。一般の $n$ 次元の場合も全く同様に証明できます。

注： $\mathrm{Var}[aX]=a^2\mathrm{Var}[X]$

$\mathrm{Var}[X_1+X_2]=\mathrm{Var}[X_1]+\mathrm{Var}[X_2]+2\sigma_{X_1X_2}$ →期待値と分散に関する公式一覧

注：一次元の場合の分散は非負ですが $0$ になることもあります。同様に，分散共分散行列も半正定値ですが正定値とは限りません。

補足

なお，$n$ 次元縦ベクトルとして確率変数を並べたもの： $X=(X_1,X_2,\cdots, X_n)^{\top}$ ，

期待値を並べたもの： $\mu=(\mu_{1},\mu_{2},\cdots, \mu_{n})^{\top}$

とすれば $\Sigma=E[(X-\mu)(X-\mu)^{\top}]=E[XX^{\top}]-\mu\mu^{\top}$ となります。

真ん中の式より分散共分散行列が半正定値であることが分かります。最右辺は実際の計算に役立ちます。