分散共分散行列の定義と性質

つまり，分散共分散行列は「対角成分が分散」で「非対角成分が共分散」である行列です。

参考：→共分散の意味と簡単な求め方

確率変数が $n$ 個の場合も同様です。

分散共分散行列は，データの散らばり具合や相関という情報を集約したものともいえます。

補足：データの分散共分散行列

ここまでは「複数の確率変数」に対して定まる分散共分散行列を紹介しました。

同様に，「$n$ 次元のデータ」に対しても分散共分散行列が定義されます。特に，標本分散共分散行列といいます（対角成分には標本分散，非対角成分には標本共分散が並ぶ）。

例えば $x_i$ が $i$ 番目の人の国語の点数，$y_i$ が数学の点数と思って下さい。

注：共分散は負になることがあるので，分散共分散行列の要素（非対角成分）が負になることもあります。

分散と共分散の定義を思い出してみると，分散共分散行列の第 $ij$ 成分は $E[(X_i-\mu_{i})(X_j-\mu_{j})]$ と書けることが分かります。

ただし $\mu_{i}$ は $X_i$ の平均です。

この表現を使うことで，対角成分と非対角成分を場合分けせずに統一的に扱うことができます。

確率変数たちが互いに独立な場合，共分散は全て $0$ になります。（独立なら無相関）→独立と無相関の意味と違いについて

つまり，分散共分散行列の非対角成分は $0$ になるので，この場合には分散共分散行列は対角行列になります。対角成分には分散（＝固有値）が並びます。

分散共分散行列は半正定値であるという重要な性質があります。

$2$ 変数の場合について証明します。一般の $n$ 次元の場合も全く同様に証明できます。

注：期待値と分散に関する公式一覧より，

• $\mathrm{Var}[aX]=a^2\mathrm{Var}[X]$
• $\mathrm{Var}[X_1+X_2]=\mathrm{Var}[X_1]+\mathrm{Var}[X_2]+2\sigma_{X_1X_2}$

注：一次元の場合の分散は非負ですが $0$ になることもあります。同様に，分散共分散行列も半正定値ですが正定値とは限りません。

なお，$n$ 次元縦ベクトルとして確率変数を並べたもの： $X=(X_1,X_2,\dots, X_n)^{\top}$ ，

期待値を並べたもの： $\mu=(\mu_{1},\mu_{2},\dots, \mu_{n})^{\top}$

とすれば $\Sigma=E[(X-\mu)(X-\mu)^{\top}]=E[XX^{\top}]-\mu\mu^{\top}$ となります。

真ん中の式より分散共分散行列が半正定値であることが分かります。最右辺は実際の計算に役立ちます。