相関行列の定義と分散共分散行列との関係

相関係数とは，2つの確率変数の間の関係を表す数です。

• 相関係数は $-1$ から $1$ の間
• 相関係数が大きい（1に近い）
  → 片方が大きいとき，もう片方も大きい傾向がある
• 相関係数が $0$ に近い
  → 2つの変数にあまり関係はない
• 相関係数が小さい（-1に近い）
  → 片方が大きいとき，もう片方は小さい傾向がある

→相関係数の意味と6つの性質（範囲が-1以上1以下、など）

例えば $n=3$ の場合，相関行列は $\begin{pmatrix}1&\rho_{12}&\rho_{13}\\\rho_{12}&1&{\rho_{23}}\\\rho_{13}&\rho_{23}&1\end{pmatrix}$ のようになります。

• $X_i$ と $X_i$ の相関係数は $\rho_{ii}=1$ です。つまり，相関行列の対角成分は $1$ です。

• 相関行列の非対角成分は $-1$ 以上 $1$ 以下です。

• $\rho_{ij}=\rho_{ji}$ より，相関行列は対称行列です。

• $X_1,X_2,\dots,X_n$ は互いに相関係数が計算できる「変数」です。具体的には，確率変数または（$n$ 組の対応する）データ，例えば $n$ 個の説明変数です。後者の場合の相関行列を，特に標本相関行列と言うことがあります。

確率変数 $X_1,X_2,\cdots, X_n$ に対する相関行列 $C$ は，

（$X_i$ たちをスケール変換した）確率変数 $\dfrac{X_1}{\sigma_1},\dfrac{X_2}{\sigma_2},\cdots,\dfrac{X_n}{\sigma_n}$ に対する分散共分散行列 $\Sigma'$ と一致します（$\sigma_i$ は $X_i$ の標準偏差）。

実際，

• $C$ の $ii$ 成分は $1$，$\Sigma'$ の $ii$ 成分は $\dfrac{X_i}{\sigma_i}$ の分散なので $1$ となり一致します。
• $C$ の $ij$ 成分は $\rho_{ij}$，$\Sigma'$ の $ij$ 成分は $\dfrac{X_i}{\sigma_i}$ と $\dfrac{X_j}{\sigma_j}$ の共分散なので $\dfrac{\mathrm{Cov}(X_i,X_j)}{\sigma_i\sigma_j}=\rho_{ij}$ となり一致します。

確率変数 $X_1,X_2,\cdots, X_n$ に対する相関行列 $C$ と分散共分散行列 $\Sigma$ の間には $C=D\Sigma D$ という関係が成り立ちます。ただし，$D$ は $ii$ 成分が $\dfrac{1}{\sigma_i}$ であるような対角行列です。

この関係式は成分計算で簡単に確認できます。

相関行列は半正定値です。 →半正定値対称行列の意味と性質【固有値・二次形式・分解・小行列式】

これは，分散共分散行列が半正定値であることと「分散共分散行列との関係2」から分かります。