多変量正規分布の確率密度関数の解説

まずは記号の意味について解説します。

• $\overrightarrow{x}$ と $\overrightarrow{\mu}$ は $n$ 次元の縦ベクトルです。$\overrightarrow{\mu}$ は一次元の場合の「平均」を一般化したもので，各成分は各確率変数の平均です。平均ベクトルなどと呼ばれます。

• $\Sigma$ は $n\times n$ の対称行列です。ー次元の場合の「分散」を一般化したもので，確率変数の散らばり具合を表します→分散共分散行列の定義と性質。 $\Sigma^{-1}$ は $\Sigma$ の逆行列，$|\Sigma|$ は $\Sigma$ の行列式を表します。

ー変数の正規分布の拡張になっていることを確認

$n=1$ の場合，平均ベクトルは $\mu$ （スカラー），分散共分散行列は $\sigma^2$ （スカラー）となります。確率密度関数は，$f(x_1)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\dfrac{(x_1-\mu)^2}{2\sigma^2}\right\}$

となります。

多変量正規分布の意味をつかむのに最適なのは二次元

$n=2$ の場合，平均ベクトルを $\begin{pmatrix}\mu_1\\\mu_2\end{pmatrix}$ ，分散共分散行列を $\begin{pmatrix}\sigma_1^2&\sigma_{12}\\\sigma_{12}&\sigma_2^2\end{pmatrix}$ と書くと，

$\Sigma^{-1}=\dfrac{1}{\sigma_1^2\sigma_2^2-\sigma_{12}^2}\begin{pmatrix}\sigma_2^2&-\sigma_{12}\\-\sigma_{12}&\sigma_1^2\end{pmatrix}\\ =\dfrac{1}{\sigma_1^2\sigma_2^2(1-\rho^2)}\begin{pmatrix}\sigma_2^2&-\sigma_{12}\\-\sigma_{12}&\sigma_1^2\end{pmatrix}$

である（ただし，$\rho$ は相関係数）ので同時確率密度関数は，

$f(x_1,x_2)=\dfrac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\times \exp \\\left\{-\dfrac{1}{2(1-\rho^2)}\left(\dfrac{(x_1-\mu_1)^2}{\sigma_1^2}-2\rho\dfrac{(x_1-\mu_1)(x_2-\mu_2)}{\sigma_1\sigma_2}+\dfrac{(x_2-\mu_2)^2}{\sigma_2^2}\right)\right\}$

成分で書くと汚いですね。ベクトルや行列でスッキリ書く方がよいです。

多変量正規分布の確率密度関数は一見複雑ですが，

（定数）× $\exp$（多変数の二次関数）という単純な形をしています。

二次関数の「曲がり具合」を決めるのが分散共分散行列で，「位置」を決めるのが平均ベクトルです。先頭の定数は，確率密度関数であるための要請「全空間で積分すると1」を満たすためのものに過ぎません。規格化定数と呼ばれます。

多変量正規分布の確率密度関数について，

• 全空間で積分すると1になること
• 期待値が $\mu$ であること
• 分散共分散行列が $\Sigma$ であること

の確認は多変数の積分のよい練習になるので，やる気のある方はぜひ（$\overrightarrow{y}=\Sigma^{-\frac{1}{2}}(\overrightarrow{x}-\overrightarrow{\mu})$ と置換して多変数のガウス積分を使います）。

Tag:正規分布の基礎的な知識まとめ