1. 高校数学の美しい物語
  2. 多変量正規分布の確率密度関数の解説

多変量正規分布の確率密度関数の解説

更新日時 2021/03/07

同時確率密度関数が,

f(xundefined)=1(2π)n2Σexp{12(xundefinedμundefined)Σ1(xundefinedμundefined)}f(\overrightarrow{x})=\dfrac{1}{(2\pi)^{\frac{n}{2}}\sqrt{|\Sigma|}}\exp \left\{-\dfrac{1}{2}(\overrightarrow{x}-\overrightarrow{\mu})^{\top}\Sigma^{-1}(\overrightarrow{x}-\overrightarrow{\mu})\right\}

で表される分布を多変量正規分布(多変量ガウス分布)と言う。

上記の一見複雑な関数の意味を理解するのが目標です。

正規分布の多次元バージョンです。一次元の正規分布については正規分布の基礎的なことで詳しく解説しています。

目次
  • 期待値,分散共分散

  • 一次元,二次元の場合

  • 二次形式,正規化定数

期待値,分散共分散

まずは記号の意味について解説します。

  • xundefined\overrightarrow{x}μundefined\overrightarrow{\mu}nn 次元の縦ベクトルです。μundefined\overrightarrow{\mu}一次元の場合の「平均」を一般化したもので,各成分は各確率変数の平均です。平均ベクトルなどと呼ばれます。

  • Σ\Sigman×nn\times n の対称行列です。ー次元の場合の「分散」を一般化したもので,確率変数の散らばり具合を表します→分散共分散行列の定義と性質Σ1\Sigma^{-1}Σ\Sigma の逆行列,Σ|\Sigma|Σ\Sigma の行列式を表します。

一次元,二次元の場合

ー変数の正規分布の拡張になっていることを確認

n=1n=1 の場合,平均ベクトルは μ\mu (スカラー),分散共分散行列は σ2\sigma^2 (スカラー)となります。確率密度関数は,f(x1)=12πσexp{(x1μ)22σ2}f(x_1)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\dfrac{(x_1-\mu)^2}{2\sigma^2}\right\}

となります。

多変量正規分布の意味をつかむのに最適なのは二次元

n=2n=2 の場合,平均ベクトルを (μ1μ2)\begin{pmatrix}\mu_1\\\mu_2\end{pmatrix} ,分散共分散行列を (σ12σ12σ12σ22)\begin{pmatrix}\sigma_1^2&\sigma_{12}\\\sigma_{12}&\sigma_2^2\end{pmatrix} と書くと,

Σ1=1σ12σ22σ122(σ22σ12σ12σ12)=1σ12σ22(1ρ2)(σ22σ12σ12σ12)\Sigma^{-1}=\dfrac{1}{\sigma_1^2\sigma_2^2-\sigma_{12}^2}\begin{pmatrix}\sigma_2^2&-\sigma_{12}\\-\sigma_{12}&\sigma_1^2\end{pmatrix}\\ =\dfrac{1}{\sigma_1^2\sigma_2^2(1-\rho^2)}\begin{pmatrix}\sigma_2^2&-\sigma_{12}\\-\sigma_{12}&\sigma_1^2\end{pmatrix}

である(ただし,ρ\rho は相関係数)ので同時確率密度関数は,

f(x1,x2)=12πσ1σ21ρ2×exp{12(1ρ2)((x1μ1)2σ122ρ(x1μ1)(x2μ2)σ1σ2+(x2μ2)2σ22)}f(x_1,x_2)=\dfrac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\times \exp \\\left\{-\dfrac{1}{2(1-\rho^2)}\left(\dfrac{(x_1-\mu_1)^2}{\sigma_1^2}-2\rho\dfrac{(x_1-\mu_1)(x_2-\mu_2)}{\sigma_1\sigma_2}+\dfrac{(x_2-\mu_2)^2}{\sigma_2^2}\right)\right\}

成分で書くと汚いですね。ベクトルや行列でスッキリ書く方がよいです。

二次形式,正規化定数

多変量正規分布の確率密度関数は一見複雑ですが,

(定数)× exp\exp(多変数の二次関数)という単純な形をしています。

二次関数の「曲がり具合」を決めるのが分散共分散行列で,「位置」を決めるのが平均ベクトルです。先頭の定数は,確率密度関数であるための要請「全空間で積分すると1」を満たすためのものに過ぎません。規格化定数と呼ばれます。

多変量正規分布の確率密度関数について,

  • 全空間で積分すると1になること
  • 期待値が μ\mu であること
  • 分散共分散行列が Σ\Sigma であること

の確認は多変数の積分のよい練習になるので,やる気のある方はぜひ(yundefined=Σ12(xundefinedμundefined)\overrightarrow{y}=\Sigma^{-\frac{1}{2}}(\overrightarrow{x}-\overrightarrow{\mu}) と置換して多変数のガウス積分を使います)。

二次元正規分布の式をいきなり見ると面食らいますが,実は非常に綺麗!

Tag:正規分布の基礎的な知識まとめ

人気記事
  1. 高校数学の美しい物語
  2. 多変量正規分布の確率密度関数の解説