正規分布の条件付き分布

更新 2025/04/11

多変量正規分布に従う確率変数（ベクトル） $\vec{x}$ のうち，一部の変数 $\vec{x_B}$ がわかったもとで，残りの変数 $\vec{x_A}$ が従う条件付き分布 $P(\vec{x_A}\mid\vec{x_B})$ は，多変量正規分布になる。
その多変量正規分布 $P(\vec{x_A}\mid\vec{x_B})$ の平均 $\vec{\mu}_{A\mid B}$ と分散共分散行列 $\Sigma_{A\mid B}$ は簡単な行列計算で求められる。

多変量正規分布の条件付き分布

冒頭の主張をもう少し正確に述べます。
多変量正規分布の条件付き分布
確率変数（のベクトル）x⃗\vec{x}x が「平均が μ⃗\vec{\mu}μ​ で分散共分散行列が Σ\SigmaΣ である多変量正規分布」に従う状況を考える。
確率変数を x⃗=(xA⃗xB⃗)\vec{x}=\begin{pmatrix}\vec{x_A}\\\vec{x_B}\end{pmatrix}x=(xA​​xB​​​) と2つに分割する。xB⃗\vec{x_B}xB​​ がわかっているもとでの xA⃗\vec{x_A}xA​​ の条件付き分布は，多変量正規分布になる。
その平均 μ⃗A∣B\vec{\mu}_{A\mid B}μ​A∣B​ と分散共分散行列 ΣA∣B\Sigma_{A\mid B}ΣA∣B​ は以下のようになる：
μ⃗A∣B=μ⃗A+ΣABΣBB−1(xB⃗−μB⃗)\vec{\mu}_{A\mid B}=\vec{\mu}_A+\Sigma_{AB}\Sigma_{BB}^{-1}(\vec{x_B}-\vec{\mu_B})μ​A∣B​=μ​A​+ΣAB​ΣBB−1​(xB​​−μB​​)
ΣA∣B=ΣAA−ΣABΣBB−1ΣBA\Sigma_{A\mid B}=\Sigma_{AA}-\Sigma_{AB}\Sigma_{BB}^{-1}\Sigma_{BA}ΣA∣B​=ΣAA​−ΣAB​ΣBB−1​ΣBA​
ただし，x⃗\vec{x}x に合わせて，μ⃗\vec{\mu}μ​ と Σ\SigmaΣ も分割した各ブロックを μ⃗=(μA⃗μB⃗)\vec{\mu}=\begin{pmatrix}\vec{\mu_A}\\\vec{\mu_B}\end{pmatrix}μ​=(μA​​μB​​​)，Σ=(ΣAAΣABΣBAΣBB)\Sigma=\begin{pmatrix}\Sigma_{AA}&\Sigma_{AB}\\\Sigma_{BA}&\Sigma_{BB}\end{pmatrix}Σ=(ΣAA​ΣBA​​ΣAB​ΣBB​​) とおいた。
赤文字の式から，以下がわかります：
xB⃗=μB⃗\vec{x_B}=\vec{\mu_B}xB​​=μB​​ なら μ⃗A∣B=μA⃗\vec{\mu}_{A\mid B}=\vec{\mu_A}μ​A∣B​=μA​​，つまり「既知の変数が平均と等しい」なら「未知変数の条件付き期待値は μA\mu_AμA​ のまま変わらない」
共分散行列 ΣA∣B\Sigma_{A\mid B}ΣA∣B​ は xB⃗\vec{x_B}xB​​ によらない
2変数の場合の例2変数の場合，μ⃗=(μAμB)\vec{\mu}=\begin{pmatrix}\mu_A\\\mu_B\end{pmatrix}μ​=(μA​μB​​)，Σ=(σA2ρσAσBρσAσBσB2)\Sigma=\begin{pmatrix}\sigma_A^2&\rho\sigma_A\sigma_B\\\rho\sigma_A\sigma_B&\sigma_B^2\end{pmatrix}Σ=(σA2​ρσA​σB​​ρσA​σB​σB2​​) とおけます（ρ\rhoρ は2つの変数の相関係数で，σA,σB\sigma_A,\sigma_BσA​,σB​ は標準偏差）。
よって，
μA∣B=μA+ρσA(xB−μB)σB\mu_{A\mid B}=\mu_A+\rho\sigma_A\dfrac{(x_B-\mu_B)}{\sigma_B}μA∣B​=μA​+ρσA​σB​(xB​−μB​)​
ΣA∣B=σA2(1−ρ2)\Sigma_{A\mid B}=\sigma^2_A(1-\rho^2)ΣA∣B​=σA2​(1−ρ2)
となります。
ρ=0\rho=0ρ=0 なら，μA∣B=μA\mu_{A\mid B}=\mu_AμA∣B​=μA​ かつ ΣA∣B=σA2\Sigma_{A\mid B}=\sigma_A^2ΣA∣B​=σA2​，つまり「xBx_BxB​ の情報を得ても xAx_AxA​ の情報はわからない」
ρ=±1\rho=\pm 1ρ=±1 なら，ΣA∣B=0\Sigma_{A\mid B}=0ΣA∣B​=0，つまり「xBx_BxB​ の情報を得ると xAx_AxA​ が完全に決定される」

条件付き分布の導出

以下の方針で導出します。

条件付き確率の定義式 $P(\vec{x_A}\mid\vec{x_B})=\dfrac{P(\vec{x_A},\vec{x_B})}{P(\vec{x_B})}$ を使うために，多変量正規分布の確率密度関数 $P(\vec{x_A},\vec{x_B})$ からスタートして計算していく。
途中で，「ブロック行列を3つの行列の積に分解する」ことで，2次形式を分解する。

証明

正規分布の確率密度関数より， $\overrightarrow{x}$ が従う分布は $P(\vec{x_A},\vec{x_B})=C\exp \left\{-\dfrac{1}{2}(\vec{x}-\vec{\mu})^{\top}\Sigma^{-1}(\vec{x}-\vec{\mu})\right\}$ である（ $C$ は正規化定数）。既知の部分 $\vec{x_B}$ と未知の部分 $\vec{x_A}$ にわけて計算したいが， $\Sigma^{-1}$ は分割できない。そこで，ブロック行列の逆行列の公式の証明中の式（と類似のもの）： $\Sigma^{-1}=\begin{pmatrix}I&O\\-\Sigma_{BB}^{-1}\Sigma_{BA}&I\end{pmatrix}\begin{pmatrix}S^{-1}&O\\O&\Sigma_{BB}^{-1}\end{pmatrix}\begin{pmatrix}I&-\Sigma_{AB}\Sigma_{BB}^{-1}\\O&I\end{pmatrix}$ （ただし， $S=\Sigma_{AA}-\Sigma_{AB}\Sigma_{BB}^{-1}\Sigma_{BA}$ ）を使って2次形式の部分を分解すると， $\begin{aligned}&(\vec{x}-\vec{\mu})^{\top}\Sigma^{-1}(\vec{x}-\vec{\mu})\\ &=\{(\vec{x_A}-\vec{\mu_A})-\Sigma_{AB}\Sigma_{BB}^{-1}(\vec{x_B}-\vec{\mu_B})\}^{\top}S^{-1}\\ &\:\:\:\:\:\:\{(\vec{x_A}-\vec{\mu_A})-\Sigma_{AB}\Sigma_{BB}^{-1}(\vec{x_B}-\vec{\mu_B})\}\\ &\:\:\:+(\vec{x_B}-\vec{\mu_B})^{\top}\Sigma_{BB}^{-1}(\vec{x_B}-\vec{\mu_B})\end{aligned}$ となる。この第二項から $P(\vec{x_B})$ が出てくるので， $P(\vec{x_A},\vec{x_B})=f(\vec{x_A},\vec{x_B})\times P(\vec{x_B})$ という形になる。ただし， $f$ は上記第一項から出てくる分布（ $\exp$ の中身が多変数の2次関数なので，多変量正規分布）。

よって，求める条件付き分布は， $P(\vec{x_A}\mid\vec{x_B})=\dfrac{P(\vec{x_A},\vec{x_B})}{P(\vec{x_B})}$ なので， $f$ である。つまり，多変量正規分布であり，その平均 $\vec{\mu}_{A\mid B}$ と分散共分散行列 $\Sigma_{A\mid B}$ は以下のようになる： $\vec{\mu}_{A\mid B}=\vec{\mu}_A+\Sigma_{AB}\Sigma_{BB}^{-1}(\vec{x_B}-\vec{\mu_B})$ $\Sigma_{A\mid B}=S=\Sigma_{AA}-\Sigma_{AB}\Sigma_{BB}^{-1}\Sigma_{BA}$

考え方は難しくないですが，細かい部分まで計算を理解するのはけっこう大変です。