独立と無相関の意味と違いについて

更新 2021/03/07

確率変数 $X$ と $Y$ が

1：独立なら無相関

2：無相関でも独立とは限らない

3：多次元正規分布に従うとき独立 $\iff$ 無相関

確率変数の独立性，無相関について。混同しやすいので整理しました。

確率変数の独立，無相関の定義と意味

確率変数 X, YX,\:YX,Y が独立とは
1A：任意の
x, yx,\:yx,y
 に対して
P(X=x, Y=y)=P(X=x)P(Y=y)P(X=x,\:Y=y)=P(X=x)P(Y=y)P(X=x,Y=y)=P(X=x)P(Y=y)
 が成立する（確率が二つの積に分解できる）
1B：
XXX
 と
YYY
 の間には何の関係もない
1Aが定義で1Bが直感的な説明です。
確率変数 X, YX,\:YX,Y が無相関とは
2A：
E[XY]=E[X]E[Y]E[XY]=E[X]E[Y]E[XY]=E[X]E[Y]
2B：共分散
Cov(X,Y)\mathrm{Cov}(X,Y)Cov(X,Y)
 が
000
 である
2C：相関係数が
000
 である
2D：
XXX
 と
YYY
 の間に直線的な関係がない
2Aが定義。2Bと2Cは簡単に導ける性質，2Dは直感的な説明です。
※むしろ2Bを定義とする文献の方が多いですが，以下では2Aを用いるので2Aを定義としました。
Cov(X,Y)=E[XY]−E[X]E[Y]\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]Cov(X,Y)=E[XY]−E[X]E[Y]
 なのでどちらも同じことですが。

独立→無相関の証明

$X$ と $Y$ の間に何の関係もないならば当然直線的な関係もありません。つまり1Bと2Dより直感的には「独立なら無相関」が分かります。

以下では定義（1Aと2A）に従って独立→無相関をきちんと証明します。

証明

離散型確率変数（とりうる値がとびとび）の場合について証明する。連続型確率変数の場合はシグマをインテグラルに変えるだけで全く同様に証明できる。

$X$ と $Y$ が独立なとき，

$E[XY]=\displaystyle\sum_{x}\sum_{y}xyP(X=x,Y=y)\\ =\displaystyle\sum_{x}\sum_{y}xyP(X=x)P(Y=y)\\ =\displaystyle\sum_{x}xP(X=x)\sum_{y}yP(Y=y)\\ =E[X]E[Y]$

変形の理由は，

1行目：期待値の定義。2行目： $X$ と $Y$ が独立。3行目：二重シグマは分解できる→シグマ計算を機械的に行うための3つの公式。4行目：期待値の定義

無相関だが独立でない例

「直線的な関係はないが何らかの関係はある」例はいくらでも作れます。無相関よりも独立の方がかなり強いことを言っています。

例

$(X,Y)=(1,0),(0,1),(-1,0),(0,-1)$ となる確率がそれぞれ $\dfrac{1}{4}$ であるような場合。

$E[X]=\dfrac{1}{4}\cdot 1+\dfrac{1}{4}(-1)=0$ ，同様に $E[Y]=0$ ， $E[XY]=0$ より $E[XY]=E[X]E[Y]$ が成立する。つまり， $X$ と $Y$ は無相関。
$P(X=1,\:Y=0)=\dfrac{1}{4}$ だが， $P(X=1)P(Y=0)=\dfrac{1}{4}\cdot\dfrac{1}{2}=\dfrac{1}{8}$ となり独立ではない。

正規分布における独立と無相関

ここからは完全に大学内容です。

さきほど見たように，一般には無相関→独立とは限りませんが， $(X,Y)$ が二次元正規分布に従っているときには「無相関→独立」が成立します。

より一般に， $(X_1,X_2,\cdots X_n)$ が多次元正規分布に従っているときには「 $i\neq j$ なる全ての $X_i$ と $X_j$ の組が無相関→ $X_i$ たちは独立」が成立します。

証明

$i\neq j$ なる全ての $X_i$ と $X_j$ の組が無相関のとき，分散共分散行列 $\Sigma$ は対角行列となる。その行列式は， $|\Sigma|=\sigma_1^2\sigma_2^2\cdots \sigma_k^2$

よって，多次元正規分布の確率密度関数が以下のように変形できる：

$\dfrac{1}{(2\pi)^{\frac{k}{2}}|\Sigma|^{\frac{1}{2}}}\exp(-\dfrac{1}{2}(x-\mu)^{\top}\Sigma^{-1}(x-\mu))\\ =\dfrac{1}{(2\pi)^{\frac{k}{2}}\sigma_1\sigma_2\cdots\sigma_k}\exp(-\dfrac{1}{2}\displaystyle\sum_{i=1}^k\dfrac{(x_i-\mu_i)^2}{\sigma_i^2})\\ =\displaystyle\prod_{i=1}^k\dfrac{1}{\sqrt{2\pi}\sigma_i}\exp (-\dfrac{(x_i-\mu_i)^2}{2\sigma_i^2})$

これは一次元正規分布の確率密度関数の積の形になっている。確率が積の形に分解できる（1Aを $k$ 変数にしたものが成立する）ので独立である。

最近は確率，統計関係の記事が多めになっております。

この記事の監修者

マスオ

高校数学の美しい物語の管理人。「わかりやすいこと」と「ごまかさないこと」の両立を意識している。著書に『高校数学の美しい物語』『超ディープな算数の教科書』。記事の誤植やわかりにくい等のご指摘はお気軽にメールください！