1. 高校数学の美しい物語
  2. 独立と無相関の意味と違いについて

独立と無相関の意味と違いについて

更新日時 2021/03/07

確率変数 XXYY

1:独立なら無相関

2:無相関でも独立とは限らない

3:多次元正規分布に従うとき独立     \iff 無相関

確率変数の独立性,無相関について。混同しやすいので整理しました。

目次
  • 確率変数の独立,無相関の定義と意味

  • 独立→無相関の証明

  • 無相関だが独立でない例

  • 正規分布における独立と無相関

確率変数の独立,無相関の定義と意味

確率変数 X,YX,\:Y が独立とは

1A:任意の x,yx,\:y に対して P(X=x,Y=y)=P(X=x)P(Y=y)P(X=x,\:Y=y)=P(X=x)P(Y=y) が成立する(確率が二つの積に分解できる)

1B: XXYY の間には何の関係もない

1Aが定義で1Bが直感的な説明です。

確率変数 X,YX,\:Y が無相関とは

2A: E[XY]=E[X]E[Y]E[XY]=E[X]E[Y]

2B:共分散 Cov(X,Y)\mathrm{Cov}(X,Y)00 である

2C:相関係数が 00 である

2D: XXYY の間に直線的な関係がない

2Aが定義。2Bと2Cは簡単に導ける性質,2Dは直感的な説明です。

※むしろ2Bを定義とする文献の方が多いですが,以下では2Aを用いるので2Aを定義としました。 Cov(X,Y)=E[XY]E[X]E[Y]\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y] なのでどちらも同じことですが。

独立→無相関の証明

XXYY の間に何の関係もないならば当然直線的な関係もありません。つまり1Bと2Dより直感的には「独立なら無相関」が分かります。

以下では定義(1Aと2A)に従って独立→無相関をきちんと証明します。

証明

離散型確率変数(とりうる値がとびとび)の場合について証明する。連続型確率変数の場合はシグマをインテグラルに変えるだけで全く同様に証明できる。

XXYY が独立なとき,

E[XY]=xyxyP(X=x,Y=y)=xyxyP(X=x)P(Y=y)=xxP(X=x)yyP(Y=y)=E[X]E[Y]E[XY]=\displaystyle\sum_{x}\sum_{y}xyP(X=x,Y=y)\\ =\displaystyle\sum_{x}\sum_{y}xyP(X=x)P(Y=y)\\ =\displaystyle\sum_{x}xP(X=x)\sum_{y}yP(Y=y)\\ =E[X]E[Y]

変形の理由は,

1行目:期待値の定義。2行目: XXYY が独立。3行目:二重シグマは分解できる→シグマ計算を機械的に行うための3つの公式。4行目:期待値の定義

無相関だが独立でない例

「直線的な関係はないが何らかの関係はある」例はいくらでも作れます。 無相関よりも独立の方がかなり強いことを言っています。

(X,Y)=(1,0),(0,1),(1,0),(0,1)(X,Y)=(1,0),(0,1),(-1,0),(0,-1) となる確率がそれぞれ 14\dfrac{1}{4} であるような場合。

  • E[X]=141+14(1)=0E[X]=\dfrac{1}{4}\cdot 1+\dfrac{1}{4}(-1)=0,同様に E[Y]=0E[Y]=0E[XY]=0E[XY]=0 より E[XY]=E[X]E[Y]E[XY]=E[X]E[Y] が成立する。つまり,XXYY は無相関。
  • P(X=1,Y=0)=14P(X=1,\:Y=0)=\dfrac{1}{4} だが,P(X=1)P(Y=0)=1412=18P(X=1)P(Y=0)=\dfrac{1}{4}\cdot\dfrac{1}{2}=\dfrac{1}{8} となり独立ではない。

正規分布における独立と無相関

ここからは完全に大学内容です。

さきほど見たように,一般には無相関→独立とは限りませんが,(X,Y)(X,Y) が二次元正規分布に従っているときには「無相関→独立」が成立します。

より一般に,(X1,X2,Xn)(X_1,X_2,\cdots X_n) が多次元正規分布に従っているときには iji\neq j なる全ての XiX_iXjX_j の組が無相関→ XiX_i たちは独立」が成立します。

証明

iji\neq j なる全ての XiX_iXjX_j の組が無相関のとき,分散共分散行列 Σ\Sigma は対角行列となる。その行列式は,Σ=σ12σ22σk2|\Sigma|=\sigma_1^2\sigma_2^2\cdots \sigma_k^2

よって,多次元正規分布の確率密度関数が以下のように変形できる:

1(2π)k2Σ12exp(12(xμ)Σ1(xμ))=1(2π)k2σ1σ2σkexp(12i=1k(xiμi)2σi2)=i=1k12πσiexp((xiμi)22σi2)\dfrac{1}{(2\pi)^{\frac{k}{2}}|\Sigma|^{\frac{1}{2}}}\exp(-\dfrac{1}{2}(x-\mu)^{\top}\Sigma^{-1}(x-\mu))\\ =\dfrac{1}{(2\pi)^{\frac{k}{2}}\sigma_1\sigma_2\cdots\sigma_k}\exp(-\dfrac{1}{2}\displaystyle\sum_{i=1}^k\dfrac{(x_i-\mu_i)^2}{\sigma_i^2})\\ =\displaystyle\prod_{i=1}^k\dfrac{1}{\sqrt{2\pi}\sigma_i}\exp (-\dfrac{(x_i-\mu_i)^2}{2\sigma_i^2})

これは一次元正規分布の確率密度関数の積の形になっている。確率が積の形に分解できる(1Aを kk 変数にしたものが成立する)ので独立である。

最近は確率,統計関係の記事が多めになっております。

  1. 高校数学の美しい物語
  2. 独立と無相関の意味と違いについて