独立と無相関の意味と違いについて

離散型確率変数（とりうる値がとびとび）の場合について証明する。連続型確率変数の場合はシグマをインテグラルに変えるだけで全く同様に証明できる。

$X$ と $Y$ が独立なとき，

$$\begin{aligned}&E[XY]\\&=\displaystyle\sum_{x}\sum_{y}xyP(X=x,Y=y)\\ &=\displaystyle\sum_{x}\sum_{y}xyP(X=x)P(Y=y)\\ &=\displaystyle\sum_{x}xP(X=x)\sum_{y}yP(Y=y)\\ &=E[X]E[Y]\end{aligned}$$

等号の理由は，

• 1つ目：期待値の定義
• 2つ目：$X$ と $Y$ が独立。
• 3つ目：二重シグマは分解できる→シグマ計算を機械的に行うための3つの公式。
• 4つ目：期待値の定義

$i\neq j$ なる全ての $X_i$ と $X_j$ の組が無相関のとき，分散共分散行列 $\Sigma$ は対角行列となる。その行列式は$$|\Sigma|=\sigma_1^2\sigma_2^2\cdots \sigma_k^2$$

よって，多次元正規分布の確率密度関数が以下のように変形できる： $$\begin{aligned}&\dfrac{1}{(2\pi)^{\frac{k}{2}}|\Sigma|^{\frac{1}{2}}}\exp\left\{-\dfrac{1}{2}(x-\mu)^{\top}\Sigma^{-1}(x-\mu)\right\}\\ &=\dfrac{1}{(2\pi)^{\frac{k}{2}}\sigma_1\sigma_2\cdots\sigma_k}\exp\left\{-\dfrac{1}{2}\displaystyle\sum_{i=1}^k\dfrac{(x_i-\mu_i)^2}{\sigma_i^2}\right\}\\ &=\displaystyle\prod_{i=1}^k\dfrac{1}{\sqrt{2\pi}\sigma_i}\exp\left\{-\dfrac{(x_i-\mu_i)^2}{2\sigma_i^2}\right\}\end{aligned}$$ これは一次元正規分布の確率密度関数の積の形になっている。確率が積の形に分解できる（1Aを $k$ 変数にしたものが成立する）ので独立である。