不偏分散と自由度n-1のカイ二乗分布

更新日時 2021/03/07

定理

$X_1,X_2,\cdots,X_n$ が互いに独立に平均 $\mu$ ，分散 $\sigma^2$ の正規分布に従うとき，

$\dfrac{1}{\sigma^2}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2$ は自由度 $n-1$ のカイ二乗分布に従う。

ただし， $\overline{X}=\dfrac{X_1+X_2+\cdots +X_n}{n}$ です。

定理の意味，重要性

不偏分散 $u^2=\dfrac{1}{n-1}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2$ を用いて， $\dfrac{(n-1)u^2}{\sigma^2}$ が自由度 $n-1$ のカイ二乗分布に従うと言うことも多いです。（不偏分散については→不偏標本分散の意味とn-1で割ることの証明）
正規分布の母分散を検定する際（ただし母平均が未知の場合）に使われる重要な定理です。→母分散の意味と区間推定・検定の方法
重要な定理のわりに，多くの統計の教科書では定理の証明が割愛されているので，以下で証明します。直交変換を用いた美しい証明です。

標準正規分布の場合の証明

まず標準正規分布の場合（μ=0\mu=0μ=0，σ2=1\sigma^2=1σ2=1）に証明します。本質的な部分です。
証明の概略
一行目の要素が全て
1n\dfrac{1}{\sqrt{n}}n​1​
 であるような直交行列の一つを
QQQ
 とする。
(Y1Y2⋮Yn)=Q(X1X2⋮Xn)\begin{pmatrix}Y_1\\Y_2\\\vdots\\Y_n\end{pmatrix}=Q\begin{pmatrix}X_1\\X_2\\\vdots\\X_n\end{pmatrix}⎝⎛​Y1​Y2​⋮Yn​​⎠⎞​=Q⎝⎛​X1​X2​⋮Xn​​⎠⎞​
 と変数変換する。
このとき，Y1,Y2,⋯ ,YnY_1,Y_2,\cdots,Y_nY1​,Y2​,⋯,Yn​
 は互いに独立に平均
000，分散
111
 の標準正規分布に従う（→補足1）。
また，∑i=1n(Xi−X‾)2=∑i=2nYi2\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2=\displaystyle\sum_{i=2}^nY_i^2i=1∑n​(Xi​−X)2=i=2∑n​Yi2​
である（→補足2）。
つまり
∑i=1n(Xi−X‾)2\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2i=1∑n​(Xi​−X)2
 は，標準正規分布に独立に従う
n−1n-1n−1
 個の確率変数の二乗和で表現できたので，自由度
n−1n-1n−1
 のカイ二乗分布に従うことが分かる。→正規分布の二乗和がカイ二乗分布に従うことの証明
以下細かい計算などです。
補足1
X1,X2,⋯ ,XnX_1,X_2,\cdots,X_nX1​,X2​,⋯,Xn​
 は互いに独立に標準正規分布に従う
→
XiX_iXi​
 たちの同時密度関数は
1(2π)n2exp⁡(−12x⊤x)\dfrac{1}{(2\pi)^{\frac{n}{2}}}\exp(-\dfrac{1}{2}x^{\top}x)(2π)2n​1​exp(−21​x⊤x)
→（QQQ
 の行列式が
111
 であることと
∥X∥=∥Y∥\|X\|=\|Y\|∥X∥=∥Y∥
 より）
YiY_iYi​
 たちの同時密度関数は
1(2π)n2exp⁡(−12y⊤y)\dfrac{1}{(2\pi)^{\frac{n}{2}}}\exp(-\dfrac{1}{2}y^{\top}y)(2π)2n​1​exp(−21​y⊤y)
→
Y1,Y2,⋯ ,YnY_1,Y_2,\cdots,Y_nY1​,Y2​,⋯,Yn​
 は互いに独立に標準正規分布に従う
補足2
∑i=1n(Xi−X‾)2=∑i=1nXi2−2X‾∑i=1nXi+nX‾2=∑i=1nXi2−nX‾2\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2\\
=\displaystyle\sum_{i=1}^nX_i^2-2\overline{X}\sum_{i=1}^nX_i+n\overline{X}^2\\
=\displaystyle\sum_{i=1}^nX_i^2-n\overline{X}^2i=1∑n​(Xi​−X)2=i=1∑n​Xi2​−2Xi=1∑n​Xi​+nX2=i=1∑n​Xi2​−nX2
ここで，直交変換の性質
∥X∥=∥Y∥\|X\|=\|Y\|∥X∥=∥Y∥
 を用いると上式は，
∑i=1nYi2−1n(∑i=1nXi)2=∑i=1nYi2−Y12=∑i=2nYi2\displaystyle\sum_{i=1}^nY_i^2-\dfrac{1}{n}(\sum_{i=1}^nX_i)^2\\
=\displaystyle\sum_{i=1}^nY_i^2-Y_1^2\\
=\displaystyle\sum_{i=2}^nY_i^2i=1∑n​Yi2​−n1​(i=1∑n​Xi​)2=i=1∑n​Yi2​−Y12​=i=2∑n​Yi2​

一般の場合の証明

正規分布の標準化を使うだけです。

証明

$X_1,X_2,\cdots,X_n$ が互いに独立に平均 $\mu$ ，分散 $\sigma^2$ の正規分布に従うので

$Z_i=\dfrac{X_i-\mu}{\sigma}$ たちは互いに独立に標準正規分布に従う。

標準正規分布の場合にはさきほど証明したので，

$\displaystyle\sum_{i=1}^n(Z_i-\overline{Z})^2$ は自由度 $n-1$ のカイ二乗分布に従う。

ここで， $Z_i-\overline{Z}=\dfrac{X_i-\overline{X}}{\sigma}$ なので， $\dfrac{1}{\sigma^2}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2$ は自由度 $n-1$ のカイ二乗分布に従うことが分かる。