不偏標本分散の意味とn-1で割ることの証明

更新 2021/03/07

不偏標本分散の定義

平均 $\mu$ ，分散 $\sigma^2$ の分布（母集団）からランダムに抽出したサンプルの値を $x_1,x_2,\cdots, x_n$ とする。

このとき， $u^2=\dfrac{1}{n-1}\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2$

とおくと， $E[u^2]=\sigma^2$ となる。 $u^2$ を不偏標本分散と言う。

ただし， $\overline{x}=\dfrac{x_1+x_2+\cdots +x_n}{n}$ は標本平均です。

不偏標本分散（不偏分散）の意味と， $n-1$ が登場することのきちんとした証明を解説します。

母分散，標本分散，不偏分散

まずは，母分散，標本分散，不偏分散の違い（定義）をきちんと理解しておきましょう。

母分散：全体の分布（母集団）の分散。未知数であることが多い。
標本分散：標本（データ）の分散。 $\dfrac{1}{n}\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2$
不偏標本分散：標本分散を $\dfrac{n}{n-1}$ 倍したもの。 $u^2=\dfrac{1}{n-1}\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2$

例

平均 $0$ ，分散 $1.2$ のとある分布に従う母集団から3つサンプルを取ってきたら $-1,0,1$ という値だった。

このとき

母分散→もとの分布の分散なので $1.2$
標本分散→ $-1,0,1$ の分散なので計算すると $\dfrac{2}{3}$
不偏標本分散→標本分散の $\dfrac{3}{2}$ 倍なので $1$

なぜ不偏分散が重要なのか

不偏分散が重要なのは（ランダムサンプリングでは）不偏分散の期待値が母分散と一致するからです。

定理

$E[u^2]=\sigma^2$

母分散を少数のサンプルから推定したいときに，期待値が母分散（推定したいもの）と一致するような推定量を使いたくなるのは自然でしょう。そのような嬉しい性質（不偏性）を満たすのは標本分散ではなく不偏分散なのです。標本分散を $\dfrac{n}{n-1}$ 倍して調整することで不偏分散が得られるのです。

数式を使わない感覚的な説明

上記の定理は数式を使ってきちんと証明しなくてはいけません。
しかしながら，nn−1\dfrac{n}{n-1}n−1n​
 倍する理由は分からなくても，
標本分散の期待値が母分散より小さくなることは以下の説明によりなんとなく理解できると思います（この説明を正当化するにも数式が必要ですが）。
「標本分散を計算するときに使う平均
x‾\overline{x}x
 は母平均ではなく標本平均なので，
標本分散だと平均からの差の二乗和（散らばり具合）を小さく見積もってしまう」
（図の説明：サンプルサイズが少ないと図のように母平均と標本平均が大きくズレることがある。本当に評価したいのは「青い両向き矢印の長さの二乗和（大きい）」だが，標本分散は「緑の両向き矢印の長さの二乗和（小さい）」を評価してしまう）
注：分散の自由度が
n−1n-1n−1
 だから
n−1n-1n−1
 で割るんだよ，という説明は私は納得できません。

不偏性の証明

それではきちんと証明します。期待値と分散に関する公式一覧を理解していると読みやすいです。

証明のポイントは，以下の3つです。

母平均 $\mu$ を間にはさむ
$i$ に依存しない部分はシグマの外に出せる
和の期待値や和の分散を分解できる

証明

$E\left[\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2\right]=(n-1)\sigma^2$

を証明すればよい。左辺を変形すると，

$E\left[\displaystyle\sum_{i=1}^n(x_i-\mu+\mu-\overline{x})^2\right]\\ =E\left[\displaystyle\sum_{i=1}^n(x_i-\mu)^2+2\sum_{i=1}^n(x_i-\mu)(\mu-\overline{x})+\sum_{i=1}^n(\mu-\overline{x})^2\right]\\ =E\left[\displaystyle\sum_{i=1}^n(x_i-\mu)^2+2(\mu-\overline{x})\sum_{i=1}^n(x_i-\mu)+n(\mu-\overline{x})^2\right]\\ =E\left[\displaystyle\sum_{i=1}^n(x_i-\mu)^2\right]-nE\left[(\mu-\overline{x})^2\right]$

母分散の定義より
$E[(x_i-\mu)^2]=\sigma^2$ なので第一項は $n\sigma^2$
第三項の期待値部分は，標本平均 $\overline{x}$ の分散であり，各 $x_i$ は独立なので分散が和に分解できる：
$E[(\mu-\overline{x})^2]\\ =V\left[\dfrac{x_1+x_2+\cdots +x_n}{n}\right]\\ =\dfrac{1}{n^2}V[x_1+x_2+\cdots +x_n]\\ =\dfrac{1}{n^2}(n\sigma^2)\\ =\dfrac{\sigma^2}{n}$

以上より，上式は

$n\sigma^2-n\times\dfrac{\sigma^2}{n}=(n-1)\sigma^2$

補足（特殊ケースなら証明は簡単）：

$x_1,\cdots, x_n$ が互いに独立に平均 $\mu$ ，分散 $\sigma^2$ の正規分布に従うとき，

$\dfrac{(n-1)u^2}{\sigma^2}$ は自由度 $n-1$ のカイ二乗分布に従います→不偏分散と自由度n-1のカイ二乗分布。

自由度 $n-1$ のカイ二乗分布の期待値は $n-1$ なので $E[u^2]=\sigma^2$ が分かります。

nの場合にも証明してみてください！よい計算練習になります。

この記事の監修者

マスオ

高校数学の美しい物語の管理人。「わかりやすいこと」と「ごまかさないこと」の両立を意識している。著書に『高校数学の美しい物語』『超ディープな算数の教科書』。記事の誤植やわかりにくい等のご指摘はお気軽にメールください！