スコア関数，フィッシャー情報量の定義と具体例

パラメータ $\theta$ を持つ確率密度関数：$f(x,\theta)$ で表される分布について考えます。

1．尤度関数：

$L(\theta;x_1)=f(x_1,\theta)$

（尤度関数と確率密度関数は意味が異なります，詳細は統計の本を参照して下さい）。

2．対数尤度関数：

$\log L(\theta;x_1)=\log f(x_1,\theta)$

尤度関数は対数を取った方が計算しやすい場合が多いのでしばしば登場します。

3．スコア関数：

$\dfrac{\partial}{\partial\theta}\log L=\dfrac{1}{L}\dfrac{\partial L}{\partial \theta}$

対数尤度関数をパラメータで偏微分したものです。スコア関数は観測値 $x_1$ に応じて決まる $\theta$ の関数です。

そして，スコア関数の期待値は $0$ です（証明は後述）。そのため，スコア関数の分散は二次モーメントと一致します。この量をフィッシャー情報量と言います。

4．フィッシャー情報量（パラメータの関数）：

$\mathrm{Var}\left[\dfrac{\partial}{\partial\theta}\log L\right]=E\left[\left(\dfrac{\partial}{\partial\theta}\log L\right)^2\right]$

具体例として平均が $\mu$ の正規分布について考えてみます。簡単のためパラメータが1つの場合を扱います（分散を $1$ と固定する）：

$f(x,\mu)=\dfrac{1}{\sqrt{2\pi}}\exp\left\{-\dfrac{(x-\mu)^2}{2}\right\}$

・尤度関数

データが $x_1$ であったときの尤度関数は，

$L=f(x_1,\mu)=\dfrac{1}{\sqrt{2\pi}}\exp\left\{-\dfrac{(x_1-\mu)^2}{2}\right\}$

・対数尤度関数

尤度関数の対数を取る： $\log L=-\dfrac{1}{2}\log 2\pi-\dfrac{(x_1-\mu)^2}{2}$

・スコア関数

対数尤度関数を $\mu$ で微分： $\dfrac{\partial}{\partial \mu}\log L=x_1-\mu$

注：スコア関数の期待値は確かに $0$ になっています！

・フィッシャー情報量

スコア関数の二次モーメントを計算：

$E[(x_1-\mu)^2]=1$

注：フィッシャー情報量は一般にはパラメータの関数ですが，この場合はたまたま定数になりました。

◎確率・統計分野の記事一覧