スコア関数,フィッシャー情報量の定義と具体例

スコア関数,フィッシャー情報量の定義,および具体例として正規分布の場合を解説します。

尤度関数と対数尤度関数

パラメータ θ\theta を持つ確率密度関数:f(x,θ)f(x,\theta) で表される分布について考えます。

1.尤度関数:

L(θ;x1)=f(x1,θ)L(\theta;x_1)=f(x_1,\theta)

(尤度関数と確率密度関数は意味が異なります,詳細は統計の本を参照して下さい)。

2.対数尤度関数:

logL(θ;x1)=logf(x1,θ)\log L(\theta;x_1)=\log f(x_1,\theta)

尤度関数は対数を取った方が計算しやすい場合が多いのでしばしば登場します。

スコア関数とフィッシャー情報量

3.スコア関数:

θlogL=1LLθ\dfrac{\partial}{\partial\theta}\log L=\dfrac{1}{L}\dfrac{\partial L}{\partial \theta}

対数尤度関数をパラメータで偏微分したものです。スコア関数は観測値 x1x_1 に応じて決まる θ\theta の関数です。

そして,スコア関数の期待値は 00 です(証明は後述)。そのため,スコア関数の分散は二次モーメントと一致します。この量をフィッシャー情報量と言います。

4.フィッシャー情報量(パラメータの関数):

Var[θlogL]=E[(θlogL)2]\mathrm{Var}\left[\dfrac{\partial}{\partial\theta}\log L\right]=E\left[\left(\dfrac{\partial}{\partial\theta}\log L\right)^2\right]

具体例:正規分布の場合

具体例として平均が μ\mu の正規分布について考えてみます。簡単のためパラメータが1つの場合を扱います(分散を 11 と固定する):

f(x,μ)=12πexp{(xμ)22}f(x,\mu)=\dfrac{1}{\sqrt{2\pi}}\exp\left\{-\dfrac{(x-\mu)^2}{2}\right\}

・尤度関数

データが x1x_1 であったときの尤度関数は,

L=f(x1,μ)=12πexp{(x1μ)22}L=f(x_1,\mu)=\dfrac{1}{\sqrt{2\pi}}\exp\left\{-\dfrac{(x_1-\mu)^2}{2}\right\}

・対数尤度関数

尤度関数の対数を取る: logL=12log2π(x1μ)22\log L=-\dfrac{1}{2}\log 2\pi-\dfrac{(x_1-\mu)^2}{2}

・スコア関数

対数尤度関数を μ\mu で微分: μlogL=x1μ\dfrac{\partial}{\partial \mu}\log L=x_1-\mu

注:スコア関数の期待値は確かに 00 になっています!

・フィッシャー情報量

スコア関数の二次モーメントを計算:

E[(x1μ)2]=1E[(x_1-\mu)^2]=1

注:フィッシャー情報量は一般にはパラメータの関数ですが,この場合はたまたま定数になりました。

スコア関数の期待値

(微分と積分が交換できるという正則条件のもとで)

スコア関数の期待値は 00 である:E[θlogL]=0E\left[\dfrac{\partial}{\partial\theta}\log L\right]=0

証明

E[θlogL]=E[1LLθ]E\left[\dfrac{\partial}{\partial\theta}\log L\right]=E\left[\dfrac{1}{L}\dfrac{\partial L}{\partial \theta}\right]

であり,右辺は期待値の定義より,

x11LLθLdx1=θx1Ldx1\displaystyle\int_{x_1}\dfrac{1}{L}\dfrac{\partial L}{\partial \theta}L\:dx_1 =\dfrac{\partial}{\partial\theta}\displaystyle\int_{x_1}L\:dx_1

ただし,微分と積分の交換を用いた(正則条件)。

上式の右辺の積分値は確率密度関数の定義より 11 という定数になる。よって,これを θ\theta で微分すると 00 になる。

フィッシャー情報量を多変数確率分布の場合に拡張したものがフィッシャー情報行列です。

確率・統計分野の記事一覧