最尤法によるパラメータ推定の意味と具体例
最尤法(さいゆうほう)というパラメータ推定の手法について解説します。
最尤推定とは
最尤推定とは
目標:観測データをもとにパラメータ の値を点推定したい。
考え方:パラメータ の値が分からないので,とりあえず だと仮定してみる。その仮定のもとで,実際に観測した事象が起きる確率(→注) を考えてみる。 が大きいような がもっともらしい推定値である。
実際の手順:尤度関数 を計算して,それを最大にする を推定値とする。
注:連続型確率分布の場合は,確率ではなく確率密度に対応する量になります(例題2参照)。
離散型確率分布の例:コイン
離散型確率分布の例:コイン
表が出る確率が であるようなコインがある。このコインを 回投げたら 回表が出た。最尤法により を推定せよ。
〜ステップ1:尤度関数を計算する(重要)〜
表が出る確率が であるコインを 回投げて 回表が出る確率は,反復試行の確率の公式より
これが尤度関数である。これを最大にする がもっともらしい である。
〜ステップ2: を最大にする を求める(作業)〜
を最大にする と を最大にする は同じであるので,計算を楽にするため対数を取る(対数尤度関数):
これを で微分すると,
となる。
よって, のとき,つまり がもっともらしい推定値。
補足:例えば でも 回中 回表が出る可能性はありますが,そのような確率は であり よりはるかに小さいので, と予想するより と予想するのがもっともらしいだろう,と考えます。
連続型確率分布の例:正規分布
連続型確率分布の例:正規分布
次は連続型確率分布,かつパラメータが二つの場合を考えます。
平均が ,分散が である正規分布に独立に従う乱数を生成したところ,出力は であった。このとき と を最尤法で推定せよ。
〜ステップ1:尤度関数を計算する〜
平均が ,分散が の正規分布に独立に従う乱数の値が である確率は,
〜ステップ2:尤度関数を最大にする を求める〜
二変数関数の最大化問題。対数尤度関数は,
まず を固定して で偏微分すると, 。よって, のとき尤度関数が最大。
次に について偏微分して を解くと, となる。
補足:上の例では の最尤推定量は標本平均, の最尤推定量は標本分散であることが分かりました。これは非常に自然な結果に思えますが,不偏性という観点から見ると の推定値は標本分散にすべきではありません。→不偏標本分散の意味とn-1で割ることの証明
尤という漢字,最尤推定以外の文脈では見たことがない気がします。