指数型分布族

指数型分布族

確率(密度 or 質量)関数が,

ある関数 gi(θ)g_i(\theta)hi(x)h_i(x)

(i=0,1,,d)(i=0,1,\dots,d) を用いて

p(xθ)=g0(θ)h0(x)exp{i=1dgi(θ)hi(x)}p(x\mid \theta)=g_0(\theta)h_0(x)\exp\left\{\displaystyle\sum_{i=1}^dg_i(\theta)h_i(x)\right\}

と表せるような分布を指数型分布族(exponential family)と言う。

指数型分布族の定義について

dd はパラメータの数です。θ\theta はパラメータを並べたベクトル,xx は各成分が確率変数に対応するベクトルです(分かりにくければ,パラメータが1つの1次元確率分布を考えればよい,その場合 xxθ\theta もスカラー)。

xxθ\theta の混ざり具合がそこまで複雑ではないというイメージです。指数の外側は(θ\theta の関数)×\timesxx の関数)という形です。中身は(θ\theta の関数)×\timesxx の関数)の和という形です。

指数型分布族の定義は他の(同値な)形で述べられることも多いですが,この記事では冒頭の式を使います(統計への応用を考えると,より都合のよい形もありますが,定義としてはこれが分かりやすいと思います)。

指数型分布族の例

例題

ベルヌーイ分布(離散,1変数,1パラメータ)が指数型分布族であることを確認せよ。

p(xθ)=θx(1θ)1xp(x\mid \theta)=\theta^x(1-\theta)^{1-x}

解答

p(xθ)=exp{xlogθ+(1x)log(1θ)}=(1θ)exp{xlogθ1θ}p(x\mid \theta)=\exp\{x\log \theta+(1-x)\log (1-\theta)\}\\ =(1-\theta)\exp\left\{x\log\dfrac{\theta}{1-\theta}\right\}

となるのでOK。

他にも,多くの有名な確率分布が指数型分布族です。例を以下に挙げます:

  • 正規分布(連続,1変数,2パラメータの例)
    p(x(μ,σ2))=12πσexp{(xμ)22σ2}p(x\mid (\mu,\sigma^2))=\dfrac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\dfrac{(x-\mu)^2}{2\sigma^2}\right\}

  • 二項分布nn は既知とする)
    p(xθ)=nCxθx(1θ)nxp(x\mid\theta)={}_n\mathrm{C}_x\theta^x(1-\theta)^{n-x}

  • ポアソン分布
    p(xθ)=eθθxx!p(x\mid\theta)=e^{-\theta}\dfrac{\theta^x}{x!}

  • 指数分布
    p(xθ)=1θexθ(x0)p(x\mid\theta)=\dfrac{1}{\theta}e^{-\frac{x}{\theta}}\:(x \geq 0)

自然パラメータ

ηi=gi(θ)\eta_i=g_i(\theta) という置換により,パラメータを θ\theta から η\eta に変換してやると,指数型分布族の定義式は以下のように少しスッキリします:

p(xη)=G(η)h0(x)exp{i=1dηihi(x)}p(x\mid \eta)=G(\eta)h_0(x)\exp\left\{\displaystyle\sum_{i=1}^d\eta_i h_i(x)\right\}

G(η)G(\eta) は適切な関数)

η\eta を分布の自然パラメータと言います。

「指数分布」と「指数型分布族」という言葉は別物です。