指数型分布族

$d$ はパラメータの数です。$\theta$ はパラメータを並べたベクトル，$x$ は各成分が確率変数に対応するベクトルです（分かりにくければ，パラメータが1つの1次元確率分布を考えればよい，その場合 $x$ も $\theta$ もスカラー）。

$x$ と $\theta$ の混ざり具合がそこまで複雑ではないというイメージです。指数の外側は（$\theta$ の関数）$\times$ （$x$ の関数）という形です。中身は（$\theta$ の関数）$\times$ （$x$ の関数）の和という形です。

指数型分布族の定義は他の（同値な）形で述べられることも多いですが，この記事では冒頭の式を使います（統計への応用を考えると，より都合のよい形もありますが，定義としてはこれが分かりやすいと思います）。

他にも，多くの有名な確率分布が指数型分布族です。例を以下に挙げます：

• 正規分布（連続，1変数，2パラメータの例）
  $p(x\mid (\mu,\sigma^2))=\dfrac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\dfrac{(x-\mu)^2}{2\sigma^2}\right\}$

• 二項分布（$n$ は既知とする）
  $p(x\mid\theta)={}_n\mathrm{C}_x\theta^x(1-\theta)^{n-x}$

• ポアソン分布
  $p(x\mid\theta)=e^{-\theta}\dfrac{\theta^x}{x!}$

• 指数分布
  $p(x\mid\theta)=\dfrac{1}{\theta}e^{-\frac{x}{\theta}}\:(x \geq 0)$

$\eta_i=g_i(\theta)$ という置換により，パラメータを $\theta$ から $\eta$ に変換してやると，指数型分布族の定義式は以下のように少しスッキリします：

$p(x\mid \eta)=G(\eta)h_0(x)\exp\left\{\displaystyle\sum_{i=1}^d\eta_i h_i(x)\right\}$

（$G(\eta)$ は適切な関数）

$\eta$ を分布の自然パラメータと言います。