情報量の意味と対数関数を使う理由

この例で分かるように，事象を観測したときに得る情報量は，その事象が起きる確率が低い（＝珍しい）ほど大きいです。これは「情報量」という言葉のイメージとも一致します。

なお，情報量を考える際の対数の底として，$2$ 以外を用いることもあるようです。底を $2$ で考えるとき，情報量の単位は「1bit」または「1シャノン」です。

情報理論で「情報量」という言葉を使うときには，以下の2つのいずれかを表します。 この記事で扱っているのは自己情報量の方です。

• 自己情報量：
  （確率が決まっている） 事象に対して定義される量。

• 平均情報量（エントロピー）：
  確率分布に対して定義される量。

平均情報量を理解するためにも，まずは自己情報量をきちんと理解する必要があります。「自己」や「平均」という単語は省略されることが多く， 混同しやすいので注意してください。

ここからは情報量がなぜ対数関数で定義されるのか説明します。 「情報量」と呼ばれる意味が何となく分かると思います。

情報量っぽい性質として以下が考えられます。

1. $f(p)$ は単調減少
   意味：起きる確率が高い事象ほど観測したときに得る情報量は小さい

2. $f(p)$ は連続
   意味：確率がほんの少し変わってもそのときに得る情報量はほとんど変わらない

3. $f(pq)=f(p)+f(q)$
   意味： $A$ と $B$ が独立なとき「事象 $A$ と $B$ を同時に観測したときに得る情報量」と「事象 $A$ を観測して得た情報量と事象 $B$ を観測して得た情報量の和」は等しい。

4. 確率 $\dfrac{1}{2}$ で起きる事象を観測したときに得る情報量は $1$ bitにしておこう。

上記の性質1～4を満たす関数が $f(p)=-\log_2 p$ だけであることを証明します！

この記事では情報量の定義と，それが我々がイメージする「情報量」っぽい性質を満たしていることを説明しました。このように定義した情報量を使って何ができるのか，何が嬉しいのかもっと知りたい方は情報理論という分野を勉強してみてください！