情報エントロピーが1を超えるのはなぜですか？

エントロピーを計算するために、次の関数を実装しました。

from math import log

def calc_entropy(probs):
    my_sum = 0
    for p in probs:
        if p > 0:
            my_sum += p * log(p, 2)

    return - my_sum

結果：

>>> calc_entropy([1/7.0, 1/7.0, 5/7.0])
1.1488348542809168
>>> from scipy.stats import entropy # using a built-in package 
                                    # give the same answer
>>> entropy([1/7.0, 1/7.0, 5/7.0], base=2)
1.1488348542809166

私の理解では、エントロピーは0と1の間であり、0は非常に確実であることを意味し、1は非常に不確実であることを意味しています。エントロピーの測定値が1を超えるのはなぜですか？

ログベースのサイズを大きくすると、エントロピー測定値が小さくなることはわかっていますが、ベース2が標準であると思っていたので、それは問題ではないと思います。

私は明らかな何かを見逃しているに違いありませんが、何ですか？

エントロピーは確率と同じではありません。

エントロピーは、確率変数の「情報」または「不確実性」を測定します。base 2を使用している場合、ビット単位で測定されます。また、変数には1ビット以上の情報が含まれる場合があります。

この例では、1つのサンプルに約1.15ビットの情報が含まれています。つまり、一連のサンプルを完全に圧縮できた場合、サンプルあたり平均でそれだけ多くのビットが必要になります。

$\log k$$k$

$\log_2 1$$0$$\log_2 2$$1$$1$$1$$2$$1$$\log_2 k$

$\log k$$0$$1$

$e$

from math import log

def calc_entropy(probs):
    my_sum = 0
    for p in probs:
        if p > 0:
            my_sum += p * log(p)

    return - my_sum

与える：

>>> calc_entropy([1/7.0, 1/7.0, 5/7.0])
0.796311640173813