相互情報ゲイン値は1より大きくできますか

非常に基本的な疑問があります。これが少しイライラする場合は申し訳ありません。相互情報の値は0より大きくなければならないことを知っていますが、1より小さくする必要がありますか？上限値によって制限されていますか？

ありがとう、アミット。

はい、上限はありますが、1はありません。

相互情報両当事者（統計）は1ビットの情報を共有する場合（ビット）が1です。ただし、任意の大きなデータを共有できます。特に、2ビットを共有する場合は2です。

相互情報によって上方から制限される確率分布のシャノンエントロピー単一の当事者のために、すなわち、$I(X,Y) \leq \min \left[ H(X), H(Y) \right]$。