均一な部分分布を持つ分布のエントロピー

LETセット内の値を取る確率変数である。の分布は均一ではありませんが、「均一」なサブセットありますすべてのイベントは等しい確率で発生します。 $X$ $\mathcal{X}$ $X$ $A\in\mathcal{X}$ $A$

のエントロピーをセットサイズに関連付けることはできますか？直感的には、のエントロピーは少なくともであると言えるはずです、しかしそれを証明する方法がわかりません。 $X$ $A$ $X$ $\log |A|$

例えば、上に分布均一であり、そして結合は自明成り立ちます。 $A = \mathcal{X}$ $X$

entropy information-theory

— pg1989
ソース

エントロピーの公式を適用するだけです。結果はすぐに失われます。アイデアは $A$ 単独で少なくとも貢献

- | A | (\frac{1}{| A |}) \log (\frac{1}{| A |}) = \log | A |

$-|A| \left(\frac{1}{|A|}\right)\log\left(\frac{1}{|A|}\right)=\log|A|$ エントロピーおよびその他のエントロピー式の項は、それをさらに増やすことしかできません。詳細は次のとおりです。

まず、言語について明確にしましょう：のサブセット $\mathcal{X}$ 通常は「イベント」とは見なされません。 $X$ 確率空間からの関数です $(\Omega, \mathfrak{F}, \mathbb{P})$ に $\mathcal X$ 。反転画像

X^{- 1} (a) = {ω \in Ω ∣ X (ω) = a}

$X^{-1}(a) = \{\omega\in\Omega\mid X(\omega)=a\}$

の測定可能なサブセットであると見なされます $\Omega$ それ自体が（従来の意味での）イベントです。

便宜上、 $n=|A|$ そのカーディナリティにしてみましょう $p$ 問題のすべてのイベントの共通の確率である; あれは、

p = Pr (X^{- 1} (a))

$p = \Pr(X^{-1}(a))$

いずれについても。 $a\in A$

をとその補数分解します。総確率の公理は、確率が負ではないという事実とともに、 $\Omega$ $X^{-1}(A)$ $\bar A = \Omega\setminus X^{-1}(A)$ $\bar A$

\begin{aligned} 1 & = Pr （ Ω ） = Pr （ {\bar{あ}}_{バツ} ） + Pr （ {バツ}^{- 1} （ あ ） ） \\ = Pr （ {\bar{あ}}_{バツ} ） + \underset{a \in あ}{Σ} Pr （ {バツ}^{- 1} （ a ） ） \\ = Pr （ {\bar{あ}}_{バツ} ） + ん p \geq ん p 。 \end{aligned}

$\eqalign{ 1 &= \Pr(\Omega) = \Pr(\bar A_X) + \Pr(X^{-1}(A))\\ &= \Pr(\bar A_X) + \sum_{a\in A} \Pr(X^{-1}(a)) \\ & = \Pr(\bar A_X) + np \ge np. }$

が無限大の場合、これはがゼロでなければならず、が未定義であることを示します。 したがって、は有限であると想定する必要があります。この場合、前の計算は $n$ $p$ $\log p$ $n$

p \leq \frac{1}{ん} 。

$p \le \frac{1}{n}.$

のエントロピーの計算では、対応する項があり、負でない値がエントロピーに寄与します。から用語が残っています。これらはそれぞれ、を（定義により）エントロピーに寄与し。のでと単調増加関数（あるつまり、）、彼らの総下限ました $X$ $X^{-1}\left(\mathcal{X}\setminus A\right)$ $n$ $A$ $-p\log p$ $p \le 1/n$ $\log$ $\log(p) \le \log(1/n)$ $-np\log p$

- ん p ログ p \geq - ん \frac{1}{ん} ログ （ \frac{1}{ん} ） = ログ ん = ログ | あ | 、

$-np\log p \ge -n\frac{1}{n}\log\left(\frac{1}{n}\right) = \log n =\log|A|,$

QED。

— whuber
ソース