経験的エントロピーとは何ですか？

共同で典型的な集合の定義（「情報理論の要素」、ch。7.6、p。195）では、

として経験的エントロピーのと-sequence。これまでこの用語に出会ったことはありません。本のインデックスに従ってどこでも明示的に定義されていません。

- \frac{1}{n} \log p (x^{n})

$-\frac{1}{n} \log{p(x^n)}$

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

私の質問は基本的には次のとおりです。なぜ経験的エントロピーはない場所で経験分布？ $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ $\hat p(x)$

これら2つの式の最も興味深い違いと類似点は何ですか？（共有する/しないプロパティの観点から）。

information-theory entropy

— ブラブ
ソース

2つの式は代数的に等しくありませんか？

— whuber

@whuber：いいえ、量は異なり、目的も異なります。最初は先験的に既知であると仮定された真の尺度

使用することに注意してください。2番目はそうではありません。

p

$p$

— 枢機

前者は、時間の経過に伴うエントロピーの蓄積と、システムの真のエントロピーとの比較に関係しています。SLLNとCLTは、その動作について多くのことを伝えます。2つ目は、データからエントロピーを推定することに関するもので、そのプロパティの一部は、上記の2つのツールを使用して取得することもできます。しかし、最初のものは偏りがなく、2番目のものはどの

下にもありません。役に立つ場合は、詳細を記入できます。

p

$p$

— 枢機

@cardinal：あなたは答えとして上記のコメントを提供したい場合は（多分もSLLNとCLTが何であるかを説明-私はこれらを知らないのですか？）私はupvote喜んだろう...

— blubb

わかりました、後でもっと投稿しようとします。それまでの間、SLLN = "多数の強い法則"およびCLT = "中央極限定理"。これらは、かなり標準的な略語であり、再び遭遇する可能性があります。乾杯。:)

— 枢機

回答:

データがある場合であり、サンプル空間から-sequence 、経験ポイント確率は、 $x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$ のため。ここは、場合は1、それ以外の場合はゼロです。すなわちの相対頻度である観察された配列です。エントロピー経験点確率によって与えられた確率分布のは、

\hat{p} （ バツ ） = \frac{1}{n} | {私 ∣ {バツ}_{私} = バツ} | = \frac{1}{n} \sum_{私 = 1}^{n} δ_{バツ} （ {バツ}_{私} ）

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

後者の同一性は、2点の合計を交換し、注目することによって、以下のこと

このことから、私たちはいることがわかり

H （ \hat{p} ） = - \sum_{バツ \in バツ} \hat{p} （ バツ ） ログ \hat{p} （ バツ ） = - \sum_{バツ \in バツ} \frac{1}{n} \sum_{私 = 1}^{n} δ_{バツ} （ {バツ}_{私} ） ログ \hat{p} （ バツ ） = - \frac{1}{n} \sum_{私 = 1}^{n} ログ \hat{p} （ {バツ}_{私} ） 。

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$

\sum_{バツ \in バツ} δ_{バツ} （ {バツ}_{私} ） ログ \hat{p} （ バツ ） = ログ \hat{p} （ {バツ}_{私} ） 。

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$

と

、これはの経験的エントロピーある質問からの用語を使用して経験的確率分布。コメントで@cardinalで指摘したように、

H （ \hat{p} ） = - \frac{1}{n} ログ \hat{p} （ {バツ}^{n} ）

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$

は、ポイント確率

持つ特定の確率分布の経験的エントロピーです。

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$

p

$p$

— NRH
ソース

（+1）これは、カバーとトーマスがエントロピーの「奇妙な自己参照文字」と呼ぶものの素晴らしい説明を提供します。ただし、その答えが実際に（直接）OPの明白な懸念に対処するかどうかはわかりません。:)

— 枢機

@cardinal、私は知っています、そして答えはこの特定のポイントを作るための単なる長いコメントでした。あなたの主張を繰り返したくありませんでした。

— -NRH

私のコメントや他のコメントの拡張を含む、あなた自身の答えを投稿するのをbadしたり、ためらったりしないでください。私は回答の投稿が特に遅くて悪いので、あなたや他の人が私が以前簡単にコメントしたかもしれないことの側面を組み込んだ回答を投稿しても決して怒らないでしょう。実際、まったく逆です。乾杯。

— 枢機

エントロピーは確率分布に対して定義されます。データがなく、データのみがあり、確率分布の単純な推定量をプラグインすると、経験的エントロピーが得られます。これは、別の回答に示されているように、離散（多項）分布に対して最も簡単ですが、ビニングなどによって他の分布に対しても実行できます。

経験的エントロピーの問題は、小さなサンプルに対して偏っていることです。確率分布の単純な推定は、サンプリングノイズによる余分な変動を示しています。もちろん、より良い推定器、例えば、多項パラメータに適した事前分布を使用することもできますが、それを本当に偏りのないものにすることは簡単ではありません。

上記は条件付き分布にも適用されます。さらに、すべてがビニング（またはカーネル化）に関連しているため、実際には一種の微分エントロピーがあります。

— 陰嚢
ソース

ここで経験的エントロピーと呼んでいるものに注意する必要があります。プラグイン推定器は、すべてのサンプルサイズで常に低くバイアスされますが、サンプルサイズが大きくなるとバイアスは小さくなります。エントロピーの偏りのない推定量を取得するのは難しいだけでなく、一般的なケースでは不可能です。過去数年にわたり、特に神経科学の文献では、この分野でかなり集中的な研究が行われてきました。実際、多くの否定的な結果が存在します。

— 枢機