「経験的エントロピー」という言葉を誰が作ったのですか？

Shannonのエントロピーに関する作業を知っていますが、最近、ストレージ分析の一部として経験的エントロピーがよく使用される簡潔なデータ構造に取り組んでいます。

シャノンは、離散情報ソースによって生成された情報のエントロピーをと定義しました。ここで、はイベント発生する確率、たとえば特定の文字が生成され、イベントが発生する可能性があります。 $-\sum_{i=1}^k p_i \log{p_i}$ $p_i$ $i$ $k$

コメントでMCHにより指摘したように、経験的エントロピーは、これらのイベントの経験分布のエントロピーであり、したがって、によって与えられるここで、はイベント観測された発生数、は観測されたイベントの総数です。これは、ゼロ次の経験的エントロピーと呼ばれます。シャノンの条件付きエントロピーの概念には、同様の高次の経験的バージョンがあります。 $-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$ $n_{i}$ $i$ $n$

シャノンは経験的エントロピーという用語を使用しませんでしたが、彼は確かにこの概念のいくらかの信用に値します。誰がこのアイデアを最初に使用し、誰が（非常に論理的な）名前の経験的エントロピーを最初に使用してそれを説明しましたか？

reference-request shannon-entropy succinct

— 削除されたユーザー42
ソース

「すべての文字列に対して個別に定義」はコルモゴロフの複雑さのように聞こえます。それはあなたが何を参照しているのですかそうでない場合、それを定義するリンクを指すことができますか、それとも質問自体にdefnを提供できますか？

— Suresh Venkat 2013年

経験的エントロピーはシーケンスの経験的分布のエントロピーであるため、このように呼ばれます。

— Mahdi Cheraghchi 2013年

@SureshVenkat質問を詳しく説明しようとしました。

— 削除されたユーザー42

Kosaraju S. Rao、Manzini G。、「Lempel-Zivアルゴリズムによる低エントロピー文字列の圧縮」（1998）もご覧ください。彼らは、「いわゆる経験的エントロピー」を使用して、Lempel-Zivアルゴリズムのパフォーマンスを分析します。

— Marzio De Biasi 2013年

「経験的分布」は、実際には特定の頻度カウントのセットのML分布であることに注意してください。これはベイズにさかのぼるかしら。ラプラスでさえ、経験的カウントから分布を定義する問題を熟考していた。

— Suresh Venkat

私はあなたのような「経験的エントロピー」に興味があります。私が見つけた最も古い論文は、コサラジュから、ユーザー「Marzio De Biasi」がコメントで言ったようなものでした。

しかし、私の意見では、「経験的エントロピー」の実際の定義は、前者の概念を一般化することによって後で作成されます。

「大きなアルファベットと非圧縮性」Travis Gagie（2008）
「経験的エントロピー」、Paul MBVitányi（2011）

$k$

$H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

$Q$ $k$

$H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

$\mathcal{X}$ $K(X)$
$\mathcal{X}$ $k$ $|w|$ $|w|$

— ダニー
ソース