さまざまな種類のエントロピーの優れた紹介

18

サンプルエントロピーやシャノンエントロピーなどのさまざまな種類のエントロピーと、それらの長所と短所を説明する本またはオンラインリソースを探しています。誰かが私を正しい方向に向けることができますか？

references entropy

— キリスト教徒
ソース

9

表紙とトーマスの著書「情報の理論の要素」は、エントロピーとその応用に関する優れた情報源です。

— マーク・メケス
ソース

4

また、デンボ・カバーとトーマスによる論文「情報理論的不平等」は、多くの深い側面を明らかにしています

— ロビン・ジラール

1

それでも、これらの本のいずれも、複数のエントロピーがあると主張していません。

5

O. Johnsonによる情報理論に関するこれらの講義ノートには、さまざまな種類のエントロピーの優れた紹介が含まれています。

— アレック
ソース

4

エントロピーに関する数学的統計に興味がある場合は、この本を参照してください。

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

それは自由に利用可能です！

— ロビン・ジラード
ソース

2

エントロピーは1つだけです（概念として）-何らかのシステムを記述するために必要な情報の量; その一般化は多くあります。サンプルのエントロピーは、心拍数分析で使用されるエントロピーのような記述子にすぎません。

ただし、サンプルエントロピーまたはシャノンエントロピー、または他の種類のエントロピーを使用することが、作業中のデータに適しているかどうかを判断する助けにはなりません。

— クリスチャン

2

私の投稿で書いたのは、特定のタイプのデータ/プロセス/システムに対して真のエントロピー定義が1つしかないということです。サンプルのエントロピーはエントロピーの尺度ではなく、紛らわしい名前の単なる統計です。エントロピーを計算したいデータをどこで定義するかを質問すると、式が得られます。

私は真実には興味がありませんが、機能する関数を取得することに興味があります。私は生物情報学者であり、独断的な真実を求めるのではなく、機能する統計を求めることを教えました。エントロピーが最もよく機能する特定のデータを処理したい種類のデータが処理されたとは思わない。これが、データを処理したい理由の一種です。

— クリスチャン

2

正しいが、これは独断的な真実についてではなく、言葉についての議論です。エントロピーについて尋ねたので、エントロピーについて答えました。なぜなら、時系列記述子についての答えが本当に必要であることがわかったので、時系列記述子についての質問を書いて初めて、役に立つ答えが得られるからです。

2

ジェインズは、シャノンのエントロピーを彼の本の基本原理から導き出す方法を示しています。

$n!$ $n^n$

\frac{1}{n} ログ \frac{n ！}{（ n p_{1} ） ！ \dots （ n p_{d} ） ！}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

— ヤロスラフ・ブラトフ
ソース

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$

2

GrünwaldとDawidの論文Game理論、最大エントロピー、最小食い違い、ロバストなベイジアン決定理論は、エントロピーの伝統的な概念の一般化について議論しています。損失が与えられると、その関連するエントロピー関数は、分布からその分布の最小達成可能予想損失へのマッピングです。通常のエントロピー関数は、対数損失に関連する一般化されたエントロピーです。他の損失の選択では、Rényiエントロピーなどの異なるエントロピーが得られます。

— マーク・リード
ソース

1

それで、sigmaは二乗誤差に対応するN（0、sigma）のエントロピーであり、min（p、1-p）は0,1予測損失に対応するBernoulli（p）のエントロピーですか？かなり一般化されているようです！

— ヤロスラフブラトフ

はい。二乗損失のエントロピーは一定であり、0-1損失のエントロピーはmin（p、1-p）です。また興味深いのは、これらも分岐に強い対応があることです。ヘリンジャー発散への二乗損失と変分発散への0〜1の損失。エントロピーはこのように定義されるため、それらは必然的に凹関数であり、f（p）= -entropy（p）を使用して構築されたf-発散が判明します。ボブ・ウィリアムソンと私は、私たちの論文arxiv.org/abs/0901.0356でこれのいくつかを調査しました。楽しいものです。

— マークリード

1

分岐について最近見つけた興味深いものがあります-信念の伝播の各ステップは、Bregman Projection ece.drexel.edu/walsh/Walsh_TIT_10.pdf

— Yaroslav Bulatov