統計または情報理論における量使用はありますか？

統計または情報理論における量使用はあります か？

$$\int f(x)^2 dx$$

まかせ、量（ルベーグ又は計数測度、それぞれに対していずれか）を表す確率密度関数を H_ \アルファ（F）= - \ FRAC {1} {\ alpha-1} \ log（\ textstyle \ int f ^ \ alpha \ rd \ mu） は、次数\ alpha \ geq 0のRenyiエントロピーとして知られています。同じ特性の多くを保持するのは、シャノンエントロピーの一般化です。\ alpha = 1の場合、H_1（f）を\ lim _ {\ alpha \ to 1} H _ {\ alpha}（f）と解釈し、これは標準シャノンエントロピーH（f）に対応します。$f$$\newcommand{\rd}{\mathrm{d}}$

$$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$$ α = 1 H 1（F ）LIM α → 1 H α（F ）H （F $\alpha \geq 0$$\alpha = 1$$H_1(f)$$\lim_{\alpha \to 1} H_{\alpha}(f)$$H(f)$

レニーは彼の論文でこれを紹介しました

A. Renyi、情報とエントロピーの測定について、Proc。第4回バークレーシンプ 数学、統計上 および問題。（1960）、547-561ページ。

これは、アイデアだけでなく、模範的な博覧会スタイルについても読む価値があります。

ケースのためのより一般的な選択肢の一つであるこの特殊なケースは、多くの場合、レーニイエントロピーと呼ばれる（また）です。ここでは、参照すること のために密度分布するランダム変数。α H 2（F ）= - ログ（∫ F 2 次元 μ ）= - ログ（E F （X ））$\alpha = 2$$\alpha$

$$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$$ $f$

なお、凸関数であるので、ジェンセンの不等式によって、私たちは持っている ここで、右側はシャノンエントロピーを示します。したがって、レーニエントロピーはシャノンエントロピーの下限を提供し、多くの場合、計算が簡単です。H 2（F ）= - ログ（E F （X ））≤ E（- ログF （X ））$- \log(x)$

$$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$$

Renyiエントロピーが発生するもう1つの自然な例は、離散確率変数と独立コピー考慮する場合です。いくつかのシナリオでは、の確率を知りたいと思います。これは、基本的な計算では X ⋆ X = X ⋆ P（X = X ⋆）= ∞ Σ I = 1つの P（X = X I、X ⋆ = X I）= ∞ Σ I = 1つの P（X = X I$X$$X^\star$$X = X^\star$

$$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$$

ここで、は、値のセットカウントメジャーに関する密度を示します。Ω = { X I：I ∈ N$f$$\Omega = \{x_i: i \in \mathbb{N}\}$

（一般的な）Renyiエントロピーは、熱平衡状態にあるシステムの自由エネルギーにも関連しているようですが、個人的にはそうではありません。このテーマに関する（非常に）最近の論文は

JC Baez、Renyiエントロピーと自由エネルギー、arXiv [quant-ph] 1101.2098（2011年2月）。