Renyiエントロピーの効用？

14

私たちのほとんどは、ランダム変数のシャノンエントロピー、および関連するすべての情報エントロピーなどの情報理論的尺度に精通している-または少なくとも聞いたことがある- 相互情報など。ランダム変数の最小エントロピーなど、理論的なコンピューターサイエンスや情報理論で一般的に使用されるエントロピーの他の測定値がいくつかあります。 $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$

文献を閲覧するにつれて、これらのいわゆるRenyiエントロピーがより頻繁に見られるようになりました。それらはシャノンのエントロピーと最小エントロピーを一般化し、実際にはランダム変数のエントロピー測定の全スペクトルを提供します。私は主に量子情報の領域で働いており、そこではレーニエントロピーの量子バージョンもかなり頻繁に考慮されています。

私が本当に理解していないのは、なぜそれらが役立つのかということです。シャノン/フォンノイマンエントロピーや最小エントロピーと言うよりも、分析的に扱うほうが簡単だとよく耳にします。しかし、それらはシャノンのエントロピー/最小エントロピーにも関連している可能性があります。

Renyiエントロピーを使用することが「正しいこと」である場合の例（古典的または量子）を提供できますか？私が探しているのは、Renyiエントロピーをいつ使用したいかを知るための「メンタルフック」または「テンプレート」です。

ありがとう！

it.information-theory quantum-information

— ヘンリー・ユエン
ソース

私の答えに補遺：Q-レーニイエントロピー（の確率の定義があると思われる

）I、Eの

q \in Z^{+}

$q \in \mathbb{Z}^+$

。次いで、

と、このRHSは、 ``シャノンエントロピー」と呼ばれる一つも、すなわち他の限界を定義する。

H_{q} ({p_{i}}_{i = 1}^{n}) = \frac{1}{1 - q} l n [\sum_{k = 1}^{n} p_{k}^{q}]

$H_q (\{ p_i \}_{i=1}^n )= \frac{1}{1-q} ln [ \sum_{k=1}^n p_k^q ]$

l i m_{q \to 1} H_{q} = - \sum p_{k} l n (p_{k})

$lim_{q \rightarrow 1} H_q = - \sum p_k ln (p_k)$

。これらのアイデアは、ここに見られるように、エキスパンダーの構築に用途を見つけたようです。 org / pdf / math / 0406038.pdf

H_{\infty} (X) = l n [\frac{1}{m a x_{a} P r [X = a]}]

$H_{\infty} (X) = ln [\frac{1}{ max_{a} Pr[X=a]} ]$

— Anirbit

15

ある有限集合分布する未知のランダム変数アトミックな推測を試みることを検討してくださいシャノンエントロピーでは、ビット単位でクエリできると想定されています。つまり、場合、次のように尋ねることができます。 $X$ $A.$ $A=\{1,\ldots,N\}$

ある？ $X\in \{1,\ldots,N/2\}$ （偶数と仮定するか、床/天井機能を使用します） $N$

暗号およびいくつかのデコードシナリオでは、これは現実的ではありません。未知のパスワードを推測しようとすると、アトミッククエリを作成する必要があります。つまり、が特定の値であるかどうかをクエリします。 $X$

これは、確率変数の推測するクエリ数の期待値ということが判明した、注文のレーニイエントロピーに緊密に依存してだから、いくつかの高い瞬間を行います。例えば $X$ $1/2.$

E [G] \leq \frac{(\sum_{x \in A} P_{X} (x)^{1 / 2})^{2}}{2}

$E[G]\leq \frac{(\sum_{x \in A} P_X(x)^{1/2})^2}{2}$

そして、分子オーダーのレーニイエントロピーの対数基本的にレーニイエントロピーと推測の数の期待値が非常に小さいながら一つもシャノンエントロピーが非常に大きくすることができます。セキュリティのためにシャノンエントロピーに依存している場合、その場合は問題が発生します。 $1/2.$

関連する質問もご覧ください。複数の試行で低エントロピー値を推測する

いくつかの参照：

JO Pliam、ブルートフォース攻撃におけるエントロピーと限界推測の比較不可能性について。インドクリプト2000：67-79
E.アリカン、推測の不等式とその逐次復号への応用。IEEEトランザクションに関する情報理論42（1）：99-105,1996。
S. Boztas、Renyiエントロピーと暗号の推測攻撃への応用について、電子工学、通信およびコンピューターサイエンスの基礎に関するIEICEトランザクション97（12）：2542-2548、2014年。

— コドル
ソース

このS.Boztas論文にアクセスできません。一般公開されているリンクがありますか？

— -Anirbit

@Anirbitは、RMIT研究リポジトリ、researchbank.rmit.edu.auを

— kodlu

そのリンクを検索しました。円を描くだけでした。一般公開されているPDFファイルを見つけたことがありません。

— Anirbit

@Anirbit、すみません、本当にそこに預けられていると思いました！

— kodlu

18

レーニイエントロピーが似ている、ある意味で、に -normsので、それらの規範が有用である理由の最初のリコールをしましょう。 $\ell_p$

私たちは数のベクトルがあるとし。私たちは、の典型元素どうするか、ある意味で、表す単一の番号が欲しいような表情を。 $a \in \mathbb{R}^n$ $a$

そうするための一つの方法は、中に数字の平均を取ることであるおよそに相当し、規範：。これは便利ですが、いくつかの用途のためには、次のような問題点がある。まず、ノルムは私たちに、上の最大の要素にバインドされ良いものではありません、単一の大きな要素と多くのゼロがある場合ので、ノルムは最大要素よりも大幅に小さくなります。一方、 $a$ $\ell_1$ $\mathbb{E}_{1 \le i \le n}[|a_i|]$ $\ell_1$ $a$ $\ell_1$ $\ell_1$ また、ノルムは、の要素がどれだけ小さいか、たとえばが持つゼロの数に関する適切な境界を与えません。この問題は、以前とまったく同じシナリオで発生します。 $a$ $a$

もちろん、上記の極端なシナリオのように、の要素に多くの分散がある場合、単一の数値で上記の両方の問題を解決することはできません。トレードオフがあります。我々は唯一最大の要素を知りたい場合たとえば、私たちは使用することができますノルムが、その後、私たちは小さな要素に関するすべての情報を失うことになります。我々はゼロの数をしたい場合は、私たちは見ることができのサポートのジャストサイズですノルム。 $a$ $\ell_\infty$ $\ell_0$ $a$

今、考える理由規範は、彼らが私たちに両極端の間の全体の連続トレードオフを与えるということです。大きな要素に関する詳細情報が必要な場合は、を大きくし、逆も同様です。 $\ell_p$ $p$

同じことがレーニイエントロピーのために行く：シャノンのエントロピーは次のようである規範-それは私たちに分散または極端について「典型的な」要素の確率は、何もについて何かを伝えます。最小エントロピーは、最も確率の高い要素に関する情報を提供しますが、残りに関するすべての情報を失います。サポートサイズは、他の極端なものを提供します。Renyiエントロピーは、両極端の間の継続的なトレードオフを提供します。 $\ell_1$

たとえば、多くの場合、Renyi-2エントロピーは、一方でシャノンのエントロピーに近く、分布上のすべての要素に関する情報を含み、他方で最大の要素に関する情報を提供するため、有用です。確率。特に、Renyi-2エントロピーの境界が最小エントロピーの境界を与えることが知られています。たとえば、ここの付録Aを参照してください：http : //people.seas.harvard.edu/~salil/research/conductors-prelim .ps

— またはメイアー
ソース

11

Renyiエントロピー（次数2）は、暗号化で衝突の可能性を分析するのに役立ちます。

ランダム変数の次数2のRenyiエントロピーは次の式で与えられることを思い出してください $X$

H_{2} (X) = - \log_{2} \sum_{x} Pr [X = x]^{2} .

$H_2(X) = - \log_2 \sum_x \Pr[X=x]^2.$

それはことが判明した私たちは二つの値がの分布に応じIID描かれている確率を測定することができます（「衝突」）と同じことが起こる：この確率は、正確である。この分布から回描画した後、これらの描画間の衝突の予想数はです。 $H_2(X)$ $X$ $2^{-H_2(X)}$ $n$ $n$ $C(n,2) 2^{-H_2(X)}$

これらの事実は、衝突が問題となる可能性があり、攻撃を可能にする暗号法で役立ちます。

暗号化における他の用途の分析については、次の博士論文をお勧めします。

クリスチャン・カチン。暗号におけるエントロピー測度と無条件セキュリティ。博士論文、ETHチューリッヒ、1997年5月。

— DW
ソース

q-Renyiエントロピーのそのような直接的な確率的定義はありますか？（私の答えからわかるように、任意のqでこれを定義する唯一の方法は、ラグランジュ

— アン

@Anirbit、私は知りません。私が見たことを思い出すものはありません（q-Renyiエントロピーが私たちが気にする他の境界の境界につながる可能性がありますが...）

— DW

また、「情報エントロピー」は基本的に「熱力学的エントロピー」であるようです。（q = 1）-Renyiエントロピー、つまりエンタングルメントエントロピーでも、その複雑さの解釈について概念的なギャップがありますか？

— Anirbit

- \infty

$-\infty$

@DW確率論的な解釈があるようです。元の質問に対する私のコメントをご覧ください。

— Anirbit

3

この他のstackexchangeの回答とこのブログ投稿は、基本的な例を簡単に理解するのに非常に役立ちます。

大まかに言えば、レニーのエントロピーは量子系の励起状態を知っていますが、エンタングルメントエントロピーは基底状態を知っています。警告：この直観はひどく粗雑なものかもしれませんが、良い「メンタルフック」にすぎないかもしれません。

エンタングルメントエントロピー（より物理的な量）を、レーニエントロピー（ $S_1$ $S_q$ $q \in \mathbb{Z}^+$ $S_1 = limit_{q \rightarrow 1} S_q$ $S_q$ $q \in \mathbb{R}$ $q \rightarrow 1$ $q \in \mathbb{R}$ $S_q$

$q>1$ $q-$ $q$

これらの分析的な継続を試みると、存在と適切性について多くの問題が常にあります-しかし、ファインマン経路積分の毎日の食事で育てられる私のような人にとって、それは対処する非常に一般的な問題ですこれらに対処するためのツールがたくさんあります。三つの素敵な論文は、これらの問題があるため、に見てhttp://arxiv.org/pdf/1306.5242.pdf、http://arxiv.org/pdf/1402.5396.pdf、http://arxiv.org/pdf/1303.7221 .pdf（これらの論文の最後の方が簡単な出発点かもしれません）このプレゼンテーションも役立つかもしれません、https：//www.icts.res.in/media/uploads/Talk/Document/Tadashi_Takayanagi.pdf

量子複雑性理論の観点からRenyiエントロピーが言うことは、刺激的な質問かもしれません！Renyiインデックスは、何らかの方法で複雑度クラスの階層をパラメータ化すると考えることができますか？それは本当なら楽しいはずです！教えてください:)

— Anirbit
ソース

0

Renyiエントロピーは、定量的情報フロー、領域、またはセキュリティ研究の定義にその道を見出しました。G.スミスの調査論文を参照してください。

— 改
ソース