ファーノの不平等の逆？

10

Fanoの不等式はさまざまな形で表すことができますが、特に有用なものの1つは（わずかな変更を加えて）Oded Regevによるものです。

LET $X$ 確率変数であり、およびlet $Y = g(X)$ ここでランダムプロセスです。与えられたが確率を再構築できる手続き存在を仮定します。次に、 $g(\cdot)$ $f$ $y = g(x)$ $x$ $p$
$I (X; Y) \geq p H (X) - H (p)$ $I(X; Y) \ge pH(X) − H(p)$

つまり、再構築できれば、システム内に相互情報がたくさんあります。

ファーノの不平等に対する「逆」はありますか：形の何か

「十分な相互情報を備えたチャネルを考えると、相互情報に依存するエラーのある出力から入力を再構築する手順があります。」

この手順も効率的であることを期待するには多すぎますが、再構成が存在するが非効率的でなければならない（自然な）例を見るのも興味深いでしょう。

it.information-theory randomized-algorithms

— Suresh Venkat
ソース

12

$P(y)$ $y$ $x$ $\Pr[X = x \mid Y = y]$ $\max_x \Pr[x \mid Y = y]$ $2^{-H_\infty(X | Y = y)}$ $H_\infty(X \mid Y = y)$ $X$ $Y = y$ 。であることがわかります。ここで、は確率変数標準シャノンエントロピーです。今、私たちは上限をしなければなりません $H_\infty(X) \leq H_1(X)$ $H_1(X)$ $X$ $H_\infty(X|Y = y)$ 相互情報観点から。 $I(X:Y)$

を書き込みます。上記の不等式を使用して、、または。 $I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$ $I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$ $\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

とがランダムに選択される場合に手順が成功する確率はであり、凹面により少なくとも。したがって、手順が成功する確率は少なくともです。 $X$ $Y$ $\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$ $2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$ $2^{I(X:Y) - H(X)}$

この手順は最適です。ランダム性の手順与えられた場合、成功の確率は、これは、決定的に最も可能性の高い出力するときに、ポイントごとに最大化されます。 $P$ $\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$ $P(y)$ $x$

— ヘンリー・ユエン
ソース

1

それで、この議論から続くファーノの不等式の逆である量的な声明はありますか？

— メビウス餃子

定量的とはどういう意味ですか？上記で与えた議論は、「相互情報量チャネルを考えると、最大でエラーを伴う再構築手順があります」と言う必要があります。

I (X : Y)

$I(X:Y)$

1 - 2^{I (X : Y) - H (X)}

$1 - 2^{I(X:Y) - H(X)}$

— Henry Yuen

2

いい答えと証明。したがって、回答の範囲も書き換えることができます定義により、。これは、IEER ISIT 1994で、私の知る限りではBaumerの講演で登場しました。

p_{e r r} \leq 1 - 2^{I (X; Y) - H (X)} = 1 - 2^{- H (X | Y)}, (1)

$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$

I (X; Y) = H (X) - H (X | Y)

$I(X;Y)=H(X)-H(X|Y)$

同様に、ここで、であります次数のRenyiエントロピーここでは、なので、境界（2）は（1）よりも厳密です。

p_{e r r} \leq 1 - \sum_{y \in Y} P_{Y} (y) 2^{- H_{2} (X | Y)}, (2)

$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$

H_{α} (Z) = \frac{1}{1 - α} (\sum_{z \in Z} P_{Z} (z)^{α})

$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$

α \in (0, 1) \cup (1, \infty) .

$\alpha \in (0,1)\cup(1,\infty).$

α = 2,

$\alpha=2,$

— コドル
ソース