点ごとの相互情報の境界が与えられた相互情報の境界

2つのセットとあり、これらのセット同時確率分布があるとします。ましょう及び上に周辺分布示すおよびそれぞれ。 $X$ $Y$ $p(x,y)$ $p(x)$ $p(y)$ $X$ $Y$

と間の相互情報は次のように定義されます： $X$ $Y$

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

すなわち、点ごとの相互情報pmiの平均値です。 $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

pmi上限と下限を知っていると仮定します。つまり、すべての次のことが成り立つことを知っています。- $(x,y)$ $x,y$

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

何の上限は、これは上の意味するものではありません。もちろん、これは意味しが、可能であれば、より厳密な範囲が必要です。pは確率分布を定義し、pmiはおよびすべての値に対して最大値を取ることができない（または負でないことさえある）ため、これは私にはもっともらしいようです。 $I(X; Y)$ $I(X; Y) \leq k$ $(x,y)$ $x$ $y$

entropy mutual-information information-theory

— フロリアン
ソース

結合確率と周辺確率が一様である場合、pmi（、）は一様にゼロです（したがって、負ではないため、最後のステートメントと明らかに矛盾しますが、わずかです）。間違っていなければ、小さなサブセットでこの状況を混乱させることは、pmiの境界が自体についてほとんど何も言っていないこと示しているように思えます。

x

$x$

y

$y$

X \times Y

$X \times Y$

I (X; Y)

$I(X;Y)$

— whuber

実際、とが独立している場合、周辺分布に関係なく、は一定です。そう分布の全体のクラスがありますれるすべてのために、その最大値を求めと。

X

$X$

Y

$Y$

p m i (x, y)

$\mathrm{pmi}(x,y)$

p (x, y)

$p(x,y)$

p m i (x, y)

$\mathrm{pmi}(x,y)$

x

$x$

y

$y$

— 枢機

はい、確かにpmiがすべてのとで等しくなる可能性はありますが、より厳密な境界を排除するものではありません。たとえば、あること証明するのは難しくありません。これは、とき、およびバウンドの非自明な強化である。もっと一般的に成り立つ非自明な境界があるのだろうか。

(x, y)

$(x,y)$

x

$x$

y

$y$

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$

\approx k^{2}

$\approx k^2$

k < 1

$k < 1$

k

$k$

k < 1

$k < 1$

— フローリアン

に対してよりも良い境界が得られるかどうかは疑問です。もっと見たければ、p（x）p（y）とp（x、y）の間のKLの発散に関して質問を再構成してみてください。ピンスカーの不等式は、私の予想を裏付ける可能性のあるMIの下限を提供します。ajmaa.org/RGMIA/papers/v2n4/relog.pdfのセクション4も参照してください。

O (k^{2})

$O(k^2)$

k \to 0

$k \to 0$

— vqv

回答:

私の貢献は例で構成されています。これは、ポイントワイズ相互情報の範囲を指定して、相互情報をどのように制限できるかについてのいくつかの制限を示しています。

すべてのおよびを取ります。任意の、方程式の解としその後、我々は質点場所で製品空間内の点があるようにの各行及び各列のこれらの点の。（これはいくつかの方法で実行できます。たとえば、最初の行の最初のポイントから開始し、シフトして残りの行を埋めます。 $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$ 各行の循環境界条件で1を右に指します）。ポイントマスを残りのポイントに配置します。これらの点質量の合計はため、確率尺度を提供します。すべての周辺点確率はそのため、両方の周辺分布は均一です。

e^{- k} / n^{2}

$e^{-k}/n^2$

n^{2} - n m

$n^2 - nm$

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$

構成によっては明らかなようにすべてのためいくつかの後、及び（計算）と動作する相互情報のためにおよびAS用。 $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
ソース

これがあなたが探しているものであるかどうかはわかりません、それはほとんど代数的であり、確率分布であるpの特性を実際に活用していないので、ここであなたが試すことができるものです。

pmiの境界により、明らかに、したがって。我々は、置換することができるにを取得する $\frac{p(x,y)}{p(x)p(y)}\leq e^k$ $p(x,y)\leq p(x)p(y)\cdot e^k$ $p(x,y)$ $I(X;Y)$ $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

それが役立つかどうかはわかりません。

編集：さらに検討すると、これは実際にはkの元の上限よりも有用ではないと思います。ただし、開始点が示唆される場合に備えて、これは削除しません。

— マイケル・マッゴーワン
ソース

この境界の値は、および（）注意した後に明らかになります。

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$

k \geq 0

$k \ge 0$

e^{k} \geq 1

$e^k \ge 1$

— whuber

はい、編集したことに気付いたとき。

— マイケル