エントロピーとSNRの関係

一般に、あらゆる形のエンロピーは不確実性またはランダム性として定義されます。ノイズが増加するノイズの多い環境では、目的の信号の情報内容が不確実であるため、エントロピーが増加すると考えています。エントロピーとSNRの関係は何ですか？信号対雑音比が増加すると、雑音電力は減少しますが、これは信号の情報量が増加することを意味しません!! 情報内容は同じままかもしれませんが、それはエントロピーが影響を受けないということですか？

「情報の内容が同じままである可​​能性がある」と言うとき、総信号の情報ですか、それとも目的の信号の情報ですか？うまくいけば、これで両方のケースに答えられるでしょう。私はコルノンゴロフよりもシャノンのエントロピーをよく知っているので、それを使用しますが、うまくいけば論理が翻訳されることを願っています。

レッツは言うあなたの全信号（あるご希望信号の合計からなる）、およびあなたのノイズ成分を。エントロピーと呼びましょう。あなたが言ったように、ノイズは複雑さを増すことでシステムにエントロピーを追加します。ただし、それは必ずしも信号の情報内容が不確実だからというだけでなく、信号全体の不確実性が大きいためです。SNRの種類ががどれだけ確かであるかを測定する場合、種類はどの程度うまく将来の状態を予測できるかを測定しますX S N H S H （X ）X $X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$現在の状態に基づいて、$X$。エントロピーは、ノイズと非ノイズの構成に関係なく、信号全体がどれほど複雑であるかを考慮します。

ノイズを除去して（減衰させて）SNRを上げると、総信号の複雑度、したがってエントロピーが減少します。によって運ばれた情報は失われていませんによって運ばれた（おそらく無意味な）情報だけです。場合ランダムノイズであり、その後、明らかにそれは意味のある情報を運ばないが、それは説明するために情報の一定量を取りX S N N $N$$X$$S$$N$$N$$N$ Nは、であることができることは状態の数によって決定される、の状態を、その確率はですそれらの状態のそれぞれ。それがエントロピーです。

異なる分散を持つ2つのガウス分布を見ることができます。たとえば、1つの分散がで、もうつの分散がます。ガウス分布の方程式を見ると、分布の最大確率は、 distrの確率の値の番目だけであることがわかります。逆に、これは、 distrが平均以外の値を取る可能性が高いこと、または分布が平均に近い値を取ることの確実性が高いことを意味します。そのため、分布は、よりもエントロピーが低くなります。100 V a r = 100 $1$$100$$Var=100$ var=1Var=100Var=1Var=1Var=$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$ 分布。

分散が大きいほどエントロピーが高いことを意味します。エラーの伝播を見ると、（独立した、等しいであることも事実です。もしは、エントロピーのために、。以来、（間接的に）分散の関数であり、我々は物事を言って少しごまかすことができ。簡略化するために、とは独立しているため、と言います。SNRの改善は、多くの場合、ノイズパワーの減衰を意味します。SNRの高いこの新しい信号は、X Y X = S + N H H （X ）= H （S + N ）H H （V a r [ X ] ）= H （V a r [ S $Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$$H$S N H （V R [ X ] ）= H （V R [ S ] + V R [ N ] ）X = S + （$H(Var[X]) = H(Var[S+N])$$S$$N$$H(Var[X]) = H(Var[S] + Var[N])$k>1H（Var[X]）=H（Var[S]+（1/k）2∗Var[N]）k1Var[N]Var[N]Var[S+N$X = S + (\frac {1} {k})N$になります。$k>1$。エントロピーは。$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$。はより大きいため、Nが減衰するとは減少します。場合減少し、そう、したがってが低下、$k$$1$$Var[N]$$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

あまり簡潔ではありません、ごめんなさい。つまり、SNRを上げるとのエントロピーは減少しますが、の情報には何もしません。現在、ソースを見つけることはできませんが、SNRと相互情報（エントロピーに似た2変量測定）を相互に計算する方法があります。主なポイントは、SNRとエントロピーが同じものを測定しないことです。$X$$S$

[1, p. 186]OPまたはGoogle社員を始めるための引用文は次のとおりです。

非常に大まかに、 $\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

ここで、$\mathcal{H}$は、信号のモデルのパラメーターの事後分布の負のエントロピーです。幸運を！

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006