確率としての相互情報量

ジョイントエントロピーに関する相互情報：

0 \leq \frac{I (X, Y)}{H (X, Y)} \leq 1

$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$

「XからYに情報を伝達する確率」と定義されますか？

世間知らずで申し訳ありませんが、私は情報理論を学んだことがなく、その概念を理解しようとしています。

information-theory mutual-information

— ルカ・マギー
ソース

CVへようこそ、luca maggi！なんて素敵な最初の質問でしょう！

— Alexis

回答:

あなたが説明している尺度は、情報品質比 [IQR]（Wijaya、Sarno and Zulaika、2017）と呼ばれます。IQRは、相互情報量を「合計不確実性」（結合エントロピー）で割ったものです（画像ソース：Wijaya、SarnoおよびZulaika、2017）。 $I(X,Y)$ $H(X,Y)$

Wijaya、Sarno、Zulaika（2017）が述べたように、

IQRの範囲はです。DWTが情報を失うことなく信号を完全に再構築できる場合、最大値（IQR = 1）に到達できます。それ以外の場合、最小値（IQR = 0）は、MWTが元の信号と互換性がないことを意味します。つまり、特定のMWTを使用して再構築された信号は、重要な情報を保持できず、元の信号特性とはまったく異なります。 $[0,1]$

これは、情報を失うことなく信号が完全に再構築される確率と解釈できます。そのような解釈は、主観的な確率の解釈に近く、次に伝統的な頻度主義の解釈に近いことに注意してください。

これはバイナリイベントの確率です（情報を再構築するかどうか）。IQR= 1は再構築された情報が信頼できると考えていることを意味し、IQR = 0はその逆を意味します。バイナリイベントの確率のすべてのプロパティを共有します。さらに、エントロピーは他の多くのプロパティを確率と共有します（条件付きエントロピーの定義、独立性など）。だから、それは確率のように見え、そのようにうなずく。

Wijaya、DR、Sarno、R.＆Zulaika、E.（2017）。マザーウェーブレット選択の新しいメトリックとしての情報品質比。Chemometrics and Intelligent Laboratory Systems、160、59-71。

— ティム
ソース

確率測度の定義プロパティをチェックするために、 IQR関数はどのように定義されますか？とをで導入していますか？ここで、は特性関数です。

A \subset Ω

$A\subset\Omega$

I (X^{'}, Y^{'})

$I(X',Y')$

H (X^{'}, Y^{'})

$H(X',Y')$

X^{'} := X I (A), Y^{'} := Y I (A)

$X':=XI(A),\, Y':=YI(A)$

I

$I$

— Hans

さて、私の質問はあなたの答えの一部に向けられており、単独の質問ではありません。私が新しい質問を開いて、あなたの回答にリンクするように提案していますか？

— Hans

@ハンス私が言ったことは、この測定は定義に簡単に適合し、間違っている場合は私を修正することです。公理1.と2.は明白です。公理3.の場合、はオーバーラップ、は合計スペースなので、分数は確率として簡単に見ることができます。

I (X, Y)

$I(X, Y)$

H (X, Y)

$H(X, Y)$

— Tim

確率は、サンプル空間とそのシグマフィールド定義されます。これらがこの確率測定IQRの意味について混乱しています。確率変数およびに対して定義された確率測度のサンプル空間とそのシグマフィールドはすでに存在します。新しい確率尺度IQRのサンプル空間とフィールドは、と関連付けられた古い確率尺度のものと同じですか？そうでない場合、それらはどのように定義されますか？または、これらを定義する必要はないと言っていますか？それでは、公理に対してそれをどのようにチェックしますか？

(Ω, F)

$(\Omega, \mathscr{F})$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

— Hans

@ハンス私はこれが公理と一致していることを明確に述べましたが、これが正確に何であるかの確率を言うのは難しいです。私が提案した解釈は、おそらく信号を再構築することです。これはXやYの確率分布ではありません。それをより深く理解して理解することができると思います。問題は、これを確率として解釈できるかどうかであり、答えは正式に「はい」でした。

— Tim

これが確率空間の定義です。そこの表記を使ってみましょう。IQRはタプル関数です（最初の3つのコンポーネントは、2つの確率変数が定義されている確率空間を形成します）。確率測度は、Timの回答にリストされている定義のすべての条件を満たす集合関数でなければなりません。をセットサブセットとして指定する必要があります。さらに、のセットはサブセットのフィールドを形成する必要があり、その $(\Omega,\mathscr F,P,X,Y)$ $\Theta:=(\Omega,\mathscr F,P,X,Y)$ $\tilde\Omega$ $\Theta$ $\tilde\Omega$ $\text{IQR}(\Omega,\mathscr F,P,X,Y)$ ティムの回答にリストされている確率測度の定義にリストされている3つのプロパティすべてを満たさなければなりません。そのようなオブジェクトを構築するまで、IQRが確率尺度であると言うのは間違いです。私には、そのような複雑な確率測度（IQR関数自体ではなく、確率測度として）の有用性がわかりません。Timの回答で引用された論文のIQRは、確率として呼び出されたり使用されたりするのではなく、測定基準として使用されます（前者は後者の一種であり、後者は前者の一種ではありません）。

一方、任意の数を確率とする簡単な構造があります。特に私たちのケースでは、与えられた考えます。2要素セットをサンプルスペースとして選択し、フィールドをして、確率測度を設定します。インデックス付けされた確率空間のクラスがあります。 $[0,1]$ $\Theta$ $\tilde\Omega:=\{a,b\}$ $\tilde{\mathscr F}:=2^{\tilde\Omega}$ $\tilde P(a):=\text{IQR}(\Theta)$ $\Theta$

— ハンス
ソース

参考までに、回答を簡略化して明確にするために回答を編集しました。確率は、いくつかの特別なプロパティを持つメトリックです。メッセージの可能なすべてのペアのセットとその再構成。ここで確率変数は複雑な未知の関数であり、再構成が「良かった」かどうかを教えてくれます。信頼できる再構成を返すことはバイナリイベントと考えることができます。私の答えは、IQRはそのようなイベントの確率（またはそれの近似）と考えることができるということです。

(x_{i}, y_{i})

$(x_i, y_i)$

— Tim

@Tim：以前のバージョンの回答は、確認できる明確な定義を提供するため、はるかに優れた回答です。定義を回避する方法はありません。確率はメトリックですが、「いくつかの特別なプロパティ」を持つすべてのメトリックが確率であるとは限りません。このメトリックのすべての「特別なプロパティ」が定義に適合していることを確認できるまで、それは1つではありません。ただし、パラメータータプルによってインデックスが付けられた確率空間のクラスの自明な構築を行いました。

Θ := (Ω, F, P, X, Y)

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

— Hans

最後にシグモイドアクティベーション関数を含む複雑なニューラルネットワークを使用する場合も同様です。出力が計量理論的な用語での確率であることを証明できますか？しかし、これを確率として解釈することを選択することがよくあります。

— Tim

@ティム：もちろんできます。これは、プルバックメジャーを使用して簡単に処理できます。シグモイド関数は、関数のドメインおよび範囲（と（従来の）ボレルフィールド）を既に規定している測定可能な関数です。サンプル空間のサブセットの確率測度ここで、は（従来の）ボレル測度であり、はシグモイド関数です。QED

[0, 1]

$[0,1]$

A

$A$

P (A) := μ (f (A))

$P(A):=\mu(f(A))$

μ

$\mu$

R

$R$

f

$f$

— Hans

申し訳ありませんが、この種の議論と測定理論が面白くなかったので、これ以上の議論を辞退します。特にあなたの最後の段落が私が非常に懇願したことから言っていたのとまったく同じことを言っているように思われるので、私はここにもあなたの要点を見ません。

— Tim