相互情報量の計算方法は?


10

私は少し混乱しています。誰かが2項間の相互情報を計算する方法を説明できますか?

WhyHowWhenWhereDocument11111Document21010Document31110

I(X;Y)=yYxXp(x,y)log(p(x,y)p(x)p(y))

ありがとうございました


ととは何ですか?YXY
Dilip Sarwate、2012

XとYは条件です。Xは「Why」、Yは「How」です。
user18075 2012

回答:


7

ドキュメント内の正規化された共起を保持する結合確率テーブルを作成するのはどうでしょう。次に、テーブルを使用して、結合エントロピーと限界エントロピーを取得できます。最後に、

I(X,Y)=H(X)+H(Y)H(X,Y).

1
共同分布と周辺分布が決定されたとき、H Y およびH X Y を計算し、表示された式を使用する必要があるのはなぜですか?「プラグイン」に必要なものがすべてあるため、OPによって与えられた式を介して相互情報を直接決定することはできません。p x y p x およびp y はこの時点で既知ですか?H(X)H(Y)H(X,Y)p(x,y),p(x)p(y)
Dilip Sarwate

2
数式は等価ですが、後者は一見すると解釈しやすい場合があります。
Zoran
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.