情報獲得、相互情報および関連する措置

アンドリューモア は、情報ゲインを次のように定義しています。

$IG(Y|X) = H(Y) - H(Y|X)$

ここで、は条件付きエントロピーです。ただし、ウィキペディアは上記の量の相互情報を呼び出します。$H(Y|X)$

一方、ウィキペディアは、情報ゲインを、2つのランダム変数間のカルバック-ライブラー発散（別名情報発散または相対エントロピー）として定義します。

$D_{KL}(P||Q) = H(P,Q) - H(P)$

ここで、はクロスエントロピーとして定義されます。$H(P,Q)$

これら2つの定義は互いに矛盾しているようです。

また、他の著者が、2つの追加の関連概念、すなわち微分エントロピーと相対情報ゲインについて話しているのを見ました。

これらの数量間の正確な定義または関係は何ですか？それらすべてを網羅した優れたテキスト本はありますか？

• 情報獲得
• 相互情報
• クロスエントロピー
• 条件付きエントロピー
• 微分エントロピー
• 相対情報ゲイン

Kullback-Leiblerの発散を「情報ゲイン」と呼ぶのは非標準だと思います。

最初の定義は標準です。

編集：ただし、は相互情報とも呼ばれます。$H(Y)−H(Y|X)$

標準化された、正確で、一貫した命名スキームを実際に持っている科学分野を見つけるとは思わないことに注意してください。そのため、一般的にはより良いアイデアが得られるので、常に式を見る必要があります。

教科書：「さまざまな種類のエントロピーの優れた紹介」を参照してください。

また、Cosma Shalizi：Methods and Techniques of Complex Systems Science：An Overview、chapter 1（pp。33--114）in Thomas S.Deisboeck and J.Yasha Kresh（eds。）、Complex Systems Science in Biomedicine http：// arxiv.org/abs/nlin.AO/0307015

ロバート・M・グレイ：エントロピーと情報理論 http://ee.stanford.edu/~gray/it.html

David MacKay：情報理論、推論、学習アルゴリズム http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

また、「「エントロピーと情報ゲイン」とは何ですか？」

$p(X,Y)$$P(X)P(Y)$

$$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$$

$p(y) = \sum_x p(x,y)$

$$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$$

機械学習モデルをトレーニングするための機能としてテキストデータセットから相互情報を抽出する：（タスクはブロガーの年齢、性別、性格を予測することでした）

両方の定義は正しく、一貫しています。明確化が必要な可能性のある複数のポイントを指摘しているので、何が不明確であるかわかりません。

$MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$同じもののすべての異なる名前です。異なるコンテキストでは、これらの名前のいずれかが望ましい場合があります。ここでは情報と呼びます。

$D_{KL}$$K_{LD}$$K_{LD}$独立した。その量をInformationと呼びます。

$\operatorname{H} (X,Y)$

$$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$$ $\operatorname{H}(X,Y)$$DKL(P||Q)=H(P,Q)−H(P)$$\operatorname{H}(P,Q)$

ジョイントエントロピーとクロスエントロピーは同じではありません。

$H_q(p)$

この表記法が受け入れられ、wikiページが更新されることを期待しています。