相関と相互情報の主な違いは何ですか?


15

私の質問は特にネットワークの再構築に当てはまります

回答:


25

相関は、2つの変数XとYの間の線形関係(ピアソンの相関)または単調関係(スピアマンの相関)を測定します。

相互情報はより一般的であり、Xを観察した後のYの不確実性の減少を測定します。これは、関節密度と個々の密度の積との間のKL距離です。したがって、MIは非単調な関係やその他のより複雑な関係を測定できます。


3
相関は必ずしも線形ではありません-スピアマンのローは単調関数に依存しますが、それでも「相互情報係数」ではなく「相関係数」と呼びます。また、正当な理由により、2つの変数間の関連付けに関する情報を提供します。相互情報、冗長情報、相互分散、相関-これらの用語は非常に似ており、この質問はネットワークの再構築を指しているので、正しい用語で間違った領域に行き着いたと思います。これは非常に具体的な質問です...
aL3xa

1
いい視点ね。単調な関係を含むように回答を編集しました。ネットワークの再構築については何も知りません。
ロブハインドマン

4

ネットワークのリバースエンジニアリングに関してRobの答えに追加するには、ネットワーク内の連想リンクではなく因果リンクを抽出する場合、MIは相関よりも優先される場合があります。相関ネットワークは純粋に結合的です。しかし、MIの場合、より多くのデータと計算能力が必要です。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.