相互情報を使用して、連続変数とカテゴリー変数の間の相関を推定する

12

タイトルに関しては、MIの前後で相互変数を使用して、連続変数とカテゴリ変数の間の「相関」（「Bを知っているときにAについてどれだけ知っているか」と定義）を推定します。問題についての私の考えをすぐに説明しますが、アドバイスをする前に、CrossValidatedに関するこの他の質問/回答を読むことをお勧めします。

ここで、カテゴリ変数を統合できないため、連続変数を離散化する必要があります。これは、Rで非常に簡単に行うことができます。Rは、ほとんどの分析で使用した言語です。このcut関数は値をエイリアスするため、この関数を使用することを好みましたが、他のオプションも利用できます。ポイントは、離散化を行う前に、「ビン」（離散状態）の数をアプリオリに決定する必要があるということです。

ただし、主な問題は別の問題です。MIの範囲は0〜∞で、これは標準化されていない尺度であるため、単位はビットです。そのため、相関係数として使用することは非常に困難です。これは、MIの標準バージョンであるGCCの前後でグローバル相関係数を使用して部分的に解決できます。GCCは次のように定義されます。

ここに画像の説明を入力してください

参照：この式は、株式市場のグローバル化を分析するための非線形ツールとしての相互情報からのもので、AndreiaDionísio、Rui Menezes＆Diana Mendes、2010年。

GCCの範囲は0〜1であるため、2つの変数間の相関を推定するために簡単に使用できます。問題は解決しましたか？まあ、ちょっと。このプロセスはすべて、離散化中に使用することにした「ビン」の数に大きく依存するためです。ここに私の実験の結果：

ここに画像の説明を入力してください

y軸にはGCCがあり、x軸には離散化に使用することにした「ビン」の数があります。2行は、2つの異なる（非常によく似ていますが）データセットに対して行った2つの異なる分析を示しています。

一般的にはMI、特にGCCの使用についてはまだ議論の余地があるように思われます。しかし、この混乱は私の側からの間違いの結果かもしれません。どちらの場合でも、私は問題についてあなたの意見を聞きたいです（また、カテゴリ変数と連続変数との相関を推定する代替方法がありますか？）

correlation information-theory mutual-information

— エドガー・ダービー
ソース

2

連続変数と離散変数の結合分布の相互情報の計算についてコメントすることはできませんが、相互情報の正規化されたバリアントを計算する場合、ビニングの影響を排除することを提案できます。通常、エントロピーの合計または結合エントロピーによって正規化されます。エントロピーの合計は少し優れているので、

。

H (X_{i}, X_{j}) \leq H (X_{i}) + H (X_{j})

$H(X_i, X_j) \leq H(X_i) + H(X_j)$

— ジェシカコリンズ14年

ところで、ここでは誰もがビニング方法を試してみたい場合にコードがあります。

— zkurtz

4

「相関」を推定していません。相互情報を推定しています。一方は他方を推定しません。それらは関連のより一般的な概念の明確な尺度です。

— zkurtz

おそらく、この投稿のより良いタイトルは、「連続変数を最良のビンに分類して、カテゴリ変数を使用して相互情報を推定する方法」です。

— zkurtz 14

興味深い非ビニングアプローチを次に示します。残念ながら、Rの実装が見つかりません。

— ズクルツ

回答:

5

この問題に対処するためのより簡単でより良い方法があります。カテゴリ変数は、事実上、単なるインジケータ変数のセットです。このような変数はカテゴリの再ラベル付けに対して不変であるという測定理論の基本的な考え方であるため、別の変数間の関係の尺度（たとえば、「相関」）でカテゴリの数値ラベルを使用することは意味がありません。このため、連続変数とカテゴリー変数の関係の測定は、後者から派生したインジケーター変数に完全に基づいている必要があります。

2つの変数間の「相関」の測定が必要な場合、連続確率変数とカテゴリ変数から派生したインジケーター確率変数間の相関を調べることは理にかなっています。まかせ $X$ $I$ 私たちは持っています： $\phi \equiv \mathbb{P}(I=1)$

C o v (I, X) = E (I X) - E (I) E (X) = ϕ [E (X | I = 1) - E (X)],

$\mathbb{Cov}(I,X) = \mathbb{E}(IX) - \mathbb{E}(I) \mathbb{E}(X) = \phi \left[ \mathbb{E}(X|I=1) - \mathbb{E}(X) \right] ,$

与えるもの：

C o r r (I, X) = \sqrt{\frac{ϕ}{1 - ϕ}} \cdot \frac{E (X | I = 1) - E (X)}{S (X)} .

$\mathbb{Corr}(I,X) = \sqrt{\frac{\phi}{1-\phi}} \cdot \frac{\mathbb{E}(X|I=1) - \mathbb{E}(X)}{\mathbb{S}(X)} .$

連続確率変数の間の相関ように及びインジケータランダム変数指標、確率の非常に単純な関数であるとの期待値で規格化利得にコンディショニングから。この相関では、連続確率変数の離散化は必要ないことに注意してください。 $X$ $I$ $\phi$ $X$ $I=1$

$C$ $1, ..., m$ $C=k$ $I_k \equiv \mathbb{I}(C=k)$

C o r r (I_{k}, X) = \sqrt{\frac{ϕ_{k}}{1 - ϕ_{k}}} \cdot \frac{E (X | C = k) - E (X)}{S (X)} .

$\mathbb{Corr}(I_k,X) = \sqrt{\frac{\phi_k}{1-\phi_k}} \cdot \frac{\mathbb{E}(X|C=k) - \mathbb{E}(X)}{\mathbb{S}(X)} .$

$\mathbb{Corr}(C,X) \equiv (\mathbb{Corr}(I_1,X), ..., \mathbb{Corr}(I_m,X))$

$\sum_k \mathbb{Cov}(I_k,X) = 0$ $X$ $m-1$

$(x_1, c_1), ..., (x_n, c_n)$

{\hat{ϕ}}_{k} \equiv \frac{1}{n} \sum_{i = 1}^{n} I (c_{i} = k) .

$\hat{\phi}_k \equiv \frac{1}{n} \sum_{i=1}^n \mathbb{I}(c_i=k).$

\hat{E} (X) \equiv \bar{x} \equiv \frac{1}{n} \sum_{i = 1}^{n} x_{i} .

$\hat{\mathbb{E}}(X) \equiv \bar{x} \equiv \frac{1}{n} \sum_{i=1}^n x_i.$

\hat{E} (X | C = k) \equiv {\bar{x}}_{k} \equiv \frac{1}{n} \sum_{i = 1}^{n} x_{i} I (c_{i} = k) / {\hat{ϕ}}_{k} .

$\hat{\mathbb{E}}(X|C=k) \equiv \bar{x}_k \equiv \frac{1}{n} \sum_{i=1}^n x_i \mathbb{I}(c_i=k) \Bigg/ \hat{\phi}_k .$

\hat{S} (X) \equiv s_{X} \equiv \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}} .

$\hat{\mathbb{S}}(X) \equiv s_X \equiv \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2}.$

$X$

— モニカを復活させる
ソース

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。

Licensed under cc by-sa 3.0 with attribution required.