重み付き相関などですか？

ストリーミング配信された最も人気のある音楽アーティストに関する興味深いデータを、場所ごとに約200の議会地区に分割しています。音楽の好みについて人に投票して、その人が「民主党員のように聞く」のか、「共和党員のように聞く」のかを判断できるかどうかを見たい。（当然、これは簡単ですが、データには実際のエントロピーがあります！）

約100人のアーティストに関するデータに加えて、過去3回の選挙サイクルにおける各地区の共和党員と民主党員の平均投票率があります。そこで、各アーティストについて相関関係を調べ、どのアーティストが最も不釣り合いに聴かれているかを、民主党の投票シェアの関数として調べました。これらの相関関係は、どのアーティストでも約-0.3から0.3の範囲であり、中間には予測力がほとんどまたはまったくないものがたくさんあります。

2つの質問があります。1つ目は、地区ごとのストリームの総数は大きく異なります。現在、私は、たとえばビヨンセに属する地区ごとのすべてのストリームの割合を、民主党に投じられた票の割合と相関させています。しかし、ある地区の総河川は数百万、もう1つの地区は100,000の低さです。これを説明するために、どういうわけか相関に重みを付ける必要がありますか？

第二に、これらの相関関係を組み合わせて、ユーザーの政治に関する複合的な推測を行う方法に興味があります。絶対相関値が最も高い20人のアーティスト（正と負）をそれぞれの方向に10人ずつ取り、各アーティストがどれだけ好きかについてユーザーに投票するとします。したがって、私は各アーティストに賛成または反対票を投じ、さらに20の価値すべてに対する政治との相関関係を持っています。これらの相関を単一の推定値に結合する標準的な方法はありますか？（私はNYTimesの有名な方言クイズのようなものを考えています。そこでは25の質問に対する地域の確率をヒートマップに結合しました。しかしこの場合、音楽に対する民主党や共和党員の好みに関する単一の値が必要です。

ありがとうございました！

— クリス・ウィルソン
ソース

加重ピアソン相関のための式を簡単に見つけることができるウェブ上で、StackOverflowの、およびウィキペディアといくつかのRパッケージに実装されている例えばサイケ、または重みをとPythonの中statsmodelsパッケージ。通常の相関のように計算されますが、加重平均を使用して、

m_{バツ} = \frac{\sum_{私} w_{私} {バツ}_{私}}{\sum_{私} w_{私}} 、 m_{Y} = \frac{\sum_{私} w_{私} y_{私}}{\sum_{私} w_{私}}

$m_X = \frac{\sum_i w_i x_i}{\sum_i w_i}, ~~~~ m_Y = \frac{\sum_i w_i y_i}{\sum_i w_i}$

重み付けされた分散、

s_{バツ} = \frac{\sum_{私} w_{私} （ {バツ}_{私} - m_{バツ} ）^{2}}{\sum_{私} w_{私}} 、 s_{Y} = \frac{\sum_{私} w_{私} （ y_{私} - m_{Y} ）^{2}}{\sum_{私} w_{私}}

$s_X = \frac{\sum_i w_i (x_i - m_X)^2}{ \sum_i w_i}, ~~~~ s_Y = \frac{\sum_i w_i (y_i - m_Y)^2}{ \sum_i w_i}$

および加重共分散

s_{バツ Y} = \frac{\sum_{私} w_{私} （ {バツ}_{私} - m_{バツ} ） （ y_{私} - m_{Y} ）}{\sum_{私} w_{私}}

$s_{XY} = \frac{\sum_i w_i (x_i - m_X)(y_i - m_Y)}{ \sum_i w_i}$

これらすべてを使用すると、加重相関を簡単に計算できます

ρ_{バツ Y} = \frac{s_{バツ Y}}{\sqrt{s_{バツ} s_{Y}}}

$\rho_{XY} = \frac{s_{XY}}{\sqrt{s_X s_Y}}$

あなたの2番目の質問については、私が理解しているように、あなたは政治的指向と20人のアーティストとユーザーの好みの間の相関関係に関するデータを持ち、彼/彼女の好みに関するバイナリ答えを持っているので、それの何らかの総合的な尺度を取得したいと思います。

$z$

\bar{ρ} = {タン}^{- 1} （ \frac{\sum_{j = 1}^{K} タン （ ρ_{j} ）}{K} ）

$\bar\rho = \tanh^{-1} \left(\frac{\sum_{j=1}^K \tanh(\rho_j)}{K} \right)$

基本的に、相関係数のタンジェントをとると、極値が「平坦化」され（以下を参照）、最終推定値への影響が小さくなり、分布が正規に近くなります。この手順は、Bushman and Wang（1995）およびCorey、Dunlap and Burke（1998）によっても説明されました。

$r = \mathrm{cor}(X,Y)$ $-r = \mathrm{cor}(-X,Y) = \mathrm{cor}(X,-Y)$

$r_j$ $j$ $x_{ij}$ $i$ $j$ $x_{ij} = 1$ $x_{ij} = -1$

{\bar{r}}_{私} = {タン}^{- 1} （ \frac{\sum_{j = 1}^{K} タン （ r_{j} {バツ}_{私 j} ）}{K} ）

$\bar r_i = \tanh^{-1} \left(\frac{\sum_{j=1}^K \tanh(r_j x_{ij})}{K} \right)$

$-1$ $1$

だが...

このすべてが、基本的に重回帰の問題である何かに対するやり過ぎだと思いませんか？代わりに、すべての重み付けと平均化は、重みがサブサンプルのサイズに基づいている場合に、単純に重み付き重回帰（いずれかの方向でバイナリプリファレンスまたはオフオフプリファレンスを予測する場合は線形またはロジスティック）を使用できます。各アーティストの音楽的好みを予測子として使用します。最後に、ユーザーの好みを使用して予測を行います。このアプローチはよりシンプルで、統計的にエレガントです。また、相対的に適用されます $A$ $B$

ブッシュマン、BJ、およびワン、MC（1995）。サンプル相関係数と投票数を組み合わせて、母集団相関係数の推定値と信頼区間を取得する手順。Psychological Bulletin、117（3）、530。

コーリー、DM、ダンラップ、WP、およびバーク、MJ（1998）。平均化相関：ピアソンrsとフィッシャーのz変換の組み合わせにおける期待値とバイアス、一般心理学ジャーナル、125（3）、245-261。

— ティム
ソース

ありがとうございました！これは非常に役立ちます。本日中に入手可能になると、賞金が授与されます。

— クリスウィルソン

x_{i}

$x_i$

y_{i}

$y_i$

@Kagaratschそのような式を見たことがありません。これは質問するのに適した質問です。

— ティム