評判に対する投票の影響の分析を改善するにはどうすればよいですか？

最近、私はアップボットに対する評判の影響の分析を行い（ブログ投稿を参照）、その後、より啓発的な（またはより適切な）分析とグラフィックスについていくつか質問をしました。

いくつか質問があります（特に特定の人には自由に回答し、他の人は無視してください）。

1. 現在の化身の中で、私は郵便番号を中央に置くつもりはありませんでした。これは、ポストカウントの下限に向かってより多くのポストがあるため、散布図に負の相関の誤った外観を与えることだと思います（これは、Jon Skeetパネルではなく、定命のユーザーでのみ発生しますパネル）。ポスト番号の平均を中心にしないのは不適切ですか？（ユーザーの平均スコアごとにスコアを中心にしたからです）

2. グラフから、スコアが非常に右に歪んでいることが明らかであるはずです（そして、平均センタリングはそれを変更しませんでした）。回帰直線をフィッティングするとき、線形モデルと、Huber-White sandwhichエラー（rlmMASS Rパッケージを使用）を使用するモデルの両方にフィッティングしますが、勾配推定値に違いはありませんでした。ロバスト回帰の代わりにデータへの変換を検討すべきでしたか？変換では、0および負のスコアの可能性を考慮する必要があることに注意してください。または、OLSの代わりにカウントデータに他のタイプのモデルを使用する必要がありましたか？

3. 一般に、最後の2つのグラフィックスは改善できると考えています（また、改善されたモデリング戦略にも関連しています）。私の（うんざりした）意見では、評判の効果が本当かどうかはポスターの歴史のかなり早い段階で実現されるのではないかと疑います（本当なら、これらは再考されるかもしれません。 「合計スコアによる評判」効果の代わりに「投稿」）。オーバープロットを考慮しながら、これが正しいかどうかを示すためにグラフィックを作成するにはどうすればよいですか？これを実証する良い方法は、フォームのモデルに適合することだと思いました。

ここで、は（現在の散布図と同じ）、X 1は、Z $Y$score - (mean score per user)$X_1$post number例えばポスト番号のいくつかの任意の範囲を表すダミー変数（ある Z 1つの等しいポスト番号である場合、 Zポスト番号がなどの場合、 2は等しくなります）。β $Z_1 \cdots Z_k$$Z_1$11 through 25$Z_2$126 through 50$\beta_0$及びそれぞれグランドインターセプト及び誤差項です。次に、推定γを調べます$\epsilon$$\gamma$評判の影響がポスターの歴史の早い段階で出現したかどうかを判断する（またはグラフィカルに表示する）スロープ。これは合理的な（そして適切な）アプローチですか？

ある種のノンパラメトリックな平滑化線をこれらのような散布図（黄土やスプラインなど）に適合させることは一般的なようですが、スプラインを使った私の実験では啓発的なものは何も明らかになりませんでした（ポスターの歴史の早い段階でのポスト効果の証拠はわずかで気まぐれでした）私が含めたスプラインの数に）。私は効果が早期に起こるという仮説を持っているので、上記のモデリングアプローチはスプラインよりも合理的ですか？

また、私はこのデータのすべてをdrしましたが、調べるべき他のコミュニティがまだたくさんあります（スーパーユーザーやサーバーフォールトのようなものは同様に大きなサンプルを引き出しています）ので、将来提案するのは十分合理的ですホールドアウトサンプルを使用して関係を調べる分析。

これは勇敢な試みですが、これらのデータだけでは、「評価が投票に与える影響」に関する研究の質問に答えることは困難または不可能です。問題は、他の現象の影響を分離することにあります。これらの現象を、それらがどのように対処されるかについての簡単な指示とともにリストします。

• 学習効果。評判が上がると、経験が増えます。経験が上がるにつれて、人がより良い質問と回答を投稿することを期待するでしょう。品質が向上するにつれて、投稿あたりの投票数が増えると予想しています。おそらく、分析でこれを処理する1つの方法は、複数のSEサイトでアクティブな人々を識別することです。どのサイトでも、評判は経験の量よりもゆっくりと増加するため、評判と学習効果を区別するための手段を提供します。

• コンテキストの一時的な変更。 これらは無数ですが、明らかなものには

  • 全体的な上昇傾向、季節的な傾向（多くの場合、学業サイクルに関連する）、および外れ値（特定のスレッドへのリンクなどの外部の宣伝から生じる）を含む、有権者の数の経時的な変化。 個人の評判の傾向を評価するとき、どんな分析もこれを考慮しなければならないでしょう。

  • 時間の経過に伴うコミュニティの慣習の変化。コミュニティ、およびそれらがどのように相互作用し、進化し、発展するか。時間が経つにつれて、彼らは多かれ少なかれ投票する傾向があるかもしれません。 どんな分析でも、この効果を評価し、それを考慮しなければなりません。

  • 時間そのもの。 時間が経つにつれて、以前の投稿は引き続き検索に利用でき、引き続き投票を獲得します。したがって、caeteris paribus、古い投稿は新しい投稿よりも多くの票を投じるべきです。（これは強力な効果です。毎月のレピュテーションリーグで常に高い人がこのサイトを1年中訪問していません！）これは、実際のポジティブなレピュテーション効果を覆い隠してしまうことさえあります。 分析では、各投稿がサイトに存在する時間の長さを考慮する必要があります。

• 件名の人気。 一部のタグ（たとえばr）は、他のタグよりはるかに人気があります。したがって、人が答える質問の種類の変化は、評判効果などの一時的な変化と混同される可能性があります。したがって、分析では、回答される質問の性質を考慮する必要があります。

• ビュー [編集として追加]。質問は、さまざまな理由（フィルター、リンクなど）のためにさまざまな人数で表示されます。回答者が受け取った投票数は、ビューの数に関連している可能性がありますが、ビューの数が増えるにつれて割合が減少することが予想されます。（質問に真に興味を持っている人が実際の数ではなく、実際にそれを見る人の数の問題です。私の-逸話的な-経験は、私が多くの質問で受け取る賛成票のおよそ半分が最初の5-15ビュー、最終的には質問は数百回表示されます。）したがって、分析では、ビューの数を考慮する必要がありますが、おそらく線形ではありません。

• 測定の難しさ。 「レピュテーション」とは、さまざまなアクティビティで受け取った投票の合計です：初期レピュテーション、回答、質問、質問の承認、タグWikiの編集、ダウン投票、およびダウン投票（価値の降順）。これらのコンポーネントは異なることを評価し、すべてがコミュニティの投票者の管理下にあるわけではないため、分析のために分離する必要があります。「評判効果」は、おそらく回答と、おそらく質問への賛成票に関連付けられていますが、他の評判のソースには影響しません。 開始時の評判は間違いなく差し引く必要があります（ただし、おそらく最初の経験値のプロキシとして使用できます）。

• 隠された要因。 測定が不可能な他の多くの交絡要因が存在する可能性があります。たとえば、フォーラムへの参加にはさまざまな形式の「バーンアウト」があります。最初の数週間、数か月、または数年の熱意の後、人々は何をしますか？いくつかの可能性には、まれな質問、珍しい質問、または難しい質問に焦点を当てることが含まれます。未回答の質問に対してのみ回答を提供します。回答は少なくなりますが、質は高くなります。これらの中には評判効果を隠すものもあれば、誤って混乱させるものもあります。 そのような要因の代理は、個人の参加率の変化である可能性があります：それらは、その人の投稿の性質の変化を示す可能性があります。

• サブコミュニティ現象。 非常に活発なSEページであっても、統計をよく見ると、回答と投票のほとんどを比較的少数の人々が行っていることがわかります。2、3人ほどの小さなクリークは、評判の成長に大きな影響を与える可能性があります。2人のクリークはサイトのビルトインモニターによって検出されますが（このサイトにはそのようなグループが1つ存在します）、より大きなクリークはおそらく検出されません。（私は正式な共謀について話しているのではありません。人々は気付かないうちにそのようなクリークのメンバーになれます） 。 詳細な投票データは診断に使用できますが、これらのデータにアクセスできるとは思いません。

• 限られたデータ。レピュテーション効果を検出するには、おそらく（少なくとも）数十から数百の投稿を持つ個人に焦点を合わせる必要があります。これにより、現在の人口は50人未満になります。ばらつきや交絡の可能性がすべてあるため、実際に非常に強い場合を除き、重要な効果を引き出すには小さすぎます。 治療法は、他のSEサイトからのレコードでデータセットを拡張することです。

これらすべての複雑さを考えると、ブログ記事の探索的グラフィックスは、明白に明白でない限り、何も明らかにする可能性がほとんどないことを明確にすべきです。予想通り、データは乱雑で複雑です。プロットまたは提示された分析の改善を推奨するのは時期尚早です。インクリメンタルな変更と追加の分析は、これらの基本的な問題に対処するまで役に立ちません。

計量経済学者は、グレンジャーの因果関係の枠組みの中で同様の問題に注目しています。とZ tの 2つのシリーズがある場合、ベクトル自己回帰モデルを実行できます。これは、単一のラグを持つ最も単純な形式で、Y t = a 0 + a 1 Y t − 1 + a 2 Z t − 1 + ϵ t、Z t = b 0 + b 1 Y t −$Y_t$$Z_t$$Y_t = a_0 + a_1 Y_{t-1} + a_2 Z_{t-1} + \epsilon_t$$Z_t = b_0 + b_1 Y_{t-1} + b_2 Z_{t-1} + \delta_t$。あなたはそれが言って見れば2が重要である、そして、あなたがいることを主張することができZ（Granger-）が原因とYを約追加情報Zは、のために、モデルの精度向上Yを。ここで、時間tは投稿番号であり、変数は明らかに評判とスコアです。インクリメント取るようなデータとより深刻あいて両方は、非定常であるΔ YのTは =上記式では、ために呼び出されます。あなたは、通常、通常のベース失う可能性があること（注Fまたはχを2$a_2$$Z$$Y$$Z$$Y$$t$$\Delta Y_t = Y_t - Y_{t-1}$の代わりに$Y_t$$F$$\chi^2$非定常データと分布、およびトレンド変数と収束速度を、あなたが分析にそれらが含まれている場合であってもよく、またはより速く、よりもむしろ私たちのほとんどが中央極限定理から慣れているT − 1 / 2。これらに非常に注意する必要があります。）だから、Y tが答えのスコアであり、Z tが評判であれば、明らかに0は平均スコアです$T^{-1}$$T^{-1/2}$$Y_t$$Z_t$$a_0$$a_1$人がより良い答えを書くことを学ぶ方法であり$a_2$は彼らの評判が彼らの言葉に先行する方法です（モデルの仮定が満たされている場合など）

ポイント1：手で固定効果を行っている場合は、応答変数と説明変数の両方を中央に配置する必要があります。パネルデータ回帰パッケージはこれを行いますが、物事を見る公式の計量経済学的方法は、「プールされた」回帰から「中間」回帰を差し引くことです（参照 Wooldridgeのブラックブックを。しかし、私は通常、初版を計量経済学のパネルデータの最高の教科書タイプの説明と見なします。

あなたのポイント2：もちろん、Eicker / White標準エラーはあなたのポイント推定に影響しません。もしそうなら、それは間違った実装を示しているでしょう！時系列のコンテキストでは、さらに適切な推定量はNewey and West（1987）によるものです。変換を試すと役立つ場合があります。私は個人的にBox-Cox変換の大ファンです、しかし、あなたが行っている分析の文脈では、きれいにそれを行うことは困難です。まず、形状パラメーターの上にシフトパラメーターが必要になります。このようなモデルでは、シフトパラメーターを特定するのが難しいことで有名です。第二に、おそらく、異なる人々、および/または異なる投稿、および/または...のために異なるシフト/形状パラメータが必要になります... カウントデータもオプションですが、平均モデリングのコンテキストでは、ポアソン回帰は対数変換と同じくらい優れていますが、分散=平均という扱いにくい仮定を課しています。

PSおそらくこれに「longitudinal-data」と「time-series」のタグを付けることができます。

プロットに対する他のいくつかの変更：

1. 回答スコアと以前の評判の分位帯。（プロット1および3）
2. Skeet対他の密度プロット、投稿番号で層別化（プロット3）
3. 競合する投稿数で層別化を検討する
4. 時間による層別化（質問が行われた後もポイントを獲得し続ける場合があります）

これをモデル化することは難しくなります。ポアソン回帰を検討することもできます。率直に言って、良いプロットを開発することは、洞察とスキルを開発するはるかに良い方法です。データの理解が深まったら、モデリングを開始してください。

おっと。（そして、いい意味で;）

このプロットの中央に非常に独特な曲線の説明はありません：http : //stats.blogoverflow.com/files/2011/07/Rep_Correlated_With_Upvotes.png

そのような曲線を見ると、それらのポイントには非常に奇妙なものがあると思います-それらは互いに独立しておらず、代わりに同じソースの観測のシーケンスを反映しています。

（軽度の注意：「相関関係...」というプロットのタイトルは誤解を招く。）