2016年の米国選挙結果：予測モデルで何が問題になったのですか？

最初はBrexitで、現在は米国の選挙です。多くのモデル予測は大きく外れていましたが、ここで学ぶべき教訓はありますか？昨日午後4時（PST）になっても、ベッティングマーケットはヒラリー4対1を好んでいました。

私は、実際のお金が出回っている賭け市場は、利用可能なすべての予測モデルのアンサンブルとして機能するはずだと考えています。そのため、これらのモデルが非常に良い仕事をしなかったと言うのは決して大げさではありません。

1つの説明は、有権者が自分自身をトランプ支持者として特定したがらないということでした。モデルにそのような効果をどのように組み込むことができますか？

私が読んだマクロの説明の1つはポピュリズムの上昇です。問題は、統計モデルがそのようなマクロトレンドをどのようにキャプチャできるかということです。

これらの予測モデルは世論調査や感情からのデータを重視しすぎており、100年の展望で国が立っている場所からは十分ではありませんか？友達のコメントを引用しています。

つまり、ポーリングは必ずしも簡単ではありません。この選挙は最も困難だったかもしれません。

統計的推論を行おうとするときはいつでも、基本的な問題は、サンプルが対象の母集団の適切な表現であるかどうかです。多くのタイプの統計的推論に必要な典型的な仮定は、サンプルが対象の母集団からの完全にランダムなサンプルであることです（多くの場合、独立したサンプルも必要です）。これらの仮定が当てはまる場合、通常、統計理論に基づく不確実性の適切な測定値があります。

しかし、私たちはこれらの仮定が投票に当てはまることは間違いありません！関心のある母集団から正確に0個のサンプルがあります。実際の投票は選挙日に投じられます。この場合、データについてさらに検証不可能な仮定がなければ、有効な推論を行うことはできません。または、少なくとも、選挙後までテストできません。

完全にweめて「50％-50％！」と言いますか？通常、いいえ。私たちは、票がどのように投じられるかについての合理的な仮定であると信じるものを作ろうと試みることができます。たとえば、世論調査は選挙日の投票に対する偏りのない推定値に加えて、特定の偏りのない一時的なノイズ（つまり、時間の経過とともに世論が変化する）であると信じたいかもしれません。私はポーリング方法の専門家ではありませんが、これは538が使用するモデルのタイプだと思います。そして2012年には、それはかなりうまくいきました。したがって、これらの仮定はおそらくかなり合理的でした。残念ながら、厳密に定性的な推論以外に、これらの仮定を評価する実際の方法はありません。同様のトピックの詳細については、無視できない欠落のトピックを参照してください。

2016年の世論調査がそれほどうまくいかなかった理由についての私の理論：世論調査は有権者の日の行動の公平な推定ではなかった。つまり、トランプの支持者（そしておそらくブレグジットの支持者もそうだろう）は投票者に対してずっと不信だったと思う。トランプ氏は投票を積極的に非難したことを忘れないでください。そのため、トランプ支持者は投票者に投票意向を報告する可能性が、反対者の支持者よりも少ないと思います。これにより、世論調査で予想外の大きなバイアスが生じたと推測します。

ポーリングデータを使用する場合、アナリストはこれをどのように説明できますか？投票データだけに基づいて、定量的な方法でこれを行う実際の方法はありません。投票データは、参加しなかった人については何も伝えません。ただし、ポーリングデータと選挙日の行動との関係についてより合理的な（ただしテスト不可能な）仮定を選択することにより、定性的な方法で投票を改善できる場合があります。これは簡単なことではなく、良い世論調査官になるのは本当に難しい部分です（注：私は世論調査官ではありません）。また、結果は評論家にとっても非常に驚くべきものだったので、今回の仮定が乱暴だったという明らかな兆候があったわけではないことに注意してください。

ポーリングは難しい場合があります。

ポーリングエラーには多くの原因があります。

• 届きにくい人もいます

  これは、人口統計分析を行い、サンプリングバイアスを修正することで修正されます。人口統計分析が、人々の到達を困難にするものを反映していない場合、この修正は損害を修復しません。

• 嘘をつく

  モデルに影響を与えるために、人々が世論調査官に嘘をついている履歴レートを使用できます。例として、歴史的に人々は、彼らが実際に選挙日に行うよりもはるかに多く第三者に投票しようとしていると述べています。ここで修正が間違っている可能性があります。

  これらの嘘は、他の修正を台無しにする可能性もあります。前回の選挙で投票についてうそをついている場合は、たとえそうでなくても、有権者と見なされる可能性があります。

• 投票した人だけが最終的にカウントされます

  誰かが多くの支援を得ることができますが、支持者が選挙日に現れない場合、それは考慮されません。これが、有権者、有権者などのモデルを登録した理由です。これらのモデルが間違っていると、うまくいきません。

• ポーリングにはお金がかかる

  投票を行うのは高価であり、ミシガン州がひっくり返ることを期待していない場合（たとえば）、あまり頻繁に投票しないかもしれません。これは、選挙の3週間前に投票した州が選挙当日は何も見えないという驚きにつながる可能性があります。

• 人々は心を変える

  数分、数時間、数日、数週間または数ヶ月にわたって、人々は心を変えます。「今何をするか」についてのポーリングは、数える前に気が変わったとしてもあまり役に立ちません。人々が歴史的な世論調査に基づいて心を変える割合を大まかに推測するモデルがあります。

• 放牧

  ヒラリーが+3であると他の全員が述べ、ヒラリー+11またはドナルド+1を示すアンケートを取得した場合、あなたはそれを疑問視するかもしれません。別のパスを実行して、分析の失敗があるかどうかを確認できます。あなたもそれを捨てて、別の投票をするかもしれません。ヒラリーの+2または+4の投票を取得しても、あなたはそれをしないかもしれません。大規模な外れ値は、統計モデルが時々起こると言っていても、「見た目が悪い」ことがあります。

  これの特にくだらない形式は選挙日に起こりました。そこでは投票をリリースしたすべての人が魔法のように同じ値に収束しました。彼らはおそらく外れ値が投票する場所ですが、この選挙の前日に（たとえば）ヒラリー+11と言った人になりたい人はいません。群れの中で間違っていることは、あなたを傷つけません。

• 予想されるサンプリングエラー

  100万人の人がいて、100人の完全にランダムな人に「Apple」と言い、半分が「オレンジ」と言う場合、上記の問題がなくても、サンプリングから得られる予想されるエラーは+/- 10程度です。発生する。この最後のビットは、世論調査のように記述するものである彼らの誤差の範囲。世論調査では、上記の修正要因がエラーとして導入する可能性のあることを説明することはほとんどありません。

538のNate Silverは、保守的な（慎重な）手段を使用して上記の種類のエラーの可能性を処理した数少ないポーリングアグリゲーターの1つでした。彼は、ポーリングモデルの体系的な相関エラーの可能性を考慮しました。

他のアグリゲーターはHCが90％以上の確率で選出されると予測していましたが、投票はドナルドの勝利の「通常の投票エラー」の範囲内だったため、Nate Silverは70％と述べていました。

これは、生の統計的サンプリング誤差とは対照的に、モデル誤差の歴史的尺度でした。モデルとモデルの修正が間違っていた場合はどうなりますか？

人々はまだ数字を計算しています。しかし、予備的な結果は、その大部分が投票率の高いモデルであることを示しています。ドナルドの支持者は、投票モデル（および出口調査！）が示したよりも多くの数の投票に、ヒラリーの支持者は少ない数で現れました。

ラテン系アメリカ人は予想以上にドナルドに投票した。黒人は予想以上にドナルドに投票した。（両方ともヒラリーに投票した）。白人女性は予想以上にドナルドに投票しました（予想外のヒラリーよりもドナルドに投票した女性が多かった）。

一般的に投票率は低かった。民主党は投票率が高いときに勝つ傾向があり、共和党員が低いときには勝つ傾向があります。

これは、受け入れられた回答（Mehrdadへのハットヒント）のコメントで言及されましたが、強調する必要があると思います。538はこのサイクルで実際にこれを非常にうまくやった ^*。

538は、各状態に対してモデルを実行して勝者を予測しようとするポーリングアグリゲーターです。彼らの最終的な実行により、トランプは約30％の勝率を得ました。つまり、このようなデータを使用して3つの選挙を実施した場合、Team Redがそのうちの1つを獲得することが期待されます。それは実際にはそれほど小さなチャンスではありません。それは私が予防策を講じるのに十分な大きさでした（例：深夜になるのに十分近い可能性を考慮して、仕事で9日の水曜日を要求する前の金曜日）。

538は、もしあなたがそこにたむろしている場合、投票がオフの場合、それらがすべて同じ方向にオフになる可能性が高いということです。これにはいくつかの理由があります。

• 多分有権者モデル。投票は、選挙日に実際に現れる有権者のタイプに合わせて調整する必要があります。過去のモデルがありますが、これは明らかに候補者の典型的なペアではなかったため、過去のデータに基づいて予測することは常にちょっとした問題になります。
• 後期選挙の群れ。誰も選挙を最悪にした世論調査になりたがらない。したがって、彼らはキャンペーンの途中で外れ値であることを気にしませんが、最後にはすべての投票が同じことを言うように微調整する傾向があります。これは、2014年のエリック・カントールの不意の敗北と、2014年のバージニア州上院選の驚くほど近い結果のために、世論調査がひどく外れていることのせいにされたものの1つです。

^{*-538は現在、独自の分析を投稿しています。ほとんどの場合、上記で説明した内容と一致しますが、詳細が必要な場合は読む価値があります。}

今、少し個人的な憶測。私は実際、過去3日間の538の最終的な％チャンスに懐疑的でした。その理由は、上記の2番目の箇条書きに戻ります。この選挙のモデルの歴史を見てみましょう（彼らのウェブサイトから）

（悲しいことに、ラベルはそれをあいまいにしますが、この後、カーブは過去3日間で再び発散し、クリントンが70％の確率で出ました）

ここで見られるパターンは、発散を繰り返した後、トランプのリードに向かって減衰することです。クリントンのバブルはすべてイベントによって引き起こされました。最初は慣習でした（通常、イベントが投票に表示されるまでに数日遅れがあります）。2つ目は、TMZテープによって助けられた可能性が高い最初の議論によって開始されたようです。次に、写真でマークした3番目の変曲点があります。

選挙の3日前の11月5日に起こった。どのイベントがこれを引き起こしましたか？数日前に別の電子メールのフレアアップがありましたが、それはクリントンに有利に働くべきではありませんでした。

私が当時思いついた最も良い説明は、世論調査でした。選挙までわずか3日、最終投票まで2日であり、投票者は最終結果を心配し始めていました。このすべての選挙の「従来の知恵」（賭けのモデルによって証明されるように）は、簡単なクリントンの勝利でした。そのため、これが本当の変曲ではなかったという明確な可能性がありました。その場合、11月5日以降の真の曲線は、収束に向かうこの曲線の継続である可能性が非常に高いです。

この疑わしい最終変曲点なしでここで前方に曲線を推定するには、私よりも優れた数学者が必要ですが、それを目で見て11月8日はクロスオーバー点の近くにあったと思います。前方または後方は、その曲線が実際にどれだけ実際にあったかに依存します。

今、私はこれが起こったことを確かに言うことはできません。他にも非常に説得力のある説明があります（たとえば、トランプは投票者が予想していたよりもはるかに優れた有権者を獲得しました）。

最初はブレグジットで、今はアメリカの選挙です

2002年のフランス大統領選挙など、「初めてのことではありません」「投票技術に関する真剣な議論に導かれました」。

そのため、これらのモデルが非常に良い仕事をしなかったと言うのは決して大げさではありません。

ガベージイン、ガベージアウト。

ある説明は、有権者が自分自身をトランプ支持者として特定することを嫌がっていたということでした。モデルにそのような効果をどのように組み込むことができますか？

応答バイアス、特に社会的望ましさのバイアスを参照してください。その他の興味深い読み物：サイレントマジョリティとブラッドリー効果。

USC / LA Timesの投票には正確な数値が含まれています。彼らはトランプがリードしていると予測した。USC / LA Timesの調査では、他の調査では見逃されていたものをご覧ください。

http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html

2012年の正確な数値もありました。

確認してください：http : //graphics.latimes.com/usc-presidential-poll-dashboard/

そしてNY Timesは彼らの重みについて不平を言った：http： //www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages。 html

LA Timesの応答：http : //www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html

ここには高台はありません。私は、他の社会科学と同じように擬似科学に満ちた分野（モニタリングと評価）で働いています。

しかし、ここに取引があります。米国の選挙の予測が非常に間違っていたため、世論調査業界は今日「危機」にあると思われます。一部の実務家は、サブプライム住宅ローンのデリバティブが有効な形式の財務データであると信じていました（疑いの恩恵を与えれば...）。

そして、私たちは皆、関係なく失敗します。毎日、データ収集アプローチとして使用され、したがって最終的にデータとして使用される最も疑わしい研究者コンストラクトを見ています（準序列スケールから完全に主要な固定応答カテゴリまで）。結果を理解する前に、そのような構造の概念的なフレームワークが必要であることに気付いている研究者はほとんどいません。市場の「研究」アプローチを見て、最悪のミスのみを採用することに決めたようです。

私たちは「科学者」になりたいと思っていますが、その厳しさはやや難しすぎてわずらわしいので、ごみデータを収集し、ロキのような統計の神に祈って、GIGOの公理を魔法のように無効にします。

しかし、引用されたファインマン氏が指摘するように：

「あなたの理論がどれほど美しいかは関係ありません。あなたがどれほど頭がいいかは関係ありません。実験と一致しない場合、それは間違っています」。

私たちがしばしば行き詰まっている定性的データを処理するためのより良い方法がありますが、それらはもう少し手間がかかり、それらの優れた研究者の構成はしばしばSPSSに供給するのがずっと簡単です。利便性は毎回科学に勝るもののようです（しゃれは意図していません）。

要するに、生データの品質について真剣に考え始めなければ、私たちは自分自身を含むすべての人の時間とお金を無駄にしているだけだと思います。だから誰もが社会科学の方法に関連して「データ品質イニシアチブ」で協力したいのです（はい、そのようなことに関する教科書にはたくさんありますが、試験後にその情報源に注意を払う人はいないようです）。

最もアカデミックなグラビアを持っている人は誰でもリードになります！（それは私ではありません。）

ここで私の答えを明確にするために、「巧妙な」生データ型に関する深刻な基本的な問題を頻繁に見ているので、最初から始める必要があることを提案したいと思います。そのため、サンプリングやデータに対して実行するテストを心配する前に、提案しているモデルに関連して収集するデータ型の有効性/制限を確認する必要があります。そうでない場合、全体的な予測モデルの定義が不完全です。

アンケートには5％のエラーマージンがありますが、これは実際には取り除くことができません。これは、ランダムエラーではなく、バイアスだからです。たとえ多くの世論調査を平均しても、それほど良くなることはありません。これは、不当に表明された有権者グループ、動員の欠如、就業日に投票に参加できない、答えたくない、正しい答えをしたくない、自発的な土壇場の決定に関係しています...このバイアスは「相関」する傾向があるため世論調査では、それ以上の世論調査でそれを取り除くことはできません。また、より大きなサンプルサイズでは削除できません。そして、あなたはこの偏りがあまりにも速く変化するので、この偏りを予測することもできないようです（そして、私たちはあまりにもまれに大統領を選出します）。

ほぼすべての州に未だに愚かな勝者とすべての原則が存在するため、5％の誤差は非常に異なる結果を引き起こす可能性があります。わずか2％）、結果は100％オフです。勝者がすべてだからです。

個々の状態を見ると、ほとんどの結果は予測された誤差範囲内にあります！

おそらくあなたができる最善の方法は、このバイアス（+ -5％）をサンプリングし、勝者とテイクのすべての極値を適用し、結果を集計することです。これはおそらく538が行ったことに似ています。サンプルの30％でドナルドトランプが勝ちました...

$\small 400,000$

最終的には、主題の知識不足を補うための数値解析の巨大な失敗を明らかにしました。明らかな理由で、受賞候補者を明確に受け入れることを人々は恥じていました。

最悪のコンピューターモデルは、誰かがドアをノックして予備の世論調査を行うことに煩わされていた場合、結果に近づいたかもしれません。以下に例を示します。トラファルガーグループ（所属または知識がないため）は、選挙の1日前にPA、FL、MI、GA、UT、NV（この後者の状態は最終的に青になりました）でトランプをリードしていました。魔法は何でしたか？

標準的な投票テストと、回答者の隣人が立つ投票テスト[sic]の両方に対する調査回答者の組み合わせ。これは、回答者が非常に物議を醸す候補者に関する彼らの立場について完全に真実ではない、従来の世論調査の根本的なバイアスに対処します。

スペルチェックの欠如を含むかなりローテクで、人間の本性について多くを示しています。PAの不一致は次のとおりです。

歴史的なペンシルバニア-2016年11月9日午前1時40分にこの閉会が実現するわずか数時間前の民主党敗北の最後のストローとして認識されるまでは：

米国の選挙で投票が不正確になった理由の1つは、何らかの理由で真実を言わない人たちのほかに、「勝者がすべてを手に入れる」効果が予測をさらに容易にしなくなることです。1つの状態に1％の違いがあると、状態が完全にシフトし、結果全体に非常に大きな影響を与える可能性があります。ヒラリーは、アル・ゴア対ブッシュのように、より多くの有権者を持っていました。

Brexitの国民投票は通常の選挙ではなかったため、予測することも困難でした（良い歴史的データがなく、誰もがこの問題に関する初めての投票者のようでした）。何十年も同じ政党に投票する人々は、予測を安定させます。

（このビットに答えるだけで、他の答えは他のすべてをカバーしているように見えます。）

昨日の午後4時（PST）まで、賭け市場はまだヒラリー4対1を好んでいました。実際のお金を賭けた賭け市場は、利用可能なすべての予測モデルのアンサンブルとして機能するはずです。

いいえ...しかし、間接的にはい。

賭け市場は、ブッキーが何が起こっても利益を上げるように設計されています。例えば、引用された現在のオッズはヒラリーで1-4、トランプで3-1でした。次の10人すべてが賭けた場合$ヒラリーの10、その$彼らに費用としている中で撮影した100 $ヒラリーが勝てば25。そのため、ヒラリーを1-5に短縮し、トランプを4-1に引き上げます。より多くの人々がトランプに賭け、バランスが回復しました。すなわち、それは純粋に人々が賭ける方法に基づいており、評論家や予測モデルには基づいていません。

しかし、もちろん、ブッキーの顧客はそれらの世論調査を見て、それらの専門家を聞いています。彼らは、ヒラリーが3％先行しており、勝つために死んだ証明書であると聞き、10 ドルを稼ぐ簡単な方法は彼女に40 ドルを賭けることだと決めました。

間接的に評論家と世論調査はオッズを変えています。

（一部の人々は職場のすべての友人がトランプに投票することに気づいているので、彼に賭けます。他の人はFacebookの友人の投稿がすべて親ヒラリーであることに気づくので、彼女に賭けてください。そのように。）

モデルがアクセスする情報と、ポーリングブースでの動作を促進する情報との格差を考慮すると、これらの努力が失敗したことは驚くことではありません。私は推測していますが、モデルはおそらく考慮しています：

• 選挙前のさまざまな投票結果
• 歴史的な州の傾向（青/赤）
• 現状の傾向/予測による過去の選挙の歴史的結果

しかし、選挙前の世論調査は信頼できません（過去に一定の失敗がありました）。 。

別の複雑な問題は、選挙学校との一般投票の合流です。この選挙で見たように、一般投票は州内で非常に近い場合がありますが、州に勝つと、すべての票が1人の候補者に送られるため、マップが非常に赤くなっています。

投票モデルは、実際の投票に関しては、どのくらいのリバタリアンがジョンソンからトランプに切り替えるかを考慮していませんでした。わずかな差で勝った州は、ジョンソンが得た投票の割合に基づいて勝ちました。PA（選挙の夜にトランプを270を超えて押した）は、ジョンソンに2％しか与えなかった。NH（クリントンに行った）はジョンソンに4％以上を与えました。ジョンソンは選挙の前日に4〜5％で投票しており、選挙の日におよそ3％を獲得しました。

では、なぜ選挙の日にリバタリアンが突然スイッチを入れたのでしょうか？誰もリバタリアン有権者にとって中心的な問題であるとは考えませんでした。彼らは憲法の​​文字通りの解釈を規範とみなす傾向があります。クリントンに投票したほとんどの人は、彼女の法の拒否が考慮すべき十分に高い優先順位であるとは思いませんでした。確かに、彼らがトランプについて好きではなかったすべてよりも高くない。

彼女の法的問題が他の人にとって重要であるかどうかに関係なく、それらはリバタリアンにとって重要です。せいぜい、法の遵守を任意と見なした人を不在にすることを非常に優先するでしょう。そのため、多くの人々にとって、クリントンを不在にすることは、リバタリアン哲学が実行可能な政治哲学であるという声明を出すことよりも優先順位が高くなるでしょう。

彼らの多くはトランプを好まなかったかもしれないが、もし彼がクリントンよりも法の支配に敬意を払うだろうと思ったら、プラグマティズムは多くの人々の原則を勝ち取り、それが彼らに投票を切り替えさせた実際に投票する時が来ました。

世論調査は歴史的な傾向ではありません。ベイジアンは、歴史的な傾向について問い合わせます。アブラハムリンカーン以来、共和党と民主党が大統領府を開催しています。ウィキペディアからの16回のパーティー変更の傾向には、次の累積質量関数があります

$x$

ジャーナリスト、民主党、および世論調査員に、リベラル党の勝利に有利なオッズは多分希望的観測だと思わせた。行動は限界内で予測可能かもしれませんが、この場合、民主党は人々が変化に投票しないことを望んでいました。

投票結果は、投票者の人口統計が投票者の人口統計に似ており、人口全体を適切に表すと仮定して、一般の人々の範囲に外挿されたと思います。例えば、10人中7人の少数派が投票でヒラリーを支持し、その少数派が米国人口の30％を占める場合、投票の過半数は、投票者の30％がその少数派で代表され、ヒラリー。現実には、白人の中間層から上流層の男性が有権者の間でよりよく表されていました。対象となる人の50％未満が投票しましたが、これはすべての性別、人種などの50％割引にはなりませんでした。

または、世論調査は完全なランダム化を想定し、そのモデルをそれに基づいていましたが、実際には、有権者のデータは中高年以上の男性に偏っていました。

または、世論調査は完全なランダム化を正確に想定していませんでしたが、それらの外挿パラメーターは有権者層の不均一性を過小評価していました。

ETA：過去2回の選挙の投票は、通常はあまり代表されていないグループによる投票への関心が高まったため、パフォーマンスが向上しました。

HoraceTとCliffAB（コメントは長すぎます）私は一生の例を持っているのではないかと心配しています。ですから、私はあなたのinを望んでいませんが、あなたの忍耐をお願いします。ここに行く：

極端な例から始めるために、私はかつて文盲の村の農民（東南アジア）に彼らの「経済的利益率」を推定するように依頼する調査質問を提案しました。とりあえず応答オプションを残しておくと、誰もがこれを行うのは愚かなことであることがわかりますが、それがなぜ愚かであるかを一貫して説明するのはそれほど簡単ではありません。はい、回答者が質問を理解せず、単にセマンティックな問題として却下するため、それは愚かであると単純に言うことができます。しかし、これは研究の文脈では本当に十分ではありません。この質問がこれまでに示唆されたという事実は、研究者が彼らが「愚かな」と考えるものに固有の可変性があることを意味します。これをより客観的に対処するために、そのようなことについて意思決定するための関連するフレームワークを後退し、透過的に宣言する必要があります。そのようなオプションは多数ありますが、

したがって、分析で使用できる2つの基本的な情報タイプ、定性的および定量的な情報があることを透過的に想定します。そして、この2つは変換プロセスによって関連付けられているため、すべての定量情報は定性情報として開始されましたが、次の（簡略化された）ステップを経ました。

1. コンベンションの設定（たとえば、[個人的にどのようにそれを知覚するかに関係なく]全員が日中の空の色を「青」と呼ぶことにしました。）
2. 分類（たとえば、この規則によって部屋のすべてを評価し、すべての項目を「青」または「青以外」のカテゴリに分類します）
3. カウント（部屋の青いものの「量」をカウント/検出します）

（このモデルでは）ステップ1がなければ、品質などはありません。ステップ1から始めないと、意味のある量を生成できないことに注意してください。

一度述べれば、これは非常に明白に見えますが、最も一般的に見過ごされており、その結果「ごみ入れ」になるのはそのような一連の第一原理です。

そのため、上記の例の「愚かさ」は、研究者と回答者の間で共通の慣習を設定できないこととして非常に明確に定義可能になります。もちろん、これは極端な例ですが、はるかに微妙な間違いも同様にガベージ生成の可能性があります。私が見た別の例は、ソマリアの田舎の農家の調査であり、「気候変動はあなたの生活にどのように影響しましたか？」と尋ねました。米国は、研究者と回答者の間の共通の慣習を使用する重大な失敗を構成する（すなわち、「気候変動」として測定されているものに関して）。

次に、応答オプションに移りましょう。回答者が複数の選択肢のセットまたは同様の構成からの回答を自己コーディングできるようにすることで、この「慣習」の問題を質問のこの側面に押し込むことになります。応答カテゴリですべての「普遍的な」慣習に固執している場合、これで問題ないかもしれません（例：質問：あなたはどの町に住んでいますか？応答カテゴリ：研究エリア内のすべての町のリスト[および「このエリアにありません」））。ただし、多くの研究者は、実際には、質問と回答のカテゴリの微妙なニュアンスに誇りを持ってニーズに応えているようです。「経済的利益率」の質問が出たのと同じ調査で、研究者は回答者（貧しい村人）に、どの経済部門が貢献したのかを尋ねました：「生産」、「サービス」、「製造」と「マーケティング」。ここでも、定性的な慣習の問題が明らかに発生します。ただし、回答者は相互に排他的であるため、回答者は1つのオプションしか選択できず（「その方法でSPSSに入力する方が簡単」）、村の農民は日常的に作物を生産し、労働者を売り、手工芸品を製造し、地元の市場自体、この特定の研究者は、回答者とのコンベンションの問題を抱えているだけでなく、現実そのものの問題も抱えていました。

これが、私のような古いボアが、収集後のデータにコーディングを適用するより作業集約的なアプローチを常に推奨する理由です-少なくとも、研究者が開催する慣習でコーダーを適切に訓練することができます（そして、そのような慣習を調査の指示」はマグカップのゲームです-とりあえずこれについては私を信じてください）。また、上記の「情報モデル」を受け入れた場合（これもまた必要だと主張しているわけではありません）、それはまた、準序列的応答スケールが悪い評判を持っている理由を示していることにも注意してください。それは、スティーブンの慣習の下での基本的な数学の問題だけではありません（つまり、序数でも意味のある起源を定義する必要がある、それらを追加して平均化することはできません、など）。また、「数量化」に相当する透過的に宣言され、論理的に一貫した変換プロセスを一度も行ったことがないこともあります（つまり、「通常の量」の生成も含む上記で使用したモデルの拡張バージョン[-これは難しくありませんする]）。とにかく、定性的または定量的な情報であるという要件を満たさない場合、研究者は実際にフレームワーク外で新しいタイプの情報を発見したと主張しているため、その基本的な概念的根拠を完全に説明する責任は彼らにあります（すなわち、新しいフレームワークを透過的に定義します）。

最後に、サンプリングの問題を見てみましょう（そして、これはすでにここにある他の回答のいくつかと一致すると思います）。たとえば、研究者が「リベラル」投票者を構成する規約を適用する場合、サンプリング方式の選択に使用する人口統計情報がこの規約と一致していることを確認する必要があります。このレベルは、主に研究者が管理できる範囲であり、ほとんどの場合、研究で透過的に宣言されていると想定される定性的慣習のタイプであるため、通常、識別と対処が最も簡単です。これが通常議論または批判されるレベルである理由でもありますが、より基本的な問題は未解決のままです。

したがって、投票者は「この時点で誰に投票する予定ですか？」などの質問に固執しますが、おそらく大丈夫ですが、多くの人はこれよりもはるかに「ファンシー」になりたいです...