ネイトシルバーの予測の正確さをどのように判断できますか？

まず、彼は結果の確率を与えます。そのため、たとえば、米国の選挙に対する彼の予測は、現在クリントンが82％対トランプが18％です。

今、トランプが勝ったとしても、彼が勝ったはずの時間の18％だけではなかったことをどうやって知るのですか？

もう1つの問題は、彼の確率が時間とともに変化することです。7月31日、トランプとクリントンの間はほぼ50対50でした。

私の質問は、彼は同じ結果で同じ将来のイベントに対して毎日異なる確率を持っていることを考えると、その日まで利用可能な情報に基づいて予測を行った毎日の正確さをどのように測定できますか？

確率的予測（または既知の密度予測）は、スコアリングルール、つまり、密度予測と観測結果をいわゆるスコアにマッピングする関数を使用して評価できます。実際、予測される真の密度です。適切なスコアリングルールは、真の将来の密度によってのみ予想される最小化されたスコアリングルールです。

確率的天気予報のコンテキストでは、Brier（1950、Monthly Weather Review）から始まる、適切なスコアリングルールが多数あります。Czado et al。（2009、Biometrics）は、個別のケースのより最近の概要を示しています。Gneiting＆Katzfuss（2014、Annual Review of Statistics and its Application）は、一般的な確率的予測の概要を示します-特に、Gneitingは、適切なスコアリングルールの原因の推進に非常に積極的です。

ただし、スコアリングルールは解釈がやや難しく、実際には複数の確率的予測を比較する場合にのみ役立ちます。スコアが低い方が優れています。つまり、サンプリングのばらつきまでです。つまり、評価する予測を多数用意し、そのスコアを平均化する方が常に良いのです。

シルバーまたは他の人の予測の「更新」を含める方法は良い質問です。スコアリングルールを使用して、ある時点でのさまざまな予測の「スナップショット」を比較したり、Silverの経時的な確率的予測を調べたり、各時点でスコアを計算したりすることもできます。実際の結果が近いほど、スコアが低くなる（つまり、密度予測がますます良くなる）ことを望みます。

Nate Silverの著書The Signal and the Noiseで彼は次のように書いています。

予測の最も重要なテストの1つ-それは単一の最も重要なテストであると私は主張します-キャリブレーションと呼ばれます。40％の確率で雨が降るとおっしゃいましたが、実際にどのくらいの頻度で雨が降りましたか？長期的に見ると、実際に約40％の時間で雨が降った場合、予測は十分に調整されています。代わりに、時間のわずか20パーセント、または時間の60パーセントで雨が降ったとしても、そうではありませんでした。

したがって、これはいくつかの点を上げます。まず第一に、あなたが正しく指摘しているように、あなたが予測している出来事の結果によって、単一の予測の質について本当に推論することはできません。最善の方法は、多くの予測の過程でモデルのパフォーマンスを確認することです。

考えておくべきもう1つのことは、Nate Silverが提供する予測はイベントそのものではなく、イベントの確率分布であるということです。したがって、大統領選挙の場合、彼はクリントン、トランプ、またはジョンソンがレースに勝つ確率分布を推定しています。この場合、彼は多項分布を推定しています。

しかし、彼は実際にははるかに詳細なレベルでレースを予測しています。彼の予測では、各候補者が各州で獲得する票の割合の確率分布を推定しています。したがって、3つの候補を検討する場合、これは長さ51 * 3のランダムベクトルで特徴付けられ、区間[0、1]の値を取ることで、状態内の比率の比率が1になるという制約があります。51という数字は、他の50の州+ DCであるためです（実際、一部の州では選挙大学の票を分割できるため、実際にはもう少し多いと思います）。

今、あなたは彼の予測を評価するためのデータをあまり持っていません-彼は私が知っている最後の3つの選挙の予測を提供しただけです（もっとありましたか？）そのため、実際にモデルを手に入れて、シミュレートされたデータを使用してモデルを評価できる場合を除き、彼のモデルを公正に評価する方法はないと思います。しかし、あなたが見ることができるいくつかの興味深いものがまだあります。たとえば、特定の時点、たとえば選挙から1週間外の時点で、州ごとの投票率をどのくらい正確に予測したかを見るのは興味深いと思います。たとえば、1週間、1か月、6か月、1年など、複数の時点でこれを繰り返すと、彼の予測にかなり興味深い説明を提供できます。重要な注意事項：結果は選挙内の州間で非常に相関しているため、51州* 3選挙独立予測インスタンスがあるとは本当に言えません（つまり、モデルがある州の候補者のパフォーマンスを過小評価する場合、他の州でも過小評価する傾向があります） 。でも、とにかく意味のあることをするのに十分なデータがあるように、とにかくこのように考えるでしょう。

予測できない単一の予測については、「このコインには60％の確率で頭に浮かぶ」という主張が1回のトスで修正に近いかどうかを判断できます。

しかし、あなたは多くの予測にわたって彼の方法論を評価することができます-特定の選挙について、彼は大統領選挙全体だけでなく、大統領の投票および他の多くの人種（家、上院、政府の投票に関する多くの予測を行いますなど）、また、彼は時間の経過とともにほぼ同様の方法論を使用します。

この評価を行うには多くの方法があります（かなり洗練された方法もあります）が、それを理解するための比較的簡単な方法をいくつか見ることができます。たとえば、勝つ確率の予測を、たとえば（50-55％、55-65％など）の帯域に分割し、その帯域の予測の割合がどのようになったかを確認できます。効果があった50〜55％の予測の割合は、平均がどこにあったかに応じて50〜55％の範囲内になります（さらに、ランダムな変動のマージン*）。

したがって、そのアプローチ（または他のさまざまなアプローチ）により、結果の分布が選挙全体または複数の選挙全体の予測と一致していたかどうかを確認できます（覚えているなら、彼の予測は本来のはずだったよりも正しかったと思います） 、これは彼の標準誤差が平均してわずかに過大評価されていることを示唆しています）。

*予測は独立していないため、それを評価する方法には注意する必要があります。