天気予報は正確ですか？

しばらく私を悩ませた質問ですが、どのように対処するのかわかりません：

私の天気予報士は毎日、雨の確率をパーセントで示しています（9000桁と計算されたと仮定し、数字を繰り返したことはありません）。毎日、雨が降るか降らないかのどちらかです。

私は長年のデータを持っています-PCTチャンス対雨かどうか。この天気予報者の歴史を考えると、明日の雨の可能性がXであると彼が今夜言った場合、雨の可能性が実際に何であるかについての私の最良の推測は何ですか？

実際には、雨の真の確率pが予測確率qの関数であるモデルを考えています：p = p（q）。予測が行われるたびに、成功の確率p（q）を持つベルヌーイ変量の1つの実現を観察します。これは、基底関数f1、f2、...、fkの線形結合として真のチャンスをモデル化する意思がある場合、古典的なロジスティック回帰のセットアップです。つまり、モデルは言う

Logit（p）= b0 + b1 f1（q） + b2 f2（q） + ... + bk fk（q） + e

iidエラーe。関係の形式にとらわれない場合（ウェザーマンが良い場合はp（q）-qは適度に小さいはずですが）、基底に一連のスプラインの使用を検討してください。出力は、通常どおり、係数の推定値とeの分散の推定値で構成されます。将来の予測qが与えられた場合、推定された係数を使用して値をモデルにプラグインするだけで、質問に対する答えが得られます（そして必要に応じてeその回答の周りの予測区間を構築します）。

このフレームワークは、予測の質が時間とともに変化する可能性など、他の要因を含めるのに十分な柔軟性を備えています。また、p = q（weathermanが暗黙的に主張するものであるかどうか）などの仮説をテストすることもできます。

バイナリイベント（または離散ランダム変数）の確率予測の比較は、ブライアースコアで実行できます。

ただし 、このタイプの確率予測はしきい値の異なる差別化手順に変換できるため、ROC曲線を使用することもできます。$\tau$ のさまざまな値について、見逃した、偽の発見、真の発見、真のネガティブを評価する $\tau$。

ヨーロッパの中距離天気予報センター（ECMWFが行う方法）を見てください。

予報が「（地域）のXパーセントの雨の可能性」と表示されている場合、数値気象モデルは、問題の時間間隔で、地域のXパーセントの雨を示していることを意味します。たとえば、通常、「北米で雨が100％降る」と予測するのは正確です。モデルはダイナミクスの予測が得意であり、熱力学の予測が得意ではないことに留意してください。

ブライヤースコアのアプローチは非常に簡単で、最も直接的に適用可能な方法は、バイナリイベント対予測結果の精度を検証します。

数式だけに頼らないでください...さまざまな期間のスコア、データ、エラー、データの[加重]ローリング平均、エラー...視覚分析が明らかにするものを言うのは難しいです...あなたは何かを見たら、あなたが見た後までどのような仮説検定を実行するかをよりよく知っているでしょうと、データ後。

ブライアースコアは、本質的に、変動/基礎となる分布の天気の安定性と、予測モデルを駆動するテクノロジー、線形性の欠如、バイアスのないこと、バイアスの変化のないことを前提としています... 気候がまだ理解されていない方法で変化すると、天気予報の精度が低下します。逆に、気象予報士に情報を提供する科学者は、より多くのリソース、より完全なモデル、より多くの計算能力を備えているため、予測の精度が向上する可能性があります。エラーを見ると、予測の安定性、直線性、バイアスについて何かがわかります...傾向を見るのに十分なデータがないかもしれません。安定性、直線性、バイアスが問題にならないことを学ぶかもしれません。あなたは天気予報がより正確になっていることを知っているかもしれません...

与えられた予測をビニングし、観測されたフラクションを各ビンの推定値として取るだけではどうですか？

これを連続モデルに一般化するには、関心のある値（明日までの予測など）に関連するすべての観測値をGaussianで重み付けし、加重平均が何であるかを確認します。

データの特定の部分を取得するための幅を推測できます（または、適切な推定値として100ポイント以上になることはありません）。または、最尤法の交差検定などの方法を使用して、ガウス幅を取得します。

彼の予測が他の予測よりも正確かどうか知りたいですか？その場合、クロスエントロピー、精度/リコール、ROC曲線、f1スコアなどの確率的分類の基本的な精度メトリックを確認できます。

予測が客観的に良好かどうかを判断するのは別の問題です。1つのオプションは、キャリブレーションを見ることです。彼が雨の90％の可能性があると言ったすべての日のうち、それらの日のおよそ90％は雨でしたか？彼が予報を持っているすべての日を取ってから、雨の確率の彼の推定値でそれらをバケツに入れてください。バケットごとに、実際に雨が降った日の割合を計算します。次に、各バケットについて、雨の確率の推定値に対する実際の雨の確率をプロットします。予測が適切に調整されている場合、プロットは直線のように見えます。