しばらく私を悩ませた質問ですが、どのように対処するのかわかりません:
私の天気予報士は毎日、雨の確率をパーセントで示しています(9000桁と計算されたと仮定し、数字を繰り返したことはありません)。毎日、雨が降るか降らないかのどちらかです。
私は長年のデータを持っています-PCTチャンス対雨かどうか。この天気予報者の歴史を考えると、明日の雨の可能性がXであると彼が今夜言った場合、雨の可能性が実際に何であるかについての私の最良の推測は何ですか?
しばらく私を悩ませた質問ですが、どのように対処するのかわかりません:
私の天気予報士は毎日、雨の確率をパーセントで示しています(9000桁と計算されたと仮定し、数字を繰り返したことはありません)。毎日、雨が降るか降らないかのどちらかです。
私は長年のデータを持っています-PCTチャンス対雨かどうか。この天気予報者の歴史を考えると、明日の雨の可能性がXであると彼が今夜言った場合、雨の可能性が実際に何であるかについての私の最良の推測は何ですか?
回答:
実際には、雨の真の確率pが予測確率qの関数であるモデルを考えています:p = p(q)。予測が行われるたびに、成功の確率p(q)を持つベルヌーイ変量の1つの実現を観察します。これは、基底関数f1、f2、...、fkの線形結合として真のチャンスをモデル化する意思がある場合、古典的なロジスティック回帰のセットアップです。つまり、モデルは言う
Logit(p)= b0 + b1 f1(q) + b2 f2(q) + ... + bk fk(q) + e
iidエラーe。関係の形式にとらわれない場合(ウェザーマンが良い場合はp(q)-qは適度に小さいはずですが)、基底に一連のスプラインの使用を検討してください。出力は、通常どおり、係数の推定値とeの分散の推定値で構成されます。将来の予測qが与えられた場合、推定された係数を使用して値をモデルにプラグインするだけで、質問に対する答えが得られます(そして必要に応じてeその回答の周りの予測区間を構築します)。
このフレームワークは、予測の質が時間とともに変化する可能性など、他の要因を含めるのに十分な柔軟性を備えています。また、p = q(weathermanが暗黙的に主張するものであるかどうか)などの仮説をテストすることもできます。
バイナリイベント(または離散ランダム変数)の確率予測の比較は、ブライアースコアで実行できます。
ただし 、このタイプの確率予測はしきい値の異なる差別化手順に変換できるため、ROC曲線を使用することもできます。 のさまざまな値について、見逃した、偽の発見、真の発見、真のネガティブを評価する 。
ヨーロッパの中距離天気予報センター(ECMWFが行う方法)を見てください。
ブライヤースコアのアプローチは非常に簡単で、最も直接的に適用可能な方法は、バイナリイベント対予測結果の精度を検証します。
数式だけに頼らないでください...さまざまな期間のスコア、データ、エラー、データの[加重]ローリング平均、エラー...視覚分析が明らかにするものを言うのは難しいです...あなたは何かを見たら、あなたが見た後までどのような仮説検定を実行するかをよりよく知っているでしょうと、データ後。
ブライアースコアは、本質的に、変動/基礎となる分布の天気の安定性と、予測モデルを駆動するテクノロジー、線形性の欠如、バイアスのないこと、バイアスの変化のないことを前提としています... 気候がまだ理解されていない方法で変化すると、天気予報の精度が低下します。逆に、気象予報士に情報を提供する科学者は、より多くのリソース、より完全なモデル、より多くの計算能力を備えているため、予測の精度が向上する可能性があります。エラーを見ると、予測の安定性、直線性、バイアスについて何かがわかります...傾向を見るのに十分なデータがないかもしれません。安定性、直線性、バイアスが問題にならないことを学ぶかもしれません。あなたは天気予報がより正確になっていることを知っているかもしれません...
彼の予測が他の予測よりも正確かどうか知りたいですか?その場合、クロスエントロピー、精度/リコール、ROC曲線、f1スコアなどの確率的分類の基本的な精度メトリックを確認できます。
予測が客観的に良好かどうかを判断するのは別の問題です。1つのオプションは、キャリブレーションを見ることです。彼が雨の90%の可能性があると言ったすべての日のうち、それらの日のおよそ90%は雨でしたか?彼が予報を持っているすべての日を取ってから、雨の確率の彼の推定値でそれらをバケツに入れてください。バケットごとに、実際に雨が降った日の割合を計算します。次に、各バケットについて、雨の確率の推定値に対する実際の雨の確率をプロットします。予測が適切に調整されている場合、プロットは直線のように見えます。