確率的予測精度を測定する方法は？

私が次のような確率的予測をたくさんするとします：

Q1で売上成長率が10〜15％になる確率は70％、売上成長率が15％以上になる確率は10％、売上成長率が10％未満になる確率は20％

実際のデータを踏まえて、私の正確性を測定または追跡するための最良の方法は何ですか？ブライアースコア？

また、さまざまな種類の予測のブライアスコアを平均化できますか？（たとえば、「雨の可能性は80％である」という予測の目障りなスコアを見つけ、それを売上成長予測と平均化します）

forecasting scoring-rules

— エミール
ソース

私は、売上高が低/中/高に分類できるここのような3つ以上のカテゴリの序数の結果にブライアスコアを使用することをためらっています。ブライアスコアは、各結果を他の結果から等距離として扱います。

— RobertF

@RobertFが想定しているように見えるので、データは本質的に序数ですか？もしそうなら、これは彼が書いているように複雑さを追加します、そしてあなたがこれをあなたの投稿に編集できれば良いでしょう。そうでない場合は、Brierなどの適切なスコアリングルールを使用できます。そして、はい、あなたはそれらを平均することができます。

— Stephan Kolassa 16

私の例では序数データを使用していると思いますが、「本質的に序数」という意味がわかりません。ただし、売上高を12％だけ成長させるように予測を変更できます。もしそうなら、私はMAEのようなものを使うでしょうか？しかし、確率を含めた理由は、変動性とまれなイベントを考慮するためです。たとえば、私の予測で予想される売上高の伸びは12％になる可能性がありますが、売上高がマイナスになる可能性はわずかです。発生する可能性は低いですが、売り上げがマイナスになる可能性を知ることは重要です。だから、どういうわけかそれを私の予測に反映したいと思います。

— エミール、

「本質的に序数」とは、根本的な問題が序数であるのか、それとも使用した例がたまたま序数であるのかということです。どうやら、それは前者です。

— ステファンコラサ

コメントは、ポイント予測ではなく密度予測を実際に探しているように聞こえます。つまり、将来の結果の完全な確率分布を予測したいのです。これは非常に良い考えです。密度予測は、財務予測や計量経済予測では一般的ですが、残念ながら、他の予測の教科書やコースではほとんど扱われていません。Tay＆Wallis（2000、Journal of Forecasting）は、有用な早期調査を提供しています。

密度予測を評価する最も一般的な方法は、確率積分変換（PIT）を使用します。正規の参照は、Diebold、Gunther＆Tay（1998、International Economic Review）です。Berkowitz（2001、Journal of Business＆Economic Statistics）とBao、Lee＆Saltoglu（2007、Journal of Forecasting）は代替案を示しています。

最近、あなたが言及するブライアースコアのように、（適切な）スコアリングルールへの関心が高まっています。文献には、ミッチェル＆ウォリス（2011、ジャーナルオブアプライドエコノメトリクス）とグナイティング、バラブダウイ＆ラフターリー（2007、JRSS-B）が含まれます。

最後に、Gneiting＆Katzfuss（2014、Annual Review of Statistics and its Application）は、密度（または確率）予測のより最近の概要を示し、スコアリングルールに再び焦点を当てています。

— ステファン・コラサ
ソース

簡単に言えば、密度予測を行うための最も適切な方法と、私の例の最も適切なスコアリングルールについて説明してください。または、記事/本を指すこともできます。私が求めているのはレシピだと思います：密度/確率論的予測を行うためのステップ、次に個別および/または複数の予測の精度を評価するための他のいくつかのステップ。理想的には、通常の計算機で計算を実行できます（専用のソフトウェアは必要ありません）。積分が必要な場合、方程式を簡略化するためにどのような近似を行うことができますか。「封筒の裏」でできることを探しています。

— エミール

私はそれらの論文を読みたいと思っていますが、率直に言ってそれらは私の頭の上にあります。

— エミール、

ああ。Ord＆Fildes、Principles of Business Forecasting、セクション5.2などの標準的な予測テキストを検討することをお勧めします。予測間隔は正規分布アプローチを使用して計算されます。Hyndman＆Athanosopoulosは、残念ながら密度予測をカバーしていません。スコアリングルールに関しては、あなたのケースに明確な「最良の」ルールがあるとは思いません。簡単に実装できるものを選んでください。あなたはR ....を見た場合、それは良いでしょうので、しかし、あなたは、おそらく最も必要性正規分布のテーブルになります

— ステファンKolassa

... HyndmanとAthanasopoulosはRですべてを行うので、彼らの本はRを使用した予測の素晴らしい入門書として役立ちます。

— ステファンコラサ