不適切なスコアリングルールを使用するのが適切な場合

マークル＆スタイバーズ（2013）執筆：

適切なスコアリングルールを正式に定義するには、真の成功確率pを持つベルヌーイ試行dの確率的予測をとします。適切なスコアリングルールは、f = pの場合に期待値が最小化されるメトリックです。$f$$d$$p$$f = p$

これは良いことだと思います。なぜなら、私たちは、予測者が彼らの本当の信念を正直に反映する予測を生成することを奨励したいからです。

不適切なスコアリングルールを使用することが適切である実際の例はありますか？

Reference
Merkle、EC、およびSteyvers、M。（2013）。厳密に適切なスコアリングルールの選択。意思決定分析、10（4）、292-304

目的が実際には予測であり、推論ではない場合、不適切なスコアリングルールを使用することが適切です。私が予測を行う予定のときに、他の予測者が不正行為を行っているかどうかはあまり気にしません。

適切なスコアリングルールにより、推定プロセス中にモデルが真のデータ生成プロセス（DGP）に近づくことが保証されます。これは有望なように思えます。なぜなら、真のDGPに近づ​​くにつれて、損失関数の下での予測に関しても良い結果が得られるからです。問題は、ほとんどの場合（実際にはほとんど常に）、モデルサーチスペースに真のDGPが含まれていないことです。最終的に、私たちが提案する機能的な形式で真のDGPを近似します。

このより現実的な設定では、予測タスクが真のDGPの密度全体を把握するよりも簡単である場合、実際により良い結果を得ることができます。これは特に分類に当てはまります。たとえば、真のDGPは非常に複雑な場合がありますが、分類タスクは非常に簡単です。

Yaroslav Bulatovは彼のブログで次の例を提供しました。

http://yaroslavvb.blogspot.ro/2007/06/log-loss-or-hinge-loss.html

$x \ge 0$$x < 0$

上記の正確な密度と一致する代わりに、真のDGPからはほど遠い下の粗いモデルを提案します。ただし、完全に分類されます。これは、ヒンジ損失を使用することでわかりますが、これは適切ではありません。

一方、ログ損失のある真のDGPを見つけることにした場合（これが適切です）、先験的に必要な正確な関数形式がわからないため、いくつかの関数の適合を開始します。しかし、それを一致させるためにますます努力するにつれて、物事を誤分類し始めます。

どちらの場合も同じ機能フォームを使用したことに注意してください。不適切な損失のケースでは、ステップ関数に縮退し、完全な分類が行われました。適切なケースでは、密度のすべての領域を満たそうとして凶暴になりました。

基本的に、正確な予測を得るために真のモデルを達成する必要は必ずしもありません。または、実際には密度のドメイン全体で良いことをする必要はありませんが、その特定の部分でのみ非常に良いことがあります。

正確性（つまり、正しく分類された割合）は不適切なスコアリングルールであるため、ある意味で人々は常にそれを行います。

より一般的には、事前定義されたカテゴリに予測を強制するスコアリングルールは不適切になります。分類はこの極端なケースです（許容される予測は0％と100％のみです）が、天気予報もおそらくわずかに不適切です-私のローカルステーションは10％または20％の間隔で雨の可能性を報告しているようです基になるモデルの方がはるかに正確だと思います。

適切なスコアリングルールは、予測機能がリスクニュートラルであることも前提としています。多くの場合、これは一般的にリスクを嫌う実際の人間の予測者には当てはまらず、一部のアプリケーションはそのバイアスを再現するスコアリングルールの恩恵を受ける可能性があります。たとえば、傘を運ぶが、土砂降りに巻き込まれるよりも傘を必要としない方がはるかに優れているため、P（rain）に少し余分な重みを付けることができます。