適切なスコアリングルールの選択

適切なスコアリングルールに関するほとんどのリソースでは、ログ損失、ブライアースコア、または球形スコアリングなど、さまざまなスコアリングルールに言及しています。しかし、彼らはしばしばそれらの違いについて多くのガイダンスを与えません。（別紙A：ウィキペディア。）

対数スコアを最大化するモデルを選択することは、最尤モデルを選択することに対応します。これは、対数スコアリングを使用するための良い議論のようです。ブライアースコアまたは球形スコアリング、または他のスコアリング規則について同様の正当化がありますか？なぜ誰かが対数スコアリングではなく、これらの1つを使用するのでしょうか？

— ベン・クーン
ソース

いくつかのヒントが命名法にあります。「コスト関数型」は、最適化または最適な制御システムエンジニアリングからのものです。「ベスト」はありません。「良い」とは、ある程度の良さを持たなければならないことを意味します。良さの尺度のファミリーには無限の数があります。些細な例は次のとおりです。最適なパスは何ですか？あなたがあなたの処刑に向かって行進しているなら、長く楽しいものにしてください。Fieldsメタルに行く場合は、最短にします。システムの専門知識により、良さの尺度を選択できます。良さの尺度が得られたら、「最高」を見つけることができます。

— EngrStudent-モニカの復活14年

Merkle＆Steyversの「厳密に適切なスコアリングルールの選択」（2013、Decision Analysis）に興味があるかもしれません。

— S. Kolassa -復活モニカ

タイトルをより正確/有益なものにするために、タイトルを編集する自由を取りました。誤って解釈した場合は、申し訳ありませんが、変更を元に戻してください。

— リチャードハーディ

なぜ誰かが対数スコアリングではなく、これらの1つを使用するのでしょうか？

理想的には、我々は常に区別するモデルを適合から決定を下します。ベイジアン方法論では、モデルのスコアリングと選択は、常に限界尤度を使用して実行する必要があります。次に、モデルを使用して確率的予測を行います。損失関数は、これらの予測に基づいて行動する方法を示します。

残念ながら、現実の世界では、多くの場合、計算パフォーマンスにより、モデル選択と意思決定を統合する必要があるため、損失関数を使用してモデルに適合させる必要があります。これは、モデル選択の主観が忍び寄る場所です。なぜなら、さまざまな種類の間違いがどれほどの費用がかかるかを推測する必要があるからです。古典的な例は、がんの診断です。誰かのがんの可能性を過大評価することは良くありませんが、過小評価することはさらに悪いことです。

余談ですが、スコアリングルールの選択方法に関するガイダンスを探している場合は、損失関数の選択またはユーティリティ関数の設計に関するガイダンスも探したいと思うかもしれません。よりボリュームがあります。

— アンディ・ジョーンズ
ソース

1）ブライアスコアリングは本質的に「変装における損失関数」であると言っていますか？つまり、ユーティリティ関数に依存しないスコアリング/比較ルールとしてマスカレードしているにもかかわらず、人々はモデルが犯すエラー？

— ベンクーン14

2）誰かがログスコアリングよりもブリアスコアまたは球形スコアリングを選択する設定の特定の例はありますか？

— ベンクーン14

3）実際に意思決定を行う際に、限界尤度に適合して損失/効用関数を使用するよりも、損失/効用関数の仮定をモデルにベイクする方がパフォーマンスが良いのはなぜですか？理想的な学習アルゴリズムでは、これらの間にギャップはないはずです。

— ベン・クーン

1）はい。2）個人的ではありません。スコアリングルールは内ML Iの仕事のビットに「ファッショナブル」ではありません。上の周りに迅速突く持つ学者が、彼らが、一般的に日付ビットだそうです。この論文は、あなたにとって興味深いものになりそうです。3）パフォーマンスとは、「予測パフォーマンス」ではなく「計算パフォーマンス」を意味していました。

— アンディジョーンズ14