予測された分布の質の評価

データポイントセットがあり、は独立変数であり、各は、パラメーターを使用した指数分布から描画されるものとしてモデル化できると思います。$X_i, y_i$$x$$y_i$$\lambda_i$

を使用してを予測する場合、観測値に関して予測した分布の品質をどのように評価できますか？$X_i$$\lambda_i$$y_i$

編集：これは基本的に、ベルヌーイ実験の確率推定器の品質を評価する方法と同じ質問ですか？しかし、二項式の文脈ではなく、連続的な文脈で。この場合、クロスエントロピーの代わりに何を使用するかは明らかではありません。

これに対する標準的なアプローチは、指数分布の対数尤度を使用することです。これは実際にはクロスエントロピーがどのように導出されるかであり、ベルヌーイ分布の対数尤度です。

指数分布の場合、pdfは次のとおりです。

$$f(y; \lambda) = \lambda e^{-\lambda y}$$

したがって、対数尤度は次のとおりです。

$$LL(\lambda_i; y_i ) = \log(f(y_i; \lambda_i)) = \log(\lambda_i) - \lambda_i y_i$$

したがって、が実際の値であり、が予測である場合、指数モデルは最小化されます。$y_i$$\lambda_i$

$$LL(\{\lambda_i\}; \{y_i\}) = \sum_i \log(\lambda_i) -\lambda_i y_i$$

このように対数尤度を最大化してモデルを近似すると、一般化線形モデルの理論が導かれます。指数モデルは特殊なケースです。

予測分布を評価する標準的な方法は、スコアリングルールを使用することです。Matthew Druryが推奨する対数尤度は1つの例であり、対数スコアリングルールです。他にもあります。Merkle＆Steyvers（2013、Decision Analysis）は、さまざまなスコアリングルールがどのように結び付いているか、および1つを選択する方法について説明しています。

詳しい情報は見つけることができますタグのwikiに、私たちは運ん質問の数を持っていますスコアリングルール 鬼ごっこ。