過適合についてのベイジアン思考

私は、従来の頻度主義統計ドメインで予測モデルを検証するための方法とソフトウェアの開発に多くの時間を費やしました。より多くのベイジアンのアイデアを実践と教育に取り入れる際に、受け入れるべき重要な違いがいくつかあると思います。まず、ベイジアン予測モデリングはアナリストに、候補の特徴に合わせてカスタマイズできる事前分布についてよく考えるように頼みます。これらの事前分布は、モデルをそれらに引き寄せます）。第二に、「実際の」ベイジアンの方法では、単一のモデルにはなりませんが、予測のために事後分布全体を取得します。

これらのベイジアン機能を念頭に置いて、過剰適合とはどういう意味ですか？評価すべきでしょうか？もしそうなら、どのように？ベイズのモデルが野外での使用に信頼できるときはどのようにして知ることができますか？それとも、予測のために開発したモデルを使用すると、事後はすべての注意を与える不確実性に沿って進むので、それは重要なポイントですか？

ベイジアンモデルを単一の数値、たとえば事後平均/最頻値/中央値リスクに蒸留するように強制した場合、考え方はどのように変わりますか？

ここに関連する考え方があります。パラレル議論を見つけることができるここに。

フォローアップの質問：：完全にベイジアンであり、データを見る前に事前確率について考えるのに時間を費やし、データ尤度が適切に指定されたモデルに適合した場合、過剰適合に関してモデルに満足することを強いられますか？または、ランダムに選択された対象が平均して十分に予測される可能性のある頻繁な世界で行うことを行う必要がありますが、予測が非常に低い対象または予測値が非常に高い対象を選択すると、回帰が発生しますという意味ですか？

ベイジアンモデルは、前の予測分布から引き出されたデータを体系的にオーバーフィット（またはアンダーフィット）できないと言うことから始めるかもしれません。これは、ベイジアンソフトウェアが収集されたデータに適用される前に正しく動作していることを検証する手順の基礎です世界。

ただし、条件付きのデータに適用されるさまざまな予測測定値が、将来のデータに適用される同じ予測測定値よりも良く見えるという意味で、以前の予測分布から引き出された単一のデータセットまたは世界から収集された単一のデータセットをオーバーフィットできます同じプロセスで生成されます。Richard McElreathのBayesian 本の第6章は、過剰適合に専念しています。

過適合の重大度と頻度は、特に効果の規模に関する情報が豊富な事前優先順位によって軽減できます。信じられないほど大きな値に消滅する事前確率を置くことにより、事後分布が、信じられないほど大きな効果を示唆する可能性のあるデータの特異な側面によって過度に興奮することを思いとどまらせます。

オーバーフィッティングを検出する最良の方法は、1組の交差検定を含みます。これは、条件セットから実際に観測値を残さない事後分布から近似できます。条件付けする個々の「観測」[*]が事後分布に過度に大きな影響を与えないという仮定がありますが、その仮定は、重要度サンプリング重み（事後分布からのすべての引き分けにわたって評価される観測の対数尤度から導出される）に適合します。この仮定が満たされている場合は、各観測値について、その観測値が省略されているかのように予測測定値を取得できます。残りは、残りの観測に基づいて条件から引き出され、後の予測分布は、省略された観測に対して構築されました。除外された観測値の予測に問題がある場合、モデルは最初から過剰適合していました。これらのアイデアは hereやthereなどの引用を含むRのloo パッケージ。

単一の数値に蒸留する限り、50％の予測間隔内に収まる観測値の割合を計算したいと思います。この比率が半分よりも大きい場合、モデルは過剰適合しますが、包含インジケーター関数のノイズをカットするには、少数の観測が必要です。異なるモデル（過剰適合の可能性がある）を比較するために、期待される対数予測密度（ループloo内の関数によって計算されます）パッケージ）は、より柔軟なモデルが、柔軟性の低いモデルよりも利用可能なデータによりよく適合する可能性を考慮に入れるが、将来のデータをより悪く予測すると予想されるため、（IJ Goodによって提案された）良い尺度です。しかし、これらのアイデアは、予測尺度の予測に適用できます（実務者にとってより直感的かもしれません）。looパッケージのE_loo関数を参照してください。

[*]階層モデルで観測を構成するものを選択する必要があります。たとえば、既存の患者の新しい患者または新しい時点を予測することに興味がありますか？どちらの方法でも実行できますが、前者では、尤度関数を（再）作成して、患者固有のパラメーターを統合する必要があります。

過適合とは、トレーニングセットではモデルが適切に機能するが、テストセットではパフォーマンスが低下することを意味します。私見、それは2つのソースから来ています：データと私たちが使用するモデル（または私たちの主観）。

$k$

結果として、もし我々が頻繁にいるのであれば、過剰適合の原因はMLEにあります。ベイジアンの場合、これは事前分布の（主観的な）選択（およびもちろん尤度の選択）に由来します。したがって、事後分布/平均/中央値を使用した場合でも、最初からオーバーフィットしているため、このオーバーフィッティングは引き継がれます。事前分布と尤度の適切な選択が役立ちますが、それらは依然としてモデルであり、過剰適合を完全に回避することはできません。