階層型ベイジアンモデルと経験的ベイズ

HBM対EBは、ハイパーパラメーターがサンプリング/推定/などの「ゲーム内」にある2つの選択肢であると考えますか？これら2つの間に明確な関係があります。

HBMはEBよりも「完全にベイジアン」だと思いますか？「完全にベイジアン」であることと他の選択肢との違いを理解できる場所はありますか？

ありがとう。

マージナライズは最適化よりもベイジアンのアプローチであるため、HBMは確かにEBよりも「ベイジアン」に近いと言えます。本質的には、EBはハイパーパラメータの不確実性を無視しているのに対し、HBMはそれを分析に含めようとしているように思われます。HMBは、データがほとんどないため、ハイパーパラメーターに大きな不確実性があるため、考慮しなければならない良いアイデアだと思います。一方、大規模なデータセットの場合、EBは一般的に計算コストが低く、データの量が多いため、結果がハイパーパラメーター設定にあまり影響されないことを意味するため、EBはより魅力的になります。

私はガウスのプロセス分類器に取り組んでおり、極度の尤度を最大化するためにハイパーパラメーターを最適化することで、MLが過剰に適合し、一般化のパフォーマンスが大幅に低下します。これらのケースでは、完全なHBM治療の方が信頼性が高いと思われますが、はるかに高価です。