MCMCサンプラーにJeffreysまたはエントロピーベースの事前分布を使用することに対する推奨事項があるのはなぜですか？

上の彼らのwikiページ、スタン状態の開発者：

私たちが好きではないいくつかの原則：不変性、ジェフリーズ、エントロピー

代わりに、正規の配布に関する推奨事項がたくさんあります。これまでのところ、サンプリングに依存しないベイズ法を使用しており、は、二項尤度の良い選択でした。$\theta \sim \text{Beta}\left(\alpha=\frac{1}{2},\beta=\frac{1}{2}\right)$

もちろん、これはさまざまな意見を持った多様な人々の集まりであり、ウィキをまとめて書いています。私が知っている/理解するいくつかの解説をまとめます：

• 計算の便宜に基づいて事前計算を選択することは、根拠が不十分です。たとえば、共役更新を可能にするという理由だけでBeta（1/2、1/2）を使用することは良い考えではありません。もちろん、取り組む問題のタイプに適した特性を備えていると結論付けたら、それは問題ありません。実装を容易にする選択をすることもできます。多くの例があり、便利なデフォルトの選択が問題であることが判明しています（Gibbsサンプリングを有効にする前のGamna（0.001、0.001）を参照してください）。

• Stanでは、WinBUGSやJAGSとは異なり、（条件付きで）事前共役に特別な利点はありません。そのため、計算の側面をいくらか無視するだけで十分かもしれません。完全にではありませんが、非常に重い先行（または不適切な事前）とパラメーターを適切に識別しないデータがあるため、問題が発生します（実際にはStan固有の問題ではありませんが、Stanはこれらの問題の識別とユーザーへの警告に非常に優れています）喜んでサンプリングする代わりに）。

• ジェフリーズやその他の「情報量の少ない」事前分布は、不適切である場合や、高次元（それらを導出することを気にしないでください）やスパースデータでは理解が難しい場合があります。これらは、作者がそれらに慣れることができないほど頻繁にトラブルを引き起こしたのかもしれません。何かで働くと、あなたはより多くを学び、快適になるので、時々見解が逆転します。

• スパースデータの設定では、事前の設定が実際に重要であり、パラメータの完全に妥当ではない値が妥当ではないと指定できる場合、これは非常に役立ちます。これは、情報量の少ない事前分布という概念に動機を与えます。真に完全に有益な事前分布ではなく、もっともらしい値を最もサポートしているものです。

• 実際、パラメータを非常によく識別する多くのデータがある場合、最大の可能性を使用することができるのに、情報のない事前分布に悩む人がいるのではないかと思うかもしれません。もちろん、多くの理由があります（病理を避け、事後の「本当の姿」を得るなど）。しかし、「データが豊富」な状況では、代わりに情報量の少ない事前確率に対する本当の議論はないようです。

• おそらく、少し奇妙なことに、N（0、1）は、多くのアプリケーションで、ロジスティック、ポアソンまたはコックス回帰の係数の驚くほど前の値です。たとえば、これは、多くの臨床試験で観察された治療効果の分布にほぼ一致しています。

それらはそのための科学的/数学的な正当化を提供しません。ほとんどの開発者はこの種の事前分布に取り組んでおらず、分散が大きい通常の事前分布（場合によっては有益な場合があります）など、より実用的でヒューリスティックな事前分布を使用することを好みます。ただし、彼らがこのトピックに取り組み始めた後、彼らがエントロピー（KLダイバージェンス）に基づくPCの事前計算を喜んで使用するのは少し奇妙です。

WinBUGSでも同様の現象が発生しました。開発者は、ジェフリーズの以前の形状に似ているため、を精度の高いパラメーターの情報として提供しないことを推奨しました。この事前分布は、精度パラメーターのデフォルト事前分布になりました。その後、（Gelman！によって）非常に有益であることが示されました。$Gamma(0.001,0.001)$