なぜベイジアンは残差を見ることができないのですか?


46

記事「ディスカッション:エコロジストはベイジアンになるべきか?」ブライアンデニスは、ベイジアン統計について驚くほどバランスの取れた前向きな見解を示しています。しかし、ある段落では、引用や正当化なしで、彼は言います:

ご覧のとおり、ベイジアンは残差を見ることができません。モデルの下でどれだけ極端かによって結果を判断する可能性の原則に違反します。ベイジアンにとって、悪いモデルはなく、悪い信念だけです。

なぜベイジアンは残差を見ることを許されないのでしょうか?これに適切な引用は何でしょうか(つまり、彼は誰を引用していますか)?

デニス、B。
ディスカッション:生態学者はベイジアンになるべきか?
生態アプリケーション、アメリカ生態学会1996、6、1095年から1103年


6
その議論がうまくいったなら、同じ理由で、頻度の高い専門家も尤度原理を使用できませんでした。
Glen_b 14

@Glen:頻度分析尤度の原則に違反します。
Scortchi-モニカの復職

3
@Glen:LPに真​​剣に目を向ける頻度の高い人(Sufficiency Principleに相当する弱いバージョン-強いバージョンは頻度の高いアプローチと単純に互換性がない)は、モデルのチェックを避ける必要があります。ただそれを賞賛する人は、指定されたモデルのパラメータを推定する仕事にそれを使用でき、まだ多かれ少なかれ独立した付属品-残差-が古い方法をチェックするために残されていることを喜んでいます。
Scortchi-モニカの復職

1
頻繁にML推定を行う場合でも、MLEのサンプリング分布を考慮して推定の信頼区間を見つけるため、LPに違反しています。

2
@Zen:信頼区間が尤度関数によってのみデータに依存する限り、彼は弱い LPに違反しません。しかし、彼は遅かれ早かれ、異なるサンプリング空間での異なる実験からの同じ尤度関数に基づいて異なる信頼区間を作成することにより、強い LP に違反する可能性があります。
Scortchi -復活モニカ

回答:


19

もちろん、ベイジアンは残差を見ることができます!そしてもちろん、ベイジアン分析には悪いモデルがあります。70年代の少数のベイジアンがそのような見解を支持したかもしれません(そして、私はそれを疑います)が、最近この見解を支持するベイジアンはほとんど見つかりません。

私はテキストを読みませんでしたが、ベイジアンはベイズ因子のようなものを使ってモデルを比較します。実際、ベイジアンは、モデルが真である確率を計算し、真である可能性が高いモデルを選択することさえできます。または、より良いモデルを達成するために、ベイジアンはモデル全体で平均化できます。または、事後予測チェックを使用できます。モデルをチェックする多くのオプションがあり、それぞれが何らかのアプローチを好むかもしれませんが、ベイジアン分析に悪いモデルはないと言うのは無意味です。

したがって、せいぜい、ベイジアン主義の極端なバージョン(適用される設定でほとんど誰も使用しない極端なバージョン)では、モデルをチェックできないと言う方が適切です。しかし、頻度の極端なバージョンでは、観測データの使用も許可されていないと言うことができます。しかし、これらの馬鹿げたことを議論するのに時間を無駄にするのはなぜですか?適用された設定で、ベイジアンまたは頻繁な方法などを使用する必要があるかどうかをいつ議論することができますか?私の謙虚な意見では、それが重要なことです。

更新:OPは、ベイズの極端なバージョンを提唱する誰かの参照を求めました。ベイズの極端なバージョンを読んだことがないので、このリファレンスを提供することはできません。しかし、サベージはそのような参照かもしれないと思います。私は彼が書いたものを読んだことがないので、間違っているかもしれません。

PS: "よく校正ベイジアン"(の問題について考えてみてDawid(1982)、JASA77、379)。首尾一貫した主観主義者のベイジアン予報士は未較正ではないため、彼が未較正であるという圧倒的な証拠があるにもかかわらず、彼のモデル/予測をレビューしません。しかし、実際にはだれもその一貫性があると主張できるとは思いません。したがって、モデルのレビューは重要です。

ps2 .: エフロンのこの論文も気に入っています。完全なリファレンスは次のとおりです。Efron、Bradley(2005)。「ベイジアン、フリークエンティスト、科学者。」Journal of the American Statistical Association 100(469)。


5
また、禁止は実際には決して真剣に受け止められていないと仮定したので、これをゲルマンから読んで驚いた。モデルのデータへの適合をチェックすることは違法です。」
Scortchi-モニカの復職

1
90年代のベイジアン統計がどうだったかはわかりません。しかし、適用された設定では、ベイジアンがモデルをチェックしなかったと信じることは困難です。たぶん彼らはチェックしたが、言わなかった!
マノエルガルディーノ14

2

これは大きな問題ではないことは間違いない。だれかがこれについて発表したかどうかだけに興味があった。これらの「極端なバージョンのベイジアン主義」を提唱する人を読んだことがありますか?
マンカ14

35

見ることはできますが、触ることはできません。結局、残差はモデルパラメーターに関する情報を持たないデータの一部であり、それらの事前分布はそれらに関するすべての不確実性を表します。データに見られるものに基づいて事前分布を変更することはできません。

たとえば、ガウスモデルを近似しているが、残差の尖度が非常に大きいことに注意してください。おそらく、あなたの以前の仮説は、低い自由度での非ゼロ確率のt分布であるべきでしたが、そうではありませんでした。事実上、無限の自由度以外のどこでもゼロ確率のt分布でした。尤度には、事前密度がゼロである事後密度の領域でゼロ以外の確率をもたらすものはありません。したがって、元の事前確率が誤って指定されている場合、データからの尤度に基づいて事前確率を継続的に更新するという概念は機能しません。

もちろん、「ベイジアンモデルチェック」をGoogleで実行すると、これは実際のベイジアンプラクティスのパロディであることがわかります。それでも、それは哲学的根拠に基づいたベイジアン主義の優位性についての科学の論理型の議論にとって困難なものを表しています。Andrew Gelmanのブログは、このトピックに関して興味深いものです。


この「科学の論理の難しさ」に関する参考文献はありますか?
マンカ14

7
私はJaynes、Probability Theory:The Logic of Scienceに言及していました。そこでは、ベイズの定理を繰り返し使用して新しいデータが入ってくるときに確率分布を更新することが、科学知識の成長のパラダイムであると主張されています。私は彼があまりにも狭い事前問題の問題を扱っていると確信していますが、どのように、またはどれだけ満足のいくものかを思い出せません。そして、「一般的な優位性」を「哲学的根拠に基づく優位性」に変更するつもりです。
Scortchi -復活モニカ

ベイジアンの以前の使用のこのは、非物理的な結果の偶発的な(2%)発生を減らすために適用されました。この物理性の欠如は、(体内の薬物の)非物理的な瞬間混合に起因しており、より良いモデルを使用して初期混合ゼロと仮定することで修正されました。モデルを問題に適応させる方が、先入観に準拠するように答えをずらすよりも良いようです。(+1)
カール
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.