ベイズの信頼できる区間が明らかに頻度の高い信頼区間よりも低い例はありますか

信頼と信頼できる間隔の違いに関する最近の質問から、私はそのトピックに関するエドウィンジェーンズの記事を読み直すことになりました。

ジェインズ、ET、1976年。「信頼区間対ベイジアン区間」、確率理論、統計的推論、および科学の統計理論の基礎、WL HarperおよびCA Hooker（eds。）、D。Reidel、Dordrecht、p。175; （pdf）

要約では、Jaynesは次のように書いています。

...信頼区間に関連する6つの一般的な統計問題（同じ推論に基づく有意性検定を含む）に対するベイジアンおよび正統解を示します。いずれの場合も、状況はまったく逆であることがわかります。つまり、ベイジアン法の方が適用が簡単で、同じまたはより良い結果が得られます。実際、オーソドックスな結果は、ベイジアンの結果と密接に（または正確に）一致する場合にのみ満足のいくものです。反対の例はまだ作成されていません。

（エンファシス鉱山）

この論文は1976年に出版されたので、恐らく物事は進んでいるでしょう。私の質問は、頻繁な信頼区間がベイジアンの信頼区間より明らかに優れている例はありますか（Jaynesによって暗黙的に行われた挑戦による）。

誤った事前仮定に基づく例は、異なるアプローチの内部一貫性について何も述べていないため、受け入れられません。

私は以前、質問に答えるのに行くと言ったので、ここに行きます...

ジェインズは、頻繁な信頼区間が統計の真の値が高い（指定された）確率であると予想される区間として定義されていないという点で、彼の論文では少しいたずらでした。それらがそうであるかのように解釈される場合に発生します。問題は、実際の信頼区間が実際に使用される方法であることが多いことです。実際の値を含む可能性が非常に高い区間（データのサンプルから推測できるものが与えられる）がしばしば必要なものです。

私にとって重要な問題は、質問が出されたとき、その質問に直接答えることが最善であるということです。ベイジアンの信頼区間が頻繁な信頼区間よりも悪いかどうかは、実際に尋ねられた質問によって異なります。質問が次の場合：

（a）「統計の真の値が確率pである区間を与えてください」とすると、頻繁にその質問に直接答えることができないように見えます（そして、これはジェインが彼の論文で議論しているような問題をもたらします）ベイジアンは、ベインズの信頼できる区間が、ジェインズによって与えられた例の頻度の高い信頼区間よりも優れている理由です。しかし、これは、それが頻繁な人にとっての「間違った質問」だからです。

（b）「実験を何度も繰り返した場合、統計値の真の値がそのような間隔のp * 100％以内に収まるような間隔を与えてください」とすると、頻度の高い答えはまさにあなたが望むものです。ベイジアンは、この質問に直接答えることもできるかもしれません（ただし、それは単に明白な信頼できる区間ではないかもしれません）。質問に対するWhuberのコメントは、これが事実であることを示唆しています。

したがって、本質的には、質問を正しく指定し、答えを適切に解釈することです。質問する場合（a）はベイジアンの信頼できる間隔を使用し、質問する場合は（b）頻度の高い信頼区間を使用します。

これは、ラリーワッサーマンが執筆した本の「肉付けされた」例です。ページ216（12.8ベイジアン推論の強みと弱み）のすべての統計。私は基本的に、Wassermanが彼の本に書いていないことを提供します1）実際に何が起こっているかについての説明を、捨て線ではなく。2）Wassermanが都合よく与えない質問への頻繁な回答。3）同じ情報を使用して計算された同等の信頼度が同じ問題に苦しむことの実証。

この例では、彼は次の状況を述べています

1. サンプリング分布のある観測X：$(X|\theta)\sim N(\theta,1)$
2. 事前分布（彼は実際に分散に一般的なを使用していますが、彼の図表は特化しています）$(\theta)\sim N(0,1)$$\tau^2$$\tau^2=1$

次に、このセットアップでベイジアン95％の信頼できる間隔を使用すると、真の値が任意に大きくなると、最終的に0％の頻度のカバレッジになることを示します。たとえば、彼はカバレッジのグラフを提供し（p218）、目で確認します。真の値が3の場合、カバレッジは約35％です。彼はそれから言い続けます：$\theta$$\theta$

...これらすべてから何を結論づけるべきでしょうか？重要なことは、頻繁な手法とベイジアン手法が異なる質問に答えていることを理解することです。原則的な方法で事前の信念とデータを組み合わせるには、ベイジアン推論を使用します。信頼区間など、長期にわたるパフォーマンスが保証されたプロシージャを構築するには、頻度の高いメソッドを使用します...（p217）

そして、ベイジアン手法が明らかにそれほど良く機能しなかった理由の詳細や説明なしに進みます。さらに、彼は頻繁なアプローチからの答えではなく、単に「長期的」についての大まかな発言-古典的な政治戦術（あなたの強さ+他の弱さを強調しますが、同じように比較することはありません）。

前述のの問題を 頻度主義/正統語でどのように定式化できるかを示し、次に信頼区間を使用した結果がベイジアンのものとまったく同じ答えを与えることを示します。したがって、ベイジアンの欠陥（実際または知覚）は、信頼区間を使用して修正されません。$\tau=1$

さて、ここに行きます。私が尋ねる最初の質問は、前のによってどのような知識の状態が記述されているのか？について「無知」だった場合、これを表す適切な方法はです。ここで、私たちが無知であり、は無関係にを観察したと仮定します。事後はどうなりますか？$\theta\sim N(0,1)$$\theta$$p(\theta)\propto 1$$Y\sim N(\theta,1)$$X$$\theta$

$$p(\theta|Y)\propto p(\theta)p(Y|\theta)\propto exp\Big(-\frac{1}{2}(Y-\theta)^2\Big)$$

したがって、。これは、Wassermansの例で与えられた事前分布が、 iidコピーが等しいことを観察したことに等しいことを意味し。頻度の高いメソッドは事前分布を処理できませんが、サンプリング分布から2つの観測を行ったと考えることができます。1つはに、もう1つは等しいです。両方の問題は完全に同等であり、実際に質問に対して頻繁に回答することができます。$(\theta|Y)\sim N(Y,1)$$X$$0$$0$$X$

既知の分散を持つ正規分布を扱っているため、平均は信頼区間を構築するのに十分な統計です。平均は等しく、サンプリング分布を持ちます。$\theta$$\overline{x}=\frac{0+X}{2}=\frac{X}{2}$

$$(\overline{x}|\theta)\sim N(\theta,\frac{1}{2})$$

したがって、 CIは次のようになります。$(1-\alpha)\text{%}$

$$\frac{1}{2}X\pm Z_{\alpha/2}\frac{1}{\sqrt{2}}$$

しかし、Wassermanの例12.8の結果を使用すると、の事後信頼区間が次の式で与えられることを示しています。$(1-\alpha)\text{%}$$\theta$

$$cX\pm \sqrt{c}Z_{\alpha/2}$$ 。

ここで。このように、の値をプラグイン得られると信頼区間は次のようになります。$c=\frac{\tau^{2}}{1+\tau^{2}}$$\tau^{2}=1$$c=\frac{1}{2}$

$$\frac{1}{2}X\pm Z_{\alpha/2}\frac{1}{\sqrt{2}}$$

信頼区間とまったく同じです！したがって、ベイジアン法によって示されるカバレッジの欠陥は、頻度主義の信頼区間を使用して修正されません！【frequentist前を無視することを選択した場合、その後、公平な比較であると、ベイジアンもこの前を無視し、そして無知使用前べき、及び2つの間隔が依然として等しくなる-の両方 ]。X ± Z α / 2$p(\theta)\propto 1$$X \pm Z_{\alpha/2})$

ここで何が起こっているのでしょうか？問題は、基本的に正規サンプリング分布の非ロバスト性の1つです。これは、問題がすでにiidコピー監視していることに等しいためです。を観察した場合、真の値が（が0.000032のとき確率）の場合、これが発生する可能性は非常に低いです。これは、前の外れ値に含まれる暗黙の観測を効果的に行うため、大きな「真の値」に対してカバレッジがそれほど悪い理由を説明します。実際、この例は、算術平均に制限のない影響関数があることを示すことと基本的に同等であることを示すことができます。$X=0$θ = 4 X ≤ 0 θ = $0$$\theta=4$$X\leq 0$$\theta=4$

一般化。現在、一部の人々は「しかし、あなたはのみを考慮しました。これは特別なケースかもしれません」と言うかもしれません。これは正しくありません。値はすべて、 iidコピーを観察するものと解釈できます。、質問のに加えて。信頼区間は、大きなに対して同じ「悪い」カバレッジプロパティを持ちます。あなたが観測値を続ければしかし、これはますますにくくなる（および合理的な人は、大きな心配し続けないだろうあなたが見ておく時に）。τ 2 = $\tau=1$（N=0、1、2、3、...）NX0Xθ0θ$\tau^2=\frac{1}{N}$ $(N=0,1,2,3,\dots)$$N$$X$$0$$X$$\theta$$0$$\theta$$0$

キース・ウィンスタイン、

編集：明確にするために、この回答は、残酷な統計ゲームでの王に関するキース・ウィンスタインの回答で与えられた例を説明しています。ベイジアンとフリークエンティストの回答は両方とも同じ情報を使用します。これは、間隔を構築するときに、公正なコインと不公平なコインの数に関する情報を無視することです。この情報が無視されない場合、周波数専門家は、信頼区間を構築する際のサンプリング分布として統合ベータ二項尤度を使用する必要があります。この場合、クロッパーピアソン信頼区間は適切ではなく、変更する必要があります。ベイジアンソリューションでも同様の調整が必要です。

編集：クロッパーピアソン間隔の初期使用も明確にしました。

編集：悲しいかな、私のアルファは間違った方法であり、私のクロッパーピアソン間隔は間違っています。@whuberに謙虚に謝罪しました。彼はこれを正しく指摘しましたが、最初は反対し無視しました。

Clopper Pearsonメソッドを使用したCIは非常に優れています

観測値が1つだけの場合は、クロッパーピアソン間隔を分析的に評価できます。あなたが選択する必要があります（ヘッド）、「成功」として起動しますコインがあるとしするように、$\theta$

$$[Pr(Bi(1,\theta)\geq X)\geq\frac{\alpha}{2}] \cap [Pr(Bi(1,\theta)\leq X)\geq\frac{\alpha}{2}]$$

場合、これらの確率はおよびであるため、クロッパーピアソンCIは場合、（および自明に常に真）。場合、これらの確率はおよびであるため、クロッパーピアソンCIは、又は。したがって、95％CIの場合、ときにを取得し、$X=1$$Pr(Bi(1,\theta)\geq 1)=\theta$$Pr(Bi(1,\theta)\leq 1)=1$$\theta\geq\frac{\alpha}{2}$$1\geq\frac{\alpha}{2}$$X=1$$X=0$$Pr(Bi(1,\theta)\geq 0)=1$$Pr(Bi(1,\theta)\leq 0)=1-\theta$$1-\theta \geq\frac{\alpha}{2}$$\theta\leq 1-\frac{\alpha}{2}$$X=0$$[0.025,1]$$X=1$$[0,0.975]$場合。$X=0$

したがって、Clopper Pearson Confidence Intervalを使用するユーザーが斬首されることはありません。間隔を観察すると、それは基本的にパラメータ空間全体です。しかし、CP間隔は、おそらく95％の間隔に100％のカバレッジを与えることでこれを行っています！基本的に、フリークエンティストは、95％の信頼区間を与えるように求められたよりも多くのカバレッジを与えることで「ごまかし」ます（そのような状況でだまされない人はいますか？それが私なら、全体を与えます[0、 1]間隔）。王が正確な 95％CIを要求した場合、この頻繁な方法は実際に何が起こったとしても失敗します（おそらくもっと良い方法がありますか？）。

ベイジアン間隔はどうですか？（具体的には最高後部密度（HPD）ベイジアン間隔）

頭と尻尾の両方が現れることをアプリオリに知っているので、均一な事前確率は合理的な選択です。これにより、事後分布が得られます。さて、今やるべきことは、事後確率が95％の区間を作成することだけです。clopper pearson CIと同様に、Cummulative Beta分布もここで解析的であるため、そして 0.95にこれらの設定を与える及びとき。したがって、2つの信頼できる間隔は$(\theta|X)\sim Beta(1+X,2-X)$$Pr(\theta \geq \theta^{e} | x=1) = 1-(\theta^{e})^{2}$$Pr(\theta \leq \theta^{e} | x=0) = 1-(1-\theta^{e})^{2}$$\theta^{e}=\sqrt{0.05}\approx 0.224$$X=1$$\theta^{e}= 1-\sqrt{0.05}\approx 0.776$$X=0$$(0,0.776)$とき及び$X=0$$(0.224,1)$$X=1$

彼が悪いのコインを取得するときにこのようにベイズの場合は彼のHPDの信頼区間のために斬首されると悪いコインはチャンスで発生します尾まで来る。$\frac{1}{10^{12}+1}\times\frac{1}{10}\approx 0$

最初の観測では、ベイジアン間隔は信頼区間よりも小さくなっています。もう1つのことは、ベイジアンは、実際の報道に、95％頻繁に行くよりも近いということです。実際、ベイジアンは、この問題で得られるのとほぼ同じ95％のカバレッジに近いものです。キースの声明とは反対に、悪いコインが選択された場合、100のうち10のベイジアンは平均して頭を失います（すべてではありません。悪いコインは含まない間隔で頭を上げなければならないためです）。 $0.1$

興味深いことに、1つの観測のCP間隔が繰り返し使用されたため（それぞれ1つの観測に基づいてN個のそのような間隔があります）、真の割合がから間であれば、95％CIのカバレッジは常に100になります95％ではなく％！これは明らかにパラメーターの真の値に依存します！そのため、これは、信頼区間を繰り返し使用しても目的のレベルの信頼が得られない場合の少なくとも1つです。$0.025$$0.975$

真の 95％信頼区間を引用するには、定義により、パラメーターの真の値を含まない観測された区間のいくつかのケース（少なくとも1つ）が存在する必要があります。それ以外の場合、95％タグをどのように正当化できますか？90％、50％、20％、または0％の間隔と呼ぶのは、単なる有効または無効ではありませんか？

無料の制限なしに「実際には95％以上を意味する」と単純に述べるだけでは満足できるとは思えません。これは、明らかな数学的解決策はパラメーター空間全体であり、問​​題は簡単だからです。50％CIが必要だとしますか？偽陰性のみを制限する場合、パラメーター空間全体は、この基準のみを使用する有効なCIです。

おそらく、より良い基準は（そして、これがKiethの定義で暗黙的であると信じている）「可能な限り95％に近い、95％を下回らない」ことです。Bayesian Intervalのカバレッジは、フリークエンティストよりも95％近く（あまりではありませんが）、カバレッジが95％未満になることはありません（、および場合、カバレッジ）場合のカバレッジ。$\text{100%}$$X=0$$100\times\frac{10^{12}+\frac{9}{10}}{10^{12}+1}\text{%} > \text{95%}$$X=1$

最後に、不確実な間隔を要求し、不確かな真の値を使用してその間隔を評価することは少し奇妙に思えます。私にとって、信頼区間と信頼区間の両方の「より公平な」比較は、区間で与えられる不確実性の声明の真実のように思えます。

問題はあなたの文章から始まります：

誤った事前仮定に基づく例は、異なるアプローチの内部一貫性について何も述べていないため、受け入れられません。

ええ、あなたの前が正しいことをどのように知っていますか？

系統発生におけるベイジアン推論の場合を考えてみましょう。少なくとも1つの変化の確率は、次の式によって進化時間（枝の長さt）に関連しています

$$P=1-e^{-\frac{4}{3}ut}$$

uは置換率です。

次に、DNAシーケンスの比較に基づいて、進化のモデルを作成します。本質的には、DNAシーケンス間の変化の量を可能な限り近くモデリングしようとするツリーを推定しようとします。上記のPは、特定のブランチで少なくとも1回変更される可能性です。進化モデルは任意の2つのヌクレオチド間の変化の可能性を記述し、これらの進化モデルからpをパラメーターとして、またはtをパラメーターとして推定関数を導き出します。

賢明な知識がなく、pのフラットな事前を選択しました。これは本質的に、tの前に指数関数的に減少することを意味します。（tにフラットな事前分布を設定したい場合は、さらに問題になります。pの暗黙の事前分布は、tの範囲を切り取る場所に強く依存します。）

理論的には、tは無限にすることができますが、無限の範囲を許可すると、密度関数の下の領域も無限に等しくなるため、事前の切り捨て点を定義する必要があります。切り捨てポイントを十分に大きく選択した場合、信頼区間の両端が上昇することを証明することは難しくありません。特定の時点で、真値が信頼区間に含まれなくなります。事前について非常に良い考えを持っている場合を除き、ベイジアンメソッドは他のメソッドと同等または優れているとは限りません。

ref：Joseph Felsenstein：系統発生の推測、18章

補足として、私はそのベイジアン/フリークエンティスト論争にうんざりしています。これらは両方とも異なるフレームワークであり、絶対的な真実でもありません。プロのベイジアン手法の古典的な例は、常に確率計算に由来するものであり、1人の頻度論者がそれらに矛盾することはありません。ベイジアン法に対する古典的な議論は、常に事前の任意の選択を伴います。そして、賢明な事前決定は間違いなく可能です。

それはすべて、適切なタイミングでいずれかの方法を正しく使用することです。両方の方法が正しく適用された引数/比較はほとんど見ていません。あらゆる方法の仮定は非常に過小評価されており、あまりにも頻繁に無視されます。

編集：明確にするために、問題は、有益でない事前確率を使用する場合、ベイズフレームワークのpに基づく推定がtに基づく推定と異なるという事実にあります（多くの場合、唯一の可能な解決策です）。これは、系統発生推論のMLフレームワークには当てはまりません。これは間違った事前の問題ではなく、メソッドに固有のものです。

頻度の高い信頼区間は、誤検出率（タイプIエラー）の範囲を制限し、最悪の場合でも、その範囲が信頼パラメーターによって制限されることを保証しています。ベイズの信頼区間はそうではありません。

したがって、気にするものが偽陽性であり、それらを制限する必要がある場合、信頼区間が使用するアプローチです。

たとえば、100人の宮廷人とcourt婦の裁判所を持つ邪悪な王がいて、彼が彼らと残酷な統計ゲームをプレイしたいとしましょう。王には、1兆個の公正なコインの袋と、頭の確率が10％である1つの不公平なコインがあります。彼は次のゲームを実行します。最初に、彼はバッグからランダムに均一にコインを引きます。

その後、コインは100人の部屋に渡され、一人一人がプライベートに実験を行うことを余儀なくされ、各人はコインの頭の確率がどうなるかについて95％の不確実性の間隔を述べます。

偽陽性を表す間隔（つまり、ヘッド確率の真の値をカバーしない間隔）を与える人は誰でも斬首されます。

硬貨の重量の/ a事後分布/確率分布関数を表現したい場合、もちろん信頼区間がそれを行います。答えは、結果に関係なく、常に間隔[0.5、0.5]になります。頭をゼロまたは1つ反転しても、[0.5、0.5]と言います。なぜなら、王が公正なコインを引き、1/1024日で10頭連続していた可能性が非常に高いからです。 、それよりも王は不当なコインを引いた。

したがって、これは宮廷人や遊女が使用するのは良い考えではありません！不当なコインが引き出されると、部屋全体（100人全員）が間違ってしまい、全員が斬首されるためです。

最も重要なことは偽陽性であるこの世界では、どのコインが引き出されても、偽陽性の割合が5％未満になるという絶対的な保証が必要です。次に、Blyth-Still-CasellaやClopper-Pearsonなどの信頼区間を使用する必要があります。これは、最悪の場合でも、パラメーターの真の値に関係なく、少なくとも95％のカバレッジを提供します。誰もが代わりにこの方法を使用する場合、どのコインが引き出されても、一日の終わりには、間違った人の予想数が5人以下になることを保証できます。

重要なのは、基準が誤検知の境界を定める必要がある場合（または同等にカバレッジを保証する場合）、信頼区間を使用する必要があることです。それが彼らの仕事です。信頼性の間隔は、不確実性を表現するより直感的な方法である可能性があり、頻繁な分析から非常にうまく機能する可能性がありますが、それを求めたときに得られる誤検知の保証された範囲を提供するつもりはありません。

（もちろん、偽陰性も気にするなら、それらについても保証する方法が必要です...）

頻繁な信頼区間がベイジアンの信頼区間より明らかに優れている例があります（Jaynesによって暗黙的に行われた挑戦による）。

例は次のとおりです。真のはが、の事前分布は約集中しています。私は臨床試験の統計を行っており、が死亡のリスクを測定しているので、ベイジアンの結果は災害ですよね？もっと深刻なのは、ベイジアンの信頼できる区間とは何ですか？言い換えると、選択された優先順位は何ですか？おそらく、ジェインズは自動的に事前を選択する方法を提案しました、私にはわかりません！10 θ 1 $\theta$$10$$\theta$$1$$\theta$

ベルナルドは、科学的コミュニケーションの標準として使用される「参照事前」を提案しました[そして、「参照信頼区間」（ベルナルド-客観的信頼領域）さえ）。これが「ベイジアン」アプローチであると仮定すると、問題は次のとおりです。ある間隔が別の間隔よりも優れているのはいつですか。ベイズの間隔の頻度特性は常に最適ではありませんが、「その」頻度の間隔のベイズ特性でもありません
（ところで、「その」頻度の間隔とは何ですか？）