ベイジアンの信頼できる区間は、推定されたパラメーターを確率変数として扱いますか？

私は最近ウィキペディアの次の段落を読みました：

ベイジアン区間では、境界が固定され、推定パラメーターが確率変数として扱われます。一方、頻度主義信頼区間では、境界が確率変数として扱われ、パラメーターが固定値として扱われます。

しかし、これが本当かどうかはわかりません。信頼できる区間の私の解釈は、推定されたパラメーターの真の値についての私たち自身の不確実性をカプセル化したが、推定されたパラメーター自体はある種の「真の」値を持っていたというものでした。

これは、推定されたパラメーターが「ランダム変数」であると言うこととは少し異なります。私が間違っている？

バイナリ（2カム）プロセスの観測値がである状況を考えます。多くの場合、各試験で考えられる2つの結果は、成功と失敗と呼ばれます。$n = 20$

頻繁な信頼区間。試行で成功を観察するとします。成功数を確率変数ここで、成功確率は不明な定数です。Wald 95％頻出信頼区間は、推定値である基づいてい 通常の近似を使用すると、このCIはまたは の形式になり[ 95％CI のやや改善されたアグレスティクールスタイルは 0.526、0.890$x = 15$$n = 20$$X$$X \sim \mathsf{Binom}(n=20; p),$$p$$\hat p = 15/20 = 0.75,$$p.$$\hat p \pm 1.96\sqrt{\hat p(1-\hat p)/n}$$(0.560, 0.940).$$(0.526, 0.890).]$

一般的な解釈は、そのような間隔を生成する手順では、長期にわたってインスタンスの95％にの真の値を含む信頼限界の上限と下限が生成されるというものです。[Agresti-Coull間隔の利点は、そのような包含の長期的な比率がWald間隔よりも95％に近いことです。]$p$

ベイジアンの信頼できる区間。ベイジアンアプローチは、を確率変数として扱うことから始まります。データを確認する前に、実施されている種類の二項実験の経験がない場合、またはの分布に関する個人的な見解がない場合は、「均一」または「非情報」の均一分布を選択できます$p$$p,$$p \sim \mathsf{Unif}(0, 1) \equiv \mathsf{Beta}(1,1).$

次に、20回の二項試行で15回成功すると、事前分布と二項尤度関数の積として、の事後分布がわかります。$p$

$$f(p|x) \propto p^{1-1}(1-p)^{1-1} \times p^{15}(1-p)^{5} \propto p^{16-1}(1-p)^{6-1},$$ ここで、記号（ 'proportional to'を読み取る）は、含まない分布の「正規化」定数因子を省略していることを示します 規範因子がない場合、密度関数またはPMFは、分布の「カーネル」と呼ばれます。$\propto$$p.$

ここで、事後分布のカーネルは、分布のカーネルであることを認識しています次に、事後分布の各裾から2.5％をカットすることにより、95％のベイジアン事後区間または信頼できる区間が見つかります。これはRからの結果です： [ベータ版の配布については、ウィキペディアを参照してください。]$\mathsf{Beta}(16, 6).$$(0.528,0.887).$

qbeta(c(.025,.975), 16, 6)
[1] 0.5283402 0.8871906

以前の結果が妥当であると考え、20試行の2項式実験が適切に行われたと考える場合、理論的には、ベイジアンインターバル推定値が手元の実験に関する有用な情報を提供することを期待する必要があります。将来を実行します。

このベイジアンの信頼できる区間は、数値的にはアグレスティクール信頼区間に似ています。ただし、ご指摘のとおり、2つのタイプの区間推定（頻度主義者とベイジアン）の解釈は同じではありません。

有益な事前。データを見る前に、を信じる理由があった場合、以前の分布としてを選択した可能性があります。[この分布は平均2/3、標準偏差は0.35であり、その確率の約95％を区間]$p \approx 2/3,$$\mathsf{Beta}(8,4)$$(0.39, 0.89).$

qbeta(c(.025,.975), 8,4)
[1] 0.3902574 0.8907366

その場合、事前確率に尤度を乗算すると、の事後カーネルが得られる ため、95％のベイジアン信頼区間は 事後分布は、事前の情報と可能性の融合であり、おおまかに一致しているため、結果のベイジアン間隔の推定値は、フラットな事前分布からの間隔よりも短くなります。$\mathsf{Beta}(23,7),$$(0.603, 0.897).$

qbeta(c(.025,.975), 23,7)
[1] 0.6027531 0.8970164

注：（1）ベータ事前分布と二項尤度関数は「共役」です。つまり、計算なしで事後分布を見つけることができるように数学的に互換性があります。場合によっては、尤度と共役な事前分布がないように見えます。次に、事後分布を見つけるために数値積分を使用する必要がある場合があります。

（2）情報のない事前分布からのベイジアンの信頼できる区間は、基本的には尤度関数に依存します。また、頻度論的推論の多くは尤度関数に依存します。したがって、フラットな事前分布からのベイズの信頼できる区間が、同じ尤度に基づく頻度主義の信頼区間と数値的に類似している可能性があることは驚くべきことではありません。

あなたの解釈は正しいです。私の意見では、ウィキペディアの記事の特定の箇所は、不透明な技術言語による単純な概念を難読化しています。最初のパッセージはより明確です：「観測されていないパラメーター値が特定の主観的確率で収まる間隔です」。

「ランダム変数」という専門用語は、特にベイジアンの観点からすると、誤解を招く可能性があります。それはまだ伝統の外で使われています。シェーファーの魅力的な歴史研究を見てみましょう確率変数を呼び出すためにするとその起源についてを。ベイズの観点から見ると、「ランダム」は単に「不明」または「不確定」を意味し（何らかの理由で）、「変数」は「数量」または「値」の誤称です。たとえば、測定または実験からの光速に関する不確実性を評価しようとするとき、を「ランダム変数」と呼びます。しかし、それは明らかに「ランダム」ではなく（「ランダム」の意味は何ですか？）、「可変」でもありません。実際、それは定数です。これは、物理定数であり、正確な値は不明です。§16.4（およびその他の場所）を参照してください。$c$$c$このトピックの明るい議論のためのジェインズの本。

「「パラメータ」のベイジアン間隔はどういう意味ですか？」という質問 さらに重要な質問「このパラメータは何を意味するのか」から来ています。ベイズ理論における「パラメータ」の意味については、相互に排他的ではなく、主に2つの観点があります。どちらもde Finettiの定理を使用します。ベルナルド＆スミスのベイズ理論の第4章では、この定理について美しく深い議論があります。Dawidの要約交換可能性とその影響も参照してください。

ビューの最初の点は、パラメータとその分布は、単に数学的なオブジェクトであるということである完全に実際に観測可能量約ジョイント確率分布の無限集合要約（例えば、コイン投げの結果、または特定の疾患を有する個人における遺伝子対立遺伝子の存在）。したがって、二項式の場合、「パラメーター値が区間内にあるという95％の確信がある」と言うとき、「％と％の間の確信がある」、「％と％の間には、であるという信念があります。$x_1, x_2, \dotsc$$p$$I$$b_1$$b_1'$$x_1=1$$b_2$$b_2'$$x_1=1$$x_2=1$ "、およびすべての可能な類似のステートメントと間隔の間の正確な数値関係は、の積分公式によって与えられます。$b_i$$I$

2番目の視点は、そのような「パラメーター」は長期的に観察可能な量であるため、それらの値に対する私たちの信念について話すことは理にかなっています。たとえば、二項パラメーター$p$「成功」の観察の長期的な頻度です（コインの尾、遺伝子の場合のマイナーアレルなど）。したがって、「パラメータ値が$p$ 間隔内です $I$「私たちは、「成功の長期的な相対頻度は間隔内にあるという95％の信念を持っている $I$「ここでの文脈は、オラクルまたはジンが長期相対頻度がたとえば0.643であると私たちに言った場合、次の観測が成功であるという私たちの信念は、対称性の理由から、64.3％であるということです。次の2つの観測、41.3449％など（成功と失敗のすべての可能な時系列を等しく信じているため、「対称性の理由から」-これは定理のコンテキストです）。これらの長期観測は無限である必要はありません。しかし、十分に大きいだけです。この場合、de Finettiの無限交換可能式は、有限交換可能式の近似と見なすことができます（たとえば、二項分布は超幾何学的近似の近似です：「置換なしの描画」）; Diaconisを参照してください。＆フリードマンそのような近似について。多くの場合、そのようなパラメーターは長期統計に関連しています（Bernardo＆Smithで引用された章を再度参照してください）。要するに、「パラメータ」とは、長期的な頻度または他の観察可能な経験的統計です。

私は個人的に、物理量としてのパラメーターの経験的意味を見つけようとする2番目の視点が好きです。これは、特定のコンテキストで、特定の物理量に関する私のデータ前の信念分布を評価するのにも役立つためです。長期的なパラメーターと物理的原理との関係の美しい研究については、たとえば、Diaconis＆alの論文「コイントスにおける動的バイアス」を参照してください。今日、残念なことに、多くの「モデル」とパラメーターはブラックボックスと同じように提供されています。でDiaconisの言葉：

観測できないパラメータの範囲を導入する統計学者へのde Finettiの警告は、今日の大きなモデルの最新のカーブフィッティング演習で繰り返し正当化されてきました。これらは、基本的なメカニズムの観察と理解の代わりに、大規模なプログラムの詳細とフィッティングに注意を集中する科学的現実とのすべての接触を失うようです。

頻度論では、「ランダム変数」という用語は別の意味を持つ場合があります。私はこの理論の専門家ではないので、そこで定義しようとはしません。私は、頻度論的信頼区間とベイジアン区間がまったく異なる可能性があることを示している文献がいくつかあると思います。たとえば、信頼区間とベイジアン区間またはhttps://www.ncbi.nlm.nih.gov/pubmed/6830080を参照してください。

信頼できる区間の私の解釈は、推定されたパラメーターの真の値についての私たち自身の不確実性をカプセル化したが、推定されたパラメーター自体はある種の「真の」値を持っていたというものでした。これは、推定されたパラメーターが「ランダム変数」であると言うこととは少し異なります。私が間違っている？

信頼できる区間を私たち自身の不確実性をカプセル化するものとして解釈するとあなたは言っていますが、結論の論理は、真の値を持つ量は確率変数ではないという前提から始まります。これは、ランダム性を自然界に内在する特性として捉える確率（およびその後の「ランダム性」）の偶然の見方です。数学的には、確率変数は、サンプル空間で起こり得る結果に対応する量であり、確率測度が付加されています。したがって、あなたのアプローチは、その確率測定を自然の固有の特性として捉え、形而上学的に「ランダムな」イベントが発生する傾向を与える場合にのみ意味があります。次に、真の値を持つパラメータは形而上学的に「ランダム」であってはならない、と結論付けます。

このアプローチは、ベイズ理論で一般的に使用されている確率の認識論的解釈とは矛盾しています。後者のアプローチ（これは標準的な解釈です）では、確率測度は、アナリスト（またはその他の主題）の（特定の一貫性要件の下での）信頼度の測度としてのみ解釈されます。認識論的解釈の下では、「ランダム変数」は「未知の量」と同義であるため、パラメーターは真の値を持っていると言っても問題はありませんが、確率変数は（非縮退）確率変数のままです。あなたが見ている引用はこの認識論的アプローチを確率に使用していますが、あなたの結論はこの解釈と矛盾する前提を使用しているようです。