ベイズの事前分布と事後分布の理解を助けてください

学生のグループでは、18人のうち2人が左利きです。情報価値のない事前分布を仮定して、人口の左利きの学生の事後分布を見つけます。結果を要約します。文献によると、5-20％の人が左利きです。事前にこの情報を考慮し、新しい事後を計算します。

私が知っているベータ分布は、ここで使用する必要があります。まず、$\alpha$と$\beta$値を1にして？事後の資料で見つけた方程式は

$Y=2$、$N=18$

なぜその$r$は方程式にあるのですか？（$r$は左利きの人々の割合を示します）。不明ですが、この方程式にはどのように当てはまりますか？私には計算にばかげ$r$与えられた$Y$、その使用$r$与える式で$r$。さて、サンプルと$r=2/18$の結果であった$0,0019$。$f$私がそれから推測する必要がありますか？

期待値を与える式$R$知られて与えられた$Y$と$N$、より良い仕事をしてくれました$0,15$権利について鳴ります。方程式は、値はおよび割り当てられます。事前情報を考慮するために、とにどの値を指定する必要がありますか？$E(r | X, N, α, β) = (α + X)/(α + β + N)$$1$$α$$β$$α$$β$

いくつかのヒントをいただければ幸いです。事前分布と事後分布に関する一般的な講義も害になりません（私はそれらが何であるかを曖昧に理解していますが、曖昧です）高度な数学はおそらく私の頭の上を飛ぶでしょう。

まず、共役事前分布とは何かを説明します。次に、特定の例を使用してベイジアン分析について説明します。ベイジアン統計には、次の手順が含まれます。

1. パラメーターに関する主観的な信念を組み込んだ事前分布を定義します（この例では、関心のあるパラメーターは左利きの割合です）。事前情報は、「情報量の少ない」または「情報量の多い」ことができます（ただし、情報のない事前情報はありません。こちらの説明を参照してください）。
2. データを集めます。
3. ベイズの定理を使用して事前分布をデータで更新し、事後分布を取得します。事後分布は、データを見た後のパラメーターに関する更新された信念を表す確率分布です。
4. 事後分布を分析し、それを要約します（平均、中央値、SD、分位数、...）。

すべてのベイジアン統計の基礎はベイズの定理です。

あなたの場合、尤度は二項です。事前分布と事後分布が同じファミリーに属する場合、事前分布と事後分布は共役分布と呼ばれます。事後分布もベータ分布なので、ベータ分布は事前共役です。ベータ分布は、二項尤度の共役族であると言います。共役解析は便利ですが、実際の問題ではめったに起こりません。ほとんどの場合、事後分布はMCMCを介して数値的に検出する必要があります（Stan、WinBUGS、OpenBUGS、JAGS、PyMCまたはその他のプログラムを使用）。

事前確率分布が1に統合されない場合、それは不適切な事前分布と呼ばれ、1に統合される場合、適切な事前分布と呼ばれます。ほとんどの場合、不適切な事前分布はベイジアン分析にとって大きな問題にはなりません。ただし、事後分布は適切でなければなりません。つまり、事後分布は 1に統合する必要があります。

これらの経験則は、ベイジアン解析手順の性質に直接従っています。

• 事前情報が有益でない場合、事後はデータによって非常に決定されます（事後はデータ駆動型です）
• 事前情報が有益な場合、事後情報は事前情報とデータの混合です
• 情報量が多いほど、信念を「変更」するために必要なデータが多くなります。つまり、事後は前の情報によって大きく左右されるためです。
• 大量のデータがある場合、データが事後分布を支配します（前のものを圧倒します）

この投稿では、ベータ分布の可能性のある「情報」および「情報なし」事前分布の優れた概要を見つけることができます。

前のベータがであるとします。ここで、は左利きの割合です。事前パラメーターおよびを指定するには、ベータ分布の平均と分散を知ることが役立ちます（たとえば、事前に特定の平均と分散を持たせる場合）。平均はです。したがって、場合、平均はです。ベータ分布の分散はです。さて、便利なのはと考えることができることです$\mathrm{Beta}(\pi_{LH}| \alpha, \beta)$$\pi_{LH}$$\alpha$$\beta$$\bar{\pi}_{LH}=\alpha/(\alpha + \beta)$$\alpha =\beta$$0.5$$\frac{\alpha\beta}{(\alpha + \beta)^{2}(\alpha + \beta + 1)}$$\alpha$$\beta$以前に観測された（擬似）データ、つまり、サイズ（擬似）サンプルからの左利きおよび右。分布が均一である（すべての値等しく可能性あり）とうち2人を観察したのと同じですそのうちの1つは左利きで、もう1つは右利きです。$\alpha$$\beta$$n_{eq}=\alpha + \beta$$\mathrm{Beta}(\pi_{LH} |\alpha=1, \beta=1)$$\pi_{LH}$

事後ベータ分布は、単にここで、はサンプルのサイズで、はサンプルの左利きの数です。事後平均ことである。したがって、事後ベータ分布のパラメーターを見つけるには、の左利きを、右利きを追加するだけです。事後分散は$\mathrm{Beta}(z + \alpha, N - z +\beta)$$N$$z$$\pi_{LH}$$(z + \alpha)/(N + \alpha + \beta)$$z$$\alpha$$N-z$$\beta$$\frac{(z+\alpha)(N-z+\beta)}{(N+\alpha+\beta)^{2}(N + \alpha + \beta + 1)}$。情報量の多い事前分布は、事後分布の分散が小さくなることにも注意してください（下のグラフは、この点をうまく示しています）。

あなたの場合、とあり、あなたの事前分布は情報量の少ないユニフォームなので、です。したがって、事後分布はです。事後平均はです。これは、事前確率、データの尤度、および事後確率を示すグラフです$z=2$$N=18$$\alpha = \beta = 1$$Beta(3, 17)$$\bar{\pi}_{LH}=3/(3+17)=0.15$

以前の分布は情報に乏しいため、事後分布は完全にデータに基づいていることがわかります。また、事後分布の最高密度間隔（HDI）もプロットされています。後部の分布を2D盆地に置き、分布の95％が喫水線より上になるまで水を満たし始めると想像してください。ウォーターラインが事後分布と交差するポイントは、95％-HDIを構成します。HDI内のすべてのポイントは、HDIの外部のどのポイントよりも高い確率を持っています。また、HDIには常に事後分布のピーク（つまりモード）が含まれます。HDIは、後部の各尾から2.5％が除外されている、等しい尾の95％信頼区間とは異なります（こちらを参照）。

2番目のタスクでは、人口の5〜20％が左利きであるという情報を組み込むように求められます。それにはいくつかの方法があります。最も簡単な方法は、前のベータ分布の平均がと平均であるあると言うことです。しかし、前のベータ分布のおよびを選択する方法は？最初に、同等のサンプルサイズ擬似サンプルから、事前分布の平均をしたい。より一般的には、事前に擬似サンプルサイズ平均が必要な場合、対応する$0.125$$0.05$$0.2$$\alpha$$\beta$$0.125$$n_{eq}$$m$$n_{eq}$$\alpha$および値は、およびです。あとは、擬似サンプルサイズを選択するだけですこれにより、以前の情報に対する自信度が決まります。以前の情報について非常に確信しており、設定したとしましょう。事前分布のパラメーターは、および 1-0.125です。事後分布はであり、平均は約これは、前の平均と実質的に同じです。$\beta$$\alpha = mn_{eq}$$\beta = (1-m)n_{eq}$$n_{eq}$$n_{eq}=1000$$\alpha = 0.125\cdot 1000 = 125$$\beta = (1 - 0.125)\cdot 1000 = 875$$\mathrm{Beta}(127, 891)$$0.125$$0.125$。事前情報が事後を支配しています（次のグラフを参照）。

以前の情報について確信が持てない場合は、疑似サンプルのをたとえばに設定すると、以前のベータ分布に対しておよびられます。事後分布はであり、平均は約です。データが事前平均を圧倒するため、事後平均はデータの平均（）に近くなりました。状況を示すグラフは次のとおりです。$n_{eq}$$10$$\alpha=1.25$$\beta=8.75$$\mathrm{Beta}(3.25, 24.75)$$0.116$$0.111$

事前情報を組み込むより高度な方法は、事前ベータ分布の分位が約で、分位が約です。これは、人口の左利きの割合が5％から20％の間であることを95％確信しているということと同じです。Rパッケージの関数は、そのような変位値に対応するベータ分布の対応するおよび値を計算します。コードは$0.025$$0.05$$0.975$$0.2$beta.selectLearnBayes$\alpha$$\beta$

library(LearnBayes)

quantile1=list(p=.025, x=0.05)     # the 2.5% quantile should be 0.05
quantile2=list(p=.975, x=0.2)      # the 97.5% quantile should be 0.2
beta.select(quantile1, quantile2)

[1]  7.61 59.13

偶然に持つベータ分布と思われると所望の特性を持っています。以前の平均はで、データの平均（）に近い値です。繰り返しますが、この事前分布には、約同等のサンプルサイズの擬似サンプルの情報が組み込まれています。事後分布はであり、平均はこれは、非常に有益なを使用した以前の分析の平均と同等です。対応するグラフは次のとおりです。$\alpha = 7.61$$\beta=59.13$$7.61/(7.61 + 59.13)\approx 0.114$$0.111$$n_{eq}\approx 7.61+59.13 \approx 66.74$$\mathrm{Beta}(9.61, 75.13)$$0.113$$\mathrm{Beta}(125, 875)$

ベイジアンの推論と単純な分析の短いが、私見の良い概要については、このリファレンスも参照してください。共役解析、特に二項データの詳細な紹介は、ここにあります。ベイジアン思考への一般的な紹介はここで見つけることができます。ベイジアン統計の側面に関するその他のスライドはこちらです。

ベータ分布 = 1、 = 1は、均一な分布と同じです。したがって、実際には均一です。分布のパラメーターに関する情報を検索しようとしています（この場合、グループ内の左利きの人々の割合）。ベイズの公式の状態：$\alpha$$\beta$

$P(r|Y_{1,...,n})$ =$\frac{P(Y_{1,...,n}|r)*P(r)}{\int P(Y_{1,...,n}|\theta)*P(r)}$

あなたが指摘したことは次のことに比例します：

α （Y 1 、。。。、N | R ）* P （R $P(r|Y_{1,...,n})$ $\propto$ $(Y_{1,...,n}|r)*P(r)$

したがって、基本的には、グループ内の左利きの割合の事前の信念から始め（P（r）、均一な距離を使用しています）、次に、事前に通知するために収集するデータを考慮します（二項式この場合、右利きまたは左利きのどちらかなので、）。二項分布には事前にベータ共役があるため、事後分布P （R | Y 1 、。。。、N）$P(Y_{1,...,n}|r)$$P(r|Y_{1,...n})$、データを考慮した後のパラメーターの分布は、以前と同じファミリーにあります。ここのrは、最終的には不明です。（そして率直に言って、データを収集する前ではありませんでした。社会における左利きの割合についてかなり良い考えを持っています。）事前分布（rの仮定）とデータを収集しました。そして2つを一緒に置きます。事後は、データを考慮した後の左利きの分布の新しい仮定です。そのため、データの尤度を取得し、それにユニフォームを掛けます。ベータ分布の期待値（ポスター）は、です。そのため、開始時に、 = 1および仮定 αβ$\frac{\alpha}{\alpha+\beta}$$\alpha$$\beta$= 1は、世界の左利きの割合がでした。これで、18個のうち2個の左利きのデータを収集できました。事後を計算しました。（まだベータ版）と値が異なるため、左利き対右利きの割合の考え方が変わります。どう変わった？$\frac{1}{2}$$\alpha$$\beta$

質問の最初の部分では、「r」の適切な事前分布を定義するように求められます。二項データを手に入れたら、ベータ分布を選択するのが賢明でしょう。後部はベータになるからです。均一分布はベータの特別なケースであり、「r」の前に均一分布を選択して、「r」のすべての可能な値が等しくなるようにすることができます。

2番目の部分では、事前配布「r」に関する情報を提供しました。

これを手にすると、@ COOLSerdashの答えが適切な指示を与えてくれます。

この質問とCOOLSerdashを投稿していただき、ありがとうございます。