ジェフリーズとは異なり、不変ではない事後確率につながる事前確率の例

ここで2週間ほど前に出した質問への「回答」を再投稿しています。なぜジェフリーズの事前知識が役に立つのですか？しかし、それは本当に質問でした（また、私はその時点でコメントを投稿する権利もありませんでした）。

上記のリンクでは、Jeffreysの以前の興味深い特徴は、モデルを再パラメータ化するときに、結果の事後分布が、変換によって課せられる制限に従う事後確率を与えるということです。そこに説明されているように、ベータベルヌーイの例の成功確率からオッズに移動するとき、事後が。$\theta$$\psi=\theta/(1-\theta)$$P(1/3\leq\theta\leq 2/3\mid X=x)=P(1/2\leq\psi\leq 2\mid X=x)$

をオッズに変換するためのジェフリーズの不変性の数値例を作成し、さらに興味深いことに、他の事前分布（たとえば、Haldane、ユニフォーム、または任意のもの）がないことを作成したいと考えました。$\theta$$\psi$

さて、成功確率の事後がベータである場合（ジェフリーズだけでなく任意のベータ事前の場合）、オッズの事後は同じパラメーターで第2種のベータ分布（Wikipediaを参照）に従います。次に、以下の数値例で強調されているように、Jeffreysだけでなく、ベータ事前の選択（alpha0_Uおよびで遊んでくださいbeta0_U）に不変性があることは（少なくとも私にとって）それほど驚くことではありません。プログラムの出力。

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

これにより、次の質問が表示されます。

1. 間違えますか？
2. いいえの場合、共役家族に不変性が不足していない、またはそのような何かのような結果がありますか？（クイックインスペクションを行うと、たとえば、通常の正常なケースでは不変性の欠如も生じないのではないかと疑うことになります。）
3. 不変性が欠如している（できれば単純な）例を知っていますか？

あなたの計算は、特定の事前分布とき、次の2つの手順を検証しているようです$p(\theta)$

1. 事後計算します$p_{\theta \mid D}(\theta \mid D)$
2. 前述の事後を他のパラメーター化に変換して、を取得します$p_{\psi \mid D}(\psi \mid D)$

そして

1. 前のを他のパラメーター化に変換して、を取得します$p_\theta(\theta)$$p_\psi(\psi)$
2. 前のを使用して、事後計算します$p_\psi(\psi)$$p_{\psi \mid D}(\psi \mid D)$

に対して同じ事後を導きます。これは実際に常に発生します（警告。上の分布が上の分布によって決定されるような変換である限り）。$\psi$$\psi$$\theta$

ただし、これは問題の不変性のポイントではありません。代わりに、問題は、事前決定の特定の方法があるときに、次の2つの手順を実行するかどうかです。

1. を決定するには、事前決定方法を使用します$p_\theta(\theta)$
2. その分布を変換します$p_\psi(\psi)$

そして

1. 事前決定方法を使用してを決定します$p_\psi(\psi)$

事前分布は同じになります。それらが同じ事前分布になった場合、それらは実際に同じ事後にもなります（いくつかのケースで確認したように）。$\psi$

@NeilGの答えで述べたように、事前決定の方法が「パラメータの均一な事前設定」である場合、確率/オッズの場合、 over均一な事前と同じ事前確率は得られません。は超えるに対して一様ではありません。$\theta$$[0,1]$$\psi$$[0,\infty)$

代わりに、事前決定の方法が「パラメータにジェフリーの優先順位を使用する」である場合、それをに使用して -parametrizationに変換するか、直接使用するかは関係ありません。これが主張された不変性です。ψ $\theta$$\psi$$\psi$

データによって引き起こされる可能性がパラメータ化の影響を受けないことを検証しているように見えますが、これは事前とは関係ありません。

優先順位を選択する方法が「均一な優先順位を選択する」などの場合、1つのパラメーター化（たとえばBeta、つまりBeta（1,1））で均一なものは、別のパラメーター、たとえばBetaPrime（1,1 ）（歪んでいます）— BetaPrime（1、-1）は、そのようなものが存在する場合、均一です。

ジェフリーズ事前分布は、再パラメータ化の下で不変である唯一の「事前分布を選択する方法」です。そのため、他の事前優先順位を選択する方法よりも仮定的ではありません。