階層ロジスティック回帰のベルヌーイパラメーターにベータ分布を使用する理由

現在、クルシュケの優れた「Doing Bayesian Data Analysis」本を読んでいます。ただし、階層ロジスティック回帰の章（第20章）はやや混乱を招きます。

図20.2は、ベルヌーイパラメーターがシグモイド関数で変換された係数の線形関数として定義されている階層ロジスティック回帰を示しています。これは、他のオンラインソースでも見たほとんどの例で、階層ロジスティック回帰が行われる方法のようです。たとえば、http：//polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

ただし、予測子が名義の場合、階層にレイヤーを追加します。ベルヌーイパラメーターは、muおよびkappaによって決定されるパラメーターを持つベータ分布（図20.5）から描画されます。ここで、muは係数の線形関数のS字変換です、およびkappaはガンマ事前分布を使用します。

これは合理的で、第9章のコインフリッピングの例に似ていますが、名目予測子がベータ分布の追加とどう関係するのかわかりません。メトリック予測変数の場合にこれを行わないのはなぜですか。また、公称予測変数にベータ分布が追加されたのはなぜですか

編集：私が言及しているモデルの明確化。まず、メトリック予測子を使用したロジスティック回帰モデル（ベータ事前なし）。これは、上記のバグの例など、階層ロジスティック回帰の他の例に似ています。

y_{i} \sim Bernoulli (μ_{i}) μ_{i} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (M_{β}, T_{β})

$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\$

次に、名目上の予測子を使用した例。ここで、階層の「下位」レベルの役割（ロジスティックな結果を2項式の前にベータに組み込む）の役割と、メトリックの例とは異なる理由をよく理解できません。

z_{i} \sim Bin (θ_{i}, N) θ_{i} \sim Beta (a_{j}, b_{j}) a_{j} = μ_{j} κ b_{j} = (1 - μ_{j}) κ κ \sim Γ (S_{κ}, R_{κ}) μ_{j} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (0, τ_{β}) τ_{β} = 1 / σ_{β}^{2} σ_{β}^{2} \sim folded t (T_{t}, D F)

$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$

— user4733
ソース

回答:

比較する2つのモデルには多くの無関係な機能があり、次の2つの単純化されたモデルのコンテキストで質問をより明確に説明できると思います。

モデル1：

\begin{aligned} y_{私} | μ_{私} & 〜 ベルン （ μ_{私} ） \\ μ_{私} & 〜 π （ μ_{私} ） \end{aligned}

$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$

モデル2：

\begin{aligned} y_{私} | θ_{私} & 〜 ベルン （ θ_{私} ） \\ θ_{私} | μ_{私} 、 κ & 〜 ベータ （ μ_{私} κ 、 （ 1 - μ_{私} ） κ ） \\ μ_{私} & 〜 π （ μ_{私} ） \end{aligned}

$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$

あなたの質問は次のとおりです。（1）ベータ版配布が果たす役割。（2）モデル2とモデル1の違いは（あるとしても）どうですか？

$\mu_i$ $\mu_i$

\begin{matrix} p (μ_{i} | y_{i}) \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{matrix}

$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$ whereas the marginal posterior distribution of

μ_{i}

$\mu_i$ in Model 2 is:

\begin{aligned} p (μ_{i} | y_{i}, κ) & \propto \int_{0}^{1} \frac{θ_{i}^{y_{i} + μ_{i} κ - 1} (1 - θ_{i})^{κ (1 - μ_{i}) - y_{i}}}{B (κ μ_{i}, κ (1 - μ_{i}))} d θ π (μ_{i}) \\ \propto \frac{B (y_{i} + μ_{i} κ, 1 - y_{i} + κ (1 - μ_{i})) π (μ_{i})}{B (κ μ_{i}, κ (1 - μ_{i}))} \\ \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{aligned}

$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$

したがって、モデル2を使用することで得られる利点は計算上のものです。以下の追加など、階層モデルのオーバーパラメーター化 $\theta_i$ モデル2では、サンプリング手順の効率を改善できる場合があります。たとえば、パラメーターのグループ間に条件付き共役関係を導入する（Jack Tannerの回答を参照）か、目的のパラメーター間の相関を壊す（google "Parameter Expansion"）。

— jmtroos
ソース

ベータ分布からベルヌーイパラメーターを描画する理由は、ベータが二項に共役であることです。共役事前分布を使用する後方を発見するために閉じた形の解を可能にします。

編集：明確化。どちらのモデルでも機能します。MCMCを使用しても、一般的なサンプラーよりも効率的なさまざまな種類の分布に特化したサンプラーを使用できるため、事前確率を共役にすることが有用です。たとえば、JAGSユーザーマニュアルを参照してください。4.1.1およびsec 4.2。

— ジャック・タナー
ソース

私の質問の本には十分な文脈がないかもしれませんが、これらの分析はギブスのサンプリングで実行されるため、事後の閉じた形の表現は必要ありません。リンクした例では、ベルヌーイパラメーターはベータ分布として固定されていませんが、係数が正規分布している線形予測子のシグモイド変換から発生します。これは、（ベルヌーイパラメータが正規分布係数を有する線形関数のちょうどシグモイド変換である）Kruschkeは同様章に（メトリック予測子で）前の例を提示する方法もある

— user4733

@ user4733 Jack Tannerは、ベルヌーイサンプルの前にベータが共役であることについて正しいです。選ばれたのは偶然以上のようです。はい、Gibbsサンプリングを行って事後分布を取得している可能性がありますが、階層モデルには複数の事前分布が含まれており、ハイパーパラメーター（事前分布のファミリーのパラメーター）に事前分布を設定している可能性があります前に前にあなたはその意味で、共役前を使用すると便利かもしれれる場合は、本のあなたの説明の一部は、私たちに混乱している。。。

— マイケルR. Chernick

何が起こっているのかを理解する能力にギャップを生じさせる小さな抜粋を取っています。（少なくとも私にとって）私たちが手助けするためには、モデルと事前分布の階層をよりよく記述する必要があります>

— マイケルR.チャーニック

参照している階層モデルにいくつかの説明を追加しました。うまくいけばそれが役立つ。

— user4733