冗長な平均パラメータ化によりGibbs MCMCが高速化されるのはなぜですか？

Gelman＆Hill（2007）の本（Regression and Multilevel / Hierarchical Modelsを使用したデータ分析）で、著者は、冗長な平均パラメーターを含めることでMCMCを高速化できると主張しています。

与えられた例は、「フライトシミュレーター」（式13.9）のネストされていないモデルです。

\begin{aligned} y_{i} & \sim N (μ + γ_{j [i]} + δ_{k [i]}, σ_{y}^{2}) \\ γ_{j} & \sim N (0, σ_{γ}^{2}) \\ δ_{k} & \sim N (0, σ_{δ}^{2}) \end{aligned}

$\begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align}$

彼らは平均パラメータを追加し、再パラメータ化を推奨および次のように： $\mu_\gamma$ $\mu_\delta$

\begin{aligned} γ_{j} \sim N (μ_{γ}, σ_{γ}^{2}) \\ δ_{k} \sim N (μ_{δ}, σ_{δ}^{2}) \end{aligned}

$\begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align}$

提供される唯一の正当化はそれです（p。420）：

シミュレーションは、ベクトル（または）全体がゼロから遠くなるような構成でスタックする可能性があります（平均0の分布が割り当てられている場合でも）。最終的に、シミュレーションは正しい分布に収束しますが、待つ必要はありません。 $\gamma$ $\delta$

冗長な平均パラメータはこの問題にどのように役立ちますか？

ネストされていないモデルは、主にとが負に相関しているため、遅いように思えます。（実際、一方が上がると、もう一方は下がる必要があります。合計がデータによって「固定」されるためです）。冗長な平均パラメーターは、と間の相関を減らすのに役立ちますか？ $\gamma$ $\delta$ $\gamma$ $\delta$

mcmc hierarchical-bayesian gibbs

— ハイゼンベルク
ソース

この特定の問題に関する直観的な洞察を探していますか（例：相関関係

または相関関係

および

）、または一般的な問題に関する直観的な洞察を探していますか（すなわち、階層の概念センタリング）？後者の場合、証拠に近い直観や、より緩やかであり、どのように機能するかを示す直観を望みますか？

γ

$\gamma$

δ

$\delta$

γ

$\gamma$

μ

$\mu$

δ

$\delta$

μ

$\mu$

— セクストスエンピリカス

一般的な階層型センタリングの概念に関する直感的な洞察が欲しい（質問の特定のケースは階層型センタリングのアプリケーションであるため）。私が洞察したい重要なポイントは、グループレベルでの分散が全体の分散のかなりの部分である場合、なぜ階層的センタリングが機能するのかということです。Gelfandらによる論文。これを数学的に証明します（つまり、相関を導き出し、その制限的な動作を見つけます）が、直感的な説明はありません。

— ハイゼンベルク

$\mu$ $\gamma_j$ $\delta_k$

$\gamma_j$ $\delta_k$ $\mu$

非常に明確な説明については、セクション25.1 「階層型センタリングとは」を参照してください。（無料で入手可能な）本「 William J. Browne等による「MCMC推定MLwiN」」。 http://www.bristol.ac.uk/cmm/software/mlwin/download/manuals.html

— セクストゥス・エンピリカス
ソース

「MCMC推定MlwiN」のセクション25.1では、この「階層的センタリング」手法について説明していますが、機能していると主張する以上の詳細は説明していません。その参照を介して掘り、私は、この手法の実際の証拠が物品に提示されることを見出し、通常の線形混合モデルの効率的parametrizations Biometrika巻82号3. Gelfand他、によって、

— ハイゼンベルグ

上記の記事では、説明なしで正規分布のプロパティを使用しています。ケビン・マーフィーによるガウス分布の共役ベイズ分析で、これらの特性の証明を見つけました。

— ハイゼンベルク

残念ながら、この手法が機能する理由の直感的な説明はまだ見ていません。

— ハイゼンベルク

遅くなりましたが、このペーパーはあなたが探しているものかもしれないと思う

— -baruuum