離散パラメーターにはどのMCMCアルゴリズム/手法が使用されますか？

連続パラメータ、特に勾配ベースのメソッドの適合についてはかなり知っていますが、離散パラメータの適合についてはあまり知りません。

離散パラメーターのフィッティングに一般的に使用されるMCMCアルゴリズム/手法は何ですか？かなり一般的でかなり強力なアルゴリズムはありますか？次元の呪いをうまく処理するアルゴリズムはありますか？たとえば、ハミルトニアンMCMCは一般的で強力で、拡張性が高いと言えます。

任意の離散分布からのサンプリングは、連続分布からのサンプリングよりも難しいように見えますが、私は最新技術が何であるか興味があります。

編集：JMSは私に詳細を要求しました。

特定のアプリケーションを考えているわけではありませんが、私が想像しているいくつかの種類のモデルは次のとおりです。

• いくつかの種類の連続回帰モデル間のモデル選択。個別の単一の「モデル」パラメーターがあります
• 各観測が「外れ値」になる可能性があり、はるかに分散した分布から引き出される連続モデル。これは混合モデルだと思います。

多くのモデルには、連続パラメーターと離散パラメーターの両方が含まれると予想されます。

簡単な答えはイエスです。メトロポリス・ヘイスティングスとその特別なケースのギブス・サンプリング:)一般的で強力です。スケーリングするかどうかは、目の前の問題に依存します。

任意の離散分布のサンプリングが、任意の連続分布よりも難しいと思う理由がわかりません。離散分布を計算でき、サンプルスペースが大きくない場合は、はるかに簡単です（おそらく連続分布が標準でない限り）。計算尤度各カテゴリについて、その後、正規確率取得する及び使用は（上で任意の順序を課すサンプリング逆変換） 。P （〜K = K ）= F （K ）/ Σ F （K ）$f(k)$$P(\tilde k = k) = f(k)/\sum f(k)$$k$

特定のモデルを念頭に置いていますか？混合モデルの近似には、MCMCのあらゆる種類のアプローチがあります。たとえば、潜在的なコンポーネントの割り当てが離散パラメーターである場合です。これらの範囲は、非常に単純（ギブス）から非常に複雑です。

パラメータ空間はどのくらいですか？それは潜在的に巨大ですか（例えば、混合モデルの場合、混合成分の数でNです）？共役性はもはや問題ではないため、ギブスサンプラー以外は必要ないかもしれません（正規化定数を直接取得して、完全な条件を計算できます）。実際、グリッドギブスは、これらの場合によく使用されていました。連続的な事前分布は、計算を容易にするために離散化されます。

連続的な場合よりも離散的なパラメータ空間を持つすべての問題に特定の「最良」があるとは思わない。しかし、興味のあるモデルについてもっと教えていただければ、おそらくいくつかの推奨事項を作成できます。

編集：OK、re：あなたの例でもう少し情報を提供できます。

ご想像のとおり、最初の例にはかなり長い歴史があります。最近のレビューは[1]にあります。[2]も参照してください。ここで詳細を説明します。関連する例は、確率的検索変数の選択です。最初の定式化は、ような絶対連続事前確率を使用することでした。実際には、ようなとて、ががます。 at0。両方とも元の配合に適合することに注意してください。MCMCのアプローチは通常、に（離散）モデルインジケーター（）を追加することで進められます。これはモデルインデックスと同等です。あなたが持っている場合$p(\beta)\sim \pi N(\beta; 0, \tau) + (1-\pi) N(\beta, 0, 1000\tau)$$p(\beta)\sim \pi \delta_0 (\beta) + (1-\pi) N(\beta, 0, \tau)$$\delta_0$$\beta$$Z$$Z_1\dots, Z_p$場合、明らかに可能な構成を数値に再マッピングできます。$2^p$$1:2^p$

それでは、MCMCをどのように改善できますか？これらのモデルの多くでは、合成によってからサンプリングできます。つまり、。このようなブロックの更新により、と相関関係がサンプラーと無関係になるため、ミキシングを大幅に改善できます。$p(Z, \beta|y)$$p(Z, \beta|y) = p(\beta | Y, Z)p(Z|Y)$$Z$$\beta$

SSVSは、モデル空間全体を1つの大きなモデルに埋め込みます。多くの場合、これは実装が簡単ですが、動作が不十分です。リバーシブルジャンプMCMCは、パラメーター空間の次元を明示的に変化させる異なる種類のアプローチです。レビューといくつかの実用的なメモについては、[3]を参照してください。さまざまなモデルでの実装に関する詳細なメモは、文献で見つけることができます。

多くの場合、完全なMCMCアプローチは実行不可能です。変数の線形回帰があり、SSVSのようなアプローチを使用しているとします。サンプラーが収束することを期待することはできません。これらすべてのモデル構成にアクセスするのに十分な時間も計算能力もありません。また、一部の変数が中程度に相関している場合は特にうんざりしています。この方法で変数の包含確率のようなものを推定しようとしている人々には特に懐疑的でなければなりません。そのような場合のために、MCMCと組み合わせて使用​​されるさまざまな確率的検索アルゴリズムが提案されています。1つの例はBAS [4]であり、別の例は[5]にあります（シルビアリチャードソンには他の関連する仕事もあります）。私が知っている他のほとんどは、特定のモデルを対象としています。$p=1000$

人気が高まっている別のアプローチは、モデルの平均結果を模倣する絶対的に連続的な収縮事前分布を使用することです。通常、これらは法線のスケール混合物として作成されます。ベイジアンなげなわは1つの例であり、これは通常のガンマ事前分布の特殊なケースであり、通常の指数ガンマ事前分布の限定的なケースです。他の選択肢には、馬蹄形と、その分散に関する反転ベータ事前分布を持つ正規分布の一般クラスが含まれます。これらの詳細については、[6]から始めて参照をさかのぼることをお勧めします（ここで複製するには多すぎます:)

機会があれば、外れ値モデルについては後で追加します。古典的なリファレンスは[7]です。それらは、収縮の事前確率に精神的に非常に似ています。通常、Gibbsサンプリングでは非常に簡単です。

おそらくあなたが望んでいたほど実用的ではありません。特にモデルの選択は難しい問題であり、モデルが複雑になるほど悪化します。可能な限りブロック更新は、私が持っている一般的なアドバイスの唯一の部分です。分布の混合からサンプリングすると、多くの場合、メンバーシップインジケーターとコンポーネントパラメーターの相関が高いという問題が発生します。また、ラベルスイッチングの問題（またはラベルスイッチングの欠如）についても触れていません。そこにはかなりの文献がありますが、私の操舵室からは少し外れています。

とにかく、ここでいくつかの参考文献から始めて、他の人が似たような問題に近づいているさまざまな方法を感じ取るのに役立つと思います。

[1] Merlise ClydeとEI George。モデル不確実性統計科学19（2004）：81--94。 http://www.isds.duke.edu/~clyde/papers/statsci.pdf

[2] http://www-personal.umich.edu/~bnyhan/montgomery-nyhan-bma.pdf

[3] Green＆HastieリバーシブルジャンプMCMC（2009） http://www.stats.bris.ac.uk/~mapjg/papers/rjmcmc_20090613.pdf

[4] http://www.stat.duke.edu/~clyde/BAS/

[5] http://ba.stat.cmu.edu/journal/2010/vol05/issue03/bottolo.pdf

[6] http://www.uv.es/bernardo/Polson.pdf

[7] Mike West Outlierモデルとベイジアン線形回帰の事前分布（1984）JRSS-B