誰かがNUTSを英語で説明できますか?


17

アルゴリズムの私の理解は次のとおりです。

Uターンサンプラー(NUTS)は、ハミルトニアンモンテカルロ法ではありません。これは、それがマルコフ連鎖法ではないことを意味します。したがって、このアルゴリズムはランダムウォーク部分を回避します。

ランダムウォークを行う代わりに、NUTSは長さxのジャンプを行います。アルゴリズムの実行を続けると、各ジャンプは2倍になります。これは、軌道が開始点に戻りたいポイントに到達するまで発生します。

私の質問:Uターンの特別なところは何ですか?軌跡を2倍にすると、最適化されたポイントがスキップされないのはどうしてですか?上記の説明は正しいですか?


私はこの投稿を発見し、図解されたシミュレーションは概念の説明に本当に違いをもたらします。
ケール

回答:


13

Uターンなしビットは、提案が生成される方法です。HMCは仮想の物理システムを生成します。特定の運動エネルギーを持つボールが、サンプリングしたい後部によって定義された谷と丘のある風景(2次元以上で類推が壊れる)の周りを転がります。新しいMCMCサンプルを取得するたびに、運動エネルギーをランダムに選択し、現在地からボールを​​転がし始めます。離散時間ステップでシミュレートし、パラメーター空間を適切に探索するために、1つの方向のステップと他の方向の2倍のステップをシミュレートし、再び向きを変えますなど。ある時点でこれを止めて良い方法です。それを行うのは、Uターンを行ったときです(つまり、あちこちに行ったように見えます)。

この時点で、マルコフ連鎖の提案された次のステップは、訪問したポイントから(特定の制限付きで)選択されます。つまり、仮想物理システムのシミュレーション全体が提案を取得するための「単なる」ものであり、その提案が受け入れられるか(次のMCMCサンプルが提案されたポイントです)、拒否されます(次のMCMCサンプルが開始ポイントです)。

それについての賢いことは、提案が後部の形状に基づいて行われ、分布の反対側にあるということです。対照的に、Metropolis-Hastingsは(おそらく歪んだ)ボール内で提案を行いますが、ギブスのサンプリングは一度に1つの(または少なくとも非常に少ない)次元に沿ってのみ移動します。


あちこちに行ってしまったように見える」というコメントを展開してください。
ガブリエル

1
NUTSが完全に向きを変えたかどうかによって判断しようとする分布をカバーしていることを示す何らかの意味を持つこと。その場合は、MCMCの1つのステップで後部の任意の部分に移動できることを願っています。もちろん、この条件は、後部全体を探索したことを本当に保証するものではなく、むしろその「現在の部分」を探索したことを示しています(マルチモーダル分布がある場合は、すべての部分に到達するのに苦労するかもしれません)分布の)。
ビョルン

6

HMCはマルコフ連鎖法ではないというのは間違っています。ウィキペディアごと:

数学と物理学では、ハミルトニアンモンテカルロとも呼ばれるハイブリッドモンテカルロアルゴリズムは、直接サンプリングが困難な確率分布からランダムサンプルのシーケンスを取得するマルコフ連鎖モンテカルロ法です。このシーケンスは、分布を近似する(つまり、ヒストグラムを生成する)ため、または積分(期待値など)を計算するために使用できます。

より明確にするために、NUTS終了基準について言及しているBetancourtarXiv論文を読んでください。

...軌跡が、現在のエネルギーレベルセット周辺の近傍を十分に探索するのに十分な長さである場合を特定します。特に、ハミルトニアンの軌道を十分に活用できない場合の短すぎる積分と、減少するリターンのみをもたらす探索に貴重な計算リソースを浪費する長すぎる積分の両方を避けたいと思います。

付録A.3では、あなたが言及した軌道倍増のようなものについて説明しています。

また、反復ごとに軌跡の長さを2倍にして、対応するサンプリング状態z '〜T(z' | t)でサンプリングされた軌跡t〜T(t | z)= U T2Lを生成することにより、より速く展開することもできます。この場合、すべての反復における古い軌道成分と新しい軌道成分の両方が、完全な順序付けされた二分木の葉に相当します(図37)。これにより、新しい軌跡コンポーネントを再帰的に構築し、再帰の各ステップでサンプルを伝播できます...

A.4でこれを拡張し、動的実装について説明します(セクションA.3は静的実装について説明します)。

幸いなことに、A.3で説明した効率的な静的スキームを繰り返して、対応するエネルギーレベルセットを十分に探索するのに十分な長さの軌道がいつ成長したかを判断する基準を選択したら、動的実装を実現できます。

重要なのは、そのダブルジャンプを行わず、基準が満たされるまで提案されたジャンプの長さを2倍にする手法を使用して次のジャンプを計算することです。少なくともそれは私がこれまでのところ論文を理解する方法です。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.