最適化手法はサンプリング手法にマッピングされますか?


18

一般的なサンプリングアルゴリズムから、最適化アルゴリズムを導き出すことができます。

実際、任意の関数最大化するために、、それからサンプルを描画するために十分でG EのF / TTが十分に小さい場合、これらのサンプルは関数fのグローバルな最大値(または実際にはローカルな最大値)に近くなります。fバツfバツgef/TTf

「サンプリング」とは、定数まで知られている対数尤度関数が与えられた分布から擬似ランダムサンプルを描画することを意味します。たとえば、MCMCサンプリング、ギブスサンプリング、ビームサンプリングなど。「最適化」とは、特定の関数の値を最大化するパラメーターを見つけることを意味します。


その逆は可能ですか?関数または組み合わせ式の最大値を見つけるためのヒューリスティックが与えられた場合、効率的なサンプリング手順を抽出できますか?

たとえば、HMCは勾配情報を利用しているようです。ヘッセ行列のBFGSのような近似を利用するサンプリング手順を構築できますか?(編集:明らかにはい:http : //papers.nips.cc/paper/4464-quasi-newton-methods-for-markov-chain-monte-carlo.pdf)組み合わせの問題でMCTSを使用できます。サンプリング手順に?

コンテキスト:サンプリングの難しさは、確率分布の質量のほとんどが非常に小さな領域内にあることです。そのような領域を見つけるための興味深い手法がありますが、それらはバイアスのないサンプリング手順に直接変換されません。


編集:私は今、その質問への答えは複雑度クラス#PとNPの平等性にいくらか同等であると感じており、答えを「ノー」と思われます。すべてのサンプリング手法が最適化手法を生み出す理由を説明していますが、その逆はありません。


私はこの質問のほとんどの単語について従来の理解を持っていると思いますが、それが何を求めているのか分かりません。「サンプリング」が意味することと、「最適化」とは正確に何であるかをもう少し正確に述べていただけますか?読者は、「配布」(またはその家族?)が関与し、特定の目的が想定される特定の設定を念頭に置いていることを暗黙のうちに想定しているように思われますが、最後の段落に表示されるような広範なステートメント。
whuber

「サンプリング」とは、定数まで知られている対数尤度関数が与えられた分布から擬似ランダムサンプルを描画することを意味します。たとえば、MCMCサンプリング、ギブスサンプリング、ビームサンプリングなど。「最適化」とは、特定の関数の値を最大化するパラメーターを見つけることを意味します。たとえば、勾配降下法、シンプレックスアルゴリズム、シミュレーテッドアニーリングは最適化手法です。
アーサーB. 14

シミュレーテッドアニーリングとMCMCサンプリングの間には自然なマッピングがあります。HMCと勾配降下法の間には、より直接的なマッピングはありません(目を細める場合)。私の質問は、これをより体系的にすることができるかどうかです。サンプリングの難しさは、確率分布の質量のほとんどが非常に小さな領域内にあることです。この領域を見つけるための興味深い手法がありますが、それらは公平なサンプリング手順に直接変換されません。
アーサーB. 14

これらの説明を含めるには、質問を編集してください。あなたの文脈では適切ですが、「サンプリング」という言葉の(やや専門的な)使用は、多くの読者が理解できるものとは異なるため、これは重要です。また、「最適化」の説明は、正しいものの、ここではその意味を十分に正確にするのに役立つようには見えません。
whuber

今はいいですか?
アーサーB. 14

回答:




0

うんあなたはnf[01]F1うんF

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.