最適化において非凸性が問題になるのはなぜですか？

一般に非凸最適化について何かを読み始めたとき、私は非常に驚きました、そして、私はこのような声明を見ました：

重要な多くの実用的な問題は非凸であり、ほとんどの非凸の問題は、妥当な時間内に正確に解決するのが不可能ではないにしても困難です。（ソース）

または

一般に、極小値を見つけるのはNP困難であり、多くのアルゴリズムは点でスタックする可能性があります。（ソース）

私は毎日、非凸最適化のようなものをやっています-すなわち、分子幾何学の緩和。私はそれを、トリッキーで遅く、行き詰まりやすいものとは決して考えませんでした。このコンテキストでは、明らかに多次元の非凸面（> 1000自由度）があります。FIREなどの最急降下および動的消光から派生した主に1次の手法を使用します。これは数百ステップで局所的な最小値（DOFの数未満）に収束します。確率的ノイズを追加すると、それは地獄のように堅牢でなければならないことを期待しています。（グローバル最適化は別の話です）

これらの最適化手法を停滞させるか、ゆっくりと収束させるために、ポテンシャルエネルギーサーフェスがどのように見えるかを想像することはできません。例えば、非常に病理学的なPES（ただし、非凸性によるものではない）は、このらせんですが、それほど大きな問題ではありません。病理学的な非凸PESの実例を挙げていただけますか？

それで、私は上記の引用と議論したくありません。むしろ、私はここで何かを見逃していると感じています。おそらくコンテキスト。

$\arg\min f(x)$

1. 候補解：決定変数の特定の選択とそれに対応する目標値、AND F （X ⋆$x^\star$$f(x^\star)$
2. 最適性の証明：選択がグローバルに最適であること、つまりがすべての選択に対して成り立つことの数学的な証明。 F （X ）≥ F （X ⋆）$x^\star$$f(x) \ge f(x^\star)$$x$

が凸の場合、両方の成分が容易に得られます。勾配降下法は、勾配が消える候補解を見つけます。最適性の証明は、MATH101で教示されている単純な事実から得られますが凸で、その勾配がで消失する場合、はグローバルなソリューションです。X ⋆ ∇ F （X ⋆）= 0 、F ∇ F X ⋆ X $f$$x^\star$$\nabla f(x^\star)=0$$f$$\nabla f$$x^\star$$x^\star$

とき非凸で、候補解決策はまだ見つけるのは簡単かもしれないが、最適の証明は極めて困難になります。たとえば、勾配降下を実行して、ポイントを見つけることができます。ただし、が非凸の場合、条件が必要ですが、グローバル最適性にはもはや十分ではありません。実際、それは局所的な最適性にとっても十分ではありません。つまり、がその勾配情報だけに基づいて局所的な最小値であることを保証することさえできません。1つのアプローチは、を満たすすべての点を列挙することです。これは、1次元または2次元だけでも手ごわい作業になる可能性があります。$f$$\nabla f(x^\star)=0$$f$$\nabla f(x)=0$$x^\star$$\nabla f(x)=0$

ほとんどの問題を解決することは不可能であると数学者が言うとき、彼らは本当に（局所的でさえ）最適性の証明を構築することは不可能であると言っています。しかし、現実の世界では、「十分な」ソリューションの計算にのみ関心があることが多く、これはさまざまな方法で見つけることができます。多くの非常に非凸の問題について、私たちの直観は、「十分な」解決策は、たとえそれを完全に証明することができなくても、実際にグローバルに最適であることを教えてくれます！

扱いにくい低次元の問題の例は次のとおりです。

ローカルミニマムに到達した場合、グローバルミニマムに近いものをどのように確認できますか？結果がグローバルに最適である場合、結果が独自の最適なソリューションであるかどうかをどのように確認しますか？どこかで行き詰まらないように、すべての山と谷に対して堅牢なアルゴリズムを作成するにはどうすればよいですか？

このような例は、物事が困難になる可能性がある場所です。明らかに、すべての問題がこのようなわけではありませんが、いくつかの問題はそうです。さらに悪いことに、業界の設定では、コスト関数は計算に時間がかかり、上記のような問題のある表面を持つ可能性があります。

実際の問題の例

仕事で取り組むことができる例は、多くの発射条件でロバストになりうるミサイル誘導アルゴリズムの最適化です。クラスターを使用すると、1つの条件で約10分で必要なパフォーマンス測定値を取得できました。ここで、堅牢性を適切に判断するには、少なくとも条件のサンプルを判断する必要があります。したがって、6つの条件を実行して、このコスト関数の評価に1時間かかるとします。

非線形ミサイルダイナミクス、大気ダイナミクス、離散時間プロセスなどにより、ガイダンスアルゴリズムの変更に対する非常に非線形な反応が生じ、最適化を解決するのが難しくなります。このコスト関数が非凸であるという事実は、大きな問題を評価するのに時間がかかるという事実になります。このような例は、与えられた時間内に可能な限り最高のものを得るために努力する場所です。

問題は、あなたがリンクした投稿で説明されているin点の問題です。リンクされた記事の 1つの要約から：

ただし、一般に、高次元に複雑なcomplicated点構造が存在するため、このようなアルゴリズムが局所的な最小値に収束することを保証することは困難です。多くの関数には、1次および2次導関数が局所的な最適点でそれらを区別できないように、addle点が縮退しています。この論文では、これらの点を回避するために高次の導関数を使用します。3次の局所最適に収束することが保証された最初の効率的なアルゴリズムを設計します（既存の手法は最大2次）。また、これをさらに拡張して4次の局所最適を見つけることはNP困難であることを示します。

基本的に、1次、2次、3次導関数を見たときに、極小値と区別できないサドルポイントがある関数を使用できます。高次のオプティマイザーを使用することでこれを解決できますが、4次の極小値を特定することはNP困難であることを示しています。

$x^2y+y^2$

多くのヒューリスティックを使用してこのようなポイントを回避することができます。これは多くの（ほとんどの？）実世界の例で機能する可能性がありますが、常に機能することは証明できません。リンクし
たブログ投稿では、多項式時間でそのようなサドルポイントをエスケープできる条件についても説明しています。