のみ評価できる未知の関数を最適化しますか？

未知の関数与えられた場合、そのドメイン内の任意のポイントでその値を評価できますが、その式はありません。つまり、は私たちにとってブラックボックスのようなものです。$f:\mathbb R^d \to \mathbb R$$f$

の最小化子を見つける問題の名前は何ですか？そこにはいくつかの方法がありますか？$f$

方程式の解を見つける問題の名前は何ですか？そこにはいくつかの方法がありますか？$f(x)=0$

：二つの問題上には、Fのいくつかの評価に補間又は適合することをお勧めします関数用い既知の形態とパラメータでを決定し、最小化するか、その根を見つけますか？G θ θ G $(x_i, f(x_i)), i=1, \dots, n$$g_\theta$$\theta$$g_\theta$

よろしくお願いします！

探しているメソッド、つまり関数の評価のみを使用し、導関数は使用しないメソッドは、導関数のない最適化メソッドと呼ばれます。それらに関する多くの文献があり、最適化に関するほとんどの本でそのような方法に関する章を見つけることができます。典型的なアプローチには

• 関数が滑らかで、場合によっては凸であると合理的に予測できる場合、勾配を有限差分で近似します。
• シミュレーテッドアニーリングなどのモンテカルロ法。
• 遺伝的アルゴリズム。

私はあなたが始めるべきだと思う：実パラメータブラックボックス最適化ベンチマークに関するGECCOワークショップ（BBOB 2016） http://numbbo.github.io/workshops/index.html

以前の大会で使用され、共通の基準で比較された多くの異なるアルゴリズムがあります。他の場所から始めると、その方法とアルゴリズムは他の方法よりも優れていると主張する数百の論文ですぐにdrれ、実際の証拠はほとんどありません。

最近まで、率直に言って、不名誉な状況であり、合理的な比較の枠組みを確立するために行った努力に対して、INRIA、GECCO、および他の多くに対するすべての力でした。

ここで重要なことの1つは、マルチコアCPUで最適化方法をスケーリングできることです。複数の関数評価を同時に実行できる場合、関連するコアの数と同等のスピードアップが得られます。これをわずかに正確な応答モデルを使用するだけの場合と比較すると、10％程度効率的になります。

このコードをご覧になることをお勧めします。このコードは、多くのコアにアクセスできる人々にとって有用です。その背後にある数学については、このペーパーで説明します。