利用可能な導関数なしの2つの関数の同時最大化

2つの変数がkありt、他の2つの変数の関数としてp1とがありp2ます。私はそれらの最大値も知っています。このための分析式はありません。私はの値見つけたいkとt彼らの最大値に最も近いです。

k = f1(p1, p2)and を最適化する方法はありt = f2(p1, p2)ますか？

積k0 * t0や四角形の積、k0^2 * t0^2または他の2つの関係を調べてみることができます。

これは効率的ですか？

ありがとうございました。

optimization

あなたが探しているものについてもう少し具体的に教えてください。あなたが見つけたいと思うp1とp2、そのようなことをkし、tその最大値（密接に可能な限り）達成？私は、あなたが与えられた、という機能を持っていると仮定しないp1とp2、の値を返すkとt、しかし、の誘導体には何の情報kとtに関してp1とp2？

— クリスチャンクラソン2012

@ChristianClasonはい、あなたはそれを正しく理解しています。派生物を入手することはできません、そして一般的に利用可能な分析はありません。

そして、あなたは最大値kと最大値がt同じ場所で（あなたが見つけようとしている）達成されるかどうかを知っていますか、それともトレードオフを探していますか？

— クリスチャンクラソン2012

@ChristianClason私は（そして確かに）最大値が同じポイントにないと仮定します。私はトレードオフを探しています。しかし、どのように言うことができない-おそらく製品または値の合計を比較できる...

回答:

ここには2つの問題があります。

最適化問題には2つの競合する目的があります。最大化 $k=f_1(p_1,p_2)$ と最大化 $t = f_2(p_1,p_2)$ です。これは多目的（または複数基準）最適化と呼ばれ、そのような問題には無限の数の解があり、それぞれが目的の相対的な重みの特定の選択に基づいています（つまり、 $f_1$ がよりも最大値に近い $f_2$ ？）。両方に同じ重要度がある場合は、関数
$F （ p_{1} 、 p_{2} ） = （ f_{1} （ p_{1} 、 p_{2} ） - K ）^{2} + （ f_{2} （ p_{1} 、 p_{2} ） - T ）^{2} 、$ $F(p_1,p_2) = (f_1(p_1,p_2)-K)^2 + (f_2(p_1,p_2)-T)^2,$ 最小化できます。ここで $K$ と $T$ は $k$ と既知の最大値 $t$ 、それぞれ。そうでない場合は、各用語の前に対応する重みを追加します。（最大値は知られていなかった場合は、代わりに最小化したい $-f_1^2-f_2^2$ 。）
$F$ 最小値を見つけるには、指定された点のみ $F$ 関数値を使用できます。これは、導関数なしの最適化として知られています。たとえば、Conn、Scheinberg、VicenteによるDerivative-Free Optimizationの紹介、またはNumerical Optimizationの第9章を参照してください。これらのほとんどは、補間関数の有限差分または導関数に基づく近似導関数を使用します。以来 2つの変数のみの関数であり、完全なヘッセ行列の有限差分近似を構築することはあまりにも高価（または不安定）ではありません。アイデアは以下の通りである：ポイント与えられた $(p_1,p_2)$ $F$ $p^k=(p_1^k,p_2^k)$ 、ローカル二次モデル
${メートル}_{k} （ p^{k} + d ） = F （ p^{k} ） + （ g^{k} ）^{T} d + \frac{1}{2} d^{T} H^{k} d 、$ $m_k(p^k + d) = F(p^k) + (g^k)^T d + \frac{1}{2} d^TH^kd,$ その最小化 $d^k$ を計算し、 $p^{k+1} = p^k+d^k$ ます。ここで、小さいため（小さすぎではないが、下記を参照） $\epsilon>0$ 、 $g^{k} = （ g_{1} 、 g_{2} ）^{T} 、 g_{私} = \frac{F （ p^{k} + ε e_{私} ） - F （ p^{k} - ε e_{私} ）}{2 ε}$ $g^k = (g_1,g_2)^T,\quad g_i = \frac{F(p^k+\epsilon e_i)-F(p^k-\epsilon e_i)}{2\epsilon}$ と $e_1 = (1,0)^T$ と $e_2 = (0,1)^T$ 、おおよその勾配であり $H^{k} = （ \begin{matrix} h_{11} & h_{12} \\ h_{21} & h_{22} \end{matrix} ）、 h_{私 j} = \frac{F （ p^{k} + ε e_{私} + ε e_{j} ） - F （ p^{k} + ε e_{私} ） - F （ p^{k} + ε e_{j} ） + F （ p^{k} ）}{ε^{2}}$ $H^k = \begin{pmatrix}h_{11}&h_{12}\\h_{21}&h_{22}\end{pmatrix}, \quad h_{ij} = \frac{F(p^k+\epsilon e_i + \epsilon e_j) - F(p^k + \epsilon e_i) - F(p^k+\epsilon e_j) + F(p^k)}{\epsilon^2}$ はヘッセ行列のテイラー近似です。これには、反復ごとに5つの追加ポイントで $F$ を評価する必要があります。

有限差分近似における重要な問題は、 $\epsilon$ の選択です。それが大きすぎると、導関数の近似が悪くなります。これが小さすぎると、キャンセルの危険性に遭遇し、数値が不安定になります。親指の良いルールは取ることである $\epsilon = {u}^{1/3}$ ここで、 $u$ （約単位丸め誤差である $10^{-16}$ 倍精度の場合）。

実際には、これを信頼領域戦略と組み合わせる必要があります。この場合、反復中に半径が適応するボールの内側に $d^k$ が必要になります（上記の本を参照）。

Luis Miguel RiosとNikolaos V. Sahinidisによるペーパー「デリバティブなしの最適化：アルゴリズムのレビューとソフトウェア実装の比較」に付属するこのWebページには、アルゴリズムと実装の比較が掲載されています。

— クリスチャン・クラソン
ソース

すばらしい答えをありがとう！テーマは私にはかなり複雑ですが、それは本当に役に立ちます。申し訳ありませんが、私の評判は低すぎます。回答に投票できません。

F

$F$ fminunc

e p s

$eps$

@ArnoldNeumaier：いいですね。この問題についていくつかコメントを追加しました。

— クリスチャンクラソン2012

@ChristianClason h_ijの第2項はF（p ^ k + \ epsilon * e_i）である必要があると思います。

— スージー

$k+a*t$ $a$ $k$ $t$ $a$

実際の最適化に関しては、関数の分析式がないことは世界の終わりではありませんが、情報がないことは大雑把になります。ある程度の滑らかさ/連続性を想定できる場合は、それがピースワイズである場合でも、微分近似で根探索アルゴリズムを使用して極大値を見つけることができます（これよりもはるかに洗練された方法がありますが、私は慣れていませんここにいる他の人々はおそらくあなたを正しい方向に向けることができます）。凸性を確立できれば、それを全体的な最適性に拡張できます。

真のブラックボックスの多目的最適化は、簡単な問題ではありませんが、いくつかの仮定と客観的な削減を伴う反復プロセスによって、許容できる答えが得られます（1つが存在すると想定）。

— ゴドリック・シーア
ソース