未知のノイズの多い関数を最大化する

関数を最大化することに興味があります。ここで、です。 $f(\mathbf \theta)$ $\theta \in \mathbb R^p$

問題は、関数またはその導関数の分析形式がわからないことです。私ができる唯一のことは、値をプラグインして関数をポイントごとに評価し、そのポイントでNOISY推定を取得することです。必要に応じて、これらの推定値の変動性を減らすことができますが、計算コストを増やす必要があります。 $\theta_*$ $\hat{f}(\theta_*)$

これが私がこれまでに試したことです：

有限差分の確率的急降下：機能しますが、多くの調整（ゲインシーケンス、スケーリング係数など）を必要とし、多くの場合非常に不安定です。
シミュレーテッドアニーリング：機能し、信頼できますが、多くの関数評価が必要なため、かなり遅いことがわかりました。

したがって、私はこれらの条件下で機能する可能性のある代替の最適化方法についての提案/アイデアを求めています。私とは別の研究分野からの提案を奨励するために、問題をできるだけ一般的にしている。収束時のヘッセ行列を推定できる方法に非常に興味があることも付け加えておきます。これは、パラメーター不確実性を推定するために使用できるためです。それ以外の場合は、推定値を取得するために最大値の周りの有限差分を使用する必要があります。 $\theta$

optimization monte-carlo simulation

— ジュグルタ
ソース

関数の出力に関連するノイズについて具体的なことを何も言えない場合、シミュレートされたアニーリング（これをある程度調整する必要さえある）よりも洗練されたものが役立つとは思えません。

— Aron Ahmadia 2012年

残念ながら、各関数の評価に関連するランダムノイズについてはよくわかりません。その分布は不明であり、関数である可能性があります。一方、連続する関数評価に影響を与えるノイズは独立しています。明らかに、ノイズの分散はそれほど大きくないと想定しています。さもなければ、最大化は不可能です。

θ

$\theta$

— Jugurtha、2012年

一方、たとえばなどのノイズ分布について知っていると仮定します。この知識は私に役立ちますか？

\hat{f} (θ_{*}) \sim N (f (θ_{*}), σ)

$\hat{f}(\theta_*) \sim N(f(\theta_*),\sigma)$

— Jugurtha、2012年

私はNeumaier教授によって修正されたように見えます:)

— Aron

ここの物理学者、私はCMA-ESを光学位相整形（パルス整形器を介してレーザーパルスの位相を最適化する）に使用しましたが、これはかなりうるさいです。

— tillsten

回答:

私たちのMatlabパッケージSnobFitは、まさにこの目的のために作成されました。ノイズの分布についての仮定は必要ありません。さらに、関数値はテキストファイルを介して提供できるため、テキストファイルを書き込むことができる任意のシステムに実装されている関数に適用できます。http://www.mat.univie.ac.at/~neum/software/snobfit/を参照して
ください

SnobFitは、最適化する関数が存在しないアプリケーション用に開発されたものであり、関数値（製造品質の尺度）は、サンプル製品を作成して手作業で測定する専門の高価な機器によって取得され、約50の関数が得られました。 1日あたりの評価。

— アーノルド・ノイマイヤー
ソース

ご回答どうもありがとうございました。SnobFitパッケージに関する記事を読み始めましたが、本当に興味深いと思います。また、記事の紹介を読んでいると、（統計的な文脈で）私が扱っている問題が産業数学でかなり頻繁に発生していることに気付きました。まったく知らなかった膨大な文献があります。実際、私が取り組んでいたアプローチは、パウエル（2002）の2次近似にいくぶん似ています。

— Jugurtha、2012年

snobfitは128自由度でうまく機能しますか？私のケースで試してみる価値があることを知っているだけです。

— tillsten

@tillsten：膨大な数の関数値を費やすことができなければ、騒々しい問題のメソッドは128自由度ではうまく機能しません。ただし、VXQR1を試してみてください。これは、うるさい問題ではありませんが、時々、うるさい問題をうまく処理します。

— Arnold Neumaier 2012年

Snobfitの制限は約20変数です。それ以上ある場合は、20個の変数からなる常識的なグループを選択して、順に部分的に最適化する必要があります。または、いくつかの変数を同時にスライドさせて、次元を小さくすることもできます。

— Arnold Neumaier

試すことができるいくつかのベイジアン最適化手法があります。最も簡単なのはガウス過程に基づいています：

ハロルド・J・クシュナー。ノイズの存在下で任意のマルチピーク曲線の最大値を特定する新しい方法。Journal of Basic Engineering、ページ86：97–106、1964年3月。
J.モッカス。グローバル最適化へのベイズのアプローチ。制御および情報科学の講義ノート、38：473–481、1982年。
Niranjan Srinivas、Andreas Krause、Sham Kakade、Matthias Seeger。バンディット設定でのガウスプロセスの最適化：後悔や実験計画はありません。手続き中機械学習に関する国際会議（ICML）、2010年。
アンドレアス・クラウゼ、アジット・シン、カルロス・ゲストリン。ガウシアンプロセスにおける最適に近いセンサー配置：理論、効率的なアルゴリズム、および実証的研究。J.マッハ学ぶ。Res。、9：235–284、2008年6月。

それらは、もっともらしい関数の上に後部を形成することによって動作し、これまでの観察を示し、関数をすばやく学習し、グローバルな最大値を見つける次のポイントを提案します（私のブログ投稿を参照）。

別の利点は、最大値でヘッセ行列を推定できることです。ただし、ノイズモデルを指定する必要があります。

— メミング
ソース

James SpallのSPSAアルゴリズム（私が正しく思い出せば、確率的摂動シミュレーションアニーリングの略）は、まさにこの種の問題のために設計されました。彼はあなたが説明したような問題にそれを使用するいくつかの論文を持っています。

— ヴォルフガングバンガース
ソース

私は、最急降下法とラフソンニュートンの確率的バージョンに基づいたスポールのアプローチを試しました。シミュレーテッドアニーリングを試しましたが、Spallが提案したバージョンではありません。試してみてください。収束時のヘッセ行列の推定値を取得できないため（たとえば、確率論的ラフソンニュートンを使用すると、ヘッセ行列の近似値を「無料」で取得できます）、シミュレートされたアニーリングにはあまり熱心ではありません。

— Jugurtha 2012年