タグ付けされた質問 「bayesian-optimization」

勾配降下法や他の多くの方法は、コスト関数で局所的な最小値を見つけるのに役立ちます。それらは、数値的であろうと分析的であろうと、コスト関数が各ポイントで迅速に評価できる場合に効率的です。 異常な状況に見えるものがあります。私のコスト関数の評価はそれぞれ高価です。グラウンドトゥルースサーフェスに対して3Dサーフェスを最小化する一連のパラメーターを見つけようとしています。パラメーターを変更するたびに、サンプルコホート全体に対してアルゴリズムを実行して、その効果を測定する必要があります。勾配を計算するには、15個すべてのパラメーターを個別に変更する必要があります。つまり、すべてのサーフェスを再生成し、勾配ごとにサンプルコホート方法と比較する回数が多すぎます。 私はこの問題を回避する方法を開発し、現在評価していますが、高価なコスト関数の評価に関する文献にあまり見当たらないことに驚いています。これは、私が問題をそれよりも難しくしているのか、そしてすでに利用可能なより良い方法があるかもしれないのではないかと思うようになります。 だから私の質問は基本的にこれです：評価が遅いときに、凸関数であるかどうかにかかわらず、誰もがコスト関数を最適化する方法を知っていますか？または、アルゴリズムを再実行してサンプルコホートと何度も比較することで、そもそもばかげたことをしていますか？

59 gradient-descent  optimization  bayesian-optimization 

MLハイパーパラメーターを調整するためのベイズ最適化（1）については、かなりの現代的な研究があります。ここでの推進の動機は、試行する価値のあるポイントについて十分な情報に基づいて選択するために最小限のデータポイントが必要なことです（客観的な関数呼び出しはコストがかかるため、モデルのトレーニングは時間がかかるため、少ないほうが良い） -私が取り組んだ大規模なSVMの問題は、完了するまでに数分から数時間かかることがあります。 一方、Optunityは、同じタスクに対処するためのパーティクルスウォーム実装です。私は圧倒的にPSOに精通しているわけではありませんが、ハイパーパラメーターサーフェスを評価するために、より多くの試行ポイント、したがって目的関数の評価を必要とするという意味で、PSOはそれほど効率的ではないようです。 機械学習のコンテキストでPSOをBOよりも優先させる重要な詳細がありませんか？または、2つの選択は常にハイパーパラメーターチューニングタスクの本質的なコンテキストですか？ （1）Shahriari et al、 "ループから人間を取り出す：ベイジアン最適化のレビュー。"

18 hyperparameter  bayesian-optimization  optunity 

背景と問題 回帰とその後のベイズ最適化（BO）にガウス過程（GP）を使用しています。回帰の場合、MATLABでgpmlパッケージを使用し、いくつかのカスタムメイドの変更を加えますが、問題は一般的です。 2つのトレーニング入力が入力空間内で近すぎる場合、共分散行列が非正定値になる可能性があることはよく知られています（このサイトにはいくつかの質問があります）。その結果、さまざまなGP計算に必要な共分散行列のコレスキー分解は、数値誤差により失敗する場合があります。これは、私が使用している目的関数でBOを実行したときにいくつかのケースで発生し、修正したいと思います。 提案されたソリューション 悪条件を緩和するための標準ソリューションであるAFAIKは、共分散行列の対角線にリッジまたはナゲットを追加することです。GP回帰の場合、これは観測ノイズの追加（または、既に存在する場合は増加）に相当します。 ここまでは順調ですね。コードを修正してgpmlを正確に推論し、コレスキー分解が失敗するたびに、ジョンD' Errico によるこのMATLABコードに触発されたフロベニウスノルムの最も近い対称正定（SPD）行列に共分散行列を修正しようとします。理論的根拠は、元のマトリックスへの介入を最小限にすることです。 この回避策は仕事をしますが、いくつかの機能でBOのパフォーマンスが大幅に低下することに気付きました-おそらくアルゴリズムが特定の領域にズームインする必要があるときはいつでも（たとえば、最小に近づくか、長さのスケールのため問題の不均一に小さくなります）。2つの入力ポイントが近づきすぎるとノイズが効果的に増加するため、この動作は理にかなっていますが、もちろん理想的ではありません。または、問題のあるポイントを削除することもできますが、繰り返しますが、入力ポイントを近づける必要がある場合があります。 質問 GPの共分散行列のコレスキー因数分解に関する数値的な問題は新しい問題ではないと思いますが、驚いたことに、ノイズを増やしたり、互いに近すぎる点を削除したりすることを除けば、これまでのところ多くの解決策を見つけることができませんでした。一方で、私の機能のいくつかは非常に悪い振る舞いをしているので、おそらく私の状況はそれほど典型的ではありません。 ここで役立つ可能性のある提案/参照はありますか？

12 regression  covariance-matrix  gaussian-process  bayesian-optimization 

ブラックボックス関数、ガウスノイズの影響を受けて点ごとに評価されます。つまり、は、ガウスプロセスがノイズの多い関数モデルとして使用されるベイジアン最適化を使用して最小化できます。 f （x ）+ N（μ （x ）、σ （x ）2）f：Rん→ Rf:Rn→Rf: \mathbb{R}^n \rightarrow \mathbb{R}f（x ）+ N（μ （x ）、σ（x ）2）f(x)+N(μ(x),σ(x)2)f(x) + \mathcal{N}(\mu(x),\sigma(x)^2) ベイズ最適化は、歪んだ分布など、非ガウスノイズの影響を受ける関数にどのように使用できますか？ この設定をサポートする実装はありますか？

8 bayesian  optimization  bayesian-optimization 

私は機械学習と統計にかなり慣れていませんが、アルゴリズムのハイパーパラメーターを最適化するために機械学習を学習するときに、ベイジアン最適化がオンラインで頻繁に参照されないのはなぜですか？たとえば、次のようなフレームワークを使用します。https：//github.com/fmfn/BayesianOptimization ハイパーパラメーターのベイズ最適化には、グリッド検索やランダム検索などの手法に比べて、制限や大きな欠点がありますか？

8 machine-learning  optimization  hyperparameter  bayesian-optimization 

両方のプロセスは、未知の関数の最大値を推定するために使用されているようであり、明らかにその方法が異なります。 しかし、実際にはどちらの方法も本質的に交換可能ですか？どこで使用したいですか？ https://en.wikipedia.org/wiki/Simulated_annealing http://www.iro.umontreal.ca/~bengioy/cifar/NCAP2014-summerschool/slides/Ryan_adams_140814_bayesopt_ncap.pdf 同様の質問 ベイズ最適化または勾配降下？

8 optimization  maximum  bayesian-optimization 

GPML [ http://www.gaussianprocess.org/gpml/code/matlabを使用して、Snoek、Larochelle、およびAdams [ http://arxiv.org/pdf/1206.2944.pdf]に続いて、ベイジアン最適化を試みています。 / doc /]。3ページで説明した期待される改善の取得関数を実装しました。次のクエリのどこで目的をクエリするかを決定するには、最大化するを使用する必要があります。バツバツ\bf{x} aE私（x ; （xん、yん、θ ））aE私（バツ;（バツん、yん、θ））a_{EI}(\bf{x}; (\bf{x}_n,y_n,\theta)) しかし、の候補セットを考慮すべきかについてのガイダンスを見つけることができないようです。理論的には、ドメイン全体で最高のを見つけたいと考えています。この論文は、これが可能であると思われる方法で書かれています（「[EI]もガウス過程で閉じた形をしています」 ）。しかし、実際問題として、私は、を計算する前に、これらの後任者が持っている間に検討する可能性のあるで事後予測平均と分散を計算する必要があります閉じた形でも、行列代数を使ってそれらを計算する必要があるため、の束を選択する方法をことができません。x x ∗ a E I（x ∗）xバツバツ\bf{x}バツバツ\bf{x}バツ∗バツ∗\bf{x}^*aE私（x∗）aE私（バツ∗）a_{EI}(\bf{x}^*)バツバツ\bf{x} 質問： EI（または他の取得関数）を最大化する候補のの大（中？小？）セットを選択するための実用的な方法は何ですか？（これは論文のどこかにあり、見逃しただけですか？）バツバツ\bf{x} 現時点では、現在のセットを取得し、それを2000回置き換えてサンプリングしてから、各ポイントにガウスノイズを追加しています。大丈夫だと思います。バツ私バツ私{x_i}

8 gaussian-process  optimization  bayesian-optimization