ハイパーパラメーター調整のためのベイズ最適化に対するパーティクルスウォーム最適化の利点は？

MLハイパーパラメーターを調整するためのベイズ最適化（1）については、かなりの現代的な研究があります。ここでの推進の動機は、試行する価値のあるポイントについて十分な情報に基づいて選択するために最小限のデータポイントが必要なことです（客観的な関数呼び出しはコストがかかるため、モデルのトレーニングは時間がかかるため、少ないほうが良い） -私が取り組んだ大規模なSVMの問題は、完了するまでに数分から数時間かかることがあります。

一方、Optunityは、同じタスクに対処するためのパーティクルスウォーム実装です。私は圧倒的にPSOに精通しているわけではありませんが、ハイパーパラメーターサーフェスを評価するために、より多くの試行ポイント、したがって目的関数の評価を必要とするという意味で、PSOはそれほど効率的ではないようです。

機械学習のコンテキストでPSOをBOよりも優先させる重要な詳細がありませんか？または、2つの選択は常にハイパーパラメーターチューニングタスクの本質的なコンテキストですか？

（1）Shahriari et al、 "ループから人間を取り出す：ベイジアン最適化のレビュー。"

Optunityのリード開発者として、2セントを追加します。

実世界の問題についてOptunityと最も人気のあるベイジアンソルバー（たとえば、hyperopt、SMAC、bayesopt）を比較する広範なベンチマークを行った結果、多くの実際のケースでPSOの効率が低下しないことが示されています。さまざまなデータセットでSVM分類器を調整するベンチマークであるOptunityは、実際にはhyperoptやSMACよりも効率的ですが、BayesOptよりもやや効率が劣ります。ここで結果を共有したいと思いますが、Optunityがようやく JMLRで公開されるまで待ちます（1年以上レビュー中ですので、息を止めないでください...）。

示されているように、効率の向上はベイジアン最適化の一般的なセールスポイントですが、実際には、基礎となる代理モデルの仮定が成り立つ場合にのみ水を保持します。私たちの実験では、Optunityの非常にシンプルなPSOソルバーは、関数評価の数の点で複雑なベイジアンアプローチと競合することがよくあります。ベイジアンソルバーは、事前確率が良好な場合に非常にうまく機能しますが、情報量の少ない事前確率では、効率の点でPSOのようなメタヒューリスティック手法に比べて構造的な利点はほとんどありません。

PSOの大きなセールスポイントは、それが恥ずかしいほど並行しているという事実です。ベイジアン最適化は、本質的にシーケンシャルな性質のため、並列化が難しいことがよくあります（ハイパーオプトの実装が唯一の例外です）。配布の機会が一般的になりつつあることを考えると、Optunityはすぐに実時間でリードを取り、優れたソリューションを取得します。

Optunityと他のほとんどの専用ハイパーパラメーター最適化ライブラリのもう1つの重要な違いはターゲットオーディエンスです：Optunityは最もシンプルなインターフェイスを持ち、非機械学習の専門家を対象としていますが、他のほとんどのライブラリは効果的に使用するためにベイズ最適化のある程度の理解が必要です（つまり、専門家を対象としています）。

ライブラリを作成した理由は、専用のハイパーパラメーター最適化メソッドが存在するにもかかわらず、実際には採用されていないためです。ほとんどの人はまだ手動で調整を行っていないか、グリッドやランダム検索などの素朴なアプローチで調整を行っていません。私たちの意見では、これの主な理由は、Optunityを開発する前の既存のライブラリは、インストール、ドキュメント、APIの観点から使用するのが難しすぎ、多くの場合単一環境に限定されていたという事実です。

答えは問題に依存しており、追加のコンテキストがなければ提供できません。通常、答えは次のようになります。ベイジアン最適化は、変数の数が最大10x-100xの計算バジェットを持つ低次元の問題により適しています。PSOは、はるかに大きい予算に対しては非常に効率的ですが、そのニッチでは最先端ではありません。