ハイパーパラメーターチューニング：ランダム検索とベイジアン最適化

したがって、ランダム検索はグリッド検索よりも優れていることがわかっていますが、最近のアプローチはベイズ最適化（ガウスプロセスを使用）です。私は2つの比較を調べましたが、何も見つかりませんでした。スタンフォード大学のcs231nでは、ランダム検索のみに言及していることは知っていますが、物事をシンプルにしたい可能性があります。

私の質問は次のとおりです。一般的にどちらのアプローチの方が優れていますか。答えが「ランダム検索、時にはベイジアン」である場合、あるメソッドを別のメソッドよりも優先させるべきですか

ここでの答えは、データサイエンスのどこでも同じだと思います。データに依存します:-)

ある方法が別の方法よりも優れている場合があります（ここではhttps://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/人がベイジアンハイパーパラメーター最適化を比較し、サンフランシスコの犯罪kaggleチャレンジでより良い結果を達成しますランダム検索で）、しかし、私はそのための一般的なルールがあるとは思わない。ここで素敵なgifを見ることができます（http://blog.revolutionanalytics.com/2016/06/bayesian-optimization-of-machine-learning-models.html）ここで、ベイジアン最適化が風景で取る「パス」を示します特に、ハイパーパラメータの場合、一般にランダム検索よりも優れているようには見えません...

人々がベイジアンハイパーパラメーター最適化を使用する傾向があるのは、十分に多くの実験を行うランダム検索と比較して、同等の結果を達成するためのトレーニング手順が少ないためだと思います。

一文で要約する：

*トレーニング時間が重要な場合は、ベイジアンハイパーパラメーター最適化を使用し、時間が問題にならない場合は、両方のいずれかを選択してください... *

通常、ランダム検索で同じ結果を得ることができれば、ガウシアンプロセスでベイジアンのものを実装するのが面倒です...私は「少数の」データでグラデーションボスティングアンサンブルを訓練するだけなので、時間は問題ではありません...

ベイジアン最適化は、より賢明な決定を下すため、より優れています。詳細については、この記事を確認してください：ニューラルネットワークのハイパーパラメーター最適化。この記事には、両方の方法の長所と短所に関する情報と、グリッド検索やツリー構造のparzen推定量などの追加の技術も含まれています。ニューラルネットワークのさまざまな方法の長所と短所を示すために書かれたものの、主要な知識は他の機械学習ドメインに一般化できます。

注目すべきは、ベイジアンハイパーパラメーターの最適化はシーケンシャルプロセスであるため、検索や並列実行が可能な他のアプローチよりも時間がかかる場合があることです。