ベイジアンハイパーパラメーター最適化の不利な点は何ですか？

私は機械学習と統計にかなり慣れていませんが、アルゴリズムのハイパーパラメーターを最適化するために機械学習を学習するときに、ベイジアン最適化がオンラインで頻繁に参照されないのはなぜですか？たとえば、次のようなフレームワークを使用します。https：//github.com/fmfn/BayesianOptimization

ハイパーパラメーターのベイズ最適化には、グリッド検索やランダム検索などの手法に比べて、制限や大きな欠点がありますか？

1. 結果はサロゲートモデルのパラメーターに影響されます。これは通常、ある値に固定されています。これは不確実性を過小評価しています。または、完全にベイジアンであり、高価で扱いにくいハイパーパラメータ分布を無視する必要があります。
2. 2次元または3次元のサーチスペースで適切なサロゲートサーフェスを取得するには、サンプル数十個かかります。探索空間の次元を増やすには、さらに多くのサンプルが必要です
3. ベイジアン最適化自体は、独自のコストがあるサロゲートサーフェスを検索するオプティマイザに依存しています-この問題は、（おそらく）元の問題よりも評価が安価ですが、非凸ボックス制約付きの最適化問題（つまり、難しい！）
4. BOモデル自体の推定にはコストがかかる

別の言い方をすれば、BOは関数評価の数を最小限に抑え、各評価から最大の「対価」を得る試みです。これは、破壊的なテストを実行する場合、または実行にわいせつな時間がかかるシミュレーションを実行する場合に重要です。しかし、最も高価な場合を除いて、純粋なランダム検索を適用して、それを1日と呼びます！（または、問題がその仮定に影響を受けやすい場合は、LIPOを使用します。）ベイジアン最適化プログラムの最適化など、多くの問題を軽減できます。