タグ付けされた質問 「optunity」

MLハイパーパラメーターを調整するためのベイズ最適化（1）については、かなりの現代的な研究があります。ここでの推進の動機は、試行する価値のあるポイントについて十分な情報に基づいて選択するために最小限のデータポイントが必要なことです（客観的な関数呼び出しはコストがかかるため、モデルのトレーニングは時間がかかるため、少ないほうが良い） -私が取り組んだ大規模なSVMの問題は、完了するまでに数分から数時間かかることがあります。 一方、Optunityは、同じタスクに対処するためのパーティクルスウォーム実装です。私は圧倒的にPSOに精通しているわけではありませんが、ハイパーパラメーターサーフェスを評価するために、より多くの試行ポイント、したがって目的関数の評価を必要とするという意味で、PSOはそれほど効率的ではないようです。 機械学習のコンテキストでPSOをBOよりも優先させる重要な詳細がありませんか？または、2つの選択は常にハイパーパラメーターチューニングタスクの本質的なコンテキストですか？ （1）Shahriari et al、 "ループから人間を取り出す：ベイジアン最適化のレビュー。"

18 hyperparameter  bayesian-optimization  optunity 

私は現在、次のコードでScikit Learnを使用しています： clf = svm.SVC(C=1.0, tol=1e-10, cache_size=600, kernel='rbf', gamma=0.0, class_weight='auto') そして、7つの異なるラベルを持つデータのセットを当てはめて予測します。奇妙な出力が出ました。検証セットで予測ラベルを使用する相互検証手法に関係なく、常にラベル7になります。 完全なデフォルトパラメータ（svm.SVC()）を含む他のいくつかのパラメータを試しますが、私が使用するカーネルメソッドがのrbf代わりにあるpolyか、linearそれが機能しない限り、polyおよびに対しては非常にうまく機能しlinearます。 その上、検証データの代わりに列車データの予測をすでに試みており、完全に適合しています。 誰かがこの種の問題を以前に見て、ここで何が起こっているのか知っていますか？ 私はクラスの分布を詳細に見ることはありませんが、約30％は7、14％は4であるべきだと思います。 私は手動の1-vs-rest実装を試みても、まだ役に立ちません。

10 svm  scikit-learn  libsvm  multi-class  optunity