タグ付けされた質問 「svm」

現在、線形カーネルを備えたSVMを使用してデータを分類しています。トレーニングセットにエラーはありません。パラメーターいくつかの値 （10 − 5、… 、10 2）を試しました。これは、テストセットのエラーを変更しませんでした。CCC10− 5、… 、10210−5、…、10210^{-5}, \dots, 10^2 今私は疑問に思う：これは誤りであるルビーのバインディングによって引き起こされるためにlibsvm、私は（使用しているRB-LIBSVMを）か、これは理論的に説明できますか？ パラメーター常に分類器のパフォーマンスを変更する必要がありますか？CCC

134 machine-learning  svm  libsvm 

サポートベクターマシン（SVM）の仕組みと、線形パーセプトロン、線形判別分析、ロジスティック回帰などの他の線形分類器との違いは何ですか？* （* アルゴリズム、最適化戦略、一般化機能、および実行時の複雑さの根本的な動機の観点から考えています）

108 machine-learning  classification  svm  statistical-learning 

多くの機械学習分類子（サポートベクターマシンなど）では、カーネルを指定できます。カーネルとは何かを説明する直観的な方法は何でしょうか？ 私が考えていた1つの側面は、線形カーネルと非線形カーネルの違いです。簡単に言えば、「線形決定関数」と「非線形決定関数」について言えます。しかし、カーネルに「決定関数」を呼び出すことが良いアイデアかどうかはわかりません。 提案？

97 machine-learning  svm  references  kernel-trick  intuition 

SVMを使用する場合、カーネルを選択する必要があります。 カーネルを選択する方法を疑問に思います。カーネル選択の基準はありますか？

95 machine-learning  svm  kernel-trick 

私は興味のある結果が二分されglmnetているLASSO回帰の使用に手を出し始めています。以下に小さな模擬データフレームを作成しました。 age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, 2, 2, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

入力セットをいくつかの異なるクラスに分類するという点で、サポートベクターマシンの目的の基本は理解していますが、理解していないのは本質的な詳細の一部です。まず、Slack Variablesの使用に少し混乱しています。彼らの目的は何ですか？ 靴の中敷に置いたセンサーから圧力の測定値を取得する分類問題を行っています。被験者は、圧力データが記録されている間、数分間座り、立ち、歩きます。人が座っているか、立っているか、歩いているかを判断できるように分類器をトレーニングし、将来のテストデータでそれを実行できるようにします。どの分類器タイプを試す必要がありますか？キャプチャしたデータから分類器をトレーニングする最良の方法は何ですか？座ったり、立ったり、歩いたりするためのエントリが1000個あり（合計3x1000 = 3000）、それらはすべて次の特徴ベクトル形式を持っています。（センサー1からの圧力、センサー2からの圧力、センサー3からの圧力、センサー4からの圧力）

76 machine-learning  classification  svm 

私は、カーネルPCA（約読んでいた1、2、3）ガウスと多項式カーネルを持ちます。 ガウスカーネルは、どのような種類の非線形データも例外的にどのように分離するのですか？直感的な分析と、可能であれば数学的に複雑な分析を提供してください。 他のカーネルにはないガウスカーネル（理想的なσσ\sigma）のプロパティとは何ですか？ニューラルネットワーク、SVM、およびRBFネットワークが思い浮かびます。 たとえば、Cauchy PDFを基準にして、同じ結果を期待してみませんか？

67 machine-learning  pca  svm  kernel-trick 

私が読んだ論文の多くの著者は、SVMが回帰/分類の問題に直面するための優れた手法であり、NNを介して同様の結果を得ることができないことを認識しています。多くの場合、比較では NNではなくSVM 強力な創立理論を持っている 二次計画法によるグローバル最適化に到達 適切な数のパラメーターを選択しても問題ありません 過剰適合の傾向が少ない 予測モデルを保存するために必要なメモリが少ない より読みやすい結果と幾何学的解釈をもたらす それは真剣に広く受け入れられた考えですか？ノーフリーランチ定理や同様の記述を引用しないでください。私の質問は、これらのテクニックの実用的な使用法です。 反対に、NNが直面する抽象的な問題はどのようなものですか？

52 machine-learning  svm  neural-networks 

与えられたデータ点はとラベルY 1、... 、Y N ∈ { - 1 、1 }、ハードマージンSVMプライマル問題ですx1,…,xn∈Rdx1,…,xn∈Rdx_1, \ldots, x_n \in \mathbb{R}^dy1,…,yn∈{−1,1}y1,…,yn∈{−1,1}y_1, \ldots, y_n \in \left \{-1, 1 \right\} s.t.minimizew,w012wTwminimizew,w012wTw \text{minimize}_{w, w_0} \quad \frac{1}{2} w^T w s.t.∀i:yi(wTxi+w0)≥1s.t.∀i:yi(wTxi+w0)≥1 \text{s.t.} \quad \forall i: y_i (w^T x_i + w_0) \ge 1 これは、i制約に対して最適化される変数を含む2次プログラムです。デュアルd+1d+1d+1iii S。T.maximizeα∑i=1nαi−12∑i=1n∑j=1nyiyjαiαjxTixjmaximizeα∑i=1nαi−12∑i=1n∑j=1nyiyjαiαjxiTxj \text{maximize}_{\alpha} \quad \sum_{i=1}^{n}{\alpha_i} - \frac{1}{2}\sum_{i=1}^{n}{\sum_{j=1}^{n}{y_i y_j \alpha_i \alpha_j …

50 svm 

近年、畳み込みニューラルネットワーク（CNN）は、コンピュータービジョンにおけるオブジェクト認識の最先端技術になりました。通常、CNNは複数の畳み込み層で構成され、その後に2つの完全に接続された層が続きます。この背後にある直感は、畳み込み層が入力データのより良い表現を学習し、完全に接続された層がラベルのセットに基づいてこの表現を分類することを学習することです。 ただし、CNNが支配を開始する前は、サポートベクターマシン（SVM）が最先端でした。そのため、SVMは2層の完全に接続されたニューラルネットワークよりも依然として強力な分類器であると言えます。したがって、なぜ最新のCNNがSVMではなく完全に接続されたレイヤーを分類に使用する傾向があるのか​​疑問に思っていますか？このように、強力な特徴表現ではなく、強力な特徴表現と弱い分類子のみの両方の長所があります。 何か案は？

46 machine-learning  neural-networks  svm  deep-learning  conv-neural-network 

Gradient Descentには、Local Minimaで立ち往生する問題があります。グローバルミニマムを見つけるために、勾配降下法の指数関数的時間を実行する必要があります。 誰もが、長所と短所とともに、ニューラルネットワーク学習に適用される勾配降下法の代替案について教えてもらえますか？

46 machine-learning  svm  neural-networks 

サポートベクターマシンを使用する場合、RBFのような線形カーネルと非線形カーネルの選択に関するガイドラインはありますか？特徴の数が多くなると、非線形カーネルはうまく機能しない傾向があると聞いたことがあります。この問題に関する参照はありますか？

45 machine-learning  classification  svm  references  kernel-trick 

線形SVMを近似することで与えられる可変の重みを解釈しようとしています。 （私はscikit-learnを使用しています）： from sklearn import svm svm = svm.SVC(kernel='linear') svm.fit(features, labels) svm.coef_ これらの重みがどのように計算または解釈されるかを具体的に説明するドキュメントには何も見つかりません。 体重のサインはクラスと関係がありますか？

42 svm  feature-selection  python  scikit-learn 

誰かがいつSVMまたはLRを選択するかについて直観を教えてもらえますか？私は、2つの超平面を学習する最適化基準の違いは何かという背後にある直感を理解したいと思います。それぞれの目的は次のとおりです。 SVM：最も近いサポートベクトル間のマージンを最大化してください LR：事後クラス確率を最大化する SVMとLRの両方の線形特徴空間を考えてみましょう。 私がすでに知っているいくつかの違い： SVMは決定論的ですが（確率スコアにはプラッツモデルを使用できます）、LRは確率論的です。 カーネルスペースの場合、SVMの方が高速です（サポートベクターのみが格納されます）

37 regression  logistic  svm  optimization 

私のデータセットは小さい（120サンプル）が、特徴の数は（1000-200,000）と大きく異なる。機能のサブセットを選択するために機能の選択を行っていますが、それでも過剰に機能する可能性があります。 私の最初の質問は、SVMが過剰適合をどのように処理するかということです。 第二に、分類の場合の過剰適合についてさらに研究するにつれて、少数の特徴を持つデータセットでさえ過剰適合できるという結論に達しました。クラスラベルに関連付けられたフィーチャがない場合、とにかくオーバーフィットが行われます。クラスラベルに適した機能が見つからない場合、自動分類のポイントは何なのかと思っています。文書分類の場合、これはラベルに関連する単語のシソーラスを手動で作成することを意味し、非常に時間がかかります。私が言いたいことは、適切な機能を手で選ぶことなく、一般化モデルを構築することは非常に難しいと思いますか？ また、実験結果で結果のオーバーフィッティングが低/無であることを示さない場合、意味がなくなります。それを測定する方法はありますか？

37 classification  svm