タグ付けされた質問 「svm」

Rでkernlabパッケージを使用して、データを分類するためのSVMを構築しています。 SVMは適切な精度の「予測」を提供するという点でうまく機能していますが、入力変数のリストは私が望むよりも大きく、さまざまな変数の相対的な重要性についてはわかりません。 遺伝的アルゴリズムを実装して、最適に訓練された/最適なSVMを生成する入力変数のサブセットを選択したいと思います。 このGA実装を試行するときに使用するRパッケージを選択する際にいくつかの助けが必要です（そしておそらく簡単な疑似例）。 私はそこにあるほとんどのR GA / Pパッケージ（RGP、genalg、subselect、GALGO）を見てきましたが、フィットネス関数の一部としてksvm関数を渡し、人口プールとしての可変配列...？ 正しい方向への助け、考え、または微笑は感謝して受け取られました。 ありがとう 後の編集で以下に追加されたこれを解決するコード # Prediction function to be used for backtesting pred1pd = function(t) { print(t) ##add section to select the best variable set from those available using GA # evaluation function - selects the best indicators based on miminsied training error …

9 r  machine-learning  svm  genetic-algorithms 

かなり不均衡なデータにSVMを使用して予測モデルを構築しようとしています。私のラベル/出力には、ポジティブ、ニュートラル、ネガティブの3つのクラスがあります。ポジティブな例では、データの約10〜20％、ニュートラルでは約50〜60％、ネガティブでは約30〜40％になります。クラス間の誤った予測に関連するコストが同じではないため、クラスのバランスをとろうとしています。1つの方法は、トレーニングデータをリサンプリングし、元のデータセットよりも大きい、均等にバランスのとれたデータセットを作成することでした。興味深いことに、そうすると、他のクラスの予測が良くなる傾向があります（たとえば、データのバランスをとると、陽性クラスの例の数が増えましたが、サンプルの予測では、陰性クラスの方が優れていました）。誰もがこれが発生する理由を一般的に説明できますか？ネガティブクラスの例の数を増やすと、サンプルの予測外（たとえば、より良い予測）でポジティブクラスのようなものを取得できますか？ また、誤った分類に異なるコストを課すか、LibSVMでクラスの重みを使用することによって、不均衡なデータに対処する方法に関する他の考えにも非常にオープンです（適切に選択/調整する方法はわかりません）。

9 machine-learning  predictive-models  svm  unbalanced-classes 

素晴らしいlibsvmパッケージは、Pythonインターフェースと、分類子の精度を最大化する学習パラメーター（コストとガンマ）を自動的に検索するファイル「easy.py」を提供します。与えられた候補の学習パラメーターセット内で、精度は交差検証によって操作可能になりますが、これは交差検証の目的を損なうように感じます。つまり、データの過剰適合を引き起こす可能性のある方法で学習パラメーター自体を選択できる限り、より適切なアプローチは、検索自体のレベルで交差検証を適用することだと思います：検索を実行しますトレーニングデータセットで、別のテストデータセット内で評価することにより、最終的に選択された学習パラメーターから得られるSVMの最終的な精度を評価します。または、ここで何か不足していますか？

9 cross-validation  svm 

そのため、ハミング距離を使用して生体認証特性から個人を認証しようとしている16のトライアルがあります。しきい値は3.5に設定されています。私のデータは以下であり、トライアル1のみが真陽性です。 Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 11 0.42 12 0.37 13 0.66 14 0.39 15 0.44 16 0.39 私の混乱のポイントは、このデータからROC曲線（FPR対TPR OR FAR対FRR）を作成する方法が本当にわからないということです。どちらでもかまいませんが、どうやって計算するのか混乱しています。任意の助けいただければ幸いです。

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

私はScikit学習を使用してSVMバイナリ分類器をトレーニングしています。 私の問題の性質上、私は偽陰性を避ける必要があります。何も無料ではないので、偽陰性の数を減らすために偽陽性率を高くしても大丈夫です。どうすればそれができますか（理想的にはScikit学習で） つまり、SVM分類器を使用して偽陰性を最小限に抑えるにはどうすればよいでしょうか。偽陰性よりも偽陽性を優先するためにハイパーパラメータを調整する方法はありますか？

9 machine-learning  cross-validation  svm  python  scikit-learn 

心理学の研究では、単一のデータセットでいくつかの仮説をテストする場合、ボンフェローニ法を使用して有意水準を調整する必要があることを学びました。 現在、分類のためにサポートベクターマシンやランダムフォレストなどの機械学習手法を使用しています。ここに、最高の精度をもたらす最良のパラメーター（SVMのカーネルパラメーターなど）を見つけるために交差検証で使用される単一のデータセットがあります。 私の直感は、それが同様の問題であると言っています（そしておそらく完全にオフになっています）。考えられるパラメーターの組み合わせの数が多すぎると、素晴らしい結果が得られる可能性が高くなります。しかし、これは単なる偶然かもしれません。 私の質問を要約すると： 機械学習では、分類器の適切なパラメーターを見つけるために交差検証を使用します。使用するパラメーターの組み合わせが多いほど、偶然に大きな組み合わせを見つける可能性が高くなります（オーバーフィット？）。ボンフェローニ修正の背後にある概念はここにも適用されますか？別の問題ですか？もしそうなら、なぜですか？

9 machine-learning  cross-validation  svm  overfitting  bonferroni 

私の同僚と私は、ロジスティック回帰とSVMの違いに頭を抱えようとしています。明らかに、それらは異なる目的関数を最適化しています。SVMは、ヒンジ損失を単に最適化する判別型分類器であると言うほど簡単ですか？それともそれよりも複雑ですか？サポートベクターはどのように機能しますか？スラック変数はどうですか？シグモイドアクティベーション関数を使用したディープニューラルネットワークを構築できないのに、ディープSVMを導入できないのはなぜですか？

9 regression  logistic  svm  max-margin 

約3000の正のインスタンスと3000の負のインスタンスのトレーニングセットがあります。しかし、私のテストデータセットはほとんどバランスが取れていません。正のセットには50個のインスタンスしかなく、負のセットには1500個のインスタンスがあります。これにより、精度が非常に低くなります。この問題を解決する方法はありますか？SVMを使用して分類子を作成します。

9 machine-learning  classification  data-mining  svm 

統計学についてのヴァプニクの本を見ました...最初のいくつかの章を読みました。とにかく私を最も驚かせたのは、オッカムのかみそりは時代遅れだと彼が思ったということでした。 私はそれが高い次元を想定するとフィットが大幅に改善される状況に関連していると思いました。 わかりましたか？OccamのかみそりがVapnikが言ったように正しくないことができないのは正しいですか？ Occamのかみそりをデフォルトと見なすべきではないという議論はありますか？ 正確な文は、序文から第2版のThe Nature of Statistical Learningにあります。 本の初版からの年月はまた、帰納問題の性質の理解における一般的な哲学を変えました。SVMで多くの実験が成功した後、研究者たちはOccamのかみそりの原理に基づいた一般化の古典的な哲学に対する批判にさらに強くなりました。」 私は誰かがオッカムのかみそりに関する批判について詳しく説明できればいいのにと思います。

9 machine-learning  svm 

確率的マルチクラス分類器の場合、各クラスへの新しい点メンバーシップの確率を取得できます。3つのクラスの場合、得られると仮定します。したがって、の最も可能性の高いクラスはです。今、私たちはの会員のスコアを取得することができ、マルチクラスSVMがあるとし（hyperlinesからの距離に応じて）各クラスにします。3クラスの場合には、我々が入手したとする、どのようにこの場合の最も可能性の高い2番目、3番目、最初のクラスである（これらを変換せずに確率から得点）？通常私は例えばのように正と負の値を取得しますy i P （y a | x ）> P （y b | x ）> P （y c | x ）y a x S c o r e （y a | x ）、S c o r e （y b | x ）、S c o r e （y cバツxxy私yiy_iP（ya| x）>P（yb| x）>P（yc| x）P(ya|x)>P(yb|x)>P(yc|x)P(y_a|x) …

9 probability  classification  svm  unsupervised-learning  uncertainty 

ソフトマージンSVMコスト/損失関数のさまざまな定義を主形式で調整しようとしています。理解できない「max（）」演算子があります。 SVMについては、Tan、Steinbach、およびKumarによる2006年の学部レベルの教科書「Introduction to Data Mining」で2006年に学びました。第5章のp。267-268。max（）演算子については言及されていないことに注意してください。 これは、最適化問題の制約に正の値のスラック変数（）を導入することで実行できます。...修正された目的関数は次の方程式で与えられます。ξξ\xi f(w)=∥w∥22+C(∑Ni=1ξ)kf(w)=‖w‖22+C(∑i=1Nξ)k f(\mathbf{w}) = \frac{\left \| \mathbf{w} \right \|^2}{2} + C(\sum_{i=1}^{N} \xi)^k ここで、CCCとkkkはユーザー指定のパラメーターであり、トレーニングインスタンスの誤分類のペナルティを表します。このセクションの残りの部分では、問題を簡単にするためにkkk = 1 と仮定します。パラメータCCCは、検証セットでのモデルのパフォーマンスに基づいて選択できます。 したがって、この制約付き最適化問題のラグランジアンは次のように書くことができます。 Lp=∥w∥22+C(∑Ni=1ξ)k−∑Ni=1λi(yi(w⋅xi+b)−1+ξi)−∑Ni=1μiξiLp=‖w‖22+C(∑i=1Nξ)k−∑i=1Nλi(yi(w⋅xi+b)−1+ξi)−∑i=1Nμiξi L_{p} = \frac{\left \| \mathbf{w} \right \|^2}{2} + C(\sum_{i=1}^{N} \xi)^k - \sum_{i=1}^{N} \lambda_i (y_i (\mathbf{w} \cdot \mathbf{x_i} + b) - 1 + \xi_i) - \sum_{i=1}^{N} \mu_i \xi_i …

9 machine-learning  classification  svm  data-mining  loss-functions 

SVMはロジスティック回帰のゼロ温度限界であると述べた知識のある友人と最近、簡単な議論がありました。理論的根拠には、限界ポリトープとフェンシェル双対性が含まれていました。フォローできませんでした。 SVMがロジスティック回帰のゼロ温度限界であるというこの説明は正しいですか？もしそうなら、誰かが議論を説明できますか？

8 logistic  svm  graphical-model  exponential-family  maximum-entropy 

上の画像を参照してください。明らかに、円は2つのクラスを分けることができます（左の画像）。なぜそれを関数にマップして線形分離可能にするためにそれほど苦労するのですか（右の画像）？ 誰か説明していただけますか？私は本当にウェブやYouTubeで講義を見つけることができませんでした

8 machine-learning  classification  svm  separation 

私は数字認識に非常に慣れていないので、多くのチュートリアルがSVM分類を使用していることに気づきました。たとえば、 http://hanzratech.in/2015/02/24/handwritten-digit-recognition-using-opencv-sklearn-and-python.html http://scikit-learn.org/stable/auto_examples/classification/plot_digits_classification.html たとえば、ツールと比較して、そのツールに（ドメイン固有の）利点があるかどうかを知りたい ディープラーニングニューラルネットワーク k-meansに基づく分類 コメントありがとうございます。また、SVMが数字を認識するための間違ったツールである理由も明確化されます。

8 svm  deep-learning  k-means  pattern-recognition  image-processing 

SVDを適用する前に欠損値を処理する方法に関する素晴らしいコメントを読みましたが、簡単な例でどのように機能するか知りたいです。 Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 上記のマトリックスを考えると、NAの値を削除すると、User2とUser5しかなくなります。これは、私のUが2×kになることを意味します。しかし、欠損値を予測する場合、Uは5×kである必要があります。これは、特異値とVで乗算できます。 上記のマトリックスで、最初に欠損値のあるユーザーを削除してからSVDを適用して、欠損値を記入する人はいますか？数学記号を使いすぎずに、適用した手順の非常に簡単な説明を提供し、答えを実用的なものにしてください（つまり、数値に別の数値を掛けると答えが得られます）。 次のリンクを読みました。 stats.stackexchange.com/q/33142 stats.stackexchange.com/q/31096 stats.stackexchange.com/q/33103

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning