タグ付けされた質問 「kernel-trick」

主成分分析（PCA）を実行した後、新しいベクトルをPCA空間に投影します（つまり、PCA座標系で座標を見つけます）。 を使用してR言語でPCAを計算しましたprcomp。これで、ベクトルにPCA回転行列を掛けることができるはずです。このマトリックスの主成分を行または列に配置する必要がありますか？

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

カーネルトリックは、いくつかの機械学習モデル（例えばに使用されているSVM）。1964年に「パターン認識学習における潜在的な関数法の理論的基礎」論文で初めて紹介されました。 ウィキペディアの定義によれば、 線形分類アルゴリズムを使用して、元の非線形観測値を高次元空間にマッピングすることにより非線形問題を解決する方法。線形分類はその後使用されます。これにより、新しい空間での線形分類が元の空間での非線形分類と同等になります。 非線形問題に拡張された線形モデルの一例は、カーネルPCAです。カーネルトリックを任意の線形モデルに適用できますか、または特定の制限がありますか？

20 machine-learning  kernel-trick 

マテルン共分散関数は、一般にガウス過程のカーネル関数として使用されます。このように定義されます Cν(d)=σ221−νΓ(ν)(2ν−−√dρ)νKν(2ν−−√dρ)Cν(d)=σ221−νΓ(ν)(2νdρ)νKν(2νdρ) {\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}} ここで、は距離関数（ユークリッド距離など）、はガンマ関数、は第2種の修正ベッセル関数、およびは正のパラメーターです。は、実際にはまたはに選ばれた多くの時間です。dddΓΓ\GammaKνKνK_\nuρρ\rhoνν\nuνν\nu3232\frac{3}{2}5252\frac{5}{2} 多くの場合、このカーネルは「滑らかではない」ため標準のガウスカーネルよりもうまく機能しますが、それ以外に、このカーネルを好む他の理由はありますか？それがどのように振る舞うかについてのいくつかの幾何学的な直観、または一見不可解な式の説明は高く評価されるでしょう。

19 spatial  gaussian-process  kernel-trick 

Gaussian Radial Basis Function（RBF）で線形回帰を行うこととGaussianカーネルで線形回帰を行うことの違いは何ですか？

18 regression  normal-distribution  kernel-trick 

Primal、Dual、およびKernel Ridge回帰の違いは何ですか？人々は3つすべてを使用していますが、異なるソースで誰もが使用する表記法が異なるため、私が従うことは困難です。 だから誰かが簡単な言葉でこれら3つの違いを教えてもらえますか？さらに、それぞれの長所または短所は何ですか？また、その複雑さは何ですか？

18 regression  kernel-trick  ridge-regression 

カーネルSVDを使用してデータ行列を分解する論文にアルゴリズムを実装したい。そのため、カーネルメソッドやカーネルPCAなどに関する資料を読んでいます。しかし、特に数学的な詳細に関しては非常にわかりにくいので、いくつか質問があります。 カーネルメソッドを使用する理由 または、カーネルメソッドの利点は何ですか？直感的な目的は何ですか？ 非カーネル法と比較して、実世界の問題でははるかに高い次元空間がより現実的であり、データ内の非線形関係を明らかにできると仮定していますか？資料によると、カーネルメソッドは、データを高次元の特徴空間に投影しますが、新しい特徴空間を明示的に計算する必要はありません。代わりに、特徴空間内のデータポイントのすべてのペアの画像間の内積のみを計算すれば十分です。では、なぜ高次元の空間に投影するのでしょうか？ それどころか、SVDは機能スペースを削減します。なぜ彼らは異なる方向でそれを行うのですか？カーネルメソッドはより高い次元を求め、SVDはより低い次元を求めます。私には、それらを組み合わせるのは奇妙に聞こえます。私が読んでいる論文（Symeonidis et al。2010）によると、SVDの代わりにカーネルSVDを導入すると、データのスパース性の問題に対処でき、結果が改善されます。 図の比較から、KPCAがPCAよりも高い分散（固有値）の固有ベクトルを取得していることがわかります。固有ベクトルへの点の射影の最大差（新しい座標）については、KPCAは円であり、PCAは直線であるため、KPCAはPCAよりも大きな分散を取得します。それで、それはKPCAがPCAよりも高い主成分を取得するということですか？

18 pca  svd  kernel-trick 

した場合、カーネルPCA I線形カーネルの選択、結果が異なることになるだろう通常の線形PCA？ソリューションは根本的に異なりますか、または明確に定義された関係が存在しますか？K（x、y）= x⊤yK(x,y)=x⊤yK(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y

17 pca  kernel-trick 

SVMのRBFカーネルの機能を理解するにはどうすればよいですか？私は数学を理解しているという意味ですが、このカーネルがいつ役に立つのかを知る方法はありますか？ RBFにはベクトル距離が含まれているため、kNNの結果はSVM / RBFに関連しますか？ 多項式カーネルの感覚を得る方法はありますか？私は次元が高ければ高いほど、それがウィグリーであることを知っています。しかし、可能性のあるすべてのカーネルを試して最も成功したものを選ぶのではなく、カーネルが何をするのか直観を得たいと思います。

17 svm  kernel-trick 

一般的な質問の詳細。予測モデリングのためにrbf SVMを実行しています。私の現在のプログラムには間違いなく少しスピードアップが必要だと思います。私はscikitを使用して、粗いグリッドから細かいグリッドの検索とクロス検証を行います。 各SVMの実行には約1分かかりますが、すべての反復を行っても、まだ遅いと感じています。最終的に複数のコアでクロス検証部分をマルチスレッドすると仮定すると、プログラムを高速化するための推奨事項はありますか？SVMのより高速な実装はありますか？GPU SVMについて聞いたことがありますが、あまり掘り下げていません。ユーザーは誰ですか？それは速いですか？

16 machine-learning  svm  predictive-models  scikit-learn  kernel-trick 

カーネルSVMの背後にある直感を理解しようとしています。今、私は線形SVMがどのように機能するかを理解します。それにより、データを可能な限り分割する決定ラインが作成されます。また、データをより高次元の空間に移植する背後にある原理と、この新しい空間で線形決定ラインを見つけやすくする方法を理解しています。私が理解していないのは、この新しいスペースにデータポイントを投影するためにカーネルがどのように使用されるかです。 カーネルについて知っていることは、2つのデータポイント間の「類似性」を効果的に表しているということです。しかし、これはどのように投影に関連していますか？

15 machine-learning  svm  kernel-trick 

ガウス過程回帰は、（おそらく）無限量の基底関数を持つベイズ線形回帰に対応する（GPR）とよく言われます。私は現在、GPRを使用してどのようなモデルを表現できるかについての直感を得るために、これを詳細に理解しようとしています。 これはGPRを理解しようとする良いアプローチだと思いますか？ ブック内の機械学習のためのガウスプロセスラスムッセンとウィリアムズショーはガウスプロセスのセットがパラメータ化指数乗にカーネルによって記載されたもの等価前信念とベイズ回帰として説明することができるW〜N（0、σ 2 のp I）の重みに、フォームの基底関数の無限量φC（X;L）=EXP（- （x−c）2k （x 、x′; l ）= σ2pexp（ − （x − x ）22 リットル2）k（バツ、バツ′;l）=σp2exp⁡（−（バツ−バツ）22l2）k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)ワット〜N（0 、σ2p私）w〜N（0、σp2私）w \sim \mathcal{N}(0,\sigma_p^2 I) したがって、カーネルのパラメーター化は、基底関数のパラメーター化に完全に変換できます。ϕc（x ; l ）= exp（ − （x − c ）22 リットル2）ϕc（バツ;l）=exp⁡（−（バツ−c）22l2）\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right) 微分可能カーネルのパラメーター化は、常に事前関数と基底関数のパラメーター化に変換できますか、または基底関数の数が構成に依存する微分可能カーネルがありますか？ k （x 、x′）k（バツ、バツ′）k(x,x')k （x 、x′）= ∑i = 1∞λ私ϕ私（x ）ϕ私（x′）k（バツ、バツ′）=∑私=1∞λ私ϕ私（バツ）ϕ私（バツ′）k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')ϕ私ϕ私\phi_iワット〜N（0 、diag （[ λ21、… ] ）））w〜N（0、診断（[λ12、…]））w …

14 gaussian-process  kernel-trick  basis-function 

動径基底関数k （x 、y ）= exp （− | | x − y | | 2）に対してそれを証明する方法k(x,y)=exp(−||x−y||2)2σ2)k(x,y)=exp⁡(−||x−y||2)2σ2)k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})いかなる有限次元の特徴空間がないHHH一部のように、Φ:Rn→HΦ:Rn→H\Phi: \text{R}^n \to H我々は？k(x,y)=⟨Φ(x),Φ(y)⟩k(x,y)=⟨Φ(x),Φ(y)⟩k(x, y) = \langle \Phi(x), \Phi(y)\rangle

14 machine-learning  svm  kernel-trick 

私は最近、カーネルトリックの使用について学びました。カーネルトリックは、これらの次元のデータを線形化するために、データを高次元の空間にマップします。このテクニックの使用を避けるべきケースはありますか？適切なカーネル関数を見つけるだけの問題ですか？ 線形データの場合、これはもちろん有用ではありませんが、非線形データの場合、これは常に有用であると思われます。線形分類器の使用は、トレーニング時間とスケーラビリティの点で非線形よりもはるかに簡単です。

13 machine-learning  svm  kernel-trick  heuristic 

カーネル関数に依存する多くの機械学習アルゴリズムがあるようです。SVMとNNの名前は2つですが。それでは、カーネル関数の定義と、それが有効であるための要件は何ですか？

13 svm  terminology  kernel-trick 

2つのカーネル関数の個別の積がカーネル関数であることをどのように証明できますか？

13 machine-learning  kernel-trick