「カーネルトリック」を線形メソッドに適用しますか？

カーネルトリックは、いくつかの機械学習モデル（例えばに使用されているSVM）。1964年に「パターン認識学習における潜在的な関数法の理論的基礎」論文で初めて紹介されました。

ウィキペディアの定義によれば、

線形分類アルゴリズムを使用して、元の非線形観測値を高次元空間にマッピングすることにより非線形問題を解決する方法。線形分類はその後使用されます。これにより、新しい空間での線形分類が元の空間での非線形分類と同等になります。

非線形問題に拡張された線形モデルの一例は、カーネルPCAです。カーネルトリックを任意の線形モデルに適用できますか、または特定の制限がありますか？

machine-learning kernel-trick

— シェーン
ソース

ところで、カーネルはSVMにとって本当に重要ではありません。SVMの「ハート」は、ソフトマージン最大化の原則です。カーネル表現に進むと、問題の次元がO（d）ではなくO（m ^ 2）になります。mは例の数、dは特徴空間の次元です。したがって、m ^ 2がdより大きい場合、カーネルを廃止する

— ヤロスラフ

@Yaroslav：参照いただきありがとうございます。その「修正された有限ニュートン法」の実装を知っていますか？

— シェーン

彼らは両方のヤフーリサーチで働いていたことから、いや、しかしKeerthiとラングフォードのページには、関連している可能性があり、いくつかのソフトウェアへのリンクを持っている

— ヤロスラフBulatov

回答:

カーネルトリックは、問題の定式化の例がドット積（サポートベクターマシン、PCAなど）として表示される線形モデルにのみ適用できます。

— 黒檀1
ソース

答えてくれてありがとう。@mbq @ ebony1：IMOでは、より多くのコミュニティを引き付けるために、より深刻な機械学習の質問をサイトに投稿する努力をする必要があります。

— シェーン

@Shane私は完全に同意しますが、metaoptimize.com / qaのような他のSOサイトはどうですか？

— -chl

@chl：これもオプションですが、StackExchangeの一部ではありません（1人のユーザーと異なるソフトウェアで制御されます）。個人的には、これらの異なるデータ分析コミュニティを1か所に集めたいと思います。

— シェーン

@Shaneまあ、それは理にかなっています。

— chl

機械学習スタック交換提案エリア51.stackexchange.com/proposals/7607/machine-learning

— ヤロスラフ・

B.Schölkopfからのさらに2つの参照：

Schölkopf、B. and Smola、AJ（2002）。カーネルで学習します。MIT Press。
Schölkopf、B。、津田、K。、およびVert、J.-P。（2004）。計算生物学におけるカーネル法。MIT Press。

そして、カーネルマシン専用のウェブサイト。

— chl
ソース

@ ebony1はキーポイント（+1）を与えます。私は、ロジスティック回帰やポアソン回帰などの一般化線形モデルをカーネル化する方法を議論する論文の共著者でした。

GC Cawley、GJ JanacekおよびNLC Talbot、Generalized kernel machines、Proceedings of the IEEE / INNS International Joint Conference on Neural Networks（IJCNN-2007）、1732-1737、Orlando、Florida、USA、August 12-17、2007。（www、pdf）

私はまた、あなたが見つけることができる（研究の質）MATLABツールボックス（悲しいことなし命令）、書いたここに。

ターゲット分布をモデル化できることは、不確実性の定量化などで非常に有用であるため、カーネルの学習方法への有用な（かなり増分的な場合）追加です。

— ディクラン・マースピアル
ソース