SVM =テンプレートマッチングとは

私はSVMについて読み、それらが最適化問題を解決していて、最大マージンのアイデアが非常に合理的であることを学びました。

現在、カーネルを使用することで、非線形の分離境界でさえも見つけることができました。

これまでのところ、SVM（特別なカーネルマシン）とカーネルマシンがニューラルネットワークとどのように関連しているか、私にはまったくわかりません。

Yann Lecunのコメントを検討してください=> ここ：

kernel methods were a form of glorified template matching

そしてここも：

たとえば、一部の人々は、それに伴うかわいい数学のために、カーネルメソッドに夢中です。しかし、以前に言ったように、結局のところ、カーネルマシンは「見栄えの良いテンプレートマッチング」を実行する浅いネットワークです。これには何の問題もありませんが（SVMは優れた方法です）、私たち全員が知っておくべき悲惨な制限があります。

だから私の質問は：

1. SVMはニューラルネットワークとどのように関連していますか？浅いネットワークはどうですか？
2. SVMは明確に定義された目的関数で最適化問題を解決しますが、テンプレートマッチングはどのように行われますか？ここで入力が照合されるテンプレートは何ですか？

これらのコメントには、高次元空間、ニューラルネット、カーネルマシンの完全な理解が必要だと思いますが、これまでのところ、私は試みており、その背後にあるロジックを把握できませんでした。しかし、2つの非常に異なるmlテクニック間の関係に注目するのは確かに興味深いことです。

編集：ニューラルの観点からSVMを理解することは素晴らしいことだと思います。線形SVMとカーネルトリックを備えたSVMの両方の場合の、SVMとニューラルネット間のリンクを本当に理解するために、上記の2つの質問に対する完全な数学支援の答えを探しています。

1. SVMはニューラルネットワークとどのように関連していますか？浅いネットワークはどうですか？

SVMは単一層ニューラルネットワークで、ヒンジ損失を損失関数として使用し、線形活性化のみを行います。この概念は、次のような以前のスレッドでほのめかされています。RelUアクティベーションがSVMと等しい単一層のNeuralNetwork？

2. SVMは明確に定義された目的関数で最適化問題を解決しますが、テンプレートマッチングはどのように行われますか？ここで入力が照合されるテンプレートは何ですか？

グラムマトリックス（必要に応じてカーネルマトリックス）は類似性の尺度です。SVMはスパースソリューションを許可するので、予測はサンプルとテンプレート、つまりサポートベクターを比較することになります。