サポートベクターマシンに対する人工ニューラルネットワークの利点は何ですか？[閉まっている]

ANN（人工ニューラルネットワーク）とSVM（サポートベクターマシン）は、教師あり機械学習と分類の2つの一般的な戦略です。特定のプロジェクトにどちらの方法が適しているかはよくわからないことが多く、答えは常に「依存している」と確信しています。多くの場合、両方の組み合わせとベイジアン分類が使用されます。

Stackoverflowに関するこれらの質問は、ANNとSVMに関してすでに尋ねられています。

ANNおよびSVM分類

分類の質問におけるANN、SVM、KNNの違い

テキスト処理用のサポートベクターマシンまたは人工ニューラルネットワーク？

この質問では、ANN（具体的には、マルチレイヤーパーセプトロン）のどの側面がSVMを介して使用することが望ましいと思われるかを具体的に知りたいのですが？私が尋ねる理由は、反対の質問に答えるのが簡単だからです。サポートベクターマシンは、ANNの2つの主要な弱点を回避するため、ANNより優れていることがよくあります。

（1）ANN は、グローバルな最小値ではなくローカルな最小値に収束することがよくあります。つまり、ANN は、本質的に「全体像を見落としている」（または森の森を見逃している）ことを意味します

（2）トレーニングが長すぎると、ANNはしばしばオーバーフィットします。つまり、特定のパターンについて、ANNはノイズをパターンの一部と見なし始める可能性があります。

SVMはこれらの2つの問題のどちらにも悩まされません。ただし、SVMがANNの完全な代替になることを意図していることはすぐにはわかりません。それでは、ANNはSVMに対して特定の利点を持っているため、特定の状況に適用できる可能性があります。ANNに対するSVMの特定の利点を挙げましたが、ANNの利点（ある場合）のリストを確認したいと思います。

あなたが提供する例から判断すると、私はANNとは、多層パーセプトロンなどの多層フィードフォワードネットワーク（略してFFネット）を意味すると想定しています。これは、SVMと直接競合しているためです。

これらのモデルがSVMよりも優れている点の1つは、サイズが固定されていることです。これらはパラメトリックモデルですが、SVMはノンパラメトリックモデルです。つまり、ANNには、サイズがh ₁からh _nの一連の隠れ層があります。フィーチャの数とバイアスパラメータに応じて、モデルを構成します。対照的に、SVM（少なくともカーネル化されたもの）は、トレーニングセットから選択されたサポートベクトルのセットで構成され、それぞれに重みがあります。最悪の場合、サポートベクトルの数はトレーニングサンプルの数とまったく同じです（ただし、主に小さなトレーニングセットまたは縮退したケースで発生します）。一般に、モデルサイズは線形にスケーリングされます。自然言語処理では、それぞれ数十万の特徴を持つ数万のサポートベクトルを持つSVM分類子は、前例のないものではありません。

また、FFネットのオンライントレーニングは、オンラインSVMフィッティングと比較して非常に簡単であり、予測はかなり高速になる可能性があります。

編集：上記のすべては、カーネル化されたSVMの一般的なケースに関係します。彼らはそれに線形SVMは特殊なケースですされ、パラメトリックと、このような確率的勾配降下法などの単純なアルゴリズムとオンライン学習を可能にします。

サポートベクターマシンに対する人工ニューラルネットワークの明らかな利点の1つは、サポートベクターマシンには1つしかありませんが、人工ニューラルネットワークには任意の数の出力がある可能性があることです。サポートベクターマシンでn-ary分類器を作成する最も直接的な方法は、n個のサポートベクターマシンを作成し、それぞれを1つずつトレーニングすることです。一方、ニューラルネットワークを備えたn値分類器は、一度にトレーニングできます。さらに、ニューラルネットワークは全体として1つであるため、より意味があり、サポートベクターマシンは分離されたシステムです。これは、出力が相互に関連している場合に特に役立ちます。

たとえば、手書きの数字を分類することが目的の場合、10個のサポートベクターマシンが分類します。各サポートベクターマシンは1桁のみを認識し、他のすべての数字は認識しません。手書きの各数字は、そのクラス以外の情報を保持するためのものではないので、人工ニューラルネットワークでこれを解決しようとしても意味がありません。

ただし、最終的な食事からの時間、心拍数などの簡単に測定できる生理学的要因の関数として、人のホルモンバランス（いくつかのホルモンについて）をモデル化することが目標であるとします...これらの要因はすべて相互に関連しているため、人工神経ネットワーク回帰は、サポートベクターマシン回帰よりも理にかなっています。

注意すべき点の1つは、2つは実際には非常に関連しているということです。線形SVMは単層NN（つまり、パーセプトロン）と同等であり、多層NNはSVMで表すことができます。詳細については、こちらをご覧ください。

カーネルSVMを使用する場合は、カーネルを推測する必要があります。ただし、ANNは普遍的な近似器であり、幅（近似精度）と高さ（近似効率）を推測するだけです。最適化問題を正しく設計すれば、適合しすぎません（適合性については参考文献を参照してください）。また、検索スペースを正確かつ均一にスキャンするかどうかは、トレーニング例にも依存します。幅と深さの発見は整数プログラミングの主題です。

たとえば、範囲がI = [0,1]で、範囲付きの関数f（。）と範囲付きのユニバーサル近似器を、範囲I = [0,1]で再びバインドし、コンパクトサポートU（。、a）の実際のシーケンスによってパラメーター化されているとします。シーケンスのシーケンスが存在するプロパティ

lim sup { |f(x) - U(x,a(k) ) | : x } =0

そして、あなたは例とテスト(x,y)を上の分布Dで描きますIxI。

処方されたサポートについて、あなたがすることはそのような最良のものを見つけることです

sum {  ( y(l) - U(x(l),a) )^{2} | : 1<=l<=N } is minimal

これa=aaを確率変数としましょう！

平均使用 D and D^{N} of ( y - U(x,aa) )^{2}

aaエラーを最小限に抑えるように選択した場合、まれな値のセットに対して完全に適合する理由を説明しましょう。ただし、それらはまれであるため、平均が0になることはありません。Dの離散近似がある場合でも、秒を最小化する必要があります。また、サポートの長さは自由であることを覚えておいてください。

私がここで見逃している1つの答え：多層パーセプトロンは、フィーチャ間の関係を見つけることができます。たとえば、コンピュータビジョンでは、生の画像が学習アルゴリズムに提供され、高度な機能が計算されるときに必要になります。基本的に、中間レベルは新しい未知の機能を計算できます。

また、SVMシステムは、ラベルの付いたグラフや文字列のセットなどの非計量空間に直接適用できることも考慮する必要があります。実際、カーネルの正定性の要件が満たされていれば、内部カーネル関数を事実上あらゆる種類の入力に適切に一般化できます。一方、ラベル付きグラフのセットでANNを使用できるようにするには、明示的な埋め込み手順を検討する必要があります。