回答:
それはそれほど単純ではありません。まず第一に、SVMは、ある意味、一種のニューラルネットワークです（逆伝播を通じてSVMソリューションを学ぶことができます）。参照してください* *ニューラルネットワークとは何ですか？。2つ目は、どのモデルがより適切に機能するかを事前に知ることはできませんが、SVMまたはRFをCNNの最後の非表示レイヤーのアクティブ化にアタッチしながら、重みをエンドツーエンドで学習できる完全にニューロモーフィックなアーキテクチャです。単にその場限りの手順です。テストを行わないと、パフォーマンスが向上する場合とそうでない場合があります。
重要な部分は、完全にたたみ込みのアーキテクチャーが表現学習に対応できることです。これは、無数の理由で役立ちます。一度は、問題の機能エンジニアリングを完全に削減または排除する可能性があります。
FCレイヤーについては、数学的には1x1畳み込みレイヤーと同等です。Yann Lecunの投稿を参照してください。
たたみ込みネットには、「完全に接続されたレイヤー」などはありません。1x1たたみ込みカーネルと完全な接続テーブルを持つたたみ込み層のみがあります。
ConvNetが固定サイズの入力を必要としないことは、あまり理解されていない事実です。たまたま単一の出力ベクトル（空間範囲なし）を生成する入力でそれらをトレーニングしてから、より大きな画像に適用できます。単一の出力ベクトルの代わりに、出力ベクトルの空間マップを取得します。各ベクトルは、入力の異なる場所にある入力ウィンドウを参照します。
そのシナリオでは、「完全に接続されたレイヤー」は実際には1x1のたたみ込みとして機能します。
ノーフリーランチの定理（WolpertとMacready）を知っていれば、1つの分類子にこだわることがなく、なぜそれが最良ではないのかと尋ねるでしょう。NFLの定理は、基本的に「すべてのコスト関数の世界には、最良の分類子は存在しない」と述べています。次に、分類子のパフォーマンスは常に「データに依存します」。
みにくいアヒルの子の定理（渡辺）は、「すべての機能セットの宇宙に、機能の誰最高のセットはありません。」という、本質的に述べて
上記とOccamのRazorを考慮して、データやコスト関数とは無関係に、他の何よりも優れているものはありません。
私は常に、CNN自体は多様性（κ対エラー）を評価できる分類器のアンサンブルではないと主張してきました。