ReLUアクティベーションがSVMと等しい単一層のNeuralNetwork？

n個の入力と1つの出力（バイナリ分類タスク）を持つ単純な単一層ニューラルネットワークがあるとします。出力ノードでアクティベーション関数をシグモイド関数として設定すると、結果はロジスティック回帰分類器になります。

この同じシナリオで、出力のアクティブ化をReLU（修正線形ユニット）に変更した場合、結果の構造はSVMと同じか、または類似していますか？

なぜではないのですか？

ReLUを思い起こさせるのは、SVM のヒンジ損失かもしれませんが、この損失によって出力アクティブ化関数が非負（ReLU）になることはありません。$E = max(1-ty,0)$

ネットワーク損失がSVMと同じ形式になるようにするには、出力層から非線形活性化関数を削除し、ヒンジ損失を逆伝搬に使用するだけです。

さらに、ヒンジ損失を（ヒンジ損失の滑らかなバージョンのように見えるに置き換えると、典型的なシグモイド+クロスエントロピーネットワークとしてロジスティック回帰を実行します。シグモイド関数を出力層から損失に移動すると考えることができます。$E = ln (1 + exp(−ty))$

したがって、損失関数に関しては、SVMとロジスティック回帰はかなり似ていますが、SVMはサポートベクトルに基づいてトレーニングと推論に非常に異なるアルゴリズムを使用します。

本「パターン認識と機械学習」のセクション7.1.2に、SVMとロジスティック回帰の関係についての素晴らしい議論があります。