線形パーセプトロン回帰とLS線形回帰の違いは何ですか？

最近、私が関わっているプロジェクトでは、線形パーセプトロンを多重（21予測子）回帰に利用しました。確率論的GDを使用しました。これは、OLS線形回帰とどう違うのですか？

regression machine-learning

— サイモン・クアン
ソース

Perceptronあなたがにリンククラスは、分類器（バイナリ出力）ではなく回帰（連続出力）のためです。それはあなたが使用した実際のコードですか？もしそうなら、それは違いです。:)

— Dougal 2015年

@Dougal、それはまだかかわらず、GLMS間でカウント：scikit-learn.org/stable/...を

— サイモン客運

@Dougal：を使用してL2に最適化した（G）LMがあるとしますSGDRegressor。これは線形回帰と同等ですか？

— Simon Kuang 2015年

はい、一部のGLMは分類子です。を使用した場合SGDRegressor(loss='squared_loss', penalty='none')、それはOLSです。

— Dougal 2015年

scikit-learnのPerceptronクラス（と同等SGDClassifier(loss="perceptron", penalty=None, learning_rate="constant", eta0=1)）は、次の目的関数を使用します：この場合、です。に正しい符号があれば、損失は発生しません。そうでなければ、それは線形損失を与えます。特にパーセプトロンは一定の学習率を使用しているため、一部の最適化がおかしくなります。

\frac{1}{N} \sum_{i = 1}^{N} max (0, - y_{i} w^{T} x_{i}) .

$\frac{1}{N} \sum_{i=1}^N \max(0, - y_i w^T x_i).$

y_{i} \in {- 1, 1}

$y_i \in \{-1, 1\}$

w^{T} x_{i}

$w^T x_i$

対照的に、最小二乗回帰ではここで、は任意の実数にすることができます。必要に応じて分類ターゲットをできますが、非常に優れたモデルにはなりません。必要に応じて、これを最適化できます。

\frac{1}{N} \sum_{i = 1}^{N} (y_{i} - w^{T} x_{i})^{2} .

$\frac{1}{N} \sum_{i=1}^N (y_i - w^T x_i)^2.$

y_{i}

$y_i$

{- 1, 1}

$\{-1, 1\}$ SGDRegressor(loss="squared_loss", penalty=None)

2つは根本的に異なるモデルを定義します。パーセプトロンはでバイナリクラスラベルを予測しますが、線形回帰は実際の値を予測します。この回答では、回帰アルゴリズムを使用して分類問題を解こうとすると問題が発生する理由について説明します。 $\mathrm{sign}(w^T x_i)$ $w^T x_i$

— ドゥガル
ソース