ロジスティック回帰が線形分類器であるのはなぜですか？

ロジスティック関数を使用して入力の線形結合を非線形出力に変換しているので、ロジスティック回帰を線形分類器とみなすにはどうすればよいですか？

線形回帰は、隠れ層のないニューラルネットワークのようなものです。なぜニューラルネットワークは非線形分類器と見なされ、ロジスティック回帰は線形なのでしょうか。

ロジスティック回帰は、予測を したがって、予測は線形関数であるに関して記述できます。（より正確には、予測された対数オッズは線形関数です。）

$$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$$ $\hat{\mu}$$x$$x$

逆に、線形関数に関してニューラルネットワークの出力を要約する方法はありません。そのため、ニューラルネットワークは非線形と呼ばれます。$x$

また、ロジスティック回帰の場合、決定境界は線形です。これはの解です。ニューラルネットワークの決定境界は一般に線形ではありません。$\{x:\hat{p} = 0.5\}$$\hat{\theta} \cdot x = 0$

Stefan Wagnerが指摘しているように、ロジスティック分類器の決定境界は線形です。（分類器は入力が線形に分離可能である必要があります。）明白でない場合に備えて、この数学を拡張したかったのです。

決定境界は、

$${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$$

少しの代数は、これがと同等であることを示しています

$${1 = e^{-{\theta \cdot x}}}$$

そして、両側の自然対数をとって、

$$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$$

そのため、決定境界は線形です。

ニューラルネットワークの決定境界が線形ではない理由は、ニューラルネットワークには2つのシグモイド関数の層があるためです：各出力ノードに1つと、各出力ノードの結果を組み合わせてしきい値を設定する追加のシグモイド関数です。

と 2つのクラスがある場合、条件付き確率を ベイズの定理 分母はとして表されます。$C_{0}$$C_{1}$

$$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$$ $$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$$ $1+e^{\omega x}$

どの条件の下で、最初の式が線形項になりますか？指数族（GaußやPoissonのような指数分布の正準形）を考慮する場合、 その後、線形形式

$$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$$ $$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$$

両方の分布が同じファミリーに属し、同じ分散パラメーターを持っていると仮定していることに注意してください。しかし、その仮定の下では、ロジスティック回帰は指数分布のファミリー全体の確率をモデル化できます。