ニューラルネットワークを非線形分類モデルにするものは何ですか？

私は非線形分類モデルの数学的な意味を理解しようとしています：

ニューラルネットが非線形分類モデルであるという記事を読んだばかりです。

しかし、私はちょうどそれを理解しています：

最初の層：

$h_1=x_1∗w_{x1h1}+x_2∗w_{x1h2}$

$h_2=x_1∗w_{x2h1}+x_2∗w_{x2h2}$

次の層

$y=b∗w_{by}+h_1∗w_{h1y}+h_2∗w_{h2y}$

に簡略化できます

$=b′+(x_1∗w_{x1h1}+x_2∗w_{x1h2})∗w_{h1y}+(x_1∗w_{x2h1}+x_2∗w_{x2h2})∗w_{h2y}$

$=b′+x_1(w_{h1y}∗w_{x1h1}+w_{x2h1}∗w_{h2y})+x_2(w_{h1y}∗w_{x1h1}+w_{x2h2}∗w_{h2y})$

2層ニューラルネットワークは単純な線形回帰です

$=b^′+x_1∗W_1^′+x_2∗W_2^′$

これは、任意の数の重みの線形結合が再び線形であるため、任意の数のレイヤーに表示できます。

ニューラルネットを実際に非線形分類モデルにするものは何ですか？
アクティベーション関数は、モデルの非線形性にどのように影響しますか？
説明して頂けますか？

ニューラルネットワークのノードの活性化関数は忘れてしまいます。これは非線形であり、モデル全体を非線形にします。

あなたの式では完全に正しいわけではありません、どこで、

$$h_1 \neq w_1x_1+w_2x_2$$

だが

$$h_1 = \text{sigmoid}(w_1x_1+w_2x_2)$$

シグモイド関数は次のようになります。$\text{sigmoid}(x)=\frac 1 {1+e^{-x}}$

数値例を使用してシグモイド関数の影響を説明します、次にます。一方、、あり、非線形であるとほぼ同じであると仮定します。シグモイド（4 ）= 0.99 w 1 x 1 + w 2 x 2 = 4000 シグモイド（4000 ）= 1 シグモイド（4 $w_1x_1+w_2x_2=4$$\text{sigmoid}(4)=0.99$$w_1x_1+w_2x_2=4000$$\text{sigmoid}(4000)=1$$\text{sigmoid}(4)$

---

さらに、このチュートリアルのスライド14は、どこが間違っていたかを正確に示していると思います。してくださいませんotuputは-7.65ではありませんが、シグモイド（− 7.65 $H_1$$\text{sigmoid}(-7.65)$

複数の線形レイヤーが単一の線形レイヤーと同等になる可能性があることは正しいです。他の答えが言ったように、非線形活性化関数は非線形分類を可能にします。分類器が非線形であると言うことは、分類器が非線形の決定境界を持つことを意味します。決定境界は、クラスを分離する表面です。分類器は、決定境界の片側のすべてのポイントに対して1つのクラスを予測し、反対側のすべてのポイントに対して別のクラスを予測します。

一般的な状況を考えてみましょう：非線形の隠れユニットの複数の層とシグモイド活性化関数を持つ出力ユニットを含むネットワークでバイナリ分類を実行します。は出力を、は最後の非表示層のアクティベーションのベクトル、は出力ユニットへの重みのベクトル、h $y$$h$$w$$b$

$$y = \sigma(hw + b)$$

ここで、はロジスティックシグモイド関数です。出力は、クラスがある確率として解釈されます。予測クラスは次のとおりです。1 $\sigma$$1$$c$

$$c = \left \{ \begin{array}{cl} 0 & y \le 0.5 \\ 1 & y > 0.5 \\ \end{array} \right .$$

隠されたユニットのアクティベーションに関する分類ルールを考えてみましょう。隠れユニットの活性化が線投影されていることがます。クラスを割り当てるためのルールは関数で、線に沿った投影に単調に関連しています。したがって、分類規則は、線に沿った投影が特定のしきい値よりも小さいか大きいかを判断することと同等です（この場合、しきい値はバイアスの負数によって与えられます）。これは、決定境界が線に直交する超平面であり、そのしきい値に対応する点で線と交差することを意味します。$hW + b$$y$

先に言ったように、決定境界は非線形ですが、超平面はまさに線形境界の定義です。しかし、出力の直前に境界を非表示ユニットの関数として考えてきました。隠れユニットの活性化は、以前の隠れ層とその非線形活性化関数のため、元の入力の非線形関数です。ネットワークについて考える1つの方法は、データをいくつかの特徴空間に非線形にマッピングすることです。この空間の座標は、最後の非表示ユニットのアクティブ化によって与えられます。ネットワークは、この空間で線形分類を実行します（この場合、ロジスティック回帰）。元の入力の関数として決定境界を考えることもできます。この関数は、入力から隠れユニットのアクティベーションへの非線形マッピングの結果として、非線形になります。

このブログ投稿は、このプロセスの素晴らしい数字とアニメーションを示しています。

非線形性は、シグモイド活性化関数1 /（1 + e ^ x）に由来します。ここで、xは、質問で参照した予測子と重みの線形結合です。

ところで、分母が非常に大きくなって分数がゼロに近づくか、e ^ xが非常に小さくなって分数が1/1に近づくため、このアクティベーションの境界はゼロと1です。