修正された線形単位が非線形と見なされるのはなぜですか？

25

なぜ整流線形ユニット（ReLU）の活性化関数は非線形と見なされますか？

f (x) = max (0, x)

$f(x) = \max(0,x)$

入力が正の場合は線形であり、深いネットワークの代表的な力を解き放つための私の理解からは、非線形活性化が必須です。そうでなければ、ネットワーク全体を単一のレイヤーで表すことができます。

neural-networks deep-learning

— アリー
ソース

以前に同様の質問があります：stats.stackexchange.com/questions/275358 / ...おそらく重複していないのですが

— -Aksakal

回答:

33

RELUは非線形性です。あなたの直観を助けるために、1つの入力ユニット $x$ 、2つの隠れユニット $y_i$ 、および1つの出力ユニット持つ非常に単純なネットワークを考えてください $z$ 。この単純なネットワークを使用して、絶対値関数を実装できます。

z = max (0, x) + max (0, - x),

$z = \max(0, x) + \max(0, -x),$

または一般的に使用されるシグモイド関数に似たもの

z = max (0, x + 1) - max (0, x - 1) .

$z = \max(0, x + 1) - \max(0, x - 1).$

これらを組み合わせてより大きなネットワークにする/より多くの隠れユニットを使用することにより、任意の関数を近似できます。

$\hskip2in$ RELUネットワーク機能

— ルーカス
ソース

これらのタイプの手動で構築されたReLusは、アプリオリに構築され、レイヤーとしてハードコーディングされますか？もしそうなら、あなたのネットワークがこれらの特別に構築されたReLusのいずれかを特に必要としていることをどのように知るでしょうか？

— モニカヘドネック

4

@MonicaHeddneck独自の非線形性を指定できます、はい。ある活性化機能を別の活性化機能よりも優れたものにしているのは、一定の研究トピックです。たとえば、以前はシグモイド、を使用していましたが、勾配の消失の問題により、ReLUはより一般的になりました。したがって、異なる非線形活性化関数を使用するのはあなた次第です。

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma(x) = \frac{1}{1 + e^{-x}}$

— タリンジヤエ

サンプル外のReLUでをどのように近似しますか？

e^{x}

$e^x$

— アクサカル

1

@Lucas、それで基本的にcombine（+）> 1 ReLUであれば、どんな関数でも近似できますが、単純にreLu(reLu(....))それが常に線形になるでしょうか？また、ここで変更xしx+1、それはとして考えることができZ=Wx+bW＆Bは、このような種類の異なる変形を与えるために変更どこx＆x+1？

— anu

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。

Licensed under cc by-sa 3.0 with attribution required.