LeakyReLUとPReLUの違いは何ですか？

私は、PReLUとLeaky ReLUの両方がだと思った

f (x) = max (x, α x) with α \in (0, 1)

$f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1)$

ただし、Kerasにはdocsに両方の機能があります。

リーキーReLU

LeakyReLUのソース：

return K.relu(inputs, alpha=self.alpha)

したがって（reluコードを参照）

f_{1} (x) = max (0, x) - α max (0, - x)

$f_1(x) = \max(0, x) - \alpha \max(0, -x)$

PReLU

PReLUのソース：

def call(self, inputs, mask=None):
    pos = K.relu(inputs)
    if K.backend() == 'theano':
        neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
               (inputs - K.abs(inputs)) * 0.5)
    else:
        neg = -self.alpha * K.relu(-inputs)
    return pos + neg

したがって、

f_{2} (x) = max (0, x) - α max (0, - x)

$f_2(x) = \max(0, x) - \alpha \max(0, -x)$

質問

何かおかしくなりましたか？ $f_1$ および $f_2$ はと同等ではありません $f$ （想定 $\alpha \in (0, 1)$ ？）

neural-network

— マーティン・トーマ
ソース

ウィキペディアから直接：

Leaky ReLUにより、ユニットがアクティブでないときにゼロ以外の小さな勾配が可能になります。
パラメトリックReLUは、他のニューラルネットワークパラメーターとともに学習されるパラメーターに漏れ係数を作成することにより、この考えをさらに進めます。

— トーマス・W
ソース

ああ、おかげで、私はいつも漏れReLUsを持っていることを忘れてハイパーパラメトリックReLUsてきたようにパラメータとして。

α

$\alpha$

α

$\alpha$

— マーティントーマ

Googleの場合：大丈夫です。（ところで、私にとってこの質問は「Leaky ReLU vs PReLU」の3番目の結果です）

— マーティン・トーマ

@martinthoma true！そのために全く犯罪はありません！私が答えを見つけた方法もかなり愚かでした。私はPReLUの「P」が何であるか知らなかったので、それを理解し、「Parametric ReLU」と入力するだけでPReLUが何であるかを見つけて、ウィキペディアのページに移動しました。あなたの質問のために私は今日何かを学びました;）

— トーマスW

いいねそれがどうあるべきか:-)この場合、私の小さなアクティベーション機能の概要もあなたにとって興味深いかもしれません。記事はドイツ語で（部分的に）であるが、私はそれが問題でないことを部分の推測

— マーティン・トーマ