ReLUアクティベーション関数の派生物は何ですか？

次のように定義されているReLUアクティベーション関数の派生物は何ですか？

R e L U (x) = m a x (0, x)

$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$

関数に不連続がある特別な場合はどうですか？ $x=0$

self-study neural-networks

— トム・ヘイル
ソース

導関数は次のとおりです。

f (x) = {\begin{cases} 0 & if x < 0 \\ 1 & if x > 0 \end{cases}

$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$

未定義。 $x=0$

$x=0$

— ジム
ソース

0

$0$

1

$1$

x = 0

$x=0$

規則では、drdx = 1（x> 0）

— neuroguy123

@TomHale使用しない理由

f (0) = \frac{1}{2}

$f(0) = \frac{1}{2}$ ？実際の実装は別の問題であり、新しい質問に値します。これは単なる数学です。

— ジム

ちなみに、@ TomHale、Nooraz Rahmanのquora.com/…での回答を参照してください。"[...]私の見解では、組み込みライブラリ関数（例：）でx = 0の微分はスパースを確保するためにゼロになりますマトリックス...」tf.nn.relu()

— ジム