逆伝播：2次の方法では、ReLUの導関数は0になりますか？トレーニングへの影響は？

ReLUは、として定義されるアクティブ化関数です。ここで、a = Wx + bです。$h = \max(0, a)$$a = Wx + b$

通常、SGD、Adam、RMSprop、Adadelta、Adagradなどの1次の方法でニューラルネットワークをトレーニングします。1次メソッドの逆伝播には、1次導関数が必要です。したがって、$x$は1に導出され$1$ます。

しかし、2次法を使用する場合、ReLUの導関数は$0$ますか？なぜなら$x$に誘導される$1$と再び導かれる$0$。エラーでしょうか？たとえば、ニュートンの方法では、0で除算します$0$。（まだヘッセなしの最適化を理解していません。IIRC、それは実際のヘッセの代わりに近似のヘッセを使用することの問題です）。

このh '' = 0の影響は何$h''=0$ですか？二次法のReLUでニューラルネットワークをトレーニングできますか？それとも、トレーニング不可/エラー（nan / infinity）でしょうか？

明確にするために、これはf（x）としてのReLU $f(x)$です。

$f(x) =$

$f'(x) =$

$f''(x) = 0$

はい、ReLUの2次導関数は0です。技術的には、ももで定義されてい、無視します-実際には正確なはまれであり、特に意味がないため、これは問題ではありません。ニュートンの方法は、静止点がないため、ReLU伝達関数では機能しません。ただし、他のほとんどの一般的な伝達関数では意味がありません。有限入力に対して最小化または最大化することはできません。$\frac{dy}{dx}$$\frac{d^2y}{dx^2}$$x=0$$x=0$

複数のReLU関数をニューラルネットワークなどの構造の行列乗算のレイヤーと組み合わせて目的関数を最小化したい場合、図はさらに複雑になります。この組み合わせには静止点があります。単一のReLUニューロンと平均二乗誤差の目的でさえ、十分に異なる動作をするため、単一の重みの2次導関数が変化し、0であるとは限りません。

複数のレイヤーを組み合わせるときの非線形性は、より興味深い最適化サーフェスを作成します。これはまた、有用な2次の偏微分（またはヘッセ行列）を計算することが困難であることを意味します。伝達関数の2次の微分を取るだけの問題ではありません。

伝達関数のであるという事実は、行列の一部の項をゼロにします（同じニューロンの活性化による2次効果の場合）が、ヘシアンの項の大部分はの形式でEは目的、、はニューラルネットワークの異なるパラメーターです。完全に実現されたヘッセ行列は項を持ち、はパラメータの数です。単純な計算プロセスと多くの項が0の場合でも、大きなニューラルネットワークは100万以上のパラメータを持っています（たとえば、同じレイヤで2つの重み）計算できない場合があります。$\frac{d^2y}{dx^2} = 0$$\frac{\partial^2E}{\partial x_i\partial x_j}$$x_i$$x_j$$N^2$$N$

一部のニューラルネットワークオプティマイザーで使用される2次導関数の効果を推定する手法があります。RMSPropは、たとえば、2次効果を概算するものと見なすことができます。「ヘッセ行列を含まない」オプティマイザは、この行列の影響をより明確に計算します。