私は「Scikit-LearnとTensorFlowを使用した実践的な機械学習」というタイトルの本を読み、第11章で、ELU（Exponential ReLU）の説明について次のように説明しています。

第3に、関数はz = 0付近を含むすべての場所で滑らかであり、z = 0の左と右にそれほど跳ね返らないため、勾配降下の高速化に役立ちます。

z上のグラフのX軸を意味します。z < 0ラインには曲線があり、その領域では微分はもはやに等しくないため、微分は滑らかであることを理解してい0ます。

しかし、関数が「z = 0付近を含め、どこでも滑らか」である場合、勾配降下が高速になるのはなぜですか？

ReLUは0で不連続な導関数を持っているので、これは導関数によるものだと私は推測しています。したがって、次の定義を使用すると、

$$f' \approx \frac{f(x+\epsilon) -f(x-\epsilon)}{2 \epsilon}$$

そして非常に0に近いです、あなたはそれらの「ジャンプ」の多くを取得します。$x$

予備：ここには関連する関数の3つの属性があります。連続、単調、微分可能です。RELUは連続的で単調なナットで、z = 0では微分できません。指数的reluまたはELUは、これらの属性の3つすべてです。

微分または勾配は方向を示します。関数の導関数が点で定義されていない場合、勾配の方向はその点で不確定です。

勾配降下法を適用するときは、損失関数が着実に減少するようにパラメーターを継続的に変更したいと考えています。

ある時点で損失関数の導関数が定義されていない場合、勾配は不確定です。これは、勾配降下が誤った方向に移動する可能性があることを意味します。この不確定性によって引き起こされる遅延の大きさは、学習率と他のハイパーパラメーターに依存します。ハイパーパラメーターに関係なく、統計的には、z = 0でのRELUの未定義の導関数は、勾配降下の収束の遅延に寄与します。

より速くまたはより低くなることは相対的な用語であり、それが何と比較されているかという文脈で理解されなければなりません。したがって、これを理解するには、最初に勾配降下法が他のタイプの活性化関数とどのように連携するかを考慮する必要があります。

設定例

サイズが1の非表示層を持つMLPを考えます。$n$

$z_1 = W_1 x + b_1$

$a_1 = f(z_1)$

...

$z_n = W_n a_{n-1} + b_n$

$y = f(z_n)$

ここで、はアクティブ化関数です。$f$

タンとシグモイド-グラデーションの消失

仮定する TANH又はシグモイド活性化関数です。これらの関数の導関数は-1から1の範囲にあり、任意の正式にはです。$f$$f'(x) \in (-1, 1)$$x$

これは、「勾配消失問題」として知られるディープラーニングで非常に重要な問題を引き起こします。 wrt導関数を考えてみましょう。連鎖規則により、 $y$$W_1$

$$\frac{df}{dW_1} = \frac{df}{dW_{n}} \frac{dW_{n}}{dW_{n-1}} ... \frac{dW_{2}}{dW_{1}}$$

任意用、通知その $0 < i < n$

$$\frac{dX_{i}}{dX_{i-1}} = f'(W_{i-1}a_{i-2} + b_{i-1}) \times a_{i-2} \in (-1, 1)$$

（第1項は間にあるあるため前述のように囲まれとの間にもあるとしてスカッシュ入力値）。$(-1, 1)$$f'$$a_{i-2}$$(-1, 1)$

したがって、は基本的に、それぞれが（0、1）の間にある多くの項の積です。大きいほど（ネットワークが深いほど）、その項は乗算する必要があり、結果として指数関数的に小さくなります。この指数関係のため、勾配は急速に小さくなり、効果的にゼロと見なすことができます。勾配降下がゼロであることの結果は、勾配降下の更新ルールがその勾配に基づいているため、まったく学習できない可能性があります。$\frac{df}{dW_1}$$n$$\frac{df}{dW_1}$

RELUと死んだニューロン

Reluは、消失勾配問題に対処するために発明されましたこれは、場合、その導関数が常に1であるため、がRELUの場合、ようになります。 $a_i > 0$$f$

$$\frac{dX_{i}}{dX_{i-1}} = a_{i-2}$$ $$\frac{df}{dW_1} = a_1 a_2 a_3 ... a_{n-1}$$

場合はすべてうまくいきが、場合は常にバラバラになり。今回は、勾配がゼロに非常に近いだけでなく、純粋なゼロです。ニューロンが到達すると、元に戻る機会はまったくありません。これが「死んだニューロン」問題として知られている理由ですx < $x > 0$$x < 0$

漏れのあるRELUとELU

リーキーRELUとELUは、RELUの後の自然な発展です。これらはRELUに似ているため、場合は1に等しい導関数ですが、場合はゼロ微分を回避することで「死んだニューロン」を回避します。x < $x > 0$$x<1$

2つの違いについては、元の論文を引用します。

LReLUとPReLUにも負の値がありますが、ノイズに強い非アクティブ化状態は保証されません。ELUは、入力が小さくなると負の値に飽和するため、前方に伝播する変動と情報が減少します。

直感的な説明は次のようになります。ELUでは、xが十分に小さくなると、勾配は本当に小さく飽和します（TanhとSigmoidの場合と同じように）。小さな勾配は、学習アルゴリズムが、飽和したニューロンとの対話性を心配することなく、他の重みの調整に集中できることを意味します。

3次元空間で滑らかな表面として表すことができる次数2の多項式を考えます。極小値を見つけるために、勾配降下アルゴリズムは、x方向とy方向の両方の勾配を考慮する必要があります。勾配がx方向とy方向の両方で負である場合、どちらの方法が優れているかは明らかではありません。したがって、その間のどこかにパスを選択するのが賢明です。しかし、すべてがx方向にフラット（勾配がゼロ）であることをすでに知っている場合は、y方向に進むのは簡単です。または、言い換えると、検索スペースがはるかに小さくなる。

特記

深層学習では、十分な経験的証拠やそれを裏付ける十分な理解のない主張がたくさんあります。ELUの場合、一部のデータセットの収束が速くなることは事実ですが、学習アルゴリズムが別のデータセットの極大値でスタックすることも事実です。私たちはまだ十分に知りません。

スムーズな関数の方が最適化の速度が速いが、数学的な証明など何もない理由は直観的です。

勾配降下法は、アクティベーション関数の導関数を計算して、重みの変化を決定します。アクティブ化関数にハードカットがある場合（ReLuのz = 0など）、重みを変更すると、特定のデータポイントのユニットのアクティブ化が根本的に（つまり、常にゼロまたは線形に）変化する可能性があります。

他の重みは、特定のデータポイントの特定のユニットのこの根本的に異なる動作に対応する必要があります。ただし、ユニットの動作が次のエポック中に再び急激に変化した場合、ネットワークは前のエポックの変化に順応し続けます。

スムーズな機能で、そのような根本的な変化はありません。したがって、ネットワークはより安定します。