視覚認識のための畳み込みニューラルネットワークに関するスタンフォードのコースノートを参照すると、次の段落が述べられています。

「残念ながら、ReLUユニットはトレーニング中に壊れやすく、「死ぬ」可能性があります。たとえば、ReLUニューロンを流れる大きな勾配により、ニューロンがデータポイントで再びアクティブにならないように重みが更新される可能性があります。つまり、ReLUユニットは、データマニホルドからノックオフされる可能性があるため、トレーニング中に不可逆的に死ぬ可能性があります。学習率の設定が高すぎると、ネットワークの％が「死んでいる」（つまり、トレーニングデータセット全体でアクティブにならないニューロン）場合があります。学習率を適切に設定すれば、これはあまり問題になりません。

ここでのニューロンの死はどういう意味ですか？

簡単な言葉で直感的な説明をお願いします。

「デッド」ReLUは、どの入力に対しても常に同じ値（発生時はゼロですが、それは重要ではありません）を出力します。おそらく、これはその重みの大きな負のバイアス項を学習することで達成されます。

言い換えると、それは、入力を区別する際に役割をとらないことを意味します。分類のために、これをすべての可能な入力データの外側の決定面として視覚化できます。

ReLUがこの状態になると、0での関数勾配も0になるため、回復する可能性は低くなります。そのため、勾配降下学習は重みを変更しません。（y=0.01xx <0の場合）負の入力に対して小さな正の勾配を持つ「リーク」ReLUは、この問題に対処して回復する機会を与える1つの試みです。

S字型ニューロンとtanhニューロンは、値が飽和すると同様の問題に悩まされる可能性がありますが、少なくとも小さな勾配が常にあり、長期的に回復することができます。

ReLU（Rectified Linear Unit）がどのように見えるかを確認しましょう。

$x_n$

$$z_n=\sum_{i=0}^k w_i a^n_i$$ $w_i$$a^n_i$$x_n$$ReLU = max(0,z_n)$

非常に単純なエラー測定を想定

$$error = ReLU - y$$

$$\frac{\partial error}{\partial z_n} = \delta_n = \left\{ \begin{array}{c l} 1 & z_n \geq 0\\ 0 & z_n < 0 \end{array}\right.$$ $w_j$ $$\nabla error = \frac{\partial error}{\partial w_j}=\frac{\partial error}{\partial z_n} \times \frac{\partial z_n}{\partial w_j} = \delta_n \times a_j^n = \left\{ \begin{array}{c 1} a_j^n & z_n \geq 0\\ 0 & z_n < 0 \end{array}\right.$$

$=$$x_n$

$x_n$$x_*$

$z_n < 0$

$ReLU=max(0.1x,x)$

ReLUニューロンはゼロを出力し、すべての負の入力に対してゼロ導関数を持ちます。したがって、ネットワーク内の重みが常にReLUニューロンへの負の入力につながる場合、そのニューロンはネットワークのトレーニングに効果的に寄与していません。数学的には、そのニューロンからの重みの更新に対する勾配の寄与は常にゼロです（詳細については、「数学の付録」を参照してください）。

$L(W)$$L$$L$$W$$L$

一般に、何が起こるかは、情報がネットワークをどのように流れるかに依存します。トレーニングが進むにつれて、ニューロンが生成する値がドリフトし、重みがそれらの一部を通るすべてのデータフローを殺すことが可能になることが想像できます。（ただし、ネットワークの初期段階で重みが更新されるため、これらの好ましくない構成が残る場合があります！）この問題は、重みの初期化（この問題の原因となる可能性もあります）およびデータフローとの関係に関するブログ投稿で検討しました。ここでの私のポイントは、その記事のプロットで説明できると思います。

プロットは、異なる初期化戦略でネットワークを1回通過した後、ReLUアクティベーションを使用した5層マルチレイヤーパーセプトロンのアクティベーションを表示します。重みの構成によっては、ネットワークの出力が停止することがわかります。

数学的な付録

$L$$x_j^{(i)}$$j$$i$$f(s) = \max(0, s)$$s^{(i)}_j$$(i+1)$$i$$(i+1)$

$$\frac{\partial L}{\partial w_{jk}^{(i)}} = \frac{\partial L}{\partial x_k^{(i+1)}} \frac{\partial x_k^{(i+1)}}{\partial w_{jk}^{(i)}}\,.$$

右側の最初の項は再帰的に計算できます。右側の2番目の用語は、重みを直接含む唯一の場所であり、次のように分類できます。$w_{jk}^{(i)}$

$$\begin{align*} \frac{\partial{x_k^{(i+1)}}}{\partial w_{jk}^{(i)}} &= \frac{\partial{f(s^{(i)}_j)}}{\partial s_j^{(i)}} \frac{\partial s_j^{(i)}}{\partial w_{jk}^{(i)}} \\ &=f'(s^{(i)}_j)\, x_j^{(i)}. \end{align*}$$

これから、出力が常に負の場合、ニューロンにつながる重みが更新されず、ニューロンが学習に寄与しないことがわかります。

より具体的に言えば、ReLUのローカル勾配（）は逆伝播のために逆流する勾配に乗算されますが、更新された勾配の結果は大きな負の値になる可能性があります（流れる勾配がbackは大きな負の数です）。$1$

このような大きな負の更新勾配は、学習率が比較的大きいときに大きな負の生成します。そのため、このニューロンで発生する更新を抑制します。壊れた」。ワット$w_i$$w_i$

「Dying ReLU」は、トレーニングセットのデータに対して0を出力するニューロンを指します。これは、ニューロンの重み * 入力の合計（アクティベーションとも呼ばれる）がすべての入力パターンで<= 0になるために発生します。これにより、ReLUは0を出力します。この場合、ReLUの導関数は0であるため、重みの更新は行われず、ニューロンは0の出力でスタックします。

注意事項：

1. ReLUが死んでも、テスト時にニューロンの出力がゼロのままになるという意味ではありません。分布の違いに応じて、この場合もそうでない場合もあります。
2. 死ぬReLUは永久に死んでいません。新しいトレーニングデータを追加するか、新しいトレーニングに事前トレーニングモデルを使用すると、これらのニューロンが元に戻る可能性があります。
3. 技術的にDying ReLUは、すべてのトレーニングデータに対して0を出力する必要はありません。データによってはゼロ以外の値を出力する場合がありますが、エポックの数では重みを大幅に移動するには不十分です。