ニューラルネットワークにおけるシグモイド関数の微分の役割を理解しようとします。

最初に、シグモイド関数と、Pythonを使用した定義からのすべてのポイントの導関数をプロットします。この派生物の役割は正確に何ですか？

import numpy as np
import matplotlib.pyplot as plt

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def derivative(x, step):
    return (sigmoid(x+step) - sigmoid(x)) / step

x = np.linspace(-10, 10, 1000)

y1 = sigmoid(x)
y2 = derivative(x, 0.0000000000001)

plt.plot(x, y1, label='sigmoid')
plt.plot(x, y2, label='derivative')
plt.legend(loc='upper left')
plt.show()

ニューラルネットワークでの導関数の使用は、逆伝播と呼ばれるトレーニングプロセス用です。この手法では、勾配関数を使用してモデル関数の最適なセットを見つけ、損失関数を最小化します。この例では、シグモイドの微分を使用する必要があります。これは、個々のニューロンが使用している活性化であるためです。

損失関数

$C$

画像に猫または犬が含まれているかどうかにラベルを付けようとする例を見てみましょう。完璧なモデルがあれば、そのモデルに写真を与えることができ、猫か犬かを教えてくれます。ただし、完璧なモデルはなく、間違いを犯します。

入力データから意味を推測できるようにモデルをトレーニングするとき、モデルが犯すミスの量を最小限に抑えたいと思います。そのため、トレーニングセットを使用します。このデータには犬と猫の多くの写真が含まれており、その画像にグランドトゥルースラベルが関連付けられています。モデルのトレーニング反復を実行するたびに、モデルのコスト（ミスの量）を計算します。このコストを最小限に抑える必要があります。

多くのコスト関数が存在し、それぞれに独自の目的があります。使用される一般的なコスト関数は、次のように定義される2次コストです。

$C = \frac{1}{N} \sum_{i=0}^{N}(\hat{y} - y)^2$

$N$

損失関数の最小化

実際、機械学習のほとんどは、いくつかのコスト関数を最小化することで分布を決定できるフレームワークのファミリにすぎません。質問できるのは「どのようにして関数を最小化できるか」です。

次の関数を最小化しましょう

$y = x^2-4x+6$

$x = 2$

$\frac{dy}{dx} = 2x - 4 = 0$

$x = 2$

ただし、多くの場合、解析的にグローバルな最小値を見つけることは不可能です。そのため、代わりにいくつかの最適化手法を使用します。ここにも、Newton-Raphson、グリッド検索など、さまざまな方法があります。これらの中には勾配降下法があります。これは、ニューラルネットワークで使用される手法です。

勾配降下

これを理解するために、よく使用されるアナロジーを使用しましょう。2D最小化の問題を想像してください。これは、荒野の山岳ハイキングに相当します。最下点にいるとわかっている村に戻りたいと思います。村の基本的な方向がわからなくても。あなたがする必要があるのは、絶えず最も急な道を下るだけで、最終的に村に着きます。そのため、傾斜の急さに基づいてサーフェスを下降します。

関数を見てみましょう

$y = x^2-4x+6$

$x$$y$$x$$x=8$

$x^{new} = x^{old} - \nu \frac{dy}{dx}$

$\nu$

$\frac{dy}{dx} = 2x - 4$

$\nu = 0.1$

反復1：

$x^{new} = 8 - 0.1(2 * 8 - 4) = 6.8$
$x^{new} = 6.8 - 0.1(2 * 6.8 - 4) = 5.84$
$x^{new} = 5.84 - 0.1(2 * 5.84 - 4) = 5.07$
$x^{new} = 5.07 - 0.1(2 * 5.07 - 4) = 4.45$
$x^{new} = 4.45 - 0.1(2 * 4.45 - 4) = 3.96$
$x^{new} = 3.96 - 0.1(2 * 3.96 - 4) = 3.57$
$x^{new} = 3.57 - 0.1(2 * 3.57 - 4) = 3.25$
$x^{new} = 3.25 - 0.1(2 * 3.25 - 4) = 3.00$
$x^{new} = 3.00 - 0.1(2 * 3.00 - 4) = 2.80$
$x^{new} = 2.80 - 0.1(2 * 2.80 - 4) = 2.64$
$x^{new} = 2.64 - 0.1(2 * 2.64 - 4) = 2.51$
$x^{new} = 2.51 - 0.1(2 * 2.51 - 4) = 2.41$
$x^{new} = 2.41 - 0.1(2 * 2.41 - 4) = 2.32$
$x^{new} = 2.32 - 0.1(2 * 2.32 - 4) = 2.26$
$x^{new} = 2.26 - 0.1(2 * 2.26 - 4) = 2.21$
$x^{new} = 2.21 - 0.1(2 * 2.21 - 4) = 2.16$
$x^{new} = 2.16 - 0.1(2 * 2.16 - 4) = 2.13$
$x^{new} = 2.13 - 0.1(2 * 2.13 - 4) = 2.10$
$x^{new} = 2.10 - 0.1(2 * 2.10 - 4) = 2.08$
$x^{new} = 2.08 - 0.1(2 * 2.08 - 4) = 2.06$
$x^{new} = 2.06 - 0.1(2 * 2.06 - 4) = 2.05$
$x^{new} = 2.05 - 0.1(2 * 2.05 - 4) = 2.04$
$x^{new} = 2.04 - 0.1(2 * 2.04 - 4) = 2.03$
$x^{new} = 2.03 - 0.1(2 * 2.03 - 4) = 2.02$
$x^{new} = 2.02 - 0.1(2 * 2.02 - 4) = 2.02$
$x^{new} = 2.02 - 0.1(2 * 2.02 - 4) = 2.01$
$x^{new} = 2.01 - 0.1(2 * 2.01 - 4) = 2.01$
$x^{new} = 2.01 - 0.1(2 * 2.01 - 4) = 2.01$
$x^{new} = 2.01 - 0.1(2 * 2.01 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$

$x = 2$

ニューラルネットワークに適用

$x$$\hat{y}$

$\sigma(z) = \frac{1}{1+exp(z)}$

$\hat{y}(w^Tx) = \frac{1}{1+exp(w^Tx + b)}$

$w$$x$$b$

$C = \frac{1}{2N} \sum_{i=0}^{N}(\hat{y} - y)^2$

ニューラルネットワークのトレーニング方法

$C$$N$

$C = \frac{1}{2N} \sum_i^N (\hat{y} - y)^2$

$\hat{y}$$y$$w$

$\frac{\partial C}{\partial w} = \frac{\partial C}{\partial \hat{y}} \frac{\partial \hat{y}}{\partial w}$

$\frac{\partial C}{\partial \hat{y}} = \hat{y} - y$

$\hat{y} = \sigma(w^Tx)$$\frac{\partial \sigma(z)}{\partial z} = \sigma(z)(1-\sigma(z))$

$\frac{\partial \hat{y}}{\partial w} = \frac{1}{1+exp(w^Tx + b)} (1 - \frac{1}{1+exp(w^Tx + b)})$

そのため、次のように勾配降下により重みを更新できます。

$w^{new} = w^{old} - \eta \frac{\partial C}{\partial w}$

$\eta$

$X$$W \cdot X + b$$σ(W \cdot X + b)$

ネットワークを訓練するために、出力次に期待される出力（またはラベル）と比較されを介してコスト関数。トレーニング手順全体の目標は、そのコスト関数を最小化することです。それを行うために、勾配降下と呼ばれる手法が実行され、とを変更してコストを削減する方法を計算します。 YL（Y、 Y）=L（Y、σ（W⋅X+B））W$\hat y$$y$ $L(y, \hat y)=L\left(y, σ(W \cdot X + b)\right)$$W$$b$

勾配降下法では、コスト関数wrtおよびの導関数を計算する必要があります。そのためには、計算する必要がある導関数が2つの関数の合成であるため、チェーンルールを適用する必要があります。チェーンルールの指示に従って、シグモイド関数の導関数を計算する必要があります。$W$$b$

シグモイド関数がニューラルネットワークで人気がある理由の1つは、その導関数が計算しやすいためです。

簡単な言葉で：

微分は、特定の入力で学習するニューロンの能力を示します。

たとえば、入力が0または1または-2の場合、導関数（「学習能力」）が高く、逆伝播により、このサンプルのニューロンの重みが劇的に改善されます。

一方、入力が20の場合、導関数は0に非常に近くなります。これは、このサンプルでの逆伝播が、このニューロンを「教えて」より良い結果を生まないことを意味します。

上記のことは、単一のサンプルに対して有効です。

トレーニングセットのすべてのサンプルについて、全体像を見てみましょう。ここにはいくつかの状況があります。

• トレーニングセット内のすべてのサンプルの微分が0であり、ニューロンが常に間違った結果を生成する場合-ニューロンが飽和（ダム）し、改善されないことを意味します。

• トレーニングセットのすべてのサンプルの微分が0であり、ニューロンが常に正しい結果を生成する場合 -ニューロンは非常によく学習しており、すでに可能な限りスマートになっていることを意味します（補足：このケースは良好ですが、潜在的な過剰適合を示している可能性があります良くない）

• 一部のサンプルで微分が0、他のサンプルで0以外、およびニューロンが混合結果を生成する場合-このニューロンは何らかの良い仕事をしており、さらなるトレーニングから改善される可能性があることを示します（必ずしも他のニューロンやトレーニングデータに依存するわけではありませんが持ってる）

したがって、微分プロットを見ると、特定の入力が与えられた場合に、ニューロンが新しい知識を学習および吸収するためにどれだけ準備したかを確認できます。

ここに表示される微分は、ニューラルネットワークでは 重要です。それが人々が一般に整流線形ユニットのような他の何かを好む理由です。

2つの端の派生的な低下が見られますか？ネットワークが非常に左側にあるが、右側に移動する必要がある場合はどうなりますか？あなたが-10.0にいるが、10.0が欲しいと想像してください。勾配が小さすぎて、ネットワークをすばやく収束できません。待ちたくはありません。もっと早く収束したいのです。RLUにはこの問題はありません。

この問題を「ニューラルネットワークの飽和」と呼びます。

参照してくださいhttps://www.quora.com/What-is-special-about-rectifier-neural-units-used-in-NN-learningを