KerasのBatchNormalization関数はどこで呼び出しますか？

KerasでBatchNormalization関数を使用したい場合、最初に一度だけ呼び出す必要がありますか？

私はそれについてこのドキュメントを読みました：http : //keras.io/layers/normalization/

どこに呼ぶべきかわかりません。以下はそれを使用しようとしている私のコードです：

model = Sequential()
keras.layers.normalization.BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None)
model.add(Dense(64, input_dim=14, init='uniform'))
model.add(Activation('tanh'))
model.add(Dropout(0.5))
model.add(Dense(64, init='uniform'))
model.add(Activation('tanh'))
model.add(Dropout(0.5))
model.add(Dense(2, init='uniform'))
model.add(Activation('softmax'))

sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='binary_crossentropy', optimizer=sgd)
model.fit(X_train, y_train, nb_epoch=20, batch_size=16, show_accuracy=True, validation_split=0.2, verbose = 2)

バッチ正規化を含む2行目でコードを実行すると、2行目なしでコードを実行すると、同様の出力が得られるため、私は尋ねます。したがって、適切な場所で関数を呼び出していないか、それほど大きな違いはないと思います。

この質問にもう少し詳しく答えると、Pavelが言ったように、バッチ正規化は単なる別のレイヤーなので、それを使用して目的のネットワークアーキテクチャを作成できます。

アクティベーション関数への入力を正規化し、アクティベーション関数の線形セクション（Sigmoidなど）の中央に配置するため、ネットワークの線形層と非線形層の間でBNを使用するのが一般的な使用例です。ここでそれについての小さな議論があります

上記の場合、これは次のようになります。

# import BatchNormalization
from keras.layers.normalization import BatchNormalization

# instantiate model
model = Sequential()

# we can think of this chunk as the input layer
model.add(Dense(64, input_dim=14, init='uniform'))
model.add(BatchNormalization())
model.add(Activation('tanh'))
model.add(Dropout(0.5))

# we can think of this chunk as the hidden layer    
model.add(Dense(64, init='uniform'))
model.add(BatchNormalization())
model.add(Activation('tanh'))
model.add(Dropout(0.5))

# we can think of this chunk as the output layer
model.add(Dense(2, init='uniform'))
model.add(BatchNormalization())
model.add(Activation('softmax'))

# setting up the optimization of our weights 
sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='binary_crossentropy', optimizer=sgd)

# running the fitting
model.fit(X_train, y_train, nb_epoch=20, batch_size=16, show_accuracy=True, validation_split=0.2, verbose = 2)

これがもう少し明確になることを願っています。

このスレッドは誤解を招く可能性があります。ルーカスラマダンの答えについてコメントしようとしましたが、まだ適切な権限を持っていないので、これをここに配置します。

バッチ正規化は、アクティベーション関数の後に最適に機能します。ここまたはここに理由があります。これは、内部共変量シフトを防ぐために開発されました。内部共変量シフトは、活性化の分布時に発生しますレイヤー全体がトレーニング全体で大幅にシフトします。特定のレイヤーへの入力（およびこれらの入力は、文字通りアクティベーション関数の結果です）の分布が、各バッチからのパラメーター更新のために経時的に変化しないように（または少なくとも、それを変更できるように）バッチ正規化が使用されます有利な方法で）。バッチ統計を使用して正規化を行い、次にバッチ正規化パラメーター（元のペーパーのガンマとベータ）を使用して、「ネットワークに挿入された変換が恒等変換を表すことができることを確認します」（元のペーパーからの引用）。しかし重要なのは、レイヤーへの入力を正規化しようとしているため、常にネットワーク内の次のレイヤーの直前に配置する必要があるということです。それかどうか

このスレッドは、BNを現在の層の非線形性の前に適用するか、前の層のアクティブ化に適用するかについて、かなりの議論があります。

正解はありませんが、バッチ正規化の作成者は、現在のレイヤーの非線形性の直前に適用する必要があると述べて います。理由（元の論文から引用）-

「x = Wu + bを正規化することにより、非線形変換の直前にBN変換を追加します。層の入力uも正規化できますが、uは別の非線形性の出力である可能性が高いため、分布の形状はトレーニングし、その最初と2番目のモーメントを制約しても、共変量シフトは解消されません。対照的に、Wu + bは、対称的で非スパースな分布、つまり、「ガウス分布が多い」（Hyv¨arinen＆Oja、2000）の可能性が高くなります。 ;正規化すると、安定したディストリビューションでアクティベーションが生成される可能性があります。」

Kerasがuse_bias=Falseオプションをサポートするようになったので、次のように書くことで計算を節約できます。

model.add(Dense(64, use_bias=False))
model.add(BatchNormalization(axis=bn_axis))
model.add(Activation('tanh'))

または

model.add(Convolution2D(64, 3, 3, use_bias=False))
model.add(BatchNormalization(axis=bn_axis))
model.add(Activation('relu'))

それに続いてレイヤーが続くというのConv2Dが今のトレンドになりつつあります。そこで、それらすべてを一度に呼び出す小さな関数を作りました。モデル定義を全体的にすっきりとして読みやすくします。ReLuBatchNormalization

def Conv2DReluBatchNorm(n_filter, w_filter, h_filter, inputs):
    return BatchNormalization()(Activation(activation='relu')(Convolution2D(n_filter, w_filter, h_filter, border_mode='same')(inputs)))

別のタイプのレイヤーなので、モデルの適切な場所にレイヤーとして追加する必要があります

model.add(keras.layers.normalization.BatchNormalization())

こちらの例をご覧ください：https : //github.com/fchollet/keras/blob/master/examples/kaggle_otto_nn.py

バッチ正規化は、アクティベーションの平均とスケーリングを調整することにより、入力レイヤーと非表示レイヤーを正規化するために使用されます。ディープニューラルネットワークの追加レイヤーによるこの正規化効果により、ネットワークは勾配を消失または爆発させることなく、より高い学習率を使用できます。さらに、バッチ正規化によりネットワークが正規化され、一般化が容易になるため、ドロップアウトを使用して過剰適合を緩和する必要がありません。

KerasのDense（）またはConv2D（）などを使用して線形関数を計算した直後に、レイヤーの線形関数を計算するBatchNormalization（）を使用し、次にActivation（）を使用して非線形をレイヤーに追加します。

from keras.layers.normalization import BatchNormalization
model = Sequential()
model.add(Dense(64, input_dim=14, init='uniform'))
model.add(BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None))
model.add(Activation('tanh'))
model.add(Dropout(0.5))
model.add(Dense(64, init='uniform'))
model.add(BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None))
model.add(Activation('tanh'))
model.add(Dropout(0.5))
model.add(Dense(2, init='uniform'))
model.add(BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None))
model.add(Activation('softmax'))

sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='binary_crossentropy', optimizer=sgd)
model.fit(X_train, y_train, nb_epoch=20, batch_size=16, show_accuracy=True, 
validation_split=0.2, verbose = 2)

バッチ正規化はどのように適用されますか？

レイヤーlにa [l-1]を入力したとします。また、レイヤーlには重みW [l]とバイアス単位b [l]があります。a [l]をレイヤーlに対して計算された（つまり、非線形性を追加した後の）アクティベーションベクトルとし、z [l]を非線形性を追加する前のベクトルとします。

1. a [l-1]とW [l]を使用して、レイヤーlのz [l]を計算できます
2. 通常、フィードフォワード伝播では、この段階でz [l] + b [l]のようにz [l]にバイアス単位を追加しますが、バッチ正規化では、b [l]を追加するこの手順は不要であり、 b [l]パラメータが使用されます。
3. z [l]平均を計算し、それを各要素から減算します
4. 標準偏差を使用して（z [l]-平均）を割ります。それをZ_temp [l]と呼びます

5. 次に、次のように非表示レイヤーのスケールを変更する新しいパラメーターγとβを定義します。

   z_norm [l] =γ.Z_temp[l] +β

このコードの抜粋では、Dense（）はa [l-1]を取得し、W [l]を使用してz [l]を計算します。次に、即時のBatchNormalization（）は上記の手順を実行してz_norm [l]を提供します。そして、即時のActivation（）はtanh（z_norm [l]）を計算してa [l]を与えます。すなわち

a[l] = tanh(z_norm[l])