バッチ正規化とドロップアウトの注文？

元々の質問は、特にTensorFlowの実装に関するものでした。ただし、答えは一般的な実装です。この一般的な答えは、TensorFlowの正しい答えでもあります。

TensorFlowでバッチ正規化とドロップアウトを使用する場合（具体的にはcontrib.layersを使用）、順序について心配する必要がありますか？

ドロップアウトを使用してすぐにバッチ正規化を実行すると、問題が発生する可能性があります。たとえば、バッチ正規化のシフトがトレーニング出力のより大きなスケール数にトレーニングするが、テスト中にドロップアウトなしで同じシフトがより小さな（より多くの出力を持つための補正により）スケール数に適用される場合、シフトがオフになっている可能性があります。TensorFlowバッチ正規化レイヤーはこれを自動的に補正しますか？それとも私が行方不明になった何らかの理由でこれは起こりませんか？

また、これら2つを一緒に使用するときに注意すべき他の落とし穴はありますか？たとえば、上記に関して正しい順序で使用していると仮定すると（正しい順序があると仮定して）、連続する複数のレイヤーでバッチ正規化とドロップアウトの両方を使用すると問題が発生する可能性がありますか？すぐに問題が発生することはありませんが、何か不足している可能性があります。

どうもありがとうございました！

更新：

実験的なテストでは、と思われる順序がことを示唆してい事柄。同じネットワークを2回実行しましたが、バッチノルムとドロップアウトリバースのみを使用しています。ドロップアウトがバッチノルムの前にある場合、トレーニングの損失が減少するにつれて検証の損失が増加するように見えます。他のケースでは、どちらも下がっています。しかし私の場合、動きが遅いので、トレーニングを重ねると状況が変わる可能性があり、それは1つのテストにすぎません。より決定的で情報に基づいた回答をいただければ幸いです。

でヨッフェとSzegedy 2015、「我々は任意のパラメータ値のために、ネットワークは常に所望の分布でアクティベーションを生成することを確実にしたい」という作者の状態。そのため、バッチ正規化レイヤーは、実際にはConvレイヤー/完全接続レイヤーの直後に挿入されますが、ReLu（またはその他の種類の）アクティブ化にフィードする前に挿入されます。詳細については、約53分後にこのビデオを参照してください。

ドロップアウトに関しては、ドロップアウトはアクティベーションレイヤーの後に適用されると思います。ドロップアウト紙 Y（L）は、活性化関数fを適用した後の結果である図3b、隠された層のためのドロップアウト率/確率行列R（L）Lは、Y（L）にそれに適用されます。

要約すると、バッチ正規化とドロップアウトを使用する順序は次のとおりです。

-> CONV / FC-> BatchNorm-> ReLu（または他のアクティベーション）->ドロップアウト-> CONV / FC->

コメントで述べたように、レイヤーの順序について読むための素晴らしいリソースがここにあります。私はコメントを調べました、そしてそれは私がインターネットで見つけたトピックに関する最高のリソースです

私の2セント：

ドロップアウトは、特定のニューロンからの情報を完全にブロックして、ニューロンが同時に適応しないようにすることを目的としています。そのため、バッチ正規化はドロップアウト後に行う必要があります。そうしないと、正規化統計を通じて情報が渡されます。

考えてみると、典型的なML問題では、これがデータ全体の平均と標準偏差を計算せずに、それをトレーニング、テスト、および検証セットに分割しない理由です。分割してから一連の統計を使用して統計を計算し、それらを使用して検証とテストのデータセットを正規化して中央に配置します

だから私はスキーム1を提案します（これは受け入れられた回答に関するpseudomarvinのコメントを考慮に入れます）

-> CONV / FC-> ReLu（または他のアクティベーション）->ドロップアウト-> BatchNorm-> CONV / FC

スキーム2とは対照的に

-> CONV / FC-> BatchNorm-> ReLu（または他のアクティベーション）->ドロップアウト-> CONV / FC->受け入れられた回答

これは、スキーム2のネットワークがスキーム1のネットワークと比較して過剰適合を示す必要があることを意味しますが、OPは問題のあるテストを実行し、それらはスキーム2をサポートします。

通常、Dropout（ある場合）をドロップするだけですBN：

• 「BNを使用する必要がなくなるDropout場合があるため、BNはドロップアウトと同様の正則化の利点を直感的に提供します。」
• 「ResNet、DenseNetなどのアーキテクチャは使用していません。 Dropout

詳細については、@ Haramozがコメントですでに述べたように、この文書[ 分散シフトによるドロップアウトとバッチ正規化の不調和について ]を参照してください。

DropoutとBatch Norm（BN）の不調和について説明した論文を見つけました。重要なアイデアは、彼らが「分散シフト」と呼ぶものです。これは、ドロップアウトの動作がトレーニングフェーズとテストフェーズで異なるため、BNが学習する入力統計がシフトするためです。主な考え方は、この論文から引用したこの図にあります。

この効果の小さなデモがこのノートブックにあります。

パフォーマンスを向上させるためのリサーチペーパーに基づいて、ドロップアウトを適用する前にBNを使用する必要があります

正しい順序は、Conv> Normalization> Activation> Dropout> Poolingです。

Conv-Activation-DropOut-BatchNorm-Pool-> Test_loss：0.04261355847120285

Conv-Activation-DropOut-Pool-BatchNorm-> Test_loss：0.050065308809280396

Conv-Activation-BatchNorm-Pool-DropOut-> Test_loss：0.04911309853196144

Conv-Activation-BatchNorm-DropOut-Pool-> Test_loss：0.06809622049331665

Conv-BatchNorm-Activation-DropOut-Pool-> Test_loss：0.038886815309524536

Conv-BatchNorm-Activation-Pool-DropOut-> Test_loss：0.04126095026731491

Conv-BatchNorm-DropOut-Activation-Pool-> Test_loss：0.05142546817660332

Conv-DropOut-Activation-BatchNorm-Pool-> Test_loss：0.04827788099646568

Conv-DropOut-Activation-Pool-BatchNorm-> Test_loss：0.04722036048769951

Conv-DropOut-BatchNorm-Activation-Pool-> Test_loss：0.03238215297460556

MNISTデータセット（20エポック）で2つの畳み込みモジュール（以下を参照）でトレーニングし、毎回

model.add(Flatten())
model.add(layers.Dense(512, activation="elu"))
model.add(layers.Dense(10, activation="softmax"))

たたみ込み層のカーネルサイズは(3,3)、デフォルトのパディングで、アクティブ化はeluです。プーリングは、プールサイドのMaxPoolingです(2,2)。損失とはcategorical_crossentropy、オプティマイザですadam。

対応するドロップアウト確率はそれぞれ0.2または0.3です。特徴マップの量はそれぞれ32または64です。

編集： 一部の回答で推奨されているように、ドロップアウトをドロップすると、収束が速くなりましたが、BatchNorm とドロップアウトを使用する場合よりも一般化能力が劣っていました。

ConV / FC-BN-シグモイド/タン-ドロップアウト。アクティベーション関数がReluまたはそれ以外の場合、正規化とドロップアウトの順序はタスクによって異なります

https://stackoverflow.com/a/40295999/8625228からの回答とコメントで推奨される論文を読んだ

Ioffe and Szegedy（2015）の観点から、ネットワーク構造ではBNのみを使用します。リーら （2018）実施者がBNの前にドロップアウトを使用すると分散シフトがあることを統計的および実験的に分析します。したがって、Li et al。（2018）すべてのBNレイヤーの後にドロップアウトを適用することをお勧めします。

Ioffe and Szegedy（2015）の観点から見ると、BNは 内部/以前にありますアクティベーション機能のあります。しかしながら、Chen等。（2019）ドロップアウトとBNを組み合わせたICレイヤーを使用します。（2019）ReLUの後にBNを使用することをお勧めします。

安全の背景として、私はネットワークでのみドロップアウトまたはBNを使用しています。

Chen、Guangyong、Pengfei Chen、Yujun Shi、Chang-Yu Hsieh、Benben Liao、Shengyu Zhang。2019.「ディープニューラルネットワークのトレーニングにおけるバッチ正規化とドロップアウトの使用法の再考」CoRR abs / 1905.05928。http://arxiv.org/abs/1905.05928。

Ioffe、Sergey、およびChristian Szegedy。2015.「バッチ正規化：内部共変量シフトを削減してディープネットワークトレーニングを加速する。」CoRR abs / 1502.03167。http://arxiv.org/abs/1502.03167。

Li、Xiang、Shuo Chen、Xiaolin Hu、Jian Yang。2018.「分散シフトによるドロップアウトとバッチ正規化の不調和について」CoRR abs / 1801.05134。http://arxiv.org/abs/1801.05134。