ディープラーニングで現在の画像平均ではなく、データセットの画像平均を減算して画像を正規化するのはなぜですか？

画像を正規化する方法にはいくつかのバリエーションがありますが、ほとんどは次の2つの方法を使用しているようです。

1. すべての画像について計算されたチャネルごとの平均値を引きます（例： VGG_ILSVRC_16_layers）
2. すべての画像について計算されたピクセル/チャネルで減算します（例：CNN_S、Caffeの参照ネットワークも参照）

私の考えでは、自然なアプローチで各画像を正規化します。昼光下で撮影された画像は、夜間の画像よりも多くのニューロンを発火させますが、通常、エッジなどに存在するより興味深い特徴に関心がある時間を通知する場合があります。

Pierre Sermanetは3.3.3で、画像ごとのローカルコントラスト正規化を参照していますが、これまでに見た例/チュートリアルではこれに遭遇していません。また、興味深いQuoraの質問とXiu-Shen Weiの投稿を見ましたが、上記の2つのアプローチをサポートしていないようです。

正確に何が欠けていますか？これは色の正規化の問題ですか、それとも多くの人がこのアプローチを使用する理由を実際に説明する論文がありますか？

データセットの平均値を差し引くと、データが「中央に配置」されます。さらに、各フィーチャ値をzスコアに正規化する場合は、そのフィーチャまたはピクセルのsttdevで除算することも理想的です。

両方のことを行う理由は、ネットワークをトレーニングする過程で、これらの初期入力を乗算（重み）して加算（バイアス）し、アクティベーションを発生させてから勾配で逆伝播するためです。モデルを訓練します。

このプロセスでは、各機能に対して同様の範囲を設定して、勾配が制御不能にならないようにします（グローバル学習レート乗数が1つだけ必要です）。

考えられるもう1つの方法は、ディープラーニングネットワークが伝統的に多くのパラメーターを共有していることです。同様の範囲の特徴値（つまり、データセット全体で平均を差し引く）で共有をスケーリングしない場合、入力はスケーリングされませんこれは非常に簡単に起こります。なぜなら、画像の重みの一部は非常にw大きく、別の部分は小さすぎるからです。

一部のCNNモデルでは、イメージごとのホワイトニングが使用されていることがわかりますが、これは思考の方向に沿ったものです。

バッチ正規化の前に、チャネルごとの平均減算を使用して、各チャネル（R、G、B）のゼロ平均を中心にデータを集中させました。これは通常、勾配が各チャネルに対して均一に作用するため、ネットワークがより速く学習するのに役立ちます。バッチ正規化を使用する場合は、とにかくミニバッチごとに正規化するため、チャネルごとの平均減算前処理ステップは実際には必要ありません。

イメージごとの正規化は一般的であり、現在Tensorflowに組み込まれている唯一の機能です（主に実装が非常に簡単なため）。あなたが述べた正確な理由（同じ画像の昼と夜）に使用されます。ただし、照明が制御されるより理想的なシナリオを想像すると、各画像間の相対的な差はアルゴリズムで非常に価値があり、画像ごとの正規化でそれを一掃することは望ましくありません（そして、トレーニングデータセット全体のコンテキストで正規化を行います）。

これは、データを使用する前のデータの前処理と呼ばれます。多くの方法で処理できますが、同じ関数X_preproc = f（X）で各データを処理する必要があるという1つの条件があり、このf（。）はデータ自体に依存しないため、現在の画像を使用する場合はこれを処理することを意味します現在の画像の場合、f（X）は実際にはf（X、image）になりますが、これは望ましくありません。

あなたが話していた画像のコントラストの正規化は、別の目的のためです。画像コントラストの正規化は機能に役立ちます。

ただし、上記のf（。）は、すべての機能を互いに数値的に等しく保つことにより、最適化に役立ちます（もちろん、ほぼ）