バッチ更新と個別更新のMLPの正則化に違いはありますか？

私は過適合を制御するアプローチとしての正則化について学習しました。このアイデアを、バックプロパゲーションとマルチレイヤーパーセプトロン（MLP）の単純な実装に組み込んで、組み合わせます。

現在、過剰適合を回避するために、私は交差検証を行い、これまでのところ、検証セットで最高のスコアのネットワークを維持しています。これは問題なく機能しますが、正則化を追加すると、正則化アルゴリズムとパラメーターを正しく選択することで、ネットワークがより体系的に非適合モデルに収束するというメリットがあります。

（Coursera MLコースからの）更新期間について私が持っている式は、たとえば各ウェイトのバッチ更新として記述され、エラー伝播からトレーニングセット全体に適用されるすべてのデルタを合計した後lambda * current_weight、結合の前に調整が追加されますバッチの最後でデルタが差し引かれlambdaます。ここで、は正則化パラメーターです。

私のバックプロパゲーションの実装では、アイテムごとの重みの更新を使用しています。直感的には問題ないように見えますが、バッチアプローチをそのままコピーすることはできません。アイテムあたりのより小さな正則化用語も同様に機能しますか？

たとえばlambda * current_weight / N、Nがトレーニングセットのサイズである場合-一見すると、これは妥当に見えます。でも、この件については何も見つかりませんでした。正規化がアイテムごとの更新ではうまく機能しないためか、別の名前や変更された式の下にさえあるためでしょうか。

正則化は、アイテムごとの学習にも関連しています。バッチ学習でもアイテムごとの学習でも、ラムダを見つけるための基本的な検証アプローチから始めることをお勧めします。これが最も簡単で安全な方法です。いくつかの異なる値を使用して手動で試してください。例：0.001。0.003、0.01、0.03、0.1など。検証セットの動作を確認してください。後で、線形またはローカルの検索方法を導入して、このプロセスを自動化できます。

補足として、ラムダの値は、トレーニングセットのサイズではなく、パラメーターベクトルの更新との関連で考慮する必要があると思います。バッチトレーニングの場合、データセットパスごとに 1つのパラメーター更新があり、オンラインの場合は、トレーニングセットのサイズに関係なく、サンプルごとに1つの更新があります。

私は最近、このクロスバリデーションされた質問に遭遇しました。新しいSGDアルゴリズムに関する論文へのリンクがあり、いくつかの関連コンテンツが含まれています。見てみると便利かもしれません（特に1742-1743ページ）。

insysが言ったことを補足するために：

正規化は、MLPのすべての重みの逆伝播を計算するときに使用されます。したがって、トレーニングセット（batch）のすべての入力に関して勾配を計算する代わりに、一部または1つのアイテム（）のみを使用しますstochastic or semi-stochastic。更新の結果をすべてではなく1つの項目に関して制限することになりますが、これも正しいことです。

また、私が正しく覚えている場合は、Andrew NGが使用しましたL2-regularization。/N中には、lambda * current_weight / Nそれだけで入力を再スケーリング助け、必須ではありません。ただし、使用しない場合は、（ほとんどの場合）に別の値を選択する必要がありますlambda。

グリッド検索アルゴリズムを使用して、最適な値を選択することもできますlambda（ハイパーパラメーター=>選択する必要がある値）。