Kerasのbatch_sizeは結果の品質に影響を与えますか？

2-3百万の記事で大きなLSTMネットワークをトレーニングしようとしていますが、メモリエラーに苦労しています（AWS EC2 g2x2largeを使用しています）。

解決策の1つはを減らすことであることがわかりましたbatch_size。ただし、このパラメーターがメモリ効率の問題にのみ関連するのか、それが結果に影響するのかはわかりません。実際のところ、batch_size例で使用されているのは通常2のべき乗であることに気づきましたが、どちらもわかりません。

ネットワークのトレーニングに時間がかかるかどうかは気にしませんが、これを減らすbatch_sizeと予測の品質が低下するかどうかを知りたいです。

ありがとう。

1年半後、以前の答えが間違っていたため、答えに戻ります。

バッチサイズは学習に大きな影響を与えます。ネットワークにバッチを配置すると、勾配が平均化されます。コンセプトは、バッチサイズが十分に大きい場合、これにより、完全なデータセットの勾配がどの程度になるかを十分に安定して推定できるということです。データセットからサンプルを取得することにより、計算コストを大幅に削減しながら勾配を推定します。低くなるほど、推定値の精度は低くなりますが、場合によっては、これらのノイズの多い勾配が局所的な最小値から逃れるのに役立つことがあります。それが低すぎると、データにノイズがあり、学習できないか、収束が非常に遅い場合、ネットワークの重みが飛び跳ねて、計算時間全体に悪影響を及ぼします。

バッチ処理のもう1つの利点は、GPU計算の場合です。GPUは、計算の一部が同じ場合（たとえば、ネットワークの同じ重み行列での行列乗算の繰り返し）にニューラルネットワークで発生する計算の並列化に非常に優れています。これは、16のバッチサイズが8のバッチサイズの2倍未満の量で済むことを意味します。

より大きなバッチサイズが必要であるがGPUに収まらない場合は、小さなバッチをフィードし、勾配推定値を保存して1つ以上のバッチをフィードしてから、重みの更新を行うことができます。この方法では、仮想バッチサイズを増やしたため、より安定した勾配が得られます。

間違った古い回答：[[[いいえ、batch_sizeは平均して学習速度にのみ影響し、学習の質には影響しません。また、batch_sizesは2のべき乗である必要はありませんが、特定のパッケージでは2のべき乗しか許可されていないことを理解しています。 。]]]]

受け入れられた答えはおそらく間違っていると思う。Gradient Descent Algorithmsにはバリアントがあります。

1. Vanilla Gradient Descent：ここでは、1回のショットですべてのデータポイントで勾配が計算され、平均が取得されます。したがって、グラデーションのよりスムーズなバージョンでは、学習に時間がかかります。

2. 確率的勾配降下：ここでは一度に1つのデータポイントであるため、勾配は積極的（ノイズの多い勾配）であるため、多くの振動が発生します（これを制御するためにNesterovを使用します）。そのため、振動によりアルゴリズムが局所的な最小値に到達しない可能性があります（発散）。

3. Mini-Batch Gradient Descent：前の両方の特典を利用して、小さなバッチの勾配を平均化します。したがって、SGDのように攻撃的すぎず、Vanilla GDが決して許可しなかったオンライン学習を許可します。

ミニバッチが小さければ小さいほど、モデルのパフォーマンスは向上します（常にではありません）。もちろん、エポックに関係しているため、学習が速すぎます。大規模なデータセットでトレーニングしている場合は、パフォーマンスを向上させて収束を高速化する必要があるため、Batch-GDを選択します。

SGDには学習パラメータが固定されていたため、Adam、AdaDelta、RMS Propなど、勾配の履歴に基づいて学習パラメータを変更する他の適応オプティマイザーを開始します。

奇妙なことに、ケラスを含むより大きなバッチサイズでは、収束するためにより多くのエポックが必要になることがわかりました。

たとえば、kerasの統合テストに基づくこのスクリプトの出力は次のとおりです。

epochs 15   , batch size 16   , layer type Dense: final loss 0.56, seconds 1.46
epochs 15   , batch size 160  , layer type Dense: final loss 1.27, seconds 0.30
epochs 150  , batch size 160  , layer type Dense: final loss 0.55, seconds 1.74

関連する

• Keras issue 4708：ユーザーが使用していることが判明したためBatchNormalization、結果に影響がありました。
• LSTMに関するこのチュートリアルのセクション「バッチサイズの調整」
• 結果に対するkeras lstmバッチサイズの影響の検索結果
• ニューラルネットワークが機能していません！私は何をすべきか？、ポイント5（使用したバッチサイズが大きすぎる）では、これについて詳しく説明しています。

バッチサイズが大きすぎると、勾配降下の確率が低下するため、トレーニング中のネットワークの精度に悪影響を与える可能性があります。

編集：時間のほとんど、増加batch_sizeの計算を高速化することが望まれるが、経由で小さなフットプリントのデータ型を使用してのように、これを行うには、他のシンプルな方法がありますdtype内の引数かどうか、kerasまたはtensorflow例えば、float32代わりには、float64