データセット全体でモデルを構築できない場合、データセットの「チャンク」で線形モデルを構築できますか?
特に、私はまだ88kを超える変数(機能)を残しており、大量のメモリがなければ、それらを使って多くを行うことはできません。しかし、「ブロック」でモデルを実行すると、ブロック間で発生する相互作用が失われますか、またはこれらを「集約」するためのテクニックはありますか?
1
確率的勾配降下法を表すSGDで線形モデルとニューラルネットワーク(非線形モデル)をトレーニングします。トリックは非常に簡単です。ランダムなバッチで損失の勾配を計算し、重みを更新します。
—
Fadi Bakoura、2018年