最小限のメモリを使用してデータをトレーニングする最も効率的な方法は何ですか？

これは私のトレーニングデータです：200,000例x 10,000機能。したがって、私のトレーニングデータマトリックスは-200,000 x 10,000です。

各例の機能を生成するときに、すべてのデータセットを1つずつ（1つずつ）保存することで、メモリの問題なしにこれをフラットファイルに保存できました。

しかし、今、私がMilk、SVM ^light、またはその他の機械学習アルゴリズムを使用すると、すべてが1つずつトレーニングするのではなく、トレーニングデータ全体をメモリにロードしようとします。ただし、RAMが8 GBしかないので、この方法で進めることはできません。

とにかく、アルゴリズムを1つのデータセットごとにトレーニングできることを知っていますか？つまり、トレーニング中にいつでも1つのデータセットをメモリにロードするだけです。

私はこの種の学習の用語はアウトオブコア学習であると信じています。1つの提案は、他の多くの言語用のライブラリーと同様に、便利なRライブラリーを備えたvowpal wabbitです。

私は心からザックの提案の2番目です。vowpal wabbitは優れたオプションであり、その速度に驚かれることでしょう。200k x 10kのデータセットは、vowpal wabbitの基準では大きいとは見なされません。

vowpal_wabbit（https://github.com/JohnLangford/vowpal_wabbitを介してソース形式で入手可能、古いバージョンはUbuntuユニバースの標準パッケージとして入手可能）は、非常に柔軟な入力を備えた高速オンライン線形+双線形学習器です。バイナリ機能と数値機能を混在させることができます。変数名は「そのまま」機能するため、機能に番号を付ける必要はありません。豊富なオプション、アルゴリズム、リダクション、損失関数、オールインワンの優れた柔軟性があります。メーリングリストに参加して（githubで検索）、質問することができます。コミュニティは非常に知識豊富で協力的です。

私はここで同様の質問に答えました。ポイントは、ほとんどの機械学習/データマイニングアルゴリズムがバッチ学習であり、すべてのデータをメモリにロードすることです。そのため、非常に大きなデータセットには、さまざまなツールが必要です。その質問のツールも参照してください。

オンライン学習は、アルゴリズムのメモリフットプリントを削減する方法です。