Rメモリ管理/サイズn Mbのベクトルを割り当てることができません

Rで大きなオブジェクトを使用しようとすると問題が発生します。次に例を示します。

> memory.limit(4000)
> a = matrix(NA, 1500000, 60)
> a = matrix(NA, 2500000, 60)
> a = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb
> a = matrix(NA, 2500000, 60)
Error: cannot allocate vector of size 572.2 Mb # Can't go smaller anymore
> rm(list=ls(all=TRUE))
> a = matrix(NA, 3500000, 60) # Now it works
> b = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb # But that is all there is room for

これは、メモリの連続したブロックを取得することの困難さに関連していることを理解しています（ここから）：

サイズのベクトルを割り当てることができないエラーメッセージは、サイズがプロセスのアドレス空間の制限を超えたため、またはシステムがメモリを提供できなかったために、メモリを取得できなかったことを示します。32ビットのビルドでは、十分な空きメモリが利用できる可能性がありますが、マップするための十分に大きなアドレス空間の連続したブロックではないことに注意してください。

どうすればこれを回避できますか？私の主な問題は、スクリプトの特定のポイントに到達し、Rがオブジェクトに200〜300 Mbを割り当てることができないことです...他の処理にメモリが必要なため、ブロックを実際に事前に割り当てることはできません。これは、不要なオブジェクトをこまめに削除した場合でも発生します。

編集：はい、申し訳ありません：Windows XP SP3、4 Gb RAM、R 2.12.0：

> sessionInfo()
R version 2.12.0 (2010-10-15)
Platform: i386-pc-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=English_Caribbean.1252  LC_CTYPE=English_Caribbean.1252   
[3] LC_MONETARY=English_Caribbean.1252 LC_NUMERIC=C                      
[5] LC_TIME=English_Caribbean.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

このすべてのデータを明示的に必要とするのか、それとも行列を疎にすることができるのかを検討してください。R（Matrixスパース行列など）のサポートが充実しています。

このサイズのオブジェクトを作成する必要がある場合は、Rの他のすべてのプロセスとオブジェクトを最小限に抑えます。gc()現在使用されていないメモリをクリアするために使用するか、1回のセッションで必要なオブジェクトのみを作成することをお勧めします。

上記の方法で問題が解決しない場合は、できる限り多くのRAMを搭載した64ビットマシンを入手し、64ビットRをインストールしてください。

それができない場合は、リモートコンピューティング用の多くのオンラインサービスがあります。

それができない場合は、パッケージのようなff（またはbigmemorySaschaが言及している）メモリマッピングツールが新しいソリューションの構築に役立ちます。私の限られた経験ffではより高度なパッケージですがHigh Performance Computing、CRANタスクビューのトピックを読む必要があります。

Windowsユーザーの場合、次のことはいくつかのメモリ制限を理解するのに大いに役立ちました。

• Rを開く前に、Windowsリソースモニターを開きます（Ctrl-Alt-Delete /タスクマネージャーの起動/パフォーマンスタブ/下部のボタン 'リソースモニター' /メモリタブをクリックします）
• Rを開く前にすでに使用されている RAMメモリの量と、どのアプリケーションが使用しているかがわかります。私の場合、合計4GBのうち1.6GBが使用されています。だから私はRで2.4 GBしか得られないでしょうが、今はもっと悪くなります...
• Rを開いて1.5 GBのデータセットを作成し、そのサイズを0.5 GBに減らすと、リソースモニターはRAMが95％近く使用されていることを示しています。
• gc()ガベージコレクションを実行するために使用する =>機能します。メモリ使用量が2 GBまで減少することがわかります

私のマシンで機能する追加のアドバイス：

• 機能を準備し、RDataファイルとして保存し、Rを閉じ、Rを再度開き、トレーニング機能を読み込みます。リソースマネージャーは通常、メモリ使用量が少ないことを示します。これは、gc（）でも可能なすべてのメモリを回復するわけではなく、Rを閉じたり再度開いたりすると、利用可能な最大メモリで開始するのに最適です。
• もう1つのトリックは、トレーニング用にトレインセットのみをロードすることです（通常、トレインセットの半分のサイズのテストセットはロードしないでください）。トレーニングフェーズではメモリを最大（100％）まで使用できるため、利用可能なものは何でも役に立ちます。私はRのメモリ制限を実験しているので、これはすべて一粒の塩で行うことです。

これは、このトピックに関する興味深いプレゼンテーションです。

http://www.bytemining.com/2010/08/taking-r-to-the-limit-part-ii-large-datasets-in-r/

私は議論したことを自分で試したことはありませんが、bigmemoryパッケージは非常に便利です

この制限を回避する最も簡単な方法は、64ビットRに切り替えることです。

同様の問題が発生し、「ReadyBoost」として2つのフラッシュドライブを使用しました。2つのドライブにより、8GBのメモリ（キャッシュ用）がさらに追加され、問題が解決され、システム全体の速度も向上しました。Readyboostを使用するには、ドライブを右クリックしてプロパティに移動し、[ReadyBoost]を選択して[このデバイスを使用]ラジオボタンを選択し、[適用]または[OK]をクリックして構成します。

memor.limitのヘルプページをたどったところ、私のコンピューターではデフォルトでRが最大1.5 GBのRAMを使用でき、ユーザーがこの制限を増やすことができることがわかりました。次のコードを使用して、

>memory.limit()
[1] 1535.875
> memory.limit(size=1800)

私の問題を解決するのに役立ちました。

Linux環境でスクリプトを実行している場合は、次のコマンドを使用できます。

bsub -q server_name -R "rusage[mem=requested_memory]" "Rscript script_name.R"

サーバーは要求されたメモリを割り当てます（サーバーの制限によると、サーバーが適切であれば-hugefilesを使用できます）

上記の保存/読み込み方法は私にとってはうまくいきます。どのように/ gc()メモリをデフラグするかはわかりませんが、これは機能するようです。

# defrag memory 
save.image(file="temp.RData")
rm(list=ls())
load(file="temp.RData")