統計分析用のデータをRに単純に保存する最良の方法[非公開]

テキストファイルを使用して、しばらくの間、問題なくRのデータを保存しています。しかし、最近のプロジェクトでは、生のテキストファイルを処理するにはファイルのサイズが大きくなりすぎています。最も簡単な代替手段は何ですか？

標準Rのアプローチは、使用することですsaveとload。saveインポートして注釈を付けた後、データフレームで実行する場合、指定することができcompress=TRUE、圧縮と高速load時間に驚かれることでしょう。これは、オブジェクトサイズが約400MB未満の場合に特に有効です。それ以外の場合は、上記の提案のいくつか、またはffRの強力なパッケージを確認してください。

Hmiscパッケージには、少しラッパーを持っているSaveと、Load上記のさらに多くの無痛を作るために：

mydata <- csv.get(...)  # Hmisc package, has several options
Save(mydata)   # writes mydata.rda to current working directory
....
Load(mydata)   # reads mydata.rda and creates mydata data frame

SQLite3データベースを見てください。各データベースはファイルであるため、データベースサーバーをセットアップする必要はありません。

データベースを作成するには：

$ sqlite3 my_db.db3
> CREATE TABLE my_table ( col1 TEXT );

Rで使用する場合、https：//gist.github.com/lynaghk/1062939

一般的なオプションがいくつかあります。

• テキストを圧縮できます。
• あなたはASCIIで書くのではなく、テキストにバイナリを入れることができます

優れた圧縮はデータに依存します。

私の推測（そして、あなたが指定しなかったので推測しなければならない）は、csv（コンマ区切り）以外のスプレッドシートのようなデータを保存しようとしているということです。

私のお気に入りのフォーマットの1つ（MatLabが大好き）はhdfです。

HDFに関するR関連の情報は次のとおりです。

• パッケージhdf5、h5r、Bioconductorのrhdf5、RNetCDF、ncdf、ncdf4からアクセス
• http://www.hdfgroup.org/HDF5/whatishdf5.html

これは、高密度のスーパーコンピューティングデータストレージ形式です。非常に高速で効率的です。また、（当然のことながら）圧縮されたテキストよりも密度が高くなります。

Rの標準ファイル読み取り機能は、gzip圧縮されたファイルを自動的に簡単に読み取るようになりました。したがって、データに対して単純なgzip圧縮を実行し、プレーンテキストであるかのように常に読み取ります。

read.table('myfile.gz')