Javaを使用したCSVファイルの生成

プロジェクトでは、Javaプログラムを使用して2時間ごとに大きなCSVファイルを生成する必要があります。

このファイルには約60,000行（1行あたり約120文字）があります。サイズはまだわかりません。

FileWriterを使用してファイルを開き、書き込みを続け、最後にファイルを閉じるため、メモリの問題が発生するかどうかを知りたいです。

ファイルのサイズを気にする必要がありますか？はいの場合、FileWriterを使用する以外に、Javaで大きなファイルに書き込むための優れたテクニックはありますか？

Java 5を使用しています。

いいえ、すべきではありません。ファイルのポイントは、ランダムアクセスメモリの外に物を格納することです。FileWriterのサイズは一定であり、かなり小さい可能性が高いため、たとえそれがバッファー付きFileWriterであっても、すべてを考慮する必要があります。常に書き換えを行うと、I / O負荷やCPUスパイクが発生する可能性がありますが、メモリ不足はほとんどありません。

Killian Fothが書いたように、何の問題もないはずです。60000行はそれほど大きくありません。独自の実装を作成する代わりに、http：//commons.apache.org/csv/の「Commons CSV」イニシアチブでここに提供されている無料のCSVパーサーのいずれかを使用することをお勧めします 。

いくつかのプロジェクトでSuper CSVを使用しましたが、問題はありませんでした。

FileWriterは使用しないでください。パフォーマンスの懸念のため（JavaのIOクラスはすべてをメモリに保持しないため、60k行はそうであっても何もありません）ではなく、文字エンコーディングを選択できないためです。暗黙的にプラットフォームのデフォルトのエンコーディングを使用します。つまり、ASCII以外のテキストが破損する可能性があります。

代わりに、FileOutputStreamをラップするOutputStreamWriterを使用してください。または、さらに良いことに、これらすべての問題を処理するCSVライブラリー。

BufferedWriterの使用を検討することもできますが、これはおそらくパフォーマンスにはあまり役立ちませんが、行数は常に60,000になるとは限らないので、いずれの場合もベストプラクティスです。

後でファイルを圧縮することを検討しましたか？これらのファイルを大量に配置する予定がある場合は、書き込み後に圧縮することをお勧めします。特に、数時間ごとにこれらのファイルを作成する場合は、

メモリに関しては、メモリが非常に少ないシステムで作業しているのでない限り、おそらく心配する必要はありません。その場合、BufferedWriterを使用して、バッファサイズを明示的に設定する必要があります。