大きなデータファイルを1行ずつコピーする方法は？

35GBのCSVファイルがあります。各行を読み取り、条件に一致する場合はその行を新しいCSVに書き出します。

try (BufferedWriter writer = Files.newBufferedWriter(Paths.get("source.csv"))) {
    try (BufferedReader br = Files.newBufferedReader(Paths.get("target.csv"))) {
        br.lines().parallel()
            .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
            .forEach(line -> {
                writer.write(line + "\n");
        });
    }
}

これには約かかります。7分。そのプロセスをさらにスピードアップすることは可能ですか？

オプションの場合は、GZipInputStream / GZipOutputStreamを使用してディスクI / Oを最小限に抑えることができます。

Files.newBufferedReader / Writerは、デフォルトのバッファサイズである8 KBを使用すると思います。より大きなバッファーを試してみてください。

Unicodeの文字列に変換すると、速度が遅くなります（メモリを2倍使用します）。使用されるUTF-8は、StandardCharsets.ISO_8859_1ほど単純ではありません。

ほとんどの部分でバイトを操作でき、特定のCSVフィールドのみが文字列に変換するのが最善です。

メモリマップファイルが最も適切な場合があります。並列処理はファイル範囲によって使用され、ファイルを吐き出します。

try (FileChannel sourceChannel = new RandomAccessFile("source.csv","r").getChannel(); ...
MappedByteBuffer buf = sourceChannel.map(...);

これは少し多くのコードになり、で行が正しくなります(byte)'\n'が、過度に複雑になることはありません。

あなたはこれを試すことができます：

try (BufferedWriter writer = new BufferedWriter(new FileWriter(targetFile), 1024 * 1024 * 64)) {
  try (BufferedReader br = new BufferedReader(new FileReader(sourceFile), 1024 * 1024 * 64)) {

1、2分節約できると思います。バッファーサイズを指定することで、私のマシンで約4分でテストを実行できます。

それはもっと速いのでしょうか？これを試して：

final char[] cbuf = new char[1024 * 1024 * 128];

try (Writer writer = new FileWriter(targetFile)) {
  try (Reader br = new FileReader(sourceFile)) {
    int cnt = 0;
    while ((cnt = br.read(cbuf)) > 0) {
      // add your code to process/split the buffer into lines.
      writer.write(cbuf, 0, cnt);
    }
  }
}

これにより、3〜4分節約できます。

それでも十分でない場合。（私があなたが質問をすることを私が推測する理由は、おそらくあなたはタスクを繰り返し実行する必要があるからです）。1分または2、3秒で完了したい場合。次に、データを処理してデータベースに保存してから、複数のサーバーでタスクを処理します。

すべての提案のおかげで、私が思いついた最速の方法は、ライターをと交換することでしたBufferedOutputStream。これにより、約25％改善されました。

   try (BufferedReader reader = Files.newBufferedReader(Paths.get("sample.csv"))) {
        try (BufferedOutputStream writer = new BufferedOutputStream(Files.newOutputStream(Paths.get("target.csv")), 1024 * 16)) {
            reader.lines().parallel()
                    .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
                    .forEach(line -> {
                        writer.write((line + "\n").getBytes());
                    });
        }
    }

それでもBufferedReaderパフォーマンスBufferedInputStreamは私の場合よりも優れています。