ZFS + dedup:たくさんの小さなファイルを速くコピーする
私は、Webサイトをバックアップし、それらを保持して保存するために、ZFSバックアップサーバー(重複排除機能付き)を実行しています。これを行うには、最初のバックアップ時にすべてのファイルをバックアップサーバーに転送し、それらすべてのファイルのコピーを作成して、保持するセットと翌日のバックアップを同期するセットを作成します。 ただし、これらすべてのファイルのローカルコピーを作成するのには15 GBのデータしかないまま3時間以上かかりますが、別のサーバーから転送すると30分しかかかりません。これはおそらく、 "cp"コマンドが一度に1つの(小さい)ファイルを読み取り、それをストレージに書き込むためです。これにはメカニックディスクとそのシーク時間(3ディスクのraidZ)で数時間かかります。 コピーが最初にファイルごとにデータを読み込むのではなく、最初に大量のデータをメモリに読み込み、次にそれを書き込む場合は、これはおそらく修正されます。