ddへのbsパラメータの最適値を決定する方法はありますか？

「デフォルト値には時間がかかりすぎるため、必ず「bs =」を設定してください」という行に沿ってオンラインでコメントを見たことがあります。先週の時間」はそれを支持するようです。そのため、「dd」を使用する場合（通常は1〜2 GBの範囲）、必ずbytesパラメーターを指定してください。約半分の時間で、コピー元のオンラインガイドで指定されている値を使用しています。残りの時間は、「fdisk -l」のリストから意味のある数字を選択します。これは、遅いメディア（たとえば、書き込み先のSDカード）であると推測されるものです。

特定の状況（メディアの種類、バスのサイズなど）について、「最適な」値を決定する方法はありますか？判断するのは簡単ですか？そうでない場合、そこにある方法の90〜95％を取得する簡単な方法はありますか。または、「512より大きいものを選ぶだけ」でさえ正しい答えですか？

私は実験を自分で試すことを考えましたが、（多くの作業に加えて）どの要因が答えに影響するかわからないので、良い実験を設計する方法がわかりません。

dd古いIBMメインフレームテープを変換する必要があったときから遡り、ブロックサイズはテープまたはデータブロックの書き込みに使用されたものと一致する必要があり、スキップまたは切り捨てられました。（9トラックテープは細心の注意を払っていました。長い間死んでいました。）最近では、ブロックサイズはデバイスセクターサイズの倍数である必要があります（通常は4KB。ドライブは小さいかもしれませんが、4KBが妥当な中間点であり、大きいほどパフォーマンスが向上します。私はしばしばハードドライブで1MBのブロックサイズを使用します。（これらの日を振り回すためにより多くの記憶があります。）

最適なブロックサイズを決定する方法は1つしかありませんが、これはベンチマークです。簡単なベンチマークを作成しました。テストマシンは、カーネル2.6.32とcoreutils 8.5を備えたDebian GNU / Linuxを実行しているPCです。関係する両方のファイルシステムは、ハードディスクパーティション上のLVMボリューム上のext3です。ソースファイルは2GB（正確には2040000kB）です。キャッシュとバッファリングが有効になっています。各実行の前に、でキャッシュを空にしましたsync; echo 1 >|/proc/sys/vm/drop_caches。実行時間にはsync、バッファーをフラッシュするための最終は含まれません。最終syncは1秒程度かかります。sameランは、同じファイルシステム上にコピーしました。diffランは別のハードディスク上のファイルシステムにコピーしました。一貫性を保つために、報告される時間は、time秒単位のユーティリティ。各コマンドを1回実行しただけなので、タイミングにどの程度のばらつきがあるかわかりません。

             same   diff
dd bs=64M    71.1   51.3
dd bs=1M     73.9   41.8
dd bs=4k     79.6   48.5
dd bs=512    85.3   48.9
cat          76.2   41.7
cp           77.8   45.3

結論：大きなブロックサイズ（数メガバイト）は役立ちますが、劇的ではありません（同じドライブのコピーで予想したよりもはるかに少ないです）。そしてcat、cpそれほど悪いパフォーマンスをしないでください。これらの数字では、dd気にする価値はありません。と行くcat！

サイズはブロックサイズの倍数である必要があるというオタクサウルスに同意します。これは多くの場合4Kです。

ブロックサイズを見つけたい場合stat -c "%o" filenameは、おそらく最も簡単なオプションです。

しかし、あなたが言うdd bs=4K、それはそれが意味するread(4096); write(4096); read(4096); write(4096)...

各システムコールには、いくらかのオーバーヘッドを伴うコンテキストスイッチが含まれ、I / Oスケジューラによっては、散在書き込みによる読み取りにより、ディスクが大量のシークを行う可能性があります。（おそらくLinuxスケジューラーの大きな問題ではありませんが、それでも考慮すべき点があります。）

その場合bs=8K、書き込みを行う（または別のプロセスのI / Oを提供する）他の場所を探す前に、ディスクが一度に2つのブロックを読み取ることを許可します。

その論理により、bs=16Kさらに良い、など。

したがって、パフォーマンスが悪化し始める上限があるかどうか、またはメモリによってのみ制限されているかどうかを知りたいと思います。

ジルが言うように、ベンチマークすることで、ddに対するbsオプションの最適なパラメーターを決定できます。しかし、これは疑問を投げかけます：このパラメーターをどのように便利にベンチマークできますか？

この質問に対する私の暫定的な答えは、dd-optを使用することです。これは、この問題を正確に解決するために最近作業を開始したユーティリティです。

私は、SDカードリーダーusb2.0用に最適化しましたbs=10M。8〜10Mの改善なしで、最大16Mで4kを試しました。転送速度の測定値がどのように低下​​するかを確認できます。ほとんどの場合、デバイスにバッファをロードし、デバイスが実際のメディアに転送されるのを待っているためです。

angstrom/sdcard# dd if=/dev/zero of=/dev/sdb bs=10M
123+0 records in
123+0 records out
1289748480 bytes (1.3 GB) copied, 21.4684 s, 60.1 MB/s
341+0 records in
341+0 records out
3575644160 bytes (3.6 GB) copied, 117.636 s, 30.4 MB/s
816+0 records in
816+0 records out
8556380160 bytes (8.6 GB) copied, 326.588 s, 26.2 MB/s
955+0 records in
955+0 records out
10013900800 bytes (10 GB) copied, 387.456 s, 25.8 MB/s