ドライブを複製するコマンドは最適ですか?


16

私は、ハードドライブのクローンを作成する準備をするために、30分読んでいます。Windowsパーティションを含む複数のパーティションがあります。バックアップ用に非常に大きな外付けハードドライブを購入します。何か問題が発生した場合に備えて、このクローンを使用してドライブ全体を復元できるようにしたいと思います(OSの再シャッフルをしようとしています)。何もインストールする必要のない低レベルのツールが好きなので、ddを使用してこれを行う方法を学びたいです。

私は、ubuntuフォーラムから次の有用なコードを見つけました(ライブCDを使用してルートシェルから入力)。

dd if=/dev/hda of=/dev/hdb & pid=$!
while kill -USR1 $pid; do sleep 1; done

(入力と出力の場所を編集する必要があることはわかっています。)ただし、2つの質問があります。1つ目は非常にヌービです:このコマンドは2行に分割されています。感嘆符の後にEnterキーを押すと、プロセスが開始されますか?

2つ目は、他のサイトではブロックサイズを入力することをお勧めしました。このような:

# dd if=/dev/hda conv=sync,noerror bs=64K of=/mnt/sda1/hda.img

ブロックサイズについては何も知りません。64Kは正しいですか?私のブロックサイズは、sudo fdisk -ulの出力から、512バイトのようです。

Disk /dev/sda: 750.2 GB, 750156374016 bytes
255 heads, 63 sectors/track, 91201 cylinders, total 1465149168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0xc3ffc3ff

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *          63   143364059    71681998+   7  HPFS/NTFS/exFAT
Partition 1 does not start on physical sector boundary.
/dev/sda2       976867328  1465147391   244140032    7  HPFS/NTFS/exFAT
/dev/sda3       143364094   976867327   416751617    5  Extended
Partition 3 does not start on physical sector boundary.
/dev/sda5       143364096   162895871     9765888   82  Linux swap / Solaris
/dev/sda6       162897920   205864959    21483520   83  Linux
/dev/sda7       205867008   976867327   385500160   83  Linux

Partition table entries are not in disk order

Disk /dev/mapper/cryptswap1: 10.0 GB, 10000269312 bytes
255 heads, 63 sectors/track, 1215 cylinders, total 19531776 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x433bb3a7

Disk /dev/mapper/cryptswap1 doesn't contain a valid partition table

ありがとうございました。


シンプルなものを試しましたdd if=/dev/hda of=hdbか?160 GBのランタイムを含む詳細を示す回答を次に示します。askubuntu.com
questions

Ubuntuでの最近のバージョンは、ここでのcoreutils v.8.24以降の利用ddに述べたように進行スイッチを含み、ここを
エルダーオタク

回答:


22

進捗

リストしたコマンド

dd if=/dev/hda of=/dev/hdb & pid=$!
while kill -USR1 $pid; do sleep 1; done

dd定期的に進捗状況を把握するのに最適な2ライナーです。私も非常によく似たものを使用しています。いいね。おそらくここで見つけた?

ブロックサイズdd:アライメントとパフォーマンス

操作が行われるブロックサイズを追加できます。基盤となるブロックデバイスのブロックサイズが同じように操作を実行することは重要ではありませんが、パフォーマンス上の理由から、ニーズに合ったものを選択することができます。

まず第一に、アライメントの問題があります。ブロックデバイスが512KiBとして動作する場合(フラッシュドライブのように)、デバイスの観点から各ブロックに1024の書き込み(!)が発生するためddbs=512(バイト)で実行するのは非常に残念です。実際には、書き込みはバッファリングされて一度に実行されるため、それほど悪くはありませんが、同期中は書き込み量を大幅に増幅できます。

次に、非常に大量の小さな操作を処理するときの単純なCPU使用オーバーヘッドも考慮します。大量のデータをコピーする場合、一度にメガバイトを使用する方が効率的です。

私のベストプラクティスは、RAIDストライプサイズ、LVMエクステントサイズなど、ほとんどのセットアップの素敵な倍数である1MBから始めることです。SSDを搭載したラップトップでは、ブロックサイズとして10MBを使用すると若干改善する傾向があります。私の物理的なハードドライブにはもう表示されません。

最後のブロック

ドライブ/ボリュームのサイズがブロックサイズの倍数でないことを心配しないでください。ddコピーする最後のブロックは、その上のデータの最後のビットと一致するように調整されます。出力を見ると、最後のブロックのサイズが異なるかどうかを確認できます。

18335302+0 records out

これ+0は完全に一致した+1ことを意味し、そうではなかったことを意味します。大きな問題ではない。

こちらもご覧ください


1
うわー、なんて徹底的な答え。お時間をいただきありがとうございました。元の質問に、ソースへのリンクを付けて更新します。それから1 MBで行きます。だから私のコマンドはこのようになります、私は正しいですか? # dd if=/dev/hda conv=sync,noerror bs=1MB of=/mnt/sda1/hda.img & pid=$! while kill -USR1 $pid; do sleep 1; done
キットジョンソン

2
@oldmankit 10の累乗でbs=1Mはなく、2の累乗であるのでやりbs=1MBますが、最良のものを確認できる場合は、システムでベンチマークを実行してください。
gertvdijk

4
注言及していないようことを、ここでそれをすることはもはや必要です(Xenial 16.04上向きのUbuntuのデフォルト)のcoreutils> = 8.24のリリース以来、kill -USR1 $pid今DDは追加することで利用できる進捗レポートを持ってstatus=progressスイッチを
エルダーオタク

10

他の人が言ったように、普遍的に正しいブロックサイズはありません。ある状況またはあるハードウェアに最適なものは、別の状況にはひどく非効率的かもしれません。また、ディスクの状態によっては、「最適」とは異なるブロックサイズを使用することをお勧めします。

最新のハードウェアで非常に信頼性の高いことの1つは、512バイトのデフォルトブロックサイズが、最適な代替サイズよりもほぼ1桁遅い傾向があることです。疑わしいときは、64Kが非常に堅実な現代のデフォルトであることがわかりました。通常、64Kは最適なブロックサイズではありませんが、私の経験では、デフォルトよりもはるかに効率的である傾向があります。64Kには、確実にパフォーマンスを発揮するという確かな歴史もあります。2002年頃のEug-Lugメーリングリストから、 64Kのブロックサイズを推奨するメッセージを見つけることができます。

最適な出力ブロックサイズを決定するために、デフォルトの512バイトから最大64Mまでのさまざまなブロックサイズの範囲でddを使用して128Mのテストファイルの書き込みをテストする次のスクリプトを作成しました。このスクリプトは内部でddを使用しているため、注意して使用してください。

dd_obs_test.sh

#!/bin/bash

# Since we're dealing with dd, abort if any errors occur
set -e

TEST_FILE=${1:-dd_obs_testfile}
TEST_FILE_EXISTS=0
if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=1; fi
TEST_FILE_SIZE=134217728

if [ $EUID -ne 0 ]; then
  echo "NOTE: Kernel cache will not be cleared between tests without sudo. This will likely cause inaccurate results." 1>&2
fi

# Header
PRINTF_FORMAT="%8s : %s\n"
printf "$PRINTF_FORMAT" 'block size' 'transfer rate'

# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M
for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
do
  # Calculate number of segments required to copy
  COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))

  if [ $COUNT -le 0 ]; then
    echo "Block size of $BLOCK_SIZE estimated to require $COUNT blocks, aborting further tests."
    break
  fi

  # Clear kernel cache to ensure more accurate test
  [ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches

  # Create a test file with the specified block size
  DD_RESULT=$(dd if=/dev/zero of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync 2>&1 1>/dev/null)

  # Extract the transfer rate from dd's STDERR output
  TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')

  # Clean up the test file if we created one
  if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi

  # Output the result
  printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"
done

GitHubで表示

このスクリプトはDebian(Ubuntu)システムとOSX Yosemiteでのみテストしたため、他のUnixフレーバーで動作させるにはおそらく微調整が必​​要です。

デフォルトでは、コマンドはdd_obs_testfile現在のディレクトリに名前が付けられたテストファイルを作成します。または、スクリプト名の後にパスを指定することにより、カスタムテストファイルへのパスを指定できます。

$ ./dd_obs_test.sh /path/to/disk/test_file

スクリプトの出力は、テストされたブロックサイズとそれぞれの転送速度のリストです。

$ ./dd_obs_test.sh
block size : transfer rate
       512 : 11.3 MB/s
      1024 : 22.1 MB/s
      2048 : 42.3 MB/s
      4096 : 75.2 MB/s
      8192 : 90.7 MB/s
     16384 : 101 MB/s
     32768 : 104 MB/s
     65536 : 108 MB/s
    131072 : 113 MB/s
    262144 : 112 MB/s
    524288 : 133 MB/s
   1048576 : 125 MB/s
   2097152 : 113 MB/s
   4194304 : 106 MB/s
   8388608 : 107 MB/s
  16777216 : 110 MB/s
  33554432 : 119 MB/s
  67108864 : 134 MB/s

(注:転送レートの単位はOSによって異なります)

最適な読み取りブロックサイズをテストするには、ほぼ同じプロセスを使用できますが/dev/zero、ディスクの読み取りと書き込みの代わりに、ディスクから読み取り、に書き込み/dev/nullます。これを行うスクリプトは次のようになります。

dd_ibs_test.sh

#!/bin/bash

# Since we're dealing with dd, abort if any errors occur
set -e

TEST_FILE=${1:-dd_ibs_testfile}
if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=$?; fi
TEST_FILE_SIZE=134217728

# Exit if file exists
if [ -e $TEST_FILE ]; then
  echo "Test file $TEST_FILE exists, aborting."
  exit 1
fi
TEST_FILE_EXISTS=1

if [ $EUID -ne 0 ]; then
  echo "NOTE: Kernel cache will not be cleared between tests without sudo. This will likely cause inaccurate results." 1>&2
fi

# Create test file
echo 'Generating test file...'
BLOCK_SIZE=65536
COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))
dd if=/dev/urandom of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync > /dev/null 2>&1

# Header
PRINTF_FORMAT="%8s : %s\n"
printf "$PRINTF_FORMAT" 'block size' 'transfer rate'

# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M
for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
do
  # Clear kernel cache to ensure more accurate test
  [ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches

  # Read test file out to /dev/null with specified block size
  DD_RESULT=$(dd if=$TEST_FILE of=/dev/null bs=$BLOCK_SIZE 2>&1 1>/dev/null)

  # Extract transfer rate
  TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')

  printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"
done

# Clean up the test file if we created one
if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi

GitHubで表示

この場合の重要な違いは、テストファイルがスクリプトによって書き込まれるファイルであることです。このコマンドを既存のファイルに向けないでください。既存のファイルはランダムなデータで上書きされます!

私の特定のハードウェアでは、HDDでは128Kが最も最適な入力ブロックサイズであり、SSDでは32Kが最も最適であることがわかりました。

この答えは私の発見のほとんどをカバーしていますが、それについてのブログ記事を書くのに十分な回数、最適なddブロックサイズを決定する必要がありました。そこで行ったテストの詳細を確認できます。

このStackOverflowの投稿も役に立つかもしれません:dd:最適なブロックサイズを計算する方法は?


男に魚を教える= +1
HackSlash

@ tdg5これはすばらしいスクリプトですが、Windows 7環境のCygwin内から実行すると致命的なエラーが発生します。Cygwinで動作するバージョンはありますか?
ハシム
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.