タグ付けされた質問 「rsync」

デスクトップをリモートマシンにバックアップしています。私は基本的にやっているrsync -a ~ example.com:backup/が、大容量ファイルの負荷があり、ファイルの例ウィキペディアダンプなどの大半は、私はそのようなFirefoxのCookieファイルとして、小さなについて多くのことを気にし、か.bashrc。特定のサイズを超えるファイルを除外するrsyncの呼び出しがありますか？そうすれば、最初に10MB未満のすべてのファイルをコピーしてから、すべてのファイルを実行できます。そうすれば、最も重要なファイルの高速バックアップを行ってから、他のすべてのファイルの長期バックアップを行うことができます。

43 linux  unix  rsync  file-transfer 

rsyncが高レベルでどのように機能するかは理解していますが、2つの側面があります。S3には、話すデーモンはありません—ありますが、基本的にはHTTPです。 いくつかのアプローチがあるようです。 s3rsync（ただし、これはrsyncをs3に固定するだけです）。簡単です。私は何かサードパーティに依存したいのか定かではありません。s3がrsyncをサポートすることを望みます。 ボルトオンなしでs3をサポートすると主張する重複のようなrsync「クローン」もあります。しかし、どのようにこれを行うことができますか？インデックスファイルをローカルに保持していますか？それがどれほど効率的かはわかりません。 s3は安価で信頼性が高いため、明らかにs3を使用したいのですが、画像の巨大なディレクトリをバックアップするなど、rsyncがツールとして使用できるものがあります。 ここでのオプションは何ですか？rsync + s3rsync + s3の代わりに重複+ s3を使用すると何が失われますか？

42 rsync  amazon-s3  duplicity 

私のラップトップとワークステーションは両方ともギガビットスイッチに接続されています。両方ともLinuxを実行しています。しかしrsync、でファイルをコピーすると、パフォーマンスが低下します。 約22 MB / sを取得します。理論的に約125 MB / sを取得すべきではありませんか？ここでの制限要因は何ですか？ 編集：私はいくつかの実験を行った。 ラップトップでの書き込みパフォーマンス ラップトップには、完全なディスク暗号化を備えたxfsファイルシステムがあります。aes-cbc-essiv:sha256256ビットのキー長で暗号モードを使用します。ディスクの書き込み性能は、58.8メガバイト/秒。 iblue@nerdpol:~$ LANG=C dd if=/dev/zero of=test.img bs=1M count=1024 1073741824 Bytes (1.1 GB) copied, 18.2735 s, 58.8 MB/s ワークステーションでの読み取りパフォーマンス コピーしたファイルは、5つのHDD上のソフトウェアRAID-5上にあります。RAIDの上にはlvmがあります。ボリューム自体は同じ暗号で暗号化されています。ワークステーションには、暗号化を高速化するネイティブAES-NI命令セットを持つFX-8150 CPUがあります。ディスク読み取りパフォーマンスは256 MB / sです（キャッシュはコールドでした）。 iblue@raven:/mnt/bytemachine/imgs$ dd if=backup-1333796266.tar.bz2 of=/dev/null bs=1M 10213172008 bytes (10 GB) copied, 39.8882 s, 256 MB/s ネットワーク性能 2つのクライアント間でiperfを実行しました。ネットワークパフォーマンスは939 Mbit …

42 linux  performance  rsync 

現在、タイムスタンプを除き、すべての点で同一の2つのディレクトリA /とB /があります。したがって、コマンドを実行すると： rsync --dry-run -crvv A/ B/ コマンドは次のようになりますが、すべてのファイルは「最新」とマークされます。 rsync --dry-run -rvv A/ B/ すべてのファイルがA /からB /にコピーされることを示しています。 私の質問はこれです：ファイルが（内容に関して）同一であることを知っていれば、B /内のファイルのタイムスタンプをファイル内のタイムスタンプと同じになるように（rsyncまたは他の方法で）設定する方法がありますA /、A /からB /にすべてのファイルをコピーせずに？ ありがとう

42 rsync  copy  synchronization  timestamp 

数日前、私は（少なくとも私にとって）奇妙なことに気づきました。私はrsyncを実行して同じデータをコピーし、その後それをNFSマウント（という名前で）に削除しました/nfs_mount/TEST。これ/nfs_mount/TESTはからホスト/エクスポートされnfs_server-eth1ます。両方のネットワークインターフェイスのMTUは9000であり、その間のスイッチはジャンボフレームもサポートしています。私が行う場合rsync -av dir /nfs_mount/TEST/、私はネットワーク転送速度XのMBpsのを取得します。もしそうならrsync -av dir nfs_server-eth1:/nfs_mount/TEST/、少なくとも2X MBpsのネットワーク転送速度が得られます。私のNFSマウントオプションはnfs rw,nodev,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountvers=3,mountproto=tcpです。 結論：両方の転送は、同じネットワークサブネット、同じワイヤ、同じインターフェースを経由し、同じデータを読み取り、同じディレクトリに書き込みます。違いは、NFSv3経由、rsync経由の違いのみです。 クライアントはUbuntu 10.04、サーバーUbuntu 9.10です。 どうしてrsyncの方がずっと速いのですか？NFSをその速度に合わせる方法は？ ありがとう 編集：rsyncを使用してNFS共有またはSSHに書き込み、NFSサーバーにローカルに書き込みます。どちらの場合もrsync -av、明確な宛先ディレクトリから始めます。明日は普通のコピーで試します。 Edit2（追加情報）：ファイルサイズの範囲は1KB〜15MBです。ファイルはすでに圧縮されていますが、さらに圧縮しようとしましたが成功しませんでした。それからtar.gzファイルを作成しましたdir。パターンは次のとおりです。 rsync -av dir /nfs_mount/TEST/ =最も遅い転送。 rsync -av dir nfs_server-eth1:/nfs_mount/TEST/=ジャンボフレームを有効にした最速のrsync。ジャンボフレームを使用しない場合は少し遅くなりますが、NFSに直接接続するフレームよりもかなり高速です。 rsync -av dir.tar.gz nfs_server-eth1:/nfs_mount/TEST/ = tar.gzに相当しないものとほぼ同じ。 cpおよびを使用したテストscp： cp -r dir /nfs_mount/TEST/=よりわずかに速いがrsync -av dir /nfs_mount/TEST/、それでも大幅に遅いrsync -av dir nfs_server-eth1:/nfs_mount/TEST/。 scp -r dir /nfs_mount/TEST/=全体で最速、わずかに克服rsync -av dir …

40 linux  ubuntu  rsync  nfs  optimization 

Amazon S3を使用して〜100 GBサーバーイメージ（Acronisバックアップツールで作成）をバックアップすることに興味があります 明らかに、このS3への毎晩のアップロードは、帯域幅とコストの点で高価です。S3でrsyncを使用することを検討しており、s3rsyncに遭遇しました。 これや他のユーティリティを使用した経験がある人はいないだろうか？

39 rsync  amazon-s3 

rsyncを使用して大量のデータを転送する場合、各ファイルのさまざまな速度ではなく、今までの平均速度を一目で把握できると便利です。

38 performance  rsync 

rsyncを使用して、あるサーバーから別のサーバーにユーザーファイルをバックアップしたいと思います。しかし、ユーザーフォルダーがルートに変更されていることに気付きました。rsync（rootで実行）でユーザー権限を保持するにはどうすればよいですか？

36 linux  rsync 

rsyncを使用して、多くのサブディレクトリとファイルを含む非常に大きなディレクトリをバックアップするため、「増分ファイルリスト」を表示したくありません。最後に要約を知りたいだけです。引数を使用すると-q、何も出力されません。rsyncに要約のみを出力させることはできますか？

34 linux  backup  rsync 

発信元と宛先の両方がリモートの場合、rsyncは次のエラーを出します。 The source and destination cannot both be remote. rsync error: syntax or usage error (code 1) at main.c(1156) [Receiver=3.0.7] rsyncでこれを行うには乗り越えられない技術的な障害がありますか？それとも、まだ実装されていない場合ですか？2つのリモート間の転送を仲介し、ハッシュとデータの両方を保持するローカルバッファーをメモリに作成するのは比較的簡単に思えます。 編集 人々は接線方向の提案をしているので、特定のユースケースを詳述する別の質問を投稿しました。これらは実際には2つの独立したものであり、rsyncのこれらの特定の詳細を知ることは価値があると思います

33 rsync  remote 

ubuntu 12.04を実行して、2つのディレクトリ、例えばfolder1 /とfolder2 /を比較し、folder3 /と異なるファイルをコピーしたいです。ネストされたファイルもあるため、一致するサブディレクトリもコピーする必要があります 私を助ける単一のコマンドはありますか？実行中の変更されたファイルの完全なリストを取得できます。 rsync -rcnC --out-format="%f" folder1/ folder2/ しかし、rsyncには、これらのファイルを別のターゲットディレクトリに「エクスポート」する機能がないようです。リストをcpまたは他のプログラムにパイプして、ファイルをコピーし、ディレクトリも作成できますか？たとえば、私は試しました rsync -rcnC --out-format="%f" folder1/ folder2/ | xargs cp -t folder3/ しかし、それはディレクトリも保存しません。folder3/内のすべてのファイルを単にコピーします

32 linux  rsync  directory  diff 

サーバーのバックアップにはrsyncを使用しますが、--delete-excludedパラメーターについては質問があります。 /usr/bin/rsync -a --delete --numeric-ids --relative --delete-excluded --rsh=/usr/bin/ssh root@server01:/etc /.snapshot/hourly.0/server01 からman rsync： --delete-excluded also delete excluded files from dest dirs 私が持っている場合は、私に、非英語のネイティブは、rsyncは、リモートサーバー上の実際の宛先ディレクトリから除外するディレクトリを削除することが、この手段は、そう/home/backupと/home/settings私の除外-フォルダに、これらのフォルダは、実際にされるだろう、リモートサーバから削除します、。 他のいくつかのリソースからは、スペースを節約するためにローカルバックアップフォルダからファイルを削除するようです。たとえば、サーバー自体に小さなバックアップを作成し、このデータを除外して、ストレージスペースを無駄にしないようにすることができます。 rsyncが機能することを意図しているので、rsyncが一方向のみの仕事をすることは私にとって非常に重要です。リモートサーバー上のファイル/ディレクトリを削除するソフトウェアを持つことでリスクを負いたくありません。

32 backup  debian  rsync  rsnapshot 

サーバー間でファイルを転送するために以下のコマンドを使用しています scp -rc blowfish /source/directory/* username@domain.net:/destination/directory updateコマンドのように変更されたファイルのみを転送する方法はありますcpか？

30 linux  centos  rsync  scp 

rsyncdsshを介したrsyncと比較して、使用することに実用的な利点はありますか？それは本当に速度、安定性、何かを向上させますか？

30 rsync 

ディレクトリ構造を比較する最良の方法は何ですか？ rsyncを使用するバックアップユーティリティがあります。ソースとバックアップの正確な違い（ファイルサイズと最終変更日）を教えてください。 何かのようなもの： Local file Remote file Compare /home/udi/1.txt (date)(size) /home/udi/1.txt (date)(size) EQUAL /home/udi/2.txt (date)(size) /home/udi/2.txt (date)(size) DIFFERENT もちろん、ツールは既製のものでも、Pythonスクリプトのアイデアでもかまいません。 どうもありがとう！ ウディ

29 filesystems  rsync  files