タグ付けされた質問 「rsync」

私は次のツリーを持っています # upper letters = directory # lower letters = files A |-- B |-- C |-- D |-- e <= file |-- F |-- G 空のディレクトリをすべて無視して、このツリーを別の宛先にコピーする必要があります。したがって、宛先は次のようになります。 C |-- e UNIX、rsyncなどでこれをどのように行いますか？

17 unix  filesystems  rsync  synchronization 

私は家のコンピューターをバックアップするために外付けハードドライブを購入しています（最終的に!!）。rsyncを使用したいと思っています。私が望むものを正確に実行する（または実行するように見える）例を見てきました。このようなもの： rsync -aE --delete /path/to/what/I/want/to/backup /Volumes/FW200/Backups しかし、rsyncのドキュメントや例などを見ると、事態はそれよりもずっと複雑に見え始めました。ネットワーキングとデーモンと専門用語、おっと！ コンピューターからファイアワイヤー接続された外部ドライブに再同期している限り、そのようなものは必要ないと仮定しています。私はそれを仮定するのは間違っていますか？物事は本当にその無害なコマンドよりも複雑になるでしょうか？

17 backup  rsync 

ある場所から別の場所に約200個のディレクトリとサブディレクトリをコピーしたいのですが、それらのディレクトリ内の何千ものファイルをコピーしたくありません。私はLinuxを使用しています。 注：すべてをコピーしてからすべてのファイルを削除するのに十分なスペースがありません。

17 linux  command-line-interface  rsync  copy 

rsyncは、.bashrcファイルを持つリモートサーバーでは動作しないことがわかりましたか？ ローカルクライアントでrsyncを実行すると次のようになります。 protocol version mismatch -- is your shell clean? (see the rsync man page for an explanation) rsync error: protocol incompatibility (code 2) at compat.c(180) [sender=3.0.7] 示唆したように、ここで削除するサーバー上の.bashrcには、問題を解決しました。.bashrcファイルを（一時的に）削除せずに解決する方法は？

16 bash  rsync 

災害復旧のために、異なるプロバイダーで2台のLAMP Webサーバーを実行します-高出力のライブサーバーと低出力のバックアップサーバー。 現在、ライブサーバーからバックアップサーバーにすべてのデータを4時間ごとにrsyncしています。 これは問題なく動作しますが、rsyncがどのファイルが変更されたかを把握しながら、システム負荷を急上昇させます。 すべてのWebサイトもgitリポジトリに存在するため、git pushの方がバックアップ手法として優れているかどうか疑問に思っています。 ライブアップロードフォルダーをgitリポジトリに含める必要があります。そして、バックアッププロセスは次のようになります。 live$ git add . live$ git commit -a -m "{data-time} snapshot" live$ git push backup live_branch 次に、バックアップサーバーにコミット後のフックを設定して、プッシュごとにチェックアウトします。 各Webサイトのサイズの範囲は50Mから2GBです。最終的には、約50の個別のgitリポジトリになります。 これはrsyncよりも「良い」ソリューションですか？ どのファイルが変更されたかを計算するのはgitですか？ git pushはrsyncよりも効率的ですか 私は何を忘れましたか？ ありがとう！ ----いくつかの比較テストからのデータ------ 1）52MBフォルダーに新しい500kフォルダー（主にテキストファイル）を追加 rsync sent 1.47K bytes received 285.91K bytes total size is 44.03M speedup is 153.22 real 0m0.718s user …

16 git  backup  rsync 

rsyncを介してIPv6アドレスに接続するのが困難です。宛先フォルダーの引数はコロンで区切られているため、IPv6アドレスはこれを次のように混乱させます。 root@fdff::ffff:ffff:ffff:/path/to/dest SSHを介してIPv6アドレスでrsyncを使用するにはどうすればよいですか？

15 linux  ubuntu  ssh  rsync  ipv6 

次のコマンドを使用して、あるサーバーから別のサーバーに何千もの小さなファイルを転送しようとしています。 rsync -zr --delete /home/user/ user@10.1.1.1::backup 現在、転送には時間がかかります（時間を計りませんでした）。これを速くする方法はありますか？別のツールを使用する必要がありますか？rsyncプロトコルを使用するのではなく、ssh経由でrsyncを使用する必要がありますか？

15 rsync 

rsyncは私のプロジェクトに適していますか？ 次のことを行う必要があります。 -SSH経由でソースから宛先フォルダーに ファイルをコピーします。-すべてのファイルがコピーされていることを確認します。-コピー 後にソースファイルを削除します。 -競合する名前がある場合、ファイルの名前を変更する必要があります。 私はオプションを使用できるようです：--remove-source-files（ソースファイルを削除する ため）しかし、rsyncはどのように競合を管理しますか？ 私のプロジェクトのユースケース： サーバーAで科学計算を実行すると、結果がフォルダー「プロセス」に挿入されます。計算ごとに、/ process / calc1のようなリポジトリがあります。 ここで、リポジトリ "/ calc1"をサーバーBに転送し（/ process / calc1を取得）、サーバーAから "calc1"を削除します 。...別の計算中に、サーバーAで"/ process / calc2"を取得します。また、サーバーBの「/ process /」ディレクトリにある「calc2」を移動するという考え方もあります。サーバーBには次のようになります 。- / process / calc1-/ process / calc2 （およびサーバーAの/ process /は空です）。 新しい計算の後にサーバーAに「/ process / calc1」などの別のフォルダーがある場合（「/ process / calc1」がサーバーBに既に存在する場合）、rsyncは競合をどのように管理しますか（サーバーB）。 rsyncでルールを追加し、サーバーBで「/ process / calc1」の名前を「process / calc1R2」に変更することは可能ですか？など（例：calc1R3）？ …

15 linux  unix  rsync  file-transfer 

マウントされた共有を介してLinuxからWindows 7にファイルを転送しています（共有はLinux 上の Windows からマウントされます）。LAN内の古いマシンから新しいマシンに大量のデータ（TB近く）をコピーしています。残念ながら、100MBitしかありません。当然のことながら、rsyncを盲目的に使用しましたが、1日後にはなぜそんなに遅く感じるのかと疑問に思いました。進捗メーターを有効にすると、約2MB / sの転送速度が示されました。 そこで、妥当な大きなファイル（800MB）を取り、転送タイミングを追跡しました（1）： cp : 05:33 scp (2): 06:33 rsync : 21:51 1）各実行の間にファイルを削除しました 2）ローカルホスト経由でscpを使用して同じLinuxマシンに直接共有します。完全に役に立たないが、進行状況メーターを提供 テストは次のように簡単でした (cp|scp|rsync) <source> <destination> scpのホスト/ポート以外の特別な引数はありません。-Wrsync の切り替えを試みましたが、10分後にキャンセルされました。rsyncはLennyで実行されている3.0.3です。いつでもコピープロセスを中断して再開できるようになると、rsyncに導かれますが、今はこの要件を真剣に再検討する必要があると思います。 このような大きな違いはどのように可能ですか？ 更新/解決済み： rschulerのおかげで問題を解決できました。効率上の理由から、smbマウントの代わりにrsyncデーモンを使用してください。上記のDeltaCopyは機能しますが、いくつかの点に注意する必要があります それは素晴らしいGUIラッパーですが、何か問題が発生した場合、それを修正する方法を知っておくと良いでしょう。rsyncサービスを実行するために最初に間違ったユーザー資格情報を入力したようですが、GUIでは新しい資格情報を設定できませんでした。サービスとして実行されており、そこで適切な資格情報を設定できることがわかりました 接続を許可するためにポートをファイアウォールに手動で追加する必要がありました 個人的な好み：共有がパスワードで保護されていることを確認します。パスワードで保護されていない場合は、Windowsでサービスが自動的に開始されないようにします。念のため ラップされたrsyncバイナリはネイティブのWindowsポートではありませんが、cygwin上に構築されます。ただし、含まれているcygwin DLLはUTF8およびマングルされた非ASCII文字を適切に処理しません。http://www.okisoft.co.jp/esc/utf8-cygwin/から固定DLLを取得します。 その後、転送レートは2MB / sから〜8MB / sに跳ね上がりました。本当に素敵！

15 rsync  performance 

rsyncに問題があります：rsyncしているディレクトリ内のすべてのファイルを表示するか（フラグを使用する場合-v）、何も表示しない（使用しない場合-v）。 実際に遠端にアップロードする必要があるファイルを除いて、rsyncをクワイエットにします。この種のレポートを有効にするフラグはありますか？私はドキュメントでこれを見つけることができません

14 rsync 

rsyncがシステムとネットワークを枯渇させないようにするために、rsyncをionice起動して--bwlimitパラメーターを設定するときに使用します。例えば： ionice -c2 -n7 rsync -aH --bwlimit=30000 /foo root@dest.com:/ これは確かに、ソースサーバーの応答性を維持するのに役立ちます。ただし、ディスクioが100％であるため、宛先atopユーティリティは非常に遅くなります（ユーティリティで確認）。 ionice宛先サーバーでも何らかの形で使用することは可能ですか？おそらくrsync -eオプション経由ですか？可能であれば、rsyncデーモンを実行しないことを希望します。

14 rsync  high-load  rate-limiting  ionice 

btrfsが今月14日にOracle ELで本番稼働を開始しました（Linux 3.2からfsckとスクラブを実行することで）それを利用するために現在のバックアップソリューションを再設計することを考えていました。10TB未満の少量のデータに対してそれを行うことを考えていることに注意してください。これはかなり静的です（毎日1％未満の変更）。要するにSMB / SOHOバックアップソリューション。 バックアップがすべきこと： 本番サーバーでext [234] / XFS / JFSのLVMスナップショットを作成します rsync/変更されたデータをバックアップサーバー上のbtrfsに転送 btrfsファイルシステムのスナップショット 空き領域が少なくなったときに古いスナップショットを削除する 長所： すべてのファイルが簡単に利用でき、解凍やループマウントは不要 過去のスナップショットも簡単に入手できます... ...そのため、読み取り専用のSamba共有として共有できます（シャドウコピーのサポート付き） コピーオンライトのおかげで、スナップショットのスペースは最小限に抑えられます（変更のないスナップショットは、ディスク上で文字通りほとんどKiBを消費しません） 高いバックアップ一貫性：ファイルのチェックサム、すべてのデータのスクラブ、および組み込みの冗長性 質問： コピーオンライトファイルシステムを認識している、または簡単に作成できるバックアップソリューション（Bacula、BackupPCなどの形式）はありますか？ または、ホームrsyncソリューションを使用する必要がありますか？ バックアップ専用のZFSボックスを持っている人は、Linuxマシンをバックアップするために何をしますか？

14 linux  backup  rsync  incremental-backup  btrfs 

多数の相対データファイルがありますが、それらは約50 GBを占有し、別のマシンに転送する必要があります。これを行う最も効率的な方法を考えていました。 私が考えていたのは、すべてをgzipしてからrsyncして解凍し、圧縮のためにrsync -zに依存し、gzipしてからrsync -zを使用することでした。rsync -zがどのように正確に実装されているかわからないため、どれが最も効率的かはわかりません。どのオプションが最速かというアイデアはありますか？

14 backup  rsync  compression 

古いubuntuサーバーと新しいdebianサーバーが1つずつあり、古いサーバーから新しいサーバーにデータを移行しています。rsyncを使用してデータを転送し、同等のtar / scp / untarプロセスよりも簡単かつ迅速に最終移行を行いたいと思います。 例として、ホームフォルダーを一度に1つずつ新しいサーバーに同期したいと思います。これには、ソース側のすべてのファイルが誰でも読み取り可能というわけではなく、正しいアクセス権で/ homeに書き込む必要があるため、両端でルートアクセスが必要です。両側でrsyncルートアクセスを許可する方法がわかりません。 関連する質問をいくつか見ましたが、私がやろうとしていることとまったく一致するものはありません。 両方のサーバーでsudoをセットアップして作業しています。

14 ubuntu  ssh  debian  rsync  root 

イントラネットには、約800,000個のファイルが約4,000個のフォルダーに分割されたフォルダー構造があります。これをDMZのマシンの小さなクラスターに同期する必要があります。構造の深さは非常に浅い（2レベルを超えない）。 ほとんどのファイルは変更されず、毎日数千の更新されたファイルと1〜2千の新しいファイルがあります。データは、ソースデータが削除された場所で保持されている履歴レポートデータです（つまり、これらはアーカイブされて削除されるほどソースデータが十分に古いファイナライズされたレポートです）。合理的な時間枠で発生する可能性があるため、1日に1回の同期で十分です。レポートは夜間に生成され、午前中にスケジュールされたタスクとして最初に同期します。 明らかに、定期的に変更されるファイルはごくわずかなので、インクリメンタルコピーの恩恵を受けることができます。Rsyncを試してみましたが、「ファイルリストの作成」操作を完了するだけで8〜12時間かかる場合があります。rsyncの能力を急速に上回っていることは明らかです（12時間の時間枠は長すぎます）。 RepliWebという別のツールを使用して構造を同期していましたが、約45分で増分転送を実行できます。ただし、制限を超えたようで、ファイルが削除されていないときにファイルが表示されるようになりました（おそらく、内部メモリ構造が使い果たされたのかどうかはわかりません）。 他の誰かがこの種の大規模な同期プロジェクトに遭遇しましたか？同期のためにこのような大規模なファイル構造を処理するように設計されたものはありますか？

14 backup  rsync  synchronization  unison