タグ付けされた質問 「file-transfer」

16
大きなディレクトリツリーをローカルにコピーしますか？cpまたはrsync？
約1.8 TBの大きなディレクトリツリーをコピーする必要があります。それはすべてローカルです。習慣から私は使用したいと思いますがrsync、私は多くのポイントがあるかどうか、そして私がむしろ使用するべきかどうか疑問に思いますcp。 コピーで保持する必要があるため、アクセス許可とuid / gidが心配です（rsyncがこれを行うことは知っています）。シンボリックリンクなど。 宛先は空なので、いくつかのファイルを条件付きで更新することを心配する必要はありません。すべてローカルディスクなので、sshやネットワークについて心配する必要はありません。 私がrsyncから離れたくなるのは、rsyncが必要以上のことをするかもしれないからです。rsyncチェックサムファイル。私はそれを必要としません、そして、cpより時間がかかるかもしれないと心配しています。 それで、あなたは何を考慮しますrsyncかcp？
4
フォルダーではなくrobocopy転送ファイル
1 robocopyつのファイルをある場所から別の場所に転送するために使用しようとしていますが、robocopy常にフォルダーを指定していると考えているようです。以下に例を示します。 robocopy "c:\transfer_this.txt" "z:\transferred.txt" しかし、代わりにこのエラーが表示されます： 2009/08/11 15:21:57 ERROR 123 (0x0000007B) Accessing Source Directory c:\transfer_this.txt\ （\の終わりに注意してくださいtransfer_this.txt） しかし、フォルダ全体のように扱う場合： robocopy "c:\folder" "z:\folder" それは動作しますが、フォルダ内のすべてを転送する必要があります。 単一のファイルのみを転送するにはどうすればよいrobocopyですか？
12
10 TBのファイルを米国から英国のデータセンターに転送します
あるデータセンターから別のデータセンターに、米国から英国にサーバーを移行しています。私のホストは、毎秒11メガバイトを達成できるはずだと言いました。 オペレーティングシステムは、両端がWindows Server 2008です。 私の平均ファイルサイズは約100 MBで、データは5つの2 TBドライブに分割されています。 これらのファイルを転送するための推奨される方法は何ですか？ FTP SMB Rsync / Robocopy その他？ これらはいずれにせよパブリックファイルなので、セキュリティについてあまり気にしませんが、総転送時間を最小限に抑えるためにフルの11 MB / s転送速度をプッシュできるソリューションが必要です。
27
2つのサーバー間で大量のファイルをすばやくコピーする方法
2つのサーブ（Ubuntu）間で大量のmp3を転送する必要があります。巨大とは、平均で300Kの約100万個のファイルを意味します。試しましたscpが、1週間ほどかかりました。（約500 KB /秒）HTTPで1つのファイルを転送すると、9〜10 MB /秒になりますが、すべてを転送する方法がわかりません。 それらすべてをすばやく転送する方法はありますか？
11
15TBの小さなファイルを転送する
あるサーバーから別のサーバーにデータをアーカイブしています。最初はrsync仕事を始めました。5 TBのデータのファイルリストを作成するのに2週間、1 TBのデータを転送するのにさらに1週間かかりました。 その後、新しいサーバーでいくつかのダウンタイムが必要になるため、ジョブを強制終了する必要がありました。 おそらく再びアクセスする必要はないので、それをtarすることに同意しました。500 GBのチャンクに分割することを考えていました。私がtarそれをした後、私はそれをコピーしようとしましたssh。私は使用tarしてpigzいましたが、それでも遅すぎます。 それを行うより良い方法はありますか？両方のサーバーがRedhat上にあると思います。古いサーバーはExt4で、新しいサーバーはXFSです。 ファイルサイズは数KBから数MBの範囲で、5 TBには2400万のJPEGがあります。ですから、15TBで約6,000万から8,000万を推測しています。 編集：数日間rsync、nc、tar、mbuffer、pizzで遊んだ後。ボトルネックはディスクIOになります。データが500個のSASディスクと約2億5千万個のjpegにストライプ化されているため。しかし、今では、将来使用できるこれらすべての素晴らしいツールについて学びました。
8
55GBの画像を新しいサーバーに転送する最も簡単な方法
現在、2つのCentOSサーバーがあります。イメージディレクトリを "tar"し、それをSCPする最も簡単な方法と方法を知る必要がありますか？ tarringが永遠にかかっているので、それが私がちょうど提案した最も速い方法です...私はコマンドを実行しました： tar cvf imagesbackup.tar images そして、私はちょうどそれを上に行くつもりだった。 もっと速い方法があれば教えてください。両方のマシンにリモート/ SSHアクセスできます。
64 file-transfer  scp  tar 
16
お気に入りのrsyncのヒントとコツ
使用rsyncするほど、ファイル転送のスイスアーミーナイフであることがわかります。非常に多くのオプションがあります。私は最近、あなたが行くことができ--remove-source-files、コピーされたときにソースからファイルを削除することを発見しました。これはプログラムをコピーするのではなく、もう少し移動します。:) お気に入りの小さなrsyncのヒントとコツは何ですか？
1
rsync-特定のサイズを超えるファイルを除外しますか？
デスクトップをリモートマシンにバックアップしています。私は基本的にやっているrsync -a ~ example.com:backup/が、大容量ファイルの負荷があり、ファイルの例ウィキペディアダンプなどの大半は、私はそのようなFirefoxのCookieファイルとして、小さなについて多くのことを気にし、か.bashrc。特定のサイズを超えるファイルを除外するrsyncの呼び出しがありますか？そうすれば、最初に10MB未満のすべてのファイルをコピーしてから、すべてのファイルを実行できます。そうすれば、最も重要なファイルの高速バックアップを行ってから、他のすべてのファイルの長期バックアップを行うことができます。
5
高速で待ち時間の長いWANリンクを介して単一の大きなファイルを転送する最良の方法は何ですか？
ロックされています。この質問に対するコメントは無効になっていますが、新しい回答やその他の相互作用はまだ受け付けています。詳細をご覧ください。 これはこれに関連しているように見えますが、多少異なります。 2つの企業サイト間にこのWANリンクがあり、1つの非常に大きなファイル（Oracleダンプ、最大160 GB）を転送する必要があります。 完全な100 Mbpsの帯域幅（テスト済み）がありますが、TCPの仕組み（ACKなど）により、単一のTCP接続では最大にならないようです。リンクをiperfでテストし、TCPウィンドウサイズを大きくすると結果が劇的に変化します。基本設定では最大5 Mbpsのスループットが得られ、より大きなWSでは最大で最大45 Mbpsが得られますが、それ以上は得られません。ネットワーク遅延は約10ミリ秒です。 好奇心から、1つ以上の接続を使用してiperfを実行しましたが、4つの接続を実行すると、実際にはそれぞれ〜25 Mbpsの速度に達し、利用可能なすべての帯域幅がいっぱいになることがわかりました。そのため、複数の同時転送を実行することが重要になります。 FTPでは、事態はさらに悪化します。最適化されたTCP設定（高いウィンドウサイズ、最大MTUなど）でも、1回の転送で20 Mbpsを超えることはできません。いくつかの大きなファイルを同時にFTPで送信しようとしましたが、実際には1つのファイルを転送する場合よりもはるかに良くなりました。しかし、その後、犯人はディスクI / Oになりました。これは、同じディスクの4つの大きなファイルの読み込みと書き込みがすぐにボトルネックになるためです。また、少なくとも1つの大きなファイルを小さなファイルに分割してから、少なくとも許容時間内にマージして戻すことはできないようです（明らかに、ファイルのスプライシング/マージバックに相当する時間を費やすことはできません）転送）。 ここでの理想的なソリューションは、ファイルのさまざまなチャンクを同時に転送できるマルチスレッドツールです。eMuleやBitTorrentのようなピアツーピアプログラムのようなものは既にありますが、単一のソースから単一の宛先までです。理想的には、このツールを使用すると、使用する並列接続の数を選択でき、もちろん、ファイルのさまざまなセクション間で狂ったように（あまりにも）ジャンプしないようにディスクI / Oを最適化できます。 誰でもそのようなツールを知っていますか？ または、誰もがより良い解決策や私たちがまだ試みていない何かを提案できますか？ PSすでにテープ/ディスクにバックアップし、宛先に物理的に送信することを考えました。WANがそれを削減しない場合、それは私たちの極端な測定値になりますが、AS Tanenbaumが言ったように、「高速道路を疾走するテープでいっぱいのステーションワゴンの帯域幅を過小評価しないでください」。
4
Rsyncは個々のファイルの進行状況を表示します
rsyncを使用して、非常に大きなファイル（20Gb）をアップロード/ダウンロードしています。--progressオプションを知っていますが、私の場合はそれが何をするかは最後に結果を表示するだけです。 私の問題は、不安定な接続中に、それがまだダウンロード/アップロードされているのか、何かがおかしいのかわからないことです。個々のファイルの進行状況バーを表示する方法はありますか？デフォルトでwgetが行うことと似た何か ありがとう！
2
ファイル転送のFTPとSSHの長所と短所は何ですか？
SSHを使用してファイル転送が正常に機能する場合（LunuxのMidnight CommanderとWindowsクライアントのFileZillaを使用）、サーバーでFTPサービスをセットアップすることを検討する理由 両方の長所と短所は何ですか？事実を除いて、tat FTPはさまざまなクライアントにより広くサポートされています。
4
ASCII vs Binary vs Auto？
私はサーバー間でファイルを転送していますが、元々持っていた改行や改行とは対照的に、一部のファイルが1つの長い連続行に変更されることに気付き始めました。これは、元々「自動」に設定されていたFTPクライアントの転送タイプと関係があると考えていますが、追加オプションとして「バイナリ」と「ASCII」を使用しています。 要するに、あるサーバーから別のサーバーにファイルを転送する方法の違いは何ですか？これらの違いは、前述のような方法でファイルを変更することができますか？ 譲渡するFROM WindowsのTOのLinux。
3
rsyncを使用してソースから宛先にファイルを移動しますか？
rsyncは私のプロジェクトに適していますか？ 次のことを行う必要があります。 -SSH経由でソースから宛先フォルダーに ファイルをコピーします。-すべてのファイルがコピーされていることを確認します。-コピー 後にソースファイルを削除します。 -競合する名前がある場合、ファイルの名前を変更する必要があります。 私はオプションを使用できるようです：--remove-source-files（ソースファイルを削除する ため）しかし、rsyncはどのように競合を管理しますか？ 私のプロジェクトのユースケース： サーバーAで科学計算を実行すると、結果がフォルダー「プロセス」に挿入されます。計算ごとに、/ process / calc1のようなリポジトリがあります。 ここで、リポジトリ "/ calc1"をサーバーBに転送し（/ process / calc1を取得）、サーバーAから "calc1"を削除します 。...別の計算中に、サーバーAで"/ process / calc2"を取得します。また、サーバーBの「/ process /」ディレクトリにある「calc2」を移動するという考え方もあります。サーバーBには次のようになります 。- / process / calc1-/ process / calc2 （およびサーバーAの/ process /は空です）。 新しい計算の後にサーバーAに「/ process / calc1」などの別のフォルダーがある場合（「/ process / calc1」がサーバーBに既に存在する場合）、rsyncは競合をどのように管理しますか（サーバーB）。 rsyncでルールを追加し、サーバーBで「/ process / calc1」の名前を「process / calc1R2」に変更することは可能ですか？など（例：calc1R3）？ …
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.