Windowsネットワークを介して大きなファイルを転送する最も簡単で最速の方法は何ですか？

20 GBを超えるデータを保存するMS SQL Serverを実行しているWindow Server 2000マシンがあります。データベースは毎日2番目のハードドライブにバックアップされます。これらのバックアップファイルを別のコンピューターに転送して、別のテストサーバーを構築し、回復を練習したいと思います。（バックアップは実際にはほぼ5年間復元されませんでした。そのことを上司に伝えないでください！）

その巨大なファイルをネットワーク経由で転送するのに問題があります。プレーンネットワークコピー、Apacheダウンロード、およびftpを試しました。転送したデータの量が2GBに達すると、私が試した方法はすべて失敗します。最後にファイルを正常に転送したのは、USB接続の外付けハードドライブを介してでした。しかし、私はこのタスクを定期的に、できれば自動的に実行したいです。

この状況で最も実用的なアプローチは何ですか？

2Gbで予測可能な障害は、ターゲットファイルシステムが原因であるように聞こえます...両方がNTFS上にありますか？圧縮をパイピングしていますか（2GBの境界で失敗するために使用されるzip）（（圧縮はApacheが実行しています））

ロボコピーを使用して20Gb以上の多くのファイルをコピーしました（他の人が言及したように）が、ファイルを削除するだけでなくコピーするので、あなたが望んでいることを行うことができるまで、/ MIRスイッチを使用しないでください。

SMBは、時間制限で1パケットに苦しむため、多くの場合、ファイルをコピーするのにより遅い方法です。プッシュまたはプルを使用してコピーするオプションがあります。個人的には、プッシュ方式が好まれます（コピーはソースによって開始されます）。

MS Exchangeツールeseutilは、ネットワークを介して大きなファイルをすばやくコピーするための優れたユーティリティです。

eseutil / y source_file / d dest_file。

無料のユーティリティRichCopyを使用することを強くお勧めします。マルチスレッドであり、ファイルのコピー操作を一時停止および再開できます。サーバー間でファイルを転送するためにそれを使用して非常に幸運でした。

RichCopyを使用するための3つの重要なヒント

1. 1つまたはいくつかの大きなファイルをコピーする場合は、「ファイルコピー」属性を「1」以上に設定します。リソースを使い果たしますが、大きなファイルをより速くコピーします

2. 大量のファイルをコピーする場合は、「スレッド番号」属性を10-10-1に設定します。これにより、複数のファイルがより速くコピーされます

3. 危険な接続を介してコピーしている場合。ダウンロードを再実行すると、最初に取得できなかったファイルが検索されます。

http://blogs.technet.com/markdea/archive/2009/03/24/richcopy-is-it-the-new-sliced-bread.aspx

ファイルコピーユーティリティに関する限り、TeraCopyは多くのファイルをキューに入れることができ、一時停止と再開をサポートし、速度を最適化するためにバッファーサイズを動的に変更でき、オプションでWindowsエクスプローラーのデフォルトを置き換えることができる（コマンドラインではなく）優れたGUIベースのものです独自のコピー/移動。

/ MIRオプションを使用したロボコピーは、マシン間の迅速でダーティなバックアップに非常に役立ちます。robocopyは、Windows Server 200X Resouce Kitにあります。

MIRは、あるディレクトリのコンテンツを別のサーバーにMIRrorします。変更されたファイルのみをコピーします。

大規模なSQL Serverバックアップファイルを繰り返しシャッフルするための最も実用的なソリューションは、サードパーティのバックアップ圧縮製品またはSQL Server 2008 Enterprise Editionの組み込みバックアップ圧縮を使用することです。

さまざまなベンダーの製品がいくつかあります。私はLiteSpeedのメーカーであるQuest Softwareで働いていますが、何かを売るためにここにいるわけではありません。そこにあるすべての製品をチェックアウトし、ニーズに最適なものを決定します。LiteSpeedについて具体的に説明している最近のブログ投稿がありますが、他の製品にも同じ概念が当てはまります。

http://blogs.lessthandot.com/index.php/DataMgmt/DBAdmin/title-8

LANまたはADSLなどのWAN接続を介してファイルをコピーしていますか？20GBはLAN経由でコピーする大きなファイルではないため、WANであると想定します。そのようなファイルを毎日コピーしています。

WAN接続の場合、Cygwinバージョンのrsyncを使用する方法です。

JR

2GB前後でネットワーク転送に失敗しました-NICが故障していることが判明しました。

あなたの数倍のファイルを転送するために、毎日syncback（http://www.2brightsparks.com/syncback/sbse.html）を使用しています。それに問題はなかった。

少し遅れましたが、サードパーティのバックアップおよび復元アプリケーションオプションをお勧めします。Red Gate SQL Backup（www.red-gate.com）を使用します。GUIには圧縮オプションと代替ロケーションオプションがあります。平均80％の圧縮を節約できます-したがって、実際のdbサイズの20％のみを転送します。また、暗号化もサポートしているため、傍受の心配なしにWAN経由で使用できます。

完全にスケジュール可能なため、選択したサイクルで自動的に実行できます。

GUIを使用して、ログ配布を構成および管理することもできます。

上記で利用可能な無料試用版。

このような大きなファイルの経験はありませんが、再起動可能であると主張する/ Zオプションを指定してrobocopyまたはxcopyを使用できますか。これは、ネットワークが信頼できない大きなファイルのコピーを対象としているようです。

私はロボコピーを使用して1GBをはるかに超えており、問題はありませんでした。ss64.comにスイッチの説明があります。しかし、リンクを投稿できません:-(

邪悪な答え..

Netcatを使用します。ファイルを転送するためのUNIX向けのチュートリアルはこちらにあります。次の方法でさらに高速化できます。

1. 送信側で圧縮し、宛先側で解凍します。（コマンドラインの中央にあるgzipに相当するチャックウィンドウ。）
2. tcpではなくudpを介してデータを送信することを選択します（データの整合性を気にする人?? !!）

冗談はさておき、netcatはおそらくLAN上の大きなファイルを転送する最も速い方法です。チェックサムは行われないため、ファイルを送信する前にファイルのMD5サムを実行し、受信したファイルのMD5サムと比較することができます。

私はこの方法でnetcatを頻繁に使用しましたが、失敗したことも、ネットワークを最大限に活用できないこともありませんでした。

問題を特定できるまで、短期的な解決策として、ファイルを小さなチャンクに分割する価値があるかもしれません。私たちは過去にこれに似た問題を抱えており、ftpは常に私たちのために働いてきました

これらがコピーするSQL .bakファイルである場合、コピーする前にファイルを縮小するために次のいずれかを実行することを強くお勧めします。

• バックアップを実行する前に、データベースを圧縮してログを切り捨てます。または
• コピーする前に.bakファイルを圧縮します。データファイルとログファイルで完全に割り当てられたスペースを使用していない場合、SQL .bakファイルは圧縮されます。

大きなファイルをコピーする別の方法が不要になる場合があります。

他の人が言ったように、より高速に転送するものを見つけることはあなたの問題ではないと思うので、ターゲットファイルシステムがFATではないことを確認してください また、両側のNICが更新されたドライバーを使用していることを確認してください。

そうは言っても、多数の小さなファイルを移動しているのですか、それとも少数の大きなファイルを移動しているのですか？何百万もの小さなファイルを移動しようとすると、RAIDコントローラーの問題が発生しました。

障害の原因を特定すると、これを自動化する際に問題が発生するとは思わない。ハードウェアの詳細と、イベントビューアーに表示される可能性のあるエラーを一覧表示すると役立つ場合があります。

外付けハードドライブへのeSATA接続を使用しようとしましたか？接続は高速（3ギガビット！）であり、そのファイルをすぐに転送できるはずです！

サーバー上のネットワークカードの速度は10/100または10/100/1000ですか？ファイルをコピーしているとき、サーバーのネットワーク帯域幅とスイッチはどのように見えますか？コピーする場合、宛先の場所（サーバー）のネットワーク帯域幅はどのように見えますか？2つのNICを一緒に組み合わせようとしましたか？ネットワークカードドライバーは最新ですか？BIOSは最新ですか？

ファイル転送の問題になる可能性のある多くのことがあります。ハードウェアドライバーとBIOSが最新であることを確認すると、実際に違いが生じる可能性があります。

-JFV

最も簡単で最速の方法：外付けUSBディスクとウォーキング。

私の方法：rsyncを使用します。コピーに失敗した場合は、再起動するだけで、残った場所からコピーが取得されます。

もう1つ確認することは、ターゲットサーバーにクォータサービスがセットアップされているかどうかを確認することです。ユーザーごとの既定のクォータとして2 GBを使用すると思います。