複数のサーバーからローカルシステムにファイルをコピーするにはどうすればよいですか？

11

app00、app01などのサーバーにアプリケーションを複数デプロイしています。これらすべてのサーバーからローカルMacに1つのログファイルをコピーする必要があるので、いくつかのgreppingとcutを実行できます。

このファイルの表示にcsshXを使用しましたが、scpに相当するものを見つけることができません。私は基本的に2つのことを望みます。

n台のそのようなサーバーに接続してファイルをコピーする機能
ログファイルの先頭にサーバーホスト名を付けることにより、ローカルで名前の競合を回避します。

どうすればいいですか？

scp file-copy

— ガウラフ
ソース

1

私はおそらく自分でスクリプトを書くでしょう。それはオプションではありませんか？

— Bernhard、

私は今ベルンハルトをやっています。:)これについてもcsshXのようなものがあったらいいのにと思っていました。

— Gaurav

18

これは、小さなスクリプトで行うのは簡単です。例えば：

for server in app0 app1 app4 app5 appN; do
    scp user@$server:/path/to/log/file /local/path/to/"$server"_file
done

上記は、各サーバーからファイルを順番にコピーし、それに名前を付けSERVERNAME_fileます。したがって、からのファイルは次のapp0ようになりますapp0_file。名前を自由に変更できます。

— タードン
ソース

3

コマンド&の最後にscpa waitを最後に置くと、追加コストなしで同時実行が可能になります。

— l0b0

3

@ l0b0それが必要かどうかわかりません。コピーに失敗したファイルがあるかどうか、およびどのファイルをコピーできなかったかを知ることができるので、このアプローチが好きです。でも良いヒント、ありがとう。

— terdon

12

GNUパラレルを使用：

parallel -j0 scp {}:/remote_path file_from_{} ::: host1 host2 host3 # and so on

を使用するソリューションとは異なりfor、これはすべてのダウンロードを並行して実行します

— 翼のあるサブマリーナ
ソース

5

remote_path="/path/to/file"
local_target_dir="/path/to/dir"
hosts=(app00 app01)
for host in "${hosts[@]}"; do
    scp "$host":"$remote_path" "$local_target_dir"/filename."$host"
done

— ハウケレイジング
ソース

どうもありがとう、私はbashプログラミングに不慣れで、そのようなものを書きました。:)

— Gaurav

0

Pythonを使用できる場合は、ファブリックと呼ばれるマシン管理のようなタスクを簡素化するための興味深いモジュールがあります。http：//docs.fabfile.org/en/latest/tutorial.html

私はそれを使いたかったが、それを回避していません

— ポール
ソース

0

これは私のために働いた

#!/bin/bash
#Expect script
/usr/bin/expect -<<EOD 

set SERVERS {1 2 3 .. N}

foreach SERVER \$SERVERS {
    spawn scp user@\$SERVER:remote local/"\$SERVER"RESWeb.log
    expect {
      -re ".*es.*o.*" {
        exp_send "yes\r"
        exp_continue
      }
      -re ".*sword.*" {
        exp_send "pswrd\r"
      }
    }
    expect eof 
}
EOD

echo "completed"

— user170232
ソース