Bashスクリプトは限られた数のコマンドを並行して処理します

次のようなbashスクリプトがあります。

#!/bin/bash
wget LINK1 >/dev/null 2>&1
wget LINK2 >/dev/null 2>&1
wget LINK3 >/dev/null 2>&1
wget LINK4 >/dev/null 2>&1
# ..
# ..
wget LINK4000 >/dev/null 2>&1

しかし、コマンドが完了するまで各行を処理してから次の行に移動するのは非常に時間がかかります。たとえば、一度に20行を処理し、終了したらさらに20行処理したいと思います。

wget LINK1 >/dev/null 2>&1 &コマンドをバックグラウンドに送信して続行することを考えましたが、ここには4000行あります。これは、パフォーマンスの問題が発生することを意味します。同時に開始する必要があるプロセスの数に制限があるので、これは良いことではありません考え。

私が今考えている解決策の1つは、コマンドの1つがまだ実行されているかどうかを確認することです。たとえば、20行後、次のループを追加できます。

while [  $(ps -ef | grep KEYWORD | grep -v grep | wc -l) -gt 0 ]; do
sleep 1
done

もちろんこの場合、行末に＆を追加する必要があります。しかし、これは正しい方法ではないと感じています。

では、実際に各20行をグループ化し、それらが完了するのを待ってから次の20行に進む方法を教えてください。このスクリプトは動的に生成されるため、生成中に必要な計算をすべて実行できますが、その必要はありませんwgetを使用してください。これは単なる例であるため、wget固有のソリューションはどれも役に立ちません。

wait組み込みを使用：

process1 &
process2 &
process3 &
process4 &
wait
process5 &
process6 &
process7 &
process8 &
wait

上記の例では、4つのプロセスprocess1... process4がバックグラウンドで開始され、シェルはそれらが完了するまで待機してから次のセットを開始します。

GNUマニュアルから：

wait [jobspec or pid ...]

各プロセスID pidまたはジョブ仕様jobspecで指定された子プロセスが終了するまで待機し、最後に待機したコマンドの終了ステータスを返します。ジョブ仕様が指定されている場合、ジョブ内のすべてのプロセスが待機されます。引数を指定しないと、現在アクティブなすべての子プロセスが待機し、戻りステータスはゼロになります。jobspecもpidもシェルのアクティブな子プロセスを指定していない場合、戻りステータスは127です。

parallelを参照してください。構文はに似てxargsいますが、コマンドを並行して実行します。

実際に、コマンドを並行して実行xargs できます。そのための特別な-P max_procsコマンドラインオプションがあります。を参照してくださいman xargs。

20個のプロセスを実行し、次のコマンドを使用できます。

wait

バックグラウンドジョブがすべて完了すると、スクリプトは待機して続行します。