4つのタスクを並行して…どうすればいいですか？

ディレクトリに多数のPNGイメージがあります。これらの画像を圧縮するために実行するpngoutというアプリケーションがあります。このアプリケーションは、私がやったスクリプトによって呼び出されます。問題は、このスクリプトが次のように一度に1つずつ実行することです。

FILES=(./*.png)
for f in  "${FILES[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 $f R${f/\.\//}
done

一度に1つのファイルのみを処理するには、多くの時間がかかります。このアプリを実行した後、CPUがわずか10％であることがわかります。そのため、これらのファイルを4つのバッチに分割し、各バッチをディレクトリに入れて、4つのターミナルウィンドウ、4つのプロセスから4を起動できることを発見しました。ジョブは時間の1/4かかります。

2番目の問題は、イメージとバッチを分割し、スクリプトを4つのディレクトリにコピーして、4つのターミナルウィンドウを開き、bla bla ...

何も分割せずに、1つのスクリプトでそれをどのように行いますか？

私は2つのことを意味します：最初にbashスクリプトからどのようにバックグラウンドにプロセスを起動しますか？（最後に追加するだけですか？）2番目：4番目のタスクを送信した後、バックグラウンドへのタスクの送信を停止し、タスクが終了するまでスクリプトを待機させるにはどうすればよいですか？つまり、1つのタスクが終了すると新しいタスクをバックグラウンドに送信するだけで、常に4つのタスクを並行して保持しますか？そうしないと、ループは何十億ものタスクをバックグラウンドで起動し、CPUが詰まります。

のxargs並列実行をサポートするコピーをお持ちの場合は、-P単に行うことができます

printf '%s\0' *.png | xargs -0 -I {} -P 4 ./pngout -s0 {} R{}

その他のアイデアについては、Wooledge Bash wiki にはProcess Managementの記事に必要なものを正確に説明するセクションがあります。

既に提案されているソリューションに加えて、非圧縮ファイルから圧縮ファイルを作成する方法を記述したメイクファイルを作成し、make -j 44つのジョブを並行して実行するために使用できます。問題は、圧縮ファイルと非圧縮ファイルに異なる名前を付けるか、異なるディレクトリに保存する必要があることです。そうしないと、合理的なmakeルールを書くことができなくなります。

GNU Parallel http://www.gnu.org/software/parallel/がインストールされている場合、これを行うことができます。

parallel ./pngout -s0 {} R{} ::: *.png

GNU Parallelは次の方法で簡単にインストールできます。

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel
chmod 755 parallel
cp parallel sem

詳細については、GNU Parallelのイントロビデオをご覧ください：https : //www.youtube.com/playlist?list=PL284C9FF2488BC6D1

2つの質問に答えるには：

• はい、行の最後に＆を追加すると、バックグラウンドプロセスを起動するようシェルに指示されます。
• waitコマンドを使用して、バックグラウンドのすべてのプロセスが終了するのを待ってから先に進むようにシェルに要求できます。

これjは、バックグラウンドプロセスの数を追跡するために使用されるように変更されたスクリプトです。ときにNB_CONCURRENT_PROCESSES到達し、スクリプトがリセットされj0にし、それの実行を再開する前にフィニッシュにすべてのバックグラウンド・プロセスを待ちます。

files=(./*.png)
nb_concurrent_processes=4
j=0
for f in "${files[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 "$f" R"${f/\.\//}" &
        ((++j == nb_concurrent_processes)) && { j=0; wait; }
done