並列プロセスを実行し、両方が終了したときに出力を結合する方法

いくつかのデータを約5つまたは6つの異なるプログラムにパイプし、最終結果をタブ区切りファイルに渡すbashシェルスクリプトがあります。

次に、別の同様のデータセットに対して再度同じ操作を行い、2番目のファイルに出力します。

次に、両方のファイルを比較分析のために別のプログラムに入力します。例えば、単純化するために

Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv
AnalysisProg -i Data1res.csv Data2res.csv

私の質問は次のとおりです。step1とstep2を同時に（たとえば＆を使用して）実行し、両方が完了したときにstep3（AnalysisProg）のみを起動するにはどうすればよいですか。

THX

ps AnalysisProgは、ストリームまたはfifoでは機能しません。

を使用しwaitます。例えば：

Data1 ... > Data1Res.csv &
Data2 ... > Data2Res.csv &
wait
AnalysisProg

意志：

• Data1およびData2パイプをバックグラウンドジョブとして実行する
• 両方が終了するのを待ちます
• AnalysisProgを実行します。

たとえば、この質問を参照してください。

2つのファイルしかない場合、cxwの答えは間違いなく望ましい解決策です。2つのファイルが単なる例であり、実際に10000個のファイルがある場合、「＆」ソリューションは機能しません。サーバーが過負荷になるからです。そのためには、GNU Parallelのようなツールが必要です。

ls Data* | parallel 'cat {} | this | that |theother | grep |sed | awk |whatever > {}res.csv
AnalysisProg -i *res.csv

GNU Parallelについてさらに学ぶには：

• 簡単な紹介については、紹介ビデオをご覧ください：https : //www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• チュートリアルをご覧ください（man parallel_tutorial）。あなたのコマンドラインはそれのためにあなたを愛します。

これを行う1つの方法は次のようになります。

AnalysisProg <<PREPROCESS /dev/stdin
$( 
{   process1=$( pipe | line | 1 >&2 & echo $! )
    process2=$( pipe | line | 2 >&2 & echo $! )
    while ps -p $process1 $process2 >/dev/null; do
        sleep 1
    done
} 2>&1
)
#END
PREPROCESS

このようにして、両方のパイプラインをバックグラウンドにしますが、それらの出力をヒアドキュメントで評価されてAnalysisProgに渡されるstdinに結合する前に、実行を完了するまで待機します。これを使用できる場合waitはwhile psループよりも優れていますが、シェルに依存しwaitているため、現在のシェルの子ではないプロセスを待機するように指示すると、反対する可能性があります。

また、上記のメソッドは出力を照合するため、両方のプロセスが一度に書き出すことに注意してください。代わりにそれらを別々にしたい場合、または別のものに追加したい場合は、次のようにすることができます：

AnalysisProg 3<<PREPROCESS /dev/fd/3 /dev/stderr
$(
process1=$(... >&2 ...) 2>/dev/fd/3
...
} 3>/dev/fd/3 2>/dev/stderr
)

これらの概念を前に示しました。おそらく最高のデモはこちらとこちらです。

これを使ってみてください。

rm -f Data1Res.csv
rm -f Data2Res.csv
Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv &
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv &
while true
do
  ps aux | grep -v grep | grep -i -E 'Data1Res.csv|Data2Res.csv' &> /dev/null
  if [ $? -ne 0 ]
  then
    AnalysisProg -i Data1res.csv Data2res.csv
    exit 0
  fi
done