複数のプログラムによって印刷された行を安全に「組み合わせる」方法は？

複数のプログラムを並行して実行し、それらの出力を1つのパイプに結合したいとします。

sh -c '
    (echo qqq; echo qqq2; echo qqq3)&
    (echo www; echo www2; echo www3)& 
    (echo eee; echo eee2; echo eee3)& 
  wait; wait; wait'

このシェルアプローチは、この単純なケースではうまく機能しますが、プログラムが次のように、バッファされた方法でより多くの長い行を出力する場合は失敗すると予想されます（構成されています）。

qqq
qqwww
q2
qqq3www2

wwweee3

eee2
eee3

私が使用するように示唆された解決策の1つはtail -f次のとおりです：

tail -n +0 -q -f <(echo qqq; echo qqq2; echo qqq3) <(echo www; echo www2; echo www3) <(echo eee; echo eee2; echo eee3)

が、これは次善のオプションです。データを遅く出力し、終了しません。「スリープ」順ではなく、この場合は引数順に出力が表示されます。

tail -n +0 -q -f <(sleep 1; echo qqq; sleep 1; echo qqq2; echo qqq3) <(echo www; echo www2; sleep 10; echo www3) <(echo eee; sleep 4; echo eee2; echo eee3) | cat

私はこれのために特別な小さなプログラムを実装しましたが、それを行うにはいくつかの標準的な良い方法があるはずだと信じています。

標準的なツールを使用して（そしてtail -f不利な点なしに）どうやって行うのですか？

GNU Parallel。

2013年8月付けのリリースノートから：

--line-buffer行ごとに出力をバッファリングします。--groupジョブ全体で出力をまとめます。--ungroup出力を、あるジョブからの行の半分と別のジョブからの行の半分と混在させることができます。--line-bufferこれらの2つの間に収まります。それは完全な行を印刷しますが、異なるジョブの行を混在させることができます。

例えば：

parallel --line-buffer <jobs

jobs含まれる場所：

./long.sh
./short.sh one
./short.sh two

short.sh：

#!/bin/bash

while true; do
        echo "short line $1"
        sleep .1
done

long.sh：

#!/bin/bash

count=0
while true; do
        echo -n "long line with multiple write()s "
        sleep .1
        count=$((count+1))
        if [ $count -gt 30 ]; then
                count=0
                echo
        fi
done

出力：

short line one
short line two
short line one
short line two
short line one
**-snip-**
short line one
short line one
short line two
short line two
short line one
short line one
short line one
long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s long line with multiple write()s 
short line two
short line two
short line two
short line one

ロックを実装するソリューション：

function putlines () {
   read line || return $?
   while ! ln -s $$ lock >/dev/null 2>&1
   do
      sleep 0.05
   done
   echo "$line" 
}

function getlines () {
     while read lline
     do 
          echo "$lline"
          rm lock
     done
}

# your paralelized jobs  
(  
   job1 | putlines & 
   job2 | putlines & 
   job3 | putlines & 
   wait
) | getlines| final_processing

ファイルシステムを使用するよりも速くロックを作成する方法があるはずです。

行が非常に長い場合に、1つのプログラムが実行可能になる前にスリープ状態になり、標準出力への行の書き込みを完了するのに役立つ単純なものは考えられません。

ただし、プロセスの切り替え前に完全に書き込むことができるほど短い行で、1つの行の生成に非常に長い時間がかかるという問題がある場合は、readを使用して出力をバッファリングできます。

例えば：

((./script1 | while read line1; do echo $line1; done) & \
(./script2 | while read line2; do echo $line2; done)) | doSomethingWithOutput

で名前付きパイプを作成しmkfifo、すべての出力を名前付きパイプにダンプし、収集したデータの名前付きパイプから個別に読み取ることができます。

mkfifo /tmp/mypipe
job1 > /tmp/mypipe &
job2 > /tmp/mypipe &
job3 > /tmp/mypipe &

cat /tmp/mypipe > /path/to/final_output &

wait; wait; wait; wait