別のコマンドにパイプする前にコマンド出力を完全にバッファリングしますか？

一時ファイルなしでコマンドが実行された後にのみコマンドを実行する方法はありますか？もう1つの実行中のコマンドと、出力をフォーマットしてcurlを使用してHTTPサーバーに送信する別のコマンドがあります。実行するとcommandA | commandB、commandBが起動curlし、サーバーに接続してデータの送信を開始します。のでcommandAとても時間がかかり、HTTPサーバがタイムアウトになります。やりたいことができるcommandA > /tmp/file && commandB </tmp/file && rm -f /tmp/file

好奇心から、一時ファイルなしでそれを行う方法があるかどうか知りたいです。試してみましたmbuffer -m 20M -q -P 100が、カール工程はまだ始まったばかりです。Mbuffer commandAは、実際にデータを送信する処理が完了するまで待機します。（データ自体は最大で数百kbです）

これは他のいくつかの回答と似ています。「moreutils」パッケージがある場合は、spongeコマンドが必要です。試す

commandA | sponge | { IFS= read -r x; { printf "%s\n" "$x"; cat; } | commandB; }

spongeコマンドは、基本的にはパススルー（のようなフィルタであるcat、それは全体の入力を読み取った出力までの書き込みを開始しないことを除いて）。つまり、データを「吸収」し、（スポンジのように）握るとデータを解放します。したがって、ある程度、これは「不正行為」spongeです。重要なデータがある場合、ほぼ確実に一時ファイルを使用します。しかし、それはあなたには見えません。一意のファイル名の選択やその後のクリーンアップなどのハウスキーピングのことを心配する必要はありません。

{ IFS= read -r x; { printf "%s\n" "$x"; cat; } | commandB; } からの出力の最初の行を読み取りますsponge。commandA完了するまで、これは表示されません。  そして、それはアップ発火commandB、パイプへの最初の行を書き込み、呼び出しcat出力の残りの部分を読んで、パイプに書き込み。

パイプラインのコマンドは同時に開始さcommandAれます。後で使用するために出力をどこかに保存する必要があります。変数を使用すると、一時ファイルを回避できます。

output=$(command A; echo A)
printf '%s' "${output%%A}" | commandB

この問題に対処できる標準的なUNIXユーティリティは知りません。1つのオプションは、次のように、出力awkを累積commandAしcommandB、一度にフラッシュするために使用されます。

commandA  | awk '{x = x ORS $0}; END{printf "%s", x | "commandB"}'

awkは入力から文字列を構築するため、これはメモリを大量に消費する可能性があることに注意してください。

小さなスクリプトで要件を解決できます。この特定の亜種は、追加のプロセスを犠牲にして、一時ファイルと潜在的なメモリ占有を回避します。

#!/bin/bash
#
IFS= read LINE

if test -n "$LINE"
then
    test -t 2 && echo "Starting $*" >&2
    (
        echo "$LINE"
        cat

    ) | "$@"
else
    exit 0
fi

スクリプトを呼び出すwaituntil（そして実行可能にする、それをに置くPATHなど）場合は、次のように使用します。

commandA... | waituntil commandB...

例

( sleep 3 ; date ; id ) | waituntil nl