頭が余分なキャラクターを食べる

次のシェルコマンドは、入力ストリームの奇数行のみを出力するものと想定されていました。

echo -e "aaa\nbbb\nccc\nddd\n" | (while true; do head -n 1; head -n 1 >/dev/null; done)

ただし、代わりに最初の行を出力しますaaa。

-c（--bytes）オプションを使用した場合、同じことは起こりません。

echo 12345678901234567890 | (while true; do head -c 5; head -c 5 >/dev/null; done)

このコマンド1234512345は期待どおりに出力します。ただし、これはユーティリティのcoreutils実装でのみ機能しheadます。busyboxのの出力がちょうどあるので、実装はまだ、余分な文字を食べます12345。

この特定の実装方法は、最適化のために行われていると思います。行の終わりがわからないため、読む必要がある文字数がわかりません。入力ストリームから余分な文字を消費しない唯一の方法は、バイト単位でストリームを読み取ることです。ただし、一度に1バイトずつストリームから読み取るのは遅い場合があります。したがってhead、入力ストリームを十分な大きさのバッファに読み込んでから、そのバッファ内の行をカウントすると思います。

--bytesオプションが使用される場合にも同じことは言えません。この場合、読み取る必要があるバイト数がわかります。したがって、このバイト数を正確に読み取ることができますが、それ以上はできません。corelibsの実装は、この機会を使用しますが、busyboxのの 1にはない、それはまだバッファに必要以上のバイトを読み取ります。おそらく実装を簡素化するために行われます。

質問です。headユーティリティが入力ストリームから要求されたより多くの文字を消費することは正しいですか？Unixユーティリティには何らかの標準がありますか？そして、もしあれば、この動作を指定しますか？

PS

を押しCtrl+Cて上記のコマンドを停止する必要があります。Unixユーティリティは、以降の読み取りで失敗しませんEOF。押したくない場合は、より複雑なコマンドを使用できます。

echo 12345678901234567890 | (while true; do head -c 5; head -c 5 | [ `wc -c` -eq 0 ] && break >/dev/null; done)

単純化のために使用しませんでした。

headユーティリティが入力ストリームから要求されたより多くの文字を消費するのは正しいですか？

はい、許可されています（以下を参照）。

Unixユーティリティには何らかの標準がありますか？

はい、POSIX volume 3、Shell＆Utilities。

そして、もしあれば、この動作を指定しますか？

はじめに：

標準ユーティリティがシーク可能な入力ファイルを読み取り、ファイルの終わりに到達する前にエラーなしで終了する場合、ユーティリティは、開いているファイルの説明のファイルオフセットが、ユーティリティによって処理された最後のバイトのすぐ後ろに適切に配置されるようにします。シーク可能でないファイルの場合、そのファイルの開いているファイルの説明のファイルオフセットの状態は指定されていません。

headは標準ユーティリティの 1つであるため、POSIX準拠の実装では上記の動作を実装する必要があります。

GNU head はファイル記述子を正しい位置に残そうとしますが、パイプを探すことは不可能であるため、テストでは位置を復元できません。これを使用して見ることができますstrace：

$ echo -e "aaa\nbbb\nccc\nddd\n" | strace head -n 1
...
read(0, "aaa\nbbb\nccc\nddd\n\n", 8192) = 17
lseek(0, -13, SEEK_CUR)                 = -1 ESPIPE (Illegal seek)
...

readリターン17バイト（すべての利用可能な入力）が、headそれらのうち4つを処理し、背面13のバイトを移動しようとするが、それができません。（ここで、GNUheadが8 KiBバッファーを使用しているます。）

headバイトをカウントするよう指示すると（非標準）、読み取るバイト数がわかるため、（そのように実装されている場合）読み取りを制限することができます。これがhead -c 5テストが機能する理由です。GNU headは5バイトしか読み込まないため、ファイル記述子の位置を復元する必要はありません。

ドキュメントをファイルに書き込み、代わりにそれを使用すると、次のように動作します。

$ echo -e "aaa\nbbb\nccc\nddd\n" > file
$ < file (while true; do head -n 1; head -n 1 >/dev/null; done)
aaa
ccc

POSIXから

ヘッドユーティリティは、指定された時点で、各ファイルの出力を終了し、標準出力にその入力ファイルをコピーしなければなりません。

head 入力からどれだけ読み取る必要があるかについては何も言いません。ほとんどの場合非常に遅いため、バイト単位で読み取るように要求するのはばかげています。

ただし、これはreadビルトイン/ユーティリティで対処されます。readパイプから一度に1バイトずつ見つけることができるすべてのシェルと、標準テキストを解釈して、この1行だけを読み取れるようにする必要があります。

リードユーティリティは、一つ以上のシェル変数に標準入力から単一の論理行を読み取るものとします。

以下の場合はreadシェルスクリプトで使用され、一般的な使用例は、このようなものになるだろう。

read someline
if something ; then 
    someprogram ...
fi

ここで、の標準入力はsomeprogramシェルの標準入力と同じですが、によってバッファリングされた読み取りの後に残ったものではなくsomeprogram、によって消費される最初の入力行の後に来るすべてを読み取ることが期待できます。一方、例のようにasを使用することは、はるかに一般的ではありません。readreadhead

他のすべての行を本当に削除したい場合は、入力全体を一度に処理できるツールを使用することをお勧めします（より高速です）。

$ seq 1 10 | sed -ne '1~2p'   # GNU sed
$ seq 1 10 | sed -e 'n;d'     # works in GNU sed and the BSD sed on macOS

$ seq 1 10 | awk 'NR % 2' 
$ seq 1 10 | perl -ne 'print if $. % 2'

awk '{if (NR%2) == 1) print;}'