効率的にマージ/ソート/ユニークな多数のテキストファイル

私は素朴なことを試しています：

$ cat * | sort -u > /tmp/bla.txt

これは失敗します：

-bash: /bin/cat: Argument list too long

したがって、（巨大な一時ファイルを作成する）のようなばかげた解決策を避けるために：

$ find . -type f -exec cat {} >> /tmp/unsorted.txt \;
$ cat /tmp/unsorted.txt | sort -u > /tmp/bla.txt

私は使用してファイルを1つずつ処理することができましたが（これにより、メモリ消費が削減され、ストリーミングメカニズムに近づくはずです）。

$ cat proc.sh
#!/bin/sh
old=/tmp/old.txt
tmp=/tmp/tmp.txt
cat $old "$1" | sort -u > $tmp
mv $tmp $old

その後に続く：

$ touch /tmp/old.txt
$ find . -type f -exec /tmp/proc.sh {} \;

より単純なUNIXスタイルの代替品はcat * | sort -uありますMAX_ARGか：ファイル数に達したとき？このような一般的なタスク用の小さなシェルスクリプトを書くのは、やりがいがあります。

GNU sort、およびprintfが組み込まれているシェル（一部のバリアントを除いて、今日ではすべてのPOSIXのようなものpdksh）：

printf '%s\0' * | sort -u --files0-from=- > output

ここでの問題は、そのパイプラインの2つのコンポーネントが同時に独立して実行されるため、左側のコンポーネントが*グロブを展開するときまでに、右側のコンポーネントがoutputファイルをすでに作成していて、問題が発生している可能性があることです（-uここにはないかもしれません）。outputあなたが（別のディレクトリに出力行くを持っているしたい場合ので、入力と出力ファイルの両方になります> ../output例えば）、または確認グロブは、出力ファイルと一致していませんします。

このインスタンスでそれに対処する別の方法は、それを書くことです：

printf '%s\0' * | sort -u --files0-from=- -o output

このようにして、それは書き込み用にsort開いoutputており、（私のテストでは）ファイルの完全なリストを受け取るまでは（グロブが展開された後は）それを行いません。またoutput、入力ファイルがどれも読み取り可能でない場合は、破壊を回避します。

zshまたはでそれを書く別の方法bash

sort -u --files0-from=<(printf '%s\0' *) -o output

これは、プロセス置換を使用しています（ここで、<(...)は、パイプの読み取り側printfが書き込む先のファイルパスに置き換えられます）。その機能は、から来ているkshが、ksh拡大することに主張<(...)あなたがそれを使用することはできませんので、コマンドに別の引数を--option=<(...)構文。ただし、この構文で機能します。

sort -u --files0-from <(printf '%s\0' *) -o output

cat改行文字で終わっていないファイルがある場合に、ファイルの出力をフィードするアプローチとは異なることに注意してください。

$ printf a > a
$ printf b > b
$ printf '%s\0' a b | sort -u --files0-from=-
a
b
$ printf '%s\0' a b | xargs -r0 cat | sort -u
ab

sortは、ロケール（strcollate()）の照合アルゴリズムを使用してソートし、sort -uバイトレベルの一意の行ではなく、そのアルゴリズムで同じようにソートする各行セットの1つを報告することにも注意してください。行がバイトレベルで一意であることにのみ関心があり、並べ替えられている順序にそれほど関心がない場合は、並べ替えがバイト値に基づいているCにロケールを修正することができます（memcmp();これはおそらく高速になるでしょう）大幅にアップ）：

printf '%s\0' * | LC_ALL=C sort -u --files0-from=- -o output

printfは組み込みなので、少なくともBashで機能する単純な修正であり、コマンドライン引数の制限は適用されません。

printf "%s\0" * | xargs -0 cat | sort -u > /tmp/bla.txt

（echo * | xargs空白などのファイル名の処理を除いて機能します）

find . -maxdepth 1 -type f ! -name ".*" -exec cat {} + | sort -u -o /path/to/sorted.txt

これにより、現在のディレクトリにある非表示でない通常のファイルがすべて連結され、それらの結合された内容が（重複する行を削除しながら）ファイルにソートされます/path/to/sorted.txt。

効率は相対的な用語であるため、最小化する要素を実際に指定する必要があります。CPU、メモリ、ディスク、時間など。議論のために、メモリ使用量を最小限に抑えたいと考えており、それを実現するためにCPUサイクルをより多く費やす用意があると仮定します。StéphaneChazelasによって提供されるようなソリューションはうまく機能します

sort -u --files0-from <(printf '%s\0' *) > ../output

ただし、個々のテキストファイルには、最初から高度な一意性があると想定しています。そうでない場合、つまり後の場合

sort -u < sample.txt > sample.srt

sample.srtは、sample.txtよりも10％以上小さいため、マージする前にファイル内の重複を削除することで、メモリを大幅に節約できます。また、コマンドをチェーンしないことで、さらに多くのメモリを節約できます。つまり、異なるプロセスの結果を同時にメモリに保存する必要はありません。

find /somedir -maxdepth 1 type f -exec sort -u -o {} {} \;
sort -u --files0-from <(printf '%s\0' *) > ../output

@ilkkachuと同様ですが、cat（1）は不要です。

printf "%s\0" * | xargs -0 sort -u

また、データが非常に長い場合は、sort（1）オプション--parallel = Nを使用することもできます。

ときNは、あなたのコンピュータを持っているCPUの数です