並べ替えを並列化できますか？

例えばためbzipありpbzip、並列バージョンbzip。sortパフォーマンスを改善するためのそのような並列化ツールはありますか？

coreutils 8.6（2010-10-15）の時点で、GNU sortは利用可能な場合は複数のプロセッサを利用するためにすでに並列にソートしています。だから、それは更なるようにその点では改善できないpigzか、pbzip2改善しますgzipかbzip2。

sort並行していない場合はsort、GNU coreutilsの最新バージョンからGNUを試してインストールできます。

GNUソートでは、--parallelオプションを使用してスレッドの数を制限できます。

ソートで常に最も役立つ1つのことは、スワップを減らすために、可能な限り多くのメモリを与えることです。例えば：

sort -S 20G

ファイルが十分に大きい場合、割り当てられた仮想メモリが大きくなりすぎているか、sortプログラム自体がチャンクをディスクにスワップして戻しているため、ソートによってディスクのスワップが発生します。古いsort実装では、この「ディスクバッファを介したソート」のような動作が発生する可能性が高くなります。これは、昔は大きなファイルをソートする唯一の方法だったからです。

sort持っている-mここであなたを助けるかもしれないオプションを選択します。ファイルをチャンクに分割して（たとえば、）split -l個別にソートしてから、それらをマージして戻す方が速い場合があります。

繰り返しになりますが、これはまさに「ディスクバッファによるソート」が行うことです。役立つかどうかを確認する唯一の方法は、特定のテスト負荷でベンチマークすることです。重要なパラメータは、指定した行数ですsplit -l。

を使用するとsort -n、選択したすべての列に数値（浮動小数点または整数）が必要で、科学表記法を使用せずに非常に大きなゲインが得られました。

プロセスに大きな改善をもたらす可能性のあるもう1つの可能性は、メモリマップフォルダー/dev/shmを使用して中間ファイルを処理することです。

export LC_COLLATE=C
export LANG=C
cat big_file | sort > /dev/null

通常、Linuxの並べ替えは、Unicodeの等式規則に準拠するためにいくつかの気の利いたことを行います...ロケールをCに変更すると、バイトのみに切り替わります...

1.4GBファイルの場合、私のマシンの違いは20秒と400秒です（!!!）

#! /bin/sh
#config MAX_LINES_PER_CHUNK based on file length
MAX_LINES_PER_CHUNK=1000 
ORIGINAL_FILE=inputfile.txt
SORTED_FILE=outputfile.txt
CHUNK_FILE_PREFIX=$ORIGINAL_FILE.split.
SORTED_CHUNK_FILES=$CHUNK_FILE_PREFIX*.sorted

 #Cleanup any lefover files
rm -f $SORTED_CHUNK_FILES > /dev/null
rm -f $CHUNK_FILE_PREFIX* > /dev/null
rm -f $SORTED_FILE

#Splitting $ORIGINAL_FILE into chunks ...
split -l $MAX_LINES_PER_CHUNK $ORIGINAL_FILE $CHUNK_FILE_PREFIX

for file in $CHUNK_FILE_PREFIX*
do
    sort -n -t , -k 1,1 $file > $file.sorted &
done
wait

#echo "**********SORTED CHUNK FILES*********"
#echo $SORTED_CHUNK_FILES
#Merging chunks to $SORTED_FILE ...
sort  -mn $SORTED_CHUNK_FILES > $SORTED_FILE

#Cleanup any lefover files
rm -f $SORTED_CHUNK_FILES > /dev/null
rm -f $CHUNK_FILE_PREFIX* > /dev/null

ファイルが分割されて並べ替えられると、並べ替えの速度が上がります