Unixコマンドラインまたはシェルスクリプトでテキストファイルの行をシャッフルするにはどうすればよいですか？

テキストファイルの行をランダムにシャッフルして、新しいファイルを作成します。ファイルには数千行ある場合があります。

どのように私はそれを行うことができcat、awk、cut、など？

使用できますshuf。少なくとも一部のシステムでは（POSIXにはないようです）。

jleedevが指摘したように：sort -Rオプションかもしれません。少なくとも一部のシステムでは。まあ、あなたは写真を取得します。実際にはシャッフルせず、ハッシュ値に従ってアイテムをソートすることが指摘されてsort -Rいます。

^{[編集者注：重複した行/ソートキーが常に隣同士になることを除いて、sort -R ほとんどシャッフルします。言い換えれば、ユニークな入力行/キーだけで、それは本当のシャッフルです。出力順序がハッシュ値によって決定されることは事実ですが、ランダム性はランダムハッシュ関数を選択することから生じます。マニュアルを参照してください。]}

Perlワンライナーはマキシムのソリューションの単純なバージョンになります

perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);' < myfile

この回答は、既存の多くの回答を次のように補完します。

• 既存の回答は、柔軟なシェル関数にパッケージ化されています。

  • 関数はstdin入力だけでなく、ファイル名引数も受け取ります
  • 関数は、騒々しく壊れるのではなく、通常の方法（終了コードによる静かな終了）で処理SIGPIPEするために追加の手順を実行します141。これは、にパイプする場合など、関数出力を早期に閉じられたパイプにパイプする場合に重要headです。

• パフォーマンスの比較が行われます。

• POSIX準拠の関数に基づいてawk、sort、およびcut、から適応OP自身の答え：

shuf() { awk 'BEGIN {srand(); OFMT="%.17f"} {print rand(), $0}' "$@" |
               sort -k1,1n | cut -d ' ' -f2-; }

• Perlベースの関数-Moonyoung Kangの回答を改造したもの：

shuf() { perl -MList::Util=shuffle -e 'print shuffle(<>);' "$@"; }

• scaiの答えを基にしたPythonベースの関数：

shuf() { python -c '
import sys, random, fileinput; from signal import signal, SIGPIPE, SIG_DFL;    
signal(SIGPIPE, SIG_DFL); lines=[line for line in fileinput.input()];   
random.shuffle(lines); sys.stdout.write("".join(lines))
' "$@"; }

^{この関数のWindowsバージョンについては、下のセクションを参照してください。}

• Rubyベースの関数、hoffmancの回答を基にしたもの：

shuf() { ruby -e 'Signal.trap("SIGPIPE", "SYSTEM_DEFAULT");
                     puts ARGF.readlines.shuffle' "$@"; }

パフォーマンス比較：

注：これらの数値は、OSX 10.10.3を実行する3.2 GHz Intel Core i5とFusion Driveを搭載した2012年後半のiMacで取得されました。タイミングは、使用するOS、マシンの仕様、awk使用する実装によって異なります（たとえば、awkOSXで使用されるBSD バージョンは、通常、GNUよりも遅くawk、特にmawk）。これにより、相対的なパフォーマンスの一般的な感覚が得られます。

入力ファイルは、で作成された100万行のファイルですseq -f 'line %.0f' 1000000。
時間は昇順でリストされます（最初が早い）。

• shuf
  • 0.090s
• Ruby 2.0.0
  • 0.289s
• Perl 5.18.2
  • 0.589s
• パイソン
  • 1.342sPython 2.7.6; 2.407s（！）Python 3.4.2
• awk+ sort+cut
  • 3.003sBSDでawk; 2.388sGNU awk（4.1.1）; （1.3.4）。1.811smawk

さらに比較するために、上記の関数としてパッケージ化されていないソリューション：

• sort -R （重複する入力行がある場合、本当のシャッフルではありません）
  • 10.661s -より多くのメモリを割り当てても違いはないようです
• Scala
  • 24.229s
• bash ループ+ sort
  • 32.593s

結論：

• shuf可能な場合はを使用してください。これがはるかに高速です。
• Rubyが順調で、Perlがそれに続きます。
• PythonはRubyやPerlよりも著しく遅く、Pythonバージョンを比較すると、2.7.6は3.4.1よりもかなり高速です。
• POSIX準拠の使用awk+ sort+ cut最後の手段としてコンボを。どのawk実装を使用するかが重要です（mawkGNUより高速でawk、BSD awkが最も低速です）。
• 近づかないsort -R、bashループ、およびスカラ。

PythonソリューションのWindowsバージョン（Pythonコードは同じですが、引用のバリエーションと、Windowsでサポートされていない信号関連ステートメントの削除を除きます）：

• PowerShellの場合（Windows PowerShellでは$OutputEncoding、パイプライン経由で非ASCII文字を送信するかどうかを調整する必要があります）：

# Call as `shuf someFile.txt` or `Get-Content someFile.txt | shuf`
function shuf {
  $Input | python -c @'
import sys, random, fileinput;
lines=[line for line in fileinput.input()];
random.shuffle(lines); sys.stdout.write(''.join(lines))
'@ $args  
}

PowerShellは、そのGet-Randomコマンドレットを介してネイティブにシャッフルできることに注意してください（パフォーマンスが問題になる可能性があります）。例えば：
Get-Content someFile.txt | Get-Random -Count ([int]::MaxValue)

• 用cmd.exe（バッチファイル）：

shuf.cmdたとえば、ファイルに保存します。

@echo off
python -c "import sys, random, fileinput; lines=[line for line in fileinput.input()]; random.shuffle(lines); sys.stdout.write(''.join(lines))" %*

私は「unsort」と呼ぶ小さなperlスクリプトを使用します。

#!/usr/bin/perl
use List::Util 'shuffle';
@list = <STDIN>;
print shuffle(@list);

「unsort0」と呼ばれるNULLで区切られたバージョンもあります。find-print0などで使用すると便利です。

PS： 'shuf'にも賛成票を投じましたが、最近のcoreutilsにあるとは思いもしませんでした...システムに 'shuf'がない場合、上記はまだ役立つかもしれません。

これは、コーダーでは簡単ですが、各行に乱数を付加して並べ替え、各行から乱数を取り除くCPUでは難しい最初の試みです。実際、行はランダムにソートされます。

cat myfile | awk 'BEGIN{srand();}{print rand()"\t"$0}' | sort -k1 -n | cut -f2- > myfile.shuffled

これがawkスクリプトです

awk 'BEGIN{srand() }
{ lines[++d]=$0 }
END{
    while (1){
    if (e==d) {break}
        RANDOM = int(1 + rand() * d)
        if ( RANDOM in lines  ){
            print lines[RANDOM]
            delete lines[RANDOM]
            ++e
        }
    }
}' file

出力

$ cat file
1
2
3
4
5
6
7
8
9
10

$ ./shell.sh
7
5
10
9
6
8
2
1
3
4

Pythonのワンライナー：

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

そして、ランダムな1行だけを印刷する場合：

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

しかし、pythonの欠点については、この投稿を参照してくださいrandom.shuffle()。多くの（2080を超える）要素ではうまく機能しません。

単純なawkベースの関数が仕事をします：

shuffle() { 
    awk 'BEGIN{srand();} {printf "%06d %s\n", rand()*1000000, $0;}' | sort -n | cut -c8-
}

使用法：

any_command | shuffle

これはほとんどすべてのUNIXで動作するはずです。Linux、Solaris、HP-UXでテスト済み。

更新：

先行ゼロ（%06d）とrand()乗算は、sort数値を理解できないシステムでも正しく機能することに注意してください。これは、辞書式順序（別名通常の文字列比較）でソートできます。

Ruby FTW：

ls | ruby -e 'puts STDIN.readlines.shuffle'

scaiの回答に基づくPythonの1つのライナーですが、a）stdin を取得します。b）シードで結果を繰り返し可能にします。c）すべての行のうち200行のみを選択します。

$ cat file | python -c "import random, sys; 
  random.seed(100); print ''.join(random.sample(sys.stdin.readlines(), 200))," \
  > 200lines.txt

シンプルで直感的な方法は、を使用することshufです。

例：

次のように想定words.txtします。

the
an
linux
ubuntu
life
good
breeze

行をシャッフルするには、次のようにします。

$ shuf words.txt

これは、シャッフルされた行を標準出力にスローします。したがって、次のように出力ファイルにパイプする必要があります。

$ shuf words.txt > shuffled_words.txt

そのようなシャッフル実行の 1つは、

breeze
the
linux
an
ubuntu
good
life

まさに仕事をするためのパッケージがあります：

sudo apt-get install randomize-lines

例：

番号付きの番号付きリストを作成し、1000.txtに保存します。

seq 1000 > 1000.txt

それをシャッフルするには、単に使用します

rl 1000.txt

これは、ホームフォルダにrand.pyとして保存したpythonスクリプトです。

#!/bin/python

import sys
import random

if __name__ == '__main__':
  with open(sys.argv[1], 'r') as f:
    flist = f.readlines()
    random.shuffle(flist)

    for line in flist:
      print line.strip()

マックOSX上sort -Rとshufあなたにあなたのbash_profileでこれを別名設定できるので、使用できません。

alias shuf='python rand.py'

私のようshufにmacOSの代替を探すためにここに来た場合は、を使用してくださいrandomize-lines。

randomize-lines（homebrew）パッケージをインストールします。これには、rlと同様の機能を持つコマンドがありますshuf。

brew install randomize-lines

Usage: rl [OPTION]... [FILE]...
Randomize the lines of a file (or stdin).

  -c, --count=N  select N lines from the file
  -r, --reselect lines may be selected multiple times
  -o, --output=FILE
                 send output to file
  -d, --delimiter=DELIM
                 specify line delimiter (one character)
  -0, --null     set line delimiter to null character
                 (useful with find -print0)
  -n, --line-number
                 print line number with output lines
  -q, --quiet, --silent
                 do not output any errors or warnings
  -h, --help     display this help and exit
  -V, --version  output version information and exit

Scalaがインストールされている場合、入力をシャッフルするためのワンライナーは次のとおりです。

ls -1 | scala -e 'for (l <- util.Random.shuffle(io.Source.stdin.getLines.toList)) println(l)'

このbash関数には最小限の依存関係があります（並べ替えとbashのみ）。

shuf() {
while read -r x;do
    echo $RANDOM$'\x1f'$x
done | sort |
while IFS=$'\x1f' read -r x y;do
    echo $y
done
}

Windows では、data.txtをシャッフルするのに役立つこのバッチファイルを試すことができます。バッチコードの使用法は次のとおりです。

C:\> type list.txt | shuffle.bat > maclist_temp.txt

このコマンドを発行すると、maclist_temp.txtにはランダムな行のリストが含まれます。

お役に立てれば。

現時点では言及されていません：

1. unsortutilの。構文（ややプレイリスト指向）：

   unsort [-hvrpncmMsz0l] [--help] [--version] [--random] [--heuristic]
          [--identity] [--filenames[=profile]] [--separator sep] [--concatenate] 
          [--merge] [--merge-random] [--seed integer] [--zero-terminated] [--null] 
          [--linefeed] [file ...]

2. msort 行ごとにシャッフルできますが、通常はやりすぎです。

   seq 10 | msort -jq -b -l -n 1 -c r

別のawkバリアント：

#!/usr/bin/awk -f
# usage:
# awk -f randomize_lines.awk lines.txt
# usage after "chmod +x randomize_lines.awk":
# randomize_lines.awk lines.txt

BEGIN {
  FS = "\n";
  srand();
}

{
  lines[ rand()] = $0;
}

END {
  for( k in lines ){
    print lines[k];
  }
}