Red Hat Linuxの標準ツールを使用してファイルの行をランダム化するにはどうすればよいですか？

Red Hat Linuxの標準ツールを使用してファイルの行をランダム化するにはどうすればよいですか？

shufコマンドを持っていないので、同じタスクを実行するa perlまたはawkone-linerのようなものを探しています。

そして、Perlのワンライナーが手に入ります！

perl -MList::Util -e 'print List::Util::shuffle <>'

モジュールを使用していますが、モジュールはPerlコード配布の一部です。それでも十分でない場合は、自分でロールすることを検討してください。

これを-iフラグ（ "edit-in-place"）と共に使用して、ファイルを編集してみました。ドキュメントは、それが動作するはずであると示唆していますが、動作しません。シャッフルされたファイルは引き続きstdoutに表示されますが、今回は元のファイルが削除されます。使用しないことをお勧めします。

シェルスクリプトを考えてみましょう：

#!/bin/sh

if [[ $# -eq 0 ]]
then
  echo "Usage: $0 [file ...]"
  exit 1
fi

for i in "$@"
do
  perl -MList::Util -e 'print List::Util::shuffle <>' $i > $i.new
  if [[ `wc -c $i` -eq `wc -c $i.new` ]]
  then
    mv $i.new $i
  else
    echo "Error for file $i!"
  fi
done

テストされていませんが、うまくいけばうまくいきます。

ええと、忘れないで

sort --random-sort

shuf 最良の方法です。

sort -R痛いほど遅いです。5GBのファイルをソートしてみました。2.5時間後にあきらめました。次にshuf、1分で並べ替えました。

cat yourfile.txt | while IFS= read -r f; do printf "%05d %s\n" "$RANDOM" "$f"; done | sort -n | cut -c7-

ファイルを読み取り、すべての行にランダムな番号を付加し、それらのランダムなプレフィックスでファイルをソートし、その後プレフィックスをカットします。セミモダンシェルで機能するワンライナー。

編集：リチャードハンセンの発言を組み込んだ。

Pythonのワンライナー：

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

そして、ランダムな1行だけを印刷する場合：

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

しかし、pythonの欠点については、この投稿を参照してくださいrandom.shuffle()。多くの（2080を超える）要素ではうまく機能しません。

ジムの答えに関連して：

私~/.bashrcには以下が含まれます：

unsort ()
{
    LC_ALL=C sort -R "$@"
}

GNU coreutilsのsort -R= --random-sortを使用すると、各行のランダムハッシュが生成され、それによってソートされます。ランダム化されたハッシュは、一部の古い（バグのある）バージョンの一部のロケールでは実際には使用されないため、通常のソートされた出力が返されるため、を設定しましたLC_ALL=C。

クリスの答えに関連して：

perl -MList::Util=shuffle -e'print shuffle<>'

少し短いワンライナーです。（-Mmodule=a,b,cはの省略形です-e 'use module qw(a b c);'。）

シンプルに指定-iしてもインプレースのシャッフルが機能しない理由は、Perlはprintファイルが読み込まれている同じループで発生することを想定しており、print shuffle <>すべての入力ファイルが読み込まれて閉じられるまで出力されないためです。

より短い回避策として、

perl -MList::Util=shuffle -i -ne'BEGIN{undef$/}print shuffle split/^/m'

ファイルをその場でシャッフルします。（-n「while (<>) {...}ループでコードをラップしますBEGIN{undef$/}。Perlを行単位ではなくファイル単位で操作できるようにします。これは、行でsplit/^/mは$_=<>なくファイル全体で暗黙的に行われているために必要です。）

自作でcoreutilsをインストールすると

brew install coreutils

shufとして利用可能になりますn。

DarwinPortsを搭載したMac OS X：

sudo port install unsort
cat $file | unsort | ...

FreeBSDには独自のランダムユーティリティがあります。

cat $file | random | ...

それは/ usr / games / randomにあるので、ゲームをインストールしていない場合は運が悪いです。

textproc / randやtextproc / msortなどのポートのインストールを検討できます。移植性が懸念される場合、これらはLinuxやMac OS Xで利用できる可能性があります。

OSXでは、http：//ftp.gnu.org/gnu/coreutils/などから最新のものを取得します

./configure make sudo make install

... / usr / local / bin / sort --random-sortが表示されます

/ usr / bin / sortを台無しにすることなく

または、MacPortsから入手します。

$ sudo port install coreutils

および/または

$ /opt/local//libexec/gnubin/sort --random-sort