ファイルのサブセットをランダムにサンプリングする方法

ファイルのサブセットをサンプリングするために使用できるLinuxコマンドはありますか？たとえば、ファイルには100万行が含まれており、そのファイルから1,000行のみをランダムにサンプリングしたいとします。

ランダムの場合、すべての行が同じ確率で選択され、選択された行はどれも繰り返されないことを意味します。

headそして、tailではなく、ランダムにファイルのサブセットを選ぶことができます。私はいつでもそうするためにPythonスクリプトを書くことができることを知っていますが、この使用法のためのコマンドがあるのではないかと思っています。

shufコマンド（coreutilsのの一部）がこれを行うことができます：

shuf -n 1000 file

そして、少なくとも現時点では、非古代バージョン（2013年のコミットで追加）では、必要に応じてリザーバーサンプリングを使用します。つまり、メモリ不足にならず、高速アルゴリズムを使用します。

非常に大きなファイルがある場合（サンプルをとる一般的な理由）、次のことがわかります。

1. shuf メモリを使い果たします
2. $RANDOMファイルが32767行を超える場合、使用は正しく機能しません。

「正確に」n個のサンプリングされた行が必要ない場合は、次のような比率をサンプリングできます。

cat input.txt | awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}' > sample.txt

この用途定数メモリ、サンプルファイルの1％（あなたはファイルの行数を知っていればあなたがラインの限られた数に近いをサンプリングし、この要因を調整することができます）、および任意のサイズを持つ作品ファイルのが、それはしません正確な行数を返しますが、統計的な比率です。

注：コードはhttps://stackoverflow.com/questions/692312/randomly-pick-lines-from-a-file-without-slurping-it-with-unixから取得されます。

@Txangelの確率的ソリューションに似ていますが、100倍高速に近づいています。

perl -ne 'print if (rand() < .01)' huge_file.csv > sample.csv

高いパフォーマンスと正確なサンプルサイズが必要で、ファイルの最後にサンプルギャップがあれば満足できる場合は、次のようにできます（1mの行ファイルから1000行をサンプリングします）。

perl -ne 'print if (rand() < .0012)' huge_file.csv | head -1000 > sample.csv

..または実際にhead。の代わりに2番目のサンプルメソッドをチェーンします。

shuf -n大きなファイルのトリックがメモリ不足になり、固定サイズのサンプルが必要で、外部ユーティリティをインストールできる場合は、サンプルを試してください：

$ sample -N 1000 < FILE_WITH_MILLIONS_OF_LINES 

注意点は、サンプル（この例では1000行）がメモリに収まる必要があるということです。

免責事項：私は推奨ソフトウェアの著者です。

あなたが尋ねることを行うことができる単一のコマンドを認識していませんが、ここで私がまとめたループは仕事をすることができます：

for i in `seq 1000`; do sed -n `echo $RANDOM % 1000000 | bc`p alargefile.txt; done > sample.txt

sed1000のパスのそれぞれでランダムな行を選択します。おそらく、より効率的なソリューションがあります。

次のコードをファイルに保存し（例：randextract.sh）、次のように実行できます。

randextract.sh file.txt

----ファイルの開始----

#!/bin/sh -xv

#configuration MAX_LINES is the number of lines to extract
MAX_LINES=10

#number of lines in the file (is a limit)
NUM_LINES=`wc -l $1 | cut -d' ' -f1`

#generate a random number
#in bash the variable $RANDOM returns diferent values on each call
if [ "$RANDOM." != "$RANDOM." ]
then
    #bigger number (0 to 3276732767)
    RAND=$RANDOM$RANDOM
else
    RAND=`date +'%s'`
fi 

#The start line
START_LINE=`expr $RAND % '(' $NUM_LINES - $MAX_LINES ')'`

tail -n +$START_LINE $1 | head -n $MAX_LINES

----ファイルの終了----

ファイルの行数がわかっている場合（1e6など）、次のことができます。

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

そうでない場合は、いつでも行うことができます

awk -v n="$(wc -l < file)" -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

これはファイル内で2つのパスを実行しますが、ファイル全体をメモリに保存することは避けます。

GNUに対するもう1つの利点shufは、ファイル内の行の順序が保持されることです。

それが前提としていることを注意n されたファイルの行数。ファイルの最初の行（潜在的に多くの行がある）から印刷pする場合は、^次のように^th行で停止する必要があります。 nawkn

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}
  !n {exit}' < file

ヘッダー行を保持したい場合、およびサンプルがファイルのおよその割合になる可能性がある場合、これにawkを使用するのが好きです。非常に大きなファイルで動作します：

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print > "data-sample.txt"}' data.txt

またはこのように：

LINES=$(wc -l < file)  
RANDLINE=$[ $RANDOM % $LINES ]  
tail -n $RANDLINE  < file|head -1  

bashのmanページから：

        RANDOMこのパラメーターが参照されるたびに、ランダムな整数
              0〜32767が生成されます。ランダムのシーケンス
              番号は、RANに値を割り当てることで初期化できます
              DOM。RANDが設定されていない場合、その特別な適切な
              後でリセットされても、関係があります。

ファイルサイズが大きくない場合は、ランダムに並べ替えを使用できます。これはshufより少し時間がかかりますが、データ全体をランダム化します。したがって、要求どおりにheadを使用するには、次の手順を簡単に実行できます。

sort -R input | head -1000 > output

これにより、ファイルがランダムにソートされ、最初の1000行が表示されます。

受け入れられた答えで述べたように、GNU shufは単純なランダムサンプリング（shuf -n）を非常によくサポートしています。でサポートされてshufいるものを超えるサンプリング方法が必要な場合は、eBayのTSV Utilitiesのtsv-sampleを検討してください。重み付けランダムサンプリング、ベルヌーイサンプリング、個別サンプリングなど、いくつかの追加サンプリングモードをサポートしています。パフォーマンスはGNUに似ています（どちらも非常に高速です）。免責事項：私は著者です。shuf