2つの並列テキストファイルをシャッフルする

約50 milの単語を含む2つの文に揃えられた平行コーパス（テキストファイル）があります。（Europarlコーパスから->法的文書の並行翻訳）。2つのファイルの行をシャッフルしたいのですが、どちらも同じ方法です。私は、gshuf（私はMacを使用しています）を使用して、1つの一意のランダムソースを使用してそれにアプローチしたいと思いました。

gshuf --random-source /path/to/some/random/data file1
gshuf --random-source /path/to/some/random/data file2

しかしend of file、ランダムシードには、ソートするファイルに含まれるすべての単語を含める必要があるため、エラーメッセージが表示されました。本当？はいの場合、自分のニーズに合ったランダムシードをどのように作成すればよいですか？いいえの場合、他にどのようにファイルを並行してランダム化できますか？それらを一緒に貼り付け、ランダム化してから再び分割することを考えました。ただし、ファイルで発生しない区切り文字を最初に見つける必要があるため、これは醜いようです。

よりエレガントな方法があるかどうかはわかりませんが、これは私にとってはうまくいきます：

mkfifo onerandom tworandom threerandom
tee onerandom tworandom threerandom < /dev/urandom > /dev/null &
shuf --random-source=onerandom onefile > onefile.shuf &
shuf --random-source=tworandom twofile > twofile.shuf &
shuf --random-source=threerandom threefile > threefile.shuf &
wait

結果：

$ head -n 3 *.shuf
==> onefile.shuf <==
24532 one
47259 one
58678 one

==> threefile.shuf <==
24532 three
47259 three
58678 three

==> twofile.shuf <==
24532 two
47259 two
58678 two

ただし、ファイルの行数はまったく同じでなければなりません。

GNU Coreutilsのドキュメントにはopenssl、シードされたランダムジェネレーターとして繰り返しランダム性を使用するための優れたソリューションも用意されています。

https://www.gnu.org/software/coreutils/manual/html_node/Random-sources.html#Random-sources

get_seeded_random()
{
  seed="$1"
  openssl enc -aes-256-ctr -pass pass:"$seed" -nosalt \
    </dev/zero 2>/dev/null
}

shuf -i1-100 --random-source=<(get_seeded_random 42)

ただし、誰かが「自分の」ランダムな結果も再現できるようにしたくない場合を除き、「42」よりも優れたシードの使用を検討してください。