並列擬似乱数ジェネレーター

この質問は主に実用的なソフトウェアエンジニアリングの問題に関連していますが、理論家がより多くの洞察を提供できるかどうか聞いてみたいです。

簡単に言えば、擬似乱数ジェネレーターを使用するモンテカルロシミュレーションがあり、同じシミュレーションを並列で実行する1000台のコンピューターがあるように並列化したいと思います。したがって、擬似乱数の1000個の独立したストリームが必要です。

次のプロパティを持つ1000個の並列ストリームを使用できますか？ここで、は、あらゆる種類の素晴らしい理論的および経験的特性を備えた、非常によく知られ、広く研究されているPRNGである必要があります。$X$

1. ストリームは、私は単純に使用した場合になるだろうどのように良いと証明可能ですしてによって生成されたストリーム分割 1000個のストリームにします。$X$$X$

2. ストリーム内の次の番号の生成は、て次の番号を生成するのと（ほぼ）同じくらい高速です。$X$

別の言い方をすれば、複数の独立したストリームを「無料で」取得できますか？

もちろん、常にを使用し、常に999個の数字を破棄して1を選択した場合、確かにプロパティ1が得られますが、実行時間で1000倍になります。$X$

単純なアイデアは、シード1、2、...、1000 で 1000コピーを使用することです。これは確かに高速になりますが、ストリームに良好な統計特性があるかどうかは明らかではありません。$X$

グーグルでいくつか調べた後、たとえば次のことがわかりました。

• SPRNGのライブラリは、まさにこの目的のために設計されているように見える、それがサポートしている複数のPRNGを。

• メルセンヌツイスターは最近人気のあるPRNGのようで、複数のストリームを並行して生成できるバリアントへの参照をいくつか見つけました。

しかし、これはすべて私自身の研究領域からは程遠いため、実際に最先端のものがどれであるか、どの構造が理論上だけでなく実際にもうまく機能するかを理解できませんでした。

いくつかの明確化：暗号化プロパティは一切必要ありません。これは科学計算用です。数十億の乱数が必要になるので、周期がジェネレーターはすべて忘れてしまいます。$< 2^{32}$

編集：私は真のRNGを使用できません。確定的なPRNGが必要です。第一に、それはデバッグに大いに役立ち、すべてを繰り返し可能にします。第二に、マルチパスモデルを使用できるという事実を利用することで、たとえば中央値検出を非常に効率的に行うことができます（この質問を参照）。

編集2：密接に関連する質問@ StackOverflowがあります：クラスタ環境用の擬似乱数ジェネレータ。

斉藤と松本が開発したMersenne Twisterアルゴリズムの進化版を使用できます。

SIMD指向の高速メルセンヌツイスター（SFMT）

SFMTは、128ビットの擬似乱数整数を1ステップで生成する線形フィードバックシフトレジスタ（LFSR）ジェネレーターです。SFMTは、マルチステージパイプライン処理やSIMD（128ビット整数など）命令など、最近のCPUの最近の並列処理を使用して設計されています。32ビットおよび64ビット整数、および出力としての倍精度浮動小数点をサポートします。SFMTは、ほとんどのプラットフォームでMTよりもはるかに高速です。速度だけでなく、vビット精度での等分布の次元も改善されています。さらに、0超過の初期状態からの回復ははるかに高速です。詳細については、Sai藤Mu夫の修士論文を参照してください。

期間から変動に$2^{607}-1$。$2^{216091}-1$

初期値を変更して複数の独立したストリームを生成するために1つの同じ疑似乱数ジェネレーターを使用すると、問題が発生する可能性があります（確率はごくわずかです）。この問題を回避するには、世代ごとに異なるパラメーターを使用することをお勧めします。この手法は、MTパラメーターの動的作成と呼ばれます。

SFMTソースコードには、（可変期間の）パラメーターセットの例と、CSVファイルをコンパイル可能なパラメーターセットに変換するawkスクリプトがあります。「Mersenne Twisterジェネレーターの動的作成」と呼ばれるツールもあります。

著者は最近、GPUで実行し、ネイティブの並列実行スレッドを利用するように設計されたMersenne Twisterの別の修正版- グラフィックプロセッサ向けMersenne Twisterを開発しました。主な機能は速度です：GeForce GTX 260では4.6msごとに 10 7個のランダムな整数。$5 \times 10^7$

生成されたシーケンスの期間は、、2 23209 - 1及び2 44497 - 1 32ビットバージョンの、及び2 23209 - 1、2 44497 - 1、2 110503 - 1 64ビットバージョンのために。期間ごとに128個のパラメータセットをサポートしています。つまり、期間ごとに128個の独立した擬似乱数列を生成できます。より多くのパラメーターセットを生成するMTGP用のDynamic Creatorを開発しました$2^{11213}-1$$2^{23209}-1$$2^{44497}-1$$2^{23209}-1$$2^{44497}-1$$2^{110503}-1$

確かに彼らは提供MTGPDCツールをまで作成してパラメータセット（すなわち独立したストリーム）。$2^{32}$

このアルゴリズムは、ダイハードやNISTなどの主要なランダム性テストに合格します。

arXiv：グラフィックプロセッサに適したメルセンヌツイスターのバリアントに関する予備的な論文もあります。

この問題に取り組むには多くの方法があるようですが、1つの簡単な方法は、Blum Blum Shub PRNG を使用することです。このPRNGは、再帰関係で定義されます。ここで、Nは半素数です。これからランダムなビットを取得するには、x iのビットパリティを取得するだけです。これについての素晴らしいがあるためということです何のx I + K = X 2 K私は  国防省  N = X 2 k個 のmod  λ （N ）$x_{i+1} = x_i^2 \mbox{ mod }N$$N$$x_i$では、 kの時定数の任意のステップを直接計算できます（つまり、 O （log （N ）3）またはモジュラー指数に使用する乗算アルゴリズムに応じて高速）。したがって、使用しているれている M個のマシンを、次いでによってインデックス付けマシンの Yあなたは発電機を使用することができ、X I + 1 、Y = X 2 M のmod  λ （Nを）私は  国防省  N、 X 0 、Y = $x_{i+k} = x_i^{2^k}\mbox{ mod }N = x_i^{2^k \mbox{ mod } \lambda(N)}\mbox{mod }N$$k$$O(\log(N)^3)$$M$$y$$x_{i+1,y} = x_i^{2^M \mbox{mod }\lambda(N)}\mbox{ mod }N$、X0はあなたの種子です。便利なことに、単一のストリームを使用し、その出力を各マシンに順番に配布した場合とまったく同じ数のストリームを生成します。$x_{0,y} = x_0^{2^y \mbox{ mod }\lambda(N)}\mbox{ mod }N$$x_0$

ただし、これはPRNGの最速ではないため、シミュレーションで実行しているすべてのオーバーヘッドがPRNGのコストを大幅に上回る場合にのみ役立ちます。しかし、はるかに高速の特定の組み合わせのためになることを指摘する価値があるとNのバイナリ表現場合は特に、他のものよりも2 M  のmod  λ （Nは）数1Sを含むか、または小さいです。$M$$N$$2^M \mbox{ mod }\lambda(N)$

前処理フェーズはどうですか？（サイズnの）ランダムシード与えられたら、Xを実行してサイズ1000 nの擬似ランダムストリームを取得します。このストリーム示すS 1、sは2、... 、sは1000年のために、1 ≤ I ≤ 1000年、sはiはサイズのストリームの連続する部分であるNを。$s$$n$$X$$1000n$$s_1,s_2,\ldots,s_{1000}$$1\le i \le 1000$$s_i$$n$

が効率的なPRNGであるという事実を考えると、この前処理フェーズは非常に低いオーバーヘッドで実行できます（今日、非常に高速なPRNGがあります）。$X$

$s_i$$i$$X$

$X$$s$$1 \le i < j \le 1000$$s_i$$s_j$$s$

$f$$M = 1000$$\{ 0, 1, \ldots, M - 1 \}$$j$$i$$f(i + jM)$$M$

これにより、すべてのプロセスで暗号化されたRNGが提供されますが、必ずしもパフォーマンスコストが発生するとは限りません。AESは、それをサポートするハードウェアがあれば高速であり、ChaChaはそれでも高速です。もちろん、確実に特定の設定でこれを測定する必要があります。

$f$

今そこにあるジャンプ機能についてSFMT（高速メルセンヌツイスターの実装が）。

これにより、1000のMTを初期化できるため、サイクルの重複はありません。SFMTはMTGPよりも高速である必要があります。私の目的にはほぼ完璧です。

異なるシードで初期化されたMersenne Twisterのインスタンスを1000個だけ使用できます。

別のMersenne Twisterからシードをサンプリングするか、OSの暗号化擬似乱数ジェネレーター（Linuxの場合は/ dev / urandom）から確実に独立させることができます。

Mersenne Twisterは常に同じ循環シーケンスで動作し、シードは生成を開始する場所を制御します。シードを個別にサンプリングすると、各ジェネレーターは、交差する可能性が非常に低く、異なる、通常は非常に遠いポイントで開始します。