タグ付けされた質問 「io」

簡単に並列化できるアプリケーションがありますが、そのパフォーマンスは大部分がI / Oバウンドです。アプリケーションは、通常2〜5 GBのサイズのファイルに格納されている単一の入力配列を読み取ります（ただし、この数値は将来的に増加する予定です）。典型的な計算では、その配列の各行または列に同じ操作が適用されます。CPUを大量に使用する操作では、約100プロセッサまで非常に優れたスケーリングが得られますが、遅い操作ではI / Oおよび関連する通信（NFSアクセス）が支配的であり、少数のプロセッサしか効率的に使用できません。 そのような状況で効率的でポータブルな（理想的には移植性の高い）オプションは何ですか？並列HDF5は有望なようです。誰かがそれを実際に体験したことがありますか？ MPI-I / Oは検討する価値があるでしょうか？特定のファイルレイアウトで効率的に動作することはできますか、それともすべてを適応させる必要がありますか？

20 io  parallel-computing  mpi 

プラズマダイナミクスのシミュレーションでは、多くの場合、大量の情報が生成されます。シミュレーション中に、少なくとも10個のプロパティについて、（8192x1024x1024x1500）と同じ大きさのグリッド（x、y、z、t）にさまざまな物理的プロパティを記録します。この情報は、シミュレーションの完了後に処理されます。それで私たち プロパティのムービーを作成し、 フーリエ解析を実行し、 平均プロパティを計算します。 できるだけ多くの情報をこのように単純にダンプすることは、小規模なシステムを調査したときにうまく機能しました。これにより、結果とやり取りし、後でそれをどうするかを決定する柔軟性が得られました。また、単純にシミュレーションを実行するために計算リソース（CPU時間）を割り当てることもできました。 フーリエ解析をオンザフライで実行し、長さスケールの選択範囲のみをフィルタリングするプロセスを開始しました。数値的な理由から、実際に必要な長さよりも小さい長さスケールを解決する必要がある場合があります。そのような場合、このフィルターは非常に役立ちます。また、パラレルI / Oオプション、特にパラレルHDF5など、さまざまなパラレルIOライブラリも検討しています。 データ処理の効率を最大化するための戦略は何ですか？ その場ですべての分析（映画やプロットなどの後処理を含まない）を実行することに利点はありますか？ 私はこの問題が他の研究分野で起こることを想像できます。たとえば、長い間進化する必要がある分子動力学シミュレーションがあるかもしれませんが、興味深いことが起こっている短い瞬間に興味があります。またはCFDでは、初期の開発は遅いかもしれませんが、乱流が始まると、ダイナミクスを監視するためにより高い時間分解能が必要になる場合があります。 シミュレーションから洗練された結果収集の自由に利用可能な例はありますか？

14 performance  io  data-management