タグ付けされた質問 「scheduler」

Pythonスクリプトから非同期にシェルコマンドを実行する必要があります。これは、外部コマンドがオフになり、必要なことをすべて実行している間も、Pythonスクリプトを実行し続けたいことを意味します。 私はこの投稿を読みました： Pythonで外部コマンドを呼び出す それから私は外に出ていくつかのテストos.system()を行いました&が、コマンドの最後に使用するように提供されるジョブを実行するように見えるので、コマンドが戻るのを待つ必要はありません。これがそのようなことを達成するための適切な方法であるかどうか私は疑問に思っていますか？試してみましたcommands.call()が、外部コマンドでブロックされるため、うまくいきません。 os.system()これを使用することが望ましいか、他の方法を試すべきかどうかを教えてください。

120 python  asynchronous  subprocess  scheduler 

SLURMsrunとsbatchコマンドの違いを理解しようとしています。以下の質問に対する具体的な回答ではなく、一般的な説明に満足しますが、ここでは、出発点となり、私が探しているもののアイデアを与えることができるいくつかの具体的な混乱のポイントを示します。 ドキュメントによると、srunはジョブsbatchを送信するためのものであり、後で実行するためにジョブを送信するためのものですが、実際の違いは私にはわかりません。それらの動作は同じようです。たとえば、それぞれ2つのCPUを備えた2つのノードを持つクラスターがあります。srun testjob.sh &5xを続けて実行すると、CPUが使用可能になるまで、5番目のジョブがうまくキューに入れられますsbatch testjob.sh。 質問をより具体的にするために、私は始めるのに良い場所かもしれないと思います：私が他ではできないことの1つで私ができることは何ですか、そしてなぜですか？ 両方のコマンドの引数の多くは同じです。最も関連性の高いように見えるものがあります--ntasks、--nodes、--cpus-per-task、--ntasks-per-node。これらは互いにどのように関連しており、srunvsではどのように異なりますsbatchか？ 1つの特定の違いは、実行可能権限がないsrun場合、testjob.shつまりchmod +x testjob.sh、実行可能ファイルsbatchを正常に実行するとエラーが発生することです。これを引き起こす「内部」で何が起こっているのでしょうか。 ドキュメントにsrunは、sbatchスクリプト内で一般的に使用されるものについても記載されています。これは、次の質問につながります。それらはどのように相互作用し、それぞれの「標準的な」ユースケースは何ですか？具体的にはsrun、単独で使用することはありますか？

100 parallel-processing  scheduler  jobs  slurm  sbatch