タグ付けされた質問 「batch-processing」

私は、1日に大量のシミュレーションを実行するマルチスレッドソフトウェアを作成しました。これは非常にCPUを集中的に使用するタスクであり、このプログラムをクラウドサービス（通常はコアあたり1GBの構成）で実行しています。 CentOS 6.7を実行し/proc/cpuinfoていますが、4つのVPSコアが2.5GHzであることがわかります。 processor : 3 vendor_id : GenuineIntel cpu family : 6 model : 63 model name : Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz stepping : 2 microcode : 1 cpu MHz : 2499.992 cache size : 30720 KB physical id : 3 siblings : 1 core id …

34 performance  vps  centos6  performance-tuning  batch-processing 

manページによると、実行行の1つが255のエラーで終了した場合、xargsは終了します。 コマンドの呼び出しがステータス255で終了した場合、xargsはそれ以上入力を読み込まずにすぐに停止します。これが発生すると、stderrでエラーメッセージが発行されます。 これを行わないようにxargsを取得するにはどうすればよいですか？ 一度に50行ずつ、実行する1500行程度のバッチジョブがあります。私はそれが常に特定のラインで死にかけていることを発見し、仕事を完了していませんでした。良くない！ さらに良い質問、私がやろうとしていることを説明する質問は次のとおりです。 途中でジョブを終了せず、出力が何らかのログファイルにキャプチャされるように、一度に50行ずつ1500行のバッチスクリプトを実行するにはどうすればよいですか？

27 bash  command-line-interface  batch-processing  xargs 

S3で一度に数千または数万のファイルを一括削除できるようにしたいと思います。各ファイルは1MBから50MBのどこかになります。当然、ファイルの削除処理中にユーザー（またはサーバー）が待機するのは望ましくありません。したがって、質問： 特に大量のファイルを削除する場合、S3はファイルの削除をどのように処理しますか？ これを行い、AWSにほとんどの作業を行わせる効率的な方法はありますか？効率的に言うと、S3へのリクエストの数を最小限にし、サーバー上の最小限のリソースを使用して最小限の時間をかけるということです。

16 amazon-s3  batch-processing