1秒あたり平均5回でコマンドを実行する方法は？

API呼び出しを実行し、結果でデータベースを更新するコマンドラインスクリプトがあります。

APIプロバイダーでは1秒あたり5回のAPI呼び出しの制限があります。スクリプトの実行には0.2秒以上かかります。

• コマンドを順番に実行すると、十分な速度で実行されず、1秒間に1つまたは2つのAPI呼び出ししか実行されません。
• コマンドを連続して実行するが、複数の端末から同時に実行すると、5コール/秒の制限を超える可能性があります。

コマンドラインスクリプトが1秒間にほぼ5回実行されるようにスレッドを調整する方法がある場合

たとえば、5スレッドまたは10スレッドで実行されるもので、前のスレッドが200ミリ秒未満前に実行したスレッドはスクリプトを実行しません。

GNUシステムでは、もしあればpv、次のことができます：

cmd='
   that command | to execute &&
     as shell code'

yes | pv -qL10 | xargs -n1 -P20 sh -c "$cmd" sh

-P20ほとんどの20で実行することである$cmdと同時に。

-L10 レートを1秒あたり10バイトに制限しているため、1秒あたり5行です。

あなたの場合$cmd、sは2遅くなると到達する20の限界を起こし、その後、xargs1つのまで読み取りを停止します$cmd少なくともリターンでインスタンス。pvパイプがいっぱいになるまで、同じ速度でパイプへの書き込みを続けます（デフォルトのパイプサイズが64KiBのLinuxでは、ほぼ2時間かかります）。

その時点で、pv書き込みを停止します。しかし、それでも、xargs読み取りを再開pvすると、全体で1秒あたり5行を維持するために、できるだけ早く送信する必要があるすべての行を追いつき、送信しようとします。

つまり、平均的な要件で1秒あたり5回の実行を20プロセスで実行できる限り、それを実行します。ただし、制限に達すると、新しいプロセスが開始される速度はpvのタイマーではなく、以前のcmdインスタンスが戻る速度によって決まります。たとえば、20が現在実行中で10秒間使用されていて、そのうちの10がすべて同時に終了することを決定した場合、10の新しいものが同時に開始されます。

例：

$ cmd='date +%T.%N; exec sleep 2'
$ yes | pv -qL10 | xargs -n1 -P20 sh -c "$cmd" sh
09:49:23.347013486
09:49:23.527446830
09:49:23.707591664
09:49:23.888182485
09:49:24.068257018
09:49:24.338570865
09:49:24.518963491
09:49:24.699206647
09:49:24.879722328
09:49:25.149988152
09:49:25.330095169

2つの実行間の遅延が常に正確に0.2秒であるとは限らない場合でも、平均で1秒あたり5回になります。

With ksh93（またはコマンドが小数秒をサポートするzsh場合sleep）：

typeset -F SECONDS=0
n=0; while true; do
  your-command &
  sleep "$((++n * 0.2 - SECONDS))"
done

your-commandただし、同時sの数に制限はありません。

簡単に言えば、コマンドの持続時間が1秒未満の場合、1秒間に5つのコマンドのみを開始できます。明らかに、これは非常にバースト的です。

while sleep 1
do    for i in {1..5}
      do mycmd &
      done
done

コマンドに1秒以上かかる場合があり、試してみてコマンドを分散したい場合

while :
do    for i in {0..4}
      do  sleep .$((i*2))
          mycmd &
      done
      sleep 1 &
      wait
done

または、最小1秒で独立して実行される5つの個別のループを使用できます。

for i in {1..5}
do    while :
      do   sleep 1 &
           mycmd &
           wait
      done &
      sleep .2
done

Cプログラムでは、

たとえば、しばらくの間、0.2秒間スリープするスレッドを使用できます。

#include<stdio.h>
#include<string.h>
#include<pthread.h>
#include<stdlib.h>
#include<unistd.h>

pthread_t tid;

void* doSomeThing() {
    While(1){
         //execute my command
         sleep(0.2)
     } 
}

int main(void)
{
    int i = 0;
    int err;


    err = pthread_create(&(tid), NULL, &doSomeThing, NULL);
    if (err != 0)
        printf("\ncan't create thread :[%s]", strerror(err));
    else
        printf("\n Thread created successfully\n");



    return 0;
}

スレッドの作成方法を知るためにそれを使用します：スレッドを作成します（これはこのコードを貼り付けるために使用したリンクです）

node.jsを使用すると、応答がコールバック関数を介して返されるため、応答がどのくらい長くかかっても、200ミリ秒ごとにbashスクリプトを実行する単一のスレッドを開始できます。

var util = require('util')
exec = require('child_process').exec

setInterval(function(){
        child  = exec('fullpath to bash script',
                function (error, stdout, stderr) {
                console.log('stdout: ' + stdout);
                console.log('stderr: ' + stderr);
                if (error !== null) {
                        console.log('exec error: ' + error);
                }
        });
},200);

このjavascriptは200ミリ秒ごとに実行され、応答はコールバック関数を介して取得されますfunction (error, stdout, stderr)。

このようにして、コマンドの実行がどの程度遅いか、または応答を待つ必要があるかに関係なく、毎秒5コールを超えないように制御できます。

私はpvしばらくの間、StéphaneChazelasをベースにしたソリューションを使用しましたが、しばらくしてから数分から数時間でランダムに（そして静かに）終了することがわかりました。- 編集：理由は、最大実行時間を超えたためにPHPスクリプトが時々停止し、ステータス255で終了することでした。

そこで、必要なことを正確に実行する簡単なコマンドラインツールを作成することにしました。

私の元の目標を達成するのは次のように簡単です：

./parallel.phar 5 20 ./my-command-line-script

すでに20の同時プロセスが存在しない限り、1秒あたりほぼ5つのコマンドを開始します。その場合、スロットが使用可能になるまで次の実行をスキップします。

このツールは、ステータス255終了の影響を受けません。