bashスクリプトで何千ものcurlバックグラウンドプロセスを並行して実行する

次のbashスクリプトでcurlバックグラウンドプロセスを実行しています。

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

49Gb Corei7-920専用サーバー（仮想ではない）があります。

topコマンドを使用してメモリ消費とCPUを追跡しますが、それらは限界からはかけ離れています。

ps aux | grep curl | wc -l現在のcurlプロセスの数を数えるために使用しています。この数は2〜4千まで急速に増加し、その後連続的に減少し始めます。

パイピングcurlを介して単純な解析をawk（curl | awk > output）に追加すると、curlプロセスの数は1〜2千に増え、その後20〜30に減少します。

プロセスの数がそれほど劇的に減少するのはなぜですか？このアーキテクチャの境界はどこですか？

厳格な質問に続いて：

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

タイミングに関する定型文のテキストが必要ない場合は短くなります。

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

1000を並行して実行する場合は、いくつかの制限（ファイルハンドルなど）に達します。ulimit -nまたは/etc/security/limits.confを上げると役立つ場合があります。

for i in {1..100000}

ポートは65536のみです。これを絞ってください。

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

（編集：（ 編集：OSの制限に関する日付の厳しいアサーションを取り除き、欠落しているものを追加します。）echocurl
wait