curlにはタイムアウトがありますか?


251

これまでのところ、私は本当に何も見つけることができcurlませんでしたが、まったくタイムアウトしないのは本当ですか?

 user@host:~# curl http://localhost/testdir/image.jpg

画像のリクエストをtestdir別のApacheモジュールにリダイレクトし、それらの画像をその場で生成するため、私は尋ねています。写真が実際に準備され、要求元のクライアントに配信されるまで、最大15分かかる場合があります。

ウィルcurl常に待って(またはそれが構成に応じている)、またはタイムアウトの任意の並べ替えがありますか?


3
私は考えを期待(何もない場合は、OSとそのTCP / IPスタックはほぼ確実にありません)接続タイムアウトを持っているカールが、接続が確立された後には、読み取りタイムアウトを持っていない可能性があります。
CVn

回答:


340

はい。

タイムアウトパラメータ

curlには2つのオプションがあります:--connect-timeout--max-time

マンページから引用:

--connect-timeout <seconds>
    Maximum  time  in  seconds  that you allow the connection to the
    server to take.  This only limits  the  connection  phase,  once
    curl has connected this option is of no more use.  Since 7.32.0,
    this option accepts decimal values, but the actual timeout  will
    decrease in accuracy as the specified timeout increases in deci‐
    mal precision. See also the -m, --max-time option.

    If this option is used several times, the last one will be used.

そして:

-m, --max-time <seconds>
    Maximum  time  in  seconds that you allow the whole operation to
    take.  This is useful for preventing your batch jobs from  hang‐
    ing  for  hours due to slow networks or links going down.  Since
    7.32.0, this option accepts decimal values, but the actual time‐
    out will decrease in accuracy as the specified timeout increases
    in decimal precision.  See also the --connect-timeout option.

    If this option is used several times, the last one will be used.

デフォルト

ここでは(Debianで)指定された時間に関係なく、2分後に接続の試行を停止--connect-timeoutしますが、デフォルトの接続タイムアウト値はlib / connect.hのマクロに従って5分であるように見えます。DEFAULT_CONNECT_TIMEOUT

のデフォルト値は--max-time存在しないようでcurl、最初の接続が成功した場合、応答を永久に待機します。

使用するもの

おそらく、後者のオプションに興味があります--max-time。あなたの場合、900(15分)に設定します。

(1分)--connect-timeoutなどのオプションを指定すること60もお勧めです。それ以外の場合curlは、明らかにバックオフアルゴリズムを使用して、何度も接続を試行します。


2
ありがとう!--max-timeはデフォルト値について何も言わないので、デフォルトではconnect-timeout以外にタイムアウトがないため、タイムアウトがないと思います...?
Preexo

4
はい、接続が成功した場合、curlは応答を永遠に待つようです。
scai

応答が「maxtime」よりも時間がかかる大きなダウンロードである場合、両方のmaxtimeが問題になることに注意してください。
-user92979

1
2分のタイムアウトも、サーバーがタイムアウトしたように感じます。デフォルトのタイムアウトが2分のNode.jsアプリのhttpサーバーでも同じ問題が発生しました。値を増やすには、HTTP.server.setTimeout()を参照してください。
タリスK.

17

時間制限があります:/ usr / bin / timelimit-プロセスの絶対実行時間を効果的に制限します

 Options:

 -p      If the child process is terminated by a signal, timelimit
         propagates this condition, i.e. sends the same signal to itself. 
         This allows the program executing timelimit to determine 
         whether the child process was terminated by a signal or 
         actually exited with an exit code larger than 128.
 -q      Quiet operation - timelimit does not output diagnostic 
         messages about signals sent to the child process.
 -S killsig
         Specify the number of the signal to be sent to the 
         process killtime seconds after warntime has expired.  
         Defaults to 9 (SIGKILL).
 -s warnsig
         Specify the number of the signal to be sent to the 
         process warntime seconds after it has been started.  
         Defaults to 15 (SIGTERM).
 -T killtime
         Specify the maximum execution time of the process before 
         sending killsig after warnsig has been sent.  Defaults to 120 seconds.
 -t warntime
         Specify the maximum execution time of the process in 
         seconds before sending warnsig.  Defaults to 3600 seconds.

 On systems that support the setitimer(2) system call, the 
 warntime and killtime values may be specified in fractional 
 seconds with microsecond precision.

1
少なくともmacOS 10.13.4ではデフォルトでは利用できません。
するThorbjörnRavnアンデルセン

14

およびオプションよりも優れ--max-timeています。要するに、許容できる最小平均速度を指定し、転送がタイムアウトして中止されるまでに転送速度がその制限を下回っている時間を指定します。--speed-limit--speed-time--speed-limit--speed-time


9
私はどちらも良いとは思いませんが、私の使用例では--max-timeが実際により適切です。10秒より長いとプログラムが役に立たなくなるからです。
ホルヘブカラ

curlをデスクトップアプリケーションのライブラリとして(CLIから呼び出すだけでなく)使用しているので、私にはあなたのオプションが最適でした。私のアプリは長いダウンロードをサポートする必要があるため、単純な--max-timeは「スタックダウンロード」の検出には適していません(たとえば、ダウンロード中にユーザーがオフラインになった場合進行)、だから私はこれらを検出するために1024の速度制限と30の速度時間で行った。
アンドレモルジャン

1
有用?もちろん。いい?それはあなたの要求に非常に依存していると思います
ブライアンアグニュー

応答が不明な(または既知の)サイズの大きなダウンロードである可能性がある場合、タイムアウトは問題です。大量のダウンロードに15分以上かかる場合、maxtimeはタイムアウトします。そして、速度制限は、転送する前に応答全体を最初にキャッシュするプロキシによってトリップされる可能性があります。彼らは時々1分あたり1バイトを転送するように見えますが、それが高速ネットワーク上のキャッシングプロキシであるか、再試行されるべき非常に遅い接続であるかをどのように見分けますか?結局、ダウンロードクエリのタイムアウトをあきらめてオフにしました。より良い方法があるかどうかはわかりません。
user92979

3

MacOSにcoreutilsがインストールされている場合、そのパッケージに含まれているGNUタイムアウトコマンドを使用できます。GNUツールにはすべて接頭辞aが付いているgため、CLIがgtimeout

gtimeout --help
Usage: gtimeout [OPTION] DURATION COMMAND [ARG]...
 or:  gtimeout [OPTION]
Start COMMAND, and kill it if still running after DURATION.

$ gtimeout 1s curl -I http://www.google.com/
HTTP/1.1 200 OK
Date: Wed, 31 Oct 2018 03:36:08 GMT
Expires: -1
Cache-Control: private, max-age=0
Content-Type: text/html; charset=ISO-8859-1
P3P: CP="This is not a P3P policy! See g.co/p3phelp for more info."
Server: gws
X-XSS-Protection: 1; mode=block
X-Frame-Options: SAMEORIGIN
Set-Cookie: 1P_JAR=2018-10-31-03; expires=Fri, 30-Nov-2018 03:36:08 GMT; path=/; domain=.google.com
HttpOnly
Transfer-Encoding: chunked
Accept-Ranges: none
Vary: Accept-Encoding

0

BASH4 +のいくつかのソリューション

# -- server available to check via port xxx ?  --
function isServerAvailableNC() {
    max_secs_run="${3}"
    if timeout $max_secs_run nc -z ${1} ${2} 2>/dev/null >/dev/null; then
        #echo "${1} ✓"
        true
   else
        #echo "${1} ✗"
        return
   fi
}


# -- server available to check via port xxx ?  --
# -- supported protocols (HTTP, HTTPS, FTP, FTPS, SCP, SFTP, TFTP, DICT, TELNET, LDAP or FILE) --
#/usr/bin/curl -sSf --max-time 3 https://ifwewanted.to.confirm.https.com/ --insecure

function isServerAvailableCURL() {

    max_secs_run="${3}"

    proto="http://"
    if [ ! -z ${2} ] || [ ${2} -gt 80 ] ;then
        proto="https://"
    fi

    if /usr/bin/curl -sSf --max-time "${max_secs_run}" "${1}" --insecure 2>/dev/null >/dev/null; then
        #echo "${1} ✓"
        true
    else
        #echo "${1} ✗"
        false
    fi
}

サンプルの使用:

特定のポートが必要な場合にNCを使用することをお勧めします

host="1.2.3.4"
if isServerAvailableCURL "$host" "80" "3";then
    check_remote_domain_cert "$host"
fi


host="1.2.3.4"
if isServerAvailableNC "$host" "80" "3";then
    check_remote_domain_cert "$host"
fi
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.