У curl есть тайм-аут?

251

До сих пор я ничего не мог найти на самом деле, но правда ли это, что на curlсамом деле не истекает вообще?

 user@host:~# curl http://localhost/testdir/image.jpg

Я спрашиваю, потому что я перенаправляю любой запрос изображений в testdirотдельный модуль Apache, который генерирует эти изображения на лету. Это может занять до 15 минут, прежде чем изображение будет фактически готово и доставлено запрашивающему клиенту.

Будет ли curlвсегда ждать (или она в зависимости от конфигурации) , или есть какой - либо тайм - аут?

Preexo
источник
3
Я ожидал бы, что curl будет иметь время ожидания соединения (если ничего больше, операционная система и ее стек TCP / IP почти наверняка имеют), но он может не иметь времени ожидания чтения после установления соединения.
CVn

Ответы:

340

Да.

Параметры тайм-аута

curlимеет два варианта: --connect-timeoutи --max-time.

Цитирование из справочной страницы:

--connect-timeout <seconds>
    Maximum  time  in  seconds  that you allow the connection to the
    server to take.  This only limits  the  connection  phase,  once
    curl has connected this option is of no more use.  Since 7.32.0,
    this option accepts decimal values, but the actual timeout  will
    decrease in accuracy as the specified timeout increases in deci‐
    mal precision. See also the -m, --max-time option.

    If this option is used several times, the last one will be used.

а также:

-m, --max-time <seconds>
    Maximum  time  in  seconds that you allow the whole operation to
    take.  This is useful for preventing your batch jobs from  hang‐
    ing  for  hours due to slow networks or links going down.  Since
    7.32.0, this option accepts decimal values, but the actual time‐
    out will decrease in accuracy as the specified timeout increases
    in decimal precision.  See also the --connect-timeout option.

    If this option is used several times, the last one will be used.

Значения по умолчанию

Здесь (в Debian) он прекращает попытки подключения через 2 минуты, независимо от времени, указанного в параметре, --connect-timeoutи хотя значение времени ожидания подключения по умолчанию составляет 5 минут в соответствии с DEFAULT_CONNECT_TIMEOUTмакросом в lib / connect.h .

Значение по умолчанию для --max-time, по-видимому, не существует, что заставляет curlждать ответа вечно, если начальное соединение успешно.

Что использовать?

Вы, вероятно, заинтересованы в последнем варианте --max-time. Для вашего случая установите его 900(15 минут).

Задание опции --connect-timeoutдля чего-то вроде 60(одна минута) также может быть хорошей идеей. В противном случае curlбудет пытаться подключиться снова и снова, по-видимому, используя некоторый алгоритм отката.

SCAI
источник
2
Спасибо за это! --max-time ничего не говорит о значениях по умолчанию, поэтому я предполагаю, что он не имеет и, следовательно, не имеет времени ожидания, кроме времени ожидания соединения по умолчанию ...?
Preexo
4
Да, если соединение успешно, то curl, кажется, ждет ответа вечно.
Scai
Обратите внимание, что оба maxtime являются проблемой, если ответ является большой загрузкой, которая занимает больше времени, чем «maxtime».
user92979
1
2-минутный тайм-аут также пахнет для меня как тайм-аут сервера. Просто была такая же проблема с сервером http приложения Node.js, у которого по умолчанию установлен таймаут 2 минуты. Чтобы увеличить его, см. HTTP.server.setTimeout () .
Талис К.
17

Существует ограничение по времени: / usr / bin / timelimit - эффективно ограничивает абсолютное время выполнения процесса

 Options:

 -p      If the child process is terminated by a signal, timelimit
         propagates this condition, i.e. sends the same signal to itself. 
         This allows the program executing timelimit to determine 
         whether the child process was terminated by a signal or 
         actually exited with an exit code larger than 128.
 -q      Quiet operation - timelimit does not output diagnostic 
         messages about signals sent to the child process.
 -S killsig
         Specify the number of the signal to be sent to the 
         process killtime seconds after warntime has expired.  
         Defaults to 9 (SIGKILL).
 -s warnsig
         Specify the number of the signal to be sent to the 
         process warntime seconds after it has been started.  
         Defaults to 15 (SIGTERM).
 -T killtime
         Specify the maximum execution time of the process before 
         sending killsig after warnsig has been sent.  Defaults to 120 seconds.
 -t warntime
         Specify the maximum execution time of the process in 
         seconds before sending warnsig.  Defaults to 3600 seconds.

 On systems that support the setitimer(2) system call, the 
 warntime and killtime values may be specified in fractional 
 seconds with microsecond precision.
бесконечность
источник
1
По умолчанию недоступно в macOS 10.13.4.
Торбьерн Равн Андерсен
14

Лучше , чем --max-timeявляются --speed-limitи --speed-timeварианты. Короче говоря, --speed-limitуказывает минимальную среднюю скорость, которую вы готовы принять, и --speed-timeуказывает, как долго скорость передачи может оставаться ниже этого предела до истечения времени ожидания и отмены.

Алекс Д
источник
9
Я думаю, что ни то, ни другое лучше, но в моем случае --max-time на самом деле более уместно, потому что все, что дольше 10 секунд, сделает мою программу бесполезной.
Хорхе Букаран
Я использую curl в качестве библиотеки в настольном приложении (а не просто вызываю его из CLI), и для меня ваш вариант подошел лучше всего. Мое приложение должно поддерживать длительные загрузки, поэтому простое --max-time не подходит для обнаружения «зависших загрузок» (например, если пользователь отключается от сети, пока идет загрузка) прогресс), поэтому я пошел с ограничением скорости 1024 и скоростью-30, чтобы обнаружить их.
Андре Морухао,
1
Полезно? Конечно. Лучше? Я думаю, что это очень зависит от ваших требований
Брайан Агнью
Тайм-ауты являются проблемой, если ответом может быть большая загрузка неизвестного (или даже известного!) Размера. Максимальное время ожидания истечет, если большая загрузка займет, например, более 15 минут. А ограничения скорости могут быть отключены прокси-серверами, которые сначала кэшируют весь ответ, прежде чем что-либо пересылать. Иногда кажется, что они пересылают 1 байт в минуту, но как определить, является ли это кеширующим прокси в быстрой сети или очень медленным соединением, которое следует повторить? В итоге я сдался и отключил тайм-ауты для запросов на скачивание. Не уверен, что есть лучший способ.
user92979
3

Если у вас установлены coreutils на MacOS, вы можете использовать команду GNU timeout, которая входит в этот пакет. Все инструменты GNU имеют префикс, gтак что CLI будет gtimeout.

gtimeout --help
Usage: gtimeout [OPTION] DURATION COMMAND [ARG]...
 or:  gtimeout [OPTION]
Start COMMAND, and kill it if still running after DURATION.

пример

$ gtimeout 1s curl -I http://www.google.com/
HTTP/1.1 200 OK
Date: Wed, 31 Oct 2018 03:36:08 GMT
Expires: -1
Cache-Control: private, max-age=0
Content-Type: text/html; charset=ISO-8859-1
P3P: CP="This is not a P3P policy! See g.co/p3phelp for more info."
Server: gws
X-XSS-Protection: 1; mode=block
X-Frame-Options: SAMEORIGIN
Set-Cookie: 1P_JAR=2018-10-31-03; expires=Fri, 30-Nov-2018 03:36:08 GMT; path=/; domain=.google.com
HttpOnly
Transfer-Encoding: chunked
Accept-Ranges: none
Vary: Accept-Encoding
SLM
источник
0

Пара решений в BASH4 +

# -- server available to check via port xxx ?  --
function isServerAvailableNC() {
    max_secs_run="${3}"
    if timeout $max_secs_run nc -z ${1} ${2} 2>/dev/null >/dev/null; then
        #echo "${1} ✓"
        true
   else
        #echo "${1} ✗"
        return
   fi
}


# -- server available to check via port xxx ?  --
# -- supported protocols (HTTP, HTTPS, FTP, FTPS, SCP, SFTP, TFTP, DICT, TELNET, LDAP or FILE) --
#/usr/bin/curl -sSf --max-time 3 https://ifwewanted.to.confirm.https.com/ --insecure

function isServerAvailableCURL() {

    max_secs_run="${3}"

    proto="http://"
    if [ ! -z ${2} ] || [ ${2} -gt 80 ] ;then
        proto="https://"
    fi

    if /usr/bin/curl -sSf --max-time "${max_secs_run}" "${1}" --insecure 2>/dev/null >/dev/null; then
        #echo "${1} ✓"
        true
    else
        #echo "${1} ✗"
        false
    fi
}

Образец использования:

РЕКОМЕНДУЕМ, чтобы NC использовал, если нам нужен определенный порт

host="1.2.3.4"
if isServerAvailableCURL "$host" "80" "3";then
    check_remote_domain_cert "$host"
fi


host="1.2.3.4"
if isServerAvailableNC "$host" "80" "3";then
    check_remote_domain_cert "$host"
fi
Майк К
источник