Как измерить время запроса и ответа одновременно, используя cURL?

659

У меня есть веб-сервис, который получает данные в формате JSON, обрабатывает данные, а затем возвращает результат запрашивающей стороне.

Я хочу измерить запрос, ответ и общее время, используя cURL.

Мой пример запроса выглядит так:

curl -X POST -d @file server:port

и в настоящее время я измеряю это с помощью timeкоманды в Linux:

time curl -X POST -d @file server:port

Команда времени измеряет только общее время, что не совсем то, что я ищу.

Есть ли способ измерить время запроса и ответа, используя cURL?

sdasdadas
источник

Ответы:

1677

Из этого блестящего сообщения в блоге ... https://blog.josephscott.org/2011/10/14/timing-details-with-curl/

cURL поддерживает форматированный вывод для деталей запроса (подробности см. на странице man cURL , ниже -w, –write-out <format>). Для наших целей мы сосредоточимся только на предоставленных деталях синхронизации. Время ниже в секундах .

  1. Создайте новый файл curl-format.txt и вставьте его в:

        time_namelookup:  %{time_namelookup}s\n
           time_connect:  %{time_connect}s\n
        time_appconnect:  %{time_appconnect}s\n
       time_pretransfer:  %{time_pretransfer}s\n
          time_redirect:  %{time_redirect}s\n
     time_starttransfer:  %{time_starttransfer}s\n
                        ----------\n
             time_total:  %{time_total}s\n
    
  2. Сделать запрос:

    curl -w "@curl-format.txt" -o /dev/null -s "http://wordpress.com/"
    

    Или на Windows это ...

    curl -w "@curl-format.txt" -o NUL -s "http://wordpress.com/"
    


Что это делает:

-w "@curl-format.txt"говорит cURL использовать наш форматный файл,
-o /dev/nullперенаправляет вывод запроса в / dev / null,
-s сообщает cURL не показывать индикатор прогресса
"http://wordpress.com/"- это запрашиваемый нами URL. Используйте кавычки, особенно если ваш URL имеет параметры строки запроса "&"


И вот что вы получите обратно:

   time_namelookup:  0.001s
      time_connect:  0.037s
   time_appconnect:  0.000s
  time_pretransfer:  0.037s
     time_redirect:  0.000s
time_starttransfer:  0.092s
                   ----------
        time_total:  0.164s


Создать ярлык для Linux / Mac (псевдоним)

alias curltime="curl -w \"@$HOME/.curl-format.txt\" -o NUL -s "

Тогда вы можете просто позвонить ...

curltime wordpress.org

Спасибо комментатору Питу Дойлу!


Создайте автономный скрипт для Linux / Mac

Этот сценарий не требует отдельного файла .txt для форматирования.

Создайте новый файл, curltime, где-нибудь в вашем пути к исполняемому файлу и вставьте:

#!/bin/bash

curl -w @- -o /dev/null -s "$@" <<'EOF'
    time_namelookup:  %{time_namelookup}\n
       time_connect:  %{time_connect}\n
    time_appconnect:  %{time_appconnect}\n
   time_pretransfer:  %{time_pretransfer}\n
      time_redirect:  %{time_redirect}\n
 time_starttransfer:  %{time_starttransfer}\n
                    ----------\n
         time_total:  %{time_total}\n
EOF

Вызовите так же, как псевдоним:

curltime wordpress.org


Сделать ярлык Windows (он же BAT-файл)

Поместите эту команду в CURLTIME.BAT (в той же папке, что и curl.exe)

curl -w "@%~dp0curl-format.txt" -o NUL -s %*

Тогда вы можете просто позвонить ...

curltime wordpress.org
Саймон Ист
источник
26
отличный ответ. благодарю вас. одна вещь, которую я должен был сделать, это добавить, \nчтобы разбить строку в текстовом файле
Джейсон Ким
2
В файле Windows BAT он только отправляет первый параметр, измените его, чтобы передать все параметры и отключить эхо-команду, которую он сам: @curl -w "@%~dp0curl-format.txt" -o NUL -s %*Отличный ответ
padilo
Спасибо @udoh, я обновил ответ, чтобы включить это.
Саймон Ист
отличный ответ. Как мне также включить текущую дату + время, когда curl инициировал запрос?
Сакиб Али
4
Для Linux, я сделал dotfile и псевдоним , и он , кажется, работает хорошо: alias curltime="curl -w \"@$HOME/.curl-format.txt\" -o NUL -s ". Вероятно, работает на MacOS тоже.
Пит Дойл
161

Вот ответ:

curl -X POST -d @file server:port -w %{time_connect}:%{time_starttransfer}:%{time_total}

Все переменные, используемые с, -wмогут быть найдены в man curl.

sdasdadas
источник
19
Для удобства пользователей лучше добавлять новые строки:"\n%{time_connect}:%{time_starttransfer}:%{time_total}\n"
1
Для меня это не работало без кавычек. Я бы предложил добавить кавычки при указании формата / h / a / c / haproxy # ❯❯❯ curl -w "% {time_total} \ n" google.com -o / dev / null -s 0.055
Geek
@Geek Обычно имеет смысл показывать ошибки при работе в тихом режиме ( -sS).
x-yuri
139

Вариант 1. Измерить total time:

curl -o /dev/null -s -w 'Total: %{time_total}s\n'  https://www.google.com

Пример вывода:

введите описание изображения здесь

Вариант 2. Для того, чтобы получить time to establish connection, TTFB: time to first byteи total time:

curl -o /dev/null -s -w 'Establish Connection: %{time_connect}s\nTTFB: %{time_starttransfer}s\nTotal: %{time_total}s\n'  https://www.google.com

Пример вывода:

введите описание изображения здесь

Ref: Получить время отклика с помощью curl

Тхо
источник
53

Ярлык, который вы можете добавить к вашему .bashrc и т. Д., Основываясь на других ответах здесь:

function perf {
  curl -o /dev/null -s -w "%{time_connect} + %{time_starttransfer} = %{time_total}\n" "$1"
}

Применение:

> perf stackoverflow.com
0.521 + 0.686 = 1.290
mahemoff
источник
5
Я использую вариант, который отображает количество байт, загруженных в течение измеренного времени:curl -o /dev/null -s -w "time_total: %{time_total} sec\nsize_download: %{size_download} bytes\n" https://www.google.com
jambroseclarke
39

Следующее вдохновлено ответом Саймона. Он автономен (не требует отдельного файла формата), что делает его отличным для включения в .bashrc.

curl_time() {
    curl -so /dev/null -w "\
   namelookup:  %{time_namelookup}s\n\
      connect:  %{time_connect}s\n\
   appconnect:  %{time_appconnect}s\n\
  pretransfer:  %{time_pretransfer}s\n\
     redirect:  %{time_redirect}s\n\
starttransfer:  %{time_starttransfer}s\n\
-------------------------\n\
        total:  %{time_total}s\n" "$@"
}

Кроме того, он должен работать со всеми аргументами, которые curlобычно принимает, так как он "$@"просто передает их. Например, вы можете сделать:

curl_time -X POST -H "Content-Type: application/json" -d '{"key": "val"}' https://postman-echo.com/post

Вывод:

   namelookup:  0,125000s
      connect:  0,250000s
   appconnect:  0,609000s
  pretransfer:  0,609000s
     redirect:  0,000000s
starttransfer:  0,719000s
-------------------------
        total:  0,719000s
Константин
источник
34

Если вы хотите проанализировать или суммировать время ожидания, вы можете попробовать apache bench:

ab -n [number of samples] [url]

Например:

ab -n 100 http://www.google.com/

Это покажет:

This is ApacheBench, Version 2.3 <$Revision: 1757674 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking www.google.com (be patient).....done


Server Software:        gws
Server Hostname:        www.google.com
Server Port:            80

Document Path:          /
Document Length:        12419 bytes

Concurrency Level:      1
Time taken for tests:   10.700 seconds
Complete requests:      100
Failed requests:        97
   (Connect: 0, Receive: 0, Length: 97, Exceptions: 0)
Total transferred:      1331107 bytes
HTML transferred:       1268293 bytes
Requests per second:    9.35 [#/sec] (mean)
Time per request:       107.004 [ms] (mean)
Time per request:       107.004 [ms] (mean, across all concurrent requests)
Transfer rate:          121.48 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:       20   22   0.8     22      26
Processing:    59   85 108.7     68     911
Waiting:       59   85 108.7     67     910
Total:         80  107 108.8     90     932

Percentage of the requests served within a certain time (ms)
  50%     90
  66%     91
  75%     93
  80%     95
  90%    105
  95%    111
  98%    773
  99%    932
 100%    932 (longest request)
Андон Жан
источник
1
гораздо проще, чем другие ответы. Полностью забыл об этой команде!
FacePalm
Это фантастический ответ. И abлегко принимает много тех же флагов, что и, curlнапример, -Hдля заголовков. Я использовал эту команду для сравнения времени отклика стороннего API (указав токен-носитель в заголовке авторизации). Работал блестяще.
Цамб
21

Другой способ настройки, ~/.curlrcкак это

-w "\n\n==== cURL measurements stats ====\ntotal: %{time_total} seconds \nsize: %{size_download} bytes \ndnslookup: %{time_namelookup} seconds \nconnect: %{time_connect} seconds \nappconnect: %{time_appconnect} seconds \nredirect: %{time_redirect} seconds \npretransfer: %{time_pretransfer} seconds \nstarttransfer: %{time_starttransfer} seconds \ndownloadspeed: %{speed_download} byte/sec \nuploadspeed: %{speed_upload} byte/sec \n\n"

Поэтому выход curlIS

❯❯ curl -I https://google.com
HTTP/2 301
location: https://www.google.com/
content-type: text/html; charset=UTF-8
date: Mon, 04 Mar 2019 08:02:43 GMT
expires: Wed, 03 Apr 2019 08:02:43 GMT
cache-control: public, max-age=2592000
server: gws
content-length: 220
x-xss-protection: 1; mode=block
x-frame-options: SAMEORIGIN
alt-svc: quic=":443"; ma=2592000; v="44,43,39"



==== cURL measurements stats ====
total: 0.211117 seconds
size: 0 bytes
dnslookup: 0.067179 seconds
connect: 0.098817 seconds
appconnect: 0.176232 seconds
redirect: 0.000000 seconds
pretransfer: 0.176438 seconds
starttransfer: 0.209634 seconds
downloadspeed: 0.000 byte/sec
uploadspeed: 0.000 byte/sec
Хеу Хуинх
источник
Покажите мне ссылку на более подробные документы об этом?
Trần Đức Tâm
@ TrầnĐứcTâm подробности в официальной книге curl ec.haxx.se/usingcurl-writeout.html
Huynh
10

Эй, лучше, чем Apache Bench, меньше проблем с SSL

./hey https://google.com -more
Summary:
  Total:    3.0960 secs
  Slowest:  1.6052 secs
  Fastest:  0.4063 secs
  Average:  0.6773 secs
  Requests/sec: 64.5992

Response time histogram:
  0.406 [1] |
  0.526 [142]   |∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎
  0.646 [1] |
  0.766 [6] |∎∎
  0.886 [0] |
  1.006 [0] |
  1.126 [0] |
  1.246 [12]    |∎∎∎
  1.365 [32]    |∎∎∎∎∎∎∎∎∎
  1.485 [5] |∎
  1.605 [1] |

Latency distribution:
  10% in 0.4265 secs
  25% in 0.4505 secs
  50% in 0.4838 secs
  75% in 1.2181 secs
  90% in 1.2869 secs
  95% in 1.3384 secs
  99% in 1.4085 secs

Details (average, fastest, slowest):
  DNS+dialup:    0.1150 secs, 0.0000 secs, 0.4849 secs
  DNS-lookup:    0.0032 secs, 0.0000 secs, 0.0319 secs
  req write:     0.0001 secs, 0.0000 secs, 0.0007 secs
  resp wait:     0.2068 secs, 0.1690 secs, 0.4906 secs
  resp read:     0.0117 secs, 0.0011 secs, 0.2375 secs

Status code distribution:
  [200] 200 responses

Ссылки

Джонатан
источник
9

Другим вариантом, который, возможно, является самым простым с точки зрения командной строки, является добавление встроенного --trace-timeпараметра:

curl -X POST -d @file server:port --trace-time

Несмотря на то, что технически он не выводит синхронизацию различных шагов в соответствии с запросом OP, он отображает временные метки для всех шагов запроса, как показано ниже. Используя это, вы можете (довольно легко) рассчитать, сколько времени занимает каждый шаг.

$ curl https://www.google.com --trace-time -v -o /dev/null
13:29:11.148734 * Rebuilt URL to: https://www.google.com/
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     013:29:11.149958 *   Trying 172.217.20.36...
13:29:11.149993 * TCP_NODELAY set
13:29:11.163177 * Connected to www.google.com (172.217.20.36) port 443 (#0)
13:29:11.164768 * ALPN, offering h2
13:29:11.164804 * ALPN, offering http/1.1
13:29:11.164833 * successfully set certificate verify locations:
13:29:11.164863 *   CAfile: none
  CApath: /etc/ssl/certs
13:29:11.165046 } [5 bytes data]
13:29:11.165099 * (304) (OUT), TLS handshake, Client hello (1):
13:29:11.165128 } [512 bytes data]
13:29:11.189518 * (304) (IN), TLS handshake, Server hello (2):
13:29:11.189537 { [100 bytes data]
13:29:11.189628 * TLSv1.2 (IN), TLS handshake, Certificate (11):
13:29:11.189658 { [2104 bytes data]
13:29:11.190243 * TLSv1.2 (IN), TLS handshake, Server key exchange (12):
13:29:11.190277 { [115 bytes data]
13:29:11.190507 * TLSv1.2 (IN), TLS handshake, Server finished (14):
13:29:11.190539 { [4 bytes data]
13:29:11.190770 * TLSv1.2 (OUT), TLS handshake, Client key exchange (16):
13:29:11.190797 } [37 bytes data]
13:29:11.190890 * TLSv1.2 (OUT), TLS change cipher, Client hello (1):
13:29:11.190915 } [1 bytes data]
13:29:11.191023 * TLSv1.2 (OUT), TLS handshake, Finished (20):
13:29:11.191053 } [16 bytes data]
13:29:11.204324 * TLSv1.2 (IN), TLS handshake, Finished (20):
13:29:11.204358 { [16 bytes data]
13:29:11.204417 * SSL connection using TLSv1.2 / ECDHE-ECDSA-CHACHA20-POLY1305
13:29:11.204451 * ALPN, server accepted to use h2
13:29:11.204483 * Server certificate:
13:29:11.204520 *  subject: C=US; ST=California; L=Mountain View; O=Google LLC; CN=www.google.com
13:29:11.204555 *  start date: Oct  2 07:29:00 2018 GMT
13:29:11.204585 *  expire date: Dec 25 07:29:00 2018 GMT
13:29:11.204623 *  subjectAltName: host "www.google.com" matched cert's "www.google.com"
13:29:11.204663 *  issuer: C=US; O=Google Trust Services; CN=Google Internet Authority G3
13:29:11.204701 *  SSL certificate verify ok.
13:29:11.204754 * Using HTTP2, server supports multi-use
13:29:11.204795 * Connection state changed (HTTP/2 confirmed)
13:29:11.204840 * Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
13:29:11.204881 } [5 bytes data]
13:29:11.204983 * Using Stream ID: 1 (easy handle 0x55846ef24520)
13:29:11.205034 } [5 bytes data]
13:29:11.205104 > GET / HTTP/2
13:29:11.205104 > Host: www.google.com
13:29:11.205104 > User-Agent: curl/7.61.0
13:29:11.205104 > Accept: */*
13:29:11.205104 > 
13:29:11.218116 { [5 bytes data]
13:29:11.218173 * Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
13:29:11.218211 } [5 bytes data]
13:29:11.251936 < HTTP/2 200 
13:29:11.251962 < date: Fri, 19 Oct 2018 10:29:11 GMT
13:29:11.251998 < expires: -1
13:29:11.252046 < cache-control: private, max-age=0
13:29:11.252085 < content-type: text/html; charset=ISO-8859-1
13:29:11.252119 < p3p: CP="This is not a P3P policy! See g.co/p3phelp for more info."
13:29:11.252160 < server: gws
13:29:11.252198 < x-xss-protection: 1; mode=block
13:29:11.252228 < x-frame-options: SAMEORIGIN
13:29:11.252262 < set-cookie: 1P_JAR=2018-10-19-10; expires=Sun, 18-Nov-2018 10:29:11 GMT; path=/; domain=.google.com
13:29:11.252297 < set-cookie: NID=141=pzXxp1jrJmLwFVl9bLMPFdGCtG8ySQKxB2rlDWgerrKJeXxfdmB1HhJ1UXzX-OaFQcnR1A9LKYxi__PWMigjMBQHmI3xkU53LI_TsYRbkMNJNdxs-caQQ7fEcDGE694S; expires=Sat, 20-Apr-2019 10:29:11 GMT; path=/; domain=.google.com; HttpOnly
13:29:11.252336 < alt-svc: quic=":443"; ma=2592000; v="44,43,39,35"
13:29:11.252368 < accept-ranges: none
13:29:11.252408 < vary: Accept-Encoding
13:29:11.252438 < 
13:29:11.252473 { [5 bytes data]
100 12215    0 12215    0     0   112k      0 --:--:-- --:--:-- --:--:--  112k
13:29:11.255674 * Connection #0 to host www.google.com left intact
Пер Лундберг
источник
На самом деле это отличный ответ, который, вероятно, подойдет большинству вариантов использования, которые здесь ищут. Другие ответы отлично подходят для тщательных, глубоких решений, но это хорошо для быстрой проверки времени прохождения туда-обратно.
Крис Вандевельде
Спасибо @ChrisVandevelde. Да, я знал, что было что-то вроде этого (использовал этот параметр раньше), затем я погуглил свой путь к такому сообщению и нашел более сложную форму, но ... у меня было ощущение, что есть и другой способ , :) Как вы говорите, он довольно аккуратен в своей простоте и иногда достаточно хорош для более простых вариантов использования.
Per Lundberg
8

curl -v --trace-time Это должно быть сделано в подробном режиме

ПОЛ ССЕМАКУЛА
источник
4

Я сделал удобный форматировщик для прослушивания запросов curl, чтобы помочь с отладкой (см. Комментарии для использования). Он содержит каждый известный выходной параметр, который вы можете записать в удобном для чтения формате.

https://gist.github.com/manifestinteractive/ce8dec10dcb4725b8513

Манифест Интерактив
источник
4

Вот строка, которую вы можете использовать -w, содержит все параметры, которые curl -wподдерживает.

{"contentType":"%{content_type}","filenameEffective":"%{filename_effective}","ftpEntryPath":"%{ftp_entry_path}","httpCode":"%{http_code}","httpConnect":"%{http_connect}","httpVersion":"%{http_version}","localIp":"%{local_ip}","localPort":"%{local_port}","numConnects":"%{num_connects}","numRedirects":"%{num_redirects}","proxySslVerifyResult":"%{proxy_ssl_verify_result}","redirectUrl":"%{redirect_url}","remoteIp":"%{remote_ip}","remotePort":"%{remote_port}","scheme":"%{scheme}","size":{"download":"%{size_download}","header":"%{size_header}","request":"%{size_request}","upload":"%{size_upload}"},"speed":{"download":"%{speed_download}","upload":"%{speed_upload}"},"sslVerifyResult":"%{ssl_verify_result}","time":{"appconnect":"%{time_appconnect}","connect":"%{time_connect}","namelookup":"%{time_namelookup}","pretransfer":"%{time_pretransfer}","redirect":"%{time_redirect}","starttransfer":"%{time_starttransfer}","total":"%{time_total}"},"urlEffective":"%{url_effective}"}

выводит JSON.

ATilara
источник
Предварительное добавление \nпомогает отделить время, когда тело не заканчивается curl -w '\n{"contentType":"..."}...
Бени Чернявский-Паскин
2

Вот одна строчка Bash для повторного попадания на один и тот же сервер:

for i in {1..1000}; do curl -s -o /dev/null -w "%{time_total}\n" http://server/get_things; done
Лукас
источник
0

Это модифицированная версия ответа Саймонса, которая превращает многострочный вывод в одну строку. Он также вводит текущую временную метку, чтобы легче было отслеживать каждую строку вывода.

Образец формата fle
$ cat time-format.txt
time_namelookup:%{time_namelookup} time_connect:%{time_connect} time_appconnect:%{time_appconnect} time_pretransfer:%{time_pretransfer} time_redirect:%{time_redirect} time_starttransfer:%{time_starttransfer} time_total:%{time_total}\n
пример cmd
$ while [ 1 ];do echo -n "$(date) - " ; curl -w @curl-format.txt -o /dev/null -s https://myapp.mydom.com/v1/endpt-http; sleep 1; done | grep -v time_total:0
Результаты
Mon Dec 16 17:51:47 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:0.172 time_pretransfer:0.172 time_redirect:0.000 time_starttransfer:1.666 time_total:1.666
Mon Dec 16 17:51:50 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:0.175 time_pretransfer:0.175 time_redirect:0.000 time_starttransfer:3.794 time_total:3.795
Mon Dec 16 17:51:55 UTC 2019 - time_namelookup:0.004 time_connect:0.017 time_appconnect:0.175 time_pretransfer:0.175 time_redirect:0.000 time_starttransfer:1.971 time_total:1.971
Mon Dec 16 17:51:58 UTC 2019 - time_namelookup:0.004 time_connect:0.014 time_appconnect:0.173 time_pretransfer:0.173 time_redirect:0.000 time_starttransfer:1.161 time_total:1.161
Mon Dec 16 17:52:00 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:0.166 time_pretransfer:0.167 time_redirect:0.000 time_starttransfer:1.434 time_total:1.434
Mon Dec 16 17:52:02 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:0.177 time_pretransfer:0.177 time_redirect:0.000 time_starttransfer:5.119 time_total:5.119
Mon Dec 16 17:52:08 UTC 2019 - time_namelookup:0.004 time_connect:0.014 time_appconnect:0.172 time_pretransfer:0.172 time_redirect:0.000 time_starttransfer:30.185 time_total:30.185
Mon Dec 16 17:52:39 UTC 2019 - time_namelookup:0.004 time_connect:0.014 time_appconnect:0.164 time_pretransfer:0.164 time_redirect:0.000 time_starttransfer:30.175 time_total:30.176
Mon Dec 16 17:54:28 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:3.191 time_pretransfer:3.191 time_redirect:0.000 time_starttransfer:3.212 time_total:3.212
Mon Dec 16 17:56:08 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:1.184 time_pretransfer:1.184 time_redirect:0.000 time_starttransfer:1.215 time_total:1.215
Mon Dec 16 18:00:24 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:0.181 time_pretransfer:0.181 time_redirect:0.000 time_starttransfer:1.267 time_total:1.267

Я использовал вышеупомянутое, чтобы ловить медленные ответы на вышеупомянутой конечной точке.

ОДС
источник