Как я могу увидеть весь HTTP-запрос, отправляемый моим приложением Python?

263

В моем случае я использую requestsбиблиотеку для вызова API PayPal через HTTPS. К сожалению, я получаю сообщение об ошибке от PayPal, и служба поддержки PayPal не может выяснить, что это за ошибка или чем она вызвана. Они хотят, чтобы я "Пожалуйста, предоставьте весь запрос, включая заголовки".

Как я могу это сделать?

Крис Б.
источник

Ответы:

499

Простой способ: включить ведение журнала в последних версиях запросов (1.x и выше.)

Requests использует конфигурацию модуля http.clientи loggingдля управления подробностью ведения журнала, как описано здесь .

демонстрация

Код взят из связанной документации:

import requests
import logging

# These two lines enable debugging at httplib level (requests->urllib3->http.client)
# You will see the REQUEST, including HEADERS and DATA, and RESPONSE with HEADERS but without DATA.
# The only thing missing will be the response.body which is not logged.
try:
    import http.client as http_client
except ImportError:
    # Python 2
    import httplib as http_client
http_client.HTTPConnection.debuglevel = 1

# You must initialize logging, otherwise you'll not see debug output.
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

requests.get('https://httpbin.org/headers')

Пример вывода

$ python requests-logging.py 
INFO:requests.packages.urllib3.connectionpool:Starting new HTTPS connection (1): httpbin.org
send: 'GET /headers HTTP/1.1\r\nHost: httpbin.org\r\nAccept-Encoding: gzip, deflate, compress\r\nAccept: */*\r\nUser-Agent: python-requests/1.2.0 CPython/2.7.3 Linux/3.2.0-48-generic\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Content-Type: application/json
header: Date: Sat, 29 Jun 2013 11:19:34 GMT
header: Server: gunicorn/0.17.4
header: Content-Length: 226
header: Connection: keep-alive
DEBUG:requests.packages.urllib3.connectionpool:"GET /headers HTTP/1.1" 200 226
Inactivist
источник
1
Спасибо, @ EmmettJ.Butler =) Хотя я не уверен, что эта информация была доступна во время первоначального запроса.
инактивист
9
Обратите внимание, что httplib недоступен в Python 3. Чтобы сделать код переносимым, замените import httplibна import requests.packages.urllib3.connectionpool as httplibили используйте шесть и from six.moves import http_client as httplib.
Джейсон Р. Кумбс
В requests2.18.1 и Python 3 регистратор logging.getLogger("requests.packages.urllib3")не существует или не имеет никакого эффекта.
Flimm
1
для Python3 см. здесь - docs.python-requests.org/en/latest/api/?highlight=debug from http.client import HTTPConnection
shershen
К сожалению, строки "send:" "reply:" и "header:" на самом деле не регистрируются, а просто выводятся на стандартный вывод. Но я хочу, чтобы эта информация была в лог-файлах!
Лесник
145
r = requests.get('https://api.github.com', auth=('user', 'pass'))

rэто ответ. У него есть атрибут запроса, в котором есть нужная вам информация.

r.request.allow_redirects  r.request.headers          r.request.register_hook
r.request.auth             r.request.hooks            r.request.response
r.request.cert             r.request.method           r.request.send
r.request.config           r.request.params           r.request.sent
r.request.cookies          r.request.path_url         r.request.session
r.request.data             r.request.prefetch         r.request.timeout
r.request.deregister_hook  r.request.proxies          r.request.url
r.request.files            r.request.redirect         r.request.verify

r.request.headers дает заголовки:

{'Accept': '*/*',
 'Accept-Encoding': 'identity, deflate, compress, gzip',
 'Authorization': u'Basic dXNlcjpwYXNz',
 'User-Agent': 'python-requests/0.12.1'}

Затем r.request.dataимеет тело в качестве отображения. Вы можете преобразовать это, urllib.urlencodeесли они предпочитают:

import urllib
b = r.request.data
encoded_body = urllib.urlencode(b)

в зависимости от типа ответа .data-attribute может отсутствовать и .bodyвместо него может быть -attribute.

Скайлар Савленд
источник
14
Что из этого дает мне «весь запрос, включая заголовки»?
Крис Б.
1
добавил еще немного. Что еще нужно, кроме заголовков и тела?
Skylar Saveland
8
Я не совсем уверен, что они ищут. Я надеялся запечатлеть все, что проходило для них, в этом точном формате, побайтово.
Крис Б.
18
Это предпочтительный способ сделать это в моем случае. Только одно замечание: response.requestкажется, PreparedRequestв моем случае; это не имеет, .dataно .bodyвместо этого.
Антти Хаапала
2
для полного URL (с параметрами строки запроса) вы также можете использовать response.url (что немного отличается тем, что это не такresponse.request...
Чак ван дер Линден,
7

Вы можете использовать HTTP Toolkit, чтобы сделать именно это.

Это особенно полезно, если вам нужно сделать это быстро, без изменений кода: вы можете открыть терминал из HTTP Toolkit, запустить любой код Python оттуда, как обычно, и вы сможете увидеть полное содержимое каждого HTTP / HTTPS Запрос немедленно.

Есть бесплатная версия, которая может делать все, что вам нужно, и она на 100% с открытым исходным кодом.

Я создатель HTTP Toolkit; Я действительно построил это сам, чтобы решить ту же самую проблему для меня некоторое время назад! Я тоже пытался отладить интеграцию платежей, но их SDK не работал, я не мог сказать, почему, и мне нужно было знать, что на самом деле происходит, чтобы исправить это. Это очень расстраивает, но возможность видеть сырой трафик действительно помогает.

Тим Перри
источник
5

Если вы используете Python 2.x, попробуйте установить программу открывания urllib2 . Это должно распечатать ваши заголовки, хотя вам, возможно, придется комбинировать это с другими открывателями, которые вы используете, чтобы поразить HTTPS.

import urllib2
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1)))
urllib2.urlopen(url)
Kafonek
источник
2

Опция verboseконфигурации может позволить вам увидеть, что вы хотите. Есть пример в документации .

ПРИМЕЧАНИЕ. Прочтите комментарии ниже: подробные параметры конфигурации больше не доступны.

Bruno
источник
3
Там есть? Не могу найти это.
BastiBen
3
@Плохая кошка. В то время был раздел «Подробное ведение журнала» . Кажется, он был удален в декабре .
Бруно
2
Ах, это объясняет это. :) Тем не менее, теперь этот вопрос снова в силе, потому что я не смог найти способ распечатать весь трафик между сервером и клиентом для отладки.
BastiBen
1
Есть ли рекомендуемый «новый способ» для достижения того же эффекта, что и при подробном ведении журнала?
cbare
1
Мой ответ демонстрирует правильный метод для запросов 1.x и выше.
Инактивист