Альтернатива CURL в Python

114

У меня есть вызов cURL, который я использую в PHP:

curl -i -H 'Accept: application / xml' -u login: key " https://app.streamsend.com/emails "

Мне нужен способ сделать то же самое в Python. Есть ли альтернатива cURL в Python. Я знаю urllib, но я новичок в Python и понятия не имею, как его использовать.

Гаурав Шарма
источник
2
Вы можете попробовать pycurl
ghostdog74
2
urllib2 - широко используемый пакет для такого рода работы.
Saurav
7
Еще лучше: docs.python-requests.org/en/latest/index.html
Saurav
3
Вышеупомянутая ссылка на отличную библиотеку для выполнения простого http requestsв python (доступна для установки через easy_install или pip в PyPi). Имя / URL-адрес немного сбивает с толку - сначала я почти подумал, что это запрос на лучшее urllib2, а не requestsна интуитивно понятную простую в использовании библиотеку pythonic sudo easy_install requestsили sudo pip install requests.
dr jimbob

Ответы:

68
import urllib2

manager = urllib2.HTTPPasswordMgrWithDefaultRealm()
manager.add_password(None, 'https://app.streamsend.com/emails', 'login', 'key')
handler = urllib2.HTTPBasicAuthHandler(manager)

director = urllib2.OpenerDirector()
director.add_handler(handler)

req = urllib2.Request('https://app.streamsend.com/emails', headers = {'Accept' : 'application/xml'})

result = director.open(req)
# result.read() will contain the data
# result.info() will contain the HTTP headers

# To get say the content-length header
length = result.info()['Content-Length']

Вместо этого ваш вызов cURL использует urllib2. Полностью непроверенный.

blwy10
источник
4
Приятно сравнить это с ответом прямо ниже и увидеть, как далеко продвинулся Python за последние четыре года
Рази Шабан
133

Вы можете использовать HTTP-запросы, описанные в руководстве пользователя « Запросы: HTTP для людей» .

Gudbergur
источник
2
Запросы самые свежие и самые большие! Он курит и сжигает неуклюжий urllib2, я хочу, чтобы запросы стали стандартным HTTP-клиентом для входящих версий Python 3.x
Phyo Arkar Lwin
1
Когда я переключился на использование запросов, я больше не возвращался к использованию urllib2 напрямую. Также удобно встроенное декодирование JSON. Нет необходимости вручную загружать тело с помощью json, если установлен соответствующий тип содержимого.
Thomas Farvour
Запросы такие простые. Я даже смог создать собственную схему аутентификации за несколько минут. urllib2 очень раздражает.
Дуг
35

Вот простой пример использования urllib2, который выполняет базовую аутентификацию по API GitHub.

import urllib2

u='username'
p='userpass'
url='https://api.github.com/users/username'

# simple wrapper function to encode the username & pass
def encodeUserData(user, password):
    return "Basic " + (user + ":" + password).encode("base64").rstrip()

# create the request object and set some headers
req = urllib2.Request(url)
req.add_header('Accept', 'application/json')
req.add_header("Content-type", "application/x-www-form-urlencoded")
req.add_header('Authorization', encodeUserData(u, p))
# make the request and print the results
res = urllib2.urlopen(req)
print res.read()

Кроме того, если вы заключите это в сценарий и запустите его с терминала, вы можете передать строку ответа в mjson.tool, чтобы включить красивую печать.

>> basicAuth.py | python -mjson.tool

И последнее, что следует отметить, urllib2 поддерживает только запросы GET и POST.
Если вам нужно использовать другие HTTP-команды, такие как DELETE, PUT и т. Д., Вы, вероятно, захотите взглянуть на PYCURL

braitsch
источник
Почему это было отклонено? Возможно, потому что вы написали PYCURL вместо PycURL: D
Бхаргав Рао
20

Если вы используете команду для простого вызова curl таким образом, вы можете сделать то же самое в Python с помощью subprocess. Пример:

subprocess.call(['curl', '-i', '-H', '"Accept: application/xml"', '-u', 'login:key', '"https://app.streamsend.com/emails"'])

Или вы можете попробовать PycURL, если хотите, чтобы он был более структурированным API, как у PHP.

unholysampler
источник
Нет. Вызов cURL является частью программы. Если бы вы могли опубликовать код, который делает то же самое, что и в приведенном выше вызове curl, это было бы здорово.
Гаурав Шарма
Добавлен пример того, что я имел в виду, используя подпроцесс, основанный на вашем вопросе, но я предполагаю, что вы ищете что-то более похожее на PycURL.
unholysampler
Я знаю, что это старше, но, на мой взгляд, PycURL - это довольно низкий уровень для большинства случаев использования cURL. Даже PHP-реализация cURL находится на довольно низком уровне.
Thomas Farvour
Я получаю сообщение «ошибка имени, подпроцесс имени не определен» после вызова «python» из cmd и, следовательно, нахождения в среде python.
Timo
@ Тимо А ты import subprocess? Среда python repl похожа на файл python, вам необходимо импортировать другие модули.
unholysampler 07
13
import requests

url = 'https://example.tld/'
auth = ('username', 'password')

r = requests.get(url, auth=auth)
print r.content

Это самое простое, что мне удалось получить.

tadamhicks
источник
Это самый простой ответ! urllib2слишком сложно.
not2qubit
7

Например, как использовать urllib для этого, с некоторым синтаксисом сахара. Я знаю о запросах и других библиотеках, но urllib является стандартной библиотекой для python и не требует отдельной установки.

Совместимость с Python 2/3.

import sys
if sys.version_info.major == 3:
  from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, Request, build_opener
  from urllib.parse import urlencode
else:
  from urllib2 import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, Request, build_opener
  from urllib import urlencode


def curl(url, params=None, auth=None, req_type="GET", data=None, headers=None):
  post_req = ["POST", "PUT"]
  get_req = ["GET", "DELETE"]

  if params is not None:
    url += "?" + urlencode(params)

  if req_type not in post_req + get_req:
    raise IOError("Wrong request type \"%s\" passed" % req_type)

  _headers = {}
  handler_chain = []

  if auth is not None:
    manager = HTTPPasswordMgrWithDefaultRealm()
    manager.add_password(None, url, auth["user"], auth["pass"])
    handler_chain.append(HTTPBasicAuthHandler(manager))

  if req_type in post_req and data is not None:
    _headers["Content-Length"] = len(data)

  if headers is not None:
    _headers.update(headers)

  director = build_opener(*handler_chain)

  if req_type in post_req:
    if sys.version_info.major == 3:
      _data = bytes(data, encoding='utf8')
    else:
      _data = bytes(data)

    req = Request(url, headers=_headers, data=_data)
  else:
    req = Request(url, headers=_headers)

  req.get_method = lambda: req_type
  result = director.open(req)

  return {
    "httpcode": result.code,
    "headers": result.info(),
    "content": result.read()
  }


"""
Usage example:
"""

Post data:
  curl("http://127.0.0.1/", req_type="POST", data='cascac')

Pass arguments (http://127.0.0.1/?q=show):
  curl("http://127.0.0.1/", params={'q': 'show'}, req_type="POST", data='cascac')

HTTP Authorization:
  curl("http://127.0.0.1/secure_data.txt", auth={"user": "username", "pass": "password"})

Функция неполна и, возможно, не идеальна, но демонстрирует базовое представление и концепцию для использования. Дополнительные вещи можно было добавить или изменить по вкусу.

12/08 обновление

Вот ссылка GitHub на обновленный источник. В настоящее время поддерживает:

  • авторизация

  • CRUD совместимый

  • автоматическое определение кодировки

  • автоматическое определение кодирования (сжатия)

Reishin
источник
4

Если он запускает все вышеперечисленное из командной строки, которую вы ищете, я бы порекомендовал HTTPie . Это фантастическая альтернатива cURL, она очень проста и удобна в использовании (и настройке).

Вот его (краткое и точное) описание с GitHub;

HTTPie (произносится как aych-tee-tee-pie) - это HTTP-клиент командной строки. Его цель - сделать взаимодействие интерфейса командной строки с веб-службами максимально удобным для человека.

Он предоставляет простую команду http, которая позволяет отправлять произвольные HTTP-запросы с использованием простого и естественного синтаксиса и отображает цветной вывод. HTTPie можно использовать для тестирования, отладки и общего взаимодействия с HTTP-серверами.


Документация по аутентификации должна дать вам достаточно указателей для решения ваших проблем. Конечно, все приведенные выше ответы также верны и предлагают разные способы решения одной и той же задачи.


Просто чтобы вам НЕ нужно отказываться от Stack Overflow, вот что он предлагает вкратце.

Basic auth:

$ http -a username:password example.org
Digest auth:

$ http --auth-type=digest -a username:password example.org
With password prompt:

$ http -a username example.org

stuxnetting
источник
может я вообще не понял, но это модуль Python? Я предполагаю, что это инструмент оболочки / интерфейса командной строки, и я разочарован: '(казалось, что это так легко использовать
Alex
@Alex - это модуль Python. README на Github ( github.com/jkbrzt/httpie ) содержит все, что вам нужно.
stuxnetting