Каковы различия между urllib, urllib2, urllib3 и модулем запросов?

В Python, каковы различия между urllib, urllib2, urllib3и requestsмодулей? Почему их три? Кажется, они делают то же самое ...

Я знаю, что это уже было сказано, но я очень рекомендую requestsпакет Python.

Если вы использовали языки, отличные от python, вы, вероятно, думаете urllibи urllib2просты в использовании, не так много кода и обладаете высокой способностью, как я привык думать. Но requestsпакет настолько невероятно полезен и короток, что каждый должен его использовать.

Во-первых, он поддерживает полностью релаксирующий API и так же прост, как:

import requests

resp = requests.get('http://www.mywebsite.com/user')
resp = requests.post('http://www.mywebsite.com/user')
resp = requests.put('http://www.mywebsite.com/user/put')
resp = requests.delete('http://www.mywebsite.com/user/delete')

Независимо от того, используется ли GET / POST, вам больше никогда не придется кодировать параметры, он просто принимает словарь в качестве аргумента и хорошо идти:

userdata = {"firstname": "John", "lastname": "Doe", "password": "jdoe123"}
resp = requests.post('http://www.mywebsite.com/user', data=userdata)

Кроме того, он даже имеет встроенный JSON-декодер (опять же, я знаю, json.loads()что писать не так уж и много, но это, безусловно, удобно):

resp.json()

Или, если ваши данные ответа - просто текст, используйте:

resp.text

Это только верхушка айсберга. Это список функций с сайта запросов:

• Международные домены и URL
• Keep-Alive & Connection Pooling
• Сессии с сохранением Cookie
• Проверка SSL в стиле браузера
• Базовая / дайджест-аутентификация
• Элегантный ключ / ценное печенье
• Автоматическая декомпрессия
• Ответные органы Unicode
• Загрузка нескольких файлов
• Время ожидания подключения
• Поддержка .netrc
• Пункт списка
• Python 2.6—3.4
• Потокобезопасна.

urllib2 предоставляет некоторую дополнительную функциональность, а именно эта urlopen()функция позволяет вам указывать заголовки (обычно вам приходилось использовать httplib в прошлом, что гораздо более многословно.) Что еще более важно, urllib2 предоставляет Requestкласс, который позволяет более декларативный подход к выполнению запроса:

r = Request(url='http://www.mysite.com')
r.add_header('User-Agent', 'awesome fetcher')
r.add_data(urllib.urlencode({'foo': 'bar'})
response = urlopen(r)

Обратите внимание, что urlencode()это только в urllib, а не urllib2.

Есть также обработчики для реализации более продвинутой поддержки URL в urllib2. Короткий ответ: если вы не работаете с унаследованным кодом, вы, вероятно, захотите использовать средство для открытия URL-адресов из urllib2, но вам все равно нужно импортировать в urllib для некоторых служебных функций.

Бонусный ответ С помощью Google App Engine вы можете использовать любой из httplib, urllib или urllib2, но все они являются просто оболочками для Google Fetch API Google Fetch. Это значит, что вы по-прежнему подвержены тем же ограничениям, что и порты, протоколы и допустимая длина ответа. Вы можете использовать ядро ​​библиотек так, как вы ожидаете получить HTTP-URL.

urllib и urllib2 оба являются модулями Python, которые выполняют связанные с URL запросы, но предлагают разные функциональные возможности.

1) urllib2 может принять объект Request для установки заголовков для запроса URL, urllib принимает только URL.

2) urllib предоставляет метод urlencode, который используется для генерации строк запроса GET, у urllib2 такой функции нет. Это одна из причин, почему urllib часто используется вместе с urllib2.

Запросы - Запросы '- это простая и простая в использовании библиотека HTTP, написанная на Python.

1) Python Requests автоматически кодирует параметры, поэтому вы просто передаете их как простые аргументы, в отличие от случая с urllib, где вам необходимо использовать метод urllib.encode () для кодирования параметров перед их передачей.

2) Он автоматически декодирует ответ в Unicode.

3) Запросы также имеют гораздо более удобную обработку ошибок. Если ваша аутентификация не удалась, urllib2 вызовет urllib2.URLError, тогда как Запросы вернут обычный объект ответа, как и ожидалось. Все, что вы должны увидеть, если запрос был успешно выполнен boolean response.ok

Одно существенное отличие заключается в переносе Python2 на Python3. urllib2 не существует для python3, а его методы перенесены в urllib. Так что вы интенсивно используете это и хотите в будущем перейти на Python3, подумайте об использовании urllib. Однако инструмент 2to3 автоматически сделает большую часть работы за вас.

Просто чтобы добавить к существующим ответам, я не вижу, чтобы кто-то упоминал, что запросы Python не являются нативной библиотекой. Если у вас все в порядке с добавлением зависимостей, тогда запросы в порядке. Однако, если вы пытаетесь избежать добавления зависимостей, urllib - это нативная библиотека Python, которая уже доступна для вас.

Мне нравится urllib.urlencodeфункция, и она, кажется, не существует в urllib2.

>>> urllib.urlencode({'abc':'d f', 'def': '-!2'})
'abc=d+f&def=-%212'

Чтобы получить содержание URL:

try: # Try importing requests first.
    import requests
except ImportError: 
    try: # Try importing Python3 urllib
        import urllib.request
    except AttributeError: # Now importing Python2 urllib
        import urllib


def get_content(url):
    try:  # Using requests.
        return requests.get(url).content # Returns requests.models.Response.
    except NameError:  
        try: # Using Python3 urllib.
            with urllib.request.urlopen(index_url) as response:
                return response.read() # Returns http.client.HTTPResponse.
        except AttributeError: # Using Python3 urllib.
            return urllib.urlopen(url).read() # Returns an instance.

Трудно написать Python2 и Python3 и requestкод зависимостей для ответов, потому что они urlopen()функции и requests.get()функции возвращают разные типы:

• Python2 urllib.request.urlopen()возвращаетhttp.client.HTTPResponse
• Python3 urllib.urlopen(url)возвращаетinstance
• Запрос request.get(url)возвращаетrequests.models.Response

Как правило, вы должны использовать urllib2, поскольку это иногда упрощает принятие объектов запроса и также вызывает исключение URLEx при ошибках протокола. Однако с Google App Engine вы не можете использовать ни того, ни другого. Вы должны использовать API URL Fetch, который Google предоставляет в изолированной среде Python.

Ключевой момент, который я нахожу отсутствующим в приведенных выше ответах, заключается в том, что urllib возвращает объект типа, <class http.client.HTTPResponse>тогда как requestsвозвращает <class 'requests.models.Response'>.

В связи с этим метод read () может использоваться с, urllibно не с requests.

PS: requestsуже так много методов, что вряд ли нужно еще как read();>