Как я могу загрузить веб-страницу с помощью пользовательского агента, отличного от используемого по умолчанию на urllib2.urlopen?
Как я могу загрузить веб-страницу с помощью пользовательского агента, отличного от используемого по умолчанию на urllib2.urlopen?
Настройка User-Agent из всеми любимого Dive Into Python .
Краткая история: для этого вы можете использовать Request.add_header .
Вы также можете передать заголовки в качестве словаря при создании самого запроса, как отмечается в документации :
заголовки должны быть словарем и будут обрабатываться так, как если бы они
add_header()
вызывались с каждым ключом и значением в качестве аргументов. Это часто используется для «подделки»User-Agent
заголовка, который используется браузером для идентификации себя - некоторые HTTP-серверы разрешают только запросы, поступающие из обычных браузеров, а не скрипты. Например, Mozilla Firefox может идентифицировать себя как"Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11"
, аurllib2
строка пользовательского агента по умолчанию -"Python-urllib/2.6"
(в Python 2.6).
Я ответил на аналогичный вопрос пару недель назад.
В этом вопросе есть пример кода, но в основном вы можете сделать что-то вроде этого: (Обратите внимание на использование заглавных букв User-Agent
в RFC 2616 , раздел 14.43.)
opener = urllib2.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
response = opener.open('http://www.stackoverflow.com')
User-agent
что на самом деле должно бытьUser-Agent
(A пишется с заглавной буквы) Кажется, у меня работает, когда это делается.Или немного короче:
источник
req = urllib2.Request('www.example.com', headers={'User-Agent': 'Mozilla/5.0'})
. Я предпочитаю эту форму для отправки только одного запроса.html = urlopen(Request('http://www.example.com', headers={'User-Agent': 'Mozilla/5.0'})).read()
Для python 3 urllib разделен на 3 модуля ...
источник
data=b'None'
параметр из ответа. Он преобразовал пример запроса в POST с недопустимыми данными. Вероятно, причина сбоя в вашем случае, @MaksimТеоретически все это должно работать, но (по крайней мере, с Python 2.7.2 в Windows) каждый раз, когда вы отправляете настраиваемый заголовок User-agent, urllib2 не отправляет этот заголовок. Если вы не пытаетесь отправить заголовок User-agent, он отправляет Python / urllib2 по умолчанию
Ни один из этих методов, похоже, не работает для добавления User-agent, но они работают для других заголовков:
источник
opener.addheaders
наверное должно быть[('User-agent', 'Custom user agent')]
. В противном случае все эти методы должны работать (я тестировал на Python 2.7.3 (Linux)). В вашем случае он может сломаться, потому что вы неправильно используете аргумент прокси.Для
urllib
вас можно использовать:источник
Другое решение в
urllib2
Python 2.7:источник
Попробуй это :
источник
urllib2
а не другие модули.есть два свойства,
urllib.URLopener()
а именно:addheaders = [('User-Agent', 'Python-urllib/1.17'), ('Accept', '*/*')]
иversion = 'Python-urllib/1.17'
.Чтобы обмануть веб-сайт, вам нужно изменить оба этих значения на допустимый User-Agent. для, например,
браузера Chrome:
'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.149 Safari/537.36'
Бот Google:
'Googlebot/2.1'
вот так
изменение только одного свойства не работает, потому что сайт отмечает это как подозрительный запрос.
источник