В Python, как мне использовать urllib, чтобы узнать, какой у сайта номер 404 или 200?

Ответы:

176

Метод getcode () (добавлен в python2.6) возвращает код состояния HTTP, который был отправлен с ответом, или None, если URL-адрес не является URL-адресом HTTP.

>>> a=urllib.urlopen('http://www.google.com/asdfsf')
>>> a.getcode()
404
>>> a=urllib.urlopen('http://www.google.com/')
>>> a.getcode()
200
Надя Алрамли
источник
Чтобы использовать в Python 3, просто используйте from urllib.request import urlopen.
Натанаэль Фарли
4
В python 3.4, если есть 404, urllib.request.urlopenвозвращает urllib.error.HTTPError.
mcb
Не работает в python 2.7. Если HTTP возвращает 400, генерируется исключение
Надав B
86

Вы также можете использовать urllib2 :

import urllib2

req = urllib2.Request('http://www.python.org/fish.html')
try:
    resp = urllib2.urlopen(req)
except urllib2.HTTPError as e:
    if e.code == 404:
        # do something...
    else:
        # ...
except urllib2.URLError as e:
    # Not an HTTP-specific error (e.g. connection refused)
    # ...
else:
    # 200
    body = resp.read()

Обратите внимание, что HTTPErrorэто подкласс, в URLErrorкотором хранится код состояния HTTP.

Джо Холлоуэй
источник
Вторая elseошибка?
Samy Bencherif
@NadavB Объект исключения 'e' будет выглядеть как объект ответа. То есть он файловый, и вы можете «прочитать» из него полезную нагрузку.
Джо Холлоуэй,
37

Для Python 3:

import urllib.request, urllib.error

url = 'http://www.google.com/asdfsf'
try:
    conn = urllib.request.urlopen(url)
except urllib.error.HTTPError as e:
    # Return code error (e.g. 404, 501, ...)
    # ...
    print('HTTPError: {}'.format(e.code))
except urllib.error.URLError as e:
    # Not an HTTP-specific error (e.g. connection refused)
    # ...
    print('URLError: {}'.format(e.reason))
else:
    # 200
    # ...
    print('good')
XavierCLL
источник
Для URLError print(e.reason) можно использовать.
Gitnik
О чем http.client.HTTPException?
CMCDragonkai
6 
import urllib2

try:
    fileHandle = urllib2.urlopen('http://www.python.org/fish.html')
    data = fileHandle.read()
    fileHandle.close()
except urllib2.URLError, e:
    print 'you got an error with the code', e
mrme
источник
5
TIMEX заинтересован в получении кода HTTP-запроса (200, 404, 500 и т. Д.), А не в общей ошибке urllib2.
Джошуа Бернс