Получить протокол + имя хоста из URL

162

В моем приложении Django мне нужно получить имя хоста от реферера request.META.get('HTTP_REFERER')вместе с его протоколом, чтобы из таких URL-адресов, как:

Я должен получить:

Я просмотрел другие связанные вопросы и нашел о urlparse, но это не помогло

>>> urlparse(request.META.get('HTTP_REFERER')).hostname
'docs.google.com'
Gerard
источник

Ответы:

297

Вы должны быть в состоянии сделать это с urlparse(документы: python2 , python3 ):

from urllib.parse import urlparse
# from urlparse import urlparse  # Python 2
parsed_uri = urlparse('http://stackoverflow.com/questions/1234567/blah-blah-blah-blah' )
result = '{uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri)
print(result)

# gives
'http://stackoverflow.com/'
КГР
источник
этот ответ добавляет/ в третьем примере http://www.domain.com, но я думаю , что это может быть недостатком вопрос, а не ответ.
SingleNegationElimination
@TokenMacGuy: да, мой плохой ... не заметил пропавших без вести /
Джерард
8
urlparse.urlparse()возвращает именованный как кортеж результат; Вы могли бы использовать {uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri)для удобства чтения.
Jfs
12
Я не думаю, что это хорошее решение, так как netlocне является доменом: попробуйте urlparse.urlparse('http://user:pass@example.com:8080')и найдите, что дает такие части, как 'user:pass@'и':8080'
starrify
22
Модуль urlparse переименован в urllib.parse в Python 3. Итак,from urllib.parse import urlparse
SparkAndShine
86

https://github.com/john-kurkowski/tldextract

Это более подробная версия urlparse. Он обнаруживает домены и субдомены для вас.

Из их документации:

>>> import tldextract
>>> tldextract.extract('http://forums.news.cnn.com/')
ExtractResult(subdomain='forums.news', domain='cnn', suffix='com')
>>> tldextract.extract('http://forums.bbc.co.uk/') # United Kingdom
ExtractResult(subdomain='forums', domain='bbc', suffix='co.uk')
>>> tldextract.extract('http://www.worldbank.org.kg/') # Kyrgyzstan
ExtractResult(subdomain='www', domain='worldbank', suffix='org.kg')

ExtractResult это именованный кортеж, поэтому просто получить доступ к нужным вам частям.

>>> ext = tldextract.extract('http://forums.bbc.co.uk')
>>> ext.domain
'bbc'
>>> '.'.join(ext[:2]) # rejoin subdomain and domain
'forums.bbc'
dm03514
источник
2
Это правильный ответ на вопрос, как написано, как получить имя домена. Выбранное решение предоставляет имя хоста, которое, я считаю, именно то, что автор хотел в первую очередь.
Скон
49

Python3 с использованием urlsplit :

from urllib.parse import urlsplit
url = "http://stackoverflow.com/questions/9626535/get-domain-name-from-url"
base_url = "{0.scheme}://{0.netloc}/".format(urlsplit(url))
print(base_url)
# http://stackoverflow.com/
Марк С.Дж.
источник
23

Чисто строковые операции :):

>>> url = "http://stackoverflow.com/questions/9626535/get-domain-name-from-url"
>>> url.split("//")[-1].split("/")[0].split('?')[0]
'stackoverflow.com'
>>> url = "stackoverflow.com/questions/9626535/get-domain-name-from-url"
>>> url.split("//")[-1].split("/")[0].split('?')[0]
'stackoverflow.com'
>>> url = "http://foo.bar?haha/whatever"
>>> url.split("//")[-1].split("/")[0].split('?')[0]
'foo.bar'

Вот и все, ребята.

SebMa
источник
2
Хороший и простой вариант, но в некоторых случаях терпит неудачу, например, foo.bar?haha
Simon Steinberger
1
@SimonSteinberger :-) Как насчет этого: url.split("//")[-1].split("/")[0].split('?')[0]:-))
SebMa
22
>>> import urlparse
>>> url = 'http://stackoverflow.com/questions/1234567/blah-blah-blah-blah'
>>> urlparse.urljoin(url, '/')
'http://stackoverflow.com/'
PNG
источник
2
Для Python 3 импорт from urllib.parse import urlparse.
Джефф Боуэн
8

если вы думаете, что ваш URL действителен, то это будет работать все время

domain = "http://google.com".split("://")[1].split("/")[0] 
ZeroErr0r
источник
Последнее splitневерно, больше нет косых черт для разделения.
CONvid19
2
это не будет проблемой, если косых черт больше нет, список вернется с одним элементом. так что это будет работать независимо от того, есть слеш или нет
ZeroErr0r
1
Я отредактировал ваш ответ, чтобы иметь возможность убрать понижающее голосование. Хорошее объяснение. Tks.
CONvid19
5

Что-то не так с чистыми строковыми операциями:

url = 'http://stackoverflow.com/questions/9626535/get-domain-name-from-url'
parts = url.split('//', 1)
print parts[0]+'//'+parts[1].split('/', 1)[0]
>>> http://stackoverflow.com

Если вы предпочитаете добавить косую черту, расширьте этот скрипт примерно так:

parts = url.split('//', 1)
base = parts[0]+'//'+parts[1].split('/', 1)[0]
print base + (len(url) > len(base) and url[len(base)]=='/'and'/' or '')

Это, вероятно, можно немного оптимизировать ...

Саймон Стейнбергер
источник
7
это не так, но у нас есть инструмент, который уже делает эту работу, давайте не будем изобретать велосипед;)
Джерард
5

Вот немного улучшенная версия:

urls = [
    "http://stackoverflow.com:8080/some/folder?test=/questions/9626535/get-domain-name-from-url",
    "Stackoverflow.com:8080/some/folder?test=/questions/9626535/get-domain-name-from-url",
    "http://stackoverflow.com/some/folder?test=/questions/9626535/get-domain-name-from-url",
    "https://StackOverflow.com:8080?test=/questions/9626535/get-domain-name-from-url",
    "stackoverflow.com?test=questions&v=get-domain-name-from-url"]
for url in urls:
    spltAr = url.split("://");
    i = (0,1)[len(spltAr)>1];
    dm = spltAr[i].split("?")[0].split('/')[0].split(':')[0].lower();
    print dm

Вывод

stackoverflow.com
stackoverflow.com
stackoverflow.com
stackoverflow.com
stackoverflow.com

Скрипка: https://pyfiddle.io/fiddle/23e4976e-88d2-4757-993e-532aa41b7bf0/?i=true

Файз
источник
ИМХО лучшее решение, потому что оно простое и рассматривает все виды редких случаев. Спасибо!
Саймон Стейнбергер
2
ни простой, ни улучшенный
Кори Голдберг
Это не решение вопроса, потому что вы не предоставляете протокол (https: // или http: //)
Алексей Мариниченко
2

Это немного тупо, но использует urlparseв обоих направлениях:

import urlparse
def uri2schemehostname(uri):
    urlparse.urlunparse(urlparse.urlparse(uri)[:2] + ("",) * 4)

этот нечетный ("",) * 4бит, потому что urlparse ожидает последовательность точно len(urlparse.ParseResult._fields) = 6

SingleNegationElimination
источник
2

Я знаю, что это старый вопрос, но я тоже столкнулся с ним сегодня. Решил это с помощью одной строки:

import re
result = re.sub(r'(.*://)?([^/?]+).*', '\g<1>\g<2>', url)
Orix Au Yeung
источник
2

Стандартная библиотечная функция urllib.parse.urlsplit () - это все, что вам нужно. Вот пример для Python3:

>>> import urllib.parse
>>> o = urllib.parse.urlsplit('https://user:pass@www.example.com:8080/dir/page.html?q1=test&q2=a2#anchor1')
>>> o.scheme
'https'
>>> o.netloc
'user:pass@www.example.com:8080'
>>> o.hostname
'www.example.com'
>>> o.port
8080
>>> o.path
'/dir/page.html'
>>> o.query
'q1=test&q2=a2'
>>> o.fragment
'anchor1'
>>> o.username
'user'
>>> o.password
'pass'
famzah
источник
1

Это может быть решено с помощью re.search ()

import re
url = 'https://docs.google.com/spreadsheet/ccc?key=blah-blah-blah-blah#gid=1'
result = re.search(r'^http[s]*:\/\/[\w\.]*', url).group()
print(result)

#result
'https://docs.google.com'
киви
источник
0

получить домен / имя хоста и происхождение *

url = '/programming/9626535/get-protocol-host-name-from-url'
hostname = url.split('/')[2] # stackoverflow.com
origin = '/'.join(url.split('/')[:3]) # https://stackoverflow.com

* Originиспользуется в XMLHttpRequestзаголовках

cieunteung
источник
0

Вы можете просто использовать urljoin с относительным корнем '/' в качестве второго аргумента:

try:
    from urlparse import urljoin  # Python2
except ImportError:
    from urllib.parse import urljoin  # Python3


url = '/programming/9626535/get-protocol-host-name-from-url'

root_url = urljoin(url, '/')
Mirko
источник
-1

Если он содержит менее 3 косых черт, значит, он у вас есть, а если нет, то мы можем найти вхождение между ними:

import re

link = http://forum.unisoftdev.com/something

slash_count = len(re.findall("/", link))
print slash_count # output: 3

if slash_count > 2:
   regex = r'\:\/\/(.*?)\/'
   pattern  = re.compile(regex)
   path = re.findall(pattern, url)

   print path
Юрай
источник