Как использовать grep и cut в скрипте для получения URL сайта из файла HTML

Я пытаюсь использовать grep и cut для извлечения URL-адресов из файла HTML. Ссылки выглядят так:

<a href="http://examplewebsite.com/">

Другие сайты имеют .net, .govно я предполагаю, что я мог бы сделать точку отсечки прямо перед >. Так что я знаю, что могу использовать grep и cut как-то, чтобы отключить все до http и после .com, но я застрял на нем некоторое время.

Как я уже сказал в своем комментарии, анализировать HTML с помощью регулярных выражений, как правило, не очень хорошая идея, но иногда это может сойти с рук, если анализируемый HTML работает правильно.

Чтобы получить только те URL-адреса, которые находятся в hrefатрибуте <a>элементов, я считаю, что проще всего сделать это в несколько этапов. Судя по вашим комментариям, вам нужен только домен верхнего уровня, а не полный URL. В этом случае вы можете использовать что-то вроде этого:

grep -Eoi '<a [^>]+>' source.html |
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

где source.htmlфайл, содержащий HTML-код для разбора.

Этот код будет печатать все URL верхнего уровня, которые встречаются как hrefатрибуты любых <a>элементов в каждой строке. -iВариант первой grepкоманды является обеспечение того , она будет работать на обоих <a>и <A>элементов. Я полагаю, вы могли бы также дать -i2-й, grepчтобы захватить HREFатрибуты верхнего регистра , OTOH, я бы предпочел игнорировать такой сломанный HTML. :)

Для обработки содержимого http://google.com/

wget -qO- http://google.com/ |
grep -Eoi '<a [^>]+>' | 
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

выход

http://www.google.com.au
http://maps.google.com.au
https://play.google.com
http://www.youtube.com
http://news.google.com.au
https://mail.google.com
https://drive.google.com
http://www.google.com.au
http://www.google.com.au
https://accounts.google.com
http://www.google.com.au
https://www.google.com
https://plus.google.com
http://www.google.com.au

Мой вывод немного отличается от других примеров, так как я перенаправлен на австралийскую страницу Google.

Не уверен, если вы ограничены в инструментах:

Но регулярное выражение, возможно, не лучший путь, как уже упоминалось, но вот пример, который я собрал:

cat urls.html | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u

• grep -E: аналогично egrep
• grep -o: выводит только то, что было записано
• (http | https): это либо / или
• az: все строчные
• А-Я: все дело выше
• , : точка
• \?: является ?
• *: повторить группу [...]
• Uniq: удалит все дубликаты

Выход:

bob@bob-NE722:~s$  wget -qO- https://stackoverflow.com/ | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u
https://stackauth.com
https://meta.stackoverflow.com
https://cdn.sstatic.net/Img/svg-icons
https://stackoverflow.com
https://www.stackoverflowbusiness.com/talent
https://www.stackoverflowbusiness.com/advertising
https://stackoverflow.com/users/login?ssrc=head
https://stackoverflow.com/users/signup?ssrc=head
https://stackoverflow.com
https://stackoverflow.com/help
https://chat.stackoverflow.com
https://meta.stackoverflow.com
...

Вы также можете добавить, \dчтобы поймать другие типы чисел.

Если ваш grep поддерживает регулярные выражения Perl:

grep -Po '(?<=href=")[^"]*(?=")'

• (?<=href=")и (?=")являются обходными выражениями для hrefатрибута. Это требует -Pвыбора.
• -o печатает соответствующий текст.

Например:

$ curl -sL https://www.google.com | grep -Po '(?<=href=")[^"]*(?=")'
/search?
https://www.google.co.in/imghp?hl=en&tab=wi
https://maps.google.co.in/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
https://www.youtube.com/?gl=IN&tab=w1
https://news.google.co.in/nwshp?hl=en&tab=wn
...

Как обычно, нет никакой гарантии, что это допустимые URI или что HTML-код, который вы анализируете, будет действительным.

В качестве альтернативы без регулярных выражений , используйте pup :

pup 'a[href] attr{href}' < yourfile.html

Найдет все aэлементы, имеющие hrefатрибут, затем отобразит значение hrefатрибута.

Для установки pupвам нужен Go (язык программирования):

sudo apt-get install golang
sudo go get github.com/ericchiang/pup

Преимущество этого решения в том, что оно не зависит от правильного форматирования HTML .

Я нашел здесь решение , которое ИМХО намного проще и потенциально быстрее, чем было предложено здесь. Я немного настроил поддержку файлов https. Но версия TD; TR ...

PS: Вы можете заменить URL сайта на путь к файлу, и он будет работать так же.

lynx -dump -listonly -nonumbers "http://www.goggle.com" > links.txt

lynx -dump -listonly -nonumbers "some-file.html" > links.txt

Если вы просто хотите увидеть ссылки, а не помещать их в файл, попробуйте вместо этого ...

lynx -dump -listonly -nonumbers "http://www.google.com"

lynx -dump -listonly -nonumbers "some-file.html"

Результат будет выглядеть примерно так:

http://www.google.ca/imghp?hl=en&tab=wi
http://maps.google.ca/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?gl=CA&tab=w1
http://news.google.ca/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
https://www.google.ca/intl/en/options/
http://www.google.ca/history/optout?hl=en
...
etc.

Для моего случая использования это работало просто отлично. Но остерегайтесь того факта, что в настоящее время люди добавляют ссылки типа src = "// blah.tld" для CDN URI библиотек. Я не хотел видеть их в найденных ссылках.

Не нужно пытаться проверять ссылки или ссылки на другие источники, потому что "lynx -dump" по умолчанию извлекает все кликабельные ссылки с данной страницы. Поэтому единственное, что вам нужно сделать после этого, - это проанализировать результат «lynx -dump» с использованием grep, чтобы получить более чистую версию того же результата.

wget -qO- google.com |
tr \" \\n | grep https\*://

... вероятно, будет очень хорошо. Как написано, он печатает:

http://schema.org/WebPage
http://www.google.com/imghp?hl=en&tab=wi
http://maps.google.com/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?tab=w1
http://news.google.com/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
http://www.google.com/intl/en/options/
http://www.google.com/history/optout?hl=en
https://accounts.google.com/ServiceLogin?hl=en&continue=http://www.google.com/
https://www.google.com/culturalinstitute/project/the-holocaust?utm_source=google&utm_medium=hppromo&utm_campaign=auschwitz_q1&utm_content=desktop
https://plus.google.com/116899029375914044550

Если важно, чтобы вы сопоставляли только ссылки и из этих доменов верхнего уровня, вы можете сделать:

wget -qO- google.com |
sed '/\n/P;//!s|<a[^>]*\(https*://[^/"]*\)|\n\1\n|;D'

... или что-то в этом роде - хотя для некоторых sedвам может понадобиться заменить буквенный \nсимвол ewline для каждого из последних двух n.

Как написано, приведенная выше команда печатает:

http://www.google.com
http://maps.google.com
https://play.google.com
http://www.youtube.com
http://news.google.com
https://mail.google.com
https://drive.google.com
http://www.google.com
http://www.google.com
http://www.google.com
https://www.google.com
https://plus.google.com

... и в любом случае (но, вероятно, наиболее полезно с последним) вы можете прикрепить |sort -uфильтр до конца, чтобы получить список sortи удалить дубликаты.

самый короткий

grep -r http . --color

echo "<a href="http://examplewebsite.com/">"|sed -r 's:<.*"::g'|sed 's:/">$::g'