Как разобрать HTML-страницу с помощью Node.js

92

Мне нужно проанализировать (на стороне сервера) большое количество HTML-страниц.
Мы все согласны с тем, что регулярное выражение здесь не подходит.
Мне кажется, что javascript - это собственный способ синтаксического анализа HTML-страницы, но это предположение основывается на коде на стороне сервера, имеющем все возможности DOM, которые javascript имеет внутри браузера.

Есть ли в Node.js такая возможность?
Есть ли лучший подход к этой проблеме - анализ HTML на стороне сервера?

node.js html-parsing server-side Итай Моав -Малимовка
источник

Ответы:

87

Вы можете использовать модули npm jsdom и htmlparser для создания и анализа DOM в Node.JS.

Другие варианты включают:

  • BeautifulSoup для Python
  • вы можете преобразовать HTML в xhtml и использовать XSLT
  • HTMLAgilityPack для .NET
  • CsQuery для .NET (мой новый фаворит)
  • JS-движки spidermonkey и rhino имеют встроенную поддержку E4X. Это может быть полезно, только если вы конвертируете свой html в xhtml.

Из всех этих вариантов я предпочитаю использовать вариант Node.js, потому что он использует стандартные методы доступа W3C DOM, и я могу повторно использовать код как на клиенте, так и на сервере. Я бы хотел, чтобы методы BeautifulSoup были больше похожи на W3C dom, и я думаю, что преобразование вашего HTML в XHTML для написания XSLT - это просто садистский подход.

кж
источник
3
Что вы имеете в виду под добром? Надежно, быстро, просто? Что ж, с этими двумя, он достаточно надежен, так что вы можете использовать jQuery на стороне сервера, если хотите .
kzh
1
@kzh Для меня важнее надежность и простота, чем если процесс завершится через час или один день.
Итай Моав -Малимовка
Я бы сказал, что вариант узла надежен и определенно прост, если вы уже привыкли к DOM.
kzh
Если вы используете htmlparser, сначала попробуйте использовать github.com/fb55/node-htmlparser . Похоже, это переработанная версия, которая поддерживается более активно.
cburgmer
Я поискал по всему Интернету, но не нашел хорошего туториала по htmlparser ..
songyy
63

Используйте Cheerio . Он не такой строгий, как jsdom, и оптимизирован для парсинга. В качестве бонуса использует уже знакомые вам селекторы jQuery.

❤ Знакомый синтаксис: Cheerio реализует подмножество основного jQuery. Cheerio удаляет все несоответствия DOM и мусор браузера из библиотеки jQuery, раскрывая свой поистине великолепный API.

ϟ Невероятно быстро: Cheerio работает с очень простой и последовательной моделью DOM. В результате синтаксический анализ, манипулирование и рендеринг невероятно эффективны. Предварительные сквозные тесты показывают, что Cheerio примерно в 8 раз быстрее, чем JSDOM.

❁ Безумно гибкий: Cheerio оборачивается вокруг прощающего htmlparser @ FB55. Cheerio может анализировать практически любой документ HTML или XML.

Микохи
источник
8
Но не строит DOM и не поддерживает XPath. Синтаксис jQuery, безусловно, является обратной стороной этой библиотеки.
polkovnikov.ph
2
@ polkovnikov.ph по моему опыту, очень немногие приложения требуют полного анализа DOM, а построение DOM очень дорого по сравнению с быстрой "ленивой" оценкой в ​​jQuery / Cheerio. В этом смысле синтаксический анализ в стиле jQuery является преимуществом, но если ваше приложение требует манипулирования серверной частью DOM, вы можете предпочесть попробовать jsdom.
Meekohi
jsdomслишком медленный для этого: /
polkovnikov.ph
2
@MohamedMansour как бы то ни было, мы используем Cheerio в продакшене и очищаем тысячи страниц за несколько секунд. «быстро» и «медленно», конечно же, относятся к вашему приложению и пропускной способности.
Микохи,
Нестрогие: +1. Синтаксис jQuery: +1.
Cheesus
11

Используйте htmlparser2 , это быстрее и проще . Проконсультируйтесь с этим примером использования:

https://www.npmjs.org/package/htmlparser2#usage

И живая демонстрация здесь:

http://demos.forbeslindesay.co.uk/htmlparser2/

Андерсон Мадейра
источник
Как получить точный результат, который можно получить в этой демонстрации?
Penguin9
6

Htmlparser2 от FB55 кажется хорошей альтернативой.

особенно
источник
3
И что делать с этим форматом возврата ? Написать кучу циклов for и обходов дерева?
polkovnikov.ph
Вы можете зарегистрироваться для открытия / закрытия событий тегов, поэтому, в зависимости от того, что вы хотите, это действительно хорошая альтернатива, imho.
Фил
@ polkovnikov.ph Существует также пакет domutils от того же автора, который работает с форматом, возвращаемым htmlparser2 - в нем много методов, некоторые из которых имеют тот же синтаксис, что и методы DOM, а некоторые другие; вам действительно не нужно будет перемещаться по объекту вручную. Документов нет, но исходный код предельно ясен - все работает так, как и следовало ожидать.
особенно
еще нет, но что вам мешает продлить его? не так уж и сложно использовать функции, которые у него уже есть.
особенно
2

jsdom слишком строг, чтобы делать какие-либо вещи по настоящему соскабливанию экрана, но beautifulsoup не подавится плохой разметкой.

node-soupselect - это порт beautifulsoup Python в nodejs, и он прекрасно работает

Ярек Т
источник