bs4.FeatureNotFound: Не удалось найти конструктор дерева с требуемыми функциями: lxml. Вам нужно установить библиотеку парсера?

...
soup = BeautifulSoup(html, "lxml")
File "/Library/Python/2.7/site-packages/bs4/__init__.py", line 152, in __init__
% ",".join(features))
bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?

Вышеуказанные выводы на моем терминале. Я нахожусь на Mac OS 10.7.x. У меня есть Python 2.7.1, и я следовал этому руководству, чтобы получить Beautiful Soup и lxml, которые успешно установлены и работают с отдельным тестовым файлом, расположенным здесь . В скрипте Python, который вызывает эту ошибку, я включил эту строку: from pageCrawler import comparePages И в файл pageCrawler я включил следующие две строки: from bs4 import BeautifulSoup from urllib2 import urlopen

Любая помощь в выяснении, в чем заключается проблема и как ее можно решить, будет высоко ценится.

У меня есть подозрение, что это связано с анализатором, который BS будет использовать для чтения HTML. Они документируют здесь , но если вы похожи на меня (на OSX), вы можете застревать с чем-то, что требует немного работы:

Вы заметите, что на странице документации BS4 выше они указывают, что по умолчанию BS4 будет использовать встроенный анализатор Python HTML. Предполагая, что вы находитесь в OSX, версия Python для Apple является 2.7.2, которая не подходит для форматирования символов. Я столкнулся с этой же проблемой, поэтому я обновил свою версию Python, чтобы обойти ее. Выполнение этого в virtualenv сведет к минимуму нарушение других проектов.

Если это звучит как боль, вы можете переключиться на анализатор LXML:

pip install lxml

А затем попробуйте:

soup = BeautifulSoup(html, "lxml")

В зависимости от вашего сценария, это может быть достаточно хорошо. Я нашел это достаточно раздражающим, чтобы оправдать обновление моей версии Python. Используя virtualenv, вы можете довольно легко перенести ваши пакеты .

Для основного готового Python с установленным bs4 вы можете обработать ваш XML с

soup = BeautifulSoup(html, "html5lib")

Однако, если вы хотите использовать formatter = 'xml', вам нужно

pip3 install lxml

soup = BeautifulSoup(html, features="xml")

Я предпочел встроенный синтаксический анализатор Python, нет установки, никаких зависимостей

soup = BeautifulSoup(s, "html.parser")

Я использую Python 3.6, и у меня была та же самая оригинальная ошибка в этом посте. После того, как я запустил команду:

python3 -m pip install lxml

это решило мою проблему

Запустите эти три команды, чтобы убедиться, что у вас установлены все соответствующие пакеты:

pip install bs4
pip install html5lib
pip install lxml

Затем перезапустите вашу Python IDE, если это необходимо.

Это должно заботиться обо всем, что связано с этой проблемой.

Вместо использования lxml используйте html.parser, вы можете использовать этот фрагмент кода:

soup = BeautifulSoup(html, 'html.parser')

Хотя BeautifulSoup по умолчанию поддерживает анализатор HTML. Если вы хотите использовать любые другие сторонние анализаторы Python, вам необходимо установить этот внешний анализатор, например (lxml).

soup_object= BeautifulSoup(markup,"html.parser") #Python HTML parser

Но если вы не указали парсер в качестве параметра, вы получите предупреждение, что парсер не указан.

soup_object= BeautifulSoup(markup) #Warnning

Чтобы использовать любой другой внешний парсер, вам необходимо установить его, а затем указать его. лайк

pip install lxml

soup_object= BeautifulSoup(markup,'lxml') # C dependent parser 

Внешний парсер имеет зависимость c и python, что может иметь некоторые преимущества и недостатки.

Я столкнулся с той же проблемой. Я обнаружил, что причина в том, что у меня был слегка устаревший пакет python шесть.

>>> import html5lib
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python2.7/site-packages/html5lib/__init__.py", line 16, in <module>
    from .html5parser import HTMLParser, parse, parseFragment
  File "/usr/local/lib/python2.7/site-packages/html5lib/html5parser.py", line 2, in <module>
    from six import with_metaclass, viewkeys, PY3
ImportError: cannot import name viewkeys

Обновление шести пакетов решит проблему:

sudo pip install six=1.10.0

Установите парсер LXML в среде Python.

pip install lxml

Ваша проблема будет решена. Вы также можете использовать встроенный пакет Python для того же:

soup = BeautifulSoup(s,  "html.parser")

Примечание. Модуль «HTMLParser» был переименован в «html.parser» в Python3.

В некоторых ссылках используйте второе вместо первого:

soup_object= BeautifulSoup(markup,'html-parser')
soup_object= BeautifulSoup(markup,'html.parser')

Ошибка приходит из-за используемого вами парсера. В общем, если у вас есть HTML-файл / код, то вам нужно его использовать html5lib(документацию можно найти здесь ), а в случае, если у вас есть XML-файл / данные, вам нужно его использовать lxml(документацию можно найти здесь ). Вы также можете использовать lxmlдля файла / кода HTML, но иногда это дает ошибку, как указано выше. Так что лучше выбирать пакет разумно, исходя из типа данных / файла. Вы также можете использовать html_parserвстроенный модуль. Но это также иногда не работает.

Более подробную информацию о том, когда использовать какой пакет вы можете увидеть здесь.

Пустой параметр приведет к предупреждению для лучшего из доступных.
суп = BeautifulSoup (HTML)

--------------- / UserWarning: синтаксический анализатор не был указан явно, поэтому я использую лучший доступный анализатор HTML для этой системы ("html5lib"). Обычно это не проблема, но если вы запускаете этот код в другой системе или в другой виртуальной среде, он может использовать другой анализатор и вести себя по-другому .--------------- ------- /

Python - версия Python 3.7.7

PyCharm 19.3.4 CE