Вопросы с тегом «scrapy»

368
Безголовый браузер и выскабливание - решения [закрыто]

Закрыто. Этот вопрос не соответствует рекомендациям по переполнению стека . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме переполнения стека. Закрыто 5 лет назад . Улучшить этот вопрос Я пытаюсь разместить список возможных...

234
Не удается установить Lxml на Mac OS X 10,9

Я хочу установить Lxml, чтобы потом установить Scrapy. Когда я обновил свой Mac сегодня, он не позволил мне переустановить lxml, я получил следующую ошибку: In file included from src/lxml/lxml.etree.c:314: /private/tmp/pip_build_root/lxml/src/lxml/includes/etree_defs.h:9:10: fatal error:...

206
«OSError: [Errno 1] Операция не разрешена» при установке Scrapy в OSX 10.11 (El Capitan) (защита целостности системы)

Я пытаюсь установить фреймворк Scrapy Python в OSX 10.11 (El Capitan) через pip. Сценарий установки загружает необходимые модули и в какой-то момент возвращает следующую ошибку: OSError: [Errno 1] Operation not permitted:...

145
Можно ли использовать скрап для удаления динамического контента с сайтов, использующих AJAX?

Недавно я изучал Python и погружаюсь в создание веб-скребка. Ничего особенного; его единственная цель - получить данные с веб-сайта для ставок и поместить их в Excel. Большинство проблем решаемы, и у меня есть хороший маленький беспорядок вокруг. Однако я столкнулся с огромным препятствием из-за...

97
Как использовать PyCharm для отладки проектов Scrapy

Я работаю над Scrapy 0.20 с Python 2.7. Я обнаружил, что в PyCharm есть хороший отладчик Python. Я хочу протестировать на нем своих пауков Scrapy. Кто-нибудь знает, как это сделать, пожалуйста? Что я пробовал Собственно я пытался запустить паука как скрипт. В результате я построил этот сценарий....

85
Как я могу использовать разные конвейеры для разных пауков в одном проекте Scrapy

У меня есть проект scrapy, который содержит несколько пауков. Есть ли способ определить, какие конвейеры использовать для какого паука? Не все определенные мной конвейеры применимы для каждого паука. благодаря...

85
селен с scrapy для динамической страницы

Я пытаюсь очистить информацию о продукте с веб-страницы с помощью scrapy. Моя веб-страница, которую нужно очистить, выглядит так: начинается со страницы product_list с 10 продуктами нажатие на кнопку «Далее» загружает следующие 10 продуктов (URL-адрес между двумя страницами не меняется) Я...