селен с scrapy для динамической страницы

85

Я пытаюсь очистить информацию о продукте с веб-страницы с помощью scrapy. Моя веб-страница, которую нужно очистить, выглядит так:

  • начинается со страницы product_list с 10 продуктами
  • нажатие на кнопку «Далее» загружает следующие 10 продуктов (URL-адрес между двумя страницами не меняется)
  • Я использую LinkExtractor, чтобы переходить по каждой ссылке продукта на страницу продукта и получать всю необходимую информацию

Я попытался воспроизвести ajax-call следующей кнопки, но не могу работать, поэтому я пробую селен. Я могу запустить selenium webdriver в отдельном скрипте, но я не знаю, как интегрироваться с scrapy. Куда мне поместить селен в мой паук для скрапинга?

Мой паук довольно стандартный, вроде следующего:

class ProductSpider(CrawlSpider):
    name = "product_spider"
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/shanghai']
    rules = [
        Rule(SgmlLinkExtractor(restrict_xpaths='//div[@id="productList"]//dl[@class="t2"]//dt'), callback='parse_product'),
        ]

    def parse_product(self, response):
        self.log("parsing product %s" %response.url, level=INFO)
        hxs = HtmlXPathSelector(response)
        # actual data follows

Любая идея приветствуется. Спасибо!

З. Линь
источник

Ответы:

123

Это действительно зависит от того, как вам нужно очистить сайт и как и какие данные вы хотите получить.

Вот пример того, как вы можете следить за разбивкой на страницы на ebay, используя Scrapy+ Selenium:

import scrapy
from selenium import webdriver

class ProductSpider(scrapy.Spider):
    name = "product_spider"
    allowed_domains = ['ebay.com']
    start_urls = ['http://www.ebay.com/sch/i.html?_odkw=books&_osacat=0&_trksid=p2045573.m570.l1313.TR0.TRC0.Xpython&_nkw=python&_sacat=0&_from=R40']

    def __init__(self):
        self.driver = webdriver.Firefox()

    def parse(self, response):
        self.driver.get(response.url)

        while True:
            next = self.driver.find_element_by_xpath('//td[@class="pagn-next"]/a')

            try:
                next.click()

                # get the data and write it to scrapy items
            except:
                break

        self.driver.close()

Вот несколько примеров «селеновых пауков»:


Существует также альтернатива использованию Seleniumс Scrapy. В некоторых случаях использования ScrapyJSпромежуточного программного обеспечения достаточно для обработки динамических частей страницы. Пример использования в реальном мире:

алексе
источник
Спасибо за вашу помощь. На самом деле моя самая большая проблема - это часть после next.click (). Каждый раз, когда я получаю новую страницу, могу ли я использовать LinkExtractor для извлечения всех URL-адресов продуктов, а затем использовать обратный вызов для их анализа?
З. Линь
2
Есть ли способ повторно использовать ответ, который уже был получен scrapy, вместо использования self.driver.get(response.url)?
Ethereal
2
@HalcyonAbrahamRamirez, это всего лишь пример селеновой части в паучке scrapy. После того, как селен готов, обычно self.driver.page_sourceон передается в экземпляр Selector для Scrapy для анализа HTML, формирования экземпляров элементов, передачи их конвейерам и т. Д. Или файлы cookie селена могут быть проанализированы и переданы в Scrapy для выполнения дополнительных запросов. Но если вам не нужна мощь архитектуры фреймворка scrapy, тогда, конечно, вы можете использовать только селен - он сам по себе довольно эффективен для определения местоположения элементов.
alecxe
4
@alecxe да, пока я понял концепцию. Я все еще запутался в той части, где вы извлекаете источник страницы с помощью селена и передаете элементы, которые хотите очистить, в scrapy. например. Есть кнопка «Загрузить еще», нажатие на нее покажет больше элементов, но вы извлечете xpath для этих элементов. теперь, как передать эти xpath в scrapy? потому что только элементы, показанные при первом запросе страницы, будут проанализированы scrappy, а не те, которые были после нажатия кнопки «Загрузить больше» с селеном
Halcyon Abraham Ramirez
2
@HalcyonAbrahamRamirez понял, я бы загрузил больше предметов, пока больше нечего будет добавлять. Затем возьмите driver.page_sourceи передайте его Selector()..
алексе
2

Если (url не меняется между двумя страницами), тогда вы должны добавить dont_filter = True с вашим scrapy.Request () или scrapy найдет этот URL как дубликат после обработки первой страницы.

Если вам нужно отображать страницы с помощью javascript, вы должны использовать scrapy-splash , вы также можете проверить это промежуточное программное обеспечение scrapy, которое может обрабатывать страницы javascript с использованием селена, или вы можете сделать это, запустив любой безголовый браузер

Но более эффективное и быстрое решение - проверить свой браузер и посмотреть, какие запросы выполняются во время отправки формы или запуска определенного события. Попробуйте смоделировать те же запросы, что и ваш браузер. Если вы сможете правильно воспроизвести запросы, вы получите нужные данные.

Вот пример:

class ScrollScraper(Spider):
    name = "scrollingscraper"

    quote_url = "http://quotes.toscrape.com/api/quotes?page="
    start_urls = [quote_url + "1"]

    def parse(self, response):
        quote_item = QuoteItem()
        print response.body
        data = json.loads(response.body)
        for item in data.get('quotes', []):
            quote_item["author"] = item.get('author', {}).get('name')
            quote_item['quote'] = item.get('text')
            quote_item['tags'] = item.get('tags')
            yield quote_item

        if data['has_next']:
            next_page = data['page'] + 1
            yield Request(self.quote_url + str(next_page))

Когда URL-адрес разбиения на страницы одинаков для всех страниц и использует запрос POST, вы можете использовать scrapy.FormRequest () вместо scrapy.Request () , оба они одинаковы, но FormRequest добавляет новый аргумент ( formdata = ) в конструктор.

Вот еще один пример паука из этого поста :

class SpiderClass(scrapy.Spider):
    # spider name and all
    name = 'ajax'
    page_incr = 1
    start_urls = ['http://www.pcguia.pt/category/reviews/#paginated=1']
    pagination_url = 'http://www.pcguia.pt/wp-content/themes/flavor/functions/ajax.php'

    def parse(self, response):

        sel = Selector(response)

        if self.page_incr > 1:
            json_data = json.loads(response.body)
            sel = Selector(text=json_data.get('content', ''))

        # your code here

        # pagination code starts here
        if sel.xpath('//div[@class="panel-wrapper"]'):
            self.page_incr += 1
            formdata = {
                'sorter': 'recent',
                'location': 'main loop',
                'loop': 'main loop',
                'action': 'sort',
                'view': 'grid',
                'columns': '3',
                'paginated': str(self.page_incr),
                'currentquery[category_name]': 'reviews'
            }
            yield FormRequest(url=self.pagination_url, formdata=formdata, callback=self.parse)
        else:
            return
Уничтожен в любви
источник