Как очистить все содержимое с сайта с бесконечной прокруткой? скрап

Проверьте код сайта.

Если бесконечная прокрутка автоматически запускает действие js, вы можете поступить следующим образом, используя предложение Алиота: вертушка

Следуя docs, вы можете найти, что может запускать события jquery.

Посмотрите код библиотеки, чтобы узнать, какие события вы можете запускать.

Попробуйте создать событие scroll to bottom или создать изменение свойства css для любого из div внутри прокручиваемого содержимого на веб-сайте. После spynner docs, что-то вроде:

browser = spynner.Browser(debug_level=spynner.DEBUG, debug_stream=debug_stream)
# load here your website as spynner allows
browser.load_jquery(True)
ret = run_debug(browser.runjs,'window.scrollTo(0, document.body.scrollHeight);console.log(''scrolling...);')
# continue parsing ret 

Маловероятно, что бесконечная прокрутка запускается якорной ссылкой, но, возможно, она может быть запущена действием jquery, а не обязательно привязкой к ссылке. В этом случае используйте следующий код:

br.load('http://pypi.python.org/pypi')

anchors = br.webframe.findAllElements('#menu ul.level-two a')
# chooses an anchor with Browse word as key
anchor = [a for a in anchors if 'Browse' in a.toPlainText()][0]
br.wk_click_element_link(anchor, timeout=10)
output = br.show()
# save output in file: output.html or 
# plug this actions into your scrapy method and parse output var as you do 
# with response body

Затем запустите scrapy для файла output.html или, если вы его реализовали, используя переменную локальной памяти, которую вы выбрали для хранения измененного html после действия js.

В качестве другого решения веб-сайт, который вы пытаетесь проанализировать, может иметь версию альтернативного рендеринга в случае, если браузер посетителя не активировал js.

Попробуйте отобразить веб-сайт в браузере с отключенным javascript, и, возможно, таким образом веб-сайт сделает доступную ссылку привязки в конце раздела содержимого.

Также есть успешные реализации навигации сканера js с использованием подхода с Scrapy вместе с Selenium, подробно описанного в this так ответь.

Я использую Selenium, а не scrapy, но вы должны уметь делать то же самое, и что я делаю, так это запускаю некоторый JavaScript при загрузке файла, а именно:

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

И я продолжаю делать это, пока он не перестанет прокручиваться. Это некрасиво и не может использоваться в производстве, но эффективно для конкретных работ.

Я думаю, что вы ищете логику разбиения на страницы наряду с вашей нормальной логикой

В большинстве случаев .. бесконечная прокрутка == перелистывание, на такой странице, когда вы прокручиваете вниз до 3/4 страницы или до конца страницы, страница запускает вызов AJAX и загружает содержимое следующей страницы и загрузить ответ на текущую страницу

Я бы рекомендовал использовать инструмент network monitor в firefox и замечать любой такой запрос страницы при прокрутке вниз

- подсказка: вы будете использовать scrapy.FormRequest или scrapy.FormRequest.from_response при реализации этого решения.

Я думаю, вы ищете что-то вроде DEPTH-LIMIT

http://doc.scrapy.org/en/latest/topics/settings.html#depth-limit

http://bgrva.github.io/blog/2014/03/04/scrapy-after-tutorials-part-1/

Очевидно, этот целевой сайт загружает свое содержание динамически. Следовательно, есть два подходящих решения:

1. Расшифруйте взаимодействие jQuery в тонкостях и попробуйте смоделировать обмен данными с сервером вручную

2. Используйте другой инструмент для этой конкретной работы. Например, spynner мне кажется правильным выбором, чтобы обратить внимание.

В некоторых случаях вы можете найти в исходном коде элемент, вызываемый для запуска «следующей» разбивки на страницы, даже при бесконечной прокрутке. Поэтому вам просто нужно щелкнуть этот элемент, и он покажет остальные сообщения. Со скрапией / селеном:

next = self.driver.find_element_by_xpath('//a[@class="nextResults"]')
next.click()
time.sleep(2)