Я работаю над докером сетки селена, чтобы очистить веб-сайт. Если я использую только один хромовый узел, это означает, что селеновая сетка работает, если я масштабирую более одного узла хромированной селеновой сетки, и scrapy снова перестает работать. Через некоторое время он просто мигает с большим сообщением об ошибке.
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import scrapy
from selenium import webdriver
class ProductSpider(scrapy.Spider):
name = "product_spider"
start_urls = ['https://google.com']
def __init__(self):
options = webdriver.ChromeOptions()
options.add_argument('--headless')
self.driver = webdriver.Remote(command_executor='http://localhost:5000/wd/hub',
desired_capabilities=DesiredCapabilities.CHROME)
def parse(self, response):
data = self.driver.get(response.url)
print(data,'/////////////')
Затем я открыл оболочку python и набрал индивидуальный код
Python 3.6.5 (default, Apr 1 2018, 05:46:30)
[GCC 7.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from selenium import webdriver
>>> from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
>>> options = webdriver.ChromeOptions()
>>> options.add_argument('--headless')
>>> driver = webdriver.Remote(command_executor='http://localhost:5000/wd/hub',
... desired_capabilities=DesiredCapabilities.CHROME)
Как видите, он остановился в webdriver. Удаленный .cursor просто долго мигает, после чего отображается большое сообщение об ошибке. Я думаю, что проблема в webdriver.Remote (command_executor = 'http://localhost:5000/wd/hub ', ... desire_capabilities = DesiredCapabilities.CHROME) строка.
Может ли кто-нибудь дать решение этой проблемы? Обратите внимание, что он работает, если сетка селена имеет один узел (хром), если я масштабирую более одного узла (хром).
Это сообщение об ошибке спустя долгое время:
Я также прикрепил скриншот консоли сетки селена, когда используется несколько узлов. ссылка здесь, чтобы увидеть изображение
Похоже, вы запускаете новые узлы Selenium с Firefox, но ваши тесты специально ищут Chrome.
