В документах говорится, что я могу выполнить команду обхода только внутри каталога проекта:
scrapy crawl tutor -o items.json -t json
но мне действительно нужно выполнить его в моем коде python (файл python не находится внутри текущего каталога проекта)
Есть ли подход, соответствующий моему требованию?
Дерево моего проекта:
.
├── etao
│ ├── etao
│ │ ├── __init__.py
│ │ ├── items.py
│ │ ├── pipelines.py
│ │ ├── settings.py
│ │ └── spiders
│ │ ├── __init__.py
│ │ ├── etao_spider.py
│ ├── items.json
│ ├── scrapy.cfg
│ └── start.py
└── start.py <-------------- I want to execute the script here.
Любой здесь мой код следует этой ссылке, но это не работает:
#!/usr/bin/env python
import os
#Must be at the top before other imports
os.environ.setdefault('SCRAPY_SETTINGS_MODULE', 'project.settings')
from scrapy import project
from scrapy.conf import settings
from scrapy.crawler import CrawlerProcess
class CrawlerScript():
def __init__(self):
self.crawler = CrawlerProcess(settings)
if not hasattr(project, 'crawler'):
self.crawler.install()
self.crawler.configure()
def crawl(self, spider_name):
spider = self.crawler.spiders.create(spider_name) <--- line 19
if spider:
self.crawler.queue.append_spider(spider)
self.crawler.start()
self.crawler.stop()
# main
if __name__ == '__main__':
crawler = CrawlerScript()
crawler.crawl('etao')
ошибка:
line 19: KeyError: 'Spider not found: etao'