ошибка 403 в записке при сканировании

Вот код, который я написал для очистки веб-сайта blablacar.

# -*- coding: utf-8 -*-
import scrapy


class BlablaSpider(scrapy.Spider):
    name = 'blabla'

    allowed_domains = ['blablacar.in']
    start_urls = ['http://www.blablacar.in/ride-sharing/new-delhi/chandigarh']

    def parse(self, response):
        print(response.text)

При выполнении вышеуказанного я получаю сообщение об ошибке как

2018-06-11 00:07:05 [scrapy.extensions.telnet] DEBUG: консоль Telnet прослушивает 127.0.0.1:6023 2018-06-11 00:07:06 [scrapy.core.engine] DEBUG: Crawled (403 ) http://www.blablacar.in/robots.txt> (referer: None) 2018-06-11 00:07:06 [scrapy.core.engine] ОТЛАДКА: просканировано (403) http: //www.blablacar .in / ride-sharing / new-delhi / chandigarh> (referer: None) 2018-06-11 00:07:06 [scrapy.spidermiddlewares.httperror] ИНФОРМАЦИЯ: игнорирование ответа ‹403 http://www.blablacar.in/ride-sharing/new-delhi/chandigarh>: статус HTTP код не обрабатывается или запрещен 2018-06-11 00:07:06 [scrapy.core.engine] ИНФОРМАЦИЯ: Закрытие паука (завершено)


python-3.x web-scraping data-extraction web-crawler scrapy
person rijin.p    schedule 10.06.2018    source источник

Ответы (3)


arrow_upward
4
arrow_downward

Вам необходимо настроить пользовательский агент. Я запускаю ваш код на своем сайте с настроенным пользовательским агентом и получаю код состояния 200.

1 Положите рядом с settings.py новый файл с именем utils.py

import random

user_agent_list = [
    # Chrome
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36',
    'Mozilla/5.0 (Windows NT 5.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36',
    'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'
    # Firefox
    'Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1)',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
    'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)',
    'Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko',
    'Mozilla/5.0 (Windows NT 6.2; WOW64; Trident/7.0; rv:11.0) like Gecko',
    'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko',
    'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0)',
    'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
    'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)',
    'Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko',
    'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)',
    'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)',
    'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)',
    'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:59.0) Gecko/20100101 Firefox/59.0'
]


def get_random_agent():
    return random.choice(user_agent_list)

2 Добавьте в файл settings.py:

from <SCRAPY_PROJECT>.utils import get_random_agent

USER_AGENT = get_random_agent()
person Oleg T.    schedule 10.06.2018

arrow_upward
1
arrow_downward

Согласно документации Scrapy , вы можете использовать атрибут паука handle_httpstatus_list.

В твоем случае:

class BlablaSpider(scrapy.Spider):
    name = 'blabla'

    allowed_domains = ['blablacar.in']
    start_urls = ['http://www.blablacar.in/ride-sharing/new-delhi/chandigarh']
    handle_httpstatus_list = [403]
person Tauqeer Sajid    schedule 19.07.2019

arrow_upward
0
arrow_downward

Обычно в html ошибка 403 означает, что у вас нет доступа к странице.

Повторите попытку с другим веб-сайтом, если он не показывает ту же ошибку, вероятно, это вызвано ответом веб-сайтов.

person Angel Jimenez    schedule 10.06.2018
comment
Итак, как сканировать с веб-сайта, который показывает ошибку 403 во время сканирования - person rijin.p; 10.06.2018