RobotParser выдает исключение SSL Certificate Verify Failed

Я пишу простой веб-краулер на Python 2.7 и получаю исключение SSL Certificate Verify Failed при попытке получить файл robots.txt с веб-сайта HTTPS.

Вот соответствующий код:

def getHTMLpage(pagelink, currenttime):
    "Downloads HTML page from server"
    #init
    #parse URL and get domain name
    o = urlparse.urlparse(pagelink,"http")
    if o.netloc == "":
        netloc = re.search(r"[^/]+\.[^/]+\.[^/]+", o.path)
        if netloc:
            domainname="http://"+netloc.group(0)+"/"
    else:
        domainname=o.scheme+"://"+o.netloc+"/"
    if o.netloc != "" and o.netloc != None and o.scheme != "mailto": #if netloc isn't empty and it's not a mailto link
        link=domainname+o.path[1:]+o.params+"?"+o.query+"#"+o.fragment
        if not (robotfiledictionary.get(domainname)): #if robot file for domainname was not downloaded
            robotfiledictionary[domainname] = robotparser.RobotFileParser() #initialize robots.txt parser
            robotfiledictionary[domainname].set_url(domainname+"robots.txt") #set url for robots.txt
            print "  Robots.txt for %s initial download" % str(domainname)
            robotfiledictionary[domainname].read() #download/read robots.txt
        elif (robotfiledictionary.get(domainname)): #if robot file for domainname was already downloaded
            if (currenttime - robotfiledictionary[domainname].mtime()) > 3600: #if robot file is older than 1 hour
                robotfiledictionary[domainname].read() #download/read robots.txt
                print "  Robots.txt for %s downloaded" % str(domainname)
                robotfiledictionary[domainname].modified() #update time
        if robotfiledictionary[domainname].can_fetch("WebCrawlerUserAgent", link): #if access is allowed...
            #fetch page
            print link
            page = requests.get(link, verify=False)
            return page.text()
        else: #otherwise, report
            print "  URL disallowed due to robots.txt from %s" % str(domainname)
            return "URL disallowed due to robots.txt"
    else: #if netloc was empty, URL wasn't parsed. report
        print "URL not parsed: %s" % str(pagelink)
        return "URL not parsed"

И вот исключение, которое я получаю:

  Robots.txt for https://ehi-siegel.de/ initial download
Traceback (most recent call last):
  File "C:\webcrawler.py", line 561, in <module>
    HTMLpage = getHTMLpage(link, loopstarttime)
  File "C:\webcrawler.py", line 122, in getHTMLpage
    robotfiledictionary[domainname].read() #download/read robots.txt
  File "C:\Python27\lib\robotparser.py", line 58, in read
    f = opener.open(self.url)
  File "C:\Python27\lib\urllib.py", line 213, in open
    return getattr(self, name)(url)
  File "C:\Python27\lib\urllib.py", line 443, in open_https
    h.endheaders(data)
  File "C:\Python27\lib\httplib.py", line 1053, in endheaders
    self._send_output(message_body)
  File "C:\Python27\lib\httplib.py", line 897, in _send_output
    self.send(msg)
  File "C:\Python27\lib\httplib.py", line 859, in send
    self.connect()
  File "C:\Python27\lib\httplib.py", line 1278, in connect
    server_hostname=server_hostname)
  File "C:\Python27\lib\ssl.py", line 353, in wrap_socket
    _context=self)
  File "C:\Python27\lib\ssl.py", line 601, in __init__
    self.do_handshake()
  File "C:\Python27\lib\ssl.py", line 830, in do_handshake
    self._sslobj.do_handshake()
IOError: [Errno socket error] [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590)

Как видите, я уже изменил код в конце, чтобы получить страницу, игнорирующую SSL-сертификат (который, как я знаю, не одобряется в рабочей среде, но я хотел проверить его), но теперь кажется, что robotparser.read() не проходит проверку SSL. Я видел, что могу загрузить сертификаты вручную и указать программу в этом направлении для проверки SSL-сертификата, но в идеале я хотел бы, чтобы моя программа работала «готово к работе», поскольку я лично не собираюсь быть один его использует. Кто-нибудь знает, что делать?

Изменить: я зашел в robotparser.py. я добавил

import requests

и изменил строку 58 на

f = requests.get(self.url, verify=False)

и это, кажется, исправлено. Это все еще не идеально, поэтому я по-прежнему открыт для предложений о том, что делать.


python-2.7 ssl ssl-certificate parsing robots.txt
person Jack Doe    schedule 06.12.2016    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Я сам нашел решение. Используя функцию запроса urllib3, я смог сертифицировать все веб-сайты и продолжить доступ к ним.

Мне все же пришлось отредактировать файл robotparser.py. Вот что я добавил в начало:

import urllib3
import urllib3.contrib.pyopenssl
import certifi
urllib3.contrib.pyopenssl.inject_into_urllib3()
http = urllib3.PoolManager(cert_reqs="CERT_REQUIRED", ca_certs=certifi.where())

И это определение read(self):

def read(self):
    """Reads the robots.txt URL and feeds it to the parser."""
    opener = URLopener()
    f = http.request('GET', self.url)
    lines = [line.strip() for line in f.data]
    f.close()
    self.errcode = opener.errcode
    if self.errcode in (401, 403):
        self.disallow_all = True
    elif self.errcode >= 400 and self.errcode < 500:
        self.allow_all = True
    elif self.errcode == 200 and lines:
        self.parse(lines)

Я также использовал тот же процесс, чтобы получить фактические запросы страниц в функции моей программы:

def getHTMLpage(pagelink, currenttime):
    "Downloads HTML page from server"
    #init
    #parse URL and get domain name
    o = urlparse.urlparse(pagelink,u"http")
    if o.netloc == u"":
        netloc = re.search(ur"[^/]+\.[^/]+\.[^/]+", o.path)
        if netloc:
            domainname=u"http://"+netloc.group(0)+u"/"
    else:
        domainname=o.scheme+u"://"+o.netloc+u"/"
    if o.netloc != u"" and o.netloc != None and o.scheme != u"mailto": #if netloc isn't empty and it's not a mailto link
        link=domainname+o.path[1:]+o.params+u"?"+o.query+u"#"+o.fragment
        if not (robotfiledictionary.get(domainname)): #if robot file for domainname was not downloaded
            robotfiledictionary[domainname] = robotparser.RobotFileParser() #initialize robots.txt parser
            robotfiledictionary[domainname].set_url(domainname+u"robots.txt") #set url for robots.txt
            print u"  Robots.txt for %s initial download" % str(domainname)
            robotfiledictionary[domainname].read() #download/read robots.txt
        elif (robotfiledictionary.get(domainname)): #if robot file for domainname was already downloaded
            if (currenttime - robotfiledictionary[domainname].mtime()) > 3600: #if robot file is older than 1 hour
                robotfiledictionary[domainname].read() #download/read robots.txt
                print u"  Robots.txt for %s downloaded" % str(domainname)
                robotfiledictionary[domainname].modified() #update time
        if robotfiledictionary[domainname].can_fetch("WebCrawlerUserAgent", link.encode('utf-8')): #if access is allowed...
            #fetch page
            if domainname == u"https://www.otto.de/" or domainname == u"http://www.otto.de":
                driver.get(link.encode('utf-8'))
                time.sleep(5)
                page=driver.page_source
                return page
            else:
                page = http.request('GET',link.encode('utf-8'))
                return page.data.decode('UTF-8','ignore')
        else: #otherwise, report
            print u"  URL disallowed due to robots.txt from %s" % str(domainname)
            return u"URL disallowed due to robots.txt"
    else: #if netloc was empty, URL wasn't parsed. report
        print u"URL not parsed: %s" % str(pagelink)
        return u"URL not parsed"

Вы также заметите, что я изменил свою программу, чтобы использовать строго UTF-8, но это не имеет отношения.

person Jack Doe    schedule 06.12.2016

arrow_upward
0
arrow_downward

Недавно у меня была такая же проблема. Быстрое исправление состояло в том, чтобы добавить эти строки в мой код:

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

питон 2.7.16

person fleaheap    schedule 29.05.2019