как включить асинхронный режим запросов?

Прости, Кеннет Рейц. Его библиотека прекрасна.

Я глупый. Мне нужно выбрать патч для обезьяны для httplib следующим образом:

gevent.monkey.patch_all(httplib=True)

Потому что патч для httplib по умолчанию отключен.

Как было указано Кеннетом, мы можем также позволить модулю requests обрабатывать асинхронную часть. Я внес соответствующие изменения в ваш код. Опять же, для меня результаты неизменно показывают, что модуль requests работает лучше, чем urllib2.

Это означает, что мы не можем "нанизать" часть обратного вызова. Но это должно быть хорошо, потому что основной выигрыш следует ожидать только с HTTP-запросами из-за задержки запроса/ответа.

import sys

import gevent
from gevent import monkey

monkey.patch_all()

import requests
from requests import async
import urllib2

def call_back(resp):
    content = resp.content
    title = content.split('<title>')[1].split('</title>')[0].strip()
    return title

def worker(url, use_urllib2=False):
    if use_urllib2:
        content = urllib2.urlopen(url).read().lower()
        title = content.split('<title>')[1].split('</title>')[0].strip()

    else:
        rs = [async.get(u) for u in url]
        resps = async.map(rs)
        for resp in resps:
            call_back(resp) 

urls = ['http://www.mail.ru']*5

def by_requests():
    worker(urls)
def by_urllib2():
    jobs = [gevent.spawn(worker, url, True) for url in urls]
    gevent.joinall(jobs)

if __name__=='__main__':
    from timeit import Timer
    t = Timer(stmt="by_requests()", setup="from __main__ import by_requests")
    print 'by requests: %s seconds'%t.timeit(number=3)
    t = Timer(stmt="by_urllib2()", setup="from __main__ import by_urllib2")
    print 'by urllib2: %s seconds'%t.timeit(number=3)
    sys.exit(0)

Вот один из моих результатов:

by requests: 2.44117593765 seconds
by urllib2: 4.41298294067 seconds

Запросы имеют поддержку gevent, интегрированную в кодовую базу:

http://docs.python-requests.org/en/latest/user/advanced/#asynchronous-requests

Я запустил ваш код на своей машине (python 2.7.1, gevent 0.13.0, requests 0.10.6). Оказалось, что время всегда было на добрую секунду или две быстрее при использовании модуля запросов. Какие версии вы используете? Обновление может просто решить проблему для вас.

by requests: 3.7847161293 seconds
by urllib2: 4.92611193657 seconds

by requests: 2.90777993202 seconds
by urllib2: 7.99798607826 seconds

Из документа с запросами Блокирующие или неблокирующие< /а>:

Если вас беспокоит использование блокирующего ввода-вывода, существует множество проектов, в которых запросы сочетаются с одной из платформ асинхронности Python. Два отличных примера: grequests и запросы-фьючерсы.