Предполагая, что я могу проверить, что группа POST запросов на самом деле логически независима, как я могу настроить конвейерную обработку HTTP с использованием python-requests и заставить ее разрешить POST запросы в конвейере?
У кого-нибудь есть рабочий пример?
P.S. для дополнительных баллов, как обрабатывать ошибки для невыполненных запросов, если конвейер внезапно сломается?
П.П.С. grequests в данном случае не вариант.
Библиотека requests не поддерживает конвейерную обработку HTTP.
Вы можете аппроксимировать конвейеризацию, используя grequests, что упрощает параллельное выполнение многих запросов, но каждый параллельный запрос по-прежнему будет использовать новое TCP-соединение.
(requests выполняет соединения пула, сохраняя TCP-соединение открытым, если удаленный сервер разрешает это, но это помогает только для последовательных соединений, а запрос и ответ по-прежнему должны чередоваться).
Конвейерные запросы можно выполнять с помощью встроенной httplib, но только путем доступа к объектам соединения и ответа ниже их общедоступного интерфейса. Этот фрагмент демонстрирует.
grequestsне вариант? - person Martijn Pieters schedule 16.03.2015requestsне поддерживает конвейерную обработку HTTP; использованиеgrequestsбудет только приблизительным. - person Martijn Pieters schedule 16.03.2015