Вопросы по теме 'concurrent.futures'

Как создать будущее, только если доступен бесплатный рабочий
Я пытаюсь отправить информацию, извлеченную из строк большого файла, процессу, работающему на каком-то сервере. Чтобы ускорить это, я хотел бы сделать это с несколькими потоками параллельно. Используя бэкпорт Python 2.7 для concurrent.futures ,...
720 просмотров

Как отменить зависшую асинхронную задачу в торнадо с тайм-аутом?
Моя установка — это сервер python tornado, который асинхронно обрабатывает задачи с файлом ThreadPoolExecutor . В некоторых условиях задача может превратиться в бесконечный цикл. С помощью декоратора with_timeout мне удалось поймать исключение...
2381 просмотров

concurrent.futures не распараллеливает запись
У меня есть список dataframe_chunk , который содержит фрагменты очень большого фрейма данных pandas. Я хотел бы записать каждый фрагмент в другой CSV и сделать это параллельно. Однако я вижу, что файлы записываются последовательно, и я не уверен,...
1705 просмотров

Действительные фьючерсы против построенных по умолчанию фьючерсов
Я изучаю фьючерсы в своем классе параллельного программирования. Мой профессор заявил об этом на своих слайдах: "Valid" futures are future objects associated to a  shared state, and are constructed by calling one of the following functions:...
1530 просмотров

Понимание concurrent.futures.Executor.map()
Я пытаюсь распараллелить некоторый код Python, используя процессы и concurrent.futures . Похоже, я могу выполнять функцию несколько раз параллельно либо с помощью отправка вызовов и последующий вызов Future.result() на фьючерсах или с...
5532 просмотров
schedule 04.12.2023

concurrent.futures.ThreadPoolExecutor не работает как исключение. Потоки перестают работать, даже если в очереди достаточно данных для работы
Я работаю над поисковым роботом, используя python, чтобы получить все абсолютные URL-адреса на веб-странице, а затем выполнить поисковый робот для каждого URL-адреса на этой веб-странице. например: Как мы видим, веб-страница...
1572 просмотров

Параллельные фьючерсы ждут подмножества задач
Я использую Python concurrent.futures рамки. Я использовал функцию map() для запуска параллельных задач как таковых: def func(i): return i*i list = [1,2,3,4,5] async_executor = concurrent.futures.ThreadPoolExecutor(5) results =...
2003 просмотров

Flask: Как мне успешно использовать многопроцессорность (не многопоточность)?
Я использую сервер Flask для обработки запросов на некоторые задачи обработки изображений. Обработка в значительной степени зависит от OpenCV, и теперь я хотел бы тривиально распараллелить некоторые из более медленных шагов. Я предпочитаю...
620 просмотров

Как создать семена NumPy SeedSequence во время параллельной генерации случайных чисел?
В документации NumPy по параллельному генерированию случайных чисел показано, как используйте SeedSequence для создания семян внуков (см. ниже). from numpy.random import SeedSequence, default_rng ss = SeedSequence(12345) # Spawn off 10...
234 просмотров