Вопросы по теме 'concurrent.futures'
Как создать будущее, только если доступен бесплатный рабочий
Я пытаюсь отправить информацию, извлеченную из строк большого файла, процессу, работающему на каком-то сервере.
Чтобы ускорить это, я хотел бы сделать это с несколькими потоками параллельно.
Используя бэкпорт Python 2.7 для concurrent.futures ,...
720 просмотров
schedule
26.09.2022
Как отменить зависшую асинхронную задачу в торнадо с тайм-аутом?
Моя установка — это сервер python tornado, который асинхронно обрабатывает задачи с файлом ThreadPoolExecutor . В некоторых условиях задача может превратиться в бесконечный цикл. С помощью декоратора with_timeout мне удалось поймать исключение...
2381 просмотров
schedule
20.11.2023
concurrent.futures не распараллеливает запись
У меня есть список dataframe_chunk , который содержит фрагменты очень большого фрейма данных pandas. Я хотел бы записать каждый фрагмент в другой CSV и сделать это параллельно. Однако я вижу, что файлы записываются последовательно, и я не уверен,...
1705 просмотров
schedule
09.01.2024
Действительные фьючерсы против построенных по умолчанию фьючерсов
Я изучаю фьючерсы в своем классе параллельного программирования. Мой профессор заявил об этом на своих слайдах:
"Valid" futures are future objects associated to a
shared state, and are constructed by calling one of the following functions:...
1530 просмотров
schedule
12.05.2024
Понимание concurrent.futures.Executor.map()
Я пытаюсь распараллелить некоторый код Python, используя процессы и concurrent.futures . Похоже, я могу выполнять функцию несколько раз параллельно либо с помощью отправка вызовов и последующий вызов Future.result() на фьючерсах или с...
5532 просмотров
schedule
04.12.2023
concurrent.futures.ThreadPoolExecutor не работает как исключение. Потоки перестают работать, даже если в очереди достаточно данных для работы
Я работаю над поисковым роботом, используя python, чтобы получить все абсолютные URL-адреса на веб-странице, а затем выполнить поисковый робот для каждого URL-адреса на этой веб-странице.
например:
Как мы видим, веб-страница...
1572 просмотров
schedule
05.11.2022
Параллельные фьючерсы ждут подмножества задач
Я использую Python concurrent.futures рамки. Я использовал функцию map() для запуска параллельных задач как таковых:
def func(i):
return i*i
list = [1,2,3,4,5]
async_executor = concurrent.futures.ThreadPoolExecutor(5)
results =...
2003 просмотров
schedule
28.10.2023
Flask: Как мне успешно использовать многопроцессорность (не многопоточность)?
Я использую сервер Flask для обработки запросов на некоторые задачи обработки изображений.
Обработка в значительной степени зависит от OpenCV, и теперь я хотел бы тривиально распараллелить некоторые из более медленных шагов.
Я предпочитаю...
620 просмотров
schedule
11.12.2023
Как создать семена NumPy SeedSequence во время параллельной генерации случайных чисел?
В документации NumPy по параллельному генерированию случайных чисел показано, как используйте SeedSequence для создания семян внуков (см. ниже).
from numpy.random import SeedSequence, default_rng
ss = SeedSequence(12345)
# Spawn off 10...
234 просмотров
schedule
29.01.2024