Вопросы по теме 'python-multiprocessing'
Разница в поведении между os.fork и multiprocessing.Process
У меня есть этот код:
import os
pid = os.fork()
if pid == 0:
os.environ['HOME'] = "rep1"
external_function()
else:
os.environ['HOME'] = "rep2"
external_function()
и этот код:
from multiprocessing import Process, Pipe...
12852 просмотров
schedule
13.10.2022
Python3, Opencv3 и многопроцессорность вызывают системную ошибку
В настоящее время я использую OpenCV 3 с python 3.4. Моя машина — MacBook Pro с OS X 10.10 (Yosemite), и у меня возникают проблемы при использовании некоторых функций OpenCV в сочетании с многопроцессорной библиотекой. Вот (очень) упрощенный пример...
352 просмотров
schedule
13.12.2023
многопроцессорность Python: уведомить родителя, когда ребенок будет убит
Я пытаюсь сымитировать сценарий, в котором ребенок, порожденный многопроцессорным пулом python, погибает. Подпроцесс никогда не возвращается, но я хотел бы, чтобы родитель получал уведомление в таком сценарии. Я использую тестовый код:
import...
1496 просмотров
schedule
03.11.2022
Как выбрать типы методов класса Python (т.е. для многопроцессорности)?
Как распарить типы методов класса Python? Он не реализован в стандартной библиотеке. Я обнаружил, что могу использовать некоторые сторонние модули, такие как dill , но как это сделать только с рассолом.
Я подготовил тестовый код, чтобы упростить...
745 просмотров
schedule
13.04.2024
Как создать глобальную блокировку/семафор с multiprocessing.pool в Python?
Я хочу ограничить доступ к ресурсам в дочерних процессах. Например, ограничьте http-загрузки , disk io и т. д. Как я могу добиться этого, расширив этот базовый код?
Поделитесь, пожалуйста, некоторыми базовыми примерами кода.
pool =...
19822 просмотров
schedule
12.03.2024
Python: (Пафос) Многопроцессорность против методов класса
Я пытаюсь распараллелить код, используя методы класса с помощью многопроцессорности. Базовая структура следующая:
# from multiprocessing import Pool
from pathos.multiprocessing import ProcessingPool as Pool
class myclass(object):
def...
2909 просмотров
schedule
01.06.2024
Python переключился с Threading на Multiprocessing, теперь публикация/подписка (Луи) не работает
Сегодня я переключил большинство своих реализаций потоков на многопроцессорность, и все прошло отлично, за исключением сообщений диспетчера louie. Конечно, это, вероятно, не последний модуль публикации/подписки, но я использую его, потому что мне уже...
467 просмотров
schedule
21.10.2022
Многопроцессорность с Qt работает в Windows, но не в Linux
Я использую Qt для разработки приложений с графическим интерфейсом.
Я получаю сообщение об ошибке, когда пытаюсь создать еще один QApplication с помощью multiprocessing :
RuntimeError: Экземпляр QApplication уже существует
У меня...
1134 просмотров
schedule
18.05.2024
Как настроить потребителя RabbitMQ для потребления из непустой очереди?
В настоящее время я работаю с RabbitMQ в Python, используя клиент Pika для создания сервера, который обрабатывает различные типы сообщений. Базовая установка, которую я имею, — это одна очередь, получающая все входящие сообщения, процесс...
337 просмотров
schedule
17.09.2022
Общие ценности Python
В моем проекте у меня есть несколько таких флагов:
file_a = False
file_b = False
file_c = False
Я пытаюсь запустить два процесса: один (сейчас назовем его A) обрабатывает входящие сообщения в очереди сообщений, второй (сейчас назовем его B)...
10004 просмотров
schedule
11.11.2023
Программа с flask-socketio и multiprocessing thorws 'LoopExit: эта операция будет заблокирована навсегда'
во-первых: я абсолютный новичок в python, раньше я писал PHP, поэтому, если я получаю что-то совершенно неправильное, пожалуйста, дайте мне знать.
Я пишу приложение. Он должен предоставлять свою информацию через веб-сокеты. Для этого я выбрал...
2017 просмотров
schedule
27.10.2023
Как обмениваться данными между процессами Python?
Я использую многопроцессорность для создания подпроцесса в моем приложении Python. Я хотел бы поделиться данными между моим родительским и дочерним процессами. Важно отметить, что мне нужно поделиться этим асинхронно, это означает, что дочерний...
20359 просмотров
schedule
27.04.2024
Можно ли завершить рабочий процесс Flask после обработки N запросов?
Если я использую параметр processes ( application.run(processes=10) ) в Flask, можно ли как-то указать, чтобы завершить процесс после того, как он обработает N задач?
По сути, я хотел бы повторно использовать ресурс для N запросов, а затем...
395 просмотров
schedule
03.10.2022
Python: совместное использование блокировки между порожденными процессами
Конечная цель - выполнить метод в фоновом режиме, но не параллельно: когда несколько объектов вызывают этот метод, каждый должен дождаться своей очереди для продолжения. Чтобы добиться работы в фоновом режиме, мне нужно запустить метод в подпроцессе...
1487 просмотров
schedule
19.02.2024
Как определить multiprocessing.Pipe заполнен?
Описание проблемы: я выполняю многопроцессорную обработку в Python и использую multiprocessing.Pipe() для связи между процессами. Я много искал, но все еще не мог найти способ определить, заполнена ли труба или нет. Например, ниже процесс...
3891 просмотров
schedule
06.02.2024
Многопроцессорность Python3: ошибка выделения памяти
Я знаю, что этот вопрос задавался много раз, но ответы не применимы. Это ответ на один параллельный цикл с использованием многопроцессорной обработки в StackoverFlow:
import multiprocessing as mp
def processInput(i):
return i * i
if...
266 просмотров
schedule
19.03.2024
Многопроцессорность и dict пусты после обновления [python3]
у меня есть одна проблема с моим кодом в python3: я пробовал много решений, но все равно тот же результат.
import pprint
import concurrent
import multiprocessing
from concurrent import futures
class exempleStackOverFlow:
def __init__(self):...
724 просмотров
schedule
10.12.2023
Совместно использовать словарь, хранящий объекты, между несколькими процессами в Python
Я работаю над большим скриптом, основная цель которого - прочитать содержимое многих файлов и сохранить номер каждого элемента в словаре. Если элемент отсутствует в словаре, то мы создаем новый экземпляр какого-то объекта и затем увеличиваем его,...
387 просмотров
schedule
26.03.2024
Как завершить мультипроцесс в python при выполнении заданного условия?
Допустим, у меня есть функция:
def f():
while True:
x = generate_something()
if x == condition:
return x
if __name__ == '__main__':
p=Pool(4)
Я хочу запустить эту функцию в мультипроцессе,...
8202 просмотров
schedule
13.02.2024
Как поддерживать глобальные процессы в пуле, работающие рекурсивно?
Я хочу реализовать рекурсивный параллельный алгоритм, и я хочу, чтобы пул создавался только один раз, и каждый временной шаг выполнял задание, ждал завершения всех заданий, а затем снова вызывал процессы с входами предыдущих выходов, а затем снова то...
86 просмотров
schedule
09.12.2023
