Вопросы по теме 'joblib'

Python, распараллеливание с помощью joblib: отложено с несколькими аргументами
Я использую что-то похожее на следующее, чтобы распараллелить цикл for по двум матрицам. from joblib import Parallel, delayed import numpy def processInput(i,j): for k in range(len(i)): i[k] = 1 for t in range(len(b)):...
9862 просмотров
schedule 16.02.2024

Параллельная функция из joblib, выполняющая весь код отдельно от функций
Я использую функцию Parallel из пакета joblib в Python. Я хотел бы использовать эту функцию только для обработки одной из моих функций, но, к сожалению, весь код выполняется параллельно (отдельно от других функций). Пример: from joblib...
828 просмотров
schedule 31.05.2024

Запустите множество подпроцессов на множество разных узлов HPC с помощью Joblib+Dask.
Я пытаюсь запустить программу на Python, которая в какой-то момент выполняет множество (тысячи) смущающе параллельных процессов, которые представляют собой вызовы подпроцессов для другого программного обеспечения. Я запускаю это в кластере slurm на...
282 просмотров

Отслеживание индекса параллельного цикла for в Joblib
В Python у меня есть список объектов, по которым мне нужно выполнять итерацию в цикле, и выводить результат для каждой итерации, также отслеживая индекс итерируемого объекта. Обычно это не проблема, так как я могу просто использовать enumerate...
371 просмотров
schedule 23.01.2024

EOFError при загрузке списка диктов с различными типами данных
У меня есть список диктов, где каждый дикт содержит несколько разных элементов. Он используется как воспроизведение памяти в процессе обучения с подкреплением, и мне нужно создать файл резервной копии на случай, если что-то прервет этот процесс....
54 просмотров
schedule 25.03.2024

Как обеспечить постоянные модели sklearn на битовом уровне
Я хочу создать постоянную модель scikit-learn и ссылаться на нее позже через хэш. Используя joblib для сериализации, я ожидаю полной целостности (на уровне битов), если в моих данных нет изменений. Но каждый раз, когда я запускаю код, файл модели на...
100 просмотров
schedule 05.11.2022

Загрузка большой обученной модели машинного обучения с помощью joblib
Я пытаюсь обучить классификатор Радомского леса. Вот мой код: from sklearn.model_selection import GridSearchCV from sklearn.ensemble import RandomForestClassifier from sklearn.feature_extraction import DictVectorizer import pickle tr_features =...
50 просмотров

Выпуск Python, VTK и GIL
Я пытаюсь распараллелить обработку больших наборов данных в VTK, используя его интерфейс Python. Для этого я хочу использовать joblib, поскольку у меня есть (большое) количество независимых снимков, которые я хочу обработать и собрать в большую...
61 просмотров
schedule 06.11.2023

Почему запуск машинного обучения Sklearn с Dask не приводит к параллелизму?
Я хочу выполнять алгоритмы Machine Learning из библиотеки Sklearn на всех своих ядрах, используя библиотеки Dask и joblib . Мой код для joblib.parallel_backend с Dask: #Fire up the Joblib backend with Dask: with...
96 просмотров
schedule 21.12.2023