Вопросы по теме 'joblib'
Python, распараллеливание с помощью joblib: отложено с несколькими аргументами
Я использую что-то похожее на следующее, чтобы распараллелить цикл for по двум матрицам.
from joblib import Parallel, delayed
import numpy
def processInput(i,j):
for k in range(len(i)):
i[k] = 1
for t in range(len(b)):...
9862 просмотров
schedule
16.02.2024
Параллельная функция из joblib, выполняющая весь код отдельно от функций
Я использую функцию Parallel из пакета joblib в Python. Я хотел бы использовать эту функцию только для обработки одной из моих функций, но, к сожалению, весь код выполняется параллельно (отдельно от других функций).
Пример:
from joblib...
828 просмотров
schedule
31.05.2024
Запустите множество подпроцессов на множество разных узлов HPC с помощью Joblib+Dask.
Я пытаюсь запустить программу на Python, которая в какой-то момент выполняет множество (тысячи) смущающе параллельных процессов, которые представляют собой вызовы подпроцессов для другого программного обеспечения. Я запускаю это в кластере slurm на...
282 просмотров
schedule
11.12.2022
Отслеживание индекса параллельного цикла for в Joblib
В Python у меня есть список объектов, по которым мне нужно выполнять итерацию в цикле, и выводить результат для каждой итерации, также отслеживая индекс итерируемого объекта.
Обычно это не проблема, так как я могу просто использовать enumerate...
371 просмотров
schedule
23.01.2024
EOFError при загрузке списка диктов с различными типами данных
У меня есть список диктов, где каждый дикт содержит несколько разных элементов. Он используется как воспроизведение памяти в процессе обучения с подкреплением, и мне нужно создать файл резервной копии на случай, если что-то прервет этот процесс....
54 просмотров
schedule
25.03.2024
Как обеспечить постоянные модели sklearn на битовом уровне
Я хочу создать постоянную модель scikit-learn и ссылаться на нее позже через хэш. Используя joblib для сериализации, я ожидаю полной целостности (на уровне битов), если в моих данных нет изменений. Но каждый раз, когда я запускаю код, файл модели на...
100 просмотров
schedule
05.11.2022
Загрузка большой обученной модели машинного обучения с помощью joblib
Я пытаюсь обучить классификатор Радомского леса.
Вот мой код:
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_extraction import DictVectorizer
import pickle
tr_features =...
50 просмотров
schedule
25.12.2023
Выпуск Python, VTK и GIL
Я пытаюсь распараллелить обработку больших наборов данных в VTK, используя его интерфейс Python. Для этого я хочу использовать joblib, поскольку у меня есть (большое) количество независимых снимков, которые я хочу обработать и собрать в большую...
61 просмотров
schedule
06.11.2023
Почему запуск машинного обучения Sklearn с Dask не приводит к параллелизму?
Я хочу выполнять алгоритмы Machine Learning из библиотеки Sklearn на всех своих ядрах, используя библиотеки Dask и joblib .
Мой код для joblib.parallel_backend с Dask:
#Fire up the Joblib backend with Dask:
with...
96 просмотров
schedule
21.12.2023