Я создаю очень большой DAG в dask для отправки распределенному планировщику, где узлы работают с фреймами данных, которые сами по себе могут быть довольно большими. Один из шаблонов состоит в том, что у меня есть около 50-60 функций, которые...

У меня есть функция interpolate_to_particles , написанная на c и обернутая ctypes . Я хочу использовать dask.delayed для выполнения серии вызовов этой функции. Код успешно работает без dask # Interpolate w/o dask result =...

Я ломал голову, пытаясь понять, почему я не могу выполнить эту параллелизируемую функцию на Dask. По сути, у меня есть функция, которая загружается в модель keras (я сохраняю модель с помощью mlflow), а затем использует метод прогнозирования модели...