У меня есть автоматически масштабируемый кластер aws HPC, управляемый slurm, я могу отправлять задания с помощью sbatch, однако я хочу использовать spraklyr в этом кластере, чтобы slurm увеличивал размер кластера в зависимости от рабочей нагрузки кода sparklyr в R-скрипте. Это возможно?
Как настроить Rstudio, sparklyR в кластере с автоматическим масштабированием, управляемом slurm?
Ответы (1)
Привет, Амир, есть ли причина, по которой вы используете здесь slurm? Sparklyr имеет лучшую интеграцию с Apache Spark, и было бы целесообразно запускать его на искровом кластере. Вы можете следить за этим блогом, чтобы узнать, как настроить это с помощью Amazon EMR, который представляет собой сервис для запуска кластера Spark на AWS — https://aws.amazon.com/blogs/big-data/running-sparklyr-rstudios-r-interface-to-spark-on-amazon-emr/
person
Austin Cherian
schedule
24.05.2021
Спасибо, Остин. Единственная причина в том, что на кластерах, к которым у меня есть доступ, уже установлен slurm!
- person Amir; 08.06.2021
