У меня есть кластер Mesos DCOS, работающий на AWS со Spark, установленным с помощью команды dcos package install spark. Я могу успешно выполнять задания Spark с помощью интерфейса командной строки DCOS: dcos spark run ...
Теперь я хотел бы выполнять задания Spark из контейнера Docker, работающего внутри кластера Mesos, но я не совсем уверен, как добраться до работающего экземпляра spark. Идея заключалась бы в том, чтобы контейнер Docker выполнял команду spark-submit для отправки задания в развертывание Spark вместо выполнения того же задания извне кластера с помощью интерфейса командной строки DCOS.
Текущая документация, по-видимому, сосредоточена только на запуске Spark через интерфейс командной строки DCOS — есть ли способ получить доступ к развертыванию spark из другого приложения, работающего внутри кластера?
