Запуск Spark на YARN с Apache Zeppelin занимает X% очереди, даже если на самом деле ее никто не использует.
Поскольку я выполняю ночные задания CRON, я хотел бы убить/закрыть/выйти из приложения Zeppelin Spark через X минут бездействия, чтобы очередь была свободна для ночных заданий.
Убийство с помощью cron — достойное рабочее решение для уничтожения заданий в фиксированное время (скажем, в 04:00).
Более элегантным решением была бы интеграция Zeppelin с Livy (см. spark.html" rel="nofollow noreferrer">https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.1/bk_zeppelin-component-guide/content/zepp-with-spark.html ), так как Livy можно настроить на завершение (а затем освобождение ресурсов) через x минут бездействия.
