Я знаю, что лучше всего удалять кластер, когда он не используется, и запускать его, когда пришло время запускать задания, но я хочу знать, можем ли мы иметь «кластер», работающий 24/7, но отключать всех рабочих, когда нет запущенных заданий (или после периода бездействия), а затем снова автоматически масштабируется при запуске задания?
Возможно ли автоматическое масштабирование кластера Dataproc до 0 рабочих процессов, когда никакие задания не выполняются?
Ответы (2)
Это не поддерживается. Вы можете иметь нулевые рабочие процессы только в кластерах с одним узлом, но они не могут иметь политики автомасштабирования. Кластер автомасштабирования должен иметь как минимум 2 основных рабочих процесса.
person
cyxxy
schedule
02.11.2020
Я не эксперт в Hadoop, но, насколько я знаю, это для распределенного хранения и обработки. Дело в том, что если вы масштабируетесь до 0, вы теряете свое хранилище.
В этом случае лучше удалить ваш кластер автоматически и автоматизировать его создание (например, с помощью Terraform).
person
guillaume blaquiere
schedule
02.11.2020
