Как я могу динамически обновить процессор / оперативную память / диск рабочего в dataproc?

Я создал кластер по умолчанию (4 виртуальных процессора, 15 ГБ ОЗУ) в Google dataproc. После проработки нескольких скребков в кластере осталось 2-3 неработоспособных узла. Поэтому я обновил виртуальные ЦП рабочей виртуальной машины (от 4 до 8 виртуальных ЦП), ОЗУ (от 15 до 30 ГБ) и диск. Но в веб-интерфейсе Hadoop было показано, что оборудование рабочего узла не изменилось, он по-прежнему показывал оригинальные монтирования vCPU / Ram / Disk.

Как я могу динамически обновить процессор / оперативную память / диск рабочего в dataproc?

Спасибо.


person Ethan    schedule 22.08.2016    source источник


Ответы (1)


Dataproc не поддерживает обновление рабочих на запущенных кластерах. Для обновления предлагаем воссоздать кластер. Вы также можете добавить дополнительных рабочих с помощью команды кластеров update gcloud.

Можно обновить тип рабочего, остановив каждый экземпляр рабочего, обновив и перезапустив его. Однако существует ряд свойств всплеска / искры, которые необходимо изменить, чтобы приспособиться к разным размерам контейнеров.

person tix    schedule 23.08.2016
comment
Спасибо. Я хочу знать, как настроить свойства hadoop / spartk в соответствии со спецификацией HW обновленного рабочего. и для улучшения производительности HADOOP. - person Ethan; 24.08.2016
comment
Мы всегда оптимизируем свойства для каждого dataproc и выпуска hadoop / spark. Вот пример того, как вы могли бы это сделать (но, пожалуйста, не делайте этого при создании кластера): docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0/ - person tix; 25.08.2016