Экземпляры Hadoop на GCE

Я настраиваю кластер Hadoop на Google Compute Engine. Но у меня возникли проблемы с пониманием того, как будет работать экземпляр кластера. Я уже много искал, но ничего не дал четкого ответа.

Создаете ли вы при настройке кластера Hadoop образ одного экземпляра, на котором установлен Hadoop, и каждый раз при загрузке этого экземпляра (образа) вы создаете другие экземпляры (узлы)?

Но этот подход потребует, чтобы узлы настраивались каждый раз, когда вы их создаете?

Кто-нибудь сталкивался с этим и мог бы предоставить некоторую документацию о настройке части кластера Hadoop в Google Compute Engine?


person user3569154    schedule 28.04.2014    source источник


Ответы (1)


Актуальную информацию о запуске Hadoop на облачной платформе Google можно найти здесь: https://developers.google.com/hadoop/

Там вы можете найти сценарии установки Hadoop, которые позволяют быстро развернуть кластер Hadoop на основе указанных вами сведений о конфигурации. Сценарий установки включает в себя возможность использовать распределенную файловую систему Hadoop (HDFS) в качестве файловой системы по умолчанию или облачное хранилище Google, которое предоставляет дополнительные функции, такие как автоматическое масштабирование емкости и сохранение ваших данных после окончания срока службы вашего кластера Hadoop.

person JonathanSimon    schedule 02.05.2014