Hadoop екземпляри на GCE

Настройвам клъстер Hadoop на Google Compute Engine. Но имам проблеми с разбирането как ще работи екземплярът на клъстера. Вече търсих много, но нищо не даде ясен отговор.

Когато настройвате Hadoop клъстер, създавате ли изображение на един екземпляр, който има инсталиран Hadoop и всеки път, когато стартирате този екземпляр (изображение), създавате ли другите екземпляри (възли)?

Но този подход ще изисква възлите да се конфигурират всеки път, когато ги създавате?

Някой има ли опит с това и може ли да предостави някаква документация относно настройването на част от Hadoop клъстер в Google Compute Engine?


person user3569154    schedule 28.04.2014    source източник


Отговори (1)


Най-новата информация за стартирането на Hadoop в Google Cloud Platform може да бъде намерена тук: https://developers.google.com/hadoop/

Там можете да намерите скриптове за настройка на Hadoop, които ви позволяват бързо да завъртите Hadoop клъстер въз основа на подробности за конфигурацията, които посочите. Скриптът за настройка включва опцията за използване на Hadoop Distributed File System (HDFS) като файлова система по подразбиране или Google Cloud Storage - което предоставя допълнителна функционалност като автоматично мащабиране на капацитета и запазване на вашите данни след живота на вашия Hadoop клъстер.

person JonathanSimon    schedule 02.05.2014