установка Hadoop и его технологий

Для требований учебного проекта я выбираю следующую технологию, поскольку источником данных является SQL SERVER.

Начальный размер данных 100Гб и 10 рост@квартал

Информация

Hadoop — многоузловой кластер (1 Namenode + 3 DataNode) Hadoop 3.1.2,
Apache Maven 3.6.0
Ubuntu 18.04
Ambari

Вышеупомянутая установка готова к следующему пункту, оставшемуся

Скуоп: 1.4.7 Улей: 2.3.5 Узи 5.0.0

Должны ли они все устанавливаться на отдельные машины?
Какова стратегия развертывания после завершения разработки?


hadoop hive sqoop ambari oozie
person user12731523    schedule 04.03.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Если у вас есть доступное оборудование, то да, каждая главная служба должна быть на отдельных машинах для обеспечения отказоустойчивости.

Это означает, что сервер Oozie, сервер Hive, хранилище метаданных Hive — все это отдельные.

Sqoop и клиент Hive являются только клиентами и могут быть на любом NodeManager.

person OneCricketeer    schedule 04.03.2020
comment
Спасибо за ответ. Не могли бы вы поделиться какой-либо ссылкой для более глубокого понимания. - person user12731523; 04.03.2020
comment
какова стратегия развертывания - person user12731523; 04.03.2020
comment
Я не знаю, что ты имеешь в виду. У вас уже есть Амбари, верно? Он сам предлагает стратегии развертывания - person OneCricketeer; 04.03.2020