У нас есть узел, на котором запущены Resource Manager и Node Manager. Это рекомендуется?
Могут ли диспетчер ресурсов и диспетчер узлов находиться в одном узле? [КартаR]
comment
Когда вы запускаете Hadoop в распределенном режиме Psuedo, все демоны работают на одной машине, но на разных JVM. Так что да, вы можете запускать RM и NM на одной машине. Это не рекомендуется, когда у вас есть полноценный кластер, потому что хорошо иметь их на отдельных машинах, чтобы избежать сбоев и т. д. Но вы также можете запускать их на одной машине в кластере.
- person philantrovert schedule 18.07.2017
comment
@philantrovert Спасибо за ваш ответ. У нас есть кластер из 8 узлов, и у нас есть некоторые проблемы с исключением некоторых заданий на Yarn (они занимают слишком много времени и останавливают обработку других). Считаете ли вы, что запуск NM и RM на одной машине является причиной этой проблемы? Кто рекомендует использовать отдельно RM и NM? Это из дистрибутива или просто правило?
- person Ayman Anikad schedule 19.07.2017
Ответы (1)
Диспетчер ресурсов и диспетчер узлов могут работать на одном и том же узле при условии наличия достаточного объема памяти. Если память, которую вы выделили обеим службам, а также память, которую вы выделили остальным службам и демонам, работающим на этом узле, превышают память хоста, вы можете вызвать OOME и убить приложения убийцей Linux OOM.
Для большинства дистрибутивов это не рекомендуется. Запуск RM и NM на отдельных узлах обеспечивает лучшую изоляцию памяти и ЦП. В частности, NM распределяет работу по контейнерам, а для них требуется память, поэтому, если вы перегрузили свои узлы, израсходовав всю память для запуска служб, у вас не останется памяти для запуска ваших контейнеров.
http://www.oracle.com/technetwork/articles/servers-storage-dev/oom-killer-1911807.html
person
tk421
schedule
15.08.2017
