Пряжа показывает больше ресурсов, чем есть у кластера

Я запускаю кластер EMR с 3 экземплярами m3.xlarge (1 главный и 2 подчиненных), и у меня возникают проблемы.

Из документации aws экземпляр m3.xlarge имеет 4 vcpu ( https://aws.amazon.com/ec2/instance-types/ ). Что это значит? Это означает 4 потока или 4 ядра по 2 потока на каждое ядро? Я спрашиваю вас об этом, потому что, когда я открываю пользовательский интерфейс Hadoop (порт 8088), кажется, что 8 доступных виртуальных ядер на экземпляры, но из того, что я испытал, кластер ведет себя как 2 экземпляра с 4 ядрами на экземпляры. Я ошибся? Или это баг от амазона или пряжи?


apache-spark yarn
person Cosmin    schedule 15.02.2017    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Значение 8 vcores исходит из свойства Yarn по умолчанию.

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
    <description>Number of vcores that can be allocated for containers. This is used by the RM scheduler when allocating resources for containers. This is not used to limit the number of physical cores used by YARN containers.</description>
</property>

Несмотря на то, что для него определено более высокое значение, чем фактическое количество виртуальных ядер в экземпляре, контейнеры будут созданы на основе количества виртуальных ядер, фактически доступных для каждого экземпляра nodemanager.

Измените значение этого свойства в yarn-site.xml в соответствии с vcores экземпляра.

person franklinsijo    schedule 16.02.2017