Преждата показва повече ресурси, отколкото има клъстерът

Стартирам EMR клъстер с 3 екземпляра m3.xlarge (1 главен и 2 подчинени) и имам някои проблеми.

От документацията на aws екземпляр на m3.xlarge има 4 vcpu ( https://aws.amazon.com/ec2/instance-types/ ) . Какво означава? Това означава 4 нишки или 4 ядра с 2 нишки на всяко ядро? Питам ви това, защото когато отворя потребителския интерфейс на hadoop (порт 8088), изглежда има 8 налични vcore на инстанции, но от това, което преживях, клъстерът се държи като 2 инстанции с 4 vcore на инстанции. Греша ли? Или това е грешка от Amazon или прежда?


apache-spark yarn
person Cosmin    schedule 15.02.2017    source източник

Отговори (1)


arrow_upward
1
arrow_downward

Стойността 8 vcores идва от свойството Yarn по подразбиране

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
    <description>Number of vcores that can be allocated for containers. This is used by the RM scheduler when allocating resources for containers. This is not used to limit the number of physical cores used by YARN containers.</description>
</property>

Въпреки че е дефинирана на по-висока стойност от действителния брой vcores в екземпляра, контейнерите ще бъдат създадени въз основа на броя vcores, действително налични за екземпляр на nodemanager.

Променете стойността на това свойство в yarn-site.xml според vcores на екземпляра.

person franklinsijo    schedule 16.02.2017