Apache Spark не видит всю оперативную память моих машин

Я создал кластер Spark из 8 машин. Каждая машина имеет 104 ГБ оперативной памяти и 16 виртуальных ядер.

Мне кажется, что Spark видит только 42 ГБ ОЗУ на машину, что неверно. Знаете, почему Spark не видит всю оперативную память машин?

введите здесь описание изображения

PS: я использую Apache Spark 1.2.


google-compute-engine apache-spark apache-spark-mllib
person poiuytrez    schedule 10.02.2015    source источник
comment
Почему у меня 3 минуса? Я что-то упускаю?   -  person poiuytrez    schedule 11.02.2015

Ответы (2)


arrow_upward
2
arrow_downward

Похоже на распространенное заблуждение. Отображается spark.storage.memoryFraction: https://stackoverflow.com/a/28363743/4278362

person Sietse    schedule 11.02.2015

arrow_upward
0
arrow_downward

Spark не пытается угадать доступную память. Исполнители используют столько памяти, сколько вы укажете с помощью параметра spark.executor.memory. Похоже, он установлен на 42 ГБ.

person Daniel Darabos    schedule 10.02.2015
comment
Для spark.executor.memory установлено значение 83971m. - person poiuytrez; 11.02.2015