Apache Spark не вижда цялата памет на моите машини

Създадох клъстер Spark от 8 машини. Всяка машина има 104 GB RAM и 16 виртуални ядра.

Изглежда, че Spark вижда само 42 GB RAM на машина, което не е правилно. Знаете ли защо Spark не вижда цялата RAM на машините?

въведете описание на изображението тук

PS: Използвам Apache Spark 1.2


google-compute-engine apache-spark apache-spark-mllib
person poiuytrez    schedule 10.02.2015    source източник
comment
Защо имам 3 гласа против? Изпускам ли нещо?   -  person poiuytrez    schedule 11.02.2015

Отговори (2)


arrow_upward
2
arrow_downward

Изглежда като често срещано погрешно схващане. Това, което се показва, е spark.storage.memoryFraction: https://stackoverflow.com/a/28363743/4278362

person Sietse    schedule 11.02.2015

arrow_upward
0
arrow_downward

Spark не се опитва да отгатне наличната памет. Изпълнителите използват толкова памет, колкото сте посочили с настройката spark.executor.memory. Изглежда, че е настроен на 42 GB.

person Daniel Darabos    schedule 10.02.2015
comment
spark.executor.memory беше настроен на 83971m. - person poiuytrez; 11.02.2015