Может ли h2o выделить больше памяти для автономного кластера?

Я хочу увеличить память кластера h2o до 64 ГБ. Могу ли я сделать это да или нет? Если нет, то она должна быть равна или меньше моей системной памяти? или если да, то сколько я могу выделить?

import h2o
h2o.init(nthreads=-1,max_mem_size='16g')

Спасибо


python-3.x h2o memory
person Sanjay Kumar    schedule 14.12.2018    source источник
comment
Да, вы можете, max_mem_size не позволяет H2o использовать больше памяти, чем этот объем памяти, а min_men_size инициализирует размер   -  person Mntfr    schedule 14.12.2018
comment
@Mnfr В моей системе 20 ГБ оперативной памяти, могу ли я выделить 64 ГБ?   -  person Sanjay Kumar    schedule 14.12.2018

Ответы (1)


arrow_upward
1
arrow_downward

Параметр max_mem_size идет прямо к параметру Xmx для кучи Java, выделенной для внутреннего процесса h2o.

Поскольку java является языком со сборщиком мусора, вы никогда не захотите делать размер кучи java больше, чем примерно 90% физической памяти, иначе вы рискуете неконтролируемой подкачкой.

person TomKraljevic    schedule 14.12.2018
comment
Привет @TomKraljevic, в моей системе 20 ГБ оперативной памяти. Могу ли я выделить для этого 64 ГБ, потому что два раза он выключался и показал мне, что на вашем компьютере закончилась память? - person Sanjay Kumar; 14.12.2018
comment
@SanjayKumar Когда Том говорит 90% ... если у вас 20 ГБ, вы можете попробовать max_mem_size=18g, но больше, вероятно, будет нестабильным. 64гб однозначно нет. :-) Лучший способ получить 64 ГБ — это найти еще 3 машины того же размера и заставить каждую из них запустить узел с 16 ГБ и сформировать кластер. - person Darren Cook; 14.12.2018
comment
Спасибо, TomKraljevic и @DarrenCook за устранение путаницы. - person Sanjay Kumar; 15.12.2018