Ошибка открытия файла планировщика Hadoop Fair?

Я тестирую честный режим планировщика для назначения заданий, однако получаю такую ​​ошибку java.io.IOException: Не удается запустить программу «bash»: java.io.IOException: error=24, Слишком много открытых файлов

После google большинство из них скажет проверить, сколько файлов в настоящее время открыто в системе (с помощью unix-команды lsof) и как это число связано с вашим системным лимитом (проверьте с помощью bash-команды ulimit -n). Увеличение максимального количества открытых файлов, на мой взгляд, является краткосрочным решением.

Есть ли способ избежать этого?


hadoop scheduler
person user974270    schedule 30.03.2012    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Тот факт, что ваша система достигает предела для # (максимальное количество открытых файлов), вам, возможно, придется проверить:

  1. Сколько других операций выполняется в системе?
  2. Они сильно открывают много файлов?
  3. Ваша работа в Hadoop сильно открывает много файлов?
  4. Текущий лимит #(max open files) слишком мал в вашей системе? (вы можете погуглить типичные значения). Если он слишком мал, рассмотрите возможность его увеличения.

Я думаю, что увеличение лимита #(max open files) сработает. В долгосрочной перспективе вы можете снова столкнуться с этой проблемой, если не решить № 1, № 2 и № 3.

person Tejas Patil    schedule 31.03.2012