hadoop справедлив планировчик грешка при отваряне на файл?

Тествам справедливия режим на планировчик за възлагане на работа, но получавам такава грешка java.io.IOException: Не може да се стартира програма "bash": java.io.IOException: error=24, Твърде много отворени файлове

След гугъл повечето от тях ще кажат да се провери колко файла са отворени в момента в системата (чрез unix команда lsof) и как това число е свързано със системния ви лимит (проверете чрез bash команда ulimit -n). Увеличаването на максималния брой отворени файлове наведнъж е краткосрочно решение според мен.

Има ли начин да се избегне това?


hadoop scheduler
person user974270    schedule 30.03.2012    source източник

Отговори (1)


arrow_upward
0
arrow_downward

Фактът, че системата ви достига лимита за # (максимум отворени файлове), може да се наложи да проверите:

  1. Колко други операции се изпълняват в системата?
  2. Силно ли отварят много файлове?
  3. Вашата hadoop работа силно ли отваря много файлове?
  4. Текущото ограничение за # (максимум отворени файлове) твърде малко ли е във вашата система? (можете да намерите типичните стойности в Google). Ако е твърде малък, помислете за увеличаването му

Мисля, че увеличаването на ограничението за # (максимум отворени файлове) ще свърши работа. В дългосрочен план може отново да се сблъскате с този проблем, ако #1, #2 и #3 не бъдат разгледани.

person Tejas Patil    schedule 31.03.2012