Непредвиденное исключение zookeeper, вызывающее отключение, когда носок все еще открыт

Я получаю довольно много серьезных проблем в кластере Cloudera Hadoop 2.0, которые совпадают со следующими ошибками в zookeeper, которые происходят много раз в день.

Я не могу найти основную причину этого.

Любая помощь приветствуется.

2016-04-11 14:48:30,872 ERROR org.apache.zookeeper.server.quorum.LearnerHandler: Unexpected exception causing shutdown while sock still open 2016-04-11 14:48:49,584 ERROR org.apache.zookeeper.server.quorum.LearnerHandler: Unexpected exception causing shutdown while sock still open 2016-04-11 14:49:07,239 ERROR org.apache.zookeeper.server.quorum.LearnerHandler: Unexpected exception causing shutdown while sock still open 2016-04-11 14:49:25,291 ERROR org.apache.zookeeper.server.quorum.LearnerHandler: Unexpected exception causing shutdown while sock still open 2016-04-11 14:49:42,779 ERROR org.apache.zookeeper.server.quorum.LearnerHandler: Unexpected exception causing shutdown while sock still open 2016-04-11 14:50:00,613 ERROR org.apache.zookeeper.server.quorum.LearnerHandler: Unexpected exception causing shutdown while sock still open 2016-04-11 14:50:17,976 ERROR org.apache.zookeeper.server.quorum.LearnerHandler: Unexpected exception causing shutdown while sock still open 2016-04-11 14:50:35,957 ERROR org.apache.zookeeper.server.quorum.LearnerHandler: Unexpected exception causing shutdown while sock still open 2016-04-11 14:50:54,676 ERROR org.apache.zookeeper.server.quorum.LearnerHandler: Unexpected exception causing shutdown while sock still open


hadoop cloudera apache-zookeeper yarn
person Mamun    schedule 12.04.2016    source источник
comment
Проверьте это, надеюсь, это решит вашу проблему...community.cloudera.com/t5/Storage-Random-Access-HDFS/   -  person BruceWayne    schedule 12.04.2016
comment
Спасибо, Кришна, я попробую как можно скорее.   -  person Mamun    schedule 12.04.2016

Ответы (1)


arrow_upward
1
arrow_downward

Оказалось, что это проблема с двумя слоями:

Вышеупомянутая ошибка происходила, когда слишком долго шли выборы лидера.

Причиной того, что выборы лидера заняли слишком много времени, были поврежденные данные на одном из 3 серверов zookeeper.

Как только файлы данных из /var/lib/zookeeper были удалены, а zookeeper перезапущен, выборы лидера прошли успешно, и это, в свою очередь, решило проблему, описанную выше.

person Mamun    schedule 14.04.2016