Запуск Yarn в управляемом режиме

Я пытаюсь запустить приложение simple-yarn по адресу https://github.com/hortonworks/simple-yarn-app в управляемом режиме.

  • Я скопировал банку с локального на hdfs, например

    $ hadoop fs -copyFromLocal simple-yarn-app-1.0-SNAPSHOT.jar /simple-yarn-app-1.0-SNAPSHOT.jar

  • Когда я пытаюсь запустить его как

    hadoop jar simple-yarn-app-1.0-SNAPSHOT.jar com.hortonworks.simpleyarnapp.Client /bin/date 2 /simple-yarn-app-1.0-SNAPSHOT.jar

    Я получаю FAILED в качестве состояния. Я искал журнал в $HADOOP_HOME/logs, но не нашел связанного журнала.

  • Будет ли журнал где-то в HDFS?

Ниже приведена ошибка, которую я получаю:

`[[2~14/07/10 12:23:32 ПРЕДУПРЕЖДЕНИЕ util.NativeCodeLoader: невозможно загрузить собственную библиотеку Hadoop для вашей платформы... используя встроенные классы Java, где это применимо
14/07/10 12: 23:32 INFO client.RMProxy: подключение к ResourceManager по адресу /0.0.0.0:8032
Отправка приложения application_1405002979164_0004
14/07/10 12:23:32 INFO impl.YarnClientImpl: приложение application_1405002979164_0004 отправлено в ResourceManager по адресу /0.0.0 .0.0:8032
Приложение application_1405002979164_0004 завершено с состоянием FAILED на 1405013016326

Я получаю следующий диагностический отчет,

----------------Диагностика сбоев----------------
Сбой приложения application_1405062676632_0002 2 раза из-за контейнера AM для appattempt_1405062676632_0002_000002 завершен с exitCode: -1000 из-за: .
Неудачная попытка..
Неудачная попытка приложения.

Как мне отладить или исправить это?


hadoop hdfs yarn hortonworks-data-platform microsoft-distributed-file-system
person Prasanna    schedule 10.07.2014    source источник
comment
Я предлагаю вам также добавить журналы hadoop-yarn/userlogs/application_1405062676632_0002. Там вы можете найти больше полезной информации. К сожалению, информационная ошибка не очень ясна, и есть открытая проблема в JIRA. на него.   -  person eliasah    schedule 11.07.2014
comment
@eliasah Я не вижу каталога с именем hadoop-yarn. Единственный каталог пользовательских журналов, который у меня есть, находится в /home/prasanna/library/hadoop/hadoop-2.2.0/logs, и я не вижу никаких журналов с этим идентификатором приложения.   -  person Prasanna    schedule 11.07.2014
comment
Затем попробуйте настроить файл журнала в папке conf/ и воспроизвести ошибку.   -  person eliasah    schedule 13.07.2014

Ответы (1)


arrow_upward
1
arrow_downward

На всякий случай, если кто-то еще сталкивается с той же проблемой, при работе в управляемом режиме для этого приложения загрузите jar в hdfs и укажите путь к hdfs.

bin/hadoop jar simple-yarn-app-1.0-SNAPSHOT.jar com.hortonworks.simpleyarnapp.Client /bin/date 2 hdfs://XXX/user/XYZ/apps/simple/simple-yarn-app-1.0-SNAPSHOT .банка

person user2611221    schedule 10.12.2014