auxService:mapreduce_shuffle не существует

Когда я пытаюсь запустить следующую команду:

# sqoop import --connect jdbc:mysql://IP Address/database --username root --password PASSWORD --table table_name --m 1

для импорта данных из базы данных mysql в HDFS я получаю сообщение об ошибке:

auxService:mapreduce_shuffle не существует.

Искал и просматривал много сайтов, ничего не помогло.

Как избавиться от этой проблемы? Пожалуйста, дайте мне знать, если потребуются дополнительные входные данные.


mysql hadoop hdfs sqoop yarn
person Shashikanth Komandoor    schedule 15.10.2014    source источник

Ответы (1)


arrow_upward
4
arrow_downward

Это запись, которую вам не хватает в yarn-site.xml. Примените эти записи как к узлам имен, так и к узлам данных. Если вы читаете это http://dataheads.wordpress.com/2013/11/21/hadoop-2-setup-on-64-bit-ubuntu-12-04-part-1/, вы увидите что yarn-site.xml должен иметь следующие записи:

 <property>
     <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

Будьте осторожны, когда пишете вспомогательные службы, потому что "-" в середине, вероятно, вызывает у вас эту проблему.

person SMA    schedule 15.10.2014
comment
Две записи свойств, представленные в yarn-site.xml в соответствии с приведенным выше URL-адресом, настроены в моей настройке, но я все равно получаю ту же ошибку. - person Shashikanth Komandoor; 15.10.2014
comment
Не забудьте перезапустить пряжу после редактирования пряжи-сайта.xml. - person jaybrau; 27.10.2015