auxService:mapreduce_shuffle не съществува

Когато се опитвам да изпълня командата по-долу:

# sqoop import --connect jdbc:mysql://IP Address/database --username root --password PASSWORD --table table_name --m 1

за импортиране на данните от mysql база данни в HDFS, получавам грешката:

auxService:mapreduce_shuffle не съществува.

Търсих и разглеждах много сайтове, нищо не помогна.

Как да се отървете от този проблем? Моля, уведомете ме, ако са необходими още данни.


mysql hadoop hdfs sqoop yarn
person Shashikanth Komandoor    schedule 15.10.2014    source източник

Отговори (1)


arrow_upward
4
arrow_downward

Това е запис, който ви липсва в yarn-site.xml. Приложете тези записи както в namenodes, така и в datanodes. Ако прочетете това http://dataheads.wordpress.com/2013/11/21/hadoop-2-setup-on-64-bit-ubuntu-12-04-part-1/, ще видите този yarn-site.xml трябва да има тези записи:

 <property>
     <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

Бъдете внимателни, когато пишете aux-services, защото "-" в средата вероятно ви създава този проблем.

person SMA    schedule 15.10.2014
comment
Двата записа на свойства, присъстващи в yarn-site.xml според горния URL адрес, са конфигурирани в моята настройка, но все пак получавам същата грешка. - person Shashikanth Komandoor; 15.10.2014
comment
Не забравяйте да рестартирате yarn след редактиране на yarn-site.xml. - person jaybrau; 27.10.2015