Стартиране на Hadoop Map Reduce Job на отдалечен клъстер в Eclipse с диалоговия прозорец за изпълнение (F11)

Възможно ли е да стартирате задание на Map Reduce на отдалечен клъстер с диалоговия прозорец за изпълнение на Eclipse (F11)?

В момента трябва да го стартирам с диалоговия прозорец за външна верига на инструменти и Maven.

Забележка: Изпълнението му на локален клъстер не е голяма работа с диалоговия прозорец за изпълнение. Но за отдалечена връзка е задължително да имате компилиран JAR. В противен случай получавате ClassNotFoundException (също ако е зададено Jar-By-Class)

Текущата ни настройка е:

  • Spring-Data-Hadoop 1.0.0
  • STS - Springsource Toolsuite
  • Мейвън
  • CDH4

Това задаваме на нашия applicationContext.xml (това е, което посочвате в *-site.xml на vanilla hadoop)

 <hdp:configuration id="hadoopConfiguration">
    fs.defaultFS=hdfs://carolin.ixcloud.net:8020
    mapred.job.tracker=michaela.ixcloud.net:8021
</hdp:configuration>

Има ли начин да кажете на Eclipse, че трябва да изгради JAR, когато се изпълни диалогът за изпълнение.


eclipse hadoop spring-data sts-springsourcetoolsuite
person d0x    schedule 13.03.2013    source източник

Отговори (1)


arrow_upward
0
arrow_downward

Не знам дали създава нов буркан (може би трябва да извлечете буркан в папка), като добавите "Run Configurations->Classpath" вашият буркан изчиства проблема "ClassNotFoundException".

person Alper    schedule 14.03.2013
comment
Здравей Алфер, изглежда, че eclipse не създава буркан. Предполагам, че просто поставя всички компилирани класове в classpath. Аз проекта, както споменахте. Без успех :( - person d0x; 14.03.2013
comment
След това, преди да стартирате вашата програма, трябва да извлечете буркана в папка във вашия проект на eclipse, като използвате десен бутон и експортирайте-›jar - person Alper; 14.03.2013
comment
добре, но горе-долу това е, което съм в момента с външната верига с инструменти и maven. Това е много неудобно, защото трябва да правите това за всяка промяна, която искате да тествате :( - person d0x; 14.03.2013