Я использую mapreduce для запуска программы, чтобы отправить одно задание: я могу использовать следующий формат ./hadoop jar аргументы program.jar
в одном терминале это может отправить одно задание, но что, если я хочу отправить 100 заданий? невозможно
открыть 100 терминалов, поэтому я ищу способы отправки пакетных заданий, спасибо!
Вы вызываете ToolRunner.run(..) в цикле внутри вашего основного метода. Обязательно измените свой экземпляр Tool так, чтобы он вызывал Job.submit(), а не Job.waitForCompletion(), чтобы ваши задания выполнялись больше параллельно, чем последовательно (вы по-прежнему ограничены тем, сколько заданий вы можете запускать параллельно размером/конфигурацией вашего кластера):
public class MyDriver extends Configured implements Tool {
public static void main(String args[]) {
for (int x = 0; x < 100; x++) {
ToolRunner.run(new MyDriver(), args);
}
}
public int run(String args) {
Job job = new Job(getConf());
// job set up
// ...
job.submit();
}
}
