Имам кода по-долу example за някои предварителни процеси, преди да се изпълни задание за облицовка и някои постпроцеси. Тъй като тези предварителен и последващ процес извикват някаква база данни на mysql, бих искал да знам на кои hadoop възли потенциално би ги изпълнявал hadoop? (Трябва да отворя порта от тези възли към базата данни) може ли да изпълни предварителната обработка и последващата обработка на всяко hadoop data-node? Опитах се да направя някои изследвания, но не можах да намеря индикация, как е възможно да се намери чрез документация/източници на кой възел ще се изпълнява? (PS заданията са планирани с oozie)
preProcessingBeforeJobRuns() // **in which hadoop node would this be run? could it run on any datanode?**
log.info(s"ABOUT TO RUN JOB with input $jobInput")
val scaldingTool = new Tool
scaldingTool.setJobConstructor(createJob(jobInput))
val parser: GenericOptionsParser = new GenericOptionsParser(new Configuration(), args)
scaldingTool.setConf(parser.getConfiguration)
log.info(s"CALLING SCALDING RUN with args: ${args.toList.mkString(" ")}")
val status = scaldingTool.run(args)
log.info("FINISHED RUNNING JOB!")
somePostJobProcessing() // **in which hadoop node would this be run? could it run on any datanode?**
