Как мне запустить/запланировать файл .scala, который я запускаю с помощью команды spark-shell, используя oozie?
Я запускаю этот файл с помощью команды spark-shell -i Combined.scala
!
Мне было интересно, присутствует ли здесь что-то конкретное, например, как мы планируем работу свиней в oozie!
По предложению Дэвида я создал xml:
<workflow-app xmlns='uri:oozie:workflow:0.2' name='oozie-java-spark-wf'>
<start to='java-spark' />
<action name='java-spark'>
<spark xmlns="uri:oozie:spark-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<master>yarn-cluster</master>
<name>Spark Patent Citation</name>
<class>org.apache.spark.repl.Main</class>
<jar></jar>
<arg>-i</arg>
<arg>${nameNode}/user/hdfs/scala_file/combined.scala</arg>
</spark>
<ok to="end"/>
<error to="fail"/>
</action>
<kill name="fail">
<message>Spark Java PatentCitation failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>
</workflow-app>
Я получаю сообщение об ошибке:
Код ошибки JA018 Сообщение об ошибке Основной класс [org.apache.oozie.action.hadoop.SparkMain], main() выдал исключение, ноль
Где я ошибаюсь?
