запустить запрос через oozie (без скрипта)

Я пытаюсь отправить непредварительно сформированные запросы специального характера через oozie. Из документации расширения действий oozie hive http://oozie.apache.org/docs/3.3.1/DG_HiveActionExtension.html, в моем XML-файле рабочего процесса может быть следующее: -

        <script>someScriptWithQuery.q</script>
        <param>TABLE=foo</param>

Здесь someScriptWithQuery.q может содержать запрос куста с параметризованным именем таблицы и должен находиться в системе hdfs.

Что я пытаюсь понять, так это то, что если у меня есть случай, когда

(1) невозможно предварительно сформировать запрос, но он должен быть построен на специальной основе (в основном это означает, что я не могу использовать тег «скрипт» в приведенном выше рабочем процессе xml) и

(2) невозможно иметь сценарий в системе hdfs (и, следовательно, я не могу параметризовать весь запрос) -

В этом сценарии, как мне отправить этот запрос через oozie? Мой вопрос связан с несколько похожим сообщением здесь -hoc запрос с помощью Hive/Hadoop с помощью Oozie.

Существуют ли другие возможные способы достижения этого? Любая помощь по этому вопросу будет принята с благодарностью.


sql hadoop hdfs hive oozie
person user3667029    schedule 22.05.2014    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Чтобы ответить на ваши два вопроса:

1) Да, вы можете, просто добавьте еще один узел, например:

<script>someScriptWithQuery.q</script>
<param>TABLE=foo</param>
<file>someTransformScript</file?

а затем используйте этот скрипт внутри запроса с ИСПОЛЬЗОВАНИЕМ 'someTransformScript'

2) это всегда возможно, если ваш сервер Hadoop поддерживает этот скрипт, например. ваши узлы имеют все необходимые зависимости и т. д.

Надеюсь это поможет

person Mangiucugna    schedule 25.06.2014