Как координатор Oozie реагирует на базовое изменение рабочего процесса?

У меня есть вопрос об Apache Oozie и, в частности, о дистрибутиве CDH.

Что происходит с координатором, когда используемый им рабочий процесс был изменен? Например, рабочий процесс теперь использует дополнительный параметр, который автоматически заполняется переменной. Теоретически это не потребует каких-либо изменений координатора. Используют ли текущие координаторы конфигурацию первоначального рабочего процесса или они динамически адаптируются к новой? Если они по-прежнему используют старую конфигурацию, нужно ли мне определять нового координатора или достаточно повторно отправить того же координатора?


hadoop cloudera-cdh oozie oozie-coordinator
person spijs    schedule 06.01.2017    source источник
comment
Я считаю, что workflow.xml изменился для вас. Новый параметр конфигурации уже присутствует в конфигурации, отправленной на согласование?   -  person YoungHobbit    schedule 06.01.2017
comment
Я не совсем уверен, что вы спрашиваете здесь. Для координатора никаких изменений не требуется, но workflow.xml для рабочего процесса действительно изменился. Я спрашиваю, как координатор связан с рабочим процессом. Связан ли работающий координатор с предыдущим файлом, что я считаю логичным? Второй вопрос какой координатор работает не привязан к старому файлу или к новому? Значение: мне нужно создать нового координатора, обновить моего координатора или я могу просто повторно отправить заявку? @YoungHobbit   -  person spijs    schedule 06.01.2017
comment
Если изменился только workflow.xml, замените workflow.xml в HDFS (путь приложения, который вы указали в координаторе). Для следующего выполнения он выберет новый рабочий процесс. Просто убедитесь, что новый/измененный параметр уже присутствует в представленном координаторе. Спасибо.   -  person YoungHobbit    schedule 06.01.2017

Ответы (1)


arrow_upward
2
arrow_downward

Вот как это работает: Каждый представленный координатор имеет фиксированный набор переменных и параметров (файл конфигурации). Опция -change позволяет изменить следующие атрибуты координатора:

  • endtime: время окончания работы координатора.
  • параллелизм: параллелизм работы координатора.
  • pausetime: время паузы работы координатора.

Все, кроме имени координатора координатора, частоты, времени начала, времени окончания и часового пояса, можно изменить с помощью опции -update. Подробности смотрите в официальной документации:

http://oozie.apache.org/docs/4.3.0/DG_CommandLineTool.html#Updating_coordinator_definition_and_properties

В файле конфигурации вы обычно указываете на файл координатора в hdfs, который затем указывает на файл рабочего процесса в hdfs. Если вы измените любой из них в hdfs, при следующем запуске координатора он будет использовать новые/измененные файлы. То же самое верно для всех файлов, которые используются в действиях рабочего процесса, например. shell-скрипты, Jar-файлы, ...

person garkyn    schedule 18.01.2017
comment
Полные свойства конфигурации могут быть обновлены для координатора с помощью опции -update. - person YoungHobbit; 19.01.2017
comment
Вы правы, я отредактировал свой ответ, чтобы включить эту функцию. Большое спасибо, что указали на это - person garkyn; 23.01.2017
comment
@garkyn Я только что изменил рабочий процесс в Hue, который теперь использует дополнительный файл, необходимый для какого-то другого кода. В то время как рабочий процесс сам по себе работает, координатор, использующий этот рабочий процесс, не работает, потому что он, по-видимому, все еще использует старый рабочий процесс. Если я правильно интерпретирую ваш ответ, рабочий процесс будет использовать обновленный xml рабочего процесса после его запуска. Означает ли это, что Hue создает другой XML-файл рабочего процесса каждый раз, когда вносятся изменения? Или другая возможность: координатор делает копию файла рабочего процесса в момент создания? - person spijs; 16.02.2017
comment
извините, я не совсем понимаю ваш вопрос. Вы создали рабочий процесс/координатор через HUE или вы только начали его таким образом. Если вы работаете с Oozie, я настоятельно рекомендую полностью отказаться от HUE. - person garkyn; 17.02.2017