Вопросы по теме 'oozie'
запуск рабочего процесса oozie с использованием кода Java
Я новичок в java, и у меня возникли проблемы с запуском задания oozie с использованием кода java. Я не могу понять проблему в коде. Некоторая помощь будет действительно оценена. Вот мой код
import java.util.Properties;
import...
5731 просмотров
schedule
08.12.2022
Oozie не удалось вывести стандартный вывод из-за неудачных действий
Я написал рабочий процесс oozie с действием ssh, если действие в порядке, то следующее действие может прочитать свой стандартный вывод с помощью функции EL ${(wf:actionData('action')['property'])} .
Но в случае неудачного действия следующему...
232 просмотров
schedule
23.04.2024
перемещение большого количества файлов из hdfs в hdfs
Мне нужно переместить (не скопировать) много файлов из одного каталога hdfs в другой каталог hdfs в том же кластере.
Я мог бы использовать distcp, но это кажется излишним, поскольку он копирует файл (дублирует его). Я просто хочу его переместить ....
4544 просмотров
schedule
13.04.2024
Cloudera vm oozieWorkflow java.lang.ClassNotFoundException
Я новичок в Hadoop, и у меня есть текущая проблема:
Я продолжаю получать «java.lang.ClassNotFoundException», когда пытаюсь запустить рабочий процесс oozzie. Я использую виртуальную машину быстрого запуска Cloudera v 4.5.
используемые настройки...
896 просмотров
schedule
27.10.2022
Переименование папки во время выполнения в Oozie или pig
Я все еще новичок в Oozie and Pig. Может ли кто-нибудь сказать мне, как я могу переименовать папку во время выполнения с помощью Oozie или Pig. У меня есть скрипт свиньи, который считывает данные из папки, скажем, Input, а затем записывает вывод в...
775 просмотров
schedule
05.02.2024
запустить запрос через oozie (без скрипта)
Я пытаюсь отправить непредварительно сформированные запросы специального характера через oozie. Из документации расширения действий oozie hive http://oozie.apache.org/docs/3.3.1/DG_HiveActionExtension.html , в моем XML-файле рабочего процесса может...
903 просмотров
schedule
05.06.2024
Дублирование банок при развертывании задания oozie
У меня есть работа oozie, в которой используется jar jets3t v 0.9. По умолчанию oozie загружает jar jets3t v 0.6 из каталога Hadoop lib. Из-за этого загружаются обе банки, и я получаю java verifierError. Есть ли способ остановить oozie от загрузки...
107 просмотров
schedule
25.04.2024
Пользовательское асинхронное действие Oozie
У меня проблема с реализацией пользовательского асинхронного действия в Oozie. Мой класс расширяется от ActionExecutor и перезаписывает методы initActionType, start, end, check, kill и isCompleted.
В методе запуска я хочу запустить задание YARN,...
941 просмотров
schedule
19.11.2023
как обрабатывать очистку ошибок отдельно для параллельных заданий в oozie
Мне нужно запустить набор параллельных заданий в oozie, которые я могу запустить, используя опцию fork в oozie. Теперь проблема, с которой я сталкиваюсь, заключается в том, что если одно задание завершается с ошибкой, остальные задания также терпят...
1088 просмотров
schedule
02.12.2022
Как я могу использовать свойство конфигурации рабочего процесса Oozie в самом рабочем процессе?
У меня есть координатор Oozie, который следит за появлением файла в определенном каталоге. Этот координатор работает ежедневно. Если просматриваемый файл появляется, запускается рабочий процесс.
Рабочий процесс принимает параметр отслеживаемого...
2218 просмотров
schedule
24.03.2024
Установить дату начала координатора Oozie на начало текущего квартала
Я хочу запустить задание oozie для daterange как quater to date. Как настроить его, чтобы начальный экземпляр имел дату начала квартала
248 просмотров
schedule
04.02.2024
Рабочий процесс Oozie с действием Hive завершился неудачно, возникла проблема с разрешением
У нас есть кластер Hadoop, на котором работает HDP 2.2.0.0.
У нас есть еще один кластер Hadoop, на котором работает HDP 2.2.4.2.
У нас есть рабочий процесс Oozie с действием Hive, который отлично работает в первом кластере с HDP 2.2.0.0.
Но...
582 просмотров
schedule
07.01.2024
Функции EL для Oozie done-flag
Я пытаюсь использовать встроенные функции или функции EL, предоставляемые oozie в теге oozie-coordinator xml, но, похоже, это не поддерживается? Кто-нибудь знает какой-либо другой способ заявить об этом?
Наши готовые флаги содержат даты....
1538 просмотров
schedule
04.11.2022
Как заставить координатор материализоваться на определенной частоте?
Я хотел бы знать, возможно ли/как заставить координатора материализовать или создать экземпляр рабочего процесса через равные промежутки времени, даже если предыдущий созданный рабочий процесс еще не выполнен.
Поясню: у меня есть простой...
882 просмотров
schedule
16.05.2024
ни одна функция не сопоставлена с именем action:output , действие оболочки oozie
Согласно документации oozie , вы можете записывать выходные данные действие оболочки, использующее функцию String action:output(String node, String key) , но когда я использую его в своем узле принятия решений, таком как <decision...
396 просмотров
schedule
31.10.2023
Передача значения переменной pig из одного действия в другое в Oozie
Мой фрагмент рабочего процесса oozie выглядит так:
<workflow-app name="Abandonment_Workflow" xmlns="uri:oozie:workflow:0.5">
<start to="pig-0581"/>
<kill name="Kill">
<message>Action failed, error...
408 просмотров
schedule
25.01.2024
Oozie запускает сценарии оболочки на случайных узлах
Я написал что-то вроде пользовательского FTP-экшена oozie (простой пример описан в статье «Профессиональные решения Hadoop, авторы: Борис Люблинский; Кевин Т. Смит; Алексей Якубович»). У нас есть HDFS на узле1 и сервер Oozie на узле2. Node2 также...
353 просмотров
schedule
07.04.2024
Действие оболочки Oozie — запуск команды sqoop и необходимость ведения журнала
Я работаю с Oozie, shell action и sqoop.
Я использую oozie для запуска многих команд sqoop. Я настроил действие оболочки, и в этой оболочке я разместил много команд sqoop. Теперь запускается действие оболочки, и даже происходит sqoop.
Однако...
1675 просмотров
schedule
17.05.2024
Глобальные конфигурации Oozie
На основании документа oozie я понимаю, что могу использовать глобальный элемент чтобы не повторять, скажем, спецификацию трекера заданий для каждого действия. Хотя, учитывая следующий простой рабочий процесс:
<workflow-app name="Test Hello...
1293 просмотров
schedule
28.12.2023
Запланировать файл scala с помощью oozie?
Как мне запустить/запланировать файл .scala, который я запускаю с помощью команды spark-shell, используя oozie?
Я запускаю этот файл с помощью команды spark-shell -i Combined.scala !
Мне было интересно, присутствует ли здесь что-то...
2687 просмотров
schedule
17.11.2022
