Согласно домашней странице NiFi, он «поддерживает мощные и масштабируемые ориентированные графы маршрутизации, преобразования и логики системного посредничества. ".
Я играл с NiFi последние пару месяцев и не могу не задаться вопросом, почему бы не использовать его также для планирования пакетных процессов.
Допустим, у меня есть вариант использования, в котором данные поступают в Hadoop, обрабатываются серией заданий Hive \ MapReduce, а затем экспортируются в некоторую внешнюю базу данных NoSql для использования какой-либо системой.
Использование NiFi для приема и передачи данных в Hadoop - это вариант использования, для которого был создан NiFi.
Однако использование Nifi для планирования заданий в Hadoop («похожее на Oozie») - это вариант использования, о котором я не знаю. Я столкнулся с другими, внедряющими, и, поскольку это кажется вполне возможным реализовать, я пытаюсь понять, есть ли причины не делать этого.
Преимущества выполнения всего этого на NiFi заключаются в том, что вы получите визуальное представление всего курса данных от источника до места назначения в одном месте. В случае сложных потоков это очень важно для обслуживания.
Другими словами, мой вопрос: Есть ли причины не использовать NiFi в качестве планировщика \ координатора для пакетных процессов? Если да, то какие проблемы могут возникнуть в таком случае?
PS - Я читал это: «Есть ли у Nifi пакетная обработка?» - но мой вопрос направлен на другой смысл "пакетной обработки в NiFi", чем тот, который поднят в прилагаемом вопросе
