Как выполнить задание друида?

Я импортирую некоторые данные в свой источник данных Druid. Для этого я использую Nifi и Tranquility для потоковой инъекции с мельчайшей детализацией (для моих тестов).

У меня есть Ambari для проверки всех моих задач и их статуса.

Все мои данные правильно импортируются в мой источник данных, и я могу запросить их с помощью запроса Hive. Когда я смотрю свои задачи на Амбари, все они выполняются, они никогда не бывают «завершенными». Если я хочу выполнить одно из них, я должен убить его, но я теряю свои данные, а задача состояния «НЕ ПРОЙДЕНА».

Я хотел бы понять, что я могу сделать для успешного выполнения своих задач. Спасибо.


person BastienB    schedule 22.10.2019    source источник


Ответы (2)


Я нашел проблему.

В моем совещании о спокойствии я объявил большое значение для "WindowPeriod".

На самом деле задача автоматически завершается, когда "WindowPeriod" заканчивается.

Например, "WindowPeriod":"PT10M" означает, что задача завершится через 10 минут.

person BastienB    schedule 22.10.2019

Рад, что ты разобрался! Просто хочу призвать всех, кто читает это, что Tranquility устарела. Службы приема потоковой передачи, такие как https://druid.apache.org/docs/latest/development/extensions-core/kafka-ingestion следует предлагать всем, кто начинает новое развертывание.

person Vadim Ogievetsky    schedule 24.10.2019