Почему процессор Nifi consumerKafka_0_10 получает файл потока меньше, чем общий файл потока?

У меня есть 1 производитель (процессор PublishKafka_0_10) и 1 потребитель (процессор ConsumerKafka_0_10) для получения потокового файла из кластера Kafka.

Я вижу в админке Nifi UI, всего производителей 7 пакетов, но потребитель получает только 4 пакета. Я также использую kafka_console_consumer.sh для просмотра пакетов от производителя, и он отображает целые 7 пакетов.

Не знаю почему и где потерял 3 упаковки от процессора consumerKafka_0_10.

Я использую кластер kafka с 3 узлами и кластер nifi с 3 узлами.


apache-kafka apache-nifi kafka-consumer-api
person Ken Nguyen    schedule 09.06.2017    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Пара вещей, которые нужно проверить ...

Процессор ConsumeKafka по умолчанию использует последнее смещение при первом запуске, поэтому, если вы сначала запустили PublishKafka, а затем ConsumeKafka, возможно, что несколько сообщений были опубликованы до запуска потребителя, а затем потребитель запускается со смещением сообщения 4.

Также проверьте, есть ли у вас Демаркация сообщений в ConsumeKafka. Если вы это сделаете, он поместит более одного сообщения в файл потока.

person Bryan Bende    schedule 09.06.2017
comment
Я запускаю PublishKafka и ConsumeKafka одновременно. И в то время никакой жизни потока не наступает. У меня также нет демаркатора сообщений в ConsumeKafka. Я попытался изменить количество одновременных задач на ConsumerKafka_0_10, и он получил больше потокового файла. Я думаю, что проблема в параллельном задании. - person Ken Nguyen; 15.06.2017