Кафка: Потребитель не может читать записи из темы

Мы используем потоки Kafka для записи данных в тему приемника. Я запускаю командную строку avro-consumer, чтобы проверить, есть ли данные в теме приемника:

bin / kafka-avro-console-consumer --topicink.output.topic --from-begin --new-consumer --bootstrap-server

Я вижу данные, когда я одновременно запускаю потребителя во время работы приложения потоков kafka, но если я останавливаю потребителя и снова запускаю его через несколько минут, я не вижу никаких данных. Несколько возможностей:

1) Это потому, что потоки kafka стирают записи из выходной темы каждый раз, когда они подталкивают записи к опусканию?

2) Или это просто проблема потребителя?


person NoName    schedule 07.10.2017    source источник
comment
Kafka Streams не удаляет данные из выходных тем.   -  person Matthias J. Sax    schedule 09.10.2017


Ответы (2)


Я считаю, что это потому, что --from-beginning используется только тогда, когда потребитель еще не установил смещение. Вы пробовали использовать вместо этого --offset earliest?

person Alex Ott    schedule 07.10.2017

Судя по вашему описанию, проблемы со временем удерживания. данные могли быть удалены при втором запуске. вы можете настроить время удерживания

Пример: log.retention.hours = 168.

person Santosh Rachakonda    schedule 25.02.2019