Темы Kafka не работают через несколько дней после создания

Я новичок в Kafka, несколько дней назад от производителя создается несколько тем (автоматически), то есть с разделом 1, фактом отражения -1 и ISR -1. Он работал нормально, раньше нормально потреблял сообщения всех тем.

Сегодня, то есть через два дня, я запустил свою программу производителя и потребителя, и наоборот, но мой потребитель не смог получить / прочитать сообщение из темы. Я проверил все журналы, ничего не нашел, что пошло не так.

Что не так? Не устареют ли темы через какое-то время? Есть ли какое-либо значение свойства, которое мне нужно проверить в свойствах kafka-server?

Помогите, пожалуйста.

Спасибо. ~ Шьям


apache-kafka kafka-consumer-api kafka-producer-api
person BdEngineer    schedule 16.02.2016    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Есть несколько способов проверить работоспособность кластера kafka с помощью различных предоставленных инструментов.

  1. Используйте предоставленный класс ConsumerOffsetChecker для проверки наличия задержек между производителем и потребителем.

    bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zkconnect <zk host/ip>:<zk port> --group <consumer group name>

  2. Используйте метрики JMX, такие как ниже, чтобы проверить, были ли сообщения созданы на уровне кластера и есть ли дополнительные метрики.

    kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec
kafka.network:type=RequestMetrics,name=RequestsPerSec,request={Produce|FetchConsumer|FetchFollower}

  3. Используйте Console Consumer, чтобы проверить, присутствуют ли сообщения в теме

    bin/kafka-console-consumer.sh --zookeeper <zk host/ip>:<zk port> --topic test --from-beginning

  4. Проверьте значения log.retention.XXX в конфигурации kafka (файл server.properties)

Дополнительные сведения о мониторинге JMX и его конфигурации доступны в ссылке на документацию.

Последний пункт немного сложно объяснить, но я постараюсь. Посмотрите на ссылка на блог на confluent.io, в разделе Дополнительные разделы могут потребовать больше памяти в клиенте . Не уверен, связана ли ваша проблема.

person Mehul    schedule 16.02.2016