ПРЕДУПРЕЖДЕНИЕ Ошибка при получении метаданных с идентификатором корреляции 1: {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)

когда я запускаю следующую команду с kafka 0.9.0.1, я получаю это предупреждение [1]. Подскажите, пожалуйста, что не так с моими темами? (я разговариваю с брокером kafka, который работает в ec2)

#./kafka-console-consumer.sh --new-consumer --bootstrap-server kafka.xx.com:9092 --topic MY_TOPIC?

[1] 

[2016-04-06 10:57:45,839] WARN Error while fetching metadata with correlation id 1 : {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)
[2016-04-06 10:57:46,066] WARN Error while fetching metadata with correlation id 3 : {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)
[2016-04-06 10:57:46,188] WARN Error while fetching metadata with correlation id 5 : {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)
[2016-04-06 10:57:46,311] WARN Error while fetching metadata with correlation id 7 : {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)

apache-kafka jms kafka-consumer-api kafka-producer-api jms-topic
person Ratha    schedule 06.04.2016    source источник

Ответы (3)


arrow_upward
6
arrow_downward

Название вашей темы недействительно, так как содержит символ '?' что является недопустимым символом для названий тем.

person avr    schedule 06.04.2016
comment
Теперь я попробовал без ? и он не возвращает никаких сообщений. Значит застрял. Но когда я использую более старый потребительский инструмент, он потребляет сообщения. Можете ли вы сказать мне причину? - person Ratha; 06.04.2016
comment
Старый потребитель, который я пробовал, например ./kafka-console-consumer.sh --zookeeper zookeper.xx.com:2181 --topic MY_TOPIC --from-beginning - person Ratha; 06.04.2016
comment
Добавьте флаг --from-beginning в конце команды нового потребителя. Он должен работать. - person avr; 06.04.2016
comment
Нет, он не работает.. Он застрял.. Пожалуйста, проверьте следующие потоки в списке пользователей apache kafka // Есть ли какие-либо изменения в поведении для подключения локального сервера и удаленного сервера? // и / Потребительский поток ждет вечно, не возвращая никаких объектов // - person Ratha; 06.04.2016
comment
Было бы здорово, если бы вы сказали мне причину - person Ratha; 06.04.2016
comment
Когда вы запускаете команду потребителя с флагом --from-beginning, она сбрасывает смещение потребителя до наименьшего (самого раннего) и использует все сообщения, доступные в теме, тогда как команда без этого флага будет потреблять из самого большого (самого последнего) сообщения. компенсировать. - person avr; 06.04.2016
comment
хорошо .. так что вернемся к моей первоначальной проблеме. Теперь poll() застрял навсегда, не предоставляя никаких исключений моему новому потребителю. Но мои настройки экземпляра ec2 выглядят нормально - person Ratha; 06.04.2016
comment
Ратха, ты когда-нибудь выяснял, почему poll() завис? Я вижу подобное поведение на своем локальном экземпляре. - person cacois; 13.06.2016

arrow_upward
0
arrow_downward

это происходит, когда наш производитель не может произвести по соответствующему адресу. Пожалуйста, проверьте в /kafka/config/server.properties значение рекламируемых слушателей, если оно закомментировано, есть другие проблемы. Но если это не так, укажите свой IP-адрес вместо localhost, а затем перезапустите zookeeper и kafka. Попробуйте запустить производителя консоли, надеюсь, это сработает.

person A.s    schedule 05.11.2018

arrow_upward
0
arrow_downward

На всякий случай, если у кого-то возникла эта проблема, связанная с запятой, и вывод logstash в kafka или вычисленное имя темы:

В id_темы вывода logstash для kafka мы попытались создать ИД_темы, добавив переменную, которую мы вычислили в фильтре.

Проблема в том, что это поле уже присутствовало в исходном документе, и позже мы снова добавляем его в фильтр logstash, преобразуя строковое поле в хэш (массив/список).

Итак, как мы использовали в выводе logstash

topic_id => ["topicName_%{field}"]

мы получаем:

topic_id : "topicName_fieldItem1,FieldItem2"

Что вызвало исключение в журналах logstash

[WARN ][org.apache.kafka.clients.NetworkClient] [Producer clientId=logstash] Error while fetching metadata with correlation id 3605264 : {topicName_fieldItem1,FieldItem2=INVALID_TOPIC_EXCEPTION}
person Daniel Guala    schedule 12.02.2021