Не удается запустить Kafka Connect: истекло время ожидания при получении метаданных темы

Попытка запустить Kafka Connect в первый раз с существующим развертыванием Kafka. с использованием SASL_PLAINTEXT и аутентификации Kerberos.

В первый раз, когда я пытаюсь запустить connect-distributed, я вижу:

ERROR Uncaught exception in herder work thread, exiting:  (org.apache.kafka.connect.runtime.distributed.DistributedHerder:227)
org.apache.kafka.common.errors.TimeoutException: Timeout expired while fetching topic metadata

Если я сразу бегу второй раз, ничего не меняя, вместо этого вижу:

ERROR Uncaught exception in herder work thread, exiting:  (org.apache.kafka.connect.runtime.distributed.DistributedHerder:227)
org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [Offsets]

Это воспроизводимо.

Конфигурация рабочего:

producer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringProducerInterceptor
producer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor
bootstrap.servers=mybroker:9092
rest.port=28082
group.id=some-group
config.storage.topic=Configs
offset.storage.topic=Offsets
status.storage.topic=Status
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
rest.advertised.host.name=localhost
log4j.root.loglevel=INFO
security.protocol=SASL_PLAINTEXT
sasl.kerberos.service.name=kafka
sasl.mechanism=GSSAPI
consumer.security.protocol=SASL_PLAINTEXT
consumer.sasl.kerberos.service.name=kafka
consumer.sasl.mechanism=GSSAPI
producer.security.protocol=SASL_PLAINTEXT
producer.sasl.kerberos.service.name=kafka
producer.sasl.mechanism=GSSAPI

apache-kafka apache-kafka-connect apache-ranger
person UtterlyConfused    schedule 12.07.2019    source источник
comment
вы используете ssl для подключения к теме?   -  person Deadpool    schedule 12.07.2019
comment
Если я настроил его правильно, он не должен пытаться использовать SSL. Я повторно использую конфигурацию, которая отлично работает с производителем / потребителем консоли.   -  person UtterlyConfused    schedule 12.07.2019
comment
Не могли бы вы поделиться своей конфигурацией воркера, пожалуйста   -  person Robin Moffatt    schedule 13.07.2019

Ответы (1)


arrow_upward
0
arrow_downward

Карьера в области программного обеспечения научила меня всегда предполагать, что проблема совершенно не связана с журналом ошибок, но на этот раз все было правильно:

Ranger был настроен неправильно, и я действительно не имел доступа к этой теме.

person UtterlyConfused    schedule 15.07.2019