Kafka Mirror Maker не реплицирует темы, когда исходный и целевой кластеры находятся в разных конфигурациях

Мы настроили Mirror Maker для репликации тем между двумя кластерами kafka, когда настройки источника и назначения различны (источник = 2 сервера, место назначения = 3 сервера). при запуске MirrorMaker выдает следующую ошибку: «Ошибка: NOT_ENOUGH_REPLICAS (org.apache.kafka.clients.producer.internals.Sender)» и нет репликации между кластерами. мы использовали MirrorMaker версии 2.

Может ли кто-нибудь предложить предложение, почему он не работает должным образом?


apache-kafka apache-kafka-connect kafka-producer-api apache-kafka-mirrormaker
person Stav Kalo    schedule 11.12.2019    source источник
comment
Это работает, если вы используете тот же размер кластера, например 2 сервера для источника и назначения?   -  person Amir Kirsh    schedule 11.12.2019
comment
Покажите, пожалуйста, ваши файлы конфигурации. Ошибка предполагает, что минимальная ISR для целевого кластера не выполняется.   -  person OneCricketeer    schedule 12.12.2019

Ответы (1)


arrow_upward
1
arrow_downward

Документация Mirrormaker 2.0 появится только в новом выпуске 2.5.0, что затрудняет установку Mirrormaker 2.0. В принципе, я думаю, вам нужно будет установить коэффициенты репликации (которые по умолчанию равны 3 в Kafka) на 2, поскольку это ваш минимум для одного кластера. Это значения конфигурации, которые вам, вероятно, необходимо установить:

  • checkpoints.replication.factor
  • heartbeats.replication.factor
  • смещение-syncs.replication.factor
  • config.storage.replication.factor
  • offset.storage.replication.factor
  • status.storage.replication.factor
  • replication.factor
  • offsets.replication.factor
  • transaction.state.log.replication.factor

Вы можете установить их в конфигурационном файле MM2.

person Pirowe    schedule 16.03.2020