Можно ли читать из старой версии Kafka и записывать в новую версию Kafka?

У меня есть требование, когда я должен читать из версии Kafka 0.8.2, обрабатывать данные и записывать в версию Kafka 0.10.2.

Пожалуйста, помогите мне найти решение.


apache-kafka apache-kafka-connect kafka-consumer-api kafka-producer-api
person Jagadeesh Musham    schedule 19.04.2017    source источник
comment
Проверьте зеркальное отображение Kafka. Дополнительная информация доступна на cwiki.apache.org/confluence/pages/ < / а>   -  person Renukaradhya    schedule 19.04.2017
comment
Зеркалирование полезно только в той же кластерной среде. Но в моем случае эти две кафки - разные кластеры, даже версия тоже разная.   -  person Jagadeesh Musham    schedule 19.04.2017

Ответы (2)


arrow_upward
2
arrow_downward

используйте kafka MirrorMaker. вы можете зеркалировать данные в 0.8.2 - 0.10.2, а затем обрабатывать данные в 0.10.2

person user2934558    schedule 20.04.2017

arrow_upward
0
arrow_downward

не уверен, что это лучший вариант, но вы можете использовать 2 машины (не тестировались):

Блок 1: потребитель, затем netcat

bin/kafka-console-consumer.sh --zookeeper myzookeeper:2181 --topic test --from-beginning | nc 1.2.3.4 5600

коробка 2 (IP 1.2.3.4): netcat, затем производитель

nc -l -p 5600 |  bin/kafka-console-producer.sh --zookeeper myotherzookeeper:2181 --topic test
person Pixou    schedule 19.04.2017