Пример файла свойств соединителя для предоставления автономного Kafka Connect

Я начинаю играть с CDC и Kafka connect

После бесчисленных часов попыток я понял логику

  1. Установите свойства Kafka Connect (bin/connect-standalone.sh) с информацией о вашем кластере.
  2. Установите файл конфигурации Kafka Connect (config/connect-standalone.properties)
  3. Загрузите коннектор Kafka (в данном случае MySQL от Debizium)
  4. Настройте свойства коннектора в файле whatname.properties.

Чтобы запустить воркер с Kafka Connector, вам нужно

./bin/connect-standalone.sh config/connect-standalone.properties

который отвечает:

INFO Usage: ConnectStandalone worker.properties connector1.properties [connector2.properties ...] (org.apache.kafka.connect.cli.ConnectStandalone:62)

Я знаю, что нам нужно бежать:

./bin/connect-standalone.sh config/connect-standalone.properties myconfig.properties

Моя проблема в том, что я не могу найти описание формата или пример этого поля myconfig.properties.

【Дополнительная информация】 Список свойств конфигурации Debizium:

  1. https://docs.confluent.io/debezium-connect-mysql-source/current/mysql_source_connector_config.html#mysql-source-connector-config
  2. https://debezium.io/documentation/reference/1.5/connectors/mysql.html

【Вопрос】 Где я могу найти пример свойств коннектора?

Спасибо!


apache-kafka apache-kafka-connect debezium
person David Sánchez    schedule 28.05.2021    source источник
comment
Почему бы просто не использовать connect-distributed, если вы хотите использовать только одну конфигурацию для запуска воркера, а все примеры, которые вы найдете, используют json?   -  person OneCricketeer    schedule 28.05.2021

Ответы (1)


arrow_upward
1
arrow_downward

Я не уверен, что понял ваш вопрос, но вот пример свойств для этого коннектора:

connector.class=io.debezium.connector.mysql.MySqlConnector
connector.name=someuniquename
database.hostname=192.168.99.100
database.port=3306
database.user=debezium-user 
database.password=debezium-user-pw
database.server.id=184054
database.server.name=fullfillment
database.include.list=inventory
database.history.kafka.bootstrap.servers=kafka:9092 
database.history.kafka.topic=dbhistory.fullfillment
include.schema.changes=true

Исходная конфигурация — это конфигурация из документации, которую я преобразовал из json в свойства: https://debezium.io/documentation/reference/1.5/connectors/mysql.html#mysql-example-configuration

person Lucas Declercq    schedule 28.05.2021
comment
Правильно, я тоже это нашел, но я не уверен: 1. Должен ли это быть JSON или такой формат. После попытки с коннектором он жалуется: не содержит тип коннектора. У меня есть коннектор, и путь и тд. - person David Sánchez; 29.05.2021
comment
@David Автономный режим принимает файлы Java .properties, а не JSON, как в распределенном режиме. Любая ошибка, связанная с ненайденными классами коннекторов, действительно связана с вашим plugin.path - person OneCricketeer; 29.05.2021
comment
@ Лукас, я узнал, что если вы используете автономный формат, вам нужно использовать файл .txt с вашим форматом. Если вы используете кластер Kafka, вам понадобится файл JSON. - person David Sánchez; 25.06.2021