Я пытался загрузить данные с SQL-сервера (с включенным отслеживанием изменений) в Kafka, чтобы их можно было использовать в одной или нескольких системах (отчеты, другие БД и т. Д.)
Мне удалось настроить плагин подключения Kafka для сервера sql (confluentinc / kafka-connect-cdc-mssql: 1.0.0-preview), и мне также удалось запустить его на машине kafka.
Я искал документацию (не могу найти ее), которая помогает ответить на следующие вопросы
- Как связать тему кафки с этим подключением?
- Основываясь на информации, которую я нашел (на форумах debezium), тема будет создана для каждой отдельной таблицы -> работает ли она таким же образом с коннектором kafka sql server?
- Я настроил соединение в распределенном режиме, у нас кафка работает на нескольких серверах, нужно ли нам запускать соединение на каждом сервере?
- Кто-нибудь использовал Debezium с отслеживанием изменений сервера sql и кафкой? веб-сайт Debezium описал соединение на «альфа-стадиях», и мне было интересно, есть ли какие-нибудь активные пользователи.
PS: Я также открыт для других вариантов загрузки данных в реальном времени с сервера sql в Kafka (соединение jdbc с отметкой времени / числовым полем - это мой вариант резервного копирования. Вариант резервного копирования, поскольку в моей исходной базе данных есть несколько таблиц, которые не содержат таких поля [изменения не отслеживаются и не могут быть отслежены с помощью числовых полей / полей с отметками времени]).
