Kafka connect: одна тема попадает в несколько таблиц на основе схемы

Я новичок в Kafka Connect. У меня есть пример использования, как показано ниже:

  1. Есть одна общая тема, в которой я получаю сообщения от разных сущностей, например Сотрудник, отдел (фактические имена таблиц разные)

  2. Схемы сотрудника и отдела регистрируются в реестре схем.

Используя коннектор приемника Kafka, можно ли разделить данные, поступающие для каждой сущности на основе схемы, и записать в соответствующие таблицы Пример: данные о сотрудниках, поступающие в тему, должны попадать в таблицу сотрудников, а данные отдела - в таблицу отделов

Если нет, есть ли другой лучший способ сделать это?


apache-kafka apache-kafka-connect confluent-platform
person Frqa    schedule 15.07.2018    source источник
comment
Если два поля JSON имеют разные свойства, вы можете идентифицировать его на основе свойства и записать его в соответствующую таблицу @user.   -  person Deadpool    schedule 15.07.2018
comment
Можно ли это сделать между темой кафка и коннектом?   -  person Frqa    schedule 16.07.2018

Ответы (1)


arrow_upward
0
arrow_downward

Коннектор можно настроить только для одной таблицы за раз.

Итак, кроме добавления поля типа "entityType" в сами данные и фильтрации его на уровне базы данных, я считаю, что единственный способ управлять этим - это Kafka Streams (или KSQL) для filter() исключения двух возможных типов данных, а затем отправьте им to() другую тему, которую вы используете Connect и слушаете две темы, которые пишут в свои соответствующие таблицы.

person OneCricketeer    schedule 01.09.2018