Вопросы по теме 'apache-kafka-connect'
Можно ли читать из старой версии Kafka и записывать в новую версию Kafka?
У меня есть требование, когда я должен читать из версии Kafka 0.8.2, обрабатывать данные и записывать в версию Kafka 0.10.2.
Пожалуйста, помогите мне найти решение.
282 просмотров
schedule
10.11.2022
ETL с использованием конфлюэнтного подключения kafka
У нас есть вариант использования, когда мы используем Kafka для подключения к данным Source и Sink. Это похоже на типичный ETL.
Мы хотим понять, может ли Kafka connect определять дельта-изменения между предыдущими потоками. т.е. мы хотим...
237 просмотров
schedule
01.05.2024
Kafka Connect с пользовательской временной меткой.extractor
У меня возникла проблема с добавлением jar в путь класса Kafka connect при попытке прочитать сообщения от Kafka до S3.
Цель состоит в том, чтобы писать сообщения в разделах на основе метки времени, которая является частью ключа в сообщении Kafka....
979 просмотров
schedule
25.02.2024
Как предотвратить вставку нежелательных атрибутов в сообщение Kafka с помощью приемника Kafka connect?
Я публикую сообщения в своей теме Kafka, используя приложение производителя Java, используя приведенный ниже код.
String mySchema = "{"type": "record","name": "MyData","namespace": "com.qwe.rty","doc": "MyData Schema","fields": [{"name":...
982 просмотров
schedule
26.05.2024
Отсутствует требуемый ключ конфигурации. Преобразователь, у которого нет значения по умолчанию
Когда я пытаюсь запустить Kafka connect для реактора эластичного поиска, в автономном режиме я получаю следующую ошибку:
Exception in thread "main" org.apache.kafka.common.config.ConfigException: Missing required configuration "key.converter"...
3177 просмотров
schedule
22.11.2022
Apache Kafka Подключение плоского массива JSon к объектам
Я импортирую данные из таблицы MS SQL Server в тему Apache Kafka с помощью Kafka Connect.
Столбец изменений представляет собой массив json, который я хотел бы сгладить и отправить в несколько событий.
Записи таблицы выглядят так:
id...
627 просмотров
schedule
25.01.2024
Остановить коннектор кафки
В реализации kafka connect SinkTask , если возникает неизбежное исключение, если я вызываю метод stop() из своего кода, коннектор полностью останавливается?
1140 просмотров
schedule
19.10.2022
Kafka connect: одна тема попадает в несколько таблиц на основе схемы
Я новичок в Kafka Connect. У меня есть пример использования, как показано ниже:
Есть одна общая тема, в которой я получаю сообщения от разных сущностей, например Сотрудник, отдел (фактические имена таблиц разные)
Схемы сотрудника и отдела...
1125 просмотров
schedule
15.12.2023
Проблема интеграции PostgreSQL и Kafka Connect
Я тестирую коннектор JDBC Sink для дампа записей из Kafka в PostgreSQL. Вот конфигурация коннектора:
{
"name": "jdbc-sink-postgresql-1",
"config": {
"connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",...
895 просмотров
schedule
17.01.2024
Kafka: чтение с SQL-сервера с включенным отслеживанием изменений
Я пытался загрузить данные с SQL-сервера (с включенным отслеживанием изменений) в Kafka, чтобы их можно было использовать в одной или нескольких системах (отчеты, другие БД и т. Д.)
Мне удалось настроить плагин подключения Kafka для сервера sql...
933 просмотров
schedule
09.04.2024
Kafka Connect не работает с предметными стратегиями
Контекст
Я закодировал пару небольших коннекторов Kafka Connect . Один, который просто генерирует случайные данные каждую секунду, а другой, регистрирует их в консоли. Они интегрированы с реестром схем , поэтому данные сериализован с помощью...
2093 просмотров
schedule
06.12.2023
Kafka manual ackMode MANUAL_IMMEDIATE, что, если не подтвердить
Я использую Spring KafKa и устанавливаю для ackMode значение MANUAL_IMMEDIATE.
props.setAckMode(AbstractMessageListenerContainer.AckMode.MANUAL_IMMEDIATE);
сценарий таков, что по какой-то причине мое приложение не может подтвердить (...
2461 просмотров
schedule
21.11.2023
Как коннектор источника Solace tasks.max подключается к очереди?
Мы реализуем тему Kafka, которая представляет собой кластер из 3 машин. Мы собираемся извлечь из очереди Solace и задаемся вопросом, что делает параметр tasks.max и как он разделяет сообщения. У нас нет доступа к очереди утешения, и мы можем...
149 просмотров
schedule
28.04.2024
Есть ли способ настроить метрики jmx kafka-connect для захвата с помощью jmx_exporter / prometheus?
Я настраиваю мониторинг Kafka connect в нашей экосистеме Kafka. Я включил экспортер JMX для брокеров kafka и работает нормально. Теперь я пытаюсь включить экспортер JMX для подключения kafka. Однако непонятно, с чего начать.
Я могу изменить...
2890 просмотров
schedule
16.11.2023
Соединитель Kafka-Connect JDBC: крошечное отображение в логическое значение
У меня есть задание Kafka-Connect, настроенное на периодический запрос таблицы MySQL и размещение сообщений в очереди. Структура этих сообщений определяется с помощью схемы Avro. У меня проблема с отображением для одного из моих столбцов.
Столбец...
350 просмотров
schedule
17.10.2022
Не удается запустить Kafka Connect: истекло время ожидания при получении метаданных темы
Попытка запустить Kafka Connect в первый раз с существующим развертыванием Kafka. с использованием SASL_PLAINTEXT и аутентификации Kerberos.
В первый раз, когда я пытаюсь запустить connect-distributed , я вижу:
ERROR Uncaught exception in...
2122 просмотров
schedule
01.12.2023
Kafka connect выдает исключение ClassNotFoundException, когда plugin.path имеет значения, разделенные запятыми
Я использую Kafka connect для создания соединения MQTT Kafka. Я помещаю все jar-файлы, специфичные для коннектора kafka MQTT, загруженные с конфлюентного сайта, в папку «/ data». И соответственно обновите файл «connect-standalone.properties», чтобы...
1892 просмотров
schedule
28.11.2023
Тематический объект Kafka в искровое преобразование кадра данных и запись в HDFS
Я пытаюсь создать потребителя kafka в искровом кодировании, при создании я получаю исключение. Моя цель - мне нужно прочитать из темы и записать в путь HDFS.
scala> df2.printSchema()
root
|-- key: binary (nullable = true)
|-- value: binary...
99 просмотров
schedule
29.12.2023
Подключитесь к удаленному серверу postgres из экземпляра EC2.
Я пытаюсь получить данные с сервера Postgres, который удаленно доступен из экземпляра Amazon EC2. Когда я пытаюсь подключиться к удаленному серверу по телнету, он подключается.
Но когда я запускаю коннектор kafka, который подключается к удаленному...
120 просмотров
schedule
13.12.2023
Вывод сообщений JSON с помощью Debezium, а не Avro
Можно ли генерировать сообщения JSON с помощью Debezium, а не Avro? У меня есть адаптер Debezium Kafka Connect, и я пытаюсь заставить его выводить сообщения JSON в тему Kafka.
Это возможно?
66 просмотров
schedule
03.02.2024
