Вопросы по теме 'confluent-platform'
Подключите Confluent к трем уже существующим брокерам kafka
Я новичок в мире Confluent, и я знаю, как начать кафку, зоопарков из Confluent, но это не то, что мне нужно.
У меня уже установлено 3 узла кафки и 2 смотрителя зоопарка. Впоследствии я загрузил версию 3.0.0 Confluent и теперь хочу подключить...
705 просмотров
schedule
30.03.2024
Настройка сохранения журнала темы в confluent-kafka-python
Я не смог найти в документации, как задать время хранения при создании производителя с помощью confluent-kafka.
Если я просто укажу «загрузочные серверы», время хранения по умолчанию составляет 1 день. Я хотел бы иметь возможность изменить это....
1989 просмотров
schedule
20.10.2022
Пишу в ту же тему на kafka
При записи в ту же тему в Kafka с помощью метода ProduceAsync в confluent-kafka-dotnet v0.9.5 перезапишет ли он данные в разделе и смещении по умолчанию (P0, O0) или будет записываться в следующее доступное смещение в разделе ?
543 просмотров
schedule
01.06.2024
Есть ли способ использовать реестр конфлюентных схем с модулем kafka-node?
Я реализовал схему Avro в node.js со схемой, отправляемой с полезной нагрузкой сообщения. И работает нормально. Я ищу, есть ли способ использовать реестр схемы с модулем Kafka-node. Я исследовал, но не нашел.
А отправка схемы в каждом сообщении...
1707 просмотров
schedule
08.04.2024
Kafka Connect с пользовательской временной меткой.extractor
У меня возникла проблема с добавлением jar в путь класса Kafka connect при попытке прочитать сообщения от Kafka до S3.
Цель состоит в том, чтобы писать сообщения в разделах на основе метки времени, которая является частью ключа в сообщении Kafka....
979 просмотров
schedule
25.02.2024
если Schema-Registry не работает, означает ли это, что у Kafka будет простой?
Итак, есть кластер Kafka, и у нас есть реестр схемы поверх него для проверки схемы для тем. По какой-то причине обслуживания, если реестр схемы не работает, у Kafka будет простой в течение этого времени, и он не будет принимать какие-либо новые...
772 просмотров
schedule
18.04.2024
Как предотвратить вставку нежелательных атрибутов в сообщение Kafka с помощью приемника Kafka connect?
Я публикую сообщения в своей теме Kafka, используя приложение производителя Java, используя приведенный ниже код.
String mySchema = "{"type": "record","name": "MyData","namespace": "com.qwe.rty","doc": "MyData Schema","fields": [{"name":...
982 просмотров
schedule
26.05.2024
Чтение сообщения от Kafka с помощью java.util.List в схеме avro
Я пытаюсь прочитать сообщение от Kafka, используя пользователя со следующими свойствами
value.deserializer=io.confluent.kafka.serializers.KafkaAvroDeserializer
key.deserializer=org.apache.kafka.common.serialization.StringDeserializer...
346 просмотров
schedule
02.11.2022
Kafka connect: одна тема попадает в несколько таблиц на основе схемы
Я новичок в Kafka Connect. У меня есть пример использования, как показано ниже:
Есть одна общая тема, в которой я получаю сообщения от разных сущностей, например Сотрудник, отдел (фактические имена таблиц разные)
Схемы сотрудника и отдела...
1125 просмотров
schedule
15.12.2023
Неожиданное поведение продюсера Kafka
Я сталкиваюсь со странным поведением с моим производителем и потребителем Kafka. Ниже моя настройка на моей локальной машине
1 узел зоопарка
2 брокерских узла кафки
1 производитель (выполняет асинхронную запись) и 1 подписчик, написанный на...
401 просмотров
schedule
26.11.2022
Scala и Avro: проблема с регистрацией схемы io.confluent
Я использую scala 2.12, и в моем build.sbt есть следующие зависимости.
libraryDependencies += "org.apache.kafka" % "kafka-clients" % "0.10.1.0"
libraryDependencies += "io.confluent" % "kafka-avro-serializer" % "3.1.1"
libraryDependencies +=...
1235 просмотров
schedule
19.12.2023
Невозможно запустить конфлюентную платформу Kafka
Я слежу за этим .
В соответствии с инструкциями я загрузил платформу с здесь и клонировал репозиторий github для кода.
Скачанная платформа находится в заархивированном виде, поэтому я разархивировал ее и добавил папку bin в системную...
37 просмотров
schedule
16.12.2023
Confluent-Kafka Python: как составить список всех тем программно
У меня есть брокер kafka, работающий в моей локальной системе. Для связи со сломанным с помощью моего веб-приложения на основе Django я использую обертка confluent-kafka . Однако, просматривая API-интерфейс администратора, я не смог найти...
3168 просмотров
schedule
03.03.2024
Как установить group.id в приложении KSQL
Мне нужно установить свойство group.id в моем приложении KSQL.
Я знаю, что это возможно в приложении Kafka Stream с помощью свойства application.id, но это не работает для KSQL.
356 просмотров
schedule
15.09.2022
Как обрабатывать несколько записей в Kafka Consumer?
Привет, я работаю над Confluent Kafka Consumer. У меня есть несколько записей в моем брокере. Я хочу обработать все записи сейчас. Ниже моя реализация Consumer.
public ConsumeResult<string, GenericRecord> Consume(string topic)
{...
1240 просмотров
schedule
23.10.2023
Почему происходит сбой ksqldb-server при обновлении с v0.6.0 до v0.8.1?
У меня есть существующий ksqldb-сервер, который я хочу обновить с v0.6.0 с подключением как отдельный узел до v0.8.1 со встроенным подключением. Однако ksqldb-server аварийно завершает работу после запуска со следующим журналом:
ksqldb-server...
291 просмотров
schedule
19.11.2022
Не удалось создать новый конфлюентный коннектор kafka oracle jdbc-source. Это дает ошибку, вызванную: java.net.BindException: адрес уже используется
Я протестировал существующий исходный коннектор jdbc по умолчанию. Он отлично работает для БД. Я хочу создать еще один исходный коннектор оракула jdbc для другой БД. Для этого я создал новый файл свойств с разными данными БД. Затем я выполнил...
125 просмотров
schedule
17.02.2024
Как создать поля потока KSQLdb из вложенного объекта JSON
У меня есть тема, по которой я отправляю json в следующем формате:
{
"schema": {
"type": "string",
"optional": true
},
"payload": “CustomerData{version='1', customerId=‘76813432’,...
201 просмотров
schedule
21.01.2024
Обновить загрузочное решение Apache Kafka Spring для подключения к Confluent Cloud Kafka?
У меня есть приложение Java Spring Boot, которое подключается к Apache Kafka.
KafkaController.java
package com.demo.controllers;
import com.demo.engine.Producer;
import org.springframework.beans.factory.annotation.Autowired;
import...
206 просмотров
schedule
28.05.2024
Конфигурация высокой доступности для коннектора источника Kafka Connect Mongodb
Я искал конкретную информацию о развертывании коннекторов Kafka Connect с высокой доступностью, но ничего не нашел.
В моем случае у меня есть исходный коннектор Mongodb, развернутый с использованием Диаграмма Confluent Helm . Эта диаграмма...
82 просмотров
schedule
26.04.2024
