Вопросы по теме 'confluent-schema-registry'

Есть ли способ использовать реестр конфлюентных схем с модулем kafka-node?
Я реализовал схему Avro в node.js со схемой, отправляемой с полезной нагрузкой сообщения. И работает нормально. Я ищу, есть ли способ использовать реестр схемы с модулем Kafka-node. Я исследовал, но не нашел. А отправка схемы в каждом сообщении...
1707 просмотров

если Schema-Registry не работает, означает ли это, что у Kafka будет простой?
Итак, есть кластер Kafka, и у нас есть реестр схемы поверх него для проверки схемы для тем. По какой-то причине обслуживания, если реестр схемы не работает, у Kafka будет простой в течение этого времени, и он не будет принимать какие-либо новые...
772 просмотров

Чтение сообщения от Kafka с помощью java.util.List в схеме avro
Я пытаюсь прочитать сообщение от Kafka, используя пользователя со следующими свойствами value.deserializer=io.confluent.kafka.serializers.KafkaAvroDeserializer key.deserializer=org.apache.kafka.common.serialization.StringDeserializer...
346 просмотров

Проблема с Spring Cloud Stream с использованием клиента реестра схемы по умолчанию вместо клиента реестра схемы Avro
Мы используем Kafka с Spring Cloud Stream, и нам нужно подключиться к Confluent Schema Registry в нашем компоненте Spring Boot, см. https://github.com/donalthurley/KafkaConsumeScsAndConfluent . Мы добавили следующую конфигурацию для создания...
1853 просмотров

Реестр схем в Kubernetes, общедоступный
У меня есть кластер Kubernetes с тремя узлами в Azure, с тремя брокерами Kafka и одним экземпляром zookeeper. Брокеры Kafka и zookeeper общедоступны путем развертывания соответствующих служб (Load Balancer). Сейчас я развертываю реестр схем и...
1999 просмотров

Kafka Connect не работает с предметными стратегиями
Контекст Я закодировал пару небольших коннекторов Kafka Connect . Один, который просто генерирует случайные данные каждую секунду, а другой, регистрирует их в консоли. Они интегрированы с реестром схем , поэтому данные сериализован с помощью...
2093 просмотров

Scala и Avro: проблема с регистрацией схемы io.confluent
Я использую scala 2.12, и в моем build.sbt есть следующие зависимости. libraryDependencies += "org.apache.kafka" % "kafka-clients" % "0.10.1.0" libraryDependencies += "io.confluent" % "kafka-avro-serializer" % "3.1.1" libraryDependencies +=...
1235 просмотров

Как исправить поиск кэшированной схемы реестра, вызывающий ужасную производительность
Изменить: я обнаружил этот другой вопрос несколько лет назад ( Как заполнить кеш в CachedSchemaRegistryClient без вызова для регистрации новой схемы? ). В нем упоминается, что CachedSchemaRegistryClient должен зарегистрировать схему в реальном...
635 просмотров

десериализатор сообщений kafka Avro для нескольких тем
Я пытаюсь удалить сообщение kafka в формате avro. Я использую следующий код:...
1251 просмотров

Ошибка с прокси-сервером Confluent Schema REST при попытке установить схему Avro
Я пытаюсь обновить схему avro, используя остальной прокси API в Confluent. Я могу выполнить GET следующим образом и получить действительный ответ: http://mykafkahost.com:8081/subjects/avro-schema-for-value/versions/1 Но когда я пробую это:...
421 просмотров

Как я могу получить реестр схемы kafka в Pyspark?
Я ищу соответствующую библиотеку для PySpark, чтобы получить реестр схемы от Kafka и декодировать данные. Кто-нибудь знает, что такое преобразование кода/библиотеки из scala в pyspark в скала-код ?
101 просмотров

как производитель общается с реестром и что отправляет в реестр
Я пытаюсь понять это, читая документацию, но, возможно, потому, что я не продвинутый программист, я не совсем понимаю это. Я в документации и, например, в этом примере:...
50 просмотров

Обновить загрузочное решение Apache Kafka Spring для подключения к Confluent Cloud Kafka?
У меня есть приложение Java Spring Boot, которое подключается к Apache Kafka. KafkaController.java package com.demo.controllers; import com.demo.engine.Producer; import org.springframework.beans.factory.annotation.Autowired; import...
206 просмотров

Потребитель Flink kafka не мог десериализовать данные avro из kafka
я новичок в использовании apache Flink, я пытался использовать данные avro во Flink с помощью ConfluentAvroDeserializer, но когда я запускаю программу и передаю некоторые данные в kafka с помощью kafka-avro-console-producer, программа показывает...
81 просмотров