Вопросы по теме 'spring-kafka'
Потребитель не получает сообщения после перезапуска производителя / потребителя kafka
У нас есть один производитель, один потребитель и один раздел. Оба потребителя / производителя являются приложениями с весенней загрузкой. Клиентское приложение работает на моем локальном компьютере, а продюсер вместе с kafka и zookeeper - на...
1110 просмотров
schedule
06.12.2023
Spring Kafka Producer не отправляет в Kafka 1.0.0 (Magic v1 не поддерживает заголовки записей)
Я использую эту настройку docker-compose для локальной настройки Kafka: https://github.com/wurstmeister/kafka-docker/
docker-compose up работает нормально, создание тем через шелл работает нормально.
Теперь пытаюсь подключиться к Кафке через...
16546 просмотров
schedule
12.12.2023
Проблемы совместимости spring-kafka 2.0.x kafka .11 и spring-boot 2.0.0.RELEASE: java.lang.NoSuchMethodError
При обновлении с spring -boot 2.0.0.Mx до 2.0.0.RELEASE похоже, что есть несовместимости между spring-boot, spring-kafka 2.0.x и kafka .11. Проблемы совместимости между spring-kafka и версией kafka четко определены здесь . Однако при использовании...
10760 просмотров
schedule
16.12.2023
Невозможно выполнить модульное тестирование аннотированного метода @KafkaListener
Весной я пытаюсь провести модульное тестирование потребительского класса кафки. Я хочу знать, что если сообщение kafka отправлено в его тему, метод прослушивателя был вызван правильно. Мой потребительский класс аннотирован следующим образом:...
2756 просмотров
schedule
02.01.2024
как изменить уровни журнала сторонней библиотеки в java
Журналы консоли загромождены логами из сторонних библиотек. Например мой проект использует клиентские библиотеки kafka и zooker keeper из-за этого слишком много логов от них
08.05.2018 10:30:38.250 INFO 2968 --- [0:0:0:0:1:2181)]...
1700 просмотров
schedule
04.02.2024
потребитель kafka отключает среду выполнения, обрабатывает сообщения последовательно
Мой слушатель kafka должен обрабатывать сообщения в последовательном порядке, метод onMessage должен обрабатывать сообщения синхронно, я не хочу, чтобы мой слушатель обрабатывал несколько сообщений одновременно, метод onmessage сначала останавливается...
142 просмотров
schedule
28.10.2022
Укажите client.id для шаблона KafkaTemplate
Я знаю, что можно определить client.id для каждого @KafkaListener .
Можно ли определить client.id для каждого KafkaTemplate ?
Легче читать журналы kafka, если я могу определить client.id на KafkaTemplate вместо того, чтобы полагаться...
1027 просмотров
schedule
16.09.2022
Spring для Apache Kafka: как искать конец раздела?
Я использую Spring Boot 2.0.2.RELEASE со Spring для Apache Kafka (эффективный pom показывает 2.1.6.RELEASE версию для spring-kafka).
Я перешел от использования обычного ByteArrayDeserializer к использованию десериализатора Confluent...
2262 просмотров
schedule
21.11.2022
Обновить смещение фиксации Kafka после успешной пакетной вставки
У меня есть потребитель spring-kafka, который читает записи и передает их в кеш. Запланированная задача будет периодически очищать записи в кеше. Я хочу обновить COMMIT OFFSET только после того, как пакет был успешно сохранен в базе данных. Я...
1274 просмотров
schedule
13.04.2024
Kafka manual ackMode MANUAL_IMMEDIATE, что, если не подтвердить
Я использую Spring KafKa и устанавливаю для ackMode значение MANUAL_IMMEDIATE.
props.setAckMode(AbstractMessageListenerContainer.AckMode.MANUAL_IMMEDIATE);
сценарий таков, что по какой-то причине мое приложение не может подтвердить (...
2461 просмотров
schedule
21.11.2023
Spring Boot Kafka Listener vs Consumer
Какая разница? Могут ли термины KafkaConsumer и KafkaListener использоваться как взаимозаменяемые?
5321 просмотров
schedule
05.03.2024
Неверный тип данных сообщений kafka в landoop / fast-data-dev при отправке через Spring kafka
У меня есть приложение Spring Boot, использующее Spring-Kafka, и я использую fast-data-dev от landoop в докере в качестве моего кластера kafka. Я создаю сообщения по какой-то теме, используя шаблон kafka, avro и реестр схем confluent. Кажется, все...
288 просмотров
schedule
31.12.2023
Spring Kafka использует объекты JsonNode
У меня есть служба, которая создает сообщения Kafka с полезной нагрузкой типа com.fasterxml.jackson.databind.JsonNode . Когда я использую это сообщение, я хочу, чтобы оно было сериализовано в POJO, но я получаю следующее сообщение:...
523 просмотров
schedule
13.03.2024
Kafka + планирование на основе событий
Как вы справляетесь с автоматическим истечением срока действия заказов в статусе pending_payment в системе электронной коммерции на основе событий, использующей kafka?
Как правило, всякий раз, когда от клиента поступает запрос на создание нового...
2698 просмотров
schedule
19.11.2023
Не фиксировать смещение при возникновении исключения в методе прослушивателя Kafka
У меня есть потребительское приложение kafka, в котором метод слушателя аннотируется аннотацией @Kafkalistener. Я предоставил названия тем и контейнер в качестве входных данных для этой аннотации. Этот метод имеет аргументы типа Сообщение, а также...
640 просмотров
schedule
11.01.2024
Spring Boot Kafka Consumer не использует, Kafka Listener не запускается
Я пытаюсь создать простую загрузку Kafka Consumer для использования сообщений из темы kafka, однако сообщения не потребляются, поскольку метод KafkaListener не запускается.
Я видел в других ответах, чтобы убедиться, что AUTO_OFFSET_RESET_CONFIG...
3679 просмотров
schedule
25.11.2022
KafkaListner не разрешает название темы
Я работаю над apache-kafka + пружинный и java API. Столкнувшись с действительно раздражающей проблемой. Я использовал подход шаблона темы kafka для прослушивания события для нескольких клиентов. Ниже приведен код потребителя kafka, в котором имя...
71 просмотров
schedule
07.03.2024
@KafkaListener с одной темой и одним разделом
Я использую аннотацию spring-kafka @KafkaListener для обозначения моего метода слушателя.
Я использую одну тему с одним разделом. Сообщения никогда не превышают одного или двух в секунду, поэтому допустима одна цепочка. В документах spring-kafka...
243 просмотров
schedule
21.03.2024
Несколько экземпляров производителя kafka
Я понимаю, что несколько экземпляров приложения-производителя могут быть запущены для создания данных для темы. Какие изменения конфигурации необходимы для этого? Мне нужен другой client_id? Без всяких изменений работает. Так что не уверены, есть...
310 просмотров
schedule
17.11.2022
Как включить Stateful Retry с помощью spring-cloud-stream-binder-kafka и RetryTemplate?
Мне интересно, есть ли способ включить Stateful RetryTemplate с помощью spring-cloud-stream-binder-kafka.
Заметил что есть конструктор
RetryingMessageListenerAdapter(MessageListener<K, V> messageListener, RetryTemplate retryTemplate,...
207 просмотров
schedule
01.12.2023
