Вопросы по теме 'kafka-producer-api'
Темы Kafka не работают через несколько дней после создания
Я новичок в Kafka, несколько дней назад от производителя создается несколько тем (автоматически), то есть с разделом 1, фактом отражения -1 и ISR -1. Он работал нормально, раньше нормально потреблял сообщения всех тем.
Сегодня, то есть через два...
1670 просмотров
schedule
01.03.2024
ПРЕДУПРЕЖДЕНИЕ Ошибка при получении метаданных с идентификатором корреляции 1: {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)
когда я запускаю следующую команду с kafka 0.9.0.1, я получаю это предупреждение [1]. Подскажите, пожалуйста, что не так с моими темами? (я разговариваю с брокером kafka, который работает в ec2)
#./kafka-console-consumer.sh --new-consumer...
19750 просмотров
schedule
04.12.2022
производитель java kafka застрял при создании сообщения
Я реализую производителя apache kafka, используя java api. Apache Kafka установлен на локальном хосте. Zookeeper также работает, но функция Producer.send () по-прежнему зависает при отправке сообщения, и сообщение не публикуется.
Я уже создал...
2634 просмотров
schedule
05.11.2022
Как создать собственный сериализатор в кафке?
Доступно только несколько сериализаторов, например,
org.apache.kafka.common.serialization.StringSerializer
Как мы можем создать собственный сериализатор?
17157 просмотров
schedule
06.05.2024
Как производитель кафки узнает, какие брокеры доступны в zookeeper?
Я установил 3-узловой кластер kafka. Я хочу знать, какие брокеры доступны для клиента-производителя. Есть ли какая-нибудь команда для перечисления брокеров, подключенных к zookeeper?
541 просмотров
schedule
12.10.2022
Можно ли читать из старой версии Kafka и записывать в новую версию Kafka?
У меня есть требование, когда я должен читать из версии Kafka 0.8.2, обрабатывать данные и записывать в версию Kafka 0.10.2.
Пожалуйста, помогите мне найти решение.
282 просмотров
schedule
10.11.2022
Решения проекта Kafka для анализа HTTP-запросов на веб-сервере
Контекст :
Веб-сервер, который ежедневно получает миллионы HTTP-запросов. Конечно, должен быть проект (названный обработчиком), который отвечает за обработку этих запросов и отвечает на них некоторой информацией.
Со стороны сервера я хотел бы...
215 просмотров
schedule
24.10.2023
Пишу в ту же тему на kafka
При записи в ту же тему в Kafka с помощью метода ProduceAsync в confluent-kafka-dotnet v0.9.5 перезапишет ли он данные в разделе и смещении по умолчанию (P0, O0) или будет записываться в следующее доступное смещение в разделе ?
543 просмотров
schedule
01.06.2024
Гарантии заказа Kafka
Я просматривал kafka документацию и наткнулся на
Гарантии
Кафка на высоком уровне дает следующие гарантии:
Сообщения, отправленные производителем в определенный раздел темы, будут добавляться в порядке их отправки. То есть,...
3204 просмотров
schedule
16.09.2022
Последствия сохранения linger.ms на уровне 0
Мы используем кафку 0.10.2.1. В документации указано, что буфер доступен для отправки, даже если он не заполнен.
По умолчанию буфер доступен для немедленной отправки, даже если в буфере есть дополнительное неиспользуемое пространство. Однако,...
11001 просмотров
schedule
04.10.2022
Как обновить разделы темы внутреннего журнала изменений при обновлении счетчика разделов исходной темы?
У меня есть приложение, в котором я использую соединение Kstream-Kstream и соединение Ktream-Ktable. Я обновил количество разделов темы источника ввода с 4 до 16, и приложение остановилось с ошибкой ниже.
Could not create internal topics:...
2390 просмотров
schedule
12.12.2022
Производитель Kafka с использованием HiveStorageHandler
Я относительно новичок в hive/hadoop
Я читал эти обработчики хранилища Hive .
Теперь я пытаюсь написать пользовательскую реализацию HiveStorageHandler для запроса и отправки сообщений в Kafka с использованием таблицы Hive.
Я видел, что...
955 просмотров
schedule
24.04.2024
Каково лучшее время отклика синхронного производителя kafka
Мы настроили кластер Kafka с тремя узлами и создали тему с коэффициентом репликации 3. Мы передаем данные в этот кластер и видим, что некоторые сообщения занимают более 50 мс. При дальнейшем анализе мы обнаружили, что есть задержка в получении ответа...
193 просмотров
schedule
21.01.2024
Kafka + планирование на основе событий
Как вы справляетесь с автоматическим истечением срока действия заказов в статусе pending_payment в системе электронной коммерции на основе событий, использующей kafka?
Как правило, всякий раз, когда от клиента поступает запрос на создание нового...
2698 просмотров
schedule
19.11.2023
как использовать globalKtable и StateStore в одной теме?
Просто чтобы уточнить, я новичок в Kafka, поэтому извините, если мои вопросы кажутся недокументированными, я читаю учебники, документы и все, что могу, чтобы понять это.
Я пытаюсь прочитать все значения из GlobalStore, чтобы обновить его значения,...
1021 просмотров
schedule
16.03.2024
Kafka Mirror Maker не реплицирует темы, когда исходный и целевой кластеры находятся в разных конфигурациях
Мы настроили Mirror Maker для репликации тем между двумя кластерами kafka, когда настройки источника и назначения различны (источник = 2 сервера, место назначения = 3 сервера). при запуске MirrorMaker выдает следующую ошибку: «Ошибка:...
598 просмотров
schedule
01.05.2024
Несколько экземпляров производителя kafka
Я понимаю, что несколько экземпляров приложения-производителя могут быть запущены для создания данных для темы. Какие изменения конфигурации необходимы для этого? Мне нужен другой client_id? Без всяких изменений работает. Так что не уверены, есть...
310 просмотров
schedule
17.11.2022
Публикация всего файла в виде одного сообщения в теме Kafka с использованием Java
У меня есть вариант использования, когда мне нужно опубликовать весь файл как одно сообщение с помощью Kafka Producer, чтобы, когда потребитель читает сообщение, потребитель мог получить весь файл. Я попытался реализовать это, преобразовав файл в...
189 просмотров
schedule
14.05.2024
Обработка исключений в Java-приложении KafkaItemWriter Spring Batch Spring Boot
Получение этой ошибки:
2020-11-12 20: 16: 35.463 ОШИБКА 17552 --- [extractor-3] osksupport.LoggingProducerListener: исключение при отправке сообщения с ключом = 'abcdefghi' и полезной нагрузкой = '{заголовок: {id: ururirehdjd, Env : 88} и т.д ......
117 просмотров
schedule
26.03.2024
производитель kafka не генерирует исключение, когда брокер не работает
Создал кластер с двумя брокерами, использующими один и тот же zookeeper и пытающимся создать сообщение для темы, детали которой указаны ниже.
Когда производитель устанавливает acks="all" или -1, min.insync.replicas="2" ,...
154 просмотров
schedule
13.06.2024
