Вопросы по теме 'kafka-consumer-api'
Тема Kafka vs тема раздела
Я хотел бы знать, в чем разница между простой темой и темой раздела. Как я понимаю, чтобы сбалансировать нагрузку, тема была разделена, каждое сообщение будет иметь смещение, и потребитель подтвердит, что предыдущие сообщения были использованы....
11712 просмотров
schedule
20.12.2023
Kafka 0.8.2 ConsumerMetadataRequest всегда возвращает ConsumerCoordinatorNotAvailableCode
Я использую kafka 0.8.2 , я хочу использовать API смещения выборки и фиксации, как документ сказал :
Смещения для данной группы потребителей поддерживаются конкретным брокером, называемым координатором смещения. т. е. потребителю необходимо...
741 просмотров
schedule
10.04.2024
Как получить список всех ConsumerGroup с сервера Kafka (не Zookeeper) в Java
Есть ли какой-либо Java Api в Kafka, который дает мне список всех групп потребителей вместе с темой/разделом, из которого они потребляют. Кроме того, есть ли способ получить список зоопарков со стороны сервера kafka. Примечание. Я могу получить...
427 просмотров
schedule
02.02.2024
Проблема с производительностью на kafka-net Consumer
Используя потребительский API kafka-net .NET, я столкнулся с проблемой производительности (похожей на эту проблему в Java API) и не могу понять, почему я неправильно настроил Consumer. Я использую контейнер Wurstmeister Kafka Docker без изменений в...
838 просмотров
schedule
11.10.2022
Как узнать последнее смещение темы Kafka, чтобы знать, когда мой читатель в курсе темы?
У меня есть сервер, который должен хранить в памяти кеш всех пользователей. Итак, предполагая, что список не будет большим - пара сотен тысяч элементов, я хотел бы использовать тему Kafka с сообщениями с ключами, где ключ - это идентификатор...
4581 просмотров
schedule
25.02.2024
Темы Kafka не работают через несколько дней после создания
Я новичок в Kafka, несколько дней назад от производителя создается несколько тем (автоматически), то есть с разделом 1, фактом отражения -1 и ISR -1. Он работал нормально, раньше нормально потреблял сообщения всех тем.
Сегодня, то есть через два...
1670 просмотров
schedule
01.03.2024
kafka обновляется до .9 с новым потребительским API
Мы обновляем нашу реализацию kafka до версии .9 и используем новый потребительский java API для создания потребителя. Я использую приведенный ниже код для потребителя, и мы используем установку темы для потребителя, как в LINE A и LINE B, это вызов...
4486 просмотров
schedule
15.01.2024
ПРЕДУПРЕЖДЕНИЕ Ошибка при получении метаданных с идентификатором корреляции 1: {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)
когда я запускаю следующую команду с kafka 0.9.0.1, я получаю это предупреждение [1]. Подскажите, пожалуйста, что не так с моими темами? (я разговариваю с брокером kafka, который работает в ec2)
#./kafka-console-consumer.sh --new-consumer...
19750 просмотров
schedule
04.12.2022
kafka-node — передать аргументы асинхронной функции Consumer.on();
Я использую kafka-node для своего сервера node.js — для подключения к темам kafka. . В их API есть функция обратного вызова:
consumer.on('message', function (message) {
console.log(message);
});
для потребления сообщений, когда они...
819 просмотров
schedule
04.11.2022
Как проверить состояние потребителя Kafka
У меня есть потребитель Kafka High level.
public class KafkaHighLevelConsumer implements Runnable {
private final KafkaConsumer<String, String> consumer;
private final List<String> topics;
private final int id;
public...
6604 просмотров
schedule
24.10.2022
Компенсация среды потребительского кластера Kafka
Я пытаюсь сделать так, чтобы x потребителей обращались к указанной теме в kafka, но не использовали одни и те же сообщения. Я хочу например ...
Смещение подбора потребителя 1 1 Смещение подбора потребителя 2 2 Смещение подбора потребителя 1 3...
596 просмотров
schedule
20.01.2024
Как получить ConsumerOffset (хранится в kafka) для группы потребителей в Java?
У меня есть несколько потребителей и производителей Kafka с разными темами. С независимым приложением я хочу отслеживать отставание потребителя кафки.
Я использую kafka 0.10.0.1, так как Kafka теперь хранит потребительские смещения в самой kafka,...
357 просмотров
schedule
15.03.2024
Можно ли читать из старой версии Kafka и записывать в новую версию Kafka?
У меня есть требование, когда я должен читать из версии Kafka 0.8.2, обрабатывать данные и записывать в версию Kafka 0.10.2.
Пожалуйста, помогите мне найти решение.
282 просмотров
schedule
10.11.2022
Последнее значение, соответствующее каждому ключу, отправленному в теме Kafka
У нас настроена тема Kafka, в которой мы публикуем сводные отчеты по каждой акции, которой мы торговали в течение дня. Например Акция А - Покупка-50, Продажа-60, Акция Б - Покупка-44, Продажа-34 и т.д. Ключом при публикации является RIC код акции....
1080 просмотров
schedule
05.06.2024
Проблемы с темой __consumer_offsets в Kafka 0.10.2.0
У меня была установка kafka с одним узлом. Он работал нормально. Затем я добавил еще одного брокера и создал кластер кафки с двумя узлами. Я не устанавливал отдельный zookeeper и не использовал тот же zookeeper, который поставляется с пакетом...
739 просмотров
schedule
08.01.2024
Почему процессор Nifi consumerKafka_0_10 получает файл потока меньше, чем общий файл потока?
У меня есть 1 производитель (процессор PublishKafka_0_10) и 1 потребитель (процессор ConsumerKafka_0_10) для получения потокового файла из кластера Kafka.
Я вижу в админке Nifi UI, всего производителей 7 пакетов, но потребитель получает только 4...
239 просмотров
schedule
25.11.2022
Решения проекта Kafka для анализа HTTP-запросов на веб-сервере
Контекст :
Веб-сервер, который ежедневно получает миллионы HTTP-запросов. Конечно, должен быть проект (названный обработчиком), который отвечает за обработку этих запросов и отвечает на них некоторой информацией.
Со стороны сервера я хотел бы...
215 просмотров
schedule
24.10.2023
Kafka Recover from Commit Failed Exception
У меня проблема, когда моя фиксация не выполняется, потому что poll() слишком длинный (почему это происходит, я не знаю, сообщений не было, и он просто читался/фиксировался в пустой очереди, а мой интервал опроса установлен на часы ). Затем, когда...
3883 просмотров
schedule
13.04.2024
как лучше всего использовать сообщения из нескольких тем кафки?
Мне нужны сообщения потребителей из разных тем кафки,
Должен ли я создавать разные экземпляры потребителя для каждой темы, а затем запускать новый поток обработки в соответствии с количеством разделов. или
Я должен подписаться на все темы из...
5246 просмотров
schedule
24.04.2024
Как настроить Apache Kafka для отправки данных в указанное время?
Рассмотрим следующую абстрактную схему работы Apache Kafka:
Poducers ->(Send messages) -> Apache Kafka -> (Resend to customers) -> Customers
Можно ли настроить Kafka для отправки сообщений клиентам в указанное время?
Второй...
2138 просмотров
schedule
22.11.2023
