Вопросы по теме 'apache-kafka-streams'
Как создать хранилище состояний с HashMap в качестве значения в потоках Kafka?
Мне нужно создать хранилище состояний со строковым ключом HashMap в качестве значения. Я попробовал следующие два метода.
// First method
StateStoreSupplier avgStoreNew = Stores.create("AvgsNew")
.withKeys(Serdes.String())...
3474 просмотров
schedule
04.02.2024
Kafka стримит в Windows 7 в поисках dll rockdb
У меня есть программа потоков Kafka. Это 64-битная машина с Windows, и на ней работает автономный сервер Kafka. Версия Java - java 8. В коде pom есть зависимости от клиента Kafka и потокового API, а версии являются последними, т.е. 0.10.2. Всякий...
488 просмотров
schedule
06.03.2024
Решения проекта Kafka для анализа HTTP-запросов на веб-сервере
Контекст :
Веб-сервер, который ежедневно получает миллионы HTTP-запросов. Конечно, должен быть проект (названный обработчиком), который отвечает за обработку этих запросов и отвечает на них некоторой информацией.
Со стороны сервера я хотел бы...
215 просмотров
schedule
24.10.2023
Количество слов Kafka не обновляется
Я начинаю экспериментировать с Kafka Streams. Я подписан на https://kafka.apache.org/0110/documentation/streams/quickstart .
Моя песочница — это ящик с Ubuntu 16.04.2 LTS, Kafka 0.11.0.0 и Scala 2.11.11.
Как объясняется в руководстве по...
842 просмотров
schedule
26.01.2024
Кафка: Потребитель не может читать записи из темы
Мы используем потоки Kafka для записи данных в тему приемника. Я запускаю командную строку avro-consumer, чтобы проверить, есть ли данные в теме приемника:
bin / kafka-avro-console-consumer --topicink.output.topic --from-begin --new-consumer...
931 просмотров
schedule
31.03.2024
KStream: ошибка чтения и записи записей Avro
Я пытаюсь записать avro-запись, которую я прочитал из темы, в другую тему, намереваясь дополнить ее преобразованием после того, как я заработаю эту маршрутизацию. Я использовал KStream с кодом avro из одного из примеров с некоторыми изменениями для...
869 просмотров
schedule
08.05.2024
Как присоединиться к Kafka KStream в Kstream of 3 Topics
У меня есть 3 темы: «НАЧАТЬ», «ПРОДОЛЖИТЬ» и «КОНЕЦ». Эти три темы необходимо объединить в одно сообщение темы, где я могу получить модель результата, которая представляет собой комбинацию трех сообщений темы.
Есть много примеров, которые...
1183 просмотров
schedule
07.11.2023
Kafka KStream-KStream оконное объяснение соединения
Я использую
KStream.join (другой KStream, соединитель ValueJoiner, JoinWindows)
возьмем этот пример:
Поток 1 ------------------- Поток 2
ключ | Значение ----------------- ключ | Ценить
1 | A------------------------1 | A
2...
713 просмотров
schedule
02.02.2024
Как обновить разделы темы внутреннего журнала изменений при обновлении счетчика разделов исходной темы?
У меня есть приложение, в котором я использую соединение Kstream-Kstream и соединение Ktream-Ktable. Я обновил количество разделов темы источника ввода с 4 до 16, и приложение остановилось с ошибкой ниже.
Could not create internal topics:...
2390 просмотров
schedule
12.12.2022
Управление внутренними данными Kafka Streams
В моей компании мы широко используем Kafka, но мы использовали реляционную базу данных для хранения результатов нескольких промежуточных преобразований и агрегатов по причинам отказоустойчивости. Теперь мы исследуем Kafka Streams как более...
1291 просмотров
schedule
26.01.2024
Kafka Streams - сохранять сообщения по метке времени/последовательности?
Я получаю сообщения в потоке Kafka. Они определяются идентификатором пользователя. При поступлении им присваивается порядковый номер и отметка времени. Срок действия сообщений истекает через 15 минут. Пользователь может запрашивать новые сообщения...
401 просмотров
schedule
06.04.2024
Kafka UNKNOWN_PRODUCER_ID исключение
Иногда я нахожу UNKNOWN_PRODUCER_ID исключение при использовании потоков kafka.
2018-06-25 10:31:38.329 WARN 1 --- [-1-1_0-producer] o.a.k.clients.producer.internals.Sender : [Producer...
4833 просмотров
schedule
19.11.2022
kafka-streams join создает дубликаты
У меня есть две темы:
// photos
{'id': 1, 'user_id': 1, 'url': 'url#1'},
{'id': 2, 'user_id': 2, 'url': 'url#2'},
{'id': 3, 'user_id': 2, 'url': 'url#3'}
// users
{'id': 1, 'name': 'user#1'},
{'id': 1, 'name': 'user#1'},
{'id': 1, 'name':...
980 просмотров
schedule
29.11.2023
Как присоединиться к Kafka KStream с обычным файловым кешем в облаке Azure?
Я разрабатываю задание Kafka Stream по обогащению журналов. План состоит в том, чтобы использовать кеш файлов в Azure Blob для обогащения записи журнала из Kafka KStream. Насколько я понимаю, мне нужно загрузить файл кеша из Azure Blob в KTable....
93 просмотров
schedule
20.01.2024
Kafka Streams с обработкой .guarantee настроен на EXACTLY_ONCE.
Я работаю над средой разработки с 3 (dockerized) брокерами kafka в моей системе. У брокеров значение transaction.state.log.replication.factor равно 3.
В конфигурации потокового приложения я установил processing.guarantee как EXACTLY_ONCE, а в...
1304 просмотров
schedule
28.11.2022
Kafka Streams TimestampExtractor
Привет всем, у меня есть вопрос о TimestampExtractor и Kafka Streams ....
В нашем приложении есть возможность получать неупорядоченные события, поэтому я предпочитаю упорядочивать события в зависимости от бизнес-даты внутри полезной нагрузки, а не...
786 просмотров
schedule
15.05.2024
Случайный сбой в приложении с отслеживанием состояния KafkaStreams
Привет, вот проблема, с которой я сталкиваюсь несколько дней и не могу найти ответ самостоятельно.
Я использую scala streams API v2.0.0.
У меня есть два входящих потока, разветвленных на два обработчика для разделения, и оба объявляют...
364 просмотров
schedule
08.12.2023
Коммитить только выходную тему в Kafka Streams
Я хочу создать приложение Kafka Streams, которое получает сообщения типа A . Для каждого входного A приложение должно создавать несколько групп выходных B (обычная операция flatMap).
Я пытаюсь реализовать его таким образом, чтобы приложение...
226 просмотров
schedule
18.11.2022
Kafka Streams - агрегирование и объединение пользователей с адресами
У меня две уплотненные темы. Один содержит всю информацию о моем пользователе ( USERID ), а другой сохраняет их адреса ( USERID , ADRESSID ). В скобках указаны ключи. Я хочу сохранить данные пользователей только в одной теме с их списком адресов....
1047 просмотров
schedule
05.05.2024
Напишите в GlobalStateStore на Kafka Streams
Я пытаюсь использовать addGlobalStore в Kafka DSL, где необходимо хранить несколько значений, к которым мне понадобится глобальный доступ для всех моих потоков / экземпляров.
Моя проблема в том, что мне нужно периодически обновлять эти значения...
379 просмотров
schedule
12.05.2024
