Публикации по теме 'apache-kafka'


Kafka как удаленный массив — пример бинарного поиска
Очень часто, когда ко мне приходят разработчики с просьбой добавить новый вариант использования Kafka, они считают, что Kafka может сразу решить все проблемы. Хотя это действительно отличный проект, его также можно несколько упростить до простой абстракции «удаленного массива записей» с некоторыми улучшениями (высокая производительность, группы потребителей, уплотнение, множественные интеграции и т. д.). Однако на самом деле с разделом Kafka можно просто обращаться так, как он есть — с..

Вопросы по теме 'apache-kafka'

Дублирование доставки сообщений Simple-Kafka-consumer
Я пытаюсь реализовать простое приложение Producer -> Kafka -> Consumer на Java. Я могу успешно создавать и потреблять сообщения, но проблема возникает, когда я перезапускаю потребитель, когда некоторые из уже потребленных сообщений снова получают...
850 просмотров
schedule 16.05.2024

Потребление сообщений Apache Kafka, когда количество разделов превышает количество потребителей
Если я использую кластер Kafka с большим количеством разделов, чем у моей единственной группы потребителей есть потребители. Есть ли какие-либо гарантии по упорядочиванию сообщений или своевременной доставке сообщений по разделам? Простой пример:...
9592 просмотров
schedule 23.02.2024

Как Kafka транслирует множество групп потребителей
Я новичок в Kafka и буду благодарен за разъяснения по следующему случаю. В документации Kafka в параграфе «Позиция потребителя» говорится: «Наша тема разделена на набор полностью упорядоченных разделов, каждый из которых используется одним...
20881 просмотров
schedule 15.03.2024

Тема Kafka vs тема раздела
Я хотел бы знать, в чем разница между простой темой и темой раздела. Как я понимаю, чтобы сбалансировать нагрузку, тема была разделена, каждое сообщение будет иметь смещение, и потребитель подтвердит, что предыдущие сообщения были использованы....
11712 просмотров
schedule 20.12.2023

как отправлять данные с помощью foreachRDD с помощью Java
У меня есть данные RDD, которые я преобразовал в JavaDStream, теперь я хочу отправить их в тему kafka, мне не нужен код отправки kafka, просто мне нужна реализация foreachRDD, мой код выглядит как public void publishtoKafka(ITblStream t) {...
8663 просмотров

Kafka 0.8.2 ConsumerMetadataRequest всегда возвращает ConsumerCoordinatorNotAvailableCode
Я использую kafka 0.8.2 , я хочу использовать API смещения выборки и фиксации, как документ сказал : Смещения для данной группы потребителей поддерживаются конкретным брокером, называемым координатором смещения. т. е. потребителю необходимо...
741 просмотров
schedule 10.04.2024

Распараллелить приемники между машинами в Spark Streaming
Могу ли я в потоковом приложении Spark распараллелить приемники на всех компьютерах в кластере (а не только на главном)? Таким образом, все узлы в кластере Spark одновременно читают данные из внешнего потока.
346 просмотров

Кафка и гетерогенные сообщения
Я занимался исследованием Kafka и Avro , и у меня возник вопрос о том, как обрабатывать разнородные сообщения с помощью Kafka . Предположим, у нас есть две схемы Avro : EmailSent и UserLoggedIn . Как лучше всего с Кафкой их потреблять?...
235 просмотров
schedule 10.11.2023

Как получить список всех ConsumerGroup с сервера Kafka (не Zookeeper) в Java
Есть ли какой-либо Java Api в Kafka, который дает мне список всех групп потребителей вместе с темой/разделом, из которого они потребляют. Кроме того, есть ли способ получить список зоопарков со стороны сервера kafka. Примечание. Я могу получить...
427 просмотров
schedule 02.02.2024

как определить, все ли выбросы достигли болта?
У меня есть носик kafka, скажем, KafkaSpout , который читает сообщение, скажем, msg из темы kafka, и отправляет болт, скажем, Bolt1 . Bolt1 разделяет это сообщение на несколько сообщений msg1 , msg2 ,.., msgN и отправляет другому Bolt, скажем...
125 просмотров
schedule 10.12.2022

Проблема с производительностью на kafka-net Consumer
Используя потребительский API kafka-net .NET, я столкнулся с проблемой производительности (похожей на эту проблему в Java API) и не могу понять, почему я неправильно настроил Consumer. Я использую контейнер Wurstmeister Kafka Docker без изменений в...
838 просмотров

Может ли Kafka иметь динамическое количество потребителей?
Мы ищем новую платформу обмена сообщениями и сузили свой выбор до RabbitMQ или Kafka. Прямо сейчас я склоняюсь к Kafka, но у меня есть некоторые сомнения, что это хороший выбор, учитывая одно из наших требований. Нам нужна очередь, которая...
256 просмотров
schedule 13.11.2022

Как узнать последнее смещение темы Kafka, чтобы знать, когда мой читатель в курсе темы?
У меня есть сервер, который должен хранить в памяти кеш всех пользователей. Итак, предполагая, что список не будет большим - пара сотен тысяч элементов, я хотел бы использовать тему Kafka с сообщениями с ключами, где ключ - это идентификатор...
4581 просмотров
schedule 25.02.2024

Событие канала было усечено
Здесь я столкнулся с проблемой, что я получаю сообщение из источника Kafka и пишу перехватчик для извлечения двух полей (dataSoure и businessType) из сообщения kafka (формат json). Здесь я использую gson.fromJson(). Но проблема в том, что я получил...
380 просмотров
schedule 23.10.2022

Балансировка нагрузки в apache kafka
Я новичок в Apache Kafka и играл с ним. Если у меня есть 2 брокера и одна тема с 4 разделами и предположим, что один из моих брокеров сильно загружен, позаботится ли kafka о балансировке входящего трафика от производителей к другому бесплатному...
8560 просмотров
schedule 05.01.2024

как я могу запустить планировщик kafka, используя марафон в minimesos?
Я пытаюсь запустить планировщик инфраструктуры kafka-mesos с помощью контейнера докеров, как указано в https://github.com/mesos/kafka/tree/master/src/docker#running-image-in-marathon с использованием реализации Marathon, работающей в minimesos (мне...
927 просмотров
schedule 16.05.2024

Почему моя вставка данных в мою базу данных cassandra такая медленная?
Это мой запрос, если текущий идентификатор данных присутствует или отсутствует в базе данных Cassandra. row = session.execute("SELECT * FROM articles where id = %s", [id]) Разрешил сообщения в Kafka, затем определить, существует ли это...
110 просмотров
schedule 09.11.2023

Задание потоковой передачи Spark не выполняется после остановки драйвером
У меня есть задание потоковой передачи искр, которое считывает данные из Kafka и выполняет с ними некоторые операции. Я выполняю эту работу над кластером пряжи Spark 1.4.1, который имеет два узла с 16 ГБ ОЗУ каждый и 16 ядрами каждый. У меня есть...
3261 просмотров

Темы Kafka не работают через несколько дней после создания
Я новичок в Kafka, несколько дней назад от производителя создается несколько тем (автоматически), то есть с разделом 1, фактом отражения -1 и ISR -1. Он работал нормально, раньше нормально потреблял сообщения всех тем. Сегодня, то есть через два...
1670 просмотров

kafka получить количество разделов для темы
Как я могу получить количество разделов для любой темы kafka из кода. Я изучил много ссылок, но, похоже, ни одна из них не работает. Упомянув несколько:...
80018 просмотров
schedule 27.02.2024