Подключите Confluent к трем уже существующим брокерам kafka

Я новичок в мире Confluent, и я знаю, как начать кафку, зоопарков из Confluent, но это не то, что мне нужно.

У меня уже установлено 3 узла кафки и 2 смотрителя зоопарка. Впоследствии я загрузил версию 3.0.0 Confluent и теперь хочу подключить Confluent с уже запущенными Kafka и zookeeper. Я не хочу создавать новый сервер kafka или сервер zookeeper, который дает конфлюэнт.

Есть ли у кого-нибудь идеи, как этого добиться, что на самом деле запускать из Confluent и что менять.

К настоящему времени я изменял только файлы в ./etc/kafka или ./etc/zookeeper, которые находятся в директории Confluent. Спасибо!


apache-kafka confluent-platform apache-zookeeper
person iMajna    schedule 17.01.2017    source источник
comment
Мне непонятен ваш вопрос. Вы должны сначала проверить веб-страницу Confluent и документы: confluent.io/product и docs.confluent.io/3.0.0 Поставляемые версии Confluent Kafka и ZK точно такие же, как Apache Kafka 0.10. 0 (для CP 3.0.0).   -  person Matthias J. Sax    schedule 17.01.2017
comment
У меня есть проблемы с пониманием того, как работает Confluent. Предположим, у меня четыре сервера в кластере. Я уже установил Kafka на server1-3 и zookeepers на server1-2. На server4 я установил конфлюент. Можно ли подключить Confluent к моим брокерам Kafka на server1-3 или он работает по другому? Нужно ли мне иметь конфлюент на всех четырех или трех моих серверах, чтобы иметь интеграцию конфлюэнт + кафка + zk? Можете ли вы прояснить это, может быть, для меня?   -  person iMajna    schedule 18.01.2017
comment
Стек CP состоит из нескольких компонентов. Итак, какой из них вы хотите использовать? Реестр схем? Остальные прокси? Вы должны иметь возможность использовать все это в сочетании с запущенным развертыванием Kafka. Пожалуйста, прочтите документацию CP. Ваш вопрос слишком широкий, чтобы дать полезный ответ.   -  person Matthias J. Sax    schedule 18.01.2017
comment
Предположим, я ничего не знаю. Что вы предлагаете мне, как запустить Confluent на многоузловом кластере? После этого я могу запустить Confluent И Kafka (но Kafka как уже установленную службу, а не тот, который дает Confluent) вместе с подключенным? Спасибо :)   -  person iMajna    schedule 18.01.2017
comment
Мне нужно отметить этот вопрос как неясный, о чем вы спрашиваете. Извините. Вам нужно быть более конкретным. Это слишком широко. ТАК, чтобы не предоставлять учебные пособия. Я могу просто сказать вам, что должна быть возможность подключить Confluent Platform к вам, запустив установку Kafka.   -  person Matthias J. Sax    schedule 18.01.2017
comment
Еще одна попытка. В каком файле слияния я меняю конфигурацию, чтобы установить IP: порт моих брокеров ZK и Kafka. Например, server1: 2181, ...? Я не ищу учебник, чтобы прояснить некоторые основы Confluent и как управлять связью между Confluent и Kafka.   -  person iMajna    schedule 18.01.2017
comment
Давайте продолжим это обсуждение в чате.   -  person iMajna    schedule 18.01.2017

Ответы (1)


arrow_upward
1
arrow_downward

уточнить некоторые основы Confluent и как управлять связью между Confluent и Kafka

Прежде всего, не существует единого приложения под названием «Confluent», которое можно было бы запустить самостоятельно.

Для Kafka или Zookeeper настраивать нечего. Платформа Confluent не добавляет ничего поверх имеющегося у вас Apache Kafka (предположительно, через Hortonworks или Cloudera).

Фактически, эти компании действительно добавляют исправления в Kafka, которые будут немного отличаться от базовых версий Apache, которые вы получите от Confluent.

При этом, если вы прочитаете каждую из дополнительных услуг, которые предоставляет Confluent, вы заметите параметр конфигурации сервера Zookeeper или Bootstrap. Заполните эти поля, запустите соответствующие службы, и все готово.

что на самом деле бежать от Confluent

Загляните в каталог bin, там можно найти все стартовые скрипты. Из комментариев похоже, что вы пытаетесь использовать Connect Distributed (который уже должен быть установлен любой недавней установкой Kafka, это не относится к Confluent) и Schema Registry. Вам нужно будет более подробно рассказать об ошибках, которые вы получаете, но все файлы конфигурации находятся в пути etc.

Если вы не используете KSQL, REST Proxy или Control Center, вам нечего запускать, потому что, как уже упоминалось, Kafka Connect включен в базовый проект Apache Kafka, а Hortonworks поддерживает свой собственный проект реестра схем.

2 зоопарка установлены Ambari

Это настоятельно не рекомендуется. Пожалуйста, установите нечетное количество Zookeepers. 3 или 5, желательно

person OneCricketeer    schedule 26.09.2018