У меня есть кластер flink, настроенный для режима восстановления zookeeper, работающего на марафоне. Как лучше всего отправить приложение в кластер flink через консоль?журнал диспетчера задач ,< href="https://drive.google.com/open?id=0By1V400SzzkbLWJUT0lLU0pEOUU" rel="nofollow noreferrer">журнал менеджера заданий и клиент вне
как можно отправлять задания через консоль в кластер flink-standalone zookeeper-recovery-mode?
comment
Вы пытались использовать интерфейс командной строки Flink с конфигурацией ZooKeeper?
- person Till Rohrmann schedule 12.05.2017
comment
вот в чем проблема, я не могу найти правильный способ сделать это
- person lshared schedule 16.05.2017
Ответы (1)
В основном вам нужно настроить flink-conf.yaml с теми же настройками ZooKeeper, которые вы использовали для запуска кластера. Учитывая, что ваш кластер ZooKeeper доступен из zookeeer.foobar.com:2181 и вы установили идентификатор кластера Flink на flinkCluster, вам необходимо вставить следующие параметры конфигурации в flink-conf.yaml:
high-availability: zookeeper
high-availability.cluster-id: flinkCluster
high-availability.zookeeper.quorum: zookeeper.foobar.com:2181
Обновлять
Версия Flink 1.2.x содержит ошибку, которая требует установки адреса и порта JobManager's через jobmanager.rpc.address и jobmanager.rpc.port в файле flink-conf.yaml. В противном случае ClusterClient выйдет из строя с исключением или не сможет получить надлежащую сетевую карту, с которой он может общаться с удаленным JobManager. Проблема описана в FLINK-6629.
person
Till Rohrmann
schedule
16.05.2017
да, я так и сделал, но получаю сообщение об ошибке от клиента: Не удалось получить шлюз JobManager. Проблема в моем приложении marathon. Zookeeper назначает порт rcp, отличный от того, который назначен Marathon для контейнера Flink. Недавно я видел это моя ошибка, извините. Я думаю, что клиент не может подключиться к jobmaner, потому что порт, предлагаемый zookeeper, не привязан к хост-порту, указанному для марафона. Чтобы убедить меня, я попытался выполнить отправку внутри контейнера диспетчера задач, но у меня есть та же ошибка. Я до сих пор не могу понять, как диспетчер задач может зарегистрироваться в диспетчере задач, если клиент не может. Есть идеи?
- person lshared; 17.05.2017
Вы можете проверить журналы, чтобы увидеть, к какому порту привязан JobManager. В журнале клиента вы увидите, какой адрес JobManager был получен для попытки подключения. Эта информация будет полезна.
- person Till Rohrmann; 17.05.2017
Я видел порт rcp на веб-сайте flink, я также видел ту же информацию в журналах диспетчера задач и диспетчера заданий, один и тот же порт во всех местах, и я использовал этот порт для клиента, но это не сработало. Если я использую этот порт в контейнере менеджера заданий, все работает очень хорошо с клиентом, но снаружи я получаю ошибку подключения.
- person lshared; 17.05.2017
Важен не только порт, но и адрес, к которому вы привязываетесь. Для связи он должен быть абсолютно одинаковым на стороне сервера и клиента. Не могли бы вы проверить, что это так?
- person Till Rohrmann; 17.05.2017
У меня есть диспетчер задач и диспетчер заданий, настроенные на использование zookeeper, оба работают в контейнерах докеров, настроенных как приложение марафона. Диспетчер задач опрашивает смотрителя зоопарка и отлично находит менеджера по работе. С той же конфигурацией я пытаюсь использовать flink run -d для запуска приложения, но получаю сообщение об ошибке подключения. Порт, назначенный марафоном для порта rcp, не совпадает с портом, показанным Flink, однако диспетчер задач прописан правильно. Почему клиент не может сделать то же самое?
- person lshared; 18.05.2017
Адрес и порт, отображаемые клиентом и диспетчером задач во время подключения, совпадают. Я проверил это во всех журналах
- person lshared; 18.05.2017
Не могли бы вы поделиться всеми журналами с? В идеале с уровнем журнала при отладке.
- person Till Rohrmann; 18.05.2017
Я отредактировал свой первоначальный запрос с помощью журналов flink и вывода клиента.
- person lshared; 18.05.2017
Кажется, это ошибка во Flink. Я обновил свой ответ. Спасибо за терпение и помощь в устранении проблемы :-)
- person Till Rohrmann; 19.05.2017
Хорошо, надеюсь, я был полезен, спасибо за вашу работу, ребята
- person lshared; 19.05.2017
Исправление должно быть объединено в ближайшие пару часов.
- person Till Rohrmann; 19.05.2017
В какой версии flink исправлена ошибка?
- person lshared; 01.06.2017
Только что выпущенная версия 1.3.0 содержит исправление этой проблемы.
- person Till Rohrmann; 01.06.2017
все в порядке !!!!, команда запуска с настройками zookeeper отлично работает в версии flink 1.3.0. Я доказал это в Windows и Linux
- person lshared; 02.06.2017
