Облачный поток данных Spring — развертывание микросервисов

Команда, в настоящее время я работаю над spring-xd и использую его в качестве контейнера времени выполнения для анализа данных и заданий пряжи.

Мои вопросы

1) Могу ли я использовать ту же настройку среды, которую я использовал для spring-xd?
2) Из документации я прочитал, что его можно развернуть как микросервисы, используются ли встроенные драйверы для потоковой обработки? Если он использует встроенные драйверы, могу ли я использовать его для развертывания в кластерной среде с той же инфраструктурой, используемой для spring-xd?
3) Существуют ли какие-либо специальные оболочки, созданные для Apache Spark?

Моя среда: Spark 1.6.1, Hadoop 2.7.2, zookeeper 3.6.8, Redis 3.2, spring-xd-1.3.1

Любая помощь по этим конкретным запросам будет высоко оценена.


spring-boot spring-cloud-config spring-cloud-stream spring-cloud-dataflow spring-xd
person Praveen Kumar K S    schedule 01.06.2016    source источник

Ответы (1)


arrow_upward
4
arrow_downward

Могу ли я использовать ту же настройку среды, которую я использовал для spring-xd?

Spring Cloud Data Flow (SCDF) использует spring-cloud-deployer SPI и есть реализации для Cloud Foundry, Apache YARN, Apache Mesos и Kubernetes. Учитывая, что у вас уже есть кластер Hadoop с используемым YARN, вы можете подготовить Реализация YARN SCDF-сервера.

он использует встроенные драйверы для потоковой обработки?

Не понятно, что вы хотите этим сказать. Если вы имеете в виду jdbc-драйверы; в частности, при использовании jdbc в качестве приложения-приемника мы встраиваем драйверы, совместимые с OSS, да.

Если он использует встроенные драйверы, могу ли я использовать его для развертывания в кластерной среде с той же инфраструктурой, которая используется для spring-xd?

Возможно, ответ на № 1 охватывает это. Вы можете использовать ту же инфраструктуру и предоставить YARN SCDF-сервер, используя плагин Ambari.

Существуют ли какие-либо специальные оболочки, созданные для Apache Spark?

У нас есть Spark как клиент и кластер приложений. Вы можете зарегистрировать их в SCDF для создания конвейеров задач/пакетов.

person Sabby Anandan    schedule 03.06.2016
comment
,Спасибо за убедительный ответ!! Я имел в виду встроенные драйверы, такие как spark-драйвер, который доработан вместе с spring-boot, который можно развернуть в контейнере времени выполнения. Пожалуйста, подтвердите, возможен ли этот вариант, и было бы здорово, если бы вы могли прислать мне несколько ссылок. - person Praveen Kumar K S; 03.06.2016
comment
Я создал несколько инструкций по запуску небольшого тестового приложения Spark на YARN. См. - gist.github.com/trisberg/. Мы поработаем над улучшением документации перед общедоступным выпуском. - person Thomas Risberg; 07.06.2016
comment
@Thomas, просмотрел ваши образцы, очень полезно. Кроме того, не могли бы вы опубликовать еще несколько примеров на Java? - person Praveen Kumar K S; 26.06.2016