Конфигурация Mesos с существующим автономным кластером Apache Spark

Я новичок в Apache-Spark! Я установил автономный кластер Spark на 4 ПК. Я хочу использовать Mesos с существующим автономным кластером Spark. Но я читал, что мне нужно сначала установить Mesos, а затем настроить Spark.

Я также видел документацию Spark по настройке с помощью Mesos, но мне это не помогло.

Итак, как настроить Mesos с существующим автономным кластером Spark?


apache-spark yarn mesos
person Yasir    schedule 06.12.2016    source источник
comment
Хотя вы не можете использовать автономную версию с Mesos (вместо этого, как объясняется в ответе ниже), если вы хотите опробовать Spark на Mesos, самый простой способ - это dcos.io   -  person Michael Hausenblas    schedule 07.12.2016

Ответы (1)


arrow_upward
3
arrow_downward

Mesos - это диспетчер кластеров, альтернативный автономному диспетчеру Spark. Вы не используете его, вы используете его вместо.

  • чтобы создать кластер Mesos, следуйте https://mesos.apache.org/gettingstarted/
  • убедитесь, что распространяемая собственная библиотека Mesos доступна на компьютере, который вы используете для отправки заданий
  • для запуска кластерного режима Диспетчер Mesos (sbin/start-mesos-dispatcher.sh).
  • отправить приложение, используя главный URI Mesos (режим клиента) или URI диспетчера (режим кластера).
person Community    schedule 06.12.2016