Apache Mesos 0.27 fetcher Ошибка: адрес уже используется:

После обновления apache Mesos до версии 0.27 в Ubuntu 14.04 (настройка 3 основных и 3 подчиненных) я получаю следующую ошибку при попытке подключиться к кластеру с помощью Spark 1.6 (режим клиента без использования образов докеров):

 I0219 12:40:47.684662 11484 fetcher.cpp:379] Fetching URI   
 'hdfs://auto-ha/spark/spark.tgz'
 I0219 12:40:47.684691 11484 fetcher.cpp:250] Fetching directly into the sandbox directory
 I0219 12:40:47.684720 11484 fetcher.cpp:187] Fetching URI     
 'hdfs://auto-ha/spark/spark.tgz'
 I0219 12:40:48.139446 11484 fetcher.cpp:109] Downloading resource     
 with Hadoop client from 'hdfs://auto-ha/spark/spark.tgz' to     '/tmp/mesos/slaves/a7907b94-6dc9-437c-b027-b71379a9e0e1-  S3/frameworks/a7907b94-6dc9-437c-b027-b71379a9e0e1- 0006/executors/5/runs/48753051-450a-4043-908d-58f277633cf4/spark.tgz'
 F0219 12:40:48.140929 11484 process.cpp:892] Failed to initialize: Failed   to bind on 172.16.8.166:5051: Address already in use: Address already in   use [98]
*** Check failure stack trace: ***
    @     0x7ff38fe76a3d  google::LogMessage::Fail()
@     0x7ff38fe7887d  google::LogMessage::SendToLog()
@     0x7ff38fe7662c  google::LogMessage::Flush()
@     0x7ff38fe76839  google::LogMessage::~LogMessage()
@     0x7ff38fe777a2  google::ErrnoLogMessage::~ErrnoLogMessage()
@     0x7ff38fe1d149  process::initialize()
@     0x7ff38fe1e7d2  process::ProcessBase::ProcessBase()
@     0x7ff38fe4d631  process::reap()
@     0x7ff38fe56235  process::subprocess()
@     0x7ff38f603059  HDFS::copyToLocal()
@           0x40eecd  download()
@           0x40b8ea  main
@     0x7ff38de81ec5  (unknown)
@           0x40d2c3  (unknown)
Aborted (core dumped)

End fetcher log for container 48753051-450a-4043-908d-58f277633cf4

Кажется, это конфликт портов на mesos-fetcher, но с использованием:

sudo lsof -i | grep 5051

на этом порту ничего не прослушивается.

Mesos 0.26 работал хорошо на тех же настройках.

Файловая система hdfs работает, и контейнеризатор докеров работает хорошо. Я также проверил конфигурацию порта сборщика, но ничего.

Любые подсказки?

Спасибо!


apache-spark mesos mesosphere
person Eingel    schedule 18.02.2016    source источник
comment
Для тех, кто ищет эту проблему, это ошибка, появившаяся в mesos 0.27, которую вы можете найти здесь. . Быстрое решение для этого — использование другой версии mesos.   -  person avr    schedule 12.07.2016

Ответы (2)


arrow_upward
0
arrow_downward

Порт 5051 используется mesos-slave для связи с mesos-master. Для проверки использования порта используйте скорее:

netstat -tulpn | grep 5051

или (без перевода имен портов - порт 5051 называется enbd-cstatd)

lsof -i -P | grep 5051

Подчиненное устройство Mesos обычно использует более широкий диапазон портов 31000-32000, с выпуском Mesosphere вы можете легко контролировать диапазон портов, выделенных для задач Mesos:

echo "[20000-32000]" > /etc/mesos-slave/resources/ports
person Tombart    schedule 20.02.2016

arrow_upward
0
arrow_downward

После холодной перезагрузки и обновления всех узлов кластера (пакет mesos тоже был обновлен) все работает нормально.

Кажется, это ошибка мезоса после обновления до 0.27.

Спасибо, в любом случае!

person Eingel    schedule 26.02.2016