Использование плагина в Google Composer приводит к сбою

Я написал небольшой плагин для Apache Airflow, который отлично работает в моем локальном развертывании. Однако, когда я использую Google Composer, пользовательский интерфейс зависает и перестает отвечать на запросы. Есть ли способ перезапустить веб-сервер в Google Composer


google-cloud-platform airflow
person davideanastasia    schedule 26.06.2018    source источник
comment
И что я сказал, чтобы заслужить отрицательный голос? Действительно?   -  person davideanastasia    schedule 27.06.2018
comment
Можете ли вы описать, что делает созданный вами плагин, и добавить соответствующий код к вашему вопросу? Можете ли вы также добавить то, что вы пробовали / где уже искали? Вы можете найти руководство SO Asking полезным для добавления более подробной информации к вопросу. Я изучаю бит перезапуска.   -  person Taylor Edmiston    schedule 28.06.2018
comment
Я добавил предварительный ответ ниже, который может помочь. Дайте мне знать, если это работает/не работает для вас, и я буду рад отредактировать.   -  person Taylor Edmiston    schedule 28.06.2018
comment
@TaylorEdmiston мой плагин является бэкпортом бегуна потока данных из текущей основной ветки, так как версия 1.9.0 вообще не работала в моей среде. Должен сказать, я также исправил несколько ошибок в основной ветке, но у меня пока не было возможности создать тикет и push-pull-реквесты на github.   -  person davideanastasia    schedule 04.07.2018

Ответы (1)


arrow_upward
1
arrow_downward

(Примечание: этот ответ в настоящее время скорее наводит на размышления, чем дорабатывает.)

Что касается перезапуска веб-сервера...

Что не работает:

  • Я просмотрел веб-интерфейс Airflow в документации. который описывает использование веб-сервера, но без доступа к нему из CLI или перезапуска.
  • Хотя вы также можете выполнять команды интерфейса командной строки Airflow в Composer. , сегодня я не вижу команды для перезапуска веб-сервера в интерфейсе командной строки Airflow.

  • Я проверил интерфейс командной строки gcloud в Google Cloud SDK, но не нашел команды, связанной с перезапуском. Вот несколько идей, которые могут помочь перезапустить веб-сервер Airflow в Composer:

    1. В интерфейсе командной строки gcloud есть команда обновления для изменить свойства среды. Я бы предположил, что он перезапускает планировщик и веб-сервер (в новых контейнерах) после того, как вы измените один из них, чтобы применить новый параметр. Вы можете установить произвольную переменную среды для проверки, но может сработать просто запуск команды обновления без изменений.

      Обновление среды gcloud beta composer ...

    2. Кроме того, вы можете обновлять свойства среды, за исключением переменных среды. в консоли GCP.

    3. Я думаю, что повторный запуск команды импорта плагинов также приведет к перезапуску планировщика/веб-сервера.

      Плагины хранения сред gcloud beta composer...

В более сложной настройке Composer поддерживает развертывание самоуправляемого Airflow. веб-сервер. Следуя связанному руководству, вы можете: подключиться к кластеру GKE вашего экземпляра Composer, создать файлы конфигурации развертывания и обслуживания Kubernetes для веб-сервера, а также выполнить развертывание с помощью kubectl create. Затем вы можете запустить kubectl replace или kubectl delete в модуле, чтобы запустить новый запуск.

Все это кажется слишком большим, поэтому, надеюсь, появится документация или более простой способ добиться перезапуска веб-сервера, чтобы преуспеть в этих обходных путях.

person Taylor Edmiston    schedule 28.06.2018
comment
Спасибо, это фантастический ответ. В настоящее время я установил Airflow 1.9.0 в экземпляр Compute Engine вручную, используя экземпляр mysql, управляемый Cloud SQL, и теперь я могу без проблем запускать свои конвейеры. Я попробовал команду обновления, но мне не повезло с этим. Установка самоуправляемого веб-сервера airflow кажется довольно сложной задачей, почти такой же, как управление моей собственной установкой. - person davideanastasia; 04.07.2018