Как интегрировать движок приложений google, очередь taks и вычислительный движок google?

Я пытался понять, как я могу настроить следующую архитектуру в облаке Google:

  • Механизм приложений Google получает HTTP-запрос
  • Движок приложений Google ставит задачу извлечения в очередь в результате HTTP-запроса.
  • Задача получена группой экземпляров Google Compute Engine с автоматическим масштабированием.

Схема из Google: Архитектура: Управление цифровыми активами и совместное использованиеЕсть ли решения, которые кто-нибудь может указать мне, как настроить обработчик очереди задач автоматического масштабирования? По моим оценкам, обработка каждой из моих задач займет около минуты.


google-cloud-platform google-compute-engine google-app-engine task-queue
person Stan Wiechers    schedule 19.12.2014    source источник

Ответы (1)


arrow_upward
1
arrow_downward

В GCE есть новая функция под названием autoscaler, которую можно использовать для автоматического масштабирования группы экземпляров GCE, документация находится здесь GCE Autoscaler. Он должен хорошо работать для этого варианта использования.

Также существует REST API для очередей извлечения, из которого вы можете извлекать извне движка приложения Очередь по запросу. Это позволит вам извлекать задачи из очереди с помощью вычислительного механизма.

person Matt J    schedule 19.12.2014
comment
Итак, предположим: мой код запускает цикл, который опрашивает новые задачи, создает новый поток для каждой задачи, а автоматическое масштабирование использует загрузку ЦП в качестве меры для увеличения / уменьшения масштабирования. Вопрос: Если новые экземпляры добавляются с моей настройкой, я не могу контролировать, чтобы наименее загруженные правильно выполняли новые задачи? Есть ли для этого балансировщик нагрузки? - person Stan Wiechers; 20.12.2014
comment
На самом деле для этого нет балансировщика нагрузки, но он все равно должен работать, потому что ваши рабочие экземпляры будут извлекать задачи по мере их готовности к их обработке. Сильно загруженные экземпляры будут тянуть медленнее, а новые экземпляры будут тянуть быстрее, пока они не станут более или менее равными. - person Matt J; 29.12.2014