Масштабирование Google Cloud ML Engine с помощью онлайн-прогнозов. Как измерить загрузку узла?

У меня есть модель Inception V3 с некоторыми модификациями ввода и вывода, развернутыми в Google Cloud ML Engine для онлайн-прогнозов. В течение недели или около того у меня было относительно немного разреженных запросов (около 130) со средней задержкой около 100 мс и 95% процентилем 2000 мс. Я уже сгенерировал около 2 узлов * часов. Минимальное количество узлов равно 0. Это первый раз, когда я хочу использовать Cloud ML Engine в производстве.

Вопросы:

Я знаю, что узлы работают через несколько минут после запроса. Но как я могу оценить количество запросов, скажем, в 1 минуту, которые вызовут масштабирование системы? Кажется, нет информации об использовании ЦП узлами.

В моем случае я предполагаю, что количество запросов будет неуклонно расти. Должен ли я ожидать, что количество часов узла * достигнет примерно 30 * 24 (количество дней в часах в месяце), затем насытится этим значением на некоторое время, а затем пойдет дальше, когда загрузка ЦП узлов предсказания достигнет, скажем, 70%?


google-cloud-ml cpu-usage price scaling
person Fedor Petrov    schedule 08.02.2019    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Вскоре вы сможете отслеживать количество используемых узлов, но пока не можете этого делать. Вы можете сделать быструю и приблизительную оценку, основываясь на среднем количестве запросов в секунду и задержке. Предположим, что загруженность составляет примерно 60%, тогда:

X qps * .2 secs/query / .6
person rhaertel80    schedule 08.02.2019
comment
Если вам нужно, чтобы мы показали вам график недавнего использования, мы можем сделать это один раз, связавшись с нами по адресу [email protected]. - person rhaertel80; 08.02.2019

arrow_upward
0
arrow_downward

Мы публикуем журналы уровня запросов на Stackdriver. Вы можете включить их, создав модель с параметром online_prediction_logging = True. В этих журналах у нас есть поле loading_request, которое может сообщить вам, попал ли этот запрос на новую машину. Для данного более короткого периода времени это может дать вам приблизительную оценку того, сколько узлов было запущено. Для более точного масштабирования узла должна помочь функция, предложенная rhaertel80.

person Bhupesh    schedule 10.02.2019