Облачная война
Рейтинг поставщиков облачных услуг для решений для машинного обучения
«Все происходит в облаке. Чтобы вам не приходилось беспокоиться об инфраструктуре, а сосредоточиться на качестве решения».
Обещание, данное поставщиками облачных услуг, сейчас так же актуально, как и почти два десятилетия назад. С постоянно растущим уровнем внедрения облачные вычисления позволили как пользователям, так и предприятиям в мире ИТ эффективно и без проблем использовать мощные инфраструктуры. Желание увеличить свою долю на рынке мотивирует поставщиков постоянно улучшать свои предложения. Для потребителей облачных услуг это означает более безопасную, надежную и повышенную производительность их облачных решений.
В секторе искусственного интеллекта предприятия всех размеров также выигрывают от такого быстрого развития облачных сервисов. Инструменты искусственного интеллекта, которые раньше были доступны только нескольким крупным предприятиям, теперь доступны всем, от любознательного студента до опытного инженера. Единственное требование - подключение к интернету!
Но вопрос о том, какого поставщика выбрать для облачного решения для машинного обучения, требует тщательного исследования и глубокого понимания того, что предлагают различные экосистемы. Это руководство по ранжированию дает архитектору решений ML обзор того, что мы считаем наиболее важными критериями надежных поставщиков облачных услуг.
Поскольку на рынке преобладают Amazon Web Services, Google Cloud Platform и Microsoft Azure, мы сосредоточимся на них в нашем сравнении.
1. Наличие специализированного оборудования
Начнем с очевидного. Большие данные требуют больших (если не огромных) вычислительных мощностей и возможностей хранения. Двумя наиболее востребованными облачными ресурсами являются вычислительные экземпляры и службы хранения. Вычислительные экземпляры на базе графического процессора часто требуются для машинного обучения, поскольку графические процессоры позволяют выполнять массовые параллельные вычисления из-за их высокой пропускной способности памяти. Точно так же системы хранения также играют решающую роль и оптимизированы по скорости, чтобы не отставать от вычислительных возможностей графических процессоров.
Поскольку разные проекты ИИ имеют разные потребности, архитектор решений машинного обучения обязательно должен иметь свободу выбора при настройке компонентов своей инфраструктуры. Кроме того, эти ресурсы должны предоставляться динамически и масштабироваться по запросу, чтобы минимизировать затраты и максимально повысить эффективность.
Поскольку все 3 провайдера предлагают широкий выбор настроек на уровне инфраструктуры, мы получаем равные оценки в этой категории.
2. Наличие предварительно настроенных сред
Возможность настройки пользовательских инфраструктур машинного обучения является основной потребностью при создании масштабируемых систем обработки данных. Однако при экспериментировании с новыми алгоритмами или создании пользовательских моделей инженеры машинного обучения нередко хотят развернуть предварительно настроенную среду за считанные минуты. Мы считаем эту возможность действительно важным аспектом.
В этом смысле все 3 поставщика предлагают предварительно настроенные экземпляры виртуальных машин, которые используют последние выпуски библиотек машинного обучения (и глубокого обучения!) и работают без дополнительной настройки.
Решение Google основано на Debian 9 Stretch, в то время как Microsoft Azure предоставляет виртуальные машины для обработки данных на базе Linux (Ubuntu 16.04 LTS и CentOS 7.4) и Windows Server 2016. AWS Deep Learning AMI созданы для Amazon Linux. 2018.03, Windows 2016 и несколько версий Ubuntu 16.04.
Предварительно настроенные экземпляры виртуальных машин позволяют быстро создавать прототипы, не беспокоясь о проблемах совместимости программного обеспечения. Просто проверьте, какие образы ВМ поддерживают ваши любимые инструменты анализа данных, и создайте свежую среду машинного обучения!
3. Обучаемость и доступность онлайн-ресурсов
Потребители облачных услуг машинного обучения — это специалисты по данным, отвечающие за разработку, внедрение и обслуживание решений для больших данных. Но даже самый опытный фанат данных может почесать затылок, столкнувшись с множеством доступных облачных сервисов.
Мы считаем доступность онлайн-ресурсов важным фактором при выборе конкретного поставщика для нужд вашего бизнеса. В конечном итоге это означает, насколько быстро вы (или новый архитектор решений для данных в вашей команде) станете продуктивнее.
Как три ведущих поставщика облачных услуг помогают специалистам по данным быстро освоить свои экосистемы машинного обучения?
Учебники и краткие руководства
Все, три, поставщики позволяют инженерам очень легко начать работу с проектами машинного обучения. Тем не менее, AWS показала себя немного лучше, учитывая раздел Примеры использования, в котором демонстрируются успешные решения для работы с большими данными, включая подробный обзор и пошаговый анализ их архитектуры.
Форумы сообщества
Форумы разработчиков AWS — это активная платформа, на которой профессионалы могут обмениваться знаниями и помогать друг другу. Категория форума для каждого из предоставляемых облачных сервисов позволяет легко найти информацию.
Точно так же хорошо структурирован Форум MSDN, где вопросы, связанные с облачными службами Azure, также хорошо классифицированы. Тем не менее, сообщество, похоже, не так тесно, и многие темы, связанные с Azure, разбросаны по нескольким онлайн-платформам.
С другой стороны, страница Google Cloud Discuss по-прежнему основана на старой доброй платформе Google Groups. Чтобы добраться до конкретной темы, требуется немного больше копания, поскольку облачные сервисы лишь приблизительно объединены в темы.
Программы обучения разработчиков
По состоянию на ноябрь 2019 года AWS и GCP являются единственными поставщиками облачных услуг, которые предлагают сертификаты с упором на машинное обучение. На этот раз Microsoft Azure отстает со своим ограниченным сертификационным предложением.
4. Инструменты MLOps
«Что делать, если инженер DevOp заболел»
Возможно, ваш бизнес все еще находится в процессе создания максимально оптимизированной индивидуальной инфраструктуры машинного обучения. Или, может быть, вы еще не наняли этого сертифицированного инженера DevOp. Или, что еще лучше, вы устали от недифференцированной тяжелой атлетики.
Означает ли это, что ваша команда по науке о данных должна взять перерыв? Ни за что!
Все вендоры предлагают поддержку MLaaS (Machine Learning as a Service) для непрерывной разработки ML: Amazon SageMaker, Microsoft Azure ML Services, Google Cloud AI Platform (ранее ML Engine). Это позволяет специалистам по данным настраивать, обучать и размещать модели, не беспокоясь о настройке своих виртуальных сред. Они уже установлены и обычно поставляются с последними версиями самых популярных инструментов обработки данных.
Исчерпывающее сравнение сервисов MLaaS можно найти здесь. Однако для целей нашего рейтинга AWS снова получает дополнительный балл: это единственный сервис, предоставляющий встроенные алгоритмы машинного обучения.
Знание различий между тремя поставщиками облачных услуг позволяет вам сделать лучший выбор для вашего следующего проекта машинного обучения. Ниже приводится краткое изложение вышеприведенного рейтинга и дается обзор наших критериев.
Что вы обычно учитываете при настройке инфраструктуры? Дайте нам знать в комментариях ниже, и, возможно, мы добавим его в наш список :)
