МАШИННОЕ ОБУЧЕНИЕ (ML) В GOOGLE CLOUD

Подполе искусственного интеллекта, машинное обучение (ML) присутствует в современном мире повсюду. Подобно социальным приложениям, предлагающим вам товары для покупки на основе вашего поиска, данные получают по-новому. Это позволяет программам или приложениям учиться на собственном опыте, собирая данные. Машинное обучение помогает делать прогнозы на основе построения алгоритма, другими словами, этот алгоритм учится на данных в итеративном процессе. Он не реагирует на самого себя, скорее, он обучен реагировать.

Преимущества машинного обучения в облаке

На платформе облачных вычислений есть три основных игрока, включая Amazon (AWS), Microsoft (Azure) и Google (GCP). Google представила свою новую платформу машинного обучения в 2016 году, что сделало TensorFlow доступным для специалистов по обработке данных и разработчиков для облачного машинного обучения. Основные игроки продолжают развивать инновации машинного обучения.

Из множества преимуществ использования облачной платформы по сравнению с традиционной системой можно выделить следующие:

  1. Обучение больших объемов данных с большой вычислительной мощностью
  2. Экспериментирование с возможностями машинного обучения с возможностью масштабирования по мере роста спроса
  3. Главный игрок предлагает множество вариантов машинного обучения, которые не требуют глубоких знаний в области искусственного интеллекта, теории машинного обучения или команды специалистов по данным.

В этой статье основное внимание уделяется управляемому машинному обучению, при котором во время обучения вы вводите в свою модель обучающие данные. После того, как ваша модель обучена, она выдает «прогноз» на выходе. Google уже давно использует машинное обучение для своих собственных приложений, таких как Google Keyboard, Google Photos, Google Maps, Google Chrome, Google Mail, Google Play Music, YouTube и других, и теперь они предоставили свои технологии всему миру. проводить исследования.

Машинное обучение в облаке не требует каких-либо обширных исследований или вычислительных ресурсов, как в первые дни поисков. В настоящее время любой разработчик или специалист по данным, имеющий компьютер и проблему с машинным обучением, может получить исключительные результаты с помощью облачных вычислений. Сквозной цикл модели машинного обучения в GCP показан на рисунке ниже.

Как сегодня осуществляется ML?

Машинное обучение в современном мире в основном осуществляется с помощью scikit learn, XGBoost, Keras или TensorFlow или, возможно, написания кодов в записных книжках Jupyter. Предприятия, которые рассматривают ML, могут экспериментировать, создавать доказательства концепций (PoC) или масштабировать производство после обучения. Независимо от того, какой у них пакет инструментов ML, GCP позаботится обо всем. Более того, GCP предлагает ресурсы для разработчиков приложений, а также специалистов по обработке данных и специалистов по машинному обучению, независимо от того, хотят ли они предварительно обученные модели или пользовательские модели.

Сервис API машинного обучения, предлагаемый Google, в основном предназначен для разработчиков, поскольку требует меньших знаний о машинном обучении, а API легко встраивается в приложения. ML API предоставляет доступ к предварительно обученным моделям с помощью одного запроса REST API.

В январе 2018 года Google анонсировал свой новый ресурс по машинному обучению под названием Cloud AutoML, который позволяет разработчикам с ограниченным опытом машинного обучения обучать высококачественные модели, соответствующие их бизнес-потребностям. Cloud AutoML - это нечто среднее между разработчиками приложений и специалистами по данным. ML Cloud Engine - лучший вариант для создания пользовательских моделей и хорошего управления машинным обучением, поскольку он позволяет обучать и обслуживать вашу модель в любом масштабе.

Kubeflow - еще один сервис, который помнит не только специалистов по данным, но и инженеров по программному обеспечению и данным. Если команда хочет поделиться моделями и рабочими процессами машинного обучения внутри организации, они могут использовать эту услугу, поскольку она интегрирует модели в разные части бизнеса.

Наконец, самое лучшее решение для самостоятельной работы - это GCE и GKE (Google Compute Engine и Google Kubernetes Engine). Если у вас есть фреймворк машинного обучения, отличный от TensorFlow, и вы хотите использовать сервисы GCP, GCE и GKE сыграют свою роль в этих случаях.

Мы можем понять различия и то, где сервисы могут быть использованы в реальном мире или в приложениях, чтобы лучше понять необходимость прогнозирования.

Машинное обучение как API

В GCP есть 5 API, которые предоставляют доступ к предварительно обученным моделям для выполнения общих задач машинного обучения.

  1. Cloud Vision:

Cloud Vision API позволяет обнаруживать текст в изображениях OCR (оптическое распознавание символов), рукописный ввод в изображениях (OCR), текст в файлах (OCR -PDF / TIFF), подсказки при кадрировании, лица, свойства изображения, метки, ориентиры, логотипы, несколько объекты, явный контент (SafeSearch), веб-объекты и страницы, аннотации пакетных изображений в автономном режиме, небольшие аннотации пакетных файлов в Интернете и в автономном режиме с использованием облачного видения с Spring Framework и кодировкой base64 для отправки локального изображения.

  1. Облачная речь:

Он точно преобразует речь в текст. Можно транскрибировать контент с точными подписями. Это может быть полезно для улучшения обслуживания, получая информацию от взаимодействия с клиентами.

2. Cloud Natural Language:

Он помогает в предоставлении технологий понимания естественного языка, таких как анализ тональности, анализ тональности сущностей, распознавание сущностей и другие текстовые аннотации.

3. Cloud Video Intelligence:

Этот API помогает разработчикам комментировать видео с помощью таких функций, как анализ снимков с отслеживанием объектов, маркировка, явное обнаружение содержимого, отслеживание объектов, распознавание логотипов, распознавание текста, выполнение транскрипции речи в видео, обнаружение лиц, обнаружение человека, потоковая аннотация к видеофайлу и потоковая передача. аннотация из прямой трансляции.

4. Облачный перевод:

Этот API помогает переводить тексты на более 100 языков для веб-сайтов и приложений.

Некоторые из компаний, которые используют ML API в производстве, - это GIPHY, Hearst Newspapers, Descript, Seenit, Maslo и многие другие.

AutoML

AutoML вступает в игру, когда вы хотите обучить API-интерфейсы на ваших собственных данных. Например, это позволит вам обучить модель на ваших собственных данных изображения. Некоторые из его функций включают создание высококачественных обучающих данных, в которых служба Google по маркировке людей может аннотировать и очищать ярлыки, чтобы вы могли убедиться, что модели обучаются на высококачественных данных. Некоторые из продуктов AutoML включают: AutoML Vision, AutoML Video Intelligence (бета), AutoML Natural Language, AutoML Translation, AutoML Tables (бета). Примером компаний, интегрирующих AutoML Vision, являются Disney, Urban Outfitters, ZSL и многие другие.

Cloud ML Engine:

Этот движок поможет вам выполнить настраиваемую задачу прогнозирования, специфичную для вашего набора данных или варианта использования. Он предлагает услуги обучения и прогнозирования и может использоваться вместе или по отдельности. Инструменты для создания, обучения и обслуживания вашей собственной модели - это TensorFlow и ML Engine. TensorFlow используется для создания и ML Engine для обучения и обслуживания моделей в масштабе. Внедрение Cloud ML Engine изменило бизнес-компании, которые идентифицируют облака на спутниковых снимках, компании, обеспечивающие безопасность пищевых продуктов, а также компании, которые заботятся об удовлетворенности клиентов и отвечают на них в четыре раза быстрее по электронной почте.

Сложные модели можно обучать, используя мощность графических процессоров и TPU (Tensor Processing Unit - используемый в качестве интегральной схемы для конкретного приложения-ускорителя AI, разработанной Google специально для NN). В результате полностью обученная модель машинного обучения готова к размещению в других средах, включая локальную среду и общедоступное облако. Также эту услугу можно использовать при развертывании модели, обученной во внешних средах.

На рисунке ниже показаны этапы обучения и прогнозирования на основе модели машинного обучения, развернутой в Google Cloud ML Engine.

  1. Подготовка данных
  2. Создание модели
  3. Модельное обучение
  4. Развертывание модели
  5. Монитор

Kubeflow

Если ваша команда работает над рабочими процессами машинного обучения на основе Kubernetes, то Kubeflow может сделать развертывание простым, переносимым и масштабируемым. Kubeflow Pipeline позволяет вам переносить данные в доступный формат и запускать очистку данных, анализировать компоненты и обученные модели, масштабировать обученные модели и многое другое. Трубопровод Kubeflow состоит из:

  • Пользовательский интерфейс (пользовательский интерфейс) для управления заданиями и отслеживания экспериментов и запусков.
  • Он предлагает движок, который позволяет планировать многоэтапные рабочие процессы машинного обучения.
  • Для управления конвейерами и компонентами и их определения вы получаете SDK (Software Development Kit).
  • Блокноты для взаимодействия с системой, использующей SDK.

ML в Google Cloud: заключение

Поскольку Google создал TensorFlow с открытым исходным кодом, он стал наиболее широко используемым среди энтузиастов машинного обучения. И Amazon, и Microsoft также поддерживают TensorFlow в своих сервисах машинного обучения. Google предоставляет услуги машинного обучения общего назначения и специализированные услуги машинного обучения; из которого вы можете выбрать платформу, над которой уже работаете, и перейти к ней. В то время фреймворком с самой широкой поддержкой является TensorFlow, но это быстро меняющаяся область, и даже Google теперь представил поддержку scikit-learn и XGBoost.

Я настоятельно рекомендую подробно прочитать этот блог на странице https://www.themigration.co/post/machine-learning-ml-on-google-cloud

Миграционная компания, Мельбурн, имеет обширную команду членов, охватывающую все ресурсы и сервисы, необходимые для ИИ (искусственного интеллекта) и глубокого обучения для всех трех платформ, будь то GCP, AWS или Microsoft Azure. Мы регулярно обновляем наши ресурсы с помощью новых технологий, исходя из потребностей наших клиентов. Если вы хотите узнать об интеграции любого из вышеперечисленных способов с вашей технологией, сообщите нам об этом. Всего наилучшего для вашего машинного обучения!