{Эта статья была написана без помощи или использования инструментов искусственного интеллекта и представляет собой достоверное и глубокое исследование TransmogrifAI}

В мире, наводненном обильной информацией, я уверяю вас, что этот сборник является вашим единственным путеводителем по достижению господства над властью ТрансмогрифаАИ. Ее исчерпывающее содержание в сочетании с тщательно разработанной методологией наделит вас неоценимой проницательностью и знаниями. Я выступаю за сохранение этого сборника в архиве или добавление его в закладки как вашу типичную путеводную звезду во время вашей одиссеи по достижению непревзойденного понимания TransmogrifAI. Теперь давайте погрузимся в глубины и гармонично раскроем загадки автоматизированного машинного обучения.

В постоянно развивающейся сфере науки о данных автоматизация рабочих процессов машинного обучения превратилась в неизбежную необходимость для предприятий, стремящихся оставаться в авангарде прогресса. Раскрытие потенциала, заложенного в процессе принятия решений на основе данных, требует быстрого и эффективного создания, развертывания и расширения моделей машинного обучения. TransmogrifAI, расширенная библиотека машинного обучения с открытым исходным кодом, специально разработанная для Scala и Apache Spark, была разработана для оптимизации целостного процесса машинного обучения, облегчая доступность как для новичков, так и для адептов в этой области.

В этом исчерпывающем сборнике мы приступим к углубленному исследованию компетенций, заложенных в TransmogrifAI, раскрывая его достоинства и одновременно предоставляя тщательное, шаг за шагом объяснение использования его возможностей через Python. Целью является создание, внедрение и управление передовыми моделями машинного обучения — и все это в вашей компетенции.

Оглавление

  1. Введение в ТрансмогрифАИ
  2. Преимущества ТрансмогрифАИ
  3. Установка и настройка
  4. Подготовка данных
  5. Особенности проектирования
  6. Обучение и выбор модели
  7. Оценка и анализ модели
  8. Развертывание модели и MLOps
  9. Работа с данными временных рядов
  10. Заключение

1. Введение в ТрансмогрифАИ

TransmogrifAI представляет собой расширенную библиотеку машинного обучения с открытым исходным кодом, которая организует автоматизацию сложного процесса, включающего создание, развертывание и администрирование моделей машинного обучения. TransmogrifAI, построенный на основе Scala и Apache Spark, служит для оптимизации целостной траектории машинного обучения, начиная с предварительной обработки данных и тщательного проектирования функций, проходя через тигель обучения модели, строгую оценку и завершаясь грандиозным финалом. развертывания. Модульная конструкция архитектуры дает пользователям возможность плавно переключаться между различными задачами, что делает ее образцовым инструментом, предназначенным для начинающих и опытных обитателей сферы науки о данных.

2. Преимущества TransmogrifAI

Некоторые из ключевых преимуществ использования TransmogrifAI включают в себя:

  • Упрощенный рабочий процесс машинного обучения: TransmogrifAI абстрагирует сложности машинного обучения, позволяя пользователям выполнять стандартные задачи, такие как очистка данных, разработка функций и обучение моделей, с минимальным написанием кода.
  • Скорость и эффективность. Оптимизированный рабочий процесс TransmogrifAI позволяет быстро перебирать различные модели и гиперпараметры, что значительно сокращает время, затрачиваемое на разработку и оптимизацию модели.
  • Автоматизация утомительных задач: TransmogrifAI автоматизирует многие трудоемкие задачи, связанные с машинным обучением, включая предварительную обработку данных, разработку функций и настройку гиперпараметров, позволяя пользователям сосредоточиться на более важных аспектах своих проектов, таких как как понимание их данных и интерпретация их результатов.
  • Единый интерфейс для нескольких задач: TransmogrifAI предоставляет согласованный API для разнообразных задач машинного обучения, упрощая процесс обучения и сокращая время и усилия, необходимые для изучения новых инструментов.
  • Масштабируемость: TransmogrifAI использует возможности Apache Spark, который обеспечивает встроенную поддержку распределенных вычислений, позволяя пользователям масштабировать свои модели машинного обучения на нескольких узлах в кластере.

3. Установка и настройка

Чтобы начать работу с TransmogrifAI, вам необходимо установить Scala и Apache Spark. Подробные инструкции по установке Scala и Apache Spark можно найти в официальной документации.

После установки Scala и Apache Spark вы можете добавить TransmogrifAI в свой проект, включив следующую строку в файл build.sbt:

// Adding a library dependency for TransmogrifAI
libraryDependencies += "com.salesforce.transmogrifai" %% "transmogrifai-core" % "0.7.0"

4. Подготовка данных

Прежде чем погрузиться в TransmogrifAI, важно иметь правильно отформатированный набор данных для вашей задачи машинного обучения. Это включает в себя обеспечение очистки, предварительной обработки и структурирования ваших данных таким образом, чтобы они подходили для конкретной проблемы, которую вы пытаетесь решить. Чтобы загрузить данные в Spark DataFrame, вы можете использовать следующий фрагмент кода:

# Importing the necessary module
from pyspark.sql import SparkSession

# Creating a Spark session
spark = SparkSession.builder \
    .appName("TransmogrifAI Tutorial") \
    .config("spark.master", "local[*]") \
    .config("spark.driver.memory", "2g") \
    .config("spark.jars.packages", "com.salesforce.transmogrifai:transmogrifai-core_2.11:0.7.0") \
    .getOrCreate()

# Reading data from a CSV file
data = spark.read.csv("your_data.csv", header=True, inferSchema=True)

5. Разработка функций

TransmogrifAI предлагает широкий спектр преобразователей функций для облегчения процесса проектирования функций. Эти преобразователи можно использовать для извлечения значимой информации из необработанных данных и подготовки ее для алгоритмов машинного обучения. Чтобы создать преобразователь функций, вы можете использовать следующий фрагмент кода:

# Importing the necessary module
from transmogrifai.features import FeatureBuilder

# Defining feature transformers for a categorical column and a numeric column
categorical_feature = FeatureBuilder("categorical_column", data).asCategorical()
numeric_feature = FeatureBuilder("numeric_column", data).asContinuous()

6. Обучение и выбор модели

После настройки среды TransmogrifAI и подготовки данных вы теперь можете обучать и сравнивать различные модели машинного обучения с помощью всего лишь нескольких строк кода. Класс Transmogrifier() используется для автоматизации всего рабочего процесса машинного обучения, включая разработку функций, обучение модели и оценку.

# Importing the necessary module
from transmogrifai.workflow import Transmogrifier

# Creating a Transmogrifier instance
transmogrifier = Transmogrifier()

# Training a model using the Transmogrifier
model = transmogrifier.train(data)

Метод train() обучает модель машинного обучения, используя предоставленный набор данных, и возвращает обученный объект модели.

7. Оценка и анализ модели.

Для оценки производительности ваших обученных моделей TransmogrifAI предоставляет различные показатели оценки и инструменты визуализации, которые позволяют анализировать и интерпретировать результаты.

# Importing the necessary modules
from transmogrifai.evaluators import BinaryClassificationEvaluator, RegressionEvaluator

# Creating evaluators for binary classification and regression tasks
binary_evaluator = BinaryClassificationEvaluator()
regression_evaluator = RegressionEvaluator()

# Evaluating the model's performance on the dataset
binary_metrics = binary_evaluator.evaluate(model.transform(data))
regression_metrics = regression_evaluator.evaluate(model.transform(data))

Приведенный выше фрагмент кода демонстрирует, как использовать классы BinaryClassificationEvaluator и RegressionEvaluator для вычисления показателей оценки для задач двоичной классификации и регрессии соответственно.

8. Развертывание модели и MLOps

После обучения и оценки ваших моделей вы можете захотеть развернуть их в производственных средах для реальных приложений. TransmogrifAI предлагает несколько функций, которые помогут вам в этом процессе, включая сохранение и загрузку обученных моделей и их развертывание в кластерах Apache Spark.

Сохранение и загрузка обученных моделей

Чтобы сохранить обученную модель для будущего использования, вы можете использовать метод save(), который сохраняет весь конвейер, включая модель и все этапы предварительной обработки, в виде файла Parquet на локальном диске.

# Saving the trained model
model.save("my_trained_model")

Чтобы загрузить сохраненную модель, вы можете использовать метод load(), который возвращает объект конвейера, который можно использовать для прогнозирования новых данных.

# Importing the necessary module
from transmogrifai.workflow import TransmogrifierModel

# Loading a saved trained model
loaded_model = TransmogrifierModel.load("my_trained_model")

Развертывание моделей в кластерах Apache Spark

TransmogrifAI поддерживает развертывание обученных моделей в кластерах Apache Spark, что позволяет легко интегрировать ваши модели в производственные приложения. Подробные руководства по развертыванию моделей в Apache Spark можно найти в официальной документации TransmogrifAI.

9. Работа с данными временных рядов

TransmogrifAI также поддерживает работу с данными временных рядов для таких задач, как прогнозирование и обнаружение аномалий. Библиотека предоставляет отдельный модуль временных рядов, который можно установить с помощью следующей команды:

// Adding a library dependency for TransmogrifAI Time Series
libraryDependencies += "com.salesforce.transmogrifai" %% "transmogrifai-timeseries" % "0.7.0"

Этот модуль предлагает аналогичную функциональность, что и другие модули TransmogrifAI, с упором на данные временных рядов. Подробнее о работе с данными временных рядов в TransmogrifAI можно узнать в официальной документации.

10. Заключение

TransmogrifAI — это мощная и простая в использовании библиотека машинного обучения, которая позволяет создавать, развертывать модели машинного обучения и управлять ими с минимальными усилиями. Высокоуровневый подход и обширная функциональность делают его идеальным инструментом как для новичков, так и для экспертов в области науки о данных. Следуя этому пошаговому руководству, вы теперь можете использовать потенциал TransmogrifAI для решения собственных задач машинного обучения и раскрыть возможности принятия решений на основе данных.

Свяжитесь со мной в LinkedIn

Подпишитесь на мою рассылку DATA UNBOXED

На простом английском

Спасибо, что являетесь частью нашего сообщества! Прежде чем уйти: