{Эта статья была написана без помощи или использования инструментов искусственного интеллекта и представляет собой достоверное и глубокое исследование TransmogrifAI}
В мире, наводненном обильной информацией, я уверяю вас, что этот сборник является вашим единственным путеводителем по достижению господства над властью ТрансмогрифаАИ. Ее исчерпывающее содержание в сочетании с тщательно разработанной методологией наделит вас неоценимой проницательностью и знаниями. Я выступаю за сохранение этого сборника в архиве или добавление его в закладки как вашу типичную путеводную звезду во время вашей одиссеи по достижению непревзойденного понимания TransmogrifAI. Теперь давайте погрузимся в глубины и гармонично раскроем загадки автоматизированного машинного обучения.
В постоянно развивающейся сфере науки о данных автоматизация рабочих процессов машинного обучения превратилась в неизбежную необходимость для предприятий, стремящихся оставаться в авангарде прогресса. Раскрытие потенциала, заложенного в процессе принятия решений на основе данных, требует быстрого и эффективного создания, развертывания и расширения моделей машинного обучения. TransmogrifAI, расширенная библиотека машинного обучения с открытым исходным кодом, специально разработанная для Scala и Apache Spark, была разработана для оптимизации целостного процесса машинного обучения, облегчая доступность как для новичков, так и для адептов в этой области.
В этом исчерпывающем сборнике мы приступим к углубленному исследованию компетенций, заложенных в TransmogrifAI, раскрывая его достоинства и одновременно предоставляя тщательное, шаг за шагом объяснение использования его возможностей через Python. Целью является создание, внедрение и управление передовыми моделями машинного обучения — и все это в вашей компетенции.
Оглавление
- Введение в ТрансмогрифАИ
- Преимущества ТрансмогрифАИ
- Установка и настройка
- Подготовка данных
- Особенности проектирования
- Обучение и выбор модели
- Оценка и анализ модели
- Развертывание модели и MLOps
- Работа с данными временных рядов
- Заключение
1. Введение в ТрансмогрифАИ
TransmogrifAI представляет собой расширенную библиотеку машинного обучения с открытым исходным кодом, которая организует автоматизацию сложного процесса, включающего создание, развертывание и администрирование моделей машинного обучения. TransmogrifAI, построенный на основе Scala и Apache Spark, служит для оптимизации целостной траектории машинного обучения, начиная с предварительной обработки данных и тщательного проектирования функций, проходя через тигель обучения модели, строгую оценку и завершаясь грандиозным финалом. развертывания. Модульная конструкция архитектуры дает пользователям возможность плавно переключаться между различными задачами, что делает ее образцовым инструментом, предназначенным для начинающих и опытных обитателей сферы науки о данных.
2. Преимущества TransmogrifAI
Некоторые из ключевых преимуществ использования TransmogrifAI включают в себя:
- Упрощенный рабочий процесс машинного обучения: TransmogrifAI абстрагирует сложности машинного обучения, позволяя пользователям выполнять стандартные задачи, такие как очистка данных, разработка функций и обучение моделей, с минимальным написанием кода.
- Скорость и эффективность. Оптимизированный рабочий процесс TransmogrifAI позволяет быстро перебирать различные модели и гиперпараметры, что значительно сокращает время, затрачиваемое на разработку и оптимизацию модели.
- Автоматизация утомительных задач: TransmogrifAI автоматизирует многие трудоемкие задачи, связанные с машинным обучением, включая предварительную обработку данных, разработку функций и настройку гиперпараметров, позволяя пользователям сосредоточиться на более важных аспектах своих проектов, таких как как понимание их данных и интерпретация их результатов.
- Единый интерфейс для нескольких задач: TransmogrifAI предоставляет согласованный API для разнообразных задач машинного обучения, упрощая процесс обучения и сокращая время и усилия, необходимые для изучения новых инструментов.
- Масштабируемость: TransmogrifAI использует возможности Apache Spark, который обеспечивает встроенную поддержку распределенных вычислений, позволяя пользователям масштабировать свои модели машинного обучения на нескольких узлах в кластере.
3. Установка и настройка
Чтобы начать работу с TransmogrifAI, вам необходимо установить Scala и Apache Spark. Подробные инструкции по установке Scala и Apache Spark можно найти в официальной документации.
После установки Scala и Apache Spark вы можете добавить TransmogrifAI в свой проект, включив следующую строку в файл build.sbt:
// Adding a library dependency for TransmogrifAI libraryDependencies += "com.salesforce.transmogrifai" %% "transmogrifai-core" % "0.7.0"
4. Подготовка данных
Прежде чем погрузиться в TransmogrifAI, важно иметь правильно отформатированный набор данных для вашей задачи машинного обучения. Это включает в себя обеспечение очистки, предварительной обработки и структурирования ваших данных таким образом, чтобы они подходили для конкретной проблемы, которую вы пытаетесь решить. Чтобы загрузить данные в Spark DataFrame, вы можете использовать следующий фрагмент кода:
# Importing the necessary module from pyspark.sql import SparkSession # Creating a Spark session spark = SparkSession.builder \ .appName("TransmogrifAI Tutorial") \ .config("spark.master", "local[*]") \ .config("spark.driver.memory", "2g") \ .config("spark.jars.packages", "com.salesforce.transmogrifai:transmogrifai-core_2.11:0.7.0") \ .getOrCreate() # Reading data from a CSV file data = spark.read.csv("your_data.csv", header=True, inferSchema=True)
5. Разработка функций
TransmogrifAI предлагает широкий спектр преобразователей функций для облегчения процесса проектирования функций. Эти преобразователи можно использовать для извлечения значимой информации из необработанных данных и подготовки ее для алгоритмов машинного обучения. Чтобы создать преобразователь функций, вы можете использовать следующий фрагмент кода:
# Importing the necessary module from transmogrifai.features import FeatureBuilder # Defining feature transformers for a categorical column and a numeric column categorical_feature = FeatureBuilder("categorical_column", data).asCategorical() numeric_feature = FeatureBuilder("numeric_column", data).asContinuous()
6. Обучение и выбор модели
После настройки среды TransmogrifAI и подготовки данных вы теперь можете обучать и сравнивать различные модели машинного обучения с помощью всего лишь нескольких строк кода. Класс Transmogrifier()
используется для автоматизации всего рабочего процесса машинного обучения, включая разработку функций, обучение модели и оценку.
# Importing the necessary module from transmogrifai.workflow import Transmogrifier # Creating a Transmogrifier instance transmogrifier = Transmogrifier() # Training a model using the Transmogrifier model = transmogrifier.train(data)
Метод train()
обучает модель машинного обучения, используя предоставленный набор данных, и возвращает обученный объект модели.
7. Оценка и анализ модели.
Для оценки производительности ваших обученных моделей TransmogrifAI предоставляет различные показатели оценки и инструменты визуализации, которые позволяют анализировать и интерпретировать результаты.
# Importing the necessary modules from transmogrifai.evaluators import BinaryClassificationEvaluator, RegressionEvaluator # Creating evaluators for binary classification and regression tasks binary_evaluator = BinaryClassificationEvaluator() regression_evaluator = RegressionEvaluator() # Evaluating the model's performance on the dataset binary_metrics = binary_evaluator.evaluate(model.transform(data)) regression_metrics = regression_evaluator.evaluate(model.transform(data))
Приведенный выше фрагмент кода демонстрирует, как использовать классы BinaryClassificationEvaluator
и RegressionEvaluator
для вычисления показателей оценки для задач двоичной классификации и регрессии соответственно.
8. Развертывание модели и MLOps
После обучения и оценки ваших моделей вы можете захотеть развернуть их в производственных средах для реальных приложений. TransmogrifAI предлагает несколько функций, которые помогут вам в этом процессе, включая сохранение и загрузку обученных моделей и их развертывание в кластерах Apache Spark.
Сохранение и загрузка обученных моделей
Чтобы сохранить обученную модель для будущего использования, вы можете использовать метод save()
, который сохраняет весь конвейер, включая модель и все этапы предварительной обработки, в виде файла Parquet на локальном диске.
# Saving the trained model model.save("my_trained_model")
Чтобы загрузить сохраненную модель, вы можете использовать метод load()
, который возвращает объект конвейера, который можно использовать для прогнозирования новых данных.
# Importing the necessary module from transmogrifai.workflow import TransmogrifierModel # Loading a saved trained model loaded_model = TransmogrifierModel.load("my_trained_model")
Развертывание моделей в кластерах Apache Spark
TransmogrifAI поддерживает развертывание обученных моделей в кластерах Apache Spark, что позволяет легко интегрировать ваши модели в производственные приложения. Подробные руководства по развертыванию моделей в Apache Spark можно найти в официальной документации TransmogrifAI.
9. Работа с данными временных рядов
TransmogrifAI также поддерживает работу с данными временных рядов для таких задач, как прогнозирование и обнаружение аномалий. Библиотека предоставляет отдельный модуль временных рядов, который можно установить с помощью следующей команды:
// Adding a library dependency for TransmogrifAI Time Series libraryDependencies += "com.salesforce.transmogrifai" %% "transmogrifai-timeseries" % "0.7.0"
Этот модуль предлагает аналогичную функциональность, что и другие модули TransmogrifAI, с упором на данные временных рядов. Подробнее о работе с данными временных рядов в TransmogrifAI можно узнать в официальной документации.
10. Заключение
TransmogrifAI — это мощная и простая в использовании библиотека машинного обучения, которая позволяет создавать, развертывать модели машинного обучения и управлять ими с минимальными усилиями. Высокоуровневый подход и обширная функциональность делают его идеальным инструментом как для новичков, так и для экспертов в области науки о данных. Следуя этому пошаговому руководству, вы теперь можете использовать потенциал TransmogrifAI для решения собственных задач машинного обучения и раскрыть возможности принятия решений на основе данных.
Свяжитесь со мной в LinkedIn
Подпишитесь на мою рассылку DATA UNBOXED
На простом английском
Спасибо, что являетесь частью нашего сообщества! Прежде чем уйти:
- Обязательно аплодируйте и подпишитесь на автора! 👏
- Вы можете найти еще больше контента на PlainEnglish.io 🚀
- Подпишитесь на нашу бесплатную еженедельную рассылку. 🗞️
- Подпишитесь на нас в Twitter, LinkedIn, YouTube >» и Discord.