Часть-1

Машинное обучение, Обработка естественного языка, Глубокое обучение и Искусственный интеллект в последние годы привлекали большое внимание. Как они работают? Все то же самое? Что отличает их друг от друга?

Фраза Искусственный интеллект, дисциплина информатики, впервые была использована в 1956 году американским ученым по имени Джон Маккарти. Способность машины мыслить и учиться известна как искусственный интеллект (ИИ). Цель искусственного интеллекта — создать роботов, которые могут учиться и рассуждать так же, как человеческий мозг.

Прежде чем углубляться в детали, важно понять один аспект искусственного интеллекта (ИИ): хотя большинство людей ошибочно думают об ИИ как о технологии, на самом деле это понятие относится к тому, насколько интеллектуально роботы могут выполнять работу.

Сегодня он охватывает широкий круг тем, включая роботов-гуманоидов и интерпретацию данных. В последнее время он стал более известен в результате увеличения вычислительной мощности и больших объемов данных. Это позволяет любой организации лучше понять свои собственные данные, поскольку она может обнаруживать закономерности в данных более эффективно, чем люди.

Машинное обучение и ИИ — это одно и то же? Вообще-то, нет. Хотя эти два имени часто используются как синонимы, они не совпадают. Хотя машинное обучение является компонентом парадигмы искусственного интеллекта и может рассматриваться как ветвь ИИ, искусственный интеллект — это более общий термин. В парадигму ИИ включено несколько идей, включая машинное обучение, глубокое обучение, обработку естественного языка и многие другие.

Вы можете рассматривать машинное обучение как область искусственного интеллекта (ИИ), которая направлена ​​на то, чтобы дать компьютерам возможность учиться на основе данных и разума и действовать независимо от людей. Мы должны предоставить компьютерам доступ к данным, чтобы они могли учиться самостоятельно, в соответствии с общей парадигмой машинного обучения.

Подобно традиционному обучению, глубокое обучение в основном фокусируется на неструктурированном вводе, включая фотографии, текст и аудио.

И мы используем обработку естественного языка, особенно при работе с текстовыми данными. В текущей ситуации обработка естественного языка (NLP) не требует представления. Это одна из областей изучения и исследований, которая достаточно активна, и интерес к ней вырос за последние несколько лет. Хотя основополагающие концепции НЛП довольно просты, понимание более сложных вопросов может оказаться сложной задачей.

Именно здесь такие передовые алгоритмы, как машинное обучение, глубокое обучение и другие, становятся настолько важными. Рисунок 1–1 представляет собой диаграмму Венна парадигмы ИИ.

Машинное обучение

Машинное обучение можно определить как способность машины учиться на опыте (данных) и делать значимые прогнозы без явного программирования.

Это подполе ИИ, которое занимается созданием систем, способных учиться на данных. Цель состоит в том, чтобы заставить компьютеры учиться самостоятельно без какого-либо вмешательства человека.

В машинном обучении есть три основных категории.

  • контролируемое обучение
  • Неконтролируемое обучение
  • Обучение с подкреплением

Контролируемое обучение

В обучении с учителем помеченные обучающие данные используются для создания моделей или машинного обучения путем извлечения шаблона или функции. Данные состоят из независимых переменных, часто называемых предикторами, и зависимой переменной (целевой метки). Компьютер пытается вывести функцию из помеченных данных и экстраполировать результат из ранее невиданных данных.

Обучение без учителя

В этом случае обучения нет, так как компьютер обнаруживает скрытый паттерн без использования размеченных данных. Чтобы идентифицировать закономерности, эти алгоритмы вместо этого обучаются на основе того, насколько близко или далеко характеристики друг от друга.

Обучение с подкреплением

Обучение с подкреплением — это процесс максимизации вознаграждения за действие. Это целеориентированные алгоритмы, которые учатся достигать цели на опыте.

На рисунке 1–2 поясняются все категории и подкатегории.

Контролируемое обучение

Обучение на основе размеченных данных называется контролируемым обучением, которое бывает двух типов: регрессия и классификация.

  1. Регрессия

Регрессия — это метод статистического прогнозного моделирования, который находит взаимосвязь между зависимой переменной и независимыми переменными. Регрессия используется, когда зависимая переменная непрерывна; предсказание может принимать любое числовое значение.

Ниже приведены несколько алгоритмов регрессии, широко используемых в отрасли. Давайте углубимся в теорию, чтобы лучше понять эти алгоритмы.

  • Линейная регрессия
  • Древо решений
  • Случайный лес
  • Машины опорных векторов
  • ГБМ
  • XGBOOST
  • АДАБУСТ
  • СветGBM

2. Классификация

Классификация — это контролируемый метод машинного обучения, в котором зависимая или выходная переменная является категориальной. Например, spam/ham, churn/not churn и так далее.

  • В бинарной классификации это либо да, либо нет. Третьего варианта нет. Например, клиент может уйти или не уйти из определенного бизнеса.
  • В мультиклассовой классификации помеченная переменная может быть мультиклассовой, например, категоризация продуктов веб-сайта электронной коммерции.

Ниже приведены несколько алгоритмов классификации, широко используемых в отрасли.

  • Логистическая регрессия
  • Древо решений
  • Случайный лес
  • Машина опорных векторов
  • ГБМ
  • XGBoost
  • АдаБуст
  • СветGBM

Кратко рассмотрим каждый из этих алгоритмов.

Линейная регрессия

Регрессия — наиболее часто используемый термин в аналитике и науке о данных. Он фиксирует взаимосвязь между целевой функцией и независимыми функциями. И он используется, когда вы хотите предсказать непрерывное значение. На рисунке 1–3 показано, как работает линейная регрессия.

На рисунке 1–3 точки нанесены по осям X и Y. Цель состоит в том, чтобы найти отношение между x и y, проведя оптимальную линию близко ко всем точкам на плоскости (минимизация ошибки). Наклон линии определяется следующим уравнением 1–1.

Y = зависимая переменная

X = независимая переменная

A0 = перехват

A1 = коэффициент X

Например,

В уравнении 1–2 мы формируем связь между ростом и весом с возрастом. Учитывая рост и вес, можно вычислить возраст.

В линейной регрессии есть несколько предположений.

  • Между зависимыми переменными и независимыми переменными всегда должна быть линейная связь.
  • Данные должны быть нормально распределены.
  • Между независимыми переменными не должно быть коллинеарности. Мультиколлинеарность относится к сильной линейной зависимости между независимыми переменными. Эти коррелированные переменные действуют как избыточные и требуют обработки.
  • Существует гомоскедастичность, что означает, что дисперсия ошибок должна быть постоянной во времени. Дисперсия не должна быть выше для более высоких выходных значений и ниже для более низких выходных значений.
  • Члены ошибки не должны иметь никакой корреляции между собой.

Построив модель, вы хотите знать, насколько хорошо она работает. Для этого можно использовать метрики.

  • R-квадрат (R2) – это наиболее широко используемый показатель для расчета точности линейной регрессии. Значение R2 показывает, как дисперсия зависимых переменных объясняется через независимые переменные. R-квадрат находится в диапазоне от 0 до 1.
  • Среднеквадратическая ошибка (RMSE) показывает меру отклонения прогнозируемых значений от фактических значений.

Логистическая регрессия

Мы обсудили, как предсказать числовое значение с помощью линейной регрессии. Но мы также сталкиваемся с проблемами классификации, когда зависимые переменные представляют собой двоичные классы, такие как да или нет, 1 или 0, истина или ложь и так далее. В этом случае вам нужно использовать логистическую регрессию, которая представляет собой алгоритм классификации. Логистическая регрессия — это расширенная версия линейной регрессии, но мы используем журнал шансов, чтобы ограничить зависимую переменную от нуля до единицы. Ниже приведена логическая функция.

(p/1 — p) — отношение шансов. B0 является постоянным. В – коэффициент. На рис. 1–4 показано, как работает логистическая регрессия.

Теперь давайте посмотрим, как оценить модель классификации.

  • Точность – это отношение количества правильных прогнозов к общему количеству прогнозов. Значения лежат в диапазоне от 0 до 1, и, чтобы преобразовать их в проценты, умножьте ответ на 100. Но рассматривать только точность как параметр оценки — не идеальный вариант. Например, вы можете получить очень высокую точность, если данные несбалансированы.
  • Матрица путаницы представляет собой перекрестную таблицу между фактическими и прогнозируемыми классами. Вы можете использовать его для бинарной и мультиклассовой классификации.

На рис. 1–5 представлена ​​матрица путаницы.

Чтобы иметь четкое представление об этой матрице путаницы, позвольте мне объяснить ее на забавном примере.

Здесь мы рассмотрим пример теста на беременность, где реальная беременная женщина и толстяк обращаются к врачу, а результаты теста представлены на рисунке ниже 1–6.

TP(True Positive): женщина беременна, и предполагается, что она беременна. Здесь P представляет положительный прогноз, а T показывает, что наш прогноз действительно верен.

FP (ложноположительный результат): прогнозируется, что толстяк беременен, что на самом деле неверно. Здесь P представляет положительный прогноз, а F показывает, что наш прогноз на самом деле неверен. Это также называется ошибкой первого рода.

FN(False Negative): женщина, которая действительно беременна, прогнозируется как не беременная. Здесь N представляет собой отрицательный прогноз, а F показывает, что наш прогноз на самом деле неверен. Это также называется ошибкой типа II.

TN(True Negative): предполагается, что толстяк не беременен. Здесь N представляет собой отрицательный прогноз, а T показывает, что наш прогноз действительно верен.

В матрице путаницы диагональные элементы (TP и TN) всегда представляют правильные классификации, а элементы, отличные от диагональных, представляют неправильные классификации.

  • Кривая ROC. Кривая рабочей характеристики приемника (ROC) представляет собой показатель оценки для задач классификации. График кривой ROC имеет частоту ложноположительных результатов по оси x и частоту истинных положительных результатов по оси y. Он говорит, насколько сильно различаются классы при изменении порогов. Чем выше значение площади под ROC-кривой, тем выше предсказательная сила. На рисунке 1–7 показана ROC-кривая.

Линейная и логистическая регрессия — это традиционные способы делать вещи, которые используют статистику для прогнозирования зависимой переменной. Но у этих алгоритмов есть несколько недостатков. Ниже описаны некоторые из них.

  • Статистическое моделирование должно удовлетворять предположениям, обсужденным ранее. Если они не будут удовлетворены, модели не будут надежными и полностью соответствуют случайным предсказаниям.
  • Эти алгоритмы сталкиваются с проблемами, когда данные и целевые функции нелинейны. Сложные паттерны трудно расшифровать.
  • Данные должны быть чистыми (отсутствующие значения и выбросы должны быть обработаны).

Существуют и другие передовые концепции машинного обучения, такие как дерево решений, случайный лес, SVM и нейронные сети, позволяющие преодолеть эти ограничения.

Мой следующий пост будет посвящен таким понятиям, как Случайный лес, SVM и Нейронные сети.

В заключение, в этом посте представлен обзор машинного обучения, обработки естественного языка, глубокого обучения и искусственного интеллекта, подчеркивая их различия и взаимосвязи в рамках более широкой парадигмы ИИ. Он пролил свет на фундаментальные концепции и приложения обучения с учителем, обучения без учителя и обучения с подкреплением, подчеркнув их важность в моделях обучения для прогнозирования, обнаружения закономерностей и достижения целей.

Двигаясь вперед, я рад продолжать еженедельно делиться таким информативным и проницательным контентом. Углубляясь в области искусственного интеллекта, машинного обучения и науки о данных, я стремлюсь предоставить читателям ценные знания и вдохновить на дальнейшие исследования в этих областях. Я призываю вас связаться со мной в LinkedIn, чтобы оставаться в курсе и участвовать в стимулирующих дискуссиях.

Спасибо, что присоединились ко мне в этом путешествии, и я с нетерпением жду связи с вами и предоставления более интересного контента в будущем.

Следите за мной на Medium и аплодируйте этой истории, чтобы побудить меня писать больше таких историй.

Обо мне

Я сосредоточен на машинном обучении и глубоком обучении. Вы можете связаться со мной из Medium и Linkedin

Мой сайт: https://manojkumarhs.netlify.app

Спасибо