Линейная алгебра для глубокого обучения

Введение

Линейная алгебра, раздел математики, широко используется в науке и технике. Поскольку линейная алгебра является частью непрерывной математики, а не дискретной математики, у многих специалистов по данным мало опыта в ней. Поэтому для понимания и работы со многими алгоритмами машинного обучения, особенно с алгоритмами глубокого обучения, необходимо хорошее понимание линейной алгебры. В этой статье мы сосредоточимся на ключевых предпосылках линейной алгебры.

Математические объекты

1. Скаляр

Скаляр — это всего лишь одно число. Например, на приведенном выше изображении под скалярным заголовком представленное число 1 является скалярным значением.

2. Векторы

Вектор — это упорядоченный массив чисел, идентифицируемый своим индексом в этом порядке. На приведенном выше изображении под заголовком вектора индекс V2 относится к числу 2 .

3. Матрицы

Двумерный массив чисел известен как матрица, и каждый элемент идентифицируется двумя индексами вместо одного. Первый индекс указывает на строку, а второй указывает на столбец. На приведенном выше изображении под заголовком матрицы M12 относится к элементу первой строки и второго столбца, т.е. 2.

4. Тензор

Тензоры представляют собой массив чисел с несколькими осями. Тензор состоит из трех индексов. Первый индекс указывает на строку, второй на столбец и третий на ось. Структура тензора зависит от количества индексов. Например, тензор первого порядка будет вектором с 1 индексом, второго порядка будет матрица с 2 индексами и тензором третьего порядка с 3 индексами. Тензоры с более чем 3 индексами называются тензорами более высокого порядка.

Матричная алгебра

Матричные операции, такие как сложение, вычитание, умножение и деление, могут выполняться со скалярами, векторами и другими матрицами. Каждая из этих операций имеет точное определение и часто используется в методах машинного обучения и глубокого обучения.

1. Добавление матрицы

а. Матрично-скалярное сложение: эта операция включает добавление скалярного значения к каждому элементу матрицы. Для лучшего понимания обратитесь к изображению ниже:

б. Сложение матрицы с вектором. Эта операция включает добавление каждой строки матрицы к каждому столбцу вектора. Выходная матрица будет векторного типа с тем же количеством строк, что и матрица.

с. Сложение матриц-матриц: эта операция довольно проста, но для ее выполнения требуются обе матрицы одинакового размера. Полученная матрица имеет ту же размерность. Нам нужно просто добавить каждое значение первой матрицы с соответствующим значением другой матрицы.

2. Умножение матриц

а. Матричное-скалярное умножение. В этом типе умножения скалярное значение умножается на каждую строку матрицы.

б. Умножение матрицы на вектор: умножение каждой строки матрицы на каждый столбец вектора. Выходная матрица будет векторного типа с тем же количеством строк, что и матрица.

с. Умножение матрицы на матрицу. Эта операция следует тем же шагам, что и умножение матрицы на вектор, но предварительным условием здесь является то, что две матрицы можно умножать только в том случае, если столбец первой матрицы совпадает со строкой второй матрицы. . Просто разделите вектор-столбец второй матрицы, умножьте его на каждый элемент строки и сохраните результат в новой матрице. Результирующая матрица будет иметь количество строк первой матрицы и количество столбцов второй матрицы, как показано ниже.

Свойства умножения матриц

Ассоциативный: это свойство применимо как для скалярного, так и для матричного умножения. Для скалярного умножения 2(4*5) совпадает с (4*5)2, тогда как для матричного умножения A(B*C) совпадает с (B*C)A.
Распределение. Это свойство применимо как для скалярного, так и для матричного умножения. Для скалярного умножения 2+(4+5) совпадает с (4+5)+2, а для матричного умножения A+(B+C) совпадает с (B+C)+A.
Некоммутативность.Это свойство применимо только к скалярному умножению, но не к матричному. *А.
Идентификационная матрица. Также известная как единичная матрица, в матрице этого типа диагональные элементы имеют значение один, а остальные элементы имеют нулевое значение. С количеством строк, равным количеству столбцов, это также называется квадратной матрицей.

Примеры линейной алгебры в машинном обучении

Набор данных и файлы данных
Изображения и фотографии
Горячее кодирование
Линейная регрессия
Регуляризация
Анализ главных компонентов
Разложение по сингулярному значению
Скрытый семантический анализ
Рекомендательные системы
Глубокое обучение

Резюме

В заключение, теперь у вас есть некоторые знания о том, что такое линейная алгебра и как она играет свою роль в разработке приложений на основе машинного обучения.