Публикации по теме 'gradient-descent'


Методы математической оптимизации для машинного обучения
*Эта статья состоит из 2 частей (текстовый документ и примеры кода), примеры кода по методам доступны по этой ссылке: https://github.com/alevalve/Optimization_ML_Methods Введение Математика – это область, которая представлена ​​во всех аспектах жизни человека. С начала первых математических теорем, созданных Архимедом, Платоном, Пифагором, до новейших математиков, таких как Ньютон и Лейбниц. Однако с последних 3 столетий и по сей день математика играет ключевую роль в развитии..
Самообучающиеся компьютеры и вакцина от COVID-19, которую вы получаете
В этой статье объясняется механизм машинного обучения и его уникальное положение для помощи в открытии лекарств. Нет, вакцина от COVID — это не уловка для вживляемых микрочипов и не средство превратить нас в генетически модифицированные организмы. Но у него есть менее зловещий, более увлекательный механизм с искусственным интеллектом в основе. Прежде чем я углублюсь в детали разработки вакцины, необходимо ответить на один фундаментальный вопрос. Как машины учатся? Этот вопрос кажется..
Глубокая нейронная сеть: прямое и обратное распространение
В этой статье я расскажу о шагах, связанных с решением задачи бинарной классификации с использованием глубокой нейронной сети, имеющей L слоев. Если вы новичок в нейронных сетях, я бы посоветовал сначала прочитать эту статью , где я обсуждал нейронную сеть с одним нейроном. Входные данные X имеют размер (n𝕩, m), где n𝕩 — количество признаков, а m — количество выборок. Выход Y имеет размер (1, m). Количество нейронов в слое l обозначается как n⁽ˡ⁾. Мы будем использовать функцию..
Решение упражнений [Глава 4: Модели обучения]…
Глава 4: Модели обучения 1. Какой обучающий алгоритм линейной регрессии вы можете использовать, если у вас есть обучающий набор с миллионами функций? Как нормальное уравнение, так и подход с разложением по сингулярным значениям (SVD) становятся очень медленными, когда количество признаков становится большим (например, 100 000). Тем не менее, Gradient Descent хорошо масштабируется с количеством функций; обучение модели линейной регрессии, когда есть сотни тысяч функций, намного..
Алгоритм градиентного спуска для детей: самое интуитивно понятное объяснение
Представьте, что у вас есть большой холм, и вы хотите добраться до его основания. Градиентный спуск похож на поиск наилучшего способа спускаться с холма шаг за шагом. Теперь давайте поговорим о различных типах градиентного спуска: ⭕Пакетный градиентный спуск: представьте, что у вас есть группа друзей, и вы все хотите вместе спуститься с горы. При пакетном градиентном спуске вы смотрите на весь холм, вычисляете уклон (насколько он крутой) во всех направлениях, а затем делаете..
Масштабирование ваших функций
Масштабирование - важный процесс проектирования функций. С помощью масштабирования мы стараемся привести наши данные в один и тот же диапазон. Некоторые типы методов масштабирования: · Шкала мин-макс : (от 0 до 1) X = (X-мин. Из X) / Диапазон · Стандартизация : (диапазон -3 и 3) Z = (X-среднее X) / (Стандартное отклонение X) · Десятичное масштабирование (от -1 до 1) X = X /(10^d) d = количество цифр то есть для значения, скажем, 4997, d = 4 поэтому X / (10⁴) = 0,4..
Градиентный спуск в машинном обучении
Краткое и ясное введение Что такое градиент? Начнем с очевидного первого вопроса: что такое градиент? Если вы давно не посещали курс исчисления в третьем семестре (мой случай) или вообще не знакомы с исчислением, я дам краткое объяснение. Если вы уже знакомы с этими концепциями, пожалуйста, пропустите эту статью. Градиент означает изменение всех весов с учетом изменения ошибки. Это также может выглядеть просто как наклон функции. Чем выше градиент, тем круче наклон и тем быстрее..