Трансферное обучение: ярлык для обучения моделей глубокого обучения

Введение

Одна из основных проблем при работе над любым проектом глубокого обучения - собрать большой объем данных, чтобы модель могла достичь достаточной точности на тестовом наборе. Но не всегда возможно получить для работы большой помеченный набор данных, а сбор набора данных вручную может быть утомительной и трудоемкой работой.

Одним из возможных решений предложенной выше проблемы является Трансферное обучение.

Посмотрим, что это ...

Что такое трансферное обучение?

Известный лидер ИИ Эндрю Нг в своем популярном учебнике NIPS 2016 заявил, что «Трансферное обучение станет следующим фактором успеха машинного обучения».

Трансферное обучение - это метод машинного обучения, в котором мы применяем предварительно обученную модель в качестве отправной точки для разработки другой модели для аналогичной задачи.

Форма трансферного обучения, используемая в глубоком обучении, - это индуктивный перенос, который относится к способности механизма обучения улучшать производительность при выполнении текущей задачи после изучения другого, но связанная концепция или навык по предыдущей задаче.

Трансферное обучение направлено на извлечение знаний из одной или нескольких исходных задач и применение знаний к целевой задаче. Сценарий может быть таким: у нас есть предварительно обученная модель для обнаружения лиц, и мы должны построить модель для обнаружения глаз. В подобных случаях мы можем передать знания детектора лица модели детектора глаза, чтобы сэкономить затраты на вычисления и время обучения для модели детектора глаза.

Когда использовать трансферное обучение?

  1. Более высокий старт. Первоначальный навык (до уточнения модели) на исходной модели выше, чем был бы в противном случае.
  2. Более высокий наклон. Скорость улучшения модели во время обучения круче, чем она была бы в противном случае.
  3. Высшая асимптота. Конвергентный навык обученной модели лучше, чем был бы в противном случае.
  4. Большой набор данных для аналогичной задачи. Подход с переносом обучения может быть применен путем обучения модели для набора данных, который имеет общие черты с нашей целевой задачей, а затем ее точной настройки.

Стратегии глубокого обучения

  • Стандартные предварительно обученные модели как экстракторы признаков

В этом подходе последние несколько полностью связанных слоев предварительно обученной модели удаляются и заменяются мелкой нейронной сетью. Слои предварительно обученной модели замораживаются, и только неглубокая нейронная сеть обучается с доступным целевым набором данных. Функции, извлеченные предварительно обученной моделью, помогают мелкому изучать и хорошо выполнять целевую задачу. Преимущество этого подхода - низкая вероятность переобучения, поскольку мы обучаем только несколько последних слоев модели, сохраняя исходные слои фиксированными.

  • Точная настройка

В этом подходе вся модель обучается на доступном целевом наборе данных, а веса настраиваются с использованием обратного распространения ошибки. Чтобы снизить вычислительные затраты, также можно оставить фиксированными некоторые из более ранних уровней (из-за проблем с переоснащением) и настроить только некоторые высокоуровневые части сети. В этом случае мы используем знания с точки зрения общей архитектуры сети и используем ее состояния в качестве отправной точки для нашего этапа переподготовки. Это, в свою очередь, помогает нам достичь лучших результатов при меньшем времени на тренировки.

Ссылки

  1. Обзор трансфертного обучения https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf
  2. Введение в трансферное обучение https://www.aismartz.com/blog/an-introduction-to-transfer-learning/
  3. Используйте трансферное обучение для эффективного обучения глубокому обучению https://mlconf.com/blog/use-transfer-learning-for-efficient-deep-learning-training/
  4. Справочник по исследованиям в области приложений и тенденций машинного обучения, алгоритмов, методов и приемов Эмилио Сориа Оливаса, Хосе Давида Мартина Герреро, Марселино Мартинеса Собера, Хосе Рафаэля Магдалены

P.S .: Все изображения взяты из изображений Google

Заключение

Поздравляем, теперь у вас есть достаточное количество теоретических знаний по передаче знаний и сценариев, в которых они должны быть применены. Надеюсь, вы все создадите потрясающие проекты, которые принесут пользу обществу и людям вокруг вас.

«В обучении прекрасно то, что никто не может отнять его у вас».

~ Б. король