Заказ пакетной нормализации и отсева?

В Иоффе и Сегеди 2015 авторы заявляют, что «мы хотели бы гарантировать, что для любого параметра значения, сеть всегда производит активации с желаемым распределением ». Таким образом, слой пакетной нормализации фактически вставляется сразу после слоя Conv / Fully Connected Layer, но перед подачей в ReLu (или любые другие виды) активации. Подробнее см. это видео примерно за 53 мин. .

Что касается отсева, я считаю, что отсев применяется после слоя активации. На рисунке 3b выпадающего документа коэффициент отсева / матрица вероятности r (l) для скрытого слоя l применяется к нему на y (l), где y (l) - результат после применения функции активации f.

Таким образом, порядок использования пакетной нормализации и исключения следующий:

-> CONV / FC -> BatchNorm -> ReLu (или другая активация) -> Dropout -> CONV / FC ->

Как отмечалось в комментариях, замечательный ресурс для ознакомления с порядком слоев - это здесь. Я просмотрел комментарии, и это лучший ресурс по теме, который я нашел в Интернете.

Мои 2 цента:

Dropout предназначен для полной блокировки информации от определенных нейронов, чтобы нейроны не коадаптировались. Итак, пакетная нормализация должна быть после выпадения, иначе вы передаете информацию через статистику нормализации.

Если задуматься, в типичных задачах машинного обучения это причина того, что мы не вычисляем среднее значение и стандартное отклонение по всем данным, а затем разбиваем их на наборы для обучения, тестирования и проверки. Мы разделяем, а затем вычисляем статистику по набору поездов и используем их для нормализации и центрирования проверочных и тестовых наборов данных.

поэтому я предлагаю схему 1 (здесь учитывается комментарий псевдомарвина к принятому ответу)

-> CONV / FC -> ReLu (или другая активация) -> Dropout -> BatchNorm -> CONV / FC

в отличие от схемы 2

-> CONV / FC -> BatchNorm -> ReLu (или другая активация) -> Dropout -> CONV / FC -> в принятом ответе

Обратите внимание, что это означает, что сеть по схеме 2 должна показывать переоснащение по сравнению с сетью по схеме 1, но OP выполнил некоторые тесты, упомянутые в вопросе, и они поддерживают схему 2.

Обычно просто опускайте Dropout (когда у вас BN):

• «BN устраняет необходимость в Dropout в некоторых случаях, потому что BN интуитивно обеспечивает те же преимущества регуляризации, что и Dropout»
• "Такие архитектуры, как ResNet, DenseNet и т. Д., Не используют Dropout

Для получения дополнительных сведений см. Этот документ [Понимание дисгармонии между выпадением и нормализацией пакета с помощью сдвига отклонения] как уже упоминал @Haramoz в комментариях.

Конв - Активация - DropOut - BatchNorm - Пул - ›Test_loss: 0.04261355847120285

Конв - Активация - DropOut - Пул - BatchNorm - ›Test_loss: 0.050065308809280396

Конв - Активация - BatchNorm - Пул - DropOut - ›Test_loss: 0.04911309853196144

Конв - Активация - BatchNorm - DropOut - Пул - ›Test_loss: 0.06809622049331665

Conv - BatchNorm - Activation - DropOut - Pool - ›Test_loss: 0,038886815309524536

Conv - BatchNorm - Activation - Pool - DropOut - ›Test_loss: 0.04126095026731491

Конв - BatchNorm - DropOut - Активация - Пул - ›Test_loss: 0.05142546817660332

Конв - DropOut - Активация - BatchNorm - Пул - ›Test_loss: 0.04827788099646568

Conv - DropOut - Activation - Pool - BatchNorm - ›Test_loss: 0.04722036048769951

Конв - DropOut - BatchNorm - Активация - Пул - ›Test_loss: 0.03238215297460556

Обучен на наборе данных MNIST (20 эпох) с 2 сверточными модулями (см. Ниже), каждый раз следуя

model.add(Flatten())
model.add(layers.Dense(512, activation="elu"))
model.add(layers.Dense(10, activation="softmax"))

Сверточные слои имеют размер ядра (3,3), заполнение по умолчанию, активация elu. Объединение - это максимальное объединение бассейна (2,2). Потеря categorical_crossentropy, оптимизатор adam.

Соответствующая вероятность отсева составляет 0.2 или 0.3 соответственно. Количество карт функций составляет 32 или 64 соответственно.

Изменить: когда я отбросил Dropout, как рекомендовано в некоторых ответах, он сходился быстрее, но имел худшую способность к обобщению, чем когда я использую BatchNorm и Dropout.

Я нашел статью, в которой объясняется несоответствие между Dropout и Batch Norm (BN). Ключевой идеей является то, что они называют сдвигом дисперсии. Это связано с тем, что отсев ведет разное поведение между этапами обучения и тестирования, что меняет входную статистику, которую изучает BN. Основную идею можно найти на этом рисунке, взятом из этой статьи.

Небольшую демонстрацию этого эффекта можно найти в этом блокноте.

Основываясь на исследовательском документе, для повышения производительности мы должны использовать BN перед применением отсева.

Я прочитал рекомендуемые статьи в ответе и комментарии из https://stackoverflow.com/a/40295999/8625228

С точки зрения Иоффе и Сегеди (2015), используйте только BN в сетевой структуре. Ли и др. (2018) дают статистический и экспериментальный анализ, что существует сдвиг дисперсии, когда практикующие используют Dropout до BN. Таким образом, Li et al. (2018) рекомендуют применять Dropout после всех слоев BN.

С точки зрения Иоффе и Сегеди (2015), BN находится внутри / перед функцией активации. Однако Chen et al. (2019) используют слой IC, который объединяет выпадение и BN, а Chen et al. (2019) рекомендует использовать BN после ReLU.

В целях безопасности использую Dropout или BN только в сети.

Чен, Гуанъюн, Пэнфэй Чен, Юйцзюнь Ши, Чан-Ю Се, Бенбен Ляо и Шэнъюй Чжан. 2019. «Переосмысление использования пакетной нормализации и отсева при обучении глубоких нейронных сетей». CoRR abs / 1905.05928. http://arxiv.org/abs/1905.05928.

Иоффе, Сергей и Кристиан Сегеди. 2015. «Пакетная нормализация: ускорение глубокого обучения сети за счет уменьшения внутреннего ковариантного сдвига». CoRR abs / 1502.03167. http://arxiv.org/abs/1502.03167.

Ли, Сян, Шо Чен, Сяолинь Ху и Цзянь Ян. 2018. «Понимание дисгармонии между отсеиванием и нормализацией партии с помощью сдвига дисперсии». CoRR abs / 1801.05134. http://arxiv.org/abs/1801.05134.

Правильный порядок: Conv> Normalization> Activation> Dropout> Pooling.

ConV / FC - BN - сигмовидная / tanh - выпадение. Если функция активации - Relu или иное, порядок нормализации и отключения зависит от вашей задачи.