Есть ли здесь скрытые подводные камни? Даже популярный ReLU — это max(0,x), где мы позволим передать максимальное значение и обрежем отрицательное значение как ноль. В чем проблема, если мы допускаем как положительные, так и отрицательные значения?...

Я немного играю с Keras и думаю о том, в чем разница между линейным слоем активации и отсутствием слоя активации вообще? Разве у него не такое же поведение? Если да, то какой смысл в линейной активации? Я имею в виду разницу между этими двумя...

Меня немного смущают функции активации и блоги/сообщения, в которых постоянно упоминается, что нейроны не активируются или не активируются . Но с математической точки зрения, если какая-либо функция активации (будь то сигмовидная, tanh, relu)...