Должен ли я нормализовать входные данные в моей нейронной сети?

Вам не нужно ничего нормализовать внутри сети. Суть машинного обучения состоит в том, чтобы тренировать веса и смещения, чтобы изучить нелинейную функцию, в вашем примере это будет статическая шахматная оценка. Таким образом, ваша вторая нормализованная синяя вертикальная полоса (рядом с конечным результатом) не нужна.

Примечание. Hidden layers лучше использовать терминологию, чем abstraction layer, поэтому я буду использовать ее.

Другая нормализация, которую вы имеете перед скрытыми слоями, не является обязательной, но рекомендуется. Это также зависит от того, о каком входе мы говорим.

Газета Giraffe пишет на странице 18:

"Каждый слот имеет нормализованную координату x, нормализованную координату y..."

В шахматах 64 клетки, без нормализации диапазон будет [0,1,....63]. Это очень дискретно, и диапазон намного выше, чем у других входов (подробнее об этом позже). Имеет смысл нормализовать их до чего-то более управляемого и сопоставимого с другими входными данными. В документе не сказано, как именно он нормализуется, но я не понимаю, почему диапазон [0...1] не будет работать. Имеет смысл нормализовать шахматные клетки (или координаты).

Другие входные данные, например, есть ли на доске ферзь, являются истинными или ложными и, следовательно, не требуют нормализации. Например, в газете Giraffe на странице 18 написано:

...есть ли деталь или нет...

Ясно, что вы бы не нормализовали его.

Ответ на ваш вопрос

• Если вы представляете Слой количества деталей как в Giraffe, вам не нужно нормализовать. Но если вы предпочитаете дискретное представление в [0..8] (потому что в шахматах может быть 9 ферзей), вы можете нормализовать.
• Если вы представляете слой Piece Position Layer шахматными клетками, вы должны нормализовать его точно так же, как жираф.
• Giraffe не нормализует Piece Attack Defense Layer, возможно, он представляет информацию как the lowest-valued attacker and defender of each square. К сожалению, в документе прямо не указано, как это делается. Ваша реализация может потребовать нормализации, поэтому руководствуйтесь здравым смыслом.

Без каких-либо предварительных предположений, какие функции будут более актуальными для модели, вы должны нормализовать их до сопоставимого масштаба.

ОТРЕДАКТИРОВАНО

Позвольте мне ответить на ваш комментарий. Нормализация — неправильный термин, вы говорите о функции активации (https://en.wikipedia.org/wiki/Activation_function). Функция нормализации и активации — не одно и то же.