Свързани публикации 'layer-normalization'
Глава 5: Трансформаторният блок в дълбочина
След като разбра значението на своята позиция и магията на самовниманието, „ябълката“ сега стои на входа на велик замък, крепостта Transformer Block. Тази крепост, известна в цяла Трансформърленд, е мястото, където думите наистина съзряват, претърпяват трансформации, които ги подготвят да играят своите роли в разказите с изящество и прецизност.
Докато „ябълката“ стъпва в крепостта, тя е посрещната с две основни камери, които примамват с обещанието си за трансформация: камерата за..
Нормализация на слоя
Това е петата статия от поредицата The Implemented Transformer. Нормализирането на слоя директно следва механизма за внимание с множество глави и мрежата за подаване напред по позиция от предишните статии.
Заден план
Като цяло нормализацията е процесът на трансформиране на характеристиките, за да бъдат в сравним мащаб. Има многобройни начини за нормализиране на функции, включително стандартен резултат и минимално-максимално мащабиране на характеристиките.
Минимално-максимално..