Докато навлизаме по-дълбоко в ерата на изкуствения интелект, изчислителните ресурси, необходими за обучение на сложни езикови модели, нараснаха драстично. Големите изчислителни разходи се дължат главно на огромния размер на моделите. Например обучението на модел с един милиард параметри с 32-битова точност изисква около 80 гигабайта GPU RAM, което е предизвикателство дори за хардуер от промишлен клас. В тази статия ще се задълбочим в сложността и ограниченията на обучението по големи..