Въведение и преглед Кратък преглед на най-новите ефективни трансформатори, дълъг-къс трансформатор. Мотивацията зад това е, че искаме да извършим тази операция за внимание върху по-дълги входни последователности. Повечето от тези преобразуватели за обработка на естествен език могат да приемат като вход само 512 токена и ние искаме да ги разширим, за да приемат може би цяла научна статия като вход или може би цял правен документ или цялата пикселна мрежа от изображения като вход...