LIMoE на Google се мащабира ефективно с най-съвременна производителност в класификацията на изображения.
Въведение
LIMoE е мултимодален класификатор на изображения. Той е рядко активиран.
- 5.6B параметри,675M параметри на токен
- Разреденактивиран модел Смес от експерти (MoE)
