В последние годы модели «Смесь экспертов» с редким управлением (разреженные МО) привлекли значительное внимание и признание за свою замечательную способность отделять размер модели от эффективности вывода. Это обеспечивает беспрецедентную масштабируемость, что приводит к значительным успехам в различных областях, включая обработку естественного языка, компьютерное зрение и распознавание речи. Редкие MoE открывают заманчивую перспективу расширения возможностей модели и одновременного..