- Да се научим да конфигурираме компютърни мрежи с невронно алгоритмично разсъждение(arXiv)
Автор :Лука Бойрер-Келнер, Мартин Вечев, Лоран Ванбевер, Петър Величкович
Резюме: Представяме нов метод за мащабиране на автоматична конфигурация на компютърни мрежи. Ключовата идея е да се облекчи изчислително трудният проблем с търсенето на намиране на конфигурация, която удовлетворява дадена спецификация, в приблизителна цел, податлива на техники, базирани на обучение. Въз основа на тази идея ние обучаваме невронен алгоритмичен модел, който се научава да генерира конфигурации, които вероятно (напълно или частично) ще задоволят дадена спецификация при съществуващи протоколи за маршрутизиране. Чрез облекчаване на строгите гаранции за удовлетворение, нашият подход (i) дава възможност за по-голяма гъвкавост: той е протоколно агностичен, позволява разсъждения между различни протоколи и не зависи от твърдо кодирани правила; и (ii) намира конфигурации за много по-големи компютърни мрежи от възможните досега. Нашият научен синтезатор е до 490 пъти по-бърз от най-съвременните базирани на SMT методи, като същевременно произвежда конфигурации, които средно удовлетворяват повече от 93% от предоставените изисквания.
2. Към по-добро генерализиране извън разпространението на задачи за невронно алгоритмично разсъждение(arXiv)
Автор :Sadegh Mahdavi, Kevin Swersky, Thomas Kipf, Milad Hashemi, Christos Thrampoulidis, Renjie Liao
Резюме:В този документ ние изучаваме OOD обобщението на задачите за невронни алгоритмични разсъждения, където целта е да научите алгоритъм (напр. сортиране, търсене в ширина и първо в дълбочина) от входа -изходни двойки с помощта на дълбоки невронни мрежи. Първо, ние твърдим, че генерализирането на OOD в тази настройка е значително различно от обичайните настройки на OOD. Например, тук не се наблюдават някои явления в OOD обобщаване на класификации на изображения като \emph{точност на линия} и техники като методи за увеличаване на данни не помагат, тъй като предположенията, залегнали в основата на много техники за увеличаване, често се нарушават. Второ, анализираме основните предизвикателства (напр. промяна на разпределението на входа, генериране на непредставителни данни и неинформативни показатели за валидиране) на текущия водещ бенчмарк, т.е. CLRS \citep{deepmind2021clrs}, който съдържа 30 задачи за алгоритмично разсъждение. Ние предлагаме няколко решения, включително проста, но ефективна корекция на промяната на разпределението на входа и подобрено генериране на данни. И накрая, ние предлагаме базиран на внимание 2WL-графичен процесор за невронни мрежи (GNN), който допълва GNN за предаване на съобщения, така че тяхната комбинация превъзхожда най-съвременния модел с 3% марж, осреднен за всички алгоритми. Нашият код е достъпен на: \url{https://github.com/smahdavi4/clrs
3.Обобщение извън разпространението в алгоритмично разсъждение чрез обучение по учебна програма(arXiv)
Автор :Andrew J. Nam, Mustafa Abdool, Trevor Maxfield, James L. McClelland
Резюме: Обобщението извън разпространението (OODG) е дългогодишно предизвикателство за невронните мрежи и е доста очевидно в задачи с добре дефинирани променливи и правила, където изричното използване на правилата може да реши проблеми независимо на конкретните стойности на променливите. Големите базирани на трансформатори езикови модели разшириха границите за това колко добре невронните мрежи могат да обобщават нови входни данни, но тяхната сложност замъглява постигането на такава устойчивост. Като стъпка към разбирането как се обобщават системите, базирани на трансформатори, ние изследваме въпроса за OODG в трансформатори с по-малък мащаб. Използвайки задача за разсъждение, базирана на пъзела Sudoku, ние показваме, че OODG може да възникне при сложни проблеми, ако наборът за обучение включва примери, взети от цялото разпространение на по-прости компонентни задачи.
