1. Проследяване на обекти в реално време чрез метаобучение: Ефективна адаптация на модела и еднократно подрязване на канали (arXiv)

Автор:Ilchae Jung, Kihyun You, Hyeonwoo Noh, Minsu Cho, Bohyung Han

Резюме:Ние предлагаме нова рамка за метаобучение за проследяване на обекти в реално време с ефективно адаптиране на модела и съкращаване на канали. Като се има предвид обектно проследяване, нашата рамка се научава да прецизира параметрите на своя модел само с няколко итерации на градиентно спускане по време на проследяване, като същевременно съкращава своите мрежови канали, използвайки целевата земна истина в първия кадър. Такъв проблем с обучението се формулира като задача за мета-обучение, където мета-тракерът се обучава чрез актуализиране на своите мета-параметри за първоначални тегла, скорости на обучение и маски за подрязване чрез внимателно проектирани симулации на проследяване. Интегрираният мета-тракер значително подобрява производителността на проследяване чрез ускоряване на конвергенцията на онлайн обучението и намаляване на разходите за изчисление на функции. Експерименталната оценка на стандартните набори от данни демонстрира неговата изключителна точност и скорост в сравнение с най-съвременните методи

2. Еднократно подрязване на повтарящи се невронни мрежи чрез оценка на спектъра на Якоби (arXiv)

Автор:Matthew Shunshi Zhang, Bradly Stadie

Резюме:Последните постижения в литературата за оскъдните невронни мрежи направиха възможно съкращаването на много големи предни и конволюционни мрежи само с малко количество данни. И все пак същите тези техники често се провалят, когато се прилагат към проблема с възстановяването на редки повтарящи се мрежи. Тези неуспехи са количествени: когато се съкращават с най-новите техники, RNN обикновено получават по-лоша производителност, отколкото при проста схема за произволно съкращаване. Неуспехите също са качествени: разпределението на активните тегла в съкратена LSTM или GRU мрежа обикновено е концентрирано в специфични неврони и порти и не е добре разпръснато в цялата архитектура. Ние се стремим да коригираме както количествените, така и качествените проблеми с повтарящото се съкращаване на мрежата чрез въвеждане на нова цел за повтарящо се съкращаване, получено от спектъра на повтарящия се Jacobian. Нашата цел е ефективност на данните (изисква само 64 точки от данни за съкращаване на мрежата), лесна за изпълнение и произвежда 95% редки GRU, които значително подобряват съществуващите базови линии. Ние оценяваме по последователни MNIST, Billion Words и Wikitext.

3. OPQ: Компресиране на дълбоки невронни мрежи с еднократно изрязване-квантуване(arXiv)

Автор:Peng Hu, Xi Peng, Hongyuan Zhu, Mohamed M. Sabry Aly, Jie Lin

Резюме:Тъй като дълбоките невронни мрежи (DNN) обикновено са свръхпараметризирани и имат милиони тегловни параметри, е предизвикателство да се разположат тези големи DNN модели на хардуерни платформи с ограничени ресурси, напр. смартфони. Предложени са множество методи за компресиране на мрежата, като съкращаване и квантуване, за значително намаляване на размера на модела, от които ключът е да се намери подходящо разпределение на компресията (напр. разредност на съкращаване и кодова книга за квантуване) на всеки слой. Съществуващите решения получават разпределението на компресията по итеративен/ръчен начин, докато фино настройват компресирания модел, като по този начин страдат от проблема с ефективността. Различно от предшестващото състояние на техниката, ние предлагаме ново еднократно подрязване-квантуване (OPQ) в тази статия, което аналитично решава разпределението на компресията само с предварително обучени параметри на теглото. По време на фина настройка модулът за компресиране е фиксиран и се актуализират само параметрите на теглото. Доколкото ни е известно, OPQ е първата работа, която разкрива, че предварително обученият модел е достатъчен за решаване на съкращаване и квантуване едновременно, без сложна итеративна/ръчна оптимизация на етапа на фина настройка. Освен това, ние предлагаме унифициран метод за квантуване по канали, който налага всички канали на всеки слой да споделят обща кодова книга, което води до разпределение на ниска скорост на предаване, без да се въвеждат допълнителни разходи, причинени от традиционното квантуване по канали. Изчерпателни експерименти на ImageNet с AlexNet/MobileNet-V1/ResNet-50 показват, че нашият метод подобрява точността и ефективността на обучението, като същевременно получава значително по-високи степени на компресия в сравнение с най-съвременните