Начиная
Ссылка: https://analyticsindiamag.com/a-comprehensive-guide-to-representation-learning-for-beginners/
1.Адаптивное двухканальное сверточное гиперграфическое представление обучения для технологической интеллектуальной собственности(arXiv)
Автор:Юсинь Лю, Явэнь Ли, Инся Шао, Зели Гуань
Аннотация:В эпоху больших данных спрос на скрытую добычу информации в технологической интеллектуальной собственности растет в отдельных странах. Определенно, было предложено значительное количество алгоритмов обучения графов для технологической интеллектуальной собственности. Цель состоит в том, чтобы смоделировать объекты технологической интеллектуальной собственности и их отношения через структуру графа и использовать алгоритм нейронной сети для извлечения скрытой информации о структуре в графе. Однако большинство существующих алгоритмов обучения на графах просто сосредоточены на извлечении информации из бинарных отношений в технологической интеллектуальной собственности, игнорируя информацию более высокого порядка, скрытую в небинарных отношениях. Поэтому предлагается модель нейронной сети гиперграфа на основе двухканальной свертки. Для гиперграфа, созданного на основе данных технологической интеллектуальной собственности, канал гиперграфа и канал расширенного линейного графа гиперграфа используются для изучения гиперграфа, а механизм внимания вводится для адаптивного объединения выходных представлений двух каналов. Предлагаемая модель превосходит существующие подходы на различных наборах данных.
2. OPERA: обучение репрезентации с многосторонним наблюдением и иерархическим контролем(arXiv)
Автор:Чэнкунь Ван, Вэньчжао Чжэн, Чжэн Чжу, Цзе Чжоу, Дживэнь Лу
Аннотация:парадигма pretrain-finetune в современном компьютерном зрении способствует успеху обучения с самоконтролем, которое, как правило, обеспечивает лучшую переносимость, чем обучение с учителем. Однако при наличии массивных размеченных данных возникает естественный вопрос: как обучить лучшую модель как с сигналами самоконтроля, так и с сигналами полного контроля? В этой статье мы предлагаем в качестве решения всеобучаемое репрезентативное обучение с иерархическим контролем (OPERA). Мы обеспечиваем единую перспективу наблюдения за размеченными и неразмеченными данными и предлагаем единую структуру полностью контролируемого и самоконтролируемого обучения. Мы извлекаем набор иерархических прокси-представлений для каждого изображения и применяем самостоятельный и полный контроль над соответствующими прокси-представлениями. Обширные эксперименты как на сверточных нейронных сетях, так и на преобразователях зрения демонстрируют превосходство OPERA в классификации изображений, сегментации и обнаружении объектов. Код доступен по адресу: https://github.com/wangck20/OPERA
3. Разрушьте стену между гомофилией и гетерофилией для обучения графическому представлению(arXiv)
Автор:Сяо Лю, Лицзюнь Чжан, Хуэй Гуань
Аннотация:Гомофилия и гетерофилия — это внутренние свойства графов, которые описывают, имеют ли два связанных узла одинаковые свойства. Хотя было предложено много моделей графовых нейронных сетей (GNN), остается неясным, как разработать модель, чтобы она могла хорошо обобщаться на весь спектр гомофилии. Эта работа решает эту проблему, определяя три функции графа, включая функцию эго-узла, функцию агрегированного узла и функцию структуры графа, которые необходимы для обучения представлению графа. Кроме того, в нем предлагается новая модель GNN под названием OGNN (всемогущая графовая нейронная сеть), которая извлекает все три функции графа и адаптивно объединяет их для достижения обобщаемости по всему спектру гомофилии. Обширные эксперименты как с синтетическими, так и с реальными наборами данных демонстрируют превосходство (средний ранг 1,56) нашего OGNN по сравнению с современными методами.
