- От шумных итераций с фиксированной точкой к частному ADMM для централизованного и федеративного обучения (arXiv)
Автор: Эдвиг Сайфферс, Орельен Белле, Дебаброта Басу.
Аннотация: мы изучаем дифференциально частные (DP) алгоритмы машинного обучения как экземпляры зашумленных итераций с фиксированной точкой, чтобы получить результаты конфиденциальности и полезности из этой хорошо изученной структуры. Мы показываем, что эта новая перспектива восстанавливает популярные частные методы на основе градиента, такие как DP-SGD, и обеспечивает принципиальный способ гибкого проектирования и анализа новых частных алгоритмов оптимизации. Сосредоточившись на широко используемом методе множителей чередующихся направлений (ADMM), мы используем нашу общую структуру для получения новых частных алгоритмов ADMM для централизованного, федеративного и полностью децентрализованного обучения. Для этих трех алгоритмов мы устанавливаем строгие гарантии конфиденциальности, используя усиление конфиденциальности путем итерации и подвыборки. Наконец, мы предоставляем гарантии полезности, используя унифицированный анализ, который использует недавний результат линейной сходимости для зашумленных итераций с фиксированной точкой.
2. Персонализация федеративного обучения с помощью беспроводных вычислений (arXiv)
Автор: Zihan Chen, Zeshen Li, Howard H. Yang, Tony Q. S. Quek.
Аннотация: Федеративное периферийное обучение — это многообещающая технология для развертывания интеллекта на границе беспроводных сетей с сохранением конфиденциальности. При такой настройке несколько клиентов совместно обучают глобальную универсальную модель под координацией пограничного сервера. Но эффективность обучения часто снижается из-за проблем, возникающих из-за ограниченного обмена данными и неоднородности данных. В этой статье представлена парадигма распределенного обучения, в которой используются аналоговые беспроводные вычисления для устранения узких мест связи. Кроме того, мы используем двухуровневую структуру оптимизации для персонализации модели федеративного обучения, чтобы справиться с проблемой неоднородности данных. В результате повышается обобщенность и надежность локальной модели каждого клиента. Мы подробно остановимся на процедуре обучения модели и ее преимуществах по сравнению с обычными структурами. Мы предоставляем анализ сходимости, который теоретически демонстрирует эффективность обучения. Мы также проводим обширные эксперименты, чтобы проверить эффективность предлагаемой структуры.
