- Альтернатива WSSS? Эмпирическое исследование модели Segment Anything Model (SAM) в задачах семантической сегментации со слабым наблюдением (arXiv)
Автор: Вэйсюань Сунь, Чжэюань Лю, Яньхао Чжан, Иран Чжун, Ник Барнс.
Аннотация: Модель Segment Anything Model (SAM) продемонстрировала исключительную производительность и универсальность, что делает ее многообещающим инструментом для различных связанных задач. В этом отчете мы исследуем применение SAM в семантической сегментации со слабым наблюдением (WSSS). В частности, мы адаптируем SAM в качестве конвейера генерации псевдометок, учитывая только метки классов уровня изображения. Хотя в большинстве случаев мы наблюдали впечатляющие результаты, мы также выявили определенные ограничения. Наше исследование включает оценку производительности PASCAL VOC и MS-COCO, где мы добились значительных улучшений по сравнению с последними современными методами для обоих наборов данных. Мы ожидаем, что этот отчет будет стимулировать дальнейшие исследования внедрения SAM в WSSS, а также более широкие реальные приложения.
2. Attack-SAM: на пути к оценке состязательной устойчивости модели Segment Anything (arXiv)
Автор: Чэньшуан Чжан, Чаонин Чжан, Тэгу Кан, Донхун Ким, Сон-Хо Бэ, Ин Со Квон.
Резюме: Сегментная модель Anything Model (SAM) в последнее время привлекла значительное внимание из-за ее впечатляющей производительности при выполнении различных последующих задач в кратчайшие сроки. Область компьютерного зрения (CV) может следовать за областью обработки естественного языка (NLP), чтобы встать на путь от моделей зрения для конкретных задач к базовым моделям. Тем не менее, предыдущие модели для конкретных задач широко признаны уязвимыми для состязательных примеров, которые обманывают модель, заставляя ее делать неправильные прогнозы с незаметным возмущением. Такая уязвимость к атакам злоумышленников вызывает серьезные опасения при применении глубоких моделей к приложениям, чувствительным к безопасности. Поэтому очень важно знать, можно ли легко обмануть SAM модели фундамента видения со стороны злоумышленников. Насколько нам известно, наша работа является первой в своем роде по проведению всестороннего исследования того, как атаковать SAM с помощью враждебных примеров. В частности, мы обнаружили, что SAM уязвим к атакам белого ящика, сохраняя при этом до некоторой степени надежность в настройках черного ящика. Это текущий проект, и вскоре на https://github.com/chenshuang-zhang/attack-sam будут обновлены дополнительные результаты и выводы.
