1. Изучение взаимодействия с визуализацией печатных данных в дополненной реальности (arXiv)

Автор:Вай Тонг, Чжутянь Чен, Мэн Ся, Лео Ю-Хо Ло, Линпин Юань, Бенджамин Бах, Хуаминь Цюй

Аннотация . В этом документе представлено пространство для проектирования методов взаимодействия с визуализацией, напечатанной на бумаге и дополненной с помощью дополненной реальности. Бумажные листы широко используются для развертывания визуализаций и предоставляют богатый набор материальных возможностей для взаимодействия, таких как прикосновение, складывание, наклон или складывание. В то же время дополненная реальность может динамически обновлять содержимое визуализации для предоставления таких команд, как панорамирование, масштабирование, фильтрация или детализация по запросу. В этой статье впервые представлен структурированный подход к сопоставлению возможных действий с бумагой с командами взаимодействия. Это пространство дизайна и результаты контролируемого исследования пользователей имеют значение для будущих проектов систем дополненной реальности, включающих бумажные листы и визуализацию. С помощью семинаров (N = 20) и идей мы определили 81 взаимодействие, которое мы классифицируем по трем параметрам: 1) команды, которые могут поддерживаться взаимодействием, 2) конкретные параметры, обеспечиваемые (взаимо)действием с бумагой, и 3) количество листов бумаги, участвующих во взаимодействии. Мы проверили предпочтения пользователей и жизнеспособность 11 из этих взаимодействий с реализацией прототипа в контролируемом исследовании (N = 12, HoloLens 2) и обнаружили, что большинство взаимодействий интуитивно понятны и привлекательны для использования. Мы обобщили взаимодействия (например, наклон для панорамирования), которые могут дополнить «точку» для исследования данных, физические ограничения и свойства бумаги как носителя, случаи, требующие избыточности и сокращений, и другие последствия для дизайна.

2. К повышению осведомленности о ситуации и управлению вниманием в многопользовательской среде с использованием дополненной реальности и Carcassonne (arXiv)

Автор: Давид Кадиш, Арезу Сархейли-Хэгеле, Хосе Фонт, Дидерик С. Нихорстер, Томас Педерсон

Аннотация . Игры с дополненной реальностью (AR) представляют собой богатую среду для исследования и тестирования вычислительных систем, которые обеспечивают тонкое руководство и обучение пользователей. В частности, компьютерные системы, направленные на повышение осведомленности пользователя о ситуации, выигрывают от диапазона датчиков и вычислительной мощности, доступных в гарнитурах AR. В этом незавершенном документе мы представляем новую среду для исследования ситуационной осведомленности и управления вниманием (SAAG): версию настольной игры Carcassonne с дополненной реальностью. Мы также представляем нашу первоначальную работу по созданию конвейера SAAG, включая создание кодировок состояния игры, разработку и обучение игрового ИИ, а также проектирование систем моделирования ситуаций и отслеживания взгляда.

3. STTAR: отслеживание хирургических инструментов с использованием готовых головных дисплеев с дополненной реальностью (arXiv)

Автор:Алехандро Мартин-Гомес, Хаовэй Ли, Тяньюй Сун, Шэн Ян, Гуанчжи Ван, Хуэй Дин, Насир Наваб, Чжэ Чжао , Мехран Арманд

Аннотация: Использование дополненной реальности (AR) для целей навигации показало свою эффективность в оказании помощи врачам во время выполнения хирургических процедур. Эти приложения обычно требуют знания положения хирургических инструментов и пациентов, чтобы предоставить визуальную информацию, которую хирурги могут использовать во время выполнения задачи. Существующие системы слежения медицинского уровня используют инфракрасные камеры, размещенные внутри операционной, для определения световозвращающих маркеров, прикрепленных к интересующим объектам, и вычисления их положения. Некоторые имеющиеся в продаже AR-головные дисплеи (HMD) используют аналогичные камеры для самолокализации, отслеживания рук и оценки глубины объектов. В этой работе представлена ​​структура, которая использует встроенные камеры AR HMD для обеспечения точного отслеживания световозвращающих маркеров, таких как те, которые используются в хирургических процедурах, без необходимости интеграции каких-либо дополнительных компонентов. Эта структура также способна одновременно отслеживать несколько инструментов. Наши результаты показывают, что отслеживание и обнаружение маркеров может быть достигнуто с точностью 0,09 ± 0,06 мм при поперечном перемещении, 0,42 ± 0,32 мм при продольном перемещении и 0,80 ± 0,39 градуса при вращении вокруг вертикальной оси. Кроме того, чтобы продемонстрировать актуальность предлагаемой схемы, мы оцениваем производительность системы в контексте хирургических процедур. Этот вариант использования был разработан для воспроизведения сценариев введения дуги К при ортопедических процедурах. Для оценки двум хирургам и одному биомедицинскому исследователю была предоставлена ​​визуальная навигация, каждый из которых выполнил 21 инъекцию. Результаты этого варианта использования обеспечивают точность, сравнимую с теми, о которых сообщается в литературе для технологии навигационных процедур на основе дополненной реальности.