Дополненная реальность, виртуальная реальность, машинное обучение в наши дни мы слышим очень часто. С ML вы можете делать множество вещей, таких как обнаружение объектов, определение позы, обнаружение текста, обнаружение всевозможных форм. Технологии AR/VR позволяют превратить смоделированные вами объекты в реальность.

Теперь, если вы не взволнованы в этот момент — проверьте свой пульс, потому что вы, вероятно, мертвы. #МэттьюХоллберг

Итак, что мы можем разработать с помощью этих технологий? Как начать разработку? Поскольку я не смог найти хорошую книгу с лучшими практиками в области AR/VR или ML, я решил начать создавать вещи и продолжать создавать их, и, надеюсь, в конце концов я найду какое-то сходство.

Аппаратное обеспечение. Устройства

AR/VR почти полностью зависит от программного обеспечения, которое вы используете, и от того, что с ним совместимо. С учетом сказанного, давайте взглянем на некоторые аппаратные средства, которые используются чаще всего на данный момент, прежде чем мы перейдем к идеям, которые показывают, чего можно достичь.

Устройства дополненной реальности могут быть как на голове, так и в руках. Портативным устройством может быть ваш телефон или планшет с поддержкой ARKit (iOS) или ARCore (Android). Это становится немного сложнее, когда мы говорим об устройствах, устанавливаемых на голову.

  • Окулук
  • Microsoft Хололенс 2
  • Умный шлем DAQRI
  • Плюсы HTC Vive
  • Волшебный прыжок

Что может быть полезно для развития

Пару недель назад я присоединился к мозговому штурму о том, как начать разработку приложений с использованием AR/VR/ML. Мы сосредоточились на приложениях специально для проектирования и визуализации в строительной отрасли. С учетом сказанного, вот краткий обзор некоторых прототипов идей, которые мы придумали.

Идея 1. Анализ установки на месте

Обязанности: контроль качества и количества установок.

Принцип работы. Это мобильное приложение дополненной реальности для обработки изображений, использующее технологию машинного обучения. Пользователи будут просматривать сайт, и приложение будет идентифицировать определенные элементы (электрические розетки и панели, определенные типы стен и т. д.), которые были установлены на сайте. Приложение должно отслеживать положение пользователя на основе плана этажа, поэтому приложение всегда знает, где был установлен идентифицированный элемент.

Описание. Идея состоит в том, чтобы использовать синтетические данные — у нас будет компьютер для генерации и маркировки всех изображений в Unity. Затем эти изображения будут переданы в Tensor Flow для обучения модели. Мы собираемся использовать OpenCV для выполнения вывода по модели. Хорошая пошаговая инструкция есть здесь. Кроме того, ознакомьтесь со статьей Джеймсона Тула об обнаружении банок из-под кока-колы.

Идея 2. VR-модель

Что оно делает:это приложение переносит пользователей в виртуальную реальность, чтобы они могли увидеть, как должна выглядеть область после установки всех элементов(например, .: см. эту ссылку, чтобы испытать VR).

Как это работает. Это мобильное приложение. В VR пользователи могут видеть, что должно быть установлено в этой конкретной комнате или зоне. Чтобы найти пользователей и вывести правильное наложение, в каждой комнате должен быть QR-код, который пользователи должны сканировать. Программное обеспечение для 3D (Autodesk Navisworks или Revit) должно иметь плагин, который делает снимки модели и экспортирует изображения в облако. В облаке изображения склеиваются. Облако возвращает одну панораму, сделанную из изображений.

Описание: с помощью OpenCV и некоторого кода Python мы можем обнаруживать ключевые точки и сопоставлять их между изображениями.

Идея 3. Порядок сборки на месте

Что он делает: инженеры собирают необходимые им сборки в зависимости от условий на месте.

Как это работает. Члены бригады на месте могут составить список необходимых им сборок в зависимости от условий строительства и передать этот список непосредственно начальнику цеха. Приложение будет работать аналогично приложениям дополненной реальности Housecraft или IKEA. Коллекторы, распределительные коробки, панели, механические решетки, жалюзи, сантехника, вешалки — приложение автоматически масштабирует товары в зависимости от размеров помещения. Чтобы визуализировать продукт в пространстве, приложение сканирует пространство комнаты через камеру мобильного устройства. Пользователи могут просматривать базу данных продуктов, чтобы сделать свой выбор. После выбора пользователи должны указать устройство на нужное место в комнате, а затем перетащить выбранный продукт в пространство.

Описание. ARCore и ARKit очень хорошо обнаруживают и отслеживают поверхности. При этом мы можем разместить объект на полу или стене и смотреть на него во время движения. У Unity есть пакет AR Foundation, который взаимодействует с ARCore и ARKit. 3D-модели для приложения можно разрабатывать в Revit, но Revit не может экспортировать модели в формат *.fbx, поэтому для моделирования проще использовать Blender.

Идея 4. Вытягивайте предметы из экрана компьютера

Для чего: позволяет пользователям извлекать рисунки и 3D-модели с экрана компьютера.

Как это работает: это приложение Oculuc, которое имитирует проект CMU. Это исследование дизайна, целью которого является изучение взаимодействия рук и жестов на нескольких устройствах в дополненной реальности. Пользователи будут перетаскивать контент с экрана компьютера в AR.

Описание. Разработчики создали прототип концепции с гарнитурой Oculus Rift VR и камерой Zed Mini в качестве сквозного решения AR и соединили его с Leap Motion для отслеживания рук. Подробнее здесь.

Спасибо за чтение! Дайте мне знать, что вы думаете.