Допълнена реалност, виртуална реалност, машинно обучение в наши дни чуваме много често. С ML има много неща, които можете да правите като откриване на обекти, откриване на пози, откриване на текст, всякакви видове откриване на форми. AR/VR технологията ви позволява да пренесете обектите, които сте моделирали, в реална дума.

Сега, ако не сте развълнуван в този момент - проверете пулса си, защото вероятно сте мъртъв. #Матю Холберг

И така, какво можем да развием с тези технологии? Как да започнем да се развиваме? Тъй като не можах да намеря добра книга с най-добри практики в AR/VR или ML, реших да започна да създавам неща и да продължа да ги изграждам и, надявам се, в крайна сметка ще намеря някакво сходство.

Хардуер. устройства

AR/VR е почти всичко за софтуера, който използвате и какво е съвместимо. С това казано, нека да разгледаме някои хардуери, които се използват най-много в този момент, преди да преминем към идеи, които правят преглед на това, което може да бъде постигнато.

Устройствата с добавена реалност могат да бъдат монтирани на главата или ръчни. Ръчно устройство може да бъде вашият телефон или таблет, който може да работи с ARKit (iOS) или ARCore (Android). Става малко по-сложно, когато говорим за устройства, монтирани на главата.

  • Окулук
  • Microsoft Hololens 2
  • Смарт каска DAQRI
  • Професионалисти на HTC Vive
  • Магически скок

Какво може да бъде полезно да се развие

Преди няколко седмици се присъединих към мозъчна атака за това как да започна да разработвам приложения с помощта на AR/VR/ML. Фокусирахме се върху приложения специално за проектиране и визуализация за строителната индустрия. С това казано, ето кратко резюме с някои прототипи на идеи, които измислихме.

Идея 1. Анализ на инсталацията на място

Какво прави: Контрол на качеството и количеството на инсталацията.

Как работи: Това е мобилно AR приложение за обработка на изображения, което използва технология за машинно обучение. Потребителите ще преминат през сайта и приложението ще идентифицира конкретни елементи (електрически контакти и панели, определени видове стени и т.н.), които са били инсталирани на място. Приложението трябва да проследява позицията на потребителя въз основа на етажния план, така че приложението винаги да знае къде е инсталиран идентифицираният елемент.

Описание: Идеята е да използваме синтетични данни — ще имаме компютър, който да генерира и етикетира всички изображения в Unity. След това тези изображения ще бъдат предадени на Tensor Flow за обучение на модела. Ще използваме OpenCV, за да направим извод върху модела. Има добър урок стъпка по стъпка тук. Също така проверете статията на Jameson Toole за откриването на кока-кола.

Идея 2. VR модел

Какво прави:Това приложение въвежда потребителите във виртуална реалносттака че те могат да видят как трябва да изглежда района след инсталирането на всички елементи(напр. .: вижте тази връзка, за да изпитате VR).

Как работи: Това е мобилно приложение. Във VR потребителите могат да видят какво трябва да се инсталира в тази конкретна стая или зона. За да се локализират потребители и да се извади правилното наслагване, всяка стая трябва да има QR код, който потребителите трябва да сканират. 3D софтуерът (Autodesk Navisworks или Revit) трябва да има плъгин, който прави снимки на модел и експортира изображения в облак. В облака изображенията се сливат. Облакът връща единична панорама, съставена от изображенията.

Описание: Този OpenCV и малко кодиране на Python можем да открием ключови точки и да ги съпоставим между изображенията.

Идея 3. Поръчка за монтаж на място

Какво прави: Инженерите изграждат модули, от които се нуждаят, въз основа на условията на място.

Как работи: Членовете на екипа на място могат да съставят списък със сглобки, от които се нуждаят, въз основа на строителното състояние и да прехвърлят списъка директно на началник на цех. Приложението ще работи подобно на приложенията за добавена реалност Housecraft или IKEA. Колектори, електрически кутии, панели, механични решетки, жалузи, водопроводни инсталации, закачалки - приложението автоматично мащабира продуктите въз основа на размерите на помещението. За да визуализира продукт в пространството, приложението сканира пространството на стаята чрез камера на мобилно устройство. Потребителите могат да разглеждат продуктовата база данни, за да направят своя избор. Веднъж избрани, потребителите трябва да насочат устройството към желаното място в стаята, след което да плъзнат и пуснат избрания продукт върху пространството.

Описание: ARCore и ARKit правят откриване и проследяване на повърхността много добре. С това можем да поставим предмет на пода или стената и да го гледаме, докато се движим. Unity има пакет AR Foundation, който взаимодейства с ARCore и ARKit. 3D моделите за приложението могат да бъдат разработени в Revit, но Revit не може да експортира модели в *.fbx, така че е по-лесно да използвате Blender за моделиране.

Идея 4. Издърпайте предмети от екрана на компютъра

Какво прави:Позволява на потребителите да изтеглят чертежите и 3D моделите от екрана на компютъра.

Как работи: Това е приложение на Oculuc, което имитира проекта CMU. Това е изследване на дизайна, което има за цел да изследва взаимодействията между ръце и жестове на множество устройства в добавената реалност. Потребителите ще плъзгат съдържание от компютърен екран към AR.

Описание: Разработчиците създадоха прототипи на концепциите със слушалки Oculus Rift VR и Zed Mini камера като преминаващо AR решение и го съчетаха с Leap Motion за проследяване на ръцете. Вижте повече тук.

Благодаря ви, че прочетохте! Кажи ми какво мислиш.