Система за откриване на живи обекти за слепи хора.

Въведение

Този проект въвежда система за разпознаване на живи обекти, която служи като сляпо помощно средство. Хората с увредено зрение разчитат в голяма степен на другите си сетива като допир и слухови сигнали за разбиране на околната среда около тях. Действието да се разбере кой предмет е пред слепия човек, без да го докосва (с ръце или с друг инструмент), е много трудно.

В някои случаи физическият контакт между човек и предмет може да бъде опасен и дори смъртоносен. Този проект се опитва да трансформира визуалния свят в аудио света с потенциала да информира слепи хора за обектите, както и за тяхното пространствено местоположение. Обектите, открити от сцената, се представят с техните имена и се преобразуват в реч. Видеото се заснема с устройство с камера от страна на клиента и се предава поточно към сървъра за разпознаване на изображения в реално време с модела за откриване на обект YOLO, който използва набора от данни COCO, за да намери предварително обучените обекти.

В този проект ние изграждаме тръбопровод за откриване на обекти в реално време и оценка на позицията, възнамерявайки да информираме потребителя за околния обект и тяхното пространствено положение.

Съществуващи системи

На пазара има различни продукти за подпомагане на щорите. Някои от тях са изброени по-долу:

• Мобилното приложение TapTapSee използва компютърно зрение и краудсорсинг, за да опише картина, заснета от незрящи потребители за около 10 секунди.

• Blind-sight предлага мобилно приложение Text Detective, включващо технология за оптично разпознаване на знаци (OCR) за откриване и четене на текст от снимки, заснети от камерата.

• Facebook разработва технология за надписи на изображения, за да помогне на незрящите потребители да участват в разговори с други потребители за снимки.

• Baidu наскоро пусна демонстрационен видеоклип на проект DuLight.

• Видеоклипът на продукта обаче предлага концепции за описване на сцени и разпознаване на хора, парични сметки, стоки и сигнали за пешеходни пътеки.

Тези продукти не се фокусираха върху активирането на общо зрително усещане за незрящи хора и не използваха пространствени звукови техники за допълнително подобряване на потребителското изживяване.

Предложени системи

Помощта за слепи, базирана на машинно обучение, е добавена с някои нови функции в сравнение със съществуващите. Поради лошото представяне на предишните модели, хората започнаха да използват ML при откриване на обекти. Използването на метод за машинно обучение позволява значителна точност. Машинното обучение се превърна в интересна тема във визуалното разпознаване от 2012 г., защото може да класифицира изображенията с висока точност.

Той се превърна в най-добрия метод за решаване на проблеми с класификацията на изображения при визуално разпознаване и откриване на обекти. Моделът за откриване на обект COCO позволява на правилно обучена мрежа да реагира правилно, когато изображение или модел се представят за разпознаване. Той е бърз в разпознаването на обекти.

Пълна видео демонстрация

Алгоритъм

1. Старт.

2. Влезте в системата за разпознаване на обекти, базирана на машинно обучение, като сляпа помощ.

3. Направете системата активна, като кажете горещата дума „Hey Find O“. Уеб камерата и ултразвуковите сензори, които са свързани към Raspberry PI, се активират.

4. Системата иска от потребителя да каже кой обект е необходим на потребителя. Когато потребителят каже обекта, той се обработва и ако обектът, казан от потребителя, е в обучения списък в обхвата на камерата, тогава около обектите се формира рамка.

5. Разстоянието на обекта, което е поискано от потребителя, се изчислява с помощта на ултразвуков сензор за разстояние и Google API.

6. Отговорът за местоположението на обекта се дава на потребителя.

7. Спрете.

Системни изисквания

Хардуерни изисквания

• Raspberry Pi 4

• Източник на захранване за Raspberry Pi може да бъде power bank, в който входното захранване за Raspberry Pi 4 е 5 V.

• Слушалка

• Уебкамера

• Ултразвуков сензор за разстояние

• Серво мотори

Софтуерни изисквания

• Python модули-Snowboy, GPIO модул

• TensorFlow Lite

• OpenCV

• Модел за откриване на обект COCO

Използвани модули

Този проект се състои от три модула:

1. Модул за откриване на горещи думи и аудио обратна връзка

  • Откриване на горещи думи
  • Аудио обратна връзка

2. Модул за откриване на обекти

  • Придобиване на изображения OpenCV и откриване на обект с помощта на Tensorflow Lite
  • Откриване на обект въз основа на цвят

3. Модул за локализация на обекта

  • Намиране на позицията на обекта
  • Позициониране на сервото и намиране на разстоянието до обекта

Заключение

Проектът Помощ за слепи, базирана на машинно обучение като система за разпознаване на обекти, е много полезен продукт за незрящите. Тази система е проектирана, включваща уеб камера, ултразвуков сензор, серво мотор и слушалки с микрофон, където контролното ядро ​​се изпълнява от Raspberry Pi.

Всички компоненти работеха добре и предоставяха точни данни от сензорите. Проектът може да идентифицира обектите, които са необходими на потребителя. Потребителят пита за обектите, от които се нуждае, и ако поисканият обект е наличен в обхвата на камерата, тогава на потребителя се предоставя информация за обекта, независимо дали е отдясно, отляво, отгоре или отдолу. Потребителят ще получи и информация за местоположението на необходимия обект. Това е икономично, както и ефективно устройство за хора с увредено зрение. Приложихме нашия алгоритъм към много изображения и открихме, че той успешно извършва своето преобразуване. Устройството е компактно и полезно за обществото.

По този начин в крайна сметка това може да повиши нивото на увереност на потребителя, както и да го/я накара да се чувства сигурен. Сега системата ще открива само 12 категории обекти. Те са лъжица, дистанционно, стол, чаша, телевизор, чадър, спортна топка, мобилен телефон, книга, бутилка, ножица и часовник. Можем лесно да накараме системата да открива повече обекти. Това е една от основните актуализации, които могат да бъдат направени в системата.

Благодаря ви