Обнаружение объектов с помощью WebRTC и Kurento

Я следил за очень интересным руководством о медиа-сервере Kurento для WebRTC, который позволяет осуществлять мультимедийную связь напрямую через браузеры. Я запускал учебные пособия здесь http://www.kurento.org/docs/current/tutorials.html и нашли его интересным.

Мой план сейчас состоит в том, чтобы реализовать очень простой алгоритм обнаружения/распознавания объектов на основе WebRTC (или Kurento), который может обнаруживать простой объект. Чтобы сделать это, я подумал о следующих шагах.

Допустим, мы хотим найти фрукты, такие как яблоки и апельсины:

  • Шаг 1. Я хочу разместить на экране ограничивающую рамку, которая ограничивает зону обнаружения, например, инструмент для обработки фотографий на грин-карту США: http://travel.state.gov/content/visas/en/general/photos.html

(Зеленая форма вокруг лица пользователя)

  • Шаг 2: Реализуйте кнопку, которая после нажатия может сообщить вам, что объект внутри ограничительной рамки является яблоком или апельсином (например, на основе его цвета или формы).

Если есть идеи, я ценю, если бы я мог знать о них. Спасибо


person YAS    schedule 14.12.2015    source источник


Ответы (1)


Для этого вам нужно будет создать свой собственный модуль. Об этом есть фрагмент документации. В качестве примера вы можете использовать любой из существующих модулей, но я думаю, что Фильтр детектора лиц очень похож на то, что вы предлагаете.

Создавать подключаемые модули для Kurento очень просто. Самое сложное — добавить алгоритмы компьютерного зрения внутрь этих модулей ;-)

person igracia    schedule 14.12.2015
comment
Спасибо, еще один вопрос, который у меня возник по этому поводу, заключается в том, что в документации Kurento представлены три типа сред программирования: (1) JAVE EE (2) сценарий Java (3) node.js. Какие соображения следует принять во внимание, чтобы выбрать любой из вышеперечисленных вкусов? - person YAS; 14.12.2015
comment
Просто выберите тот, который вам больше знаком. Учтите, что клиенты на чистом JavaScript предназначены для архитектур, в которых между KMS и вашими клиентами нет сигнального сервера. Взгляните на это document для получения дополнительной информации о различных возможных архитектурах. Примечание. (1) — это чистый клиент Java, а не Java EE. - person igracia; 14.12.2015
comment
Без проблем! Пожалуйста, примите ответ, если он действителен для вас. В противном случае я могу расшириться. - person igracia; 15.12.2015
comment
Я собираюсь, спасибо за напоминание. Не могли бы вы порекомендовать лучший источник, который я могу использовать, чтобы иметь возможность использовать OpenCV в интеграции с Kurento? Я надежный программист MATLAB, но мало знаю об OpenCV. Я планирую реализовать решение, подобное этому видео: youtube.com/watch?v=uz4lv- V2qyc . Спасибо, Играсия. - person YAS; 15.12.2015
comment
Проверьте любой из уже реализованных фильтров, например фильтр chroma. - person igracia; 17.12.2015