🐵 Распознавание лиц на основе алгоритма LBPH.

⛳️ Цель этого поста - создать приложение для распознавания лиц, а также познакомить вас с очень интересной и полезной библиотекой OpenCV. Уверен, что этот материал будет полезен новичкам.

Абстрактный

В этой статье мы поиграем с некоторыми встроенными методами, используемыми в компьютерном зрении и машинном обучении. Для обнаружения особей был выбран алгоритм Хаара-подобный признак, а для распознавания лиц - метод, основанный на построении гистограмм локальных бинарных паттернов, уже описанных в моей предыдущей работе .

Теория

1-цифровые изображения

Что такое простое определение пикселя?

«Пиксель - это самая маленькая единица визуальной информации в цифровом мире. Каждая цифровая фотография, иллюстрация, видео и игра состоят из пикселей, которые имеют тенденцию быть идеально круглыми или квадратными »[1].

Для изображений в оттенках серого каждый 8-битный пиксель имеет значение интенсивности в диапазоне 0–255 таким образом, что 0 представляет черный пиксель, а 255 представляет собой белый.

Цветные изображения в основном состоят из трех каналов (RGB), как показано ниже. :

Окончательное изображение отображается на экране компьютера путем объединения этих трех (RGB) каналов в один канал.

Для получения дополнительной информации о изображениях и цветовых пространствах вы можете в любое время обратиться к моей предыдущей публикации [4].

2- Что такое обнаружение объектов?

Обнаружение объектов - это подход, используемый в компьютерном зрении и обработке изображений для обнаружения экземпляров объектов определенного класса (например, кошек, собак или людей) в цифровых изображениях и видео.

Каждый класс объекта имеет свои особые особенности, которые помогают в классификации класса - например, все круги раунд. Обнаружение класса объекта использует эти специальные функции. Например, при поиске кругов ищутся объекты, находящиеся на определенном расстоянии от точки (т. Е. Центра). Точно так же при поиске квадратов необходимы объекты, которые перпендикулярны »углам и имеют равные стороны. Аналогичный подход используется для идентификации лица, где можно найти глаза, нос и губы, а также черты, такие как цвет кожи и расстояние между глазами. [ 6]

Обнаружение объектов широко используется в зрении компьютерных задач, таких как обнаружение лиц, сегментация видеообъектов, что показано на следующем рисунке:

2-Что такое распознавание лиц?

F Обнаружение ace - это процесс поиска и извлечения лица на любом изображении, видео, веб-камере… на основе некоторых конкретных характеристик (цвета кожи , нос, глаза, рот…) [8]

Метод, предложенный Полом Виолой и Майклом Джонсом в 2001 [9], актуален и в наши дни. Алгоритм позволяет обнаруживать различные объекты, но в первую очередь был ориентирован на обнаружение лиц как на изображениях, так и на видео ...

В этом методе используются знаки Хаара - набор элементарных сочетаний темных и светлых участков. Как показано на рисунке ниже, знаки делятся на три типа: кромочные, линейные и центральные.

Так что если участок, в котором он находится на изображении, если знаков достаточно, то объект можно считать найденным. Так, например, известно, что верхняя часть щек и нос светлее, чем область человеческого глаза.

Каждый объект рассчитывается путем вычитания суммы пикселей под белым прямоугольником из суммы пикселей под черным прямоугольником . [11] Эти значения представляют собой пиксели в целостном изображении, которые совпадают с углами прямоугольника во входном изображении. Это показано на рисунке ниже. [12]

Краткое описание алгоритма Виолы-Джонса:

• Изображения используются в интегральном представлении, что позволяет быстро рассчитать необходимые объекты;
• С помощью свойств Хаара осуществляется поиск нужного объекта (в данном контексте сущности и ее характеристик);

• Повышение используется (улучшение, усиление) для выбора наиболее подходящих характеристик для желаемого объекта в заданной части изображения;

• Объединение классификаторов в каскадную структуру, которая дает результат истина или ложь;

Для получения дополнительной информации вы можете прочитать этот пост, посвященный алгоритму Виолы Джонса.

3- Что такое распознавание лиц?

После применения обнаружения лица к заданному кадру (изображению), алгоритм распознавание лиц пытается найти некоторое совпадение этого извлеченного лица с теми, которые есть в базе данных (обученные образцы / изображения).

Список алгоритмов распознавания лиц:

1- LBPH
2- Собственные лица
3- Рыболовы
4- SIFT
5- SURF

У каждого алгоритма есть свой собственный набор инструкций и правила для распознавания лица на заданном изображении.

Как упоминалось в названии, наша программа распознавания лиц основана на подходе LBPH, который описан в моем предыдущем посте (LBP).

Извлечение признаков

В предыдущем посте мы обсудили базовый тип локального дескриптора (LBP) и то, как он рассчитывается. Теперь вопрос: "Что дальше?"

• Разделите изображения лиц на локальные области R (например, R = 8 x 8 = 64 области), чтобы извлечь гистограммы LBP.

• Гистограммы LBP, извлеченные из каждой подобласти, используются для расчета и объединяются в одну гистограмму с расширенными пространственными функциями, определенными как:

Где :

n: - количество различных этикеток, созданных оператором LBP.

m: - количество субрегионов.

а I {…} определяется следующим образом:

• Классификатор ближайшего соседа используется для сопоставления нового изображения с обученным шаблоном, который вычисляется по одной из следующих формул:

где S и M - две гистограммы LBP.

Поиск гистограммы наилучшего совпадения из списка также можно реализовать, вычислив евклидово расстояние между новой и доступной гистограммами:

Это все для извлечения функций.

Далее процесс распознавания выглядит следующим образом:
a- Добавление нового изображения в программу для распознавания лиц.
b- Этот распознаватель генерирует гистограмму LBP для новых изображений.
c) Затем он сравнивает эту гистограмму с существующими.
d) Наконец, он находит лучшее совпадение и возвращает имя человека, связанного с этим лучшим совпадением.

Реализация Python

Для реализации этого проекта я решил выбрать python в качестве моего любимого языка программирования из-за его большой популярности в компьютерном зрении и машинном обучении.

Перед запуском программы необходимо установить следующие необходимые библиотеки:

-----------------------------OpenCV---------------------------------
# OpenCV with conda
conda install -c conda-forge opencv
# Update pip :package manager for Python packages
pip install -U pip 
pip show pip
# OpenCV with pip
pip install opencv-python  
pip install opencv-contrib-python
# Install pip3 :package manager for Python3 packages
sudo apt-get -y install python3-pip
# OpenCV with pip3
pip3 install opencv-python
pip3 --version
--------------------------Numpy library-----------------------------
# With conda
conda update conda # update conda
conda install -c anaconda numpy
# with pip, pip3
pip install numpy
pip3 install numpy

Код Python для распознавания лиц

Обнаружение лиц выполняется с использованием классификатора каскадного типа с Python и OpenCV.

Нажмите Здесь, чтобы открыть официальное руководство по OpenCV, которое доступно на трех разных языках: Python, C ++. и Java.

Создание экземпляра класса каскадного классификатора для обнаружения объектов:

cascade_file_path = "path for certain cascade file (xml extension)" 
face_cascade = cv2.CascadeClassifier(cascade_file_path)

detectMultiScale-Функция для обнаружения лиц и объектов. Чтобы функция находила именно лица, передаем ее в соответствующий каскад.

Функция detectMultiScale принимает 7 параметров, среди которых есть только 4 важных аргумента:

void cv::CascadeClassifier::detectMultiScale(
InputArray image,                                         std::vector< Rect > & objects,
double scaleFactor = 1.1,
int minNeighbors = 3,
int flags = 0,
Size minSize = Size(),
Size maxSize = Size() )

• ScaleFactor - параметр, показывающий, насколько размер изображения уменьшается при каждом масштабе изображения. например, «1,1» означает уменьшение размера на 10%, увеличивая вероятность того, что размер соответствует найденному объекту для обнаружения.

• minNeighbors - этот параметр влияет на качество распознавания лиц. Чем выше значение, тем меньше обнаружений, но с более высоким качеством. 3~6 - хорошее значение для распознавания лиц.
• minSize - минимально возможный размер обнаруживаемого объекта. Объекты меньшего размера игнорируются. Обычно [30, 30] is a подходит для распознавания лиц.
• maxSize- Максимально возможный размер объекта. Объекты большего размера игнорируются. По умолчанию для распознавания лиц нет верхнего предела.

Возвращаемое значение этой функции:

Массив NumPy , если лицо успешно обнаружено. [[X, y, width, height]]

Или пустой кортеж, если ничего не обнаружено. ()

image_path ="absolute or relative path for a given image"
image = cv2.imread(image_path)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
faces = face_cascade.detectMultiScale(
    gray,
    scaleFactor= 1.1,
    minNeighbors= 4,
    minSize=(30, 30)
)

После обнаружения лиц программа ищет правый глаз (белый прямоугольник) и левый глаз (желтый прямоугольник), как показано на рисунке:

После нахождения центров глаз программа выполняет поворот на угол θ, вычисленный по формуле:

Согласно Google [21], выравнивание лиц увеличивает точность его модели распознавания лиц FaceNet с 98,87 до 99,63.

Чтобы найти угол поворота, программе требуются значения «eyeXdis» (смежный) и «eyeYdis» (противоположный), которые можно рассчитать следующим образом:

eyeXdis = (lx + w / 2 + lw / 2) - (rx + rw / 2)
eyeYdis = (ly + lh / 2) - (ry + rh / 2)
angle_rad = np.arctan (eyeYdis / eyeXdis)
# convert rad to degree
angle_degree = angle_rad * 180 / np.pi

После нахождения значения угла выравнивания вращение может быть выполнено с помощью методов «warpAffine» и «getRotationMatrix2D» , предоставленных OpenCV.

# Find the center of the image
image_center = tuple(np.array(gray_chunk.shape) / 2)rot_mat = cv2.getRotationMatrix2D(image_center, angle_degree, 1.0)
rotated_image = cv2.warpAffine(gray_chunk, rot_mat,gray_chunk.shape, flags=cv2.INTER_LINEAR)

Метод cv2.warpAffine принимает три основных параметра.

1- исходное изображение: gray_chunk

2-матрица преобразования, в данном случае матрица вращения: rot_mat

3-кортеж с размерами выходного изображения: gray_chunk.shape

Этот метод возвращает повернутое изображение.

Теперь повернутое изображение будет сохранено в определенной папке (наборе данных) с номером фотографии (счетчиком) и идентификатором объекта.
Этот процесс повторяется до тех пор, пока не будет получено 50 изображений лиц. Позже эти образцы будут загружены в модель для целей обучения.

Модельное обучение

В этот момент необходимо указать, какой метод распознавания использовать в программе, а именно метод гистограмм локальных двоичных образов. Это можно реализовать следующим способом.

recognizer = cv2.face.LBPHFaceRecognizer_create(
int radius = 1,
int neighbors = 8,
int grid_x = 8,
int grid_y = 8)

1- Радиус: «Радиус, используемый для построения кругового локального двоичного массива. Чем больше радиус, тем ровнее изображение, но вы можете получить больше пространственной информации ». [22]

2- Соседи: «Количество точек выборки для построения круговой локальной двоичной структуры. Подходящим значением является использование 8 точек выборки. Помните: чем больше точек вы включите, тем выше будут вычислительные затраты ». [22]

3- Grid_x: «Количество ячеек по горизонтали, 8 - это общее значение, используемое в публикациях. Чем больше ячеек, тем мельче сетка, тем выше размерность результирующего вектора признаков ». [22]

4- Grid_y: «Количество ячеек в вертикальном направлении, 8 - обычное значение, используемое в публикациях. Чем больше ячеек, тем мельче сетка, тем выше размерность результирующего вектора признаков ». [22]

Затем программа находит все изображения в папке набора данных по имени каждого изображения (в файле users_name.txt), преобразует эти изображения в массивы, а затем передает их и их ID в распознаватель для обучения. После этого модель создает файл формата .yaml, содержащий соответствующие гистограммы и их метки (контролируемое обучение), для дальнейшего распознавания.

Рабочий процесс программы

В этом разделе мы используем 2 сценария:
a- сбор данных и обучение:

python3 Train.py -v videos/video3.mkv # if you have a pre-recorded #video
python3 Train.py -c 0 # 0 is the id of the built-in camera

Теперь программа запросит имя человека:

программа затем сгенерирует файл users_name.txt, чтобы сохранить имя человека и его идентификатор.

Теперь начнется процесс захвата:

После захвата 50 образцов, как это предусмотрено в основной функции, начнется этап обучения:

это сгенерирует файл «train.YAML», содержащий гистограммы и их метки:

Теперь вы можете перейти к основной операции программы - распознаванию лиц:

b- распознавание лиц:

python3 Recognize.py -v videos/video3.mkv # if you have a pre-recorded #video
python3 Recognize.py -c 0 # 0 is the id of the built-in camera

Обратите внимание, что достоверность меньше 100. Более низкая достоверность означает, что лицо более похоже на обученное лицо. «0» - идеальное совпадение.

Теперь я добавил новую функцию для этой программы: когда лицо не обнаруживается каскадом волос, оно будет обнаружено алгоритмом порогового значения тона кожи, описанным в моих предыдущих сообщениях [8]

Чтобы написать текст на произвольном изображении, вы можете использовать функцию [23]:

putText (image, text, coordinates, font type, font scale,color [, pen thickness [, line type [, center of coordinates]]])

Принимает следующие параметры:

• рамка - изображение, на котором мы хотим написать текст;
• текст - текст, который мы собираемся отобразить во фрейме;
• координаты - набор из двух координат в нижнем левом углу текста, например (1,5);
• тип шрифта - одна из указанных ниже констант;
• масштаб шрифта - размер шрифта. Например, для увеличения шрифта в 3 раза - ставьте 2, для уменьшения в 3 раза - 0,3;
• цвет - кортеж из трех чисел от 0 до 255, определяющих цвет в модели RGB. Зеленый цвет - (0,255,0);
• толщина пера - необязательный параметр;
• тип линии - необязательный параметр, одно из трех значений: LINE_8 пунктирная линия малая, LINE_4 - пунктирная линия большая, LINE_AA - сглаженная линия;
• центр координат - необязательный параметр. По умолчанию координаты текста отсчитываются от левого верхнего угла.

Типы шрифтов:

• FONT_HERSHEY_SIMPLEX
• FONT_HERSHEY_PLAIN
• FONT_HERSHEY_DUPLEX
• FONT_HERSHEY_COMPLEX
• FONT_HERSHEY_TRIPLEX
• FONT_HERSHEY_COMPLEX_SMALL
• FONT_HERSHEY_SCRIPT_SIMPLEX
• FONT_HERSHEY_SCRIPT_COMPLEX

функция для рисования настраиваемого прямоугольника вокруг обнаруженного лица:

def Draw_Rect(self,Image,face,color):
        x,y,w,h = face
        # line 1 : top left corner horizontal line 
        cv2.line(Image, (x, y), (int(x + (w/5)),y), color, 2)
        # line 2 : top right corner horizontal line 
        cv2.line(Image, (int(x+((w/5)*4)), y), (x+w, y), color, 2)
        # line 3 : top left corner vertical line 
        cv2.line(Image, (x, y), (x,int(y+(h/5))), color, 2)
        # line 4 : top right corner vertical line 
        cv2.line(Image, (x+w, y), (x+w, int(y+(h/5))), color, 2)
        # line 5 : bottom left corner vertical line 
        cv2.line(Image, (x, int(y+(h/5*4))), (x, y+h), color, 2)
        # line 6 : bottom left corner horizontal line 
        cv2.line(Image, (x, int(y+h)), (x + int(w/5) ,y+h), color,2)
        # line 6 : bottom right corner horizontal line 
        cv2.line(Image,(x+int((w/5)*4),y+h),(x + w, y + h),color, 2)
        # line 6 : bottom right corner verticals line 
        cv2.line(Image, (x+w, int(y+(h/5*4))), (x+w, y+h), color, 2)

OpenCV предоставляет функцию для прогнозирования метки нового изображения:

id, confidence = recognizer.predict(gray_scale_face)

Он принимает в качестве параметра захваченную часть лица, которую нужно проанализировать и вернуть ее идентификатор и значение достоверности.

Сводная последовательность действий программы:
1. Захват изображений.
2. Извлеките область лица с помощью классификатора функций Хаара.
3. Поверните изображение с помощью под определенным углом.
4. Обучите изображения и метки в качестве обучающих данных с помощью FaceRecognizer (train ()).
5. Повторите шаги с 1 по 4 для всех обучающих изображений.
6. Загрузите тестовые изображения для распознавание.
7. Извлеките область лица с помощью классификатора объектов типа Хаара.
8. Измените размер области лица до определенного размера.
9. Тестовое изображение с помощью FaceRecognizer Prediction (prediction () ) ⇒ [id, достоверность].
10. Повторите шаги 6–9 для всех тестовых изображений.

Заключение

Распознавание лиц на сегодняшний день является одной из самых важных технологий, которая широко используется во многих областях и секторах, таких как здравоохранение, реклама, безопасность, платежи и многие другие.

Согласно новому исследованию, проведенному Grand View Research, Inc., глобальный рынок биометрических технологий, вероятно, достигнет 59,31 миллиарда долларов США к 2025 году. CAGR 19,5% в течение прогнозируемого периода. [27]

Исходный код этой программы можно найти ниже:

📚литература, полезные ресурсы:

[1] Shutterstock, Что такое пиксель? (2020 г.)

[2] М.Лира, А.Плусси и А.Георганцоглу, MATLAB как инструмент обработки изображений в ядерной медицине (2011 г.), MATLAB - универсальный инструмент для инженеров-практиков, Глава: 23.

[3] Wikiwand, Оттенки серого как отдельные каналы многоканальных цветных изображений.

[4] М. Хармуш, Классификация цвета кожи человека с использованием порогового классификатора: RGB, YCbCr, HSV (код Python), (2020)

[5] Microsoft, Учебное пособие: обнаружение объектов с помощью ONNX в ML.NET (2020 г.)

[6] Dasiopoulou, Stamatia, et al. « Обнаружение семантических видеообъектов с помощью знаний . IEEE Transactions on Circuits and Systems for Video Technology 15.10 (2005): 1210–1224.

[7] NAVER Engineering, Сегментация видеообъектов в видео (2017), слайд-5

[8] М.Хармуш, Распознавание лиц с использованием порога телесного тона (RGB-YCrCb): реализация Python ( 2020)

[9] П. Виола и М. Джонс, Робастное обнаружение объектов в реальном времени (2001), ВТОРОЙ МЕЖДУНАРОДНЫЙ СЕМИНАР ПО СТАТИСТИКЕ И ВЫЧИСЛЕНИЯМ

[10] М. Амин Чхаджро, Камлеш Кумар, М. Малук Ринд, Афтаб Ахмед Шейх, Хак Наваз и Рафакат Хуссейн Арайн, Подход к обнаружению пешеходов для системы помощи водителю с использованием каскадных классификаторов на основе Хаара (2018), Международный журнал передовых технологий Информатика и приложения.

[11] Александр Мордвинцев и Абид К., Обнаружение лиц с использованием каскадов Хаара (2013).

[12] Хельвиг Йенсен, Реализация алгоритма распознавания лиц Виолы-Джонса. P-11 (2008 г.), Kongens Lyngby IMM-M.Sc.-2008–93

[13] СтивенПуттеманс, но Пакт, Каскадное обучение классификаторов.

[14] Чжуо Ван, Цзиньтао Чжан и Навин Верма, Реализация низкоэнергетических систем классификации путем реализации умножения матриц непосредственно в ADC (2015), IEEE Transactions on Biomedical Circuits and Systems

[15] В.С. Мада Санджая, Дья Ангграени, Кики Закария, Атип Джуарди и Мадинатул Мунавваро, Дизайн распознавания лиц и отслеживания взаимодействия человека и робота, (2017), Рис. 4. Иллюстрация каскадного классификатора.

[16] Тимо Ахонен, Абденур Хадид и Матти Пиетикчайнен, Распознавание лиц с помощью локальных двоичных паттернов (2004), P-472

[17] [18] М. Хармуш, Распознавание лиц, (2020), GitHub

[19] Тимо Ахонен, Абденур Хадид и Матти Пиетикчайнен, Распознавание лиц с помощью локальных двоичных паттернов (2004), Несколько возможных мер несходства для гистограмм LBP.p-472.

[20] Ф.Комаски, Распознавание лиц Виолы-Джонса (2012)

[21] Омкар М. Пархи, Андреа Ведальди и Эндрю Зиссерман, Плакат Deep Face Recognition.

[22] OpenCV, Описание класса cv :: face :: LBPHFaceRecognizer

[23] OpenCV docs, Функции рисования (2011–2014)

[24] OpenCV, Преобразования геометрических изображений (2011–2014)

[25] Алалек, Каскадные классификаторы Хаара, Github (2013).

[26] Quora, Какой лучший алгоритм распознавания лиц в OpenCV Python?, (2016)

[27] Шерри Джеймс, Объем рынка биометрических технологий к 2025 году составит 59,31 миллиарда долларов: Grand View Research, Inc. (2019)