Устройство автоматизированного распознавания лиц при обработке групповой фотографии

Изобретение относится к области вычислительной техники и может быть использовано в системах анализа и обработки изображений. Техническим результатом является автоматизированное распознавание лиц при обработке групповой фотографии. Устройство автоматизированного распознавания лиц при обработке групповой фотографии содержит блок поиска областей, содержащих лица, блок формирования решения, причем выход блока локализации областей лиц (1) подключен к входу блока разделения изображения на фон и объект (2), выход которого подключен к первому входу блока нормализации изображения (3); выход блока управления (9) подключен ко второму входу блока нормализации изображения (3), выход которого подключен к входу блока формирования векторов признаков лиц (4), выход которого подключен к входу блока буфера (5), выход которого подключен к первому входу блока сравнения (6); выход блока задержки (7) подключен к входу блока формирования векторов признаков лица (8), выход которого подключен ко второму входу блока сравнения (6), выход которого является информационным выходом устройства. 1 ил.

 

Изобретение относится к области вычислительной техники и может быть использовано в цифровых телевизионных и фотосистемах глобальных систем позиционирования и наблюдения.

Математическая модель наблюдаемого изображения I определяется следующим выражением:

I=α₁I₁+(1-α₁)·(α₂I₂+(1-α₂)(…+(1-α_N-1)·I_N)) (1)

где I₁,…I_N - набор слоев изображения, разделенных с помощью альфа-каналов α_N∈[0,1], размерность I₁,…,I_N и α_N совпадают. Альфа-каналы α_N представляют собой маски, позволяющие выделять отдельные объекты сцены. Решением задачи распознавания лица на групповой цифровой фотографии является установление соответствия каждого I_N образа заданному изображению лица человека.

Основная решаемая задача - распознавание лица человека на групповой фотографии.

Значительный интерес в области компьютерного зрения занимает задача детектирования и распознавания лиц при обработке многомерных сигналов (изображений и видеопоследовательностей). Областью применения решения данной задачи являются системы предупреждения преступлений и идентификация преступников, верификация человека в аэропортах, автоматические охранные системы с «фейсконтролем», персонализация бытовых устройств, криминалистическая экспертиза фото- и видеосъемок, виртуальная реальность, компьютерные игры и т.п.

Существующие методы распознавания делятся на два класса: методы на основе поиска и сопоставления локальных особенностей лица (формирование вектора дескрипторов на основе локальных признаков) и разложение локальной области изображения лица на ортогональные составляющие (метод EigenFace на основе получения главных компонент). Как правило, использование рассматриваемых методов применимо к многомерным сигналам (изображениям), содержащим только одно лицо на однородном фоне. Использование данных методов для обработки групповых изображений людей крайне ограничено. В связи с этим актуальным является решение задачи распознавания группы лиц на изображениях с текстурированным фоном.

Известен способ идентификации личности человека по цифровому изображению лица [Патент №2431191, МПК G06K 9/00]. Изобретение относится к автоматике и вычислительной технике и может быть использовано в системах искусственного интеллекта: системах контроля доступа, робототехнических системах, взаимодействующих с человеком-оператором в условиях производства и других системах. Техническим результатом является повышение точности и оперативности распознавания изображения лица человека. Способ идентификации личности человека по цифровому изображению лица содержит этапы поиска лица человека в кадре, масштабирования выделенного изображения до заданного размера, выравнивания яркости и цветности изображения, формирования вектора входного изображения (Р1), загрузки из базы данных изображения для сравнения (Р2), разбиения изображения на блоки и осуществления первичного поиска по совпадению этих блоков, осуществления вторичного поиска, на основе чего принимают решение о соответствии, причем после загрузки изображения производится выравнивание яркости и цветности, затем формируется вектор входного изображения, после чего масштабируют изображение до заданного размера, после чего разбивают изображение по связности элементов, формируют интегральный индекс, осуществляют первичный и вторичный поиски, после чего принимается решение о соответствии.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: распознавание лица человека на изображении.

Недостатками известного способа и системы являются:

- требование априорного знания порога ошибок, представляющего собой допустимое расстояние в индексном пространстве от рассматриваемых точек до точки запросного индекса;

- требование априорного значения ширины лица для пропорционального масштабирования изображения.

Известна система для идентификации человека по изображению лица [Патент №2382408, МПК G06K 9/00]. Изобретение относится к области идентификации человека по изображению лица. Технический результат заключается в ускорении процедуры и повышении достоверности идентификации человека. Этот результат достигается тем, что видеоизображение с лицом идентифицируемого человека получают во фронтальном ракурсе; фрагменты с изображением глаз выделяют путем предварительного выделения первичных признаковых точек, соответствующих местоположению глаз, и сравнения с заранее заданными эталонами правого и левого глаза; выделение информационно значимых участков в выделенном фрагменте информационного поля осуществляют с помощью применения функции Гаусса в эллипсе; построение эталонов лиц идентифицируемых людей производят с использованием не менее чем двух типов ортогональных базисных функций для предварительного поиска и распознавания, для детального распознавания и построения дополнительных эталонов для окончательного распознавания; идентифицируют человека по интегральной оценке меры сходства для каждого анализируемого фрагмента за счет двухэтапной процедуры сравнения эталонов для предварительного поиска и распознавания и сравнения эталонов для детального и окончательного распознавания.

Признаки системы-аналога, совпадающие с признаками заявляемого технического решения, следующие: распознавание лица человека и его поиск на изображении.

Недостатками известной системы являются: необходимость предварительного обучения системы.

Известен способ обнаружения лиц на изображении с применением каскада классификаторов [Патент №2427911, МПК G06K 9/62]. Изобретение относится к области обработки цифровых изображений, осуществляет поиск произвольно ориентированных лиц на цифровых изображениях. Техническим результатом изобретения является повышение быстродействия и точности обрабатываемых данных при обнаружении лиц на изображении. Технический результат достигается благодаря тому, что в способе обнаружения лиц на изображении, включающем в себя применение каскада однородных классификаторов, каждый классификатор используют для разделения входного вектора на два класса «лицо», «нелицо», причем каждый классификатор характеризуется более высокой точностью классификации по сравнению с предыдущим классификатором в каскаде, выполняют поиск окружностей на входном изображении с помощью преобразования Хафа для окружностей, формируют набор фрагментов в областях изображения, где были обнаружены окружности, путем разделения областей на набор фрагментов одинакового размера, применяют каскад классификаторов к каждому фрагменту и определяют, содержит он лицо или нет, причем для принятия решения о наличии лица все классификаторы должны отнести соответствующий входной вектор, построенный по фрагменту, к классу «лицо».

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: нахождение произвольно ориентированных лиц на цифровых изображениях.

Недостатками известного способа являются: необходимость предварительного обучения системы, не производит идентификацию. Известна система для распознавания лица с учетом списка людей, не подлежащих проверке [Патент №2381553, МПК G06K 9/00, G06K 9/62]. Изобретение относится к биометрическим системам идентификации личности по изображению лица человека. Техническим результатом является распознавание личности в условиях неравномерного освещения и для широкого диапазона углов поворота лица на изображении. В способе формируют галерею изображений «отрицательных» лиц - тех людей, которые не подлежат проверке, формируют галерею известных персон с преобразованием изображения лица во внутреннее представление, принятое для алгоритмов распознавания, реализованных в способе, детектируют лицо человека на входном изображении, осуществляют подготовку сегментированного региона, содержащего лицо, к проведению распознавания путем нормализации положения лица в соответствии с позицией глаз, масштабирования к заданным размерам, нормализации интенсивности, выполняют базовые алгоритмы распознавания лиц, способные вычислять меры схожести двух изображений, выбирают подмножество «отрицательных» лиц, на основе которого определяют выбор нового алгоритма распознавания, формируют новый алгоритм распознавания на основе преобразования мер близости базового алгоритма с учетом сформированной галереи «отрицательных» лиц, выполняют классификацию по множеству зарегистрированных изображений.

Признаки системы-аналога, совпадающие с признаками заявляемого технического решения, следующие: распознавание лица человека на изображении.

Недостатками известной системы являются: необходимость выбора подмножества «отрицательных» лиц.

Наиболее близким к изобретению является устройство распознавания рельефности лица [Патент №2431190, МПК G06K 9/00].

Рассматриваемое устройство-прототип предполагает:

- формирование двух изображений объекта, при этом одно из изображений формируется при включенной подсветке, а второе - при выключенной;

- обнаружение на каждом из двух изображений объекта области, содержащие лица, определение координаты областей, содержащих лица;

- сопоставление обнаруженных областей, вырезание области исходных изображений в соответствии с координатами областей, содержащих лица, нормализация, определение координаты характерных точек лица, выравнивание вырезанных областей относительно друг друга так, чтобы координаты соответствующих характерных точек совпали;

- провидение анализа изменения интенсивностей пикселов сопоставленных областей, построение карты распределения интенсивностей;

- формирование решения о рельефности представленного на изображениях лица.

Для функционирования устройства необходимо нахождение, по меньшей мере, одной пары характерных точек, выбранных из набора характерных точек, содержащего центры и уголки глаз, крылья носа, уголки рта.

Для функционирования устройства необходимо проведение анализа изменения интенсивности пикселов сопоставленных областей, при этом сравнивали интенсивности пикселов на выровненных вырезанных областях и вычисляли вектор статистических оценок изменения интенсивностей соответствующих участков данных областей.

Для функционирования устройства необходимо формирование решения о рельефности лица на изображении, при этом применяли бинарную решающую функцию к вектору статистических оценок.

Рассматриваемое устройство-прототип содержит:

- лампу подсветки;

- средство формирования изображений объекта;

- средство обнаружения областей, содержащих лица, выполненное с возможностью определения координат областей, содержащих лицо;

- средство сопоставления обнаруженных областей, выполненное с возможностью формирования сопоставленных обнаруженных областей посредством вырезания найденных областей из исходных изображений, нормализации, определения характерных точек лица и выравнивания областей относительно друг друга по координатам соответствующих характерных точек;

- средство проведения анализа изменения интенсивности пикселов сопоставленных областей сформированных изображений, выполненное с возможностью построения карт распределения интенсивностей;

- средство формирования решения о рельефности представленного на изображениях лица.

Признаки устройства-прототипа, совпадающие с признаками заявляемого технического решения, следующие: распознавание лица человека; идентификация человека по изображению его лица.

Недостатками известного устройства являются:

1. выделенная область лица может содержать фрагменты фона, что приводит к ошибкам распознавания

2. набор характерных точек изображения лица может не содержать индивидуальных особенностей лица.

Структурная схема устройства, реализующего рассмотренный алгоритм, содержит блок захвата изображения, блок поиска областей, содержащих лица, блок выделения и сопоставления областей, блок анализа изменений областей, блок формирования решения.

Предлагаемое устройство автоматизированного распознавания лиц при обработке групповой фотографии позволяет решить задачу распознавания группы лиц на изображениях с текстурированным фоном. Устройство реализует следующий алгоритм:

1) получение потока групповых фотографий I, содержащих лица нескольких человек;

2) получение тестового изображения, содержащего лицо идентифицируемого человека;

3) локализация лиц на групповых фотографиях из потока I с помощью детектора лиц Виолы-Джонса;

4) выделение локализованных лиц на групповых фотографиях из потока I с помощью алгоритма разделения изображения на фон и объект ('matting');

5) нормализация полученных изображений, каждое изображение содержит лицо человека на черном фоне;

6) формирование вектора признаков полученных изображений лиц и тестового изображения с помощью метода главных компонент. Суть метода главных компонент состоит в формировании матрицы Xm, которая состоит из всех примеров изображений лиц обучающего набора (векторов X). Ковариационная матрица Σ набора Xm разлагается на собственные вектора и собственные значения:

Λ=С^T·Σ·С, (1)

где С - матрица собственных векторов, Λ - диагональная матрица собственных чисел. Из С выбирается подматрица С_М, соответствующая М наибольшим собственным числам матрицы Λ. Преобразование:

$$Y=C_{М}^T\tilde{X},\text{ (2)}$$

(где $$\tilde{X}=X-\overline{X}$$ - нормализованный вектор с нулевым математическим ожиданием), характеризует большую часть общей дисперсии и показывает самые значительные изменения Xm. Выбор первых М главных компонент разбивает векторное пространство на главное пространство $$F={\left\{C_i\right\}}_{i=1}^M,$$ содержащее главные компоненты, и его ортогональное дополнение $$F={\left\{C_i\right\}}_{i=M+1}^M.$$

7) сравнение вектора признаков тестируемого изображения лица с векторами признаками всех остальных изображений лиц на групповых фотографиях из потока I на основе евклидовой метрики.

Устройство автоматизированного распознавания лиц при обработке групповой фотографии (фиг.1) содержит блок локализации областей лиц 1, блок задержки 7, блок управления 9, входы которых являются информационными входами устройства. Выход блока локализации областей лиц 1 подключен к входу блока разделения изображения на фон и объект 2, выход которого подключен к первому входу блока нормализации изображения 3. Выход блока управления 9 подключен ко второму входу блока нормализации изображения 3, выход которого подключен к входу блока формирования векторов признаков лиц 4, выход которого подключен к входу блока буфера 5, выход которого подключен к первому входу блока сравнения 6. Выход блока задержки 7 подключен к входу блока формирования векторов признаков лица 8, выход которого подключен к второму входу блока сравнения 6, выход которого является информационным выходом устройства.

Устройство автоматизированного распознавания лиц при обработке групповой фотографии работает следующим образом. На вход блока локализации лиц 1 поступает поток изображений, на которых представлены лица нескольких человек. Одновременно на вход блока задержки 7 и блока управления 9 поступает изображение с лицом идентифицируемого человека. С помощью блока разделения изображения на фон и объект 2 выделяются области лиц на изображениях из потока. В блоке нормализации 3 происходит масштабирование выделенных областей лиц к изображению идентифицируемого человека. Информация о разрешении идентифицируемого человека подается с блока управления 9 на второй вход блока нормализации 3. В блоках формирования векторов признаков лиц 4 и 8 с помощью метода главных компонент формируется собственные вектора и собственные значения выделенных областей лиц и лица идентифицируемого человека. В блоке буфере 5 хранятся вектора признаков выделенных областей лиц. В блоке сравнения 6 происходит сравнение векторов признаков выделенных областей лиц с вектором признаков лица идентифицируемого человека.

Технический результат - автоматизированное распознавание лиц при обработке групповой фотографии.

Устройство автоматизированного распознавания лиц при обработке групповой фотографии, содержащее блок поиска областей, содержащих лица, блок формирования решения, отличающееся тем, что выход блока локализации областей лиц (1) подключен к входу блока разделения изображения на фон и объект (2), выход которого подключен к первому входу блока нормализации изображения (3); выход блока управления (9) подключен ко второму входу блока нормализации изображения (3), выход которого подключен к входу блока формирования векторов признаков лиц (4), выход которого подключен к входу блока буфера (5), выход которого подключен к первому входу блока сравнения (6); выход блока задержки (7) подключен к входу блока формирования векторов признаков лица (8), выход которого подключен ко второму входу блока сравнения (6), выход которого является информационным выходом устройства.