Автоматическое построение 3d модели лица по серии 2d изображений или по видеофильму

Изобретение относится к распознаванию личности человека по изображению. Технический результат - повышение точности трехмерной реконструкции лица. Способ автоматического построения 3D модели лица человека содержит этапы: получение по меньшей мере двух 2D изображений первого вида, определение области лица человека на каждом из упомянутых 2D изображениях первого вида; построение по меньшей мере одной промежуточной 3D модели области лица на основании по меньшей мере одного упомянутого 2D изображения первого вида; определение ракурса лица человека на по меньшей мере одной промежуточной 3D модели; изменение ракурса области лица на упомянутой промежуточной 3D модели; преобразование полученной по меньшей мере одной 3D модели области лица в по меньшей мере одно 2D изображение второго вида; определение области лица человека на по меньшей мере одном 2D изображении второго вида; определение координат сопряженных точек областей лица на по меньшей мере двух 2D изображениях, из которых по меньшей мере одно является 2D изображением второго вида; осуществление преобразования упомянутых координат сопряженных точек областей лица в двумерные координаты сопряженных точек областей лица на по меньшей мере одном 2D изображении первого вида; вычисление из полученных координат сопряженных точек положения и матрицы калибровки источника на по меньшей мере одном 2D изображении первого вида области лица в трехмерной системе координат и реконструирование двумерных координат сопряженных точек областей лица на по меньшей мере одном 2D изображении первого вида в трехмерную модель лица с помощью упомянутых матриц. 3 н. и 6 з.п. ф-лы, 16 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области распознавания образов, а именно к задаче распознавания личности человека по изображению, с помощью способа, устройства и машиночитаемого носителя для автоматического построения 3D модели лица по серии 2D изображений.

УРОВЕНЬ ТЕХНИКИ

Известен способ построения трехмерной модели лица с помощью стереокамеры в целях автоматического распознавания лица человека (RU 2012101848, от 19.01.2012), в котором две или более стереокамер располагают на некотором расстоянии между собой, при этом каждая из стереокамер реконструирует свое трехмерное изображение части лица, потом отдельные части совмещают в одно общее трехмерное изображение, по которому производится распознавание человека.

Недостатками указанного способа является техническая сложность его воплощения, причем кадры должны быть сняты в один и тот же момент времени, а также невозможность работы с уже готовыми изображениями или последовательностью кадров, например, видеофильмом.

Известны способы построения трехмерной модели лица лишь по одной или нескольким 2Б изображениям лица. В этих способах получение двумерного изображения может осуществляться всего одной видеокамерой, однако, при этом увеличивается сложность и уменьшается точность построения трехмерной модели лица, которая негативно может повлиять на точность дальнейшего распознавания или идентификации лица человека.

Среди упомянутых способов известны способы построения трехмерной формы лица человека по одному или более 2Б изображениям, в котором используется трехмерная деформируемая модель лица (US 20070080967 A1, US 7853085 B2, US 7643685 B2, US 7643683 B2, US 7643671 B2, ANIMETRICS INC.). В известных способах на вход устройства поступает изображение лица, а параметры и положения трехмерной модели лица подбираются таким образом, чтобы проекция модели наиболее точно совпадала с изображением лица на серии 2Б изображений.

Недостатками известных способов являются:

- ограниченная точность реконструкции, так как трехмерная форма лица описывается некоторой моделью с конечным числом параметров. Поэтому восстановленная форма лица лишь примерно совпадает с исходным лицом. Простая модель может давать ухудшение результатов при изменении расы или возраста человека,

- точность построения зависит от точности определения на двумерном изображении координат некоторых выбранных точек в уголках губ, глаз и других основных элементов лица, называемых антропометрическими точками. В этих точках осуществляется контроль совпадения проекции трехмерной модели с исходным изображением лица;

- первоначальной информацией для построения трехмерной модели являются двумерные координаты антропометрических точек, получаемая трехмерная модель не содержит в себе дополнительной информации, кроме уже присутствующей в двумерном изображении, поэтому может не давать преимущества при распознавании с помощью трехмерного алгоритма сравнения лиц;

- возникает сложность в восстановлении мимических искажений формы лица, так как модель не может быть обучена для повтора всех существующих мимических выражений;

- чем точнее трехмерная модель может аппроксимировать различные формы лица человека, тем дольше время подбора параметров модели для нахождения трехмерной формы лица данного человека.

Другим из возможных способов является известный метод реконструкции трехмерной сцены, по серии изображений под разными углами зрения в случае, когда элемент реконструированной сцены является жестким объектом. Хотя лишь с некоторым приближением можно считать форму лица человека неизменяемой, такой способ тоже представляет интерес. В типичных условиях камеру устанавливают неподвижно, лицо человека перемещается в пространстве в зоне контроля. В системе координат, связанной с лицом, лицо является неподвижным, а камера перемещается относительно предмета, поэтому задачу сводят к реконструкции трехмерной сцены несколькими камерами, взаимное расположение которых заранее неизвестно (см. Д. Форсайт, Ж. Понс, «Компьютерное зрение. Современный подход», Пер. с англ, М.: Издательский дом «Вильяме», 2004 г.). Данную задачу решают поиском сопряженных точек на разных проекциях изображения трехмерной сцены, которые соответствуют одинаковым точкам трехмерной сцены. Эти точки на разных проекциях связаны соотношением Лонгета-Хиггинса (см. Д. Форсайт, Ж. Понс, «Компьютерное зрение. Современный подход», Пер. с англ, М.: Издательский дом «Вильяме», 2004 г., стр. 312) через фундаментальную матрицу, которая содержит в себе информацию о взаимном положении камер. За исключением некоторых вырожденных случаев, которые в общем случае для рассматриваемого изобретения не представляют интереса, фундаментальная матрица может быть рассчитана из двумерных координат сопряженных точек. Факторизация фундаментальной матрицы приводит к матрицам калибровки внутренних и внешних параметров камеры в разных положениях относительно предмета трехмерной сцены. Такая процедура хорошо известна и реализована, например, в библиотеке компьютерного зрения OpenCV. После того, как матрицы калибровки определены для каждого положения камеры, реконструкцию всех точек сцены выполняют стандартными алгоритмами, основанными на триангуляции лучей, выходящих из сопряженных точек на разных проекциях.

Указанный способ является прототипом настоящего изобретения.

Недостатками известного способа являются высокая чувствительность погрешностей реконструкции к точности определения двумерных сопряженных точек, что приводит к искажению трехмерной реконструкции, а также сложность использования указанного способа, в применении к реконструкции формы лица человека, поскольку необходимо учитывать следующие факторы:

1) трехмерная сцена должна быть сегментирована на лицо и задний план, так как реконструкция возможна лишь для жесткого тела, у которого относительные размеры не меняются, а когда человек перемещается в пространстве, то лицо человека и задний план не являются одновременно жестким телом;

2) в типичных условиях эксплуатации камера видеонаблюдения охватывает большую площадь, и на изображении камеры лицо человека занимает небольшую площадь, при этом углы зрения на различные сопряженные точки, найденные на лице на разных кадрах, достаточно малы. Например, типичными условиями является распознавание лица, имеющего характерные размеры между точками лица порядка 10 см, как в глубину, так и в ширину, с расстояний до камеры несколько метров. В этом случае небольшие погрешности в определении координат сопряженных точек на разных кадрах приводят к большим погрешностям в определении положений камеры относительно лица в разные моменты времени, что вносит ошибку в точность трехмерной реконструкции;

3) для использования указанного способа изображения лица должны быть получены на различных кадрах в различных положениях: чем больше расстояние между различными положениями лица, тем больше стереобаза и лучше точность триангуляции (см. Д. Форсайт, Ж. Понс, «Компьютерное зрение. Современный подход», Пер. с англ, М.: Издательский дом «Вильяме», 2004 г.), в то же время, чем больше перемещение лица, тем больше время между кадрами и больше вероятность того, что изображение лица будет получено с существенным изменением ракурса, причем изменение ракурса негативно влияет на точность вычисления координат антропометрических точек.

Известен также способ, основанный на использовании метода Ransac (https://ru.wikipedia.org/wiki/RANSAC), в котором среди всех найденных сопряженных точек итеративно отбрасываются точки, вносящие наибольшую ошибку в результат. Однако даже использование указанного способа в случае недостаточно высокой точности определения большинства сопряженных точек, зачастую бывает недостаточным для получения качественной реконструированной трехмерного изображения формы лица.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задачей настоящего изобретения является создание способа получения качественной трехмерной модели лица человека, в целях повышения точности распознавания лиц на основе сравнения трехмерных форм лиц, позволяющего определить большое количество сопряженных точек на двумерном изображении лица, захваченного с помощью только одного источника, такого как видеокамера, фотокамера, последовательность кадров и т.п.

Техническим результатом является повышение точности трехмерной реконструкции лица.

Заявленный технический результат достигается за счет способа автоматического построения 3D модели лица человека, содержащего этапы, на которых:

- получают от источника данных, информацию содержащую, по меньшей мере, два 2D изображения первого вида, содержащие отображение лица человека;

- определяют область лица человека на каждом из упомянутых 2D изображений первого вида;

отличающегося тем, что

- строят, по меньшей мере, одну промежуточную 3D модель области лица, на основании, по меньшей мере, одного упомянутого 2D изображения первого вида;

- определяют ракурс лица человека на, по меньшей мере, одной промежуточной 3D модели;

- изменяют ракурс области лица на упомянутой промежуточной 3D модели;

- преобразовывают полученную, по меньшей мере, одну 3D модель области лица в, по меньшей мере, одно 2D изображение второго вида;

- определяют область лица человека на, по меньшей мере, одном 2D изображении второго вида;

- определяют координаты сопряженных точек областей лица на, по меньшей мере, двух 2D изображениях, из которых, по меньшей мере, одно является 2D изображением второго вида;

- осуществляют преобразование упомянутых координат сопряженных точек областей лица в двумерные координаты сопряженных точек областей лица на, по меньшей мере, одном 2D изображении первого вида;

- из полученных координат сопряженных точек вычисляют положение и матрицы калибровки источника на, по меньшей мере, одном 2D изображении первого вида области лица в трехмерной системе координат,

и реконструируют двумерные координаты сопряженных точек областей лица на, по меньшей мере, одном 2D изображении первого вида в трехмерную модель лица с помощью упомянутых матриц.

В частном варианте осуществления изобретения источником данных является видеокамера, или фотокамера, или стереокамера, или последовательность кадров.

В частном варианте осуществления изобретения последовательность кадров представляет собой видеофайл.

В частном варианте осуществления изобретения выполняют поворот промежуточной 3D модели для изменения ракурса.

В частном варианте осуществления изобретения осуществляют определение координат антропометрических точек лица человека на, по меньшей мере, одном 2D изображении первого вида, которые используют для изменения ракурса 3D модели.

В частном варианте осуществления изобретения промежуточная трехмерная модель является деформируемой трехмерной моделью лица, форму и ориентацию которой в трехмерном пространстве подбирают таким образом, чтобы антропометрические точки на трехмерной модели имели проекции на различные 2D изображения первого вида, максимально близкие к координатам двумерных антропометрических точек, определенных на этих 2D изображениях.

В частном варианте осуществления изобретения координаты двумерных антропометрических точек определяют с помощью двумерного алгоритма поиска.

Так же, настоящее изобретение реализуется с помощью устройства и машиночитаемого носителя, которые будут раскрыты далее в настоящих материалах заявки.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На Фиг. 1 изображена общая последовательность этапов способа автоматического построения 3D модели лица.

На Фиг. 2-3 представлены изображения лица человека, снятые одной камерой под разными углами зрения.

На Фиг. 4-8 изображена промежуточная трехмерная модель области лица.

На Фиг. 9-10 представлены выровненные по ракурсу изображения лица, на которых вычислены сопряженные точки.

На Фиг. 11-12 представлены сопряженные точки на исходных изображениях, вычисленные по координатам сопряженных точек, выровненных по ракурсу изображений лица.

На Фиг. 13-15 представлена трехмерная реконструкция видимой части лица.

На Фиг. 16 представлен общий вид устройства, реализующего заявленный способ.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Для устранения недостатков способа, описанного в прототипе, в настоящем изобретении предлагается использовать предварительное преобразование изображений лица человека, полученных из серии 2D изображений, или из последовательности кадров, например, видеозапись (видеофильм). В настоящем способе применяется метод изменения ракурса области лица человека на исходных изображениях, для чего осуществляется построение промежуточной трехмерной модели лица человека и ее последующее преобразование до необходимого ракурса.

В этом случае поиск сопряженных точек осуществляют предварительно на выровненных по ракурсу изображениях лица на каждом из кадров 2D изображения. В данном способе важна обратимость и непрерывность функции преобразования по выравниванию ракурса. В случае использования трехмерной модели лица для ее поворота, можно указать взаимно однозначное обратимое соответствие между исходными точками на изображении лица на исходных кадрах и точками на выровненном изображении лица, при условии видимости указанных точек на изображениях. Обратимость и непрерывность выравнивания не является тривиальной в общем случае для произвольного способа выравнивания к нужному ракурсу.

Последнее обстоятельство означает, что сопряженные точки могут быть первоначально получены не на исходных изображениях, а на выровненных по ракурсу, и после этого пересчитаны достаточно точно на исходные изображения. Действительно, проективное преобразование и преобразование поворота и пространственного переноса системы координат трехмерной модели лица являются непрерывными функциями, поэтому справедливо соотношение:

lim(ε′)=0 при ε→0,

где ε - погрешность определения сопряженной точки на выровненном изображении лица, ε′ - погрешность определения сопряженной точки на исходном изображении лица.

На Фиг. 1 приведена последовательность этапов заявленного способа (100) автоматического построения 3D модели лица, которые выполняются в предпочтительном варианте осуществления заявленного изобретения.

На этапе (101) получают от источника данных информацию, содержащую, по меньшей мере, два 2D изображения первого вида, содержащие отображение лица человека. Исходные изображения - изображения первого вида, получают от источника данных, такого как: фотокамера, видеокамера, стереокамера или уже готовая последовательность кадров/изображений, например, видеофильм. На Фиг. 2-3 представлены полученные от источника данных снимки, представляющие собой 2D изображения, снятые одной камерой под разными углами зрения.

Далее на этапе (102) определяют область лица человека на каждом из полученных от источника 2D изображений.

На этапе (103) выполняют построение, по меньшей мере, одной промежуточной 3D модели области лица человека, которая строится по исходным изображениям, причем упомянутая промежуточная модель может быть построена по, по меньшей мере, одному 2D изображению, полученному от источника. На Фиг. 4-8 показан процесс построения 3D модели области лица по исходным 2D изображениям. Полученная модель позволяет свободно оперировать ее положением в пространстве независимо от ракурса исходных 2D изображений.

Затем на этапе (104) определяют ракурс лица человека на полученной промежуточной 3D модели, причем может использоваться как одна, так и множество промежуточных 3D моделей. Если ракурс упомянутой промежуточной 3D модели сильно отличается от ракурса области лица человека, то осуществляют его изменение на этапе (105), для чего выполняют поворот модели области лица до необходимого положения. На Фиг. 9-10 показаны выровненные по ракурсу исходные изображения с камеры с помощью трехмерной модели лица, и на них определены сопряженные точки.

На этапе (106) выполняют преобразование полученной, по меньшей мере, одной 3D модели области лица в, по меньшей мере, одно 2D изображение - изображение второго вида, которое будет иметь необходимый ракурс отображения области лица человека. Далее на этапе (107) определяют область лица человека на, по меньшей мере, одном 2D изображении второго вида и на этапе (108) определяют координаты сопряженных точек областей лица. Для этого используются, по меньшей мере, два 2D изображения, из которых, по меньшей мере, одно является 2D изображением второго вида. Ракурс необходимо изменить таким образом, чтобы получалась группа из, по меньшей мере, двух 2D изображений со схожими ракурсами, по которым можно с высокой степенью точности определить сопряженные точки, причем в упомянутую группу могут входить как только 2D изображения второго вида, так и одно 2D изображение первого вида и одно или более 2D изображений второго вида.

На этапе (109) осуществляют преобразование упомянутых координат сопряженных точек областей лица в двумерные координаты сопряженных точек областей лица на, по меньшей мере, одном 2D изображении первого вида, что показано на Фиг. 11-12. Затем на этапе (110) из полученных координат сопряженных точек вычисляют положение и матрицы калибровки источника на, по меньшей мере, одном 2D изображении первого вида области лица в трехмерной системе координат. На этапе (111) реконструируют двумерные координаты сопряженных точек областей лица на, по меньшей мере, одном 2D изображении первого вида в трехмерную модель лица с помощью упомянутых матриц. Результат построения модели, которая имеет правильные пропорции и глубину, показан на Фиг. 13-15.

В частном варианте осуществления заявленного изобретения для выполнения поворота 3D модели области лица осуществляют определение координат антропометрических точек лица человека на, по меньшей мере, одном 2D изображении первого вида, которые используют для осуществления упомянутого поворота 2D изображения первого вида. Промежуточная трехмерная модель лица может представлять деформируемую трехмерную модель, форму и ориентацию которой в трехмерном пространстве подбирают таким образом, чтобы антропометрические точки на трехмерной модели имели проекции на различные 2D изображения первого вида, максимально близкие к координатам двумерных антропометрических точек, определенных на этих 2D изображениях. Координаты двумерных антропометрических точек определяют с помощью двумерного алгоритма поиска, например, описанного в работе: Wibowo, Moh Edi & Tjondronegoro, Dian W., «Gradual training of cascaded shape regression for facial landmark localization and pose estimation», In International Conference on Multimedia and Expo 2013, 15-19 July 2013, San Jose, CA.

На Фиг. 16 представлен общий вид устройства (200) для автоматического построения 3D модели лица человека. Устройством (200) может являться различный вид программно-аппаратных комплексов, пригодных для осуществления задач автоматического построения 3D модели лица человека, содержащих средство обработки в виде одного или более процессоров (210) и память (220) для хранения машиночитаемых инструкций для автоматического построения 3D-модели лица человека, выполняемых, по меньшей мере, одним процессором (210), и при выполнении которых выполняются вышеуказанные шаги способа автоматического построения 3D модели лица человека, раскрытого в настоящих материалах заявки.

В качестве устройства (200) может использоваться, например, один или более стационарных и/или мобильных компьютеров, объединенных посредством сети передачи данных проводного и/или беспроводного типа, карманный компьютер (КПК), планшет, смартфон, фаблет, мейнфрейм и т.п. Память (220) в зависимости от типа устройства (200) может представлять собой, но не ограничиваться: оперативное запоминающее устройство (ОЗУ; RAM), постоянное запоминающее устройство (ПЗУ; ROM), кэш-память, флэш-память, жесткий диск, твердотельный накопитель или любой другой подходящий компонент памяти.

Заявленное изобретение так же воплощено на машиночитаемом носителе данных, который содержит машиночитаемые инструкции для автоматического построения 3D модели лица человека, которые при их обработке одним или более процессором выполняют вышеуказанные шаги способа автоматического построения 3D модели лица человека. Носитель данных может быть пригодным для применения в вышеупомянутом устройстве автоматического построения 3D модели лица человека, и может представлять собой, но не ограничиваться: USB-флэш карту, SD-, Micro SD -, Mini SD-, XD-, MMC-карту памяти, CD-, DVD-, BlueRay-диск, HDD-, SSD - жесткий диск или любой другой пригодный носитель данных.

Изложенные в настоящих материалах заявки сведения об осуществлении заявленного изобретения не должны трактоваться как сведения, ограничивающие иные, частные варианты осуществления заявленного изобретения, не выходящие за пределы раскрытия информации заявки, и которые должны являться очевидными для специалиста в данной области техники, имеющего обычную квалификацию, на которых рассчитано заявленное техническое решение.

Предложенный способ рекомендован к использованию в аэропортах, вокзалах, метрополитене для использования в системах идентификации личностей, статистического анализа, контроля попыток безбилетного прохождения турникетов, в правоохранительных органах для поиска правонарушителей в потоке людей, для идентификации пользователей компьютера, а также для идентификации личностей на предприятиях с пропускным режимом.

1. Способ автоматического построения 3D модели лица человека, содержащий этапы, на которых:
- получают от источника данных информацию, содержащую по меньшей мере два 2D изображения первого вида, содержащие отображение лица человека;
- определяют область лица человека на каждом из упомянутых 2D изображений первого вида;
отличающийся тем, что
- строят по меньшей мере одну промежуточную 3D модель области лица на основании по меньшей мере одного упомянутого 2D изображения первого вида;
- определяют ракурс лица человека на по меньшей мере одной промежуточной 3D модели;
- изменяют ракурс области лица на упомянутой промежуточной 3D модели;
- преобразовывают полученную по меньшей мере одну 3D модель области лица в по меньшей мере одно 2D изображение второго вида;
- определяют область лица человека на по меньшей мере одном 2D изображении второго вида;
- определяют координаты сопряженных точек областей лица на по меньшей мере двух 2D изображениях, из которых по меньшей мере одно является 2D изображением второго вида;
- осуществляют преобразование упомянутых координат сопряженных точек областей лица в двумерные координаты сопряженных точек областей лица на по меньшей мере одном 2D изображении первого вида;
- из полученных координат сопряженных точек вычисляют положение и матрицы калибровки источника на по меньшей мере одном 2D изображении первого вида области лица в трехмерной системе координат
и реконструируют двумерные координаты сопряженных точек областей лица на по меньшей мере одном 2D изображении первого вида в трехмерную модель лица с помощью упомянутых матриц.

2. Способ по п. 1, отличающийся тем, что источником данных является видеокамера, или фотокамера, или стереокамера, или последовательность кадров.

3. Способ по п. 2, отличающийся тем, что последовательность кадров представляет собой видеофайл.

4. Способ по п. 1, отличающийся тем, что выполняют поворот промежуточной 3D модели для изменения ракурса.

5. Способ по п. 4, отличающийся тем, что осуществляют определение координат антропометрических точек лица человека на по меньшей мере одном 2D изображении первого вида, которые используют для изменения ракурса 3D модели.

6. Способ по п. 5, отличающийся тем, что промежуточная трехмерная модель является деформируемой трехмерной моделью лица, форму и ориентацию которой в трехмерном пространстве подбирают таким образом, чтобы антропометрические точки на трехмерной модели имели проекции на различные 2D изображения первого вида, максимально близкие к координатам двумерных антропометрических точек, определенных на этих 2D изображениях.

7. Способ по п. 6, отличающийся тем, что координаты двумерных антропометрических точек определяют с помощью двумерного алгоритма поиска.

8. Устройство для автоматического построения 3D модели лица человека, содержащее:
- один или более процессоров;
- память для хранения машиночитаемых инструкций;
причем упомянутые инструкции при их выполнении по меньшей мере одним процессором реализуют способ по любому из пп. 1-7.

9. Машиночитаемый носитель данных, содержащий машиночитаемые инструкции для автоматического построения 3D модели лица человека, которые при их обработке одним или более процессором выполняют способ по любому из пп. 1-7.