Способ и устройство для определения освещенности изображения лица, устройство и носитель данных
Изобретение относится к области обработки изображений, в частности, к способу и устройству для определения освещенности изображения лица. Технический результат заключается в уменьшении погрешности при определении освещенности в ключевых характерных точках в разных изображениях лица. Технический результат заявляемого технического решения достигается тем, что в нем предусмотрено получение распознаваемого изображения лица и трехмерной сетки-шаблона лица; получение реконструированной сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании изображения лица; определение яркости характерных точек, соответствующих ключевым характерным точкам, в изображениях лица на основании положений деформации в реконструированной сеточной модели лица; и определение информации об освещенности изображения лица на основании корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью и яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица. 4 н. и 6 з.п. ф-лы, 6 ил.
Родственная заявка
[0001] Данная заявка испрашивает приоритет на основании заявки на патент Китая №201811627209.5, поданной 28 декабря 2018 года, содержание которой полностью включено в настоящий документ посредством ссылки.
Область техники, к которой относится настоящее изобретение
[0002] Варианты осуществления настоящего изобретения относятся к области обработки изображений, в частности, к способу и устройству для определения освещенности изображения лица, устройству и носителю данных.
Предшествующий уровень техники настоящего изобретения
[0003] В условиях быстрого развития компьютерных технологий все большее распространение в нашей повседневной жизни получают AR-продукты (продукты дополненной реальности). Виртуальный контент в AR-продукте должен быть органично встроен в реальное изображения для создания у пользователя ощущения, что виртуальный контент является реальным. Для этого определяется естественная освещенность реального изображения, после чего такая же световая среда добавляется к виртуальному объекту для усиления эффекта реалистичности при совмещении виртуального контента с реальной окружающей средой.
[0004] Поскольку во время получения информации об освещенности в визуализируемом реальном трехмерном пространстве на распространение света влияют такие факторы, как геометрические параметры и отражательная способность объектов в визуализируемом трехмерном пространстве, для получения изображения требуется выполнение сложных операций, и возникают большие погрешности при определении освещенности.
Краткое раскрытие настоящего изобретения
[0005] Вариантами осуществления настоящего изобретения предложен способ и устройство для определения освещенности изображения лица, устройство и носитель данных с целью упрощения операций по определению освещенности изображения лица и повышения точности определения освещенности.
[0006] Согласно одному из аспектов вариантов осуществления настоящего изобретения предложен способ определения освещенности изображения лица. Этот способ предусматривает: получение распознаваемого изображения лица и трехмерной сетки-шаблона лица; получение реконструированной сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании изображения лица; определение яркости характерных точек, соответствующих ключевым характерным точкам, в изображениях лица на основании положений деформации - в реконструированной сеточной модели лица - ключевых характерных точек в трехмерной сетке-шаблоне лица; и определение информации об освещенности изображения лица на основании корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью и яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица; при этом получение корреспондирующего соотношения между заданной яркостью ключевых характерных точек и освещенностью может быть обеспечено путем обучения с использованием статистических изображений лица, в отношении которых была определена информация об освещенности, и яркости характерных точек, соответствующих ключевым характерным точкам в трехмерной сетке-шаблоне лица, в статистических изображениях лица.
[0007] Согласно другому аспекту вариантов осуществления настоящего изобретения предложено устройство для определения освещенности изображения лица. Это устройство включает в себя: модуль получения изображений, выполненный с возможностью получения распознаваемого изображения лица и трехмерной сетки-шаблона лица; модуль реконструкции лица, выполненный с возможностью получения реконструированной сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании изображения лица; модуль определения яркости, выполненный с возможностью определения яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица на основании позиций деформации - в реконструированной сеточной модели лица - ключевых характерных точек в трехмерной сетке-шаблоне лица; и модуль определения информации об освещенности, выполненный с возможностью определения информации об освещенности изображения лица на основании корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью и яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица; при этом получение корреспондирующего соотношения между заданной яркостью ключевых характерных точек и освещенностью может быть обеспечено путем обучения с использованием статистических изображений лица, в отношении которых была определена информация об освещенности, и яркости характерных точек, соответствующих ключевым характерным точкам в трехмерной сетке-шаблоне лица, в статистических изображениях лица.
[0008] Согласно еще одному из аспектов вариантов осуществления настоящего изобретения предложено устройство, которое включает в себя: один или несколько процессоров; и запоминающее устройство, выполненное с возможностью хранения одной или нескольких программ; причем при загрузке и выполнении одной или нескольких программ одним или несколькими процессорами инициируется реализация одним или несколькими процессорами способа согласно любому из вариантов осуществления настоящего изобретения.
[0009] Согласно еще одному из аспектов вариантов осуществления настоящего изобретения предложен машиночитаемый носитель данных, в котором хранится компьютерная программа; при этом программа при ее загрузке и выполнении процессором инициирует реализацию процессором способа согласно любому из вариантов осуществления настоящего изобретения.
Краткое описание фигур
[0010] На фиг. 1А показана блок-схема, иллюстрирующая алгоритм реализации способа определения освещенности изображения лица согласно одному из вариантов осуществления настоящего изобретения;
[0011] На фиг. 1В представлено схематическое изображение трехмерной сетки-шаблона лица, используемой при реализации способа согласно одному из вариантов осуществления настоящего изобретения;
[0012] На фиг. 2 показана блок-схема, иллюстрирующая принцип процесса предварительного определения корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью при реализации способа согласно одному из вариантов осуществления настоящего изобретения;
[0013] На фиг. 3 показана блок-схема, иллюстрирующая принцип процесса определения освещенности изображения лица согласно одному из вариантов осуществления настоящего изобретения;
[0014] На фиг. 4 показана структурная схема устройства для определения освещенности изображения лица согласно одному из вариантов осуществления настоящего изобретения; и
[0015] На фиг. 5 показана структурная схема устройства согласно одному из вариантов осуществления настоящего изобретения.
Подробное раскрытие настоящего изобретения
[0016] Ниже подробно описано настоящее изобретение, раскрытое в привязке к прилагаемым чертежам и вариантам своего осуществления. Варианты осуществления, раскрытые в настоящем документе, служат исключительно цели разъяснения заявленного изобретения, а не его ограничения. На прилагаемых чертежах представлена только часть структуры, относящаяся к настоящему изобретению, а не вся эта структура. Варианты осуществления настоящего изобретения и характеристики, указанные в этих вариантах осуществления, могут быть объединены при условии, что они не противоречат друг другу.
[0017] На распространение света влияют такие факторы, как геометрические параметры и отражательная способность объектов в визуализируемом трехмерном пространстве. Следовательно, информация об освещенности в визуализируемом трехмерном пространстве может быть получена следующими тремя способами:
[0018] 1) Информация об освещенности может быть получена с использованием специального способа получения изображений. Например, характеристики освещенности в визуализируемом трехмерном пространстве измеряются способом, который предусматривает следующее: определение освещенности с помощью полученного изображения зеркального шара (светового датчика) в реальном отображаемом пространстве, получение кругового реального изображения с помощью камеры типа «рыбий глаз» или восстановление трехмерных данных и характеристик освещенности в визуализируемом трехмерном пространстве с помощью камеры с восприятием глубины сцены. Однако при реализации этого способа требуется постоянное выполнение процесса получения изображений, и указанный способ характеризуется сложностью выполняемых операций.
[0019] 2) Освещенность определяется на основании маркеров с заданными геометрическими параметрами и отражательными свойствами, помещенных в визуализируемое трехмерное пространство, например, с использованием шаров с эффектом «пинг-понга» и плоских маркеров, квадратных маркеров или кубических маркеров. При реализации этого способа не требуется постоянное выполнение процесса получения изображений, но предъявляются определенные требования к заданным геометрическим объектам и маркерам, и поэтому он характеризуется сложностью применения в различных реальных сценах.
[0020] 3) Освещенность определяется путем сопряжения изображений лица с эталонным изображением источника света, причем эталонное изображение источника света, соответствующее изображению лица, может быть сгенерировано с помощью трехмерной модели лица с учетом того, что изображения лица характеризуется аналогичными геометрическими положениями. Например, путем ручной маркировки положений глаз в изображениях лица устанавливается определенная система координат, и точки выборки в таком же положении в системе координат глаз из разных изображений лица используются в качестве геометрических точек соответствия, так что освещенность определяется на основании яркости каждой геометрической точки соответствия в разных изображениях лица. Однако при реализации этого способа необходимо определить эталонное изображение источника света с помощью трехмерной модели лица. Поскольку формы лица в его разных изображениях изменяются соответствующим образом, трехмерная модель лица ограничена формами лица в его разных изображениях, а геометрические точки соответствия, определяемые на основании эталонного изображения источника света, имеют определенные погрешности, что обуславливает большую погрешность при определении освещенности.
[0021] Для устранения проблемы, состоящей в том, что ключевые характерные точки, определяемые на основании эталонного изображения источника света, имеют определенные погрешности в разных изображениях лица из-за того, что трехмерная модель лица ограничена формами лица в его разных изображениях, что обуславливает большую погрешность при определении освещенности, в вариантах осуществления настоящего изобретения предусмотрены следующие операции: реконструкция сеточной модели лица, соответствующей изображению лица, с использованием деформируемой трехмерной сетки-шаблона лица; определение яркости соответствующих характерных точек в изображении лица на основании позиций деформации ключевых характерных точек в реконструированной сеточной модели лица; и получение информации об освещенности изображения лица на основании яркости и корреспондирующего соотношения между заданной яркостью и освещенностью. Варианты осуществления настоящего изобретения решают проблему большой погрешности при определении освещенности с помощью трехмерной модели лица, характерную для предшествующего уровня техники, а также повышают эффективность и точность определения освещенности.
[0022] В одном из вариантов осуществления настоящего изобретения способ согласно настоящему изобретению может быть применим к реальному AR-продукту для добавления аналогичной освещенности к виртуальному объекту в соответствующем AR-продукте на основании выявленной информации об освещенности в изображении лица, обеспечивая возможность органичного встраивания виртуального объекта в реальное изображения, благодаря чему у пользователя возникает ощущение, что виртуальный объект является реальным. Этот способ улучшает пользовательское восприятие AR-продуктов, таких как AR-продукты для добавления виртуальных объектов, например, шляп и очков, а также способствует улучшению эффекта распознавания и отслеживания лица при его распознавании и повышению эффективности отслеживания лиц в изображениях лиц.
[0023] Первый вариант осуществления
[0024] На фиг. 1А показана блок-схема, иллюстрирующая алгоритм реализации способа определения освещенности изображения лица согласно одному из вариантов осуществления настоящего изобретения. Этот вариант осуществления применим к любому устройству обработки данных, которое определяет информацию об освещенности, используя реконструированную сеточную модель лица. Решение, реализованное в этом варианте осуществления настоящего изобретения, применимо к случаям определения информации об освещенности изображения лица. Способ согласно этому варианту осуществления настоящего изобретения может выполняться устройством для определения освещенности изображения лица согласно вариантам осуществления настоящего изобретения. Это устройство может быть реализовано программными и/или аппаратными средствами и интегрировано в другое устройство для реализации указанного способа. Этим устройством может служить любое устройство обработки данных, обладающее функциональными возможностями по обработке изображений.
[0025] В одном из вариантов осуществления настоящего изобретения, который проиллюстрирован на фиг. 1А, предложенный способ может предусматривать выполнение стадий S110-S140.
[0026] На стадии S110 обеспечивается получение распознаваемого изображения лица и трехмерной сетки-шаблона лица.
[0027] В одном из вариантов осуществления настоящего изобретения изображение лица включает в себя захваченные данные изображения, содержащие снимок лица. Этот вариант осуществления применим к определению освещенности изображения лица, захваченного в AR-продукте, чтобы можно было органично встроить виртуальный объект, содержащийся в AR-продукте, в реальное изображение лица. Следовательно, текущее изображение лица может быть захвачено с помощью устройства захвата изображения, такого как камера, сконфигурированного в AR. В одном из вариантов осуществления настоящего изобретения во время обработки распознаваемого изображения лица необходимо сжать пиксельную информацию, содержащуюся в изображении лица, для повышения эффективности обработки изображения лица. В этом случае изображение лица представляет собой изображение в оттенках серого. Если изначально полученное изображение лица является цветным изображением, то этому цветному изображению придается серая окраска для получения изображения лица, подлежащего распознаванию в этом варианте осуществления.
[0028] Кроме того, трехмерная сетка-шаблон лица представляет собой сеточную модель в форме стандартного лица. В одном из вариантов осуществления настоящего изобретения трехмерная сетка-шаблон лица представляет собой трехмерную модель лица со схематическим распределением элементов, предварительно созданную на основе стандартной формы лица. Во время создания трехмерной сетки-шаблона лица может быть получена трехмерная сетка-шаблон лица, которая характеризуется разной степенью точности или элементами разной формы, что зависит от выбранной разрешающей способности модели, выраженной в пикселях, и разных форм элементов, вследствие чего плотность распределения элементов или формы распределения элементов в созданной трехмерной сетке-шаблоне лица будут разными. Например, трехмерная сетка-шаблон лица, показанная на фиг. 1В, включает в себя четырехугольные элементы. Кроме того, может быть также создана трехмерная сетка-шаблон лица, включающая в себя элементы треугольной формы, при условии соответствия определенным требованиям. В этом варианте осуществления настоящего изобретения перед определением информации об освещенности изображения лица в устройстве обработки данных сохраняется предварительно созданная трехмерная сетка-шаблон лица, причем устройство обработки данных реализует способ определения освещенности изображения лица. Трехмерная модель лица ограничена формами лица в разных изображениях лица, что приводит к возникновению погрешности при определении освещенности. В этом варианте осуществления настоящего изобретения за счет сопряжения трехмерной сетки-шаблона лица с изображениями лица, содержащими разные формы лица, может быть осуществлена соответствующая деформация, основанная на формах лица, во избежание погрешностей извлечения геометрических точек соответствия, обусловленных разными формами лица в разных изображениях лица. Следовательно, для разных распознаваемых изображений лица трехмерная сетка-шаблон лица может быть сопряжена с изображениями лица для получения реконструированных сеточных моделей лица.
[0029] В этом варианте осуществления настоящего изобретения необязательно предусмотрено, что во время определения информации об освещенности изображения лица обеспечивается получение захваченного в данный момент времени изображения лица, в отношении которого (т.е. распознаваемого изображения лица) должна быть определена информация об освещенности, и предварительно сохраненной трехмерной сетки-шаблона лица (т.е. сеточной модели стандартного лица). Путем сопряжения трехмерной сетки-шаблона лица с текущим изображением лица, подлежащим распознаванию, может быть получения реконструированная сеточная модель лица. В этом варианте осуществления настоящего изобретения эта же трехмерная сетка-шаблон лица подвергается обработке для подавления шумов и помех в процессе реконструкции соответствующих сеточных моделей лица на основе разных изображений лица, а также для решения проблемы, заключающейся в том, что сеточные модели, напрямую генерируемые на основании разных изображений лица, характеризуются несогласующейся топологией.
[0030] На стадии S120 обеспечивается получение реконструированной сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании изображения лица.
[0031] В необязательном варианте во время получения текущего изображения лица, подлежащего распознаванию, и предварительно сохраненной трехмерной сетки-шаблона лица во избежание погрешностей извлечения геометрических точек соответствия, обусловленных разными формами лица в разных изображениях лица, трехмерная сетка-шаблон лица может быть деформирована с учетом формы лица в полученном изображении лица таким образом, чтобы пространственное положение лица в деформированной трехмерной сетке-шаблоне лица было примерно таким же, что и пространственное положение лица в изображении лица. Деформированная трехмерная сетка-шаблон лица принимается в качестве сеточной модели лица, реконструированной на основании изображения лица. В этом случае для разных изображений лица может быть соответствующим образом реконструирована уникальная сеточная модель лица путем деформирования элементов в трехмерной сетке-шаблоне лица. Реконструированная сеточная модель лица характеризуется такими же вершинами сетки, что и трехмерная сетка-шаблон лица.
[0032] В одном из вариантов осуществления настоящего изобретения предусмотрено извлечение локальных характерных точек в трехмерной сетке-шаблоне лица, которые извлекаются в иерархическом порядке, и обеспечивается получение целевой сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании согласующихся с пространственным положением позиций иерархически извлекаемых локальных характерных точек в изображении лица. Затем обеспечивается получение глобальных характерных точек в целевой сеточной модели лица и получение реконструированной сеточной модели лица путем деформирования целевой сеточной модели лица на основании согласующихся с пространственным положением позиций глобальных характерных точек в изображении лица.
[0033] Характерные точки представляют собой пиксели в модели, которые могут эффективно указывать на признаки кожи лица. Эффект изменения яркости точек на коже лица проявляется при разном освещении. Следовательно, характерные точки в этом варианте осуществления настоящего изобретения представляют собой пиксели в трехмерной сетке-шаблоне лица, которые могут указывать на соответствующие точки на коже, т.е. множество вершин сетки или центры граней сетки, распределенные по трехмерной сетке-шаблону лица, такие как центры четырехугольных элементов. Локальные характерные точки представляют собой часть характерных точек, содержащихся в трехмерной сетке-шаблоне лица. Согласующиеся с пространственным положением позиции включают в себя согласующиеся позиции целевых частей в изображении лица, причем согласующиеся позиции определяются на основании положений целевых частей лица, на которые указывают множественные характерные точки в трехмерной сетке-шаблоне лица. Например, в изображении лица согласующаяся с пространственным положением позиция ключевых точек, обозначающих щеку в трехмерной сетке-шаблоне лица, представляет собой положение щеки в изображении лица. Все глобальные характерные точки являются вершинам сетки или центрами граней сетки, распределенными по целевой сеточной модели лица. В одном из вариантов осуществления настоящего изобретения извлекаются локальные характерные точки в трехмерной сетке-модели лица, что происходит в иерархическом порядке, и последовательно определяются согласующиеся с пространственным положением позиции множества иерархически извлекаемых локальных характерных точек в изображении лица; обеспечивается получение целевой сеточной модели, сопряженной с изображением лица, путем последовательного регулирования соответствующей трехмерной сетки-шаблона лица, подлежащей деформированию, на основании соответствующих согласующихся с пространственным положением позиций. В целевой сеточной модели лица обеспечивается получение глобальных характерных точек, и в контексте указанного процесса деформирования осуществляется деформирование целевой сеточной модели лица с учетом согласующихся с пространственным положением позиций множества глобальных характерных точек в изображении лица, благодаря чему реконструированная сеточная модель лица получается сглаженной и обеспечивается реконструкция более детальных признаков. Реконструированная сеточная модель лица получается путем коррекции целевой сеточной модели лица таким образом, чтобы она максимально походила на изображение лица. Кроме того, во время деформирования трехмерной сетки-шаблона лица при смещении, обусловленном деформацией трехмерной сетки-шаблона лица, характерные точки, отличные от локальных характерных точек, удовлетворяют определенным ограничениям для обеспечения согласованности смещения множественных вершин сетки во время деформирования трехмерной сетки-шаблона лица.
[0034] На стадии S130 определяется яркость характерных точек, соответствующих ключевым характерным точкам, на основании позиций деформации в реконструированной сеточной модели лица - ключевых характерных точек в трехмерной сетке-шаблоне лица.
[0035] В одном из вариантов осуществления настоящего изобретения ключевые характерные точки представляют собой локальные характерные точки, предварительно выбранные в трехмерной сетке-шаблоне лица, которые могут отражать информацию об элементах изображения лица. Ключевые характерные точки могут отличаться или быть аналогичными локальным характерным точкам, выбранным в трехмерной сетке-шаблоне лица во время указанной деформации, что не носит ограничительного характера в настоящем документе. В необязательном варианте ключевые характерные точки в этом варианте осуществления настоящего изобретения представляют собой характерные точки из числа всех вершин сетки или центров граней сетки, причем ключевые характерные точки в определенной степени обозначают геометрические позиции соответствия и могут четко указывать на положение точек на коже, например, на щеке или подбородке в трехмерной сетке-шаблоне лица, исключая такие характерные точки, как губы и глаза. Яркость характерной точки представляет собой параметр, который может отражать информацию об оттенке в месте расположения характерной точки в изображении лица, т.е. яркость изображения в этом месте. Изображение лица в этом варианте осуществления настоящего изобретения представляет собой изображение в оттенках серого. Следовательно, в изображении лица яркость характерной точки, соответствующей ключевой характерной точке, представляет собой пиксельное значение серого характерной точки.
[0036] В необязательном варианте во время получения реконструированной сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании изображения лица в этой трехмерной сетке-шаблоне лица могут быть определены ключевые характерные точки. Во время деформирования трехмерной сетки-шаблона лица ключевые характерные точки соответствующим образом смещаются по мере деформации трехмерной сетки-шаблона лица и удовлетворяют определенным ограничениям для обеспечения согласованности смещения множественных характерных точек в процессе деформирования трехмерной сетки-шаблона лица. Во время определения информации об освещенности изображения лица предварительно обеспечивается получение данных о яркости соответствующих характерных точек в изображении лица.
Если ключевые характерные точки в трехмерной сетке-шаблоне лица определены, трехмерная сетка-шаблон лица деформирована и получена реконструированная сеточная модель лица, то в реконструированной сеточной модели лица могут быть определены соответствующие положения деформации ключевых характерных точек по факту сообразного смещения ключевых характерных точек при деформировании трехмерной сетки-шаблона лица. Поскольку пространственное положение лица в реконструированной сеточной модели лица практически идентично пространственному положению распознаваемого изображения лица, характерные точки в изображении лица, которые находятся в том же положении, что и ключевые характерные точки, могут быть определены в качестве соответствующих характерных точек, исходя из соответствующих положений деформации ключевых характерных точек в реконструированной сеточной модели лица, и, таким образом, обеспечивается получения данных о яркости соответствующих характерных точек. Далее на основании яркости и корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью определяется информация об освещенности изображения лица.
[0037] На стадии S140 определяется информация об освещенности изображения лица на основании корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью, а также яркости характерных точек, соответствующих ключевых характерных точек, в изображении лица.
[0038] В одном из вариантов осуществления настоящего изобретения корреспондирующее соотношение между заданной яркостью и освещенностью может трактоваться как корреспондирующее соотношение преобразования, которое наблюдается между яркостью характерных точек в изображении лица и информацией об освещенности изображения лица. В этом варианте осуществления настоящего изобретения корреспондирующее соотношение между заданной яркостью множества ключевых характерных точек и их освещенностью может быть получено путем обучения с использованием большого количества статистических изображений лица, в отношении которых была получена информация об освещенности, и яркости характерных точек, соответствующих ключевым характерным точкам в трехмерной сетке-шаблоне лица, во множестве статистических изображений лица. Информация об освещенности отражает реальное освещение окружающей среды, соответствующее текущему моменту, в который осуществляется захват распознаваемого изображения лица, и может включать в себя направление реального освещения, соответствующее моменту времени, в который захватывается изображение лица.
[0039] В этом варианте осуществления настоящего изобретения необязательно предусмотрено, что во время получения данных о яркости характерных точек, соответствующих ключевым характерным точкам в трехмерной сетке-шаблоне лица, в изображении лица может быть получено корреспондирующее соотношение между заданной яркостью множества ключевых характерных точек и их освещенностью, и на основании корреспондирующего соотношения между заданной яркостью и освещенностью будет преобразована яркость характерных точек, соответствующих ключевым характерным точкам в трехмерной сетке-шаблоне лица, в изображении лица, после чего обеспечивается получение информации об освещенности изображения лица в реальной ситуации в момент ее получения. Такая же освещенность может быть добавлена для виртуального объекта в соответствующем АТ-продукте на основании информации об освещенности, т.е. для отображения виртуального объекта с такой же освещенностью с тем, чтобы этот виртуальный объект был органично встроен в реальное изображения для создания тем самым ощущения у пользователя, что виртуальный контент является реальным, и улучшения пользовательского восприятия AR-продукта.
[0040] В техническом решении согласно этому варианту осуществления настоящего изобретения обеспечивается получение реконструированной сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании распознаваемого изображения лица; на основании положений деформации ключевых характерных точек в реконструированной сеточной модели лица определяется яркость характерных точек, соответствующих ключевым характерным точкам, в изображении лица; и на основании яркости и корреспондирующего соотношения между заданной яркостью и освещенностью определяется информация об освещенности изображения лица. При этом отсутствует необходимость в постоянном процессе получения изображений, а координаты в модели лица и изображении лица характеризуются высокой степенью сопряжения. Техническое решение согласно этому варианту осуществления настоящего изобретения решает проблему, присущую предшествующему уровню техники, которая заключается в том, что определение освещенности с использованием трехмерной модели лица дает большую погрешность из-за ограниченности форм лица в разных изображениях лица; упрощает операции по определению освещенности изображений лица; и повышает эффективность и точность определения освещенности.
[0041] Второй вариант осуществления
[0042] На фиг. 2 показана блок-схема, иллюстрирующая принцип процесса предварительного определения корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью при реализации способа согласно одному из вариантов осуществления настоящего изобретения. Этот вариант осуществления представляет собой необязательный вариант осуществления настоящего изобретения, основанный на вариантах осуществления, описанных выше. В этом варианте осуществления описан процесс обучения корреспондирующего соотношения между заданной яркостью ключевых характерных точек в трехмерной сетке-шаблоне лица и освещенностью с использованием большого количества статистических изображений лица и трехмерной сетки-шаблона лица.
[0043] Этот вариант осуществления настоящего изобретения может необязательно предусматривать выполнение стадий S210-S240.
[0044] На стадии S210 обеспечивается получение статистических изображений лица и трехмерной сетки-шаблона лица, а также определяется статистическая информация об освещенности статистических изображений лица.
[0045] Статистические изображения лица представляют собой изображения, содержащие снимки лица, в отношении которых была определена информация об освещенности. В этом варианте осуществления настоящего изобретения перед определением корреспондирующего соотношения между заданной яркостью ключевых характерных точек в трехмерной сетке-шаблоне лица и их освещенностью обеспечивается получение большого количества статистических изображений лица с установленной информацией об освещенности для построения соответствующей обучающей выборки.
[0046] В одном из вариантов осуществления настоящего изобретения во время выполнения процесса обучения корреспондирующего соотношения между заданной яркостью множества ключевых характерных точек и их освещенностью может быть получено большое число статистических изображений лица в обучающей выборке и предварительно сохраненная трехмерная сетка-шаблон лица, и может быть определена статистическая информация об освещенности множества статистических изображений лица. Статистическая информация об освещенности включает в себя направления освещения статистических изображений лица.
[0047] На стадии S220 обеспечивается получение реконструированных статистических сеточных моделей лица путем деформирования трехмерной сетки-шаблона лица на основании статистических изображений лица.
[0048] В необязательном варианте вследствие погрешностей извлечения геометрических точек соответствия, обусловленных разными формами лица в разных статистических изображениях лица, в разных статистических изображениях лица части лица, обозначенные характерными точками, соответствующими ключевым характерным точкам, в трехмерной сетке-шаблоне лица также будут иметь погрешности, что приводит к большой погрешности в результате определения освещенности. Кроме того, в статистических изображениях лица необходимо определить яркость характерных точек, соответствующих ключевым характерным точкам в трехмерной сетке-шаблоне лица. Следовательно, основываясь на процессе реконструкции сеточной модели лица, который описан в рамках раскрытия первого варианта осуществления настоящего изобретения, в этом варианте осуществления обеспечивается получение множества реконструированных статистических сеточных моделей лица, соответствующих множеству статистических изображений лица, путем деформирования такой же предварительно сохраненной трехмерной сетки-шаблона лица на основании множества статистических изображений лица, полученных из обучающей выборки, так что множество статистических сеточных моделей лица будет характеризоваться согласующейся топологией шаблона. Этим также обеспечивается согласованность частей лица, обозначенных характерными точками, которые соответствуют ключевым характерным точкам, в разных статистических изображениях лица.
[0049] На стадии S230 определяется яркость характерных точек, которые соответствуют ключевым характерным точкам в статистических изображениях лица, на основании положений деформации в реконструированных статистических сеточных моделях лица - ключевых характерных точек в трехмерной сетке-шаблоне лица.
[0050] В необязательном варианте во время получения разных реконструированных статистических сеточных моделей лица, соответствующих статистическим изображениям лица, по мере соответствующего смещения ключевых характерных точек в трехмерной сетке-шаблоне лица при деформировании трехмерной сетки-шаблона лица могут быть определены положения деформации - в разных реконструированных статистических сеточных моделях лица ключевых характерных точек в трехмерной сетке-шаблоне лица, причем разные реконструированные статистические сеточные модели лица соответствующим образом реконструируются на основании статистических изображений лица. Таким образом, основываясь на соответствующих положениях деформации ключевых характерных точек во множестве реконструированных статистических сеточных моделей лица, во множестве статистических изображений лица определяются характерные точки в тех же положениях, что и ключевые характерные точки, которые принимаются в качестве соответствующих характерных точек, благодаря чему может быть получена яркость соответствующих ключевых точек во множестве статистических изображений лица. Корреспондирующее соотношение между заданной яркостью ключевых характерных точек и их освещенностью определяется на основании яркости и информации об освещенности множества заранее полученных статистических изображений лица.
[0051] На стадии S240 определяется корреспондирующее соотношение между заданной яркостью ключевых характерных точек и их освещенностью на основании статистической информации об освещенности статистического изображения лица и яркости характерных точек, соответствующих ключевым характерным точкам в статистических изображениях лица.
[0052] В необязательном варианте по факту получения данных о яркости характерных точек, соответствующих ключевым характерным точкам, в статистических изображениях лица и определения информации об освещенности множества статистических изображений лица может быть установлено корреспондирующее соотношение между заданной яркостью каждой из ключевых характерных точек и ее освещенностью на основании яркости характерных точек во множестве статистических изображений лица и информации об освещенности соответствующих статистических изображений лица. Таким образом, определяется корреспондирующее соотношение между заданной яркостью множества ключевых характерных точек в трехмерной сетке-шаблоне лица и их освещенностью.
[0053] В необязательном варианте во время определения корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью согласно этому варианту осуществления настоящего изобретения стадия определения корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью на основании статистической информации об освещенности статистических изображений лица и яркости характерных точек, соответствующих ключевым характерным точкам, в статистических изображениях лица может включать в себя стадии, описанные ниже по тексту.
[0054] На стадии S241 для каждого статистического изображения лица определяется корреспондирующее соотношение между исходной яркостью ключевых характерных точек и их освещенностью на основании статистической информации об освещенности статистического изображения лица и яркости характерных точек, соответствующих ключевым характерным точкам, в статистическом изображении лица.
[0055] В одном из вариантов осуществления настоящего изобретения обучающая выборка включает в себя большое число статистических изображений лица, и во время определения корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью для каждого статистического изображения лица выполняется одна и та же операции по обработке данных. В этом варианте осуществления настоящего изобретения для каждого статистического изображения лица во время получения данных о яркости характерных точек, соответствующих множеству ключевых характерных точек в трехмерной сетке-шаблоне лица, в статистическом изображении лица корреспондирующее соотношение между исходной яркостью множества ключевых характерных точек и их освещенностью, соответствующее статистическому изображению лица, может определяться на основании информации об освещенности статистического изображения лица и яркости характерных точек в статистическом изображении лица, причем характерные точки соответствуют ключевым характерным точкам.
[0056] Например, информация об освещенности в этом варианте осуществления настоящего изобретения может трактоваться как сферическое гармоническое освещение, причем сферическое гармоническое освещение представляет собой вектор, содержащий значения признаков освещения в соответствующих размерных единицах и способный отображать соответствующую информацию об освещенности. В этом случае для ключевой характерной точки xj в трехмерной сетке-шаблоне лица величина j обозначает порядковый номер ключевой характерной точки; а в статистическом изображении i лица яркость характерной точки, соответствующей ключевой характерной точке xj, обозначена величиной Ij, i. В этом случае корреспондирующее соотношение между исходной яркостью и освещенностью, соответствующее статистическому изображению лица, трактуется сферическим гармоническим освещением как 
где величина 
обозначает сферическое гармоническое освещение каждой соответствующей ключевой характерной точки в статистическом изображении лица. В этом случае 
где величина (θ, ϕ) обозначает сферические координаты направления освещения в информации об освещенности статистического изображения лица.
[0057] Кроме того, 
рекурсивно вычисляется следующим образом:
[0058] 1) 
причем 
, а величина х!!
является произведением всех нечетных числе менее х;
[0059] 2) 
[0060] 3) 
[0061], причем величина L обозначает степень сферического гармонического освещения, которой может служить любое целое число, что не носит ограничительного характера в этом варианте осуществления настоящего изобретения.
[0062] В этом случае по факту получения сферических координат (θ, ϕ) направления освещения в составе информации об освещенности каждого статистического изображения лица могут быть получены данные о сферическом гармоническом освещении множества ключевых характерных точек в статистическом изображении лица в соответствии с описанным выше процессом. Корреспондирующее соотношение между исходной яркостью ключевых характерных точек и освещенностью, соответствующее каждому статистическому изображению лица, может быть получено по следующей формуле:
где величина 
обозначает корреспондирующее соотношение между заданной яркостью ключевой характерной точки и ее освещенностью.
[0063] На стадии S242 обеспечивается получение корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью путем обработки корреспондирующих соотношений между исходной яркостью и освещенностью, которые соответствуют множеству статистических изображений лица, ключевых характерных точек с использованием метода наименьших квадратов.
[0064] В необязательном варианте во время получения корреспондирующих соотношений между исходной яркостью каждой ключевой характерной точки и ее освещенностью, где корреспондирующие соотношения между исходной яркостью и освещенностью согласуются соответствующим образом со множеством статистических изображений лица, т.е. 
в указанной выше формуле, корреспондирующие соотношения между исходной яркостью ключевых характерных точек и их освещенностью, соответствующие множеству статистических изображений лица, могут быть обработаны с использованием метода наименьших квадратов. Иначе говоря, обрабатывается полученная величина 
соответствующая каждой ключевой характерной точке во множестве статистических изображений лица. Оптимальное корреспондирующее соотношение между яркостью множества ключевых характерных точек и их освещенностью определяется путем минимизации суммы квадратов ошибок, причем множество ключевых характерных точек согласуется соответствующим образом с множеством статистических изображений лица. Обеспечивается получение корреспондирующего соотношения между заданной яркостью каждой ключевой характерной точки и ее освещенностью. Таким образом, обеспечивается минимизация суммы квадратов ошибок между корреспондирующими соотношениями между исходной яркостью и освещенностью, которые получены на основании разных статистических изображений лица, и корреспондирующим соотношением между заданной яркостью и освещенностью.
[0065] В техническом решении согласно этому варианту осуществления настоящего изобретения предусмотрено получение реконструированных статистических сеточных моделей лица, соответствующих статистическим изображениям лица, путем деформирования трехмерной сетки-шаблона лица на основании большого числа статистических изображений лица. Таким образом, на основании статистической информации об освещенности множества статистических изображений лица и яркости характерных точек, соответствующих множеству ключевых характерных точек, во множестве статистических изображений лица может быть получено корреспондирующее соотношение между заданной яркостью каждой ключевой характерной точки и ее освещенностью. Большое число статистических изображений лица собирается заранее методом на основе данных, в результате чего повышается точность корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью.
[0066] Третий вариант осуществления
[0067] На фиг. 3 показана блок-схема, иллюстрирующая принцип процесса определения освещенности изображения лица согласно одному из вариантов осуществления настоящего изобретения. Этот вариант осуществления является необязательным вариантом осуществления настоящего изобретения, основанным на вариантах осуществления, описанных выше. В этом варианте осуществления настоящего изобретения описан процесс определения освещенности изображения лица.
[0068] В необязательном варианте этот вариант осуществления настоящего изобретения может предусматривать выполнение стадий S310-S370.
[0069] На стадии S310 обеспечивается получение распознаваемого изображения лица и трехмерной сетки-шаблона лица.
[0070] На стадии S320 обеспечивается получение реконструированной сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании изображения лица.
[0071] На стадии S330 обеспечивается получение отметок признаков в трехмерной сетке-шаблоне лица в качестве ключевых характерных точек.
[0072] В одном из вариантов осуществления предусмотрено, что поскольку в трехмерной сетке-шаблоне лица располагаются предварительно заданные ключевые характерные точки, эти предварительно заданные ключевые характерные точки в данном варианте осуществления определяются в трехмерной сетке-шаблоне лица во время получения реконструированной сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании изображения лица. Может быть обеспечено получение соответствующих отметок признаков в трехмерной сетке-шаблоне лица в качестве предварительно заданных ключевых характерных точек, поскольку в этом варианте осуществления соответствующие характерные точки в трехмерной сетке-шаблоне лица отмечаются вручную.
[0073] На стадии S340 обеспечивается получение положений отображения ключевых характерных точек в изображении лица на основании положений деформации -в реконструированной сеточной модели лица ключевых характерных точек в трехмерной сетке-шаблоне лица.
[0074] В необязательном варианте при условии определения ключевых характерных точек в трехмерной сетке-шаблоне лица эти ключевые характерные точки смещаются соответствующим образом вследствие деформации трехмерной сетки-шаблона лица во время деформирования трехмерной сетки-шаблона лица и удовлетворяют определенным ограничениям для обеспечения согласованности смещения множества характерных точек во время деформирования трехмерной сетки-шаблона лица. В этом случае могут быть определены положения деформации ключевых характерных точек в реконструированной сеточной модели лица после смещения вследствие деформирования трехмерной сетки-шаблона лица. Поскольку пространственное положение лица в реконструированной сеточной модели лица по существу аналогично пространственному положению лица в распознаваемом изображении лица, положения отображения ключевых характерных точек в изображении лица могут быть определены на основании положений деформации.
[0075] На стадии S350 обеспечивается получение данных о яркости соответствующих характерных точек в положениях отображения в изображении лица в качестве яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица.
[0076] В одном из вариантов осуществления настоящего изобретения по факту определения того, что ключевые характерные точки смещаются при деформировании трехмерной сетки-шаблона лица, после смещения определяются положения отображения ключевых характерных точек в изображении лица. Соответствующие характерные точки в положениях отображения в изображении лица могут быть получены напрямую в качестве характерных точек, соответствующих ключевым характерным точкам, в изображении лица. В этом случае яркость соответствующих характерных точек в положениях отображения в изображении лица может быть получена напрямую в качестве яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица.
[0077] На стадии S360 обеспечивается определение коэффициента сферического гармонического освещения на основании корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью и яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица.
[0078] В необязательном варианте информация об освещенности изображения лица в этом варианте осуществления настоящего изобретения может трактоваться как сферическое гармоническое освещение. В этом случае во время получения данных о яркости характерных точек, соответствующих множеству ключевых характерных точек, в изображении лица может быть получено корреспондирующее соотношение между заданной яркостью множества ключевых характерных точек и их освещенностью, так что коэффициент сферического гармонического освещения изображения лица определяется по следующей формуле:
[0079], где величина 
обозначает корреспондирующее соотношение между заданной яркостью ключевой характерной точки и ее освещенностью; величина Ij обозначает яркость характерной точки, соответствующей ключевой характерной точке, в изображении лица; а величина 
обозначает коэффициент сферического гармонического освещения изображения лица.
[0080] На стадии S370 обеспечивается получение информации об освещенности изображения лица на основании коэффициента сферического гармонического освещения.
[0081] В необязательном варианте во время получения коэффициента сферического гармонического освещения изображения лица на основании этого коэффициента сферического гармонического освещения может быть определена информация об освещенности изображения лица. Например, 
выбирается из 
в качестве направления освещения изображения лица.
[0082] В техническом решении согласно этому варианту осуществления настоящего изобретения обеспечивается получение реконструированной сеточной модели лица путем деформирования трехмерной сеточной модели лица на основании распознаваемого изображения лица; определяется яркость характерных точек, соответствующих ключевым характерным точкам, в изображении лица на основании положений деформации ключевых характерных точек в реконструированной сеточной модели лица; и на основании яркости и корреспондирующего соотношения между заданной яркостью и освещенностью определяется информация об освещенности изображения лица. При этом отсутствует необходимость в постоянном процессе получения изображений, а координаты в модели лица и изображении лица характеризуются высокой степенью сопряжения. Техническое решение согласно этому варианту осуществления настоящего изобретения решает проблему, присущую предшествующему уровню техники, которая заключается в том, что определение освещенности с использованием трехмерной модели лица дает большую погрешность из-за ограниченности форм лица в разных изображениях лица; упрощает операции по определению освещенности изображений лица; и повышает эффективность и точность определения освещенности.
[0083] Четвертый вариант осуществления
[0084] На фиг. 4 показана структурная схема устройства для определения освещенности изображения лица согласно одному из вариантов осуществления настоящего изобретения. Как показано на фиг. 4, это устройство может включать в себя: модуль 410 получения изображений, модуль 420 реконструкции лица, модуль 430 определения яркости и модуль 440 определения информации об освещенности.
[0085] Модуль 410 получения изображений выполнен с возможностью получения распознаваемого изображения лица и трехмерной сетки-шаблона лица.
[0086] Модуль 420 реконструкции лица выполнен с возможностью получения реконструированной сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании изображения лица.
[0087] Модуль 430 определения яркости выполнен с возможностью определения яркости характерных точек, соответствующих ключевым характерным точкам, в изображениях лица на основании положений деформации - в реконструированной сеточной модели лица ключевых характерных точек в трехмерной сетке-шаблоне лица.
[0088] Модуль 440 определения информации об освещенности выполнен с возможностью определения информации об освещенности изображения лица на основании корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью и яркости характерных точек, соответствующих ключевым характерным точкам, в изображениях лица.
[0089] В техническом решении согласно этому варианту осуществления настоящего изобретения обеспечивается получение реконструированной сеточной модели лица путем деформирования трехмерной сеточной модели лица на основании распознаваемого изображения лица; определяется яркость характерных точек, соответствующих ключевым характерным точкам, в изображении лица на основании положений деформации ключевых характерных точек в реконструированной сеточной модели лица; и на основании яркости и корреспондирующего соотношения между заданной яркостью и освещенностью определяется информация об освещенности изображения лица. При этом отсутствует необходимость в постоянном процессе получения изображений, а координаты в модели лица и изображении лица характеризуются высокой степенью сопряжения. Техническое решение согласно этому варианту осуществления настоящего изобретения решает проблему, присущую предшествующему уровню техники, которая заключается в том, что определение освещенности с использованием трехмерной модели лица дает большую погрешность из-за ограниченности форм лица в разных изображениях лица; упрощает операции по определению освещенности изображений лица; и повышает эффективность и точность определения освещенности.
[0090] Для реализации способа определения освещенности изображения лица согласно любому из описанных выше вариантов осуществления применимо устройство для определения изображения лица согласно этому варианту осуществления, которое характеризуется наличием соответствующих функций и преимуществ.
[0091] Пятый вариант осуществления
[0092] На фиг. 5 показана структурная схема устройства согласно одному из вариантов осуществления настоящего изобретения. Как показано на фиг. 5, это устройство включает в себя процессор 50, запоминающее устройство 51 и устройство 52 связи. В устройстве может быть предусмотрен один или несколько процессоров 50, и на фиг. 5 в качестве примера приведен вариант с одним процессором 50. Процессор 50, запоминающее устройство 51 и устройство 52 связи в составе указанного устройства могут быть соединены между собой посредством шины или иным образом. На фиг. 5 в качестве примера приведено соединение посредством шины.
[0093] Запоминающее устройство 51, представленное в виде машиночитаемого носителя данных, может быть выполнено с возможностью хранения программного продукта, исполняемой компьютером программы и модуля, такого как программная команда/модуль, соответствующий способу согласно вариантам осуществления настоящего изобретения. Процессор 50 приводит в исполнение программный продукт, команду и модуль, хранящиеся в запоминающем устройстве 51, с целью выполнения различных функциональных приложений устройства и обработки данных, т.е. для реализации способа, описанного выше.
[0094] Устройство 52 связи может быть выполнено с возможностью установления сетевого соединения или соединения для обмена мобильными данными между устройствами.
[0095] Устройство согласно этому варианту осуществления настоящего изобретения может быть выполнено с возможностью реализации способа согласно любому из описанных выше вариантов осуществления, и оно обладает соответствующими функциями и преимуществами.
[0096] Шестой вариант осуществления
[0097] Одним из вариантов осуществления настоящего изобретения дополнительно предложен машиночитаемый носитель данных. В машиночитаемом носителе данных хранится компьютерная программа. Эта программа при ее загрузке и выполнении процессором инициирует реализацию этим процессором способа согласно любому из описанных выше вариантов осуществления. Этот способ может предусматривать:
[0098] получение распознаваемого изображения лица и трехмерной сетки-шаблона лица;
[0099] получение реконструированной сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании изображения лица;
[00100] определение яркости характерных точек, соответствующих ключевым характерным точкам, в изображениях лица на основании положений деформации - в реконструированной сеточной модели лица - ключевых характерных точек в трехмерной сетке-шаблоне лица; и
[00101] определение информации об освещенности изображения лица на основании корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью и яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица.
[00102] Этим вариантом осуществления настоящего изобретения предложен носитель данных, содержащий исполняемую компьютером команду. Помимо выполнения указанных операций в рамках предложенного способа исполняемая компьютером команда может также исполняться для реализации способа согласно любому из вариантов осуществления настоящего изобретения.
[00103] Блоки и модули, входящие в состав этого варианта осуществления устройства, разделены исключительно по логическим функциям, но их разделение не ограничено только этим решением при условии, что при этом обеспечивается возможность выполнения указанными блоками и модулями соответствующих функций. Кроме того, конкретные названия функциональных модулей представлены исключительно для удобства проведения различия между ними.
1. Способ определения освещенности изображения лица, предусматривающий:
получение распознаваемого изображения лица и трехмерной сетки-шаблона лица;
получение реконструированной сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании изображения лица;
определение яркости характерных точек, соответствующих ключевым характерным точкам, в изображениях лица на основании положений деформации – в реконструированной сеточной модели лица – ключевых характерных точек в трехмерной сетке-шаблоне лица; и
определение информации об освещенности изображения лица на основании корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью и яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица; при этом получение корреспондирующего соотношения между заданной яркостью ключевых характерных точек и освещенностью обеспечивается путем обучения с использованием статистических изображений лица, в отношении которых была определена информация об освещенности, и яркости характерных точек, соответствующих ключевым характерным точкам в трехмерной сетке-шаблоне лица, в статистических изображениях лица.
2. Способ по п. 1, отличающийся тем, что перед получением распознаваемого изображения лица и трехмерной сетки-шаблона лица этот способ дополнительно предусматривает:
получение статистических изображений лица и трехмерной сетки-шаблона лица и определение статистической информации об освещенности статистических изображений лица;
получение реконструированных статистических сеточных моделей лица путем деформирования трехмерной сетки-шаблона лица на основании статистических изображений лица;
определение яркости характерных точек, соответствующих ключевым характерным точкам в статистических изображениях лица, на основании положений деформации – в реконструированных статистических сеточных моделях лица – ключевых характерных точек в трехмерной сетке-шаблоне лица; и
определение корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью на основании статистической информации об освещенности статистических изображений лица и яркости характерных точек, соответствующих ключевым характерным точкам, в статистических изображениях лица.
3. Способ по п. 2, в котором определение корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью на основании статистической информации об освещенности статистических изображений лица и яркости характерных точек, соответствующих ключевым характерным точкам, в статистических изображениях лица предусматривает:
определение – для каждого статистического изображения лица – корреспондирующее соотношение между исходной яркостью ключевых характерных точек и их освещенностью на основании статистической информации об освещенности статистического изображения лица и яркости характерных точек, соответствующих ключевым характерным точкам, в
статистическом изображении лица; и
получение корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью за счет обработки корреспондирующих соотношений между исходной яркостью ключевых характерных точек и их освещенностью, которые соответствуют каждому из статистических изображений лица, с использованием метода наименьших квадратов.
4. Способ по п. 1, в котором определение яркости характерных точек, соответствующих ключевым характерным точкам в статистических изображениях лица, на основании положений деформации – в реконструированной сеточной модели лица – ключевых характерных точек в трехмерной сетке-шаблоне лица предусматривает:
определение положений отображения ключевых характерных точек в изображении лица на основании положений деформации – в реконструированной сеточной модели лица – ключевых характерных точек в трехмерной сетке-шаблоне лица; и
получение данных о яркости соответствующих характерных точек в положениях отображения в изображении лица в качестве яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица.
5. Способ по п. 4, отличающийся тем, что перед определением положений отображения ключевых характерных точек в изображении лица на основании положений деформации – в реконструированной сеточной модели лица – ключевых характерных точек в трехмерной сетке-шаблоне лица этот способ дополнительно предусматривает:
получение отметок признаков в трехмерной сетке-шаблоне лица в качестве ключевых характерных точек.
6. Способ по любому из пп. 1-5, в котором изображение лица представляет собой изображение в оттенках серого, а яркость характерных точек, соответствующих ключевым характерным точкам, в изображении лица представляет собой пиксельные значения серого характерных точек.
7. Способ по любому из пп. 1-5, в котором определение информации об освещенности изображения лица на основании корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью и яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица предусматривает:
определение коэффициента сферического гармонического освещения изображения лица на основании корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью и яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица; и
определение информации об освещенности изображения лица на основании коэффициента сферического гармонического освещения.
8. Устройство для определения освещенности изображения лица, включающее в себя:
модуль получения изображений, выполненный с возможностью получения распознаваемого изображения лица и трехмерной сетки-шаблона лица;
модуль реконструкции лица, выполненный с возможностью получения реконструированной сеточной модели лица путем деформирования трехмерной сетки-шаблона лица на основании изображения лица;
модуль определения яркости, выполненный с возможностью определения яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица на основании позиций деформации – в реконструированной сеточной модели лица – ключевых характерных точек в трехмерной сетке-шаблоне лица; и
модуль определения информации об освещенности, выполненный с возможностью определения информации об освещенности изображения лица на основании корреспондирующего соотношения между заданной яркостью ключевых характерных точек и их освещенностью и яркости характерных точек, соответствующих ключевым характерным точкам, в изображении лица; при этом получение корреспондирующего соотношения между заданной яркостью ключевых характерных точек и освещенностью обеспечивается путем обучения с использованием статистических изображений лица, в отношении которых была определена информация об освещенности, и яркости характерных точек, соответствующих ключевым характерным точкам в трехмерной сетке-шаблоне лица, в статистических изображениях лица.
9. Устройство для определения освещенности изображения лица, содержащее:
один или несколько процессоров; и
память, выполненную с возможностью хранения одной или нескольких программ;
причем при загрузке и выполнении одной или нескольких программ одним или несколькими процессорами инициируется реализация одним или несколькими процессорами способа по любому из пп. 1-7.
10. Машиночитаемый носитель данных, в котором хранится компьютерная программа; при этом программа при ее загрузке и выполнении процессором инициирует реализацию процессором способа по любому из пп. 1-7.
