Устройство трехмерного сканирования сцены с неламбертовыми эффектами освещения

Изобретение относится к области вычислительной техники и может быть использовано в цифровых системах получения трехмерных моделей физических объектов. Техническим результатом является повышение качества сканирования сцены с неламбертовыми эффектами освещения. Предложено устройство трехмерной реконструкции сцен с неламбертовыми эффектами освещения. Устройство содержит блок получения изображения, блок управления, блок вычисления маски глобального освещения, блок извлечения шаблона, блок генерации адаптивных шаблонов, блок поиска пересечений, блок проецирования, блок получения информации, блок ассоциации шаблонов, блок вычисления трехмерной формы, блок тактовой частоты. 1 ил.

 

Изобретение относится к области вычислительной техники и может быть использовано в цифровых системах получения трехмерных моделей физических объектов, включая: инспекцию промышленных изделий, системы быстрого прототипирования, системы построение трехмерных моделей для виртуальной реальности и медицины.

Задача трехмерной реконструкции состоит в построении математического представления геометрической информации о сцене. В большинстве существующих подходов к трехмерной реконструкции явно или неявно предполагается ламбертов закон отражающей способности каждого объекта сцены.

На практике закон отражающей способности объектов сцены отличается от закона ламберта. Особый интерес представляют объекты с сильно неламбертовым законом рассеяния: полупрозрачные, прозрачные, зеркальные, с подповерхностными эффектами рассеяния. Отклонение от закона ламберта может быть вызвано наличием глобальных эффектов освещения внутри сцены. Яркость каждой точки сцены, воспринятой сенсором, складывается из двух составляющих освещения: прямой и глобальной. Под прямой составляющей освещения понимают свет, отразившийся от сцены лишь один раз. Глобальную составляющую освещения формирует свет, претерпевающий множественные переотражения внутри сцены.

Основная решаемая задача - построение трехмерной модели сцены с неламбертовыми эффектами освещения.

Решение задачи сканирования сцены с неламбертовыми эффектами освещения может быть обеспечено разделением прямой и глобальной составляющих освещения сцены и использованием шаблонов структурированного света, учитывающих особенности сканируемой сцены.

Упрощенно способы трехмерной реконструкции сцен с неламбертовыми эффектами освещения можно разделить на следующие группы:

1) способы на основе покрытия объектов с неламбертовой отражающей способностью веществом с диффузным законом отражения;

2) способы на основе использования шаблонов высокой частоты;

3) способы на основе постобработки полученных данных сканирования.

Анализ существующих способов трехмерной реконструкции показывает, что область их использования ограничена, в условиях малого объема информации о сцене. Способы на основе покрытия объектов с неламбертовой отражающей способностью веществом с диффузным законом отражения часто неприменимы ввиду значительного влияния на сканируемый объект. Живые объекты или произведения искусства не могут быть покрыты диффузным веществом без нарушения их целостности. Способы на основе использования шаблонов высокой частоты не позволяют бороться с локальными и глобальными эффектами освещения одновременно. Таким образом, может быть устранено влияние либо локальных эффектов освещения (таких как подповерхностное рассеяние), либо глобальных (вызванных многократным переотражением света внутри сцены). Способы на основе постобработки полученных данных накладывают ограничения на свойства сканируемой сцены и принципиально не позволяют восстановить утраченную в результате влияния неламбертовых эффектов освещения информацию.

Известен способ использования структурированного света для трехмерной реконструкции объектов, подверженных эффектам глобального освещения (Structured light for 3d shape reconstruction subject to global illumination) [Patent USA № US 8811767 B2 Aug. 19, 2014]. Изобретение относится к области построения трехмерных моделей физических объектов, и в частности к способу и системе сканирования сцен, подверженных глобальным эффектам освещения. Техническим результатом является создание усовершенствованного способа сканирования сцены с использованием структурированного света. Указанный технический результат достигается за счет того, что информация о глубине сцены получается путем проецирования множества шаблонов структурированного света на сцену. Каждый из шаблонов обладает собственной пространственной частотой, что достигается использованием различных функций кодирования; получают набор изображений сцены, содержащий одно изображение для каждой пространственной частоты; значение глубины для каждого пикселя вычисляется путем декодирования полученных наборов изображений; полученные значения глубины каждого пикселя анализируются и сохраняются, если значения глубины для различных шаблонов структурированного света совпадают; в противном случае, значение глубины будет помечено как ошибочное; анализируются ошибки, связанные с различными эффектами глобального освещения; на основе анализа определяются свойства, которыми должен обладать шаблон структурированного света, чтобы быть устойчивым к ошибкам данного рода. Эти свойства влияют на пространственную частоту шаблона, проецируемого на сцену; каждые строка и столбец пикселей проектора кодируется уникальным пространственным или временным кодом, с целью формирования шаблона структурированного света; для каждого пикселя датчика камеры соответствующие строка и столбец проектора определяются посредством декодирования измеренных значений интенсивности; дальномерная информация получается путем триангуляции лучей камеры и проектора.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: позволяет построить трехмерную модель сканируемой сцены.

Недостатками известного способа являются: использование нескольких шаблонов освещения увеличивает общее время сканирования; для правильного декодирования необходимо, чтобы каждый пиксель камеры регистрировал свет лишь от одного пикселя проектора, чего сложно достичь на практике.

Известен способ распознавания трехмерной формы объектов [Патент №2491503, МПК G01B 11/24б МПК G02B 27/22]. Способ включает освещение поверхности объекта оптическим излучением, прием и регистрацию яркости отраженного оптического излучения элементов его поверхности, преобразование оптического излучения в электрический сигнал с последующим его запоминанием и анализом. В способе используют освещение поверхности объекта коллимированными пучками оптического излучения с двух взаимно перпендикулярных направлений. Форму объекта определяют по выражениям, включающим величины видеосигналов в изображении элементов поверхности объекта с двух взаимно ортогональных направлений и наблюдении с направления, совпадающего с одним из направлений освещения; номера строк и элементов строки, для которых измеряется третья координата в изображении поверхности объекта, шаг сканирования поверхности объекта соответственно вдоль координат OY и OZ.

Технический результат - устойчивость к различиям типам покрытия за счет распознавания объектов как с диффузным, так и с направленно-рассеивающим покрытием, и расширение информативности каналов оптических и оптико-электронных систем распознавания.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: позволяет построить трехмерную модель сканируемой сцены.

Недостатками известного способа являются: невозможность построения высокодетализованной модели трехмерной сцены; вычислительная сложность.

Известен способ измерения формы поверхности трехмерного объекта [Патент №2472108, МПК G01B 9/02, G01B 11/03, G01B 5/012].

Изобретение относится к измерительной технике, а именно к профилометрии, топографии. Способ измерения формы поверхности трехмерного объекта заключается в использовании матрицы зондов, содержащих в верхней части жестко закрепленные светоотражательные элементы, размещенных в обойме с множеством параллельных направляющих, расположенных в узлах двумерной сетки с известными координатами X_i, Y_i точек контакта каждого зонда относительно центра обоймы, позволяющих каждому зонду свободно двигаться вдоль оси Z, перпендикулярной измеряемой поверхности. Предварительно осуществляют калибровку матрицы зондов по высоте путем измерения координат Z_i каждого зонда в положении контакта всех зондов с эталонной плоской гладкой поверхностью, нормаль к которой совпадает с Z направлением. При взаимном перемещении исходного трехмерного объекта и обоймы с матрицей зондов в плоскости XY измеряют координаты X_o, Y_o центра обоймы и координат Z_oi каждого зонда в положении контакта всех зондов с объектом, формы поверхности вычисляют на основании данных о разности указанных выше координат X_o-X_i, Y_o-Y_i, Z_oi-Z_i и повторяют измерения при необходимости. Технический результат заключается в обеспечении возможности измерения формы поверхности динамических объектов, в повышении точности измерений высоты трехмерных объектов и в уменьшении времени сканирования.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: позволяет построить трехмерную модель сканируемой сцены.

Недостатками известного способа являются: использование сложной оптической системы приводит к высокой сложности производства и обслуживания устройства; использование жестко закрепленных светоотражательных элементов приводит к невозможности изменения рабочего объема устройства.

Наиболее близким к изобретению является способ и устройство измерения формы объекта с использованием кодированного структурированного света (Optical acquisition of object shape from coded structured light) [Patent EU № ЕР 2372648 А3]. Метод измерения формы объекта с использованием кодированного структурированного света основан на проецировании структурированного света в виде множества измерительных и одной опорной линий на объекты сцены; измерение формы объекта производится по интервалам между точками пересечений; производится захват изображения объекта с проекцией структурированного света, сгенерированного на основе данных шаблона; производится извлечение точек пересечения на захваченном изображении; производится извлечение информации о форме объекта по промежуткам между точками пересечения опорной и измерительных линий.

Признаки способа и устройства его реализующего - прототипа, совпадающие с признаками заявляемого технического решения, следующие: позволяет построить трехмерную модель сканируемой сцены.

Недостатками известного способа и устройства, его реализующего, являются: невозможность работы со сценами с глобальными эффектами освещения; невозможность работы с неламбертовыми сценами: зеркальными, полупрозрачными, испытывающими эффекты подповерхностного рассеяния.

Структурная схема устройства, реализующего рассмотренный алгоритм, содержит: блок проецирования световых шаблонов, блок генерации световых шаблонов, блок получения изображений сцены, блок извлечения шаблона из изображения сцены, блок ассоциации шаблонов, блок поиска пересекающихся областей, блок извлечения информации, блок вычисления трехмерной формы.

Предлагаемое устройство трехмерного сканирования сцены с неламбертовыми эффектами освещения позволяет получать трехмерные модели сцены в виде облака точек. Устройство реализует следующий алгоритм.

На первом шаге выполняется калибровка системы камера-проектор. Калибровка позволяет учесть искажения вносимые оптикой камеры и проектора. Калибровка камеры сводится к получению внутренних и внешних параметров камеры по имеющимся фотографиям или видео, отснятым ей. Калибровка камеры часто используется на начальном этапе решения многих задач компьютерного зрения и в особенности дополненной реальности. Кроме того, калибровка камеры помогает исправлять дисторсию на фотографиях и видео.

Для представления 2D-координат точки на плоскости используется вектор-столбец вида $${\left[\begin{array}{ccc}u& v& 1\end{array}\right]}^T$$ , а для задания положения 3D-точки в мировых координатах - $${\left[\begin{array}{cccc}{x}_w& y_w& z_w& 1\end{array}\right]}^T$$ . Для проецирования точек трехмерного пространства на плоскость изображения используется матрица, имеющая следующий вид:

Параметры внутренней калибровки

Матрица внутренней калибровки А содержит 5 значимых параметров. Эти параметры соответствуют фокусному расстоянию, углу наклона пикселей и положению принципиальной точки оптической системы. В частности, α_х и α_y соответствуют фокусному расстоянию, измеренному в ширине и высоте пикселя, u₀ и v₀ - координатам принципиальной точки, а y=α_y*tanφ, где φ - угол наклона пикселя.

Параметры внешней калибровки R, T (где R - вектор 3×1 или матрица 3×3 поворота, Т - вектор 3×1 переноса) - параметры внешней калибровки, определяющие преобразование координат, переводящее координаты точек сцены из мировой системы координат в систему координат, связанную с камерой.

На втором шаге производится определение оптических свойств сканируемой сцены путем разделения прямой и глобальной компонент освещения с использованием шаблонов высокой частоты. Разделение прямой и глобальной компонент освещения позволяет получить важную информацию о материалах сцены, а также улучшить эффективность методов реконструкции на основе структурированного света. Яркость I^t(ρ) пикселя ρ∈(x,y) в момент времени t представляет собой комбинацию прямой $$I_d^t$$ и глобальной $$I_g^t$$ компонент. Если бинарный шаблон освещает сцену - прямая компонента освещенности модулируется шаблоном. Если шаблон состоит из равного количества светлых и темных пикселей и имеет высокую пространственную частоту в сравнении с $$I_g^t$$ , вклад глобальной компоненты в яркость пикселя составляет $$\frac{1}{2}{I}_g^t$$ . Таким образом, имеем:

Здесь s^t∈{0,1} - значение шаблона, спроецированного на пиксель камеры х. Положение камеры и проектора в пространстве, а также их внутренние параметры калибровки фиксированы и не зависят от геометрии сцены.

На третьем шаге производится генерация набора шаблонов структурированного света, структура которых зависит от оптических свойств сканируемой сцены. Используется временная кодировка с шаблонами переменной частоты. Двоичная кодировка состоит из последовательности двоичных образов, в которых каждый кадр представляет собой одну из битовых плоскостей двоичного представления целочисленных индексов столбцов проектора.

На четвертом шаге производится сканирование сцены с использованием сгенерированных шаблонов структурированного света.

На пятом шаге производится построение трехмерной модели сцены путем триангуляции лучей камеры и проектора.

Устройство трехмерного сканирования сцены с неламбертовыми эффектами освещения (фиг. 1) содержит блок получения изображения, 1, первый вход которого является информационным входом устройства, выход которого подключен к входу блока вычисления маски глобального освещения 3 и первому входу блока извлечения шаблона 4, выход которого к первому входу блока ассоциации шаблонов 9, второму входу блока получения информации 8 и входу блока поиска пересечений 7, выход подключен к первому входу блока получения информации 8, выход которого подключен к третьему входу блока ассоциации шаблонов 9, выход которого подключен к первому входу блока вычисления трехмерной формы 10, выход которого подключен к первому входу блока хранения 12, выход которого является информационным выходом устройства; первый выход блока управления 2 подключен к второму входу блока получения изображения 1, второй выход блока управления 2 подключен к второму входу блока извлечения шаблона 4 и второму входу блока генерации адаптивных шаблонов 5, третий выход блока управления 2 подключен к второму входу блока вычисления трехмерной формы 10; выход блока вычисления маски глобального освещения 3 подключен к первому входу блока генерации адаптивных шаблонов 5, выход которого подключен к второму входу блока ассоциации шаблонов 9 и входу блока проецирования 6, выход которого подключен к второму входу блока храненения 12; синхронность работы устройства обеспечивается генератором тактовых импульсов 11.

Устройство трехмерной реконструкции сцен с неламбертовыми эффектами освещения работает следующим образом. С помощью блока управления 2 генерируется управляющий сигнал, поступающий на второй вход блока генерации адаптивных шаблонов 5, на выходе которого формируется шаблон для разделения локальной и глобальной составляющих освещения, поступающий на блок проецирования 6. С помощью устройства управления 2 генерируется управляющий сигнал, поступающий на второй вход блока получения изображения 1, на выходе которого формируется изображение сцены с наложенным шаблоном для разделения локальной и глобальной составляющих освещения, который поступает на блок вычисления маски глобального освещения 3, на выходе которого формируется маска глобального освещения, которая поступает на первый вход блока генерации адаптивных шаблонов 5. С помощью блока управления 3 формируется управляющий сигнал, который поступает на вход блока вычисления трехмерной формы 10, второй вход блока извлечения шаблона 4 и второй вход блока генерации адаптивных шаблонов 5. На выходе блока генерации адаптивных шаблонов 5 формируется последовательность шаблонов, полученных на основе маски глобального освещения. Сформированная последовательность шаблонов подается на вход блока проецирования 9. Осуществляется проецирование последовательности шаблонов на сцену. На вход блока получения изображений 1 поступает последовательность изображений сцены с наложенными шаблонами структурированного света. С выхода получения изображений 1 последовательность изображений сцены передается на вход блока извлечения шаблона 4, где происходит извлечение шаблонов, наложенных на сцену. На вход блока поиска пересечений и второй вход блока получения информации 8 подается результат извлечения шаблонов. В блоке поиска пересечений 7 формируется маска пересечений, которая подается на первый вход блока получения информации 8. В блоке получения информации 8 производится извлечение дальномерной информации о сцене, которая подается на третий вход блока ассоциации шаблонов 9. С выхода блока генерации адаптивных шаблонов 5 последовательность сгенерированных шаблонов поступает на второй вход блока ассоциации шаблонов 9. Извлеченные шаблоны с выхода блока извлечения шаблона 4 поступают на первый вход блока ассоциации шаблонов 9, в котором производится постобработка дальномерной информации о сцене. Результат постобработки поступает на первый вход блока вычисления трехмерной формы 10. Данные с выходов блока проецирования 6 и блока вычисления трехмерной формы 10 поступают на входы блока хранения 12, выход которого является информационным выходом устройства. Синхронность работы устройства обеспечивается генератором тактовых импульсов 11.

Технический результат - получение высококачественной модели трехмерной сцены с неламбертовыми эффектами освещения.

Устройство трехмерной реконструкции сцен с неламбертовыми эффектами освещения, содержащее блок получения изображения, блок проецирования, блок извлечения шаблона, блок поиска пересечений, блок получения информации, блок ассоциации шаблонов, блок вычисления трехмерной формы, отличающееся тем, что информационным входом устройства являет первый вход блока получения изображения; выход блока получения изображения подключен ко входу блока вычисления маски глобального освещения и к первому входу блока извлечения шаблона; ко второму входу блока получения изображения подключен первый выход блока управления; ко второму выходу блока управления подключен второй вход блока извлечения шаблона и второй вход блока генерации адаптивных шаблонов; к третьему выходу блока управления подключен второй вход блока вычисления трехмерной формы; к выходу блока вычисления маски глобального освещения подключен первый вход блока генерации адаптивных шаблонов; выход блока извлечения шаблона подключен к первому входу блока ассоциации шаблонов, входу блока поиска пересечений и второму входу блока получения информации; выход блока поиска пересечений подключен к первому входу блока получения информации, выход которого подключен к третьему входу блока ассоциации шаблонов; выход блока генерации адаптивных шаблонов подключен к входу блока проецирования и второму входу блока ассоциации шаблонов; выход блока ассоциации шаблонов подключен к первому входу блока вычисления трехмерной формы; выходы блоков проецирования и блока вычисления трехмерной формы подключены к входам блока хранения, выход которого является информационным выходом устройства; синхронность работы устройства обеспечивается генератором тактовых импульсов.