Способ совмещения цифровых изображений различных спектральных диапазонов
Владельцы патента RU 2684749:
Акционерное общество "Государственный Рязанский приборный завод" (RU)
Изобретение относится к вычислительной технике для определения и приведения к заданным значениям параметров видеокамер. Техническим результатом является обеспечение возможности совмещения изображений камер видимого и инфракрасного диапазонов, не требующего механической юстировки. Способ совмещения цифровых изображений различных спектральных диапазонов основан на оценке матриц проективного преобразования по изображениям автоматически распознаваемых в различных спектральных диапазонах маркеров, конструктивно размещенных на тестовом объекте в одной плоскости. Причем пространственные координаты маркеров, лежащих в плоскости тестового объекта, являются априорно известными. При оценке матриц проективного преобразования изменяется только угловое и пространственное положение тестового объекта посредством его перемещения. При этом совмещение изображений достигается за счет проективных преобразований изображений с камер по матрицам гомографии, оцениваемым по результатам предварительной калибровки с контрастным в каждом из спектральных диапазонов тестовым шаблоном для каждой пары камер, одна из которых выбрана в качестве опорной.
Изобретение относится к вычислительной технике для определения и приведения к заданным значениям параметров видеокамер и может быть использовано для совмещения изображений от камер видимого и инфракрасного спектральных диапазонов с перекрывающимися полями зрения, работающих в составе системы технического зрения.
Из уровня техники известен способ совмещения изображений от телевизионных и тепловизионных камер и устройство для его реализации, в котором в качестве информативных признаков для совмещения используется контурный препарат (патент US 7620269, опубл. 17.11.2009, МПК: G06K 9/32). Далее по результатам фазовой корреляции контурного препарата опорного изображения, которым, как правило, является телевизионное, и контурных препаратов изображений других спектральных диапазонов находятся их сдвиги в пикселях по горизонтали и вертикали относительно опорного изображения. Недостатком такого способа совмещения является его работоспособность только при равном угловом разрешении камер.
Известен способ совмещения изображений, полученных с помощью различных фотодатчиков, и устройство для его реализации (патент RU 2435221, опубл. 20.06.2009, МПК: G06T 3/00). В нем в оптическую систему дополнительно вводится светоделитель, за счет чего достигается разделение падающего света на два потока: видимого диапазона и инфракрасного диапазона спектра. Первый поток далее поступает на вход телевизионной камеры, второй - на вход тепловизионной камеры. В результате формируются соответственно телевизионное и тепловизионное изображения одной и той же сцены. Недостатками способа являются большие габариты, сложность механической юстировки и низкая светосила оптической системы из-за введения в нее светоделителя.
Известен способ совмещения изображений, полученных от цветной телевизионной камеры и монохромной камеры ближнего инфракрасного диапазона, и устройство для его реализации (патент US 9692911, опубл. 27.06.2017, МПК: H04N 5/33, G06T 7/33). В нем выполняется перевод цветного изображения в декоррелированное цветовое пространство. Затем выполняется поиск особых точек и их дескрипторов в ахроматических каналах телевизионного и инфракрасного изображений. Далее выполняется поиск пар соответствий особых точек, по которым затем оценивается матрица проективного преобразования (матрица гомографии) для совмещения. Недостатком способа является его применимость только к тепловизионным камерам ближнего инфракрасного диапазона, поскольку лишь их изображение сильно коррелированно с изображением в видимом диапазоне.
В качестве прототипа выбран наиболее близкий по совокупности признаков способ совмещения телевизионного и рентгеновского изображений (патент US 6447163, опубл. 10.09.2002, МПК: А61В 6/08). В данном способе для совмещения изображений используются вспомогательные опорные маркеры с априорно известными координатами, автоматически выделяемые на кадрах и видимого, и рентгеновского диапазонов длин волн.
Согласно прототипу способ совмещения содержит следующие этапы:
- устанавливают, по меньшей мере, четыре плоских маркера в плоскости съемки рентгеновского аппарата и, по меньшей мере, два плоских маркера - перед этой плоскостью;
- получают изображения маркеров с телевизионной камеры и рентгеновского аппарата;
- оценивают матрицу проективного преобразования одного из изображений относительно другого по изображениям четырех маркеров, лежащих в плоскости съемки рентгеновского аппарата;
- выполняют проективное преобразование для совмещения рентгеновского и телевизионного изображений и определяют, совпадают ли отметки от двух маркеров, лежащих вне плоскости съемки рентгеновского аппарата;
- если изображения отметок от маркеров не совпадают, механически регулируют угловое положение телевизионной камеры и повторно выполняют три предыдущих этапа до тех пор, пока изображения маркеров вне плоскости не совпадут.
Основным недостатком прототипа является выполнение итеративной механической юстировки телевизионной камеры и его применимость только к совмещению изображений видимого и рентгеновского диапазонов длин волн.
Техническая проблема, решаемая заявляемым изобретением, заключается в отсутствии способов совмещения изображений видимого и нескольких инфракрасных диапазонов с различным угловым разрешением без применения процедуры их механической юстировки.
Технический результат изобретения заключается в создании алгоритма для совмещения изображений камер видимого и инфракрасного диапазонов, не требующего механической юстировки.
Технический результат достигается тем, что способ совмещения цифровых изображений различных спектральных диапазонов основан на оценке матриц проективного преобразования по изображениям автоматически распознаваемых в различных спектральных диапазонах маркеров, конструктивно размещенных на тестовом объекте в одной плоскости. При этом он отличается от прототипа тем, что пространственные координаты маркеров, лежащих в плоскости тестового объекта, являются априорно известными. При оценке матриц проективного преобразования изменяется не взаимное угловое положение каждой из разноспектральных камер, а только угловое и пространственное положение тестового объекта посредством его перемещения. Причем совмещение изображений достигается за счет проективных преобразований изображений с камер по матрицам гомографии, оцениваемым по результатам предварительной калибровки с контрастным в каждом из спектральных диапазонов тестовым шаблоном для каждой пары камер, одна из которых выбрана в качестве опорной.
Отличительной особенностью камер различных спектральных диапазонов является различная физическая природа воспринимаемых ими изображений: телевизионные камеры и камеры ближнего и коротковолнового инфракрасного диапазонов воспринимают отраженный объектом свет, а камеры средневолнового и длинноволнового инфракрасного диапазонов - собственное тепловое излучение объекта. Предлагаемый способ совмещения цифровых изображений различных спектральных диапазонов заключается в том, что для оценки взаимного углового положения систем координат камер относительно системы координат опорной камеры (например, телевизионной), применяется универсальный калибровочный тестовый объект, обеспечивающий высококонтрастное изображение в каждом из спектральных диапазонов. Примером таких тестовых объектов может служить, например, устройство типа «шахматной доски» для калибровки камер по патенту CN 204287725, опубл. 17.11.2014, МПК: G03B 43/00, G01J 5/52.
На изображениях тестового объекта в каждом спектральном диапазоне автоматически выделяются маркеры опорных точек. Их пространственные координаты в системе координат тестового объекта априорно известны. Меняя положение тестового объекта таким образом, чтобы его изображение располагалось как в центральной части кадра камеры каждого спектрального диапазона, так и по его краям, сохраняют серию кадров. Далее в каждом из них выделяют пиксельные координаты маркеров, которые затем используются в алгоритме взаимной калибровки разноспектральных камер. Результатами калибровки являются оценки матриц внутренних параметров Ki, внешних параметров камер (векторы параллельного переноса ti и матрицы поворота Ri) и векторов коэффициентов дисторсии их объективов kdi.
Известно, что матрица проективного преобразования для совмещения кадров от двух камер с известным взаимным расположением (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. - Cambridge: Cambridge University Press, 2003. - 656 p.) описывается формулой:
K0 - матрица внутренних параметров опорной камеры,
Ki - матрица внутренних параметров i-й камеры, изображение которой совмещается с кадром опорной камеры,
d - расстояние до плоскости съемки,
n - вектор нормали к плоскости съемки.
Расстояние до плоскости съемки (d) и вектор нормали к плоскости съемки (n) в общем случае являются неизвестными, однако могут быть оценены по информации от вспомогательных систем: d - по данным от дальномера, n - по данным от навигационной системы и цифровой карты местности.
Если вспомогательные системы отсутствуют, но расстояние до объекта съемки d более чем на два порядка превосходит длину вектора ti, то матрицу проективного преобразования для совмещения можно оценить по приближенной формуле:
Способ совмещения цифровых изображений различных спектральных диапазонов содержит следующие основные этапы:
- выполняют взаимную калибровку разноспектральных камер по универсальному калибровочному тестовому объекту относительно системы координат одной из камер, выбранной в качестве опорной, и оценивают их внутренние и внешние параметры;
- в зависимости от наличия либо отсутствия дополнительной информации об объекте съемки оценивают матрицы проективного преобразования для каждой камеры по формуле (1) либо по формуле (2), соответственно; матрица проективного преобразования опорной камеры в обоих случаях является единичной;
- для изображений со всех камер выполняют компенсацию дисторсии;
- выполняют проективное преобразование изображений от камер с матрицами преобразования Hi для совмещения с изображением опорной камеры.
Рассмотренный способ совмещения изображений применим для многоспектральных оптико-электронных систем, камеры которых имеют объективы с фиксированным фокусным расстоянием и их взаимное расположение в процессе эксплуатации не изменяется.
Таким образом, предлагаемый способ совмещения цифровых изображений различных спектральных диапазонов не требует проведения механической юстировки камер, и применим как к телевизионным камерам видимого диапазона, так и к тепловизионным камерам ближнего, коротковолнового, средневолнового и длинноволнового инфракрасных диапазонов.
Способ совмещения цифровых изображений различных спектральных диапазонов, основанный на оценке матриц проективного преобразования по изображениям автоматически распознаваемых в различных спектральных диапазонах маркеров, конструктивно размещенных на тестовом объекте в одной плоскости, отличающийся тем, что пространственные координаты маркеров, лежащих в плоскости тестового объекта, являются априорно известными, при оценке матриц проективного преобразования изменяется только угловое и пространственное положение тестового объекта посредством его перемещения, а совмещение изображений достигается за счет проективных преобразований изображений с камер по матрицам гомографии, оцениваемым по результатам предварительной калибровки с контрастным в каждом из спектральных диапазонов тестовым шаблоном для каждой пары камер, одна из которых выбрана в качестве опорной.
