Способ совмещения цифровых изображений различных спектральных диапазонов




Владельцы патента RU 2684749:

Акционерное общество "Государственный Рязанский приборный завод" (RU)

Изобретение относится к вычислительной технике для определения и приведения к заданным значениям параметров видеокамер. Техническим результатом является обеспечение возможности совмещения изображений камер видимого и инфракрасного диапазонов, не требующего механической юстировки. Способ совмещения цифровых изображений различных спектральных диапазонов основан на оценке матриц проективного преобразования по изображениям автоматически распознаваемых в различных спектральных диапазонах маркеров, конструктивно размещенных на тестовом объекте в одной плоскости. Причем пространственные координаты маркеров, лежащих в плоскости тестового объекта, являются априорно известными. При оценке матриц проективного преобразования изменяется только угловое и пространственное положение тестового объекта посредством его перемещения. При этом совмещение изображений достигается за счет проективных преобразований изображений с камер по матрицам гомографии, оцениваемым по результатам предварительной калибровки с контрастным в каждом из спектральных диапазонов тестовым шаблоном для каждой пары камер, одна из которых выбрана в качестве опорной.

 

Изобретение относится к вычислительной технике для определения и приведения к заданным значениям параметров видеокамер и может быть использовано для совмещения изображений от камер видимого и инфракрасного спектральных диапазонов с перекрывающимися полями зрения, работающих в составе системы технического зрения.

Из уровня техники известен способ совмещения изображений от телевизионных и тепловизионных камер и устройство для его реализации, в котором в качестве информативных признаков для совмещения используется контурный препарат (патент US 7620269, опубл. 17.11.2009, МПК: G06K 9/32). Далее по результатам фазовой корреляции контурного препарата опорного изображения, которым, как правило, является телевизионное, и контурных препаратов изображений других спектральных диапазонов находятся их сдвиги в пикселях по горизонтали и вертикали относительно опорного изображения. Недостатком такого способа совмещения является его работоспособность только при равном угловом разрешении камер.

Известен способ совмещения изображений, полученных с помощью различных фотодатчиков, и устройство для его реализации (патент RU 2435221, опубл. 20.06.2009, МПК: G06T 3/00). В нем в оптическую систему дополнительно вводится светоделитель, за счет чего достигается разделение падающего света на два потока: видимого диапазона и инфракрасного диапазона спектра. Первый поток далее поступает на вход телевизионной камеры, второй - на вход тепловизионной камеры. В результате формируются соответственно телевизионное и тепловизионное изображения одной и той же сцены. Недостатками способа являются большие габариты, сложность механической юстировки и низкая светосила оптической системы из-за введения в нее светоделителя.

Известен способ совмещения изображений, полученных от цветной телевизионной камеры и монохромной камеры ближнего инфракрасного диапазона, и устройство для его реализации (патент US 9692911, опубл. 27.06.2017, МПК: H04N 5/33, G06T 7/33). В нем выполняется перевод цветного изображения в декоррелированное цветовое пространство. Затем выполняется поиск особых точек и их дескрипторов в ахроматических каналах телевизионного и инфракрасного изображений. Далее выполняется поиск пар соответствий особых точек, по которым затем оценивается матрица проективного преобразования (матрица гомографии) для совмещения. Недостатком способа является его применимость только к тепловизионным камерам ближнего инфракрасного диапазона, поскольку лишь их изображение сильно коррелированно с изображением в видимом диапазоне.

В качестве прототипа выбран наиболее близкий по совокупности признаков способ совмещения телевизионного и рентгеновского изображений (патент US 6447163, опубл. 10.09.2002, МПК: А61В 6/08). В данном способе для совмещения изображений используются вспомогательные опорные маркеры с априорно известными координатами, автоматически выделяемые на кадрах и видимого, и рентгеновского диапазонов длин волн.

Согласно прототипу способ совмещения содержит следующие этапы:

- устанавливают, по меньшей мере, четыре плоских маркера в плоскости съемки рентгеновского аппарата и, по меньшей мере, два плоских маркера - перед этой плоскостью;

- получают изображения маркеров с телевизионной камеры и рентгеновского аппарата;

- оценивают матрицу проективного преобразования одного из изображений относительно другого по изображениям четырех маркеров, лежащих в плоскости съемки рентгеновского аппарата;

- выполняют проективное преобразование для совмещения рентгеновского и телевизионного изображений и определяют, совпадают ли отметки от двух маркеров, лежащих вне плоскости съемки рентгеновского аппарата;

- если изображения отметок от маркеров не совпадают, механически регулируют угловое положение телевизионной камеры и повторно выполняют три предыдущих этапа до тех пор, пока изображения маркеров вне плоскости не совпадут.

Основным недостатком прототипа является выполнение итеративной механической юстировки телевизионной камеры и его применимость только к совмещению изображений видимого и рентгеновского диапазонов длин волн.

Техническая проблема, решаемая заявляемым изобретением, заключается в отсутствии способов совмещения изображений видимого и нескольких инфракрасных диапазонов с различным угловым разрешением без применения процедуры их механической юстировки.

Технический результат изобретения заключается в создании алгоритма для совмещения изображений камер видимого и инфракрасного диапазонов, не требующего механической юстировки.

Технический результат достигается тем, что способ совмещения цифровых изображений различных спектральных диапазонов основан на оценке матриц проективного преобразования по изображениям автоматически распознаваемых в различных спектральных диапазонах маркеров, конструктивно размещенных на тестовом объекте в одной плоскости. При этом он отличается от прототипа тем, что пространственные координаты маркеров, лежащих в плоскости тестового объекта, являются априорно известными. При оценке матриц проективного преобразования изменяется не взаимное угловое положение каждой из разноспектральных камер, а только угловое и пространственное положение тестового объекта посредством его перемещения. Причем совмещение изображений достигается за счет проективных преобразований изображений с камер по матрицам гомографии, оцениваемым по результатам предварительной калибровки с контрастным в каждом из спектральных диапазонов тестовым шаблоном для каждой пары камер, одна из которых выбрана в качестве опорной.

Отличительной особенностью камер различных спектральных диапазонов является различная физическая природа воспринимаемых ими изображений: телевизионные камеры и камеры ближнего и коротковолнового инфракрасного диапазонов воспринимают отраженный объектом свет, а камеры средневолнового и длинноволнового инфракрасного диапазонов - собственное тепловое излучение объекта. Предлагаемый способ совмещения цифровых изображений различных спектральных диапазонов заключается в том, что для оценки взаимного углового положения систем координат камер относительно системы координат опорной камеры (например, телевизионной), применяется универсальный калибровочный тестовый объект, обеспечивающий высококонтрастное изображение в каждом из спектральных диапазонов. Примером таких тестовых объектов может служить, например, устройство типа «шахматной доски» для калибровки камер по патенту CN 204287725, опубл. 17.11.2014, МПК: G03B 43/00, G01J 5/52.

На изображениях тестового объекта в каждом спектральном диапазоне автоматически выделяются маркеры опорных точек. Их пространственные координаты в системе координат тестового объекта априорно известны. Меняя положение тестового объекта таким образом, чтобы его изображение располагалось как в центральной части кадра камеры каждого спектрального диапазона, так и по его краям, сохраняют серию кадров. Далее в каждом из них выделяют пиксельные координаты маркеров, которые затем используются в алгоритме взаимной калибровки разноспектральных камер. Результатами калибровки являются оценки матриц внутренних параметров Ki, внешних параметров камер (векторы параллельного переноса ti и матрицы поворота Ri) и векторов коэффициентов дисторсии их объективов kdi.

Известно, что матрица проективного преобразования для совмещения кадров от двух камер с известным взаимным расположением (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. - Cambridge: Cambridge University Press, 2003. - 656 p.) описывается формулой:

K0 - матрица внутренних параметров опорной камеры,

Ki - матрица внутренних параметров i-й камеры, изображение которой совмещается с кадром опорной камеры,

d - расстояние до плоскости съемки,

n - вектор нормали к плоскости съемки.

Расстояние до плоскости съемки (d) и вектор нормали к плоскости съемки (n) в общем случае являются неизвестными, однако могут быть оценены по информации от вспомогательных систем: d - по данным от дальномера, n - по данным от навигационной системы и цифровой карты местности.

Если вспомогательные системы отсутствуют, но расстояние до объекта съемки d более чем на два порядка превосходит длину вектора ti, то матрицу проективного преобразования для совмещения можно оценить по приближенной формуле:

Способ совмещения цифровых изображений различных спектральных диапазонов содержит следующие основные этапы:

- выполняют взаимную калибровку разноспектральных камер по универсальному калибровочному тестовому объекту относительно системы координат одной из камер, выбранной в качестве опорной, и оценивают их внутренние и внешние параметры;

- в зависимости от наличия либо отсутствия дополнительной информации об объекте съемки оценивают матрицы проективного преобразования для каждой камеры по формуле (1) либо по формуле (2), соответственно; матрица проективного преобразования опорной камеры в обоих случаях является единичной;

- для изображений со всех камер выполняют компенсацию дисторсии;

- выполняют проективное преобразование изображений от камер с матрицами преобразования Hi для совмещения с изображением опорной камеры.

Рассмотренный способ совмещения изображений применим для многоспектральных оптико-электронных систем, камеры которых имеют объективы с фиксированным фокусным расстоянием и их взаимное расположение в процессе эксплуатации не изменяется.

Таким образом, предлагаемый способ совмещения цифровых изображений различных спектральных диапазонов не требует проведения механической юстировки камер, и применим как к телевизионным камерам видимого диапазона, так и к тепловизионным камерам ближнего, коротковолнового, средневолнового и длинноволнового инфракрасных диапазонов.

Способ совмещения цифровых изображений различных спектральных диапазонов, основанный на оценке матриц проективного преобразования по изображениям автоматически распознаваемых в различных спектральных диапазонах маркеров, конструктивно размещенных на тестовом объекте в одной плоскости, отличающийся тем, что пространственные координаты маркеров, лежащих в плоскости тестового объекта, являются априорно известными, при оценке матриц проективного преобразования изменяется только угловое и пространственное положение тестового объекта посредством его перемещения, а совмещение изображений достигается за счет проективных преобразований изображений с камер по матрицам гомографии, оцениваемым по результатам предварительной калибровки с контрастным в каждом из спектральных диапазонов тестовым шаблоном для каждой пары камер, одна из которых выбрана в качестве опорной.



 

Похожие патенты:

Изобретение относится к области обработки данных. Технический результат заключается в уменьшении задержки обработки ввода жеста.

Изобретение относится к области вычислительной техники. Технический результат – обеспечение эффективного выбора подходящего устройства интерфейса пациента для пациента за счет 3D моделируемой визуализации устройства интерфейса пациента в соответствии с лицом пациента.

Изобретение относится к средствам цифрового улучшения характеристик последовательности изображений. Техническим результатом является улучшение качества визуального отображения.

Изобретение относится к распознаванию и анализу изображений в медицине и может быть использовано при обработке биомедицинских изображений и при автоматизации научных исследований.

Группа изобретений относится к медицинской технике, а именно к средствам сопоставления ультразвуковых изображений для наведения пользователя для достижения целевого вида.

Изобретение относится к средствам проверки подлинности маркера. Технический результат заключается в повышении точности определения подлинности.

Изобретение относится к области радиосистем наблюдения. Технический результат – уменьшение вычислительных затрат за счёт введения правила выбора сопряженных пар точек или ортов направлений на эти точки.

Изобретение относится к области пассивных радиосистем. Технический результат – повышение надежности и точности оценивания пространственных координат системы наблюдения.

Изобретение относится к области видеонаблюдения и распознавания объектов. Техническим результатом является создание способа видеосъемки телекамерой, установленной на наклонно-поворотной платформе, за счет использования встроенного в телекамеру вычислителя, который управляет движением наклонно-поворотной платформы по заданному маршруту, при этом формирует единое панорамное видеоизображение, а также выявляет и распознает объекты на каждом кадре видеоизображения.

Изобретение относится к области вычислительной техники. Технический результат – обеспечение улучшенной визуализации высотных отметок рельефа горной разработки.

Изобретение относится к области обработки данных. Технический результат заключается в уменьшении задержки обработки ввода жеста.

Изобретение относится к области вычислительной техники. Технический результат – обеспечение эффективного выбора подходящего устройства интерфейса пациента для пациента за счет 3D моделируемой визуализации устройства интерфейса пациента в соответствии с лицом пациента.

Изобретение относится к области фотограмметрической обработки космических изображений (КИ) местности. Техническим результатом является сокращение времени идентификации опорных точек и количества ложно идентифицированных опорных точек, что приводит к уменьшению ошибки геодезической привязки КИ местности.

Изобретение относится к устройству и способу для идентификации отпечатков пальцев. Техническим результатом является повышение надежности идентификации отпечатков пальцев применительно к мошенническим манипуляциям.

Изобретение относится к устройствам со сканером (5) отпечатков пальцев. Техническим результатом является обеспечение упрощенной регулировки положения сканера отпечатков пальцев на устройстве для использования сканера отпечатков пальцев как левой рукой, так и правой рукой.

Изобретение относится к устройствам преобразования рукописного ввода в текстовые аннотации. Технический результат заключается в обеспечении возможности осуществления рукописного ввода чернилами в отношении контента, отображенного на вычислительном устройстве, для правки и внесения пометок в контент.

Изобретение относится к средствам, характеризующим структуру и конструкцию технических объектов. Технический результат заключается в обеспечении наглядной информации об объекте.

Изобретение относится к экрану дисплея с функцией распознавания отпечатка пальца. Техническим результатом является обеспечение экрана дисплея функцией распознавания отпечатков пальцев, улучшения интеграции и пользовательского интерфейса дисплея, повышение качества изображения отпечатка пальца.

Группа изобретений относится к медицине. Устройство обнаружения отраженного света в виде контактной линзы содержит один или более принимающих свет элементов для приема света, причем свет является отраженным от склеры и радужной оболочки глазного яблока; и модуль обработки сигналов для обнаружения количества принимаемого света указанными одним или более принимающими свет элементами.

Изобретение относится к средствам проверки подлинности маркера. Технический результат заключается в повышении точности определения подлинности.

Изобретение относится к области систем отслеживания. Технический результат заключается в повышении точности регистрирования и отслеживания транспортного средства аттракциона для катания.

Изобретение относится к вычислительной технике для определения и приведения к заданным значениям параметров видеокамер. Техническим результатом является обеспечение возможности совмещения изображений камер видимого и инфракрасного диапазонов, не требующего механической юстировки. Способ совмещения цифровых изображений различных спектральных диапазонов основан на оценке матриц проективного преобразования по изображениям автоматически распознаваемых в различных спектральных диапазонах маркеров, конструктивно размещенных на тестовом объекте в одной плоскости. Причем пространственные координаты маркеров, лежащих в плоскости тестового объекта, являются априорно известными. При оценке матриц проективного преобразования изменяется только угловое и пространственное положение тестового объекта посредством его перемещения. При этом совмещение изображений достигается за счет проективных преобразований изображений с камер по матрицам гомографии, оцениваемым по результатам предварительной калибровки с контрастным в каждом из спектральных диапазонов тестовым шаблоном для каждой пары камер, одна из которых выбрана в качестве опорной.

Наверх