Способ определения координат объектов по их цифровым изображениям

Изобретение относится к области информационно-измерительных систем и предназначено для применения в оптико-электронных системах для определения координат объектов в реальном масштабе времени по их цифровым изображениям. Техническим результатом является повышение точности определений координат объектов по их цифровым изображениям измерительной системой, при использовании произвольно размещенных цифровых видеокамер, с которых могут приниматься дисторсионно-искаженные изображения, а их фотоприемные устройства (например, ПЗС- или ПЗИ-матрицы) могут быть установлены с погрешностью относительно оптических осей объективов. При этом цифровые изображения принимают по крайней мере с двух видеокамер (оптического или инфракрасного диапазонов), а при определении координат интересующих объектов по положению каждого i-го объекта интереса Pi на цифровых изображениях первой и второй камер составляют векторы положения. 3 ил.

 

Изобретение относится к области информационно-измерительных систем и предназначается прежде всего для применения в оптико-электронных системах, в задачу которых входит определения координат объектов в реальном масштабе времени по их цифровым изображениям.

Особенность систем технического зрения заключается в использовании цифровых фото- и видеокамер как точных инструментов для получения различной информации о различных объектах, контролируемых параметрах и процессах. Одна из свойственных данным системам задач, заключается в определении пространственных координат объектов по их цифровым изображениям. Для решения данной задачи разработано и применяется достаточно большое количество различных способов. При этом одна их часть обладает достаточно высокими показателями по точности, но требует значительных вычислительных ресурсов, что затрудняет обеспечение работы маломощной измерительной системы в реальном масштабе времени. Возникает такая трудность из-за того, что вычислительные ресурсы затрачиваются на решение достаточно сложных систем уравнений с большим количеством неизвестных, причем немало ресурсов тратится порой не столько на решение, сколько на выбор одного правильного решения из выдаваемых ЭВМ вариантов. Вторая часть существующих способов не требуют большого количества математических операций, но не обеспечивает необходимого уровня точности из-за принятых допущений и ограничений при их разработке.

Для реализации работающей в реальном масштабе времен, системы технического зрения, состоящей из маломощной ЭВМ и, по крайней мере, двух цифровых видеокамер необходим такой способ определения координат объектов, который с одной стороны обеспечит высокую точность, с другой стороны не потребует больших вычислительных ресурсов. Решение данной задачи может быть достигнуто за счет применения прямых аналитических зависимостей между трехмерными координатами объекта и плоскими его координатами на отснятых изображениях с полным учетом внешних и внутренних параметров камер измерительной системы.

Из уровня техники общеизвестен способ определения положения контролируемого объекта или отдельных его точек в трехмерном пространстве [Грузман, И.С., Цифровая обработка изображений в информационных системах / И.С. Грузман, B.C. Киричук, В.П. Косых, [и др.]: Учебное пособие. - Новосибирск: Изд-во НГТУ, 2000. с. 147-148.], основанный на стереоскопической схеме геометрического типа, состоящей из двух одинаковых камер с параллельными оптическими осями, разнесенных на известное расстояние. Главные точки объективов (см. ГОСТ 7427-76) расположены на одной линии (линии базы), перпендикулярной к оптическим осям. Ось Y принимается перпендикулярной к плоскости чертежа. Ось Z - ось системы координат, направленная от середины базы плоскости предметов. Если выбрать начало координат в середине линии базы длиной В, то, измеряя координаты x1, x2 и y1, y2 изображений объекта Р на отснятой стереопаре, можно определить его координаты, т.е. xp, ур, zp, согласно следующих выражений:

где ƒ - величина фокусного расстояния объективов первой и второй камер.

Недостатками описанного аналога является:

необходимость использования идентичных видеокамер;

фиксированное расположение цифровых камер измерительной системы, что сужает область пространства, в которой возможно измерение координат подвижных объектов, и требует проведение прецизионной механической юстировки измерительной системы по приведению оптических осей камер к параллельному состоянию, что, в свою очередь, потребует наличия специальных высокоточных измерительных средств;

низкая точность, обусловленная тем, что при вычислении координат не учитываются возможное отклонение оптических осей применяемых видеокамер, дисторсионные искажения изображений, вносимые их объективами и прочие внутренние параметры камер.

Еще одним аналогом является способ определения координат объекта [Лобанов, А.Н., Фотограмметрия: Учебник для вузов. 2-е изд., перераб. и доп. - М: Недра, 1984, с. 49, 54-57], заключающийся в:

измерении плоских координат изображений объекта Р на изображениях первой и второй камер, т.е. где для первой камеры n=1, для второй - n=2;

вычислении направляющих косинусов по формулам:

где αn, ωn, χn - углы ориентации в горизонтальной, вертикальной и поперечных плоскостях n-й камеры;

нахождении пространственных координат точек снимков в СК n-й камеры по формулам:

где ΔOnX и ΔOnZ - расстояния между геометрическими центрами изображений с первой и второй камер и центрами их фотоприемных устройств в соответствующих плоскостях;

вычислении значений координат xp, yp, zp объекта Р в СК первой камеры согласно выражений:

xp=Nx1; yp=Ny1; zp=Nz1,

х0, у0, z0 - координаты начала СК второй камеры, выраженные в СК первой камеры.

По сравнению с предыдущим аналогом, в данном способе учтены величины ΔОХ и ΔOZ, устранена необходимость применения идентичных камер, обеспечена возможность осуществлять измерение координат при произвольном их расположении, но при этом способ не в полной мере учитывает все источники ошибок, связанные с несовершенством конструкции объективов и допущенными случайными погрешностей при изготовлении видеокамер, что приводит к искажению обрабатываемых изображений.

Более близким аналогом является способ измерения координат объекта [Патент RU №2401436 С2, G01S 11/00, 2008 г.], заключающийся в:

регистрации изображений объекта посредством двух оптико-локационных блоков, установленных на внутренних рамах своих кардановых подвесов, каждый из которых имеет внешнюю и внутреннюю рамы, на осях которых установлены датчики углов их поворотов;

осуществлении программной обработки оцифрованных изображений объекта, снимаемых с фотоматрицы первого оптико-локационного блока для определения координат Y, Z и фотоматрицы второго оптико-локационного блока для определения координат Y, Z изображений идентичной точки на объекте;

снятии сигналов произвольных углов поворота ψ1, υ1 и ψ2, υ2 с датчиков внешней и внутренней рам первого и второго карданова подвеса;

вычислении соответствующих матриц вращения

определении координат xp, yp, zp идентичной точки объекта в связанной системе координат (СК) согласно следующим выражениям:

ƒn - фокусные расстояния объектива n-го оптико-локационного блока;

- коэффициенты матриц вращения An, описывающих положения оптических осей первого (n=1) и второго (n=2) оптико-локационных блоков, j=1…3 - номер строки, k=1…3 - номер столбца;

Y, Z - координаты объекта Р на изображении n-го оптико-локационного блока.

Известна усовершенствованная версия данного способа, которая и выбрана в качестве прототипа [Патент RU №2438142 С2, G01S 11/00, 2008 г.], где дополнительно предусмотрена алгоритмическая юстировка оптико-электронных блоков и учтены помимо углов их ориентации ψn, υn в вертикальной и горизонтальной плоскостях, еще углы γn в поперечной плоскости, что отразилось на порядке нахождения матрицы An. Однако по-прежнему (как и в аналогах) не приняты во внимание величины радиальной и тангенциальной дисторсии, возникающих в результате несовершенства линз объективов и погрешностей установки фотоприемных устройств относительно плоскости объектива. Не учтены межпиксельные расстояния, форма пикселей, и искажения, связанные со скосом изображения при движении камеры, когда при формировании изображения наблюдаются задержки в формировании его строк.

Непринятие в расчет указанных параметров при их наличии однозначно приведет к ошибкам определения координат.

Обеспечение же условий, когда данные параметры могут не учитываться и, соответственно, не приведут к возникновению ошибок определения координат, связано с необходимостью применения видеокамер с высококачественной и, как правило, дорогой оптической частью.

С другой стороны, влияние данных параметров на точность определения координат может быть устранено за счет предварительной обработки получаемых с видеокамер изображений, заключающейся в компенсации дисторсионных искажений. Но это в свою очередь увеличивает объем вычислительных операций, так как цифровые изображения должны быть полностью попиксельно переработаны, и для обеспечения работы в реальном масштабе времени потребует привлечение дополнительных вычислительных ресурсов.

Таким образом, задачей, на решение которой направлено заявляемое изобретение, является обеспечение точного определения координат объектов в реальном масштабе времени по искаженным цифровым изображениям на электронно-вычислительной машине ограниченной вычислительной мощности.

Решение данной задачи определяется:

1) по обеспечению точности определения координат - максимальным учетом внешних и внутренних параметров камер измерительной системы, а именно:

NK1, MK1 и NK2, MK2 - значения горизонтальных и вертикальных разрешений, как правило, задают из технических данных используемых фотоприемных устройств, или определяют в результате внутренней калибровки (фиг. 1), при этом значения горизонтальных и вертикальных разрешений NK1, MK1 и NK2, MK2, как правило, задают из технических данных используемых фотоприемных устройств, или определяют в результате внутренней калибровки;

- расстояние между геометрическим центрами фотоприемных устройств и центрами изображений, формируемых объективами (фиг. 1) первой K1 и второй K2 камер, задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы;

- физические размеры фотоячеек (пикселей) фотоприемного устройства (ПЗС- или ПЗИ-матрицы, далее по тексту фотоматрицы), соответственно, первой K1 и второй K2 камер в горизонтальной и вертикальной плоскостях (фиг. 1), задают из технических данных фотоприемных устройств применяемых первой K1 и второй K2 камер или определяют в процессе внутренней калибровки камер измерительной системы;

- межпиксельные интервалы фотоматриц в горизонтальной и вертикальной плоскости для первой K1 и второй K2 камер (на чертеже не показаны), задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы;

при этом если для повышения точности определения дальности предусмотрено увеличение разрешения изображений получаемых с камер K1 и K2 в h раз, например, путем интерполяции, то значения величин NK1, MK1 и NK2, MK2, увеличивают, а - уменьшают в h раз;

θK1 и θK2 - величины углов перекоса изображений ImgK1 и ImgK2, возникающих, как правило, из-за погрешностей изготовления фотоприемных устройств камер K1 и K2, а также при неточной синхронизации процесса пиксельной выборки (на фиг. 1 не показано), данные значения определяются в процессе внутренней калибровки камер;

ƒK1 и ƒK2 - фокусные расстояния объективов первой K1 и второй K2 камер, это расстояния от точки ОK1 до точки О'K1, и от точки ОK2 до точки О'K2, соответственно (фиг. 1), задают из технических данных объективов, применяемых первой K1 и второй K2 камер, или определяют в процессе внутренней калибровки камер измерительной системы;

- углы последовательного отклонения СК камер K1 и K2 относительно осей OWYW, OWXW и OWZW мировой СК W;

- углы взаимной ориентации СК первой K1 и второй K2 камер, отсчитываемые по результатам последовательного отклонения в горизонтальной вертикальной и поперечной плоскостях осей СК (фиг. 2) первой K1 и второй K2 камер от нормального положения камер измерительной системы;

- координаты начал СК, соответственно, камер K1 и K2 относительно начала мировой СК W;

а также компенсацией дисторсионных искажений за счет учета: и - коэффициентов радиальной дисторсии (j - количество учитываемых коэффициентов) для первой K1 и второй K2 камер и - коэффициентов тангенциальной дисторсии для первой K1 и второй K2 камер;

при этом под нормальным положением камер измерительной системы понимается (фиг. 1) такое пространственное взаимное расположение первой K1 и второй K2 камер, когда СК первой камеры K1 (своим началом совпадающая с оптическим центром объектива, ось совпадает с оптической осью объектива, а оси и соответствуют горизонтальному и вертикальному направлениям) относительно СК второй камеры K2 (своим началом совпадающей с оптическим центром объектива данной камеры, осью совпадающей с оптической осью объектива, а осями соответствующей горизонтальному и вертикальному направлениям), размещена так, что их оси располагаясь на некотором удалении (базисном расстоянии) друг от друга, были параллельными, а оси и находились на одной (базовой) линии.

Для наглядности, представленные на чертеже (фиг. 1) СК первой K1 и второй K2 камер при нормальном положении обозначены как

Под действительным положением камер измерительной системы понимается (фиг. 2) случайное или специально заданное взаимное расположение первой K1 и второй K2 камер, при котором оси их СК (α, β, ϕ - обозначение действительного положения осей СК камер измерительной системы) находятся под соответствующими углами относительно осей СК этих камер в первоначальном нормальном положении.

На чертеже (фиг. 2) показан возможный вариант взаимного положения СК камер, где обозначениям

соответствует положение камер отклоненных на углы

соответствует положение камер отклоненных дополнительно на углы

соответствует положение камер (действительное их положение), отклоненных дополнительно к предыдущим на углы

2) по обеспечению быстродействия - применением прямых аналитических зависимостей между трехмерными координатами объекта в мировой системе координат W и плоскими его координатами на отснятых изображениях камерами K1 и K2:

где - вектор координат i-го объекта Pi в мировой СК W;

- скорректированные на величины радиальной и тангенциальной дисторсии и приведенные к нормальному положению камер измерительной системы вектора содержащие координаты i-го объекта Pi в СК камер K1 и K2 соответственно, вычисляющийся в свою очередь как произведения

- вектора положения изображения i-го объекта Pi на изображениях ImgK1, lmgK2 камер K1, K2, - пиксельные координаты (номера n-го столбца и m-й строки), mK1i ∈ 0…MK1-1, nK1i ∈ 0…NK1-1, mK2i ∈ 0…MK2-1, nK1i ∈ 0…NK2-1, NK1 и MK1, NK2 и MK2 - горизонтальные и вертикальные разрешения (количество столбцов и строк) фотоматриц камер K1 и K2 соответственно;

КK1 и КK2 - матрицы внутренних параметров камер K1 и K2;

DK1i, DK2i - матрицы коррекции дисторсии i-го объекта Pi на изображениях ImgK1 и ImgK2 камер K1 и K2;

- матрицы отклонения для первой K1 и второй K2 камер относительно нормального их положения в измерительной системе;

- проекционная матрица измерительной системы из двух камер K1 и K2;

- матрицы положения первой K1 и второй K2 камер относительно начала мировой СК W.

Основным техническим результатом, обеспечиваемым приведенной совокупностью признаков, является:

во-первых, повышение точности определений координат объектов по их цифровым изображениям измерительной системой, при использовании произвольно размещенных цифровых видеокамер, с которых могут приниматься дисторсионно-искаженные изображения, а их фотоприемные устройства (например, ПЗС- или ПЗИ-матрицы) могут быть установлены с погрешностью относительно оптических осей объективов;

во-вторых, снижение требований к вычислительной мощности ЭВМ, применяемой при проведении измерений в реальном масштабе времени.

Еще одним результатом является снижение стоимости измерительной системы за счет возможности применения малобюджетных неметрических видеокамер.

Для осуществления заявленного способа могут использоваться по крайней мере две разнесенные в пространстве (причем в любой плоскости) цифровые видеокамеры K1 и K2 (фигура 1 и фигура 2), обеспечивающие возможность захвата стереоизображений объектов интереса и совместно с обрабатывающей системой (на фигуре 1 и фигуре 2 не показано) образующие измерительную систему. Причем применяемые цифровые камеры могут быть как видимого, так и инфракрасного диапазонов.

Каждая из применяемых камер может быть установлена на своем кардановом подвесе, обеспечивающем возможность изменения угловой ориентации камеры (в зависимости от необходимости) в горизонтальной, вертикальной и поперечной плоскостях. Каждый из кардановых подвесов в свою очередь может дополнительно содержать датчики углов, осуществляющие получение значений величин углов ориентации камеры (в зависимости от конструкции карданова подвеса) в горизонтальной, вертикальной и поперечной плоскостях. При этом первая камера K1 и вторая камера K2, датчики угла поворота рам подвеса должны быть выполнены с возможностью передачи в обрабатывающую систему видеоданных и данных о пространственной ориентации камер через кабели (например, кабели универсальной последовательной шины USB) или по беспроводной связи (например, Wi-Fi).

Цифровые изображения ImgK1 и ImgK2, (фигура 1) получаемые с первой K1 и второй K2 камер, состоят из пикселей. Каждый пиксель характеризуется значением, которое состоит из полутонового значения или цветового значения. В полутоновых изображениях значение пикселя представляет собой одну величину, которая характеризует яркость пикселя. Наиболее общим форматом описания пикселя является байт изображения, в котором значение пикселя представлено восьмиразрядным целым числом, лежащим в диапазоне возможных значений от 0 до 255. Как правило, значение пикселя, равное нулю, используют для обозначения черного пикселя, а значение 255 используют для обозначения белого пикселя. Промежуточные значения описывают различные оттенки полутонов. В цветных изображениях для описания каждого пикселя (расположенного в цветовом пространстве размерности RGB - красный, зеленый, синий) должны быть отдельно определены красная, зеленая и синяя компоненты. Иными словами, значение пикселя фактически представляет собой вектор, описанный тремя числами. Три различных компонента могут быть сохранены как три отдельных полутоновых изображения, известные как цветовые плоскости (по одной для красного, зеленого и синего цветов), которые можно воссоединять при отображении или при обработке.

При чем, для установления физической связи между положением изображений объектов интереса на цифровых изображениях ImgK1 и ImgK2 и их положением в СК соответствующей камеры, размеры пикселей принимают равными в соответствующих плоскостях физическим размерам фотоячеек (пикселей) фотоприемных устройств (например, ПЗС- или ПЗИ-матриц) первой K1 и второй K2 камер, а сами изображения ImgK1 и ImgK2 принимают размещенными на фокусных расстояниях ƒK1 и ƒK2 объективов этих камер (соответственно, в положительных направлениях осей OK1ZK1 и ОK2ZK2 СК камер).

Обрабатывающая система, являющаяся, например, удаленным компьютером, таким как ноутбук или персональный компьютер (рабочая станция), должна обеспечивать выбор пользователем изображений и/или ввод команд обработки и содержать в свою очередь исполняемые модули или команды с возможностью выполнения по меньшей мере одним процессором, пользовательский интерфейс содержащий дисплей, такой как жидкокристаллический монитор, для просмотра видеоданных и устройство управления и ввода данных, такое как клавиатура или указательное устройство (например, манипулятор типа «мышь», шаровой указатель, стилус, сенсорная панель или другое устройство), для обеспечения взаимодействия пользователя с видеоданными.

При необходимости осуществляют внешнюю и внутреннюю калибровку измерительной системы, заключающуюся в получении внешних и внутренних параметров применяемых камер по имеющимся цифровым изображениям, отснятым ими.

Сущность изобретения поясняется чертежами, которые не охватывают и тем более не ограничивают весь объем притязаний данного изобретения, а являются лишь иллюстрирующими материалами частного случая выполнения, на которых:

на фиг. 1 показано нормальное положение камер измерительной системы, показаны применяемые при определении дальностей величины;

на фиг. 2 показано действительное положение камер измерительной системы с обозначением возможных углов отклонения в трех плоскостях;

на фиг. 3 проиллюстрированы этапы осуществления заявленного способа.

Осуществляют заявленный способ следующим образом.

По положению (номерам соответствующих столбцов и строк) каждого i-го объекта интереса на изображениях первой K1 и второй K2 камер составляют векторы положения (этап 1 фигуры 3):

при чем значения задают для каждого изображения i-го объекта Pi или определяют в результате работы алгоритма обработки изображения первой камеры K1 ((например, алгоритма автоматического распознавания или селекции движущихся объектов и т.п.), значения задают или определяют в результате работы алгоритма обработки изображения второй камеры K2 (например, алгоритма автоматического поиска соответствий на стереоизображениях и т.п.).

По техническим данным первой K1 и второй K2 камер вычисляют матрицы внутренних параметров КK1 и КK2 (этап 2 фигуры 3):

При этом если для повышения точности определения дальности предусмотрено увеличение разрешения изображений получаемых с камер K1 и K2 в h раз, например, путем интерполяции, то значения величин NK1, MK1 и NK2, МK2, увеличивают, а - уменьшают в h раз.

По значениям углов пространственной ориентации камер относительно СК измерительной системы вычисляют матрицы отклонения относительно нормального положения первой K1 и второй K2 камер соответственно (этап 3 фигуры 3):

Далее записывают - матрицы положения первой K1 и второй K2 камер относительно начала мировой СК W, рассчитываемые согласно выражений (этап 4 фигуры 3):

Матрицы , как правило, получают в результате внешней калибровки измерительной системы, поэтому к ней применяется название матрицы внешней калибровки.

Согласно рассчитанным данным для каждого изображения i-го объекта Pi вычисляют векторы координат AK1i и AK2i, в СК камер K1 и K2 (этап 5 фигуры 3):

После этого по результатам внутренней калибровки (или техническим данным камер) и значениям векторов AK1i и AK2i для каждого i-го объекта находят матрицы коррекции дисторсии DK1i и DK2i (этап 6 фигуры 3) для первой K1 и второй K2 камеры соответственно:

где - коэффициент коррекции радиальной дисторсии объектива первой камеры K1;

- коэффициент коррекции радиальной дисторсии объектива второй камеры K2;

- коэффициент коррекции тангенциальной дисторсии первой камеры K1 в горизонтальной плоскости;

- коэффициент коррекции тангенциальной дисторсии первой камеры K1 в вертикальной плоскости;

- коэффициент коррекции тангенциальной дисторсии второй камеры K2 в горизонтальной плоскости;

- коэффициент коррекции тангенциальной дисторсии второй камеры K2 в вертикальной плоскости;

- значения первого и второго столбцов векторов AK1i и AK2i.

При этом значения коэффициентов радиальной дисторсии и применяемых при нахождении и значения коэффициентов тангенциальной дисторсии применяемых при нахождении задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы (j-количество учитываемых коэффициентов).

По значениям векторов AK1i и AK2i и матриц DK1i, DK2i, для каждого изображения i-го объекта Pi вычисляют векторы скорректированных координат содержащие скорректированные на величины радиальной и тангенциальной дисторсии и приведенные к нормальному положению камер координаты i-го объекта Pi в СК камер K1 и K2 (этап 7 фигуры 3):

Находят коэффициент центральной проекции (этап 8 фигуры 3):

На следующем этапе записывают проекционную матрицу измерительной системы из двух камер K1 и K2 (этап 9 фигуры 3):

Если необходимо получить координаты i-го объекта Pi в СК камер K1 или K2 измерительной системы, то вычисляют вектора координат или соответственно (этап 10 фигуры 3):

Для получения координат объекта Pi относительно мировой СК W рассчитывают вектор по одному из выражений (этап 11 фигуры 3):

Система определения координат i-х объектов Pi по их цифровым изображениям, построенная на основе предлагаемого способа, позволит одновременно в режиме реального времени определять координаты всех i-х объектов Pi, попадающих в поля зрения камер. При этом система не потребует применения мощной и, соответственно, дорогой ЭВМ и высококачественных цифровых видеокамер.

Отличительной особенностью такой системы является и то, что она позволит осуществлять измерения по объектам, до которых невозможно, или очень сложно проводить измерения с помощью лазерных дальномеров, например, тонкие провода, антенны, находящиеся на большом расстоянии, объекты с низким коэффициентом отражения, зеркальные поверхности, прозрачные облака, дым, птицы, животные, люди и т.п., а использование вместо цифровых видеокамер (или совместно при комплексировании изображений) приборов ночного виденья или тепловизоров обеспечит всесуточность и всепогодность проводимых измерений.

Все это подчеркивает актуальность применения подобных систем на образцах различного вооружения, в особенности на роботизированных.

Кроме того, предлагаемый способ может применяться для обеспечения работы правоохранительных органов на местах преступлений, занимающих значительные территории (места взрывов, крушений, техногенных аварий и т.д.), когда зафиксировать традиционными средствами местоположение всего множества объектов (следов, обломков и т.д.) невозможно или достаточно трудоемко. Еще одним применением заявленного способа определения координат объектов может быть использование в системах и устройствах контроля скоростного режима автотранспортных средств на дорогах, делая неэффективным работу радаров-детекторов, одновременный охват широких участков автодороги и снижение себестоимости по сравнению с активными радиолокационными средствами.

Способ определения координат объектов по их цифровым изображениям, заключающийся в приеме цифровых изображений по крайней мере с двух видеокамер (оптического или инфракрасного диапазонов), и их дальнейшей программной обработке в обрабатывающей системе, отличающийся тем, что при определении координат интересующих объектов по положению каждого i-го объекта интереса Pi на цифровых изображениях первой и второй камер составляют векторы положения

где Р - условное обозначение объекта интереса;

K1 и K2 - условные обозначения, соответственно, первой и второй камер измерительной системы;

- пиксельные координаты (номера n-го столбца и m-й строки) изображения i-го объекта интереса Pi на изображениях первой K1 и второй K2 камер, mK1i ∈ 0...MK1-1, nK1i ∈ 0...NK1-1, mK2i ∈ 0...MK2-1, nK2i ∈ 0...NK2-1;

NK1, MK1 и NK2, MK2 - количество столбцов и строк фотоприемных устройств высокого разрешения первой и второй камер,

при этом NK1, MK1 и NK2, MK2 задают из технических данных используемых фотоприемных устройств или определяют в результате внутренней калибровки камер, а значения задают для каждого изображения i-го объекта Pi или определяют в результате работы алгоритма обработки изображения первой камеры (например, алгоритма автоматического распознавания или селекции движущихся объектов и т.п.), значения задают или определяют в результате работы алгоритма обработки изображения второй камеры (например, алгоритма автоматического поиска соответствий на стереоизображениях и т.п.);

по техническим данным первой и второй камер вычисляют матрицы внутренних параметров, соответственно, КK1 и КK2:

где ƒK1 и ƒK2 - фокусные расстояния объективов первой и второй камер, при этом значения ƒK1 и ƒK2 задают из технических данных объективов, применяемых первой и второй камер, или определяют в процессе внутренней калибровки камер измерительной системы;

- физические размеры фотоячейки (пикселя) фотоприемного устройства высокого разрешения (например, ПЗС- или ПЗИ-матрицы), соответственно, в горизонтальной и вертикальной плоскостях первой и второй камер, при этом значения задают из технических данных фотоприемных устройств применяемых первой и второй камер, или определяют в процессе внутренней калибровки камер измерительной системы;

- расстояние между геометрическими центрами фотоприемных устройств и центрами изображений, формируемых объективами первой и второй камер, при этом значения задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы;

- межпиксельные интервалы фотоматриц в горизонтальной и вертикальной плоскости для первой и второй камер, задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы;

при этом если для повышения точности определения дальности предусмотрено увеличение разрешения изображений получаемых с камер в h раз, например, путем интерполяции, то значения величин NK1, MK1 и NK2, MK2, увеличивают, а - уменьшают в h раз;

θK1 и θK2 - величины углов перекоса получаемых с камер измерительной системы цифровых изображений, возникающие, как правило, из-за погрешностей изготовления фотоприемных устройств камер, а также при неточной синхронизации процесса пиксельной выборки, данные значения определяют в процессе внутренней калибровки камер;

по значениям углов пространственной ориентации камер в системе координат измерительной системы вычисляют матрицы отклонения относительно нормального положения первой и второй камер соответственно:

где N - условное обозначение нормального взаимного расположения осей систем координат камер измерительной системы;

- внутрибазовые углы последовательного отклонения в горизонтальной вертикальной и поперечной плоскостях осей систем координат первой и второй камер от нормального положения камер измерительной системы, то есть когда направляющие оси их систем координат вертикального и продольного направления, располагаясь на некотором удалении друг от друга, параллельны, а оси горизонтального направления находятся на одной (базовой) линии, при этом значения углов поперечного, вертикального и горизонтального отклонений камер снимают с датчиков угла, размещенных на рамах кардановых подвесов, обеспечивающих, по крайней мере три степени свободы для каждой камеры, или определяют в процессе внешней калибровки измерительной системы;

записывают матрицы положения первой и второй камер относительно начала мировой системы координат, рассчитываемые согласно выражениям:

где W - условное обозначение мировой системы координат;

- углы последовательного отклонения систем координат первой и второй камер относительно осей мировой системы координат;

- координаты начал систем координат соответственно, первой и второй камер относительно начала мировой системы координат;

для каждого изображения i-го объекта Pi вычисляют векторы координат AK1i и AK2i в системах координат первой и второй камер

где - трехмерные координаты изображений i-го объекта Pi соответственно в системах координат первой и второй камер;

по результатам внутренней калибровки (или техническим данным камер) и значениям векторов AK1i и AK2i для каждого i-го объекта Pi находят матрицы коррекции дисторсии DK1i и DK2i для первой и второй камеры соответственно:

где - коэффициент коррекции радиальной дисторсии объектива первой камеры;

- коэффициент коррекции радиальной дисторсии объектива второй камеры;

- коэффициент коррекции тангенциальной дисторсии первой камеры в горизонтальной плоскости;

- коэффициент коррекции тангенциальной дисторсии первой камеры в вертикальной плоскости;

- коэффициент коррекции тангенциальной дисторсии второй камеры в горизонтальной плоскости;

- коэффициент коррекции тангенциальной дисторсии второй камеры в вертикальной плоскости;

- значения первого и второго столбцов векторов AK1i и AK2i;

при этом значения коэффициентов радиальной дисторсии и применяемых при нахождении и значения коэффициентов тангенциальной дисторсии применяемых при нахождении задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы (j - количество учитываемых коэффициентов);

по значениям векторов и матриц DK1i, DK2i, для каждого изображения i-го объекта Pi вычисляют векторы скорректированных координат и содержащие скорректированные на величины радиальной и тангенциальной дисторсии и приведенные к нормальному положению камер трехмерные координаты изображения i-го объекта Pi в системах координат первой и второй камер

для каждого изображения i-го объекта Pi находят коэффициент центральной проекции

для каждого изображения i-го объекта Pi записывают проекционную матрицу измерительной системы из первой и второй камер

если необходимо получить координаты i-го объекта Pi в системе координат первой или второй камер измерительной системы, то вычисляют векторы координат или соответственно по выражениям:

для нахождения трехмерных координат i-го объекта Pi относительно мировой системы координат рассчитывают вектор по одному из выражений:



 

Похожие патенты:

Изобретение относится области электротехники для наблюдения за соблюдением правил техники безопасности сотрудниками. Технический результат направлен на расширение арсенала средств того же назначения.

Изобретение относится к пассивным системам видения оптического, инфракрасного и миллиметрового диапазонов длин волн, предназначенным для наблюдения за малоразмерными объектами.

Изобретение относится к способам определения координат источников электромагнитных излучений с помощью средств космического базирования путем регистрации и измерения поляризационных характеристик регистрируемого излучения.

Изобретение относится к испытаниям транспортных средств. Способ определения средней скорости движения транспортного средства заключается в перемещении транспортного средства по поверхности в неустановившемся режиме движения, определенном профилем и несущей способностью опорной поверхности с коэффициентом суммарного сопротивления движению.

Изобретение относится к разностно-дальномерным способам определения координат импульсных источников ионизирующих и электромагнитных излучений. Достигаемый технический результат – повышение точности определения местоположения источника рентгеновского излучения, устранение зависимости измерений от метеоусловий.

В устройстве определения дальности и направления осуществляется его упрощение без уменьшения точности определения направлении благодаря введению повернутой узконаправленной антенны, отражателя, второго приемника, амплитудного селектора, блока определения малого временного интервала, вычислителя и датчика расстояния между антенной с отражателем, при этом повернутая узконаправленная антенна жестко связана с широконаправленной антенной, имеет электромагнитный вход, связанный с электромагнитным выходом отражателя, и имеет выход, соединенный через второй приемник, амплитудный селектор с первым входом блока определения малого временного интервала, имеющего второй вход и группу выходов, соответственно соединенные с выходом приемника и с первой группой входов вычислителя, имеющего вторую группу входов, соединенную с группой выходов преобразователя дальности, и имеющего третью группу входов, соединенную с группой выходов датчика расстояния между отражателем и повернутой узконаправленной антенной, и имеющего группу выходов, соединенную с группой входов индикатора.

Изобретение относится к области приборостроения и может найти применение для автоматизации процесса измерения параметров положения вертолета на посадке и оценить пригодность подстилающей земной поверхности для безопасной посадки в автоматическом режиме.

Изобретение относится к области радиотехники и может использоваться в системах пассивной радиолокации, радиопеленгации и радиотехнического наблюдения для однопозиционного определения направления и скорости движения в пространстве радиоизлучающих объектов (РИО), селекции их по скорости, а также определения местоположения и траекторий движения.

Изобретение относится к разностно-дальномерным способам определения координат импульсных источников ионизирующих и электромагнитных излучений. Достигаемый технический результат - упрощение осуществления способа.

Изобретение относится к навигации подвижных железнодорожных объектов. Техническим результатом является обеспечение самокалибровки и самонастройки навигационных систем локомотивов.

Изобретение относится к способу определения скорости и ускорения подвижных объектов (транспортных средств и т.п.) по измерениям взаимного положения зональных изображений на комплексированных материалах панхроматической и многоспектральной съемки с учетом расположения оптико-электронных преобразователей спектральных каналов относительно друг друга в целевой съемочной аппаратуре.

Изобретение относится к области фотограмметрической обработки космических изображений (КИ) местности. Техническим результатом является сокращение времени идентификации опорных точек и количества ложно идентифицированных опорных точек, что приводит к уменьшению ошибки геодезической привязки КИ местности.

Изобретение относится к способам дистанционных исследований морских акваторий и может быть использовано для идентификации загрязнений морской поверхности. Сущность: с помощью установленных на воздушно-космическом носителе средств осуществляют зондирование прибрежных акваторий, содержащих эталонные участки, в ультрафиолетовом и красном участках солнечного спектра.

Способ получения и обработки изображений дистанционного зондирования Земли, искаженных турбулентной атмосферой, заключается в том, что получают спектрально-фильтруемое коротко-экспозиционное изображение объекта, пространственно инвариантного к атмосферным искажениям.

Изобретение относится к области дистанционного мониторинга опасных природных процессов и может быть использовано для контроля движения ледника относительно наземного объекта, столкновение с которым с вероятностью приведет к катастрофическим последствиям.

Изобретение относится к радиотехнике и может быть использовано в радиолокаторе с синтезируемой апертурой антенны (РСА). Достигаемый технический результат – измерение рельефа поверхности Земли и формирование цифровой модели рельефа с помощью РСА, установленного на борту носителя РСА.

Изобретение относится к области дистанционного мониторинга опасных природных процессов и может быть использовано для определения параметров движения фронтальной части ледника.

Изобретение относится к области для контроля экологического загрязнения шельфовых, прибрежных зон. Способ включает зондирование прибрежных акваторий, содержащих эталонные участки средствами, установленными на воздушно-космическом носителе с получением синхронных изображений в ультрафиолетовом и ближнем инфракрасном диапазоне с привязкой изображений по координатам системой позиционирования ГЛОНАСС, контрастирование кадров путем формирования синтезированных матриц из попиксельных отношений этих изображений, выделение контуров на поле синтезированных матриц, вычисление идентифицируемых параметров сигнала внутри контуров: пространственного спектра волнения F, фрактального объема Ω, площади рельефа Sp взволнованной поверхности анализируемого участка, оценка индекса состояния (И) загрязнения в виде зависимости от произведения идентифицируемых параметров Технический результат – повышение достоверности идентификации аномалий морской поверхности, а также увеличение чувствительности измерений.

Изобретение относится к области геодезии и фотограмметрии и может быть использовано при проектировании, создании и восстановлении геодезических сетей. Способ обследования пунктов государственной геодезической сети (ГГС) включает для каждого из пунктов сбор информационных материалов о пункте ГГС и об его характерных внешних признаках, определение местоположения пункта ГГС, его идентификацию, фиксирование изображений районов местонахождения пункта ГГС, документальное оформление результатов обследования пункта ГГС.

Изобретение относится к области геокриологии и может быть использовано в процессе ледникового геоморфологического картографирования. Данные изобретения являются реализациями различных технологий для способа картографирования ледниковой геоморфологии.

Изобретение относится к области информационно-измерительных систем и предназначено для применения в оптико-электронных системах для определения координат объектов в реальном масштабе времени по их цифровым изображениям. Техническим результатом является повышение точности определений координат объектов по их цифровым изображениям измерительной системой, при использовании произвольно размещенных цифровых видеокамер, с которых могут приниматься дисторсионно-искаженные изображения, а их фотоприемные устройства могут быть установлены с погрешностью относительно оптических осей объективов. При этом цифровые изображения принимают по крайней мере с двух видеокамер, а при определении координат интересующих объектов по положению каждого i-го объекта интереса Pi на цифровых изображениях первой и второй камер составляют векторы положения. 3 ил.

Наверх