Навигационная комбинированная оптическая система

Изобретение относится к бортовому оборудованию летательных аппаратов и предназначено для автономной навигации летательных аппаратов (ЛА) за счет информации от оптических сенсоров, бесплатформенной инерциальной навигационной системы, базы данных с картографической информацией о местности, а также позволяет формировать комплексированное изображение, повышающее информационную осведомленность экипажа о закабинном пространстве. Заявленная навигационная комбинированная оптическая система (НКОС) состоит из оптико-электронной системы (ОЭС), блока выделения и улучшения контуров (ВУК), блока совмещения, формирователя комплексированного изображения (ФКИ), виртуальной модели местности (ВММ), формирователя расширенного ракурса (ФРР), корреляционно-экстремального обработчика (КЭО), вычислителя навигационных поправок (ВНП), бесплатформенной инерциальной навигационной системы (БИНС). Технический результат - повышение точности определения навигационных параметров ЛА, уменьшение времени обработки за счет применяемых алгоритмов, осуществление коррекции навигационных параметров в реальном времени, формирование синтезированного изображения местности, которое комплексируется с изображениями, получаемыми от ОЭС, и выводится на индикаторы ЛА. Все вместе позволяет иметь достоверную информацию о подстилающей поверхности в различных погодных условиях. 3 ил.

 

Предлагаемая навигационная комбинированная оптическая система (НКОС) относится к бортовому оборудованию летательных аппаратов (ЛА) и позволяет повысить точность определения навигационных параметров ЛА, уменьшить время обработки за счет применяемых алгоритмов, осуществлять коррекцию навигационных параметров в реальном времени, корректно формировать синтезированное изображение местности, которое затем комплексируется с изображениями, получаемыми от оптико-электронной станции, и выводится на индикаторы ЛА. Все вместе позволяет иметь достоверную информацию о подстилающей поверхности в различных погодных условиях, а также о положении и ориентации летательного аппарата в воздушном пространстве.

Известен патент РФ «Способ получения на летательном аппарате (ЛА) улучшенного изображения подстилающей поверхности» №2591029, G06K 9/54, опубл. 10.07.2016, который может быть использован в системах повышения ситуационной осведомленности пилотов летательных аппаратов (ЛА), а также в системах внешнего ориентирования и распознавания по видеоинформации в мобильных роботах и беспилотных ЛА.

Сущность изобретения №2591029 заключается в том, что на ЛА получают улучшенное изображение подстилающей поверхности, основанное на совмещении в бортовом компьютере ЛА сенсорной видеоинформации, полученной с помощью штатной видеокамеры ЛА, и синтезированной видеоинформации, сформированной по априорно заданной пространственной модели местности, введенной в память бортового компьютера.

Основная идея алгоритма совмещения предложенного в патенте с №2591029, заключается в использовании произвольных устойчивых топологических особенностей, которые предварительно вносятся в пространственную модель местности, а также применяется фильтр Калмана для уточненных пространственных положений виртуальной камеры.

Применение предварительно вносимых топологических особенностей требует заранее ручного указания на цифровой карте местности характерных областей, что требует огромных временных затрат для их формирования на всех цифровых картах. Также такой подход накладывает ограничения на участки коррекции навигационных данных, так как коррекция будет происходить только там, где на цифровой карте отмечены топологические особенности.

В патенте РФ «Устройство синтезированного видения» №168333, G06T 15/08, опубл. 30.07.2017, устройство относится к области построения синтезированных 3D изображений по результатам дешифрации кадров телевизионной (в видимых спектральных каналах), тепловизионной и радарной съемки в режиме реального времени на борту летательных аппаратов и может быть использовано для вывода вспомогательной информации на дисплее пилота, используемом для повышения ситуационной осведомленности пилота и принятия им решений по изменению траектории полета летательного аппарата.

Основные отличительные особенности в полезной модели:

- выполнение сегментатора по пирамидальной схеме, предполагающей сегментацию различных изображений на каждом уровне пирамиды разномасштабных изображений-представлений исходного изображения и дальнейшее объединение результатов сегментации с помощью соответствующей экспертной системы;

- выполнение классификатора, состоящим из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети;

- использование в корреляторе алгоритма ограниченных стохастических машин Больцмана;

- введение дополнительных кеширующих банков памяти, позволяющих эвристически оптимизировать работу программно-аппаратного комплекса за счет кеширования отдельных результатов работы сегментатора и классификатора.

Недостатком рассматриваемого устройства является высокая зависимость результатов работы классификатора от объема и состава обучающей выборки. Устройство может давать некорректные результаты на типе подстилающей поверхности, которая не присутствовала в обучающей выборке.

Известно изобретение «Комплексная корреляционно-экстремальная навигационная система» - патент РФ №2525601, G01C 23/00, опубл. 20.08.2014, предназначенная для обеспечения автономной высокоточной коррекции на основе использования информации о нескольких поверхностных физических полях Земли, полученной датчиками технического зрения.

В состав системы в патенте с №2591029 входят, инфракрасный (ИК) радиометр, радиолокационная станция (РЛС), преобразователь сигналов, бортовая цифровая вычислительная машина, Блок формирования комплексного текущего изображения (ТИ), Блок пороговой обработки ТИ, Блок хранения данных и Блок формирования эталонного изображения.

Основная идея уточнения навигационных данных заключается в использовании заранее подготовленной эталонной информации по фотоснимкам местности и цифровой карты местности (ЦКМ). В процессе подготовки из фотоснимков извлекаются контура и сравниваются с контурами из ЦКМ. Координаты пикселов границ на фотоснимках в «коридоре» с определенной шириной вдоль контуров ЦКМ заносятся в эталонную информацию. В качестве алгоритма совмещения используется корреляционный алгоритм, реализованный в бортовой цифровой вычислительной машине, и использует только ненулевые элементы эталонного изображения для вычисления парной критериальной функции, а экстремум функции ищется путем перебора множества комбинаций значений шестимерного вектора навигационных параметров.

Недостатками наиболее близкого аналога являются:

- большие аппаратные затраты на реализацию БЦВМ, из-за алгоритмической сложности, для обеспечения работы системы в реальном времени;

- отсутствие возможности коррекции навигационных данных, при временной потере информации от РЛС или ИК-радиометра (например в условиях сильного радиоэлектронного противодействия);

- необходимость хранения базы данных контуров по заранее сделанным фотоснимкам подстилающей поверхности;

- отсутствие методов визуализации комплексированной информации от системы синтезированного видения и оптико-электронной системы.

Задача изобретения заключается в повышении точности коррекции навигационных данных, уменьшении времени вычислений, отсутствии необходимости хранения эталонной информации, а также визуализации комплексированной информации по данным от оптических сенсоров и виртуальной модели местности с учетом коррекции навигационных данных.

На фиг. 1 представлена блок-схема навигационной комбинированной оптической системы, состоящей из: 1 - оптико-электронной системы (ОЭС), 2 - блока выделения и улучшения контуров (ВУК), 3 - блока совмещения, 4 - формирователя комплексированного изображения (ФКИ), 5 - виртуальной модели местности (ВММ), 6 - формирователя расширенного ракурса (ФРР), 7 - корреляционно-экстремального обработчика (КЭО), 8 - вычислителя навигационных поправок (ВНП), 9 - бесплатформенной инерциальной навигационной системы (БИНС).

Информационный обмен между входами-выходами блоков осуществляется по линиям связи, показанным на чертеже сплошной линией. Линии связи могут быть реализованы на базе цифрового видео-интерфейса и стандарта ARINC 818, использующего технологию Fibre Channel, что обеспечивает малую задержку и большую скорость передачи данных.

Из блока 1 поступают исходные изображения от оптико-электронной системы (ОЭС). ОЭС может представлять собой, как отдельную телевизионную камеру, так и различные комбинации сенсоров: тепловизионные, short-wavelength infrared (SWIR), long-wavelength infrared (LWIR), локатор лазерный сканирующий (ЛЛС) и др. [1].

В блоке 2 - осуществляется выделение контуров градиентными методами [2, 3], а также производится улучшение контурных препаратов с учетом специфики решаемых задач, которые подробно рассмотрены в работах [4, 5]. Выделение контуров может производиться с помощью алгоритма Canny [6], а улучшение контурных изображений - с помощью базовых морфологических операций дилатации и эрозии [3].

Блок 3 - основной вычислительный узел, который работает в двух режимах: поисковый (модуль 3.1) и следящий (модуль 3.2).

В поисковом режиме (модуль 3.1) производится:

- первичное совмещение реального изображения с виртуальным изображением, синтезированным по ЦКМ. Это совмещение реализуется с помощью оптимизированной версии корреляционно-экстремального алгоритма;

- вычисление и вывод на экран скорректированных значений шестимерного вектора навигационных параметров;

- вычисление начальных значений коэффициентов прогнозных моделей, необходимых для запуска основного режима совмещения изображений - следящего режима.

В следящем режиме (модуль 3.2) с приходом каждого нового кадра:

- вычисляются прогнозные значения шестимерного вектора навигационных параметров;

- формируется синтезированное изображение по вычисленным значениям вектора навигационных параметров;

- выполняется комплексирование синтезированного изображения местности с информацией от оптико-электронной системы с помощью формирователя комплексированного изображения.

В режиме 3.1 происходит накопление кадров изображений и отвечающих им значений навигационных параметров, поступающих от блока 9 - бесплатформенной инерциальной навигационной системы (БИНС) [7], - в количестве, равном заданной памяти прогнозной модели (5-7 кадров для ЛА самолетного типа). Пусть v₁, v₂, …, v_k - первые k значений шестимерного вектора навигационных параметров, полученные из блока 9. Для каждого из 6 параметров в составе вектора v=(x, y, h, ψ, θ, γ), где х, у, h - координаты положения в пространстве ЛА, ψ, θ, γ - углы курса, тангажа и крена соответственно, строится линейная модель по соответствующим к значениям этого параметра в блоке 3. В точке k одновременно формируется синтезированное изображение от виртуальной модели местности (блок 5). По навигационным данным, поступающим из блока 9, выполняется совмещение этого изображения с отвечающим ему реальным изображением с помощью корреляционно-экстремального алгоритма (блок 7) и находится оптимальная оценка вектора навигационных параметров в блоке 8

В режиме 3.2 для каждого i-го кадра (i>k) производится оценка параметров а₀, а₁ прогнозных моделей по k точкам, предшествующим этому кадру, выполняется прогноз каждого параметра на одну точку вперед с корректировкой прогнозного значения на величину уклонения оптимальной оценки от фактического значения данного параметра в этой точке:

где

Здесь u - один из 6 навигационных параметров.

Оценки прогнозной модели (1) находятся методом наименьших квадратов (МНК) по формулам:

где

Первое прогнозное значение параметра и находится для k+1-го кадра (j=k+1) по формуле

По полученной прогнозной оценке вектора навигационных параметров из блока 5 формируется синтезированное изображение и осуществляется комплексирование реального и виртуального изображений в блоке 4.

Оценка находится в блоке 7 с помощью оптимизированного варианта корреляционно-экстремального алгоритма в схеме с расширенным ракурсом (РР) получаемого из блока 6. Введение расширенного ракурса вместе с другими модификациями классического варианта корреляционно-экстремального алгоритма позволяет уменьшить вычислительную сложность алгоритма. Поле зрения расширяется, как показано на фиг. 2 [8], по вертикали и по горизонтали с учетом интервалов неопределенности углов тангажа и курса соответственно (которые задаются исходя из погрешностей, заявленных в БИНС). Такой подход позволяет отказаться от перебора углов курса и тангажа при поиске оптимального соответствия между реальным (РИ) и виртуальным изображениями (ВИ) и, как следствие, существенно сократить время работы корреляционно-экстремального алгоритма.

Оптимизированный вариант корреляционно-экстремального алгоритма состоит из двух этапов. Каждый этап, в свою очередь, делится на три уровня. На первом этапе осуществляется сканирования координат по широте, долготе и высоте. На втором этапе обход координат осуществляется с уменьшенным в два раза шагом вокруг точки экстремума, найденной на первом этапе. На каждом этапе для уменьшения вычислительных затрат уточнение точки глобального экстремума осуществляется за счет последовательного трехуровневого уточнения смещения левого верхнего угла обработанного реального изображения относительно левого верхнего угла расширенного виртуального изображения с учетом результатов предыдущего уровня. Значение критериальной функции вычисляется в каждом узле сетки.

На фиг. 3 приведена схема корреляционно-экстремального алгоритма совмещения

В качестве целевой функции для оценки степени совпадения реального и виртуальнгого изображений использовалась парная критериальная функция Рао [9].

Схема работы корреляционного алгоритма.

1. На первом этапе последовательно выбираются узлы заданной сетки.

2. Вычисляются значения координат точки с наибольшим значением критериальной функции из окрестности возможного глобального экстремума. Шаг перемещения РИ относительно расширенного виртуального изображения может задаваться равным 8-10 пикселям (h₁=8-10), как для перемещения по горизонтали, так и по вертикали. После того, как найдено значение максимума критериальной функции на этой сетке, запоминаются координаты (Х_отн и Y_отн) РИ относительно расширенного виртуального изображения, а так же значение максимума критериальной функции для этих координат.

3. На втором уровне формируется сетка с шагом h₂=h₁/2, т.е. 4 или 5 пикселей в окрестности точки экстремума критериальной функции. Границы области поиска выбираются по определенной схеме в зависимости от соотношения величин X_oтн, Y_oтн и шага h₁ смещений на предыдущем этапе. Для каждого смещения по координатам х, y вычисляются значения критериальной функции. Затем осуществляется поиск максимума критериальной функции в построенной области с вычислением новых значений X_oтн, Y_oтн координат РИ относительно расширенного виртуального изображения.

4. На заключительном, третьем уровне шаг смещений по каждой координате выбирается равным 1 пикселю (h₃=1), а зона поиска формируется с учетом шага h₂ смещений предыдущего уровня.

В блоке 8 осуществляется коррекция навигационных параметров. В случае поступления смещений по курсу и тангажу в пикселях от блока 7, в блоке 8 производится преобразование найденного смещения относительно РР в изменения углов курса и тангажа по следующим формулам:

где W, Н - ширина и высота реального изображения в пикселях, С_х, С_у - углы зрения камеры в градусах, X₀, Y₀ - координаты левого верхнего угла реального изображения относительно расширенного изображения от ВММ, при совмещении центров изображений, Х₁, Y₁ - координаты левого верхнего угла реального изображения после совмещения. По преобразованным угловым смещениям, а также полученным поправкам от блока 7 по остальным навигационным параметрам производится коррекция навигационных данных.

Если данные на блок 8 поступают от блока 3 в режиме 3.2, то эти прогнозные значения навигационных параметров сравниваются с данными, поступающими из блока 9.

Если модуль уклонения окажется больше заданного порога ε, то производится запуск корреляционно-экстремального алгоритма в блоке 3 (смена режима на 3.1) и с его помощью формируется новое значение поправки. Если модуль уклонения меньше заданного порога, то поступающие навигационные данные из режима 3.2 транслируются на выходы.

В блоке 4 осуществляется комплексирование изображений, полученных из блоков 1 и 6 после корректировки навигационных параметров. Сформированное комплексированное изображение выдается на МФИ экипажа ЛА, для повышения осведомленности о закабинном пространстве. Методы комплексирования информации изложены в [1].

Список литературы

1. Гравшин Е.Б., Ефимов А.И., Логинов А.А., Никифоров М.Б. Визуализация и способы слияния графической инофрмации в авиационной многоспектральной системе технического зрения // Тезисы докладов "7-я международная научно-техническая конференция " К.Э. Циолковский - 160 лет со дня рождения. Космонавтика. Радиоэлектроника. Геоинформатика"", 2017. С. 387-391.

2. Форсайт Д.А., Понс Ж. Компьютерное зрение. Современный подход. Москва: Вильямс, 2004. 928 с.

3. Гонсалес Р., Вудс Р. Цифровая обработка изображений. Москва: Техносфера, 2005. 1072 с.

4. Ефимов А.И., Новиков А.И.. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений// Компьютерная оптика. - 2016. - Т. 40, №2. - С. 258-266. -DOI: 18287/2412-6179-2016-40-2-258-266.

5. Novikov A.I., Sablina V.A., Efimov А.I., Nikiforov М.В. Contour Analysis in the tasks of real and virtual images superimposition // Journal Coupled Systems and Multiscale Dynamics, Vol. 4, No. 4, 2016. pp. 251-259.

6. Canny J. A computational approach to edge detection, Vol. PAMI-8, No. 6, Nov. 1986. pp. 679-698.

7. Матвеев B.B. Основы построения бесплатформенных инерциальных навигационных систем. СПб: Электроприбор, 2009. 280 с.

8. Elesina S., Lomteva О. Increase of image combination perfomance in combined vision systems using genetic algorithm // Proceedings of the 3rd Mediterranean Conference on Embeded Computing (MECO). Budva. 2014. pp. 158-161.

9. Елесина С.И., Ефимов А.И. Отбор критериальных функций для систем улучшенного и комбинированного видения // Известия ТулГу, технические науки, Т. 1, №9, 2013. С. 229-236.

Навигационная комбинированная оптическая система, содержащая оптико-электронную систему (ОЭС), блок выделения и улучшения контуров (ВУК), блок совмещения, формирователь комплексированного изображения (ФКИ), виртуальную модель местности (ВММ), формирователь расширенного ракурса (ФРР), корреляционно-экстремальный обработчик (КЭО), вычислитель навигационных поправок (ВНП), бесплатформенную инерциальную навигационную систему (БИНС), отличающаяся тем, что в устройстве используется блок выделения и улучшения контуров, позволяющий в реальном времени формировать контурное изображение подстилающей поверхности (КИПП) по данным, поступающим от оптико-электронной системы, которые впоследствии поступают в блок совмещения, который работает в поисковом и следящем режимах, где в первом режиме производится вычисление начальных коэффициентов прогнозной модели по данным, поступающим от бесплатформенной инерциальной навигационной системы, и передача данных в блок с оптимизированной версией корреляционно-экстремального алгоритма, содержащего два этапа сканирования по пространственным координатам и на каждом этапе по три уровня, обеспечивающих меньшее время нахождения максимума целевой функции, при перемещении в плоскости (КИПП) относительно расширенного контурного изображения виртуальной модели местности, поступающего из блока, формирующего расширенный ракурс, введение которого позволяет избежать перебора угловых координат по курсу и тангажу, а введение следящего режима позволяет прогнозировать навигационные данные, вести коррекцию навигационных параметров, при временном отсутствии информации от ОЭС, и обновлять прогнозную модель в реальном времени с учетом поправки, сформированной в поисковом режиме, а результирующая коррекция навигационных данных, а также управление режимами блока совмещения осуществляется в вычислителе навигационных поправок, от которого скорректированные навигационные данные поступают на виртуальную модель местности и формируют достоверное синтезированное изображение местности, которое комплексируется с информацией от оптико-электронной системы с помощью блока комплексирования изображений.