Способ автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения

Изобретение относится к области обработки цифровых изображений. Техническим результатом изобретения является создание более простого и дешевого способа автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения, за счет отсутствия дополнительных устройств и выполнения пересчета параметров сшивки входных изображений по объектам, расположенным в области перекрытия входных изображений. 6 з.п. ф-лы, 4 ил.

 

Изобретение относится к области обработки цифровых изображений, а более конкретно к способам автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения из видеопотока кадров и может применяться в системах видеонаблюдения для формирования панорамного изображения из видеопотока кадров, полученных с помощью устройств для цифровой видеосъемки (телекамерами, фотоаппаратами).

Панорамные изображения широко используется в современном мире для формирования изображений с высоким разрешением, воспроизведения видеопотока кадров телекамеры с широким углом обзора, визуализации информации в медицине и биологии, отображения цифровых карт местности и спутниковых фотографий.

Широко известны различные способы автоматического формирования панорамных изображений. Общая схема формирования панорамного изображения состоит из следующих шагов:

- коррекция входных изображений для исправления искажений объектива;

- поиск общих точек на входных изображениях;

- преобразование и сшивка входных изображений;

- выравнивание яркости и блендинг области перекрытия входных изображений.

Существуют несколько категорий методов нахождения общих точек на входных изображениях: прямые методы и методы, основанные на особенностях изображений. Прямые методы используют непосредственное сравнение пикселей (интенсивности цветовых компонент) с помощью различных метрик, оценивающих разницу между частями входных изображений. Устойчивость работы прямых методов обеспечивают в первую очередь предположением об идентичных настройках яркости и контрастности системы телекамер.

В последнее время значительный прогресс достигнут в использовании инвариантных особенностей входных изображений, например, популярные в последние время SIFT и SURF комбинации детекторов и дескрипторов особых точек, которые инвариантны к преобразованию подобия и также инвариантны к аффинному изменению интенсивности.

В патенте РФ №2421814 описан способ автоматического формирования панорамного изображения, в котором задействованы прямые методы поиска областей перекрытия входных изображений. Сшивку входных изображений осуществляют посредством формирования квадратной сетки, по которой устанавливают соответствия для всех узлов с помощью корреляционно-экстремальной метрики.

В свою очередь, в патенте РФ №2384882 описан способ автоматического формирования панорамного изображения, в котором находят ключевые точки и сравнивают их дескрипторы для определения смежных областей на входных изображениях.

Обычно описанные выше способы автоматического формирования панорамного изображения хорошо работают, если входные изображения получают путем поворота телекамеры с неподвижным положением оптического центра, или же входные изображения получают от системы телекамер с различным положением оптического центра на бесконечности, то есть все объекты в кадре достаточно удалены от самих телекамер. В противном случае возникают проблемы при отображении панорамного изображения, связанные с параллаксом. Если оптические центры телекамер не совпадают, то панорамное изображение формируют с артефактами, и в нем присутствуют объекты, имеющие разную удаленность от телекамер. Это связано с изменением ширины области перекрытия входных изображений: чем дальше располагается от телекамер плоскость панорамирования, тем большую область перекрытия имеют входные изображения. Параметры формирования панорамного изображения различны для разных областей перекрытия входных изображений из-за несовпадения оптических центров телекамер. Поэтому требуется их пересчитывать.

Наиболее близким к заявленному изобретению является способ автоматического формирования панорамного изображения для системы стационарных телекамер, описанный в заявке на патент US 20170018085, в котором компонуют одиночные входные изображения, сформированные телекамерами из разных положений, для формирования общего панорамного изображения. Данный способ выбран в качестве прототипа заявленного изобретения.

Недостаток способа прототипа заключается в том, что в нем используют ультразвуковые датчики или радиолокационную систему для получения позиционной информации сцены съемки (для определения дальности объектов на входных изображениях), что существенно усложняет и удорожает способ формирования панорамного изображения.

Техническим результатом изобретения является создание более простого и дешевого способа автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения, за счет отсутствия дополнительных устройств и выполнения пересчета параметров сшивки входных изображений по объектам, расположенным в области перекрытия входных изображений.

Поставленный технический результат достигнут путем создания способа автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения, в котором для системы стационарных телекамер, соединенных с сервером, выполняют следующие операции

- выполняют предварительную настройку телекамер с помощью вычислительных подсистем телекамер, при этом

- калибруют телекамеры, при этом определяют внутренние параметры телекамер,

- выполняют панорамную настройку телекамер на бесконечности, при этом определяют матрицу гомографии для телекамер, оптические центры которых не совпадают,

- сохраняют параметры предварительной настройки телекамер, по меньшей мере, в одно запоминающее устройство;

- формируют панорамное изображение, при этом

- загружают параметры предварительной настройки телекамер из запоминающего устройства в сервер,

- формируют с помощью оптических подсистем телекамер входные изображения с необходимой сценой и передают их в сервер,

- пересчитывают с помощью сервера параметры гомографии под снимаемую сцену,

- сшивают с помощью сервера входные изображения по параметрам гомографии и осуществляют их постобработку.

В предпочтительном варианте осуществления способа внутренние параметры телекамер выбраны из набора параметров, содержащего: (fx, fy) — фокусные расстояния, измеренные по ширине и высоте пикселя, делённые на пространственный размер пикселя на сенсоре телекамеры; (cx, cy) — принципиальную точку пересечения плоскости входного изображения с оптической осью, совпадающей с центром входного изображения; (k1, ..., kn) — коэффициенты радиальной дисторсии; (p1, ..., pn) — коэффициенты тангенциальной дисторсии; при этом коэффициенты радиальной дисторсии {k} не зависят от разрешения входного изображения, а значения фокусных расстояний и принципиальной точки прямо пропорциональны разрешению входного изображения.

В предпочтительном варианте осуществления способа выполняют панорамную настройку телекамер на бесконечности на основе оценки матрицы гомографии Hij, которая позволяет сопоставлять входные изображения с различных телекамер, между соседними телекамерами i и j, причем соседними считают телекамеры, которые формируют перекрывающиеся входные изображения, при этом на первом этапе формируют входные изображения с удаленной сценой, на втором этапе определяют матрицу гомографии Hij для каждой пары соседних телекамер, оптические центры которых не совпадают, по сформированным входным изображениям, после чего сохраняют параметры предварительной настройки телекамер.

В предпочтительном варианте осуществления способа пересчитывают параметры гомографии под снимаемую сцену, при этом регулируют площадь области перекрытия между входными изображениями при переходе от бесконечно удаленной сцены с известным преобразованием гомографии для телекамер к фиксированной снимаемой сцене, используя элементы h13 и h23 матрицы гомографии H, причем, если оптические центры телекамер выровнены горизонтально или вертикально, тогда используют только один из элементов h13 и h23 матрицы гомографии Hij.

В предпочтительном варианте осуществления способа, если оптические центры телекамер выровнены горизонтально или вертикально, тогда используют только один из элементов h13 и h23 матрицы гомографии Hij.

В предпочтительном варианте осуществления способа запоминающее устройство соединено с телекамерами и с сервером.

В предпочтительном варианте осуществления способа запоминающие устройства встроены в телекамеры.

Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими графическими материалами.

Фиг. 1. Схема предварительной настройки телекамер, выполненная согласно изобретению.

Фиг. 2. Схема панорамной настройки телекамер на бесконечности, выполненная согласно изобретению.

Фиг. 3. Схема формирования панорамного изображения, выполненная согласно изобретению.

Фиг. 4. Схема системы автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения, выполненная согласно изобретению.

Рассмотрим кратко принцип функционирования заявленного способа автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения, в котором для системы стационарных телекамер 1, соединенных с сервером 2 и запоминающим устройством 3 и содержащих вычислительную подсистему 4 и оптическую подсистему 5 (фиг. 1 - 4).

Сначала выполняют предварительную настройку телекамер 1, при этом выполняют следующие операции.

- калибруют телекамеры 1, при этом определяют внутренние параметры телекамер для исправления искажений, вызванных неидеальностью линз (очень актуально для широкоугольных объективов);

- выполняют панорамную настройку телекамер 1 на бесконечности, при этом определяют матрицу гомографии для телекамер 1, оптические центры которых не совпадают. Проблемы формирования панорамного изображения, которые связаны с параллаксом, в следствии которого отличаются параметры сшивки для различных расстояний, решают путем настройки панорамы на бесконечности для дальнейшей корректировки этих параметров под конкретную сцену.

Предварительную настройку телекамер 1 выполняют один раз и в дальнейшем используют найденные параметры предварительной настройки.

После получения параметров предварительной настройки формируют панорамное изображение:

- загружают параметры предварительной настройки телекамер 1,

- формируют входные изображения с необходимой сценой,

- пересчитывают параметры гомографии под снимаемую сцену,

- сшивают входные изображения по скорректированным параметрам гомографии и осуществляют их дальнейшую постобработку.

Рассмотрим более подробно осуществление заявленного способа автоматической настройки системы разнесенных в пространстве фиксированных телекамер для формирования панорамного изображения (фиг. 1 - 4).

Способ осуществляют в два этапа: сначала выполняют предварительную настройку телекамер 1 системы (фиг. 1 и фиг. 2) и в дальнейшем используют параметры предварительной настройки для формирования панорамного изображения (фиг. 3).

Предварительную настройку системы телекамер выполняют с помощью вычислительных подсистем 4 телекамер следующим образом (фиг. 1). Каждую телекамеру 1 калибруют отдельно, при этом определяют ее внутренние параметры:

(fx, fy) — фокусные расстояния, измеренные по ширине и высоте пикселя, делённые на пространственный размер пикселя на сенсоре;

(cx, cy) — принципиальная точка (точка пересечения плоскости изображения с оптической осью, совпадающая с центром изображения);

(k1, ..., kn) — коэффициенты радиальной дисторсии;

(p1, ..., pn) — коэффициенты тангенциальной дисторсии.

Известно, что коэффициенты дисторсии {k} не зависят от разрешения сформированного изображения, в то время как параметры фокуса и принципиальной точки прямо пропорциональны разрешению изображения.

Панорамная настройка системы телекамер 1 на бесконечности (фиг. 1) заключается в оценке матрицы гомографии для телекамер, оптические центры которых в общем случае не совпадают. Для нивелирования проблем при формировании панорамного изображения, связанных с параллаксом, из-за различных параметров сшивки для различных расстояний съемки, выполняют настройку телекамер на бесконечности.

Применение панорамной настройки телекамер 1 на бесконечности позволяет использовать произвольную систему телекамер 1 с различным их положением без использования специального дополнительного оборудования для пересчета параметров сшивки при смене сцены панорамирования, и адаптивно решать проблему параллакса. Дальнейшую корректировку этих параметров под конкретную сцену выполняют в процессе формирования панорамного изображения на основе известных методов (корреляционных методов, методов на основе поиска по шаблону или поиска общих точек и других).

Панорамную настройку телекамер 1 на бесконечности выполняют на основе оценки матрицы гомографии Hij между соседними телекамерами i и j согласно установленной системы телекамер, которая позволяет сопоставлять входные изображения с различных телекамер 1. Соседними считаются телекамеры, которые формируют перекрывающиеся входные изображения. На первом этапе формируют входные изображения с достаточно удаленной сценой (фиг. 2). На втором этапе определяют матрицу гомографии Hij для каждой пары соседних телекамер в системе по сформированным входным изображениям. Найденные параметры предварительной настройки системы телекамер сохраняют в запоминающем устройстве 3.

Формирование панорамного изображения выполняют следующим образом (фиг. 3). Загружают параметры предварительной настройки системы телекамер из запоминающего устройства 3 в сервер 2. Формируют с помощью оптических подсистем 5 телекамер 1 входные изображения с необходимой сценой. Автоматически пересчитывают с помощью сервера 2 параметры гомографии под снимаемую сцену, при этом регулируют площадь области перекрытия между изображениями при переходе от бесконечно удаленной сцены с известным преобразованием гомографии для телекамер к фиксированной снимаемой сцене, за это отвечают элементы h13 и h23 матрицы гомографии H. Если же оптические центры телекамер 1 выровнены горизонтально или вертикально, то достаточно поиска одного соответствующего параметра, таким образом, с помощью предварительной настройки существенно понижается размерность задачи. Формируют с помощью оптических подсистем 5 телекамер входные изображения с необходимой сценой и передают их в сервер 2. Осуществляют с помощью сервера 2 сшивку входных изображений, при этом формируют панорамное изображение.

Заявленный способ автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения имеет следующие преимущества:

- позволяет использовать произвольную систему телекамер с различным положением;

- не имеет проблемы параллакса в случае несовпадения оптических центров телекамер, за счет предварительной настройки системы телекамер на бесконечности, что нивелирует проблемы формирования панорамного изображения, связанные с параллаксом, из-за различных параметров сшивки входных изображений для различных расстояний съемки;

- не требует дополнительного оборудования для пересчета параметров сшивки входных изображений при переконфигурировании снимаемой области, за счет выполнения панорамной настройки телекамеры на бесконечности на основе оценки матрицы гомографии.

Хотя описанный выше вариант выполнения изобретения был изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла заявленного изобретения, раскрытого в прилагаемой формуле изобретения.

1. Способ автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения, в котором для системы стационарных телекамер, соединенных с сервером, выполняют следующие операции:

- выполняют предварительную настройку телекамер с помощью вычислительных подсистем телекамер, при этом

- калибруют телекамеры, при этом определяют внутренние параметры телекамер,

- выполняют панорамную настройку телекамер на бесконечности, при этом определяют матрицу гомографии для телекамер, оптические центры которых не совпадают,

- сохраняют параметры предварительной настройки телекамер по меньшей мере в одно запоминающее устройство,

- формируют панорамное изображение, при этом

- загружают параметры предварительной настройки телекамер из запоминающего устройства в сервер,

- формируют с помощью оптических подсистем телекамер входные изображения с необходимой сценой и передают их в сервер,

- пересчитывают с помощью сервера параметры гомографии под снимаемую сцену,

- сшивают с помощью сервера входные изображения по параметрам гомографии и осуществляют их постобработку.

2. Способ по п. 1, отличающийся тем, что внутренние параметры телекамер выбраны из набора параметров, содержащего: (fx, fy) — фокусные расстояния, измеренные по ширине и высоте пикселя, делённые на пространственный размер пикселя на сенсоре телекамеры; (cx, cy) — принципиальную точку пересечения плоскости входного изображения с оптической осью, совпадающей с центром входного изображения; (k1, ..., kn) — коэффициенты радиальной дисторсии; (p1, ..., pn) — коэффициенты тангенциальной дисторсии; при этом коэффициенты радиальной дисторсии {k} не зависят от разрешения входного изображения, а значения фокусных расстояний и принципиальной точки прямо пропорциональны разрешению входного изображения.

3. Способ по п. 1, отличающийся тем, что выполняют панорамную настройку телекамер на бесконечности на основе оценки матрицы гомографии Hij, которая позволяет сопоставлять входные изображения с различных телекамер между соседними телекамерами i и j, причем соседними считают телекамеры, которые формируют перекрывающиеся входные изображения, при этом на первом этапе формируют входные изображения с удаленной сценой, на втором этапе определяют матрицу гомографии Hij для каждой пары соседних телекамер, оптические центры которых не совпадают, по сформированным входным изображениям, после чего сохраняют параметры предварительной настройки телекамер.

4. Способ по п. 1, отличающийся тем, что пересчитывают параметры гомографии под снимаемую сцену, при этом регулируют площадь области перекрытия между входными изображениями при переходе от бесконечно удаленной сцены с известным преобразованием гомографии для телекамер к фиксированной снимаемой сцене, используя элементы h13 и h23 матрицы гомографии H, причем, если оптические центры телекамер выровнены горизонтально или вертикально, тогда используют только один из элементов h13 и h23 матрицы гомографии H.

5. Способ по п. 4, отличающийся тем, что, если оптические центры телекамер выровнены горизонтально или вертикально, тогда используют только один из элементов h13 и h23 матрицы гомографии H.

6. Способ по п. 1, отличающийся тем, что запоминающее устройство соединено с телекамерами и с сервером.

7. Способ по п. 1, отличающийся тем, что запоминающие устройства встроены в телекамеры.



 

Похожие патенты:

Настоящее изобретение относится к демонстрации аннотации на контрольном предметном стекле. Техническим результатом заявленного изобретения является копирование аннотации, создаваемой на эталонном предметном стекле, на контрольное предметное стекло.

Изобретение относится к области оптической проверки. Устройство для оптической проверки поверхности содержит: по меньшей мере два источника излучения с отличающимися положением и направлением испускания; по меньшей мере одно из апертуры и поглощающего излучение короба, выполненные с возможностью блокировки излучения, кроме излучения, рассеянного на поверхности; по меньшей мере одну камеру; и процессор, содержащий обученный классификатор на основе искусственного интеллекта и выполненный с возможностью: выполнять предобработку изображений, где предобработка включает в себя по меньшей мере удаление фона, обнаруживать дефект на по меньшей мере одной поверхности, где дефект обнаружен на по меньшей мере одной поверхности, если на по меньшей мере одном изображении из упомянутого набора изображений обнаружено отображение рассеянного излучения; определять тип дефекта, и является ли дефект ложным или истинным, посредством оценки обнаруженного дефекта обученным классификатором на основе искусственного интеллекта.

Изобретение относится к области вычислительной техники. Технический результат заключается в обеспечении возможности предотвращения столкновений между передвижной рабочей платформой и транспортным средством для перевозки людей.

Изобретение относится к системам видеосопровождения объектов, построенных на телевизионном (ТВ) или тепловизионном (ТПВ) принципе. Техническим результатом является предотвращение срывов сопровождения, вызываемых ограниченными допустимыми значениями относительной скорости и ускорения объектов слежения Предложен способ видеосопровождения объекта, при котором в датчике изображения используется кратно повышенная частота кадров (полей) и вводится операция преобразования видеосигнала повышенной частоты кадров (полей) в видеосигнал со стандартной частотой кадров (полей) 50 Гц путем прореживания последовательности кадров от датчика изображения, запоминания сохраняемых кадров и кратного понижения скорости считывания цифрового видеосигнала сохраняемых кадров видеопоследовательности для сопряжения с параметрами видеомонитора со стандартной частотой кадров (полей).

Изобретение относится к способу и устройству обработки оптической информации. Техническим результатом является повышение точности при обработке информации.

Изобретение относится к способу и устройству формирования цветного QR-кода по изображениям лиц. Технический результат заключается в повышении репрезентативности представления лицевой информации в цветных QR-кодах.

Изобретение относится к технологиям обработки изображений и может быть использовано в системах технического зрения. Технический результат заключается в снижении чувствительности к шумам за счет уменьшения размерности формируемого изображения.

Группа изобретений относится к медицине, а именно к определению из последовательности пикселей на изображении внешней черепно-лицевой мягкой ткани того, вероятно ли то, что субъект имеет признак нарушения строения.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении качества классификации тканей головного мозга.

Группа изобретений относится к обработке изображений для определения местонахождения изнашиваемой детали на изображении рабочего инструмента. Технический результат – сокращение времени установки в ввода в эксплуатацию, повышение надежности системы мониторинга изнашиваемых деталей.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении точности и стабильности сформированной трехмерной модели.

Изобретение относится к технологии для формирования изображения с виртуальной точки обзора. Техническим результатом является формирование изображения с виртуальной точки обзора в соответствии с множеством разных требований в отношении качества изображения.

Изобретение относится к вычислительной технике. Технический результат – обеспечение улучшенного трехмерного изображения.

Изобретение относится к области вычислительной технике. Технический результат заключается в повышении уровня безопасности работы персонала вблизи промышленного манипулятора.

Изобретение относится к области обработки сигнала трехмерного изображения. Технический результат – обеспечение возможности уменьшения глубины к жестко закодированным наложениям в сигнале трехмерного изображения.

Изобретение относится к области обработки изображений. Технический результат – обеспечение возможности поворота вокруг интересующей области в данных изображения путем поворота устройства формирования изображения.

Заявленное изобретение относится к геоинформационным системам. Техническим результатом является - создание детализированных трехмерных систем городских панорам за счет интеграции фотоизображений с трехмерной моделью, построенной с помощью буфера глубин с устранением шумов и двоений объектов.

Изобретение относится к устройству представления для представления трехмерного виртуального динамического отображения. Техническим результатом является уменьшение расстояния между виртуальным объектом и отображающей поверхностью.

Изобретение относится к аннотированию информации о точках интереса. Техническим результатом является обеспечение аннотирования информации о точках интереса на основе разделения структур.

Изобретение относится к средствам передачи данных трехмерного изображения. Техническим результатом является обеспечение динамической смены формата видеоданных в течение сигнала отображения, содержащего различные форматы видеоданных.

Изобретение относится к средствам виртуальной реальности игровых устройств. Технический результат заключается в расширении арсенала средств игровых устройств.
Наверх