Способ обработки видеопотока в системе видеонаблюдения

Изобретение относится к средствам видеонаблюдения. Технический результат заключается в повышении качества обработки водеопотока. Способ обработки видеопотока в системе видеонаблюдения, состоящий в том, что обеспечивают, по крайней мере, один программируемый микросервер на базе аппаратной платформы система-на-кристалле; к упомянутому микросерверу напрямую через высокоскоростной аппаратный интерфейс подключают сенсор, выполненный с возможностью формирования кадров видеопотока; обеспечивают связь упомянутого микросервера с главным сервером системы видеонаблюдения; осуществляют высокоуровневую обработку упомянутым микросервером полученного видеопотока до его преобразования; в случае нарушения связи с главным сервером обеспечивают высокоуровневую обработку видеопотока непосредственно упомянутым микросервером в автономном режиме с последующей передачей результатов обработки главному серверу после восстановления канала связи. 2 з.п. ф-лы.

 

Область техники, к которой относится изобретение

Изобретение относится к средствам видеонаблюдения, идентификации и сопровождения объектов, в частности к средствам обработки цифровых видеопотоков.

Уровень техники

В уровне техники известно большое количество средств обработки видеопотоков.

В качестве наиболее близкого аналога выбран известный способ анализа видеопотока, состоящий в сжатии видеопотока видеокамерой наблюдения и пересылке метаданных аналитики на сервер для дальнейшей обработки по существующим каналам связи параллельно со сжатым видеопотоком (патент RU 2632473, H04N 7/18, опубликовано 05.10.2017). Недостатками данного известного средства является невозможность программирования подсистемы анализа видео на IP-камере и дополнительная нагрузка на каналы связи. Указанные недостатки не позволяют значительно повысить качество обработки видео на сервере системы наблюдения известными методами.

Сущность изобретения

Задача, на решение которой направлено настоящее изобретение, состоит в повышении качества обработки видеопотока в системах видеонаблюдения.

В ходе решения указанной задачи обеспечивается возможность получения следующей совокупности технических результатов: равномерная загрузка вычислительных мощностей за счет переноса части функционала главного сервера системы на уровень средств фиксирования видеопотока, повышение надежности обработки видеопотока за счет автономной работы средств фиксирования видеопотока.

Указанные технические результаты достигаются тем, что способ обработки видеопотока в системе видеонаблюдения состоит в том, что

- обеспечивают, по крайней мере, один программируемый микросервер на базе аппаратной платформы система-на-кристалле;

- к упомянутому микросерверу напрямую через высокоскоростной аппаратный интерфейс подключают сенсор, выполненный с возможностью формирования кадров видеопотока;

- обеспечивают связь упомянутого микросервера с главным сервером системы видеонаблюдения;

- осуществляют высокоуровневую обработку упомянутым микросервером полученного видеопотока до его преобразования;

- в случае нарушения связи с главным сервером обеспечивают высокоуровневую обработку видеопотока непосредственно в упомянутом микросервером в автономном режиме с последующей передачей результатов обработки главному серверу после восстановления канала связи.

Указанные технические результаты достигаются также тем, что высокоуровненая обработка видеопотока включает метаописание видеопотока, ранжирование кадров видеопотока по важности с точки зрения критериев наблюдения, сегментацию отдельных кадров по степени важности, идентификацию в кадре элементов, представляющих собой конфиденциальную или персональную информацию.

Указанные технические результаты достигаются также тем, что на главный сервер передают данные с нескольких микросерверов для централизованного хранения.

Сведения, подтверждающие возможность осуществления изобретения

Обработка потока видеокадров в системах наблюдения подразумевает:

- низкоуровневую обработку видео с помощью известных алгоритмов цифровой обработки сигналов: подавление шума, повышение визуального качества, компрессию для передачи по каналам связи, декомпрессию на принимающей стороне, и

- высокоуровневую обработку видео с помощью алгоритмов машинного зрения, распознавания образов и пр.

Существующие программно-аппаратные решения предполагают, что низкоуровневая обработка видео производится непосредственно на IP-камере наблюдения аппаратным способом и в незначительной степени на сервере видеонаблюдения (декомпрессия). Высокоуровневая обработка видео со множества камер производится на сервере видеонаблюдения программным способом и в незначительной степени на IP-камере наблюдения (детектирование движения в кадре). Сервер видеонаблюдения и IP-камеры наблюдения связаны цифровыми каналами связи, качество которых в общем случае не гарантировано, а пропускная способность не позволяет транслировать цифровое видео без значительного сжатия.

Таким образом, в известных системах значительная часть обработки видео (компрессия и декомпрессия) является вынужденной, не несет полезного функционала и неэффективно расходует вычислительные ресурсы. При этом качество высокоуровневой обработки на сервере заведомо ухудшается из-за потерь качества видео при его вынужденном сжатии перед передачей в сервер на базе узких и нестабильных каналов связи.

Настоящее изобретение позволяет повысить качество обработки видеопотоков. Суть изобретения состоит в распределении обработки видеопотоков по всем компонентам системы видеонаблюдения, включая средства фиксирования видеопотока (например, IP-камеры) и серверы обработки видео. Способ предполагает автоматическую обработку видео для:

- метаописания видео в терминах: объект, класс объекта (человек, автомобиль, животное и т.п.), параметры движения, взаимодействия с другими объектами; с целью быстрого поиска в архиве фрагментов видео по описанию сцены;

- ранжирования кадров видеопотока по важности с точки зрения системы наблюдения с целью долговременного архивирования важных фрагментов видео;

- сегментации отдельных кадров видео на важные и неважные с точки зрения системы участки с целью долговременного архивирования важных участков с наивысшим качеством;

- нахождения в видеопотоке элементов кадра, содержащих конфиденциальную информацию или персональные данные с целью маскирования найденных данных в видеопотоке, публикуемых в сетях общего доступа.

В результате переноса части высокоуровневой обработки в качестве функционала средства фиксирования вдеокадров, повышается качества обработки видео в целом.

В предлагаемом способе IP-камера наблюдения замещается программируемой вычислительной платформой (микросервером), достаточной для обработки единичного видеопотока мощности. Микросервер создается на базе аппаратной платформы система-на-кристалле (SoC) и позволяет перенести с сервера программное обеспечение, реализующего требуемый функционал. По сути функционал IP-камеры реализуется микросервером, который выступает в качестве одной из компонент системы видеонаблюдения.

Типичная SoC содержит:

- один или несколько микроконтроллеров, микропроцессоров или ядер цифровой обработки сигналов (DSP);

- банк памяти, состоящий из модулей ПЗУ, ОЗУ, ППЗУ или флеш;

- источники опорной частоты, например, кварцевые резонаторы и схемы ФАПЧ (фазовой автоподстройки частоты);

- таймеры, счетчики, цепи задержки после включения;

- блоки, реализующие стандартные интерфейсы для подключения внешних устройств: USB, FireWire, Ethernet, USART, SPI;

- блоки цифро-аналоговых и аналого-цифровых преобразователей;

- регуляторы напряжения и стабилизаторы питания.

В программируемые SOC часто входят также блоки программируемых логических матриц - ПЛМ, а в программируемые аналого-цифровые SOC - еще и программируемые аналоговые блоки.

Блоки могут быть соединены с помощью шины собственной разработки или стандартной конструкции, например, АМВА в чипах компании ARM. Если в составе чипа есть контроллер прямого доступа к памяти (ПДП), то с его помощью можно заносить данные с большой скоростью из внешних устройств напрямую в память чипа, минуя процессорное ядро.

Микросервер SoC в соответствии с настоящим изобретением реализует полный серверный функционал высокоуровневой обработки для единичного видеопотока и в общем случае может действовать автономно, без связи с сервером наблюдения. На сервере системы наблюдения реализуется функционал обработки еще более высокого уровня, в частности сбор и централизованное индексируемое архивирование видеопотоков и метаданных со множества микросерверов, а также функционал анализа видео сразу со множества источников.

Технический результат достигается за счет высокоуровневой обработки видео непосредственно на месте наблюдения, когда кадры видеопотока доступны в исходном максимальном качестве и отсутствуют артефакты сжатия, задержки и потери при передаче видео по сети, а также за счет выполнения аналитики более высокого уровня на главном сервере системы видеонаблюдения.

Одним из сценариев высокоуровневой обработки на главном сервере, к которому подключены множество микросерверов, является межкамерное сопровождение объектов по всей наблюдаемой территории.

Другим сценарием является сбор видеопотоков и метаданных с микросерверов в исходном виде и ретрансляция во внешние сети, в том числе в интернет, доработанных видеопотоков с замаскировынными по метаданным конфиденциальными частями видео.

Еще одним возможным сценарием является интеллектуальное ведение архива видео и метаданных с микросерверов, когда в долговременное хранилище помещаются только значимые фрагменты видео.

1. Способ обработки видеопотока в системе видеонаблюдения, состоящий в том, что

- обеспечивают по крайней мере один программируемый микросервер на базе аппаратной платформы система-на-кристалле;

- к упомянутому микросерверу напрямую через высокоскоростной аппаратный интерфейс подключают сенсор, выполненный с возможностью формирования кадров видеопотока;

- обеспечивают связь упомянутого микросервера с главным сервером системы видеонаблюдения;

- осуществляют высокоуровневую обработку упомянутым микросервером полученного видеопотока до его преобразования;

- в случае нарушения связи с главным сервером обеспечивают высокоуровневую обработку видеопотока непосредственно упомянутым микросервером в автономном режиме с последующей передачей результатов обработки главному серверу после восстановления канала связи.

2. Способ по п. 1, отличающийся тем, что высокоуровневая обработка видеопотока включает метаописание видеопотока, ранжирование кадров видеопотока по важности с точки зрения критериев наблюдения, сегментацию отдельных кадров по степени важности, идентификацию в кадре элементов, представляющих собой конфиденциальную или персональную информацию.

3. Способ по п. 1, отличающийся тем, что на главный сервер передают данные с нескольких микросерверов для централизованного хранения.