Способ и система анализа статичных объектов в видеопотоке
Владельцы патента RU 2723900:
Общество с ограниченной ответственностью "Скайтрэк" (ООО "Скайтрэк") (RU)
Изобретение относится к вычислительной технике. Технический результат заключается в автоматизации выявления оставленного или изменившего местоположение статического объекта в качестве инцидента с обеспечением связывания инцидента с распознанным человеком. Способ анализа статичных объектов в видеопотоке, в котором получают кадры от камер наблюдения, отображающие изображения области контроля; осуществляют обработку полученных кадров, удаляя области движущихся объектов и исключая из анализа людей, регистрируя их координаты в базе; формируют эталонное изображение фона области контроля на основании обработанных кадров; динамически обновляют эталонное изображение; осуществляют формирование бинарного изображения разности текущего изображения зоны интереса, полученного из видеопотока, с эталонным изображением; определяют область интереса, содержащую статичный объект; осуществляют анализ изменения области статичного объекта по сравнению с эталонным изображением; идентифицируют людей и траектории их перемещения в области интереса; связывают статичный объект в области интереса с идентифицированным человеком в области контроля; определяют тип взаимодействия с статичным объектом идентифицированного человека и формируют сведения об инциденте. 2 н. и 7 з.п. ф-лы, 10 ил.
ОБЛАСТЬ ТЕХНИКИ
Заявленное изобретение относится к средствам обработки цифровых данных, в частности, предназначенных для автоматического анализа видеопотока.
УРОВЕНЬ ТЕХНИКИ
Существующей проблемой с развитием уровня техники в области систем автоматизированного видеоконтроля является распознавание и отслеживание статичных объектов, которые присутствуют в кадре одновременно с движущимися людьми. Для целей повышения качества видеоаналитики необходимо обеспечить возможность детектирования конкретного человека для целей связывания воздействий на статичные объекты с его стороны.
Известен метод для обнаружения оставленного предмета в видеопотоке, который учитывает появление персоны в кадре, связанной с оставленным предметом (US 20190197313 A1, Hitachi Kokusai Electric Inc., 27.06.2019). Недостатком данного метода является способ выделения человека в кадре. В представленном методе реализована система поиска человека по лицу, что может отразится на качестве детектирования, так как человек не всегда смотрит в камеру, а при отсутствии ключевых точек лица, человек найден не будет. Так же известный метод не предполагает идентификацию персоны и не позволяет связать оставленный предмет с конкретным человеком.
Известен также метод обнаружения оставленных предметов (CN 102902960 A, 30.01.2013). Недостатком данного метода является фильтрация людей как динамически изменяемых объектов, что ведет к потере информации, необходимой для определения источника оставленного или изменившего свое местоположение предмета.
Известен метод, раскрывающий тип события, был ли предмет оставленным или унесенным (US 20140233793 A1, Canon Inc., 21.08.2014). Недостатком метода является ограниченная область исследования, вручную задаваемая человеком-оператором. Подобное ограничение не позволяет оценить всю область, захватываемую камерой, в которой также возможно рассматриваемое событие. Также, данный метод не анализирует конкретного человека и траекторию его перемещения для целей связывания распознанного человека со статичным объектом, с которым было осуществлено действие с его стороны.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Решением существующей технической проблемы является создание эффективного способа для обеспечения видеоконтроля за статичными объектами в области контроля.
Технический результат заключается в автоматизации выявления оставленного или изменившего местоположение статического объекта в качестве инцидента с обеспечением связывания инцидента с распознанным человеком.
Дополнительным результатом является также повышение точности детектирование изменений статических объектов в области наблюдения за счет динамического обновления эталонного кадра.
Заявленный технический результат достигается за счет осуществления компьютерно-реализуемого способа анализа статичных объектов в видеопотоке, выполняемый с помощью процессора и содержащий этапы, на которых:
получают по меньшей мере два кадра от по меньшей мере одной камеры наблюдения, отображающие изображения области контроля;
осуществляют обработку полученных кадров, в ходе которой удаляют области, движущихся объектов и исключают из анализа людей, регистрируя их координаты в базе;
формируют эталонное изображение фона области контроля на основании обработанных кадров;
динамически обновляют эталонное изображение на основании получения видеопотока области контроля в реальном времени;
осуществляют формирование бинарного изображения разности текущего изображения зоны интереса, полученного из видеопотока, с эталонным изображением;
определяют по меньшей мере одну область интереса, содержащую по меньшей мере один статичный объект;
осуществляют анализ изменения упомянутой области статичного объекта по сравнению с эталонным изображением;
идентифицируют людей и траектории их перемещения в области интереса;
связывают статичный объект в области интереса с по меньшей мере одним идентифицированным человеком в области контроля на основании анализа упомянутых траекторий перемещений и времени упомянутого изменения области статичного объекта;
определяют тип взаимодействия с упомянутым статичным объектом идентифицированного человека и формируют сведения об инциденте.
В одном из частных примеров осуществления способа удаление изображений людей осуществляется с помощью по меньшей мере одной модели машинного обучения.
В другом частном примере осуществления способа, тип взаимодействия со статичным объектом выбирается из группы: появление в кадре, изменение первоначального положения, исчезновение из кадра.
В другом частном примере осуществления способа каждый тип взаимодействия записывается в хронологическом порядке для области контроля.
В другом частном примере осуществления способа сведения об инциденте содержат по меньшей мере время события, изображение статичного объекта контроля и информацию, идентифицирующую человека.
В другом частном примере осуществления способа дополнительно выполняется анализ подобластей области статического объекта.
В другом частном примере осуществления способа, в случае если расстояние между подобластями менее заданного порога, то подобласти объединяются в единую область.
В другом частном примере осуществления способа идентификация людей в кадре осуществляется с помощью распознавания лиц и/или анализа изображения силуэта.
Заявленное изобретение также осуществляется за счет компьютерной системы анализа статичных объектов в видеопотоке, которая содержит по меньшей мере один процессор и по меньшей мере одно средство памяти, содержащее машиночитаемые инструкции, которые при их выполнении процессором реализуют вышеуказанный способ.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 иллюстрирует блок-схему процесса выполнения заявленного способа.
Фиг. 2 – Фиг. 4 иллюстрируют пример анализа области контроля.
Фиг. 5 – Фиг. 7 иллюстрируют обработку статичного объекта в кадре.
Фиг. 8 – Фиг. 9 иллюстрируют пример объединения смежных областей статического объекта.
Фиг. 10 иллюстрирует общий вид вычислительной системы.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
На Фиг. 1 представлен процесс выполнения заявленного способа (100) анализа статичных объектов в видеопотоке. Видеопоток, подлежащий обработке, может получаться с одной или нескольких камер наблюдения (IP-камеры, PTZ камеры и т.п.). Полученный видеопоток передается на обработку в компьютерную систему на базе вычислительного устройства, например, сервер.
На этапе получения видеопотока осуществляется анализ поступающих кадров (101) на предмет выявления в них областей интереса для последующей обработки. Для реализации способа (100) достаточно первичного получения как минимум двух кадров, на которых содержится изображение области контроля. Запись видеоданных производится в режиме реального времени для обеспечения актуальности информирования о регистрации полезных изменений объектов.
На Фиг. 2 представлен пример отображения области контроля, захватываемый с помощью камеры видеонаблюдения (20). С помощью обработки получаемого видеопотока осуществляется выделение областей контроля, которые относятся как к динамическим объектам, например, людям (201-202), дверям (204), так и к статическим объектам (203).
Полученные на этапе (101) кадры от камеры наблюдения (20) обрабатываются на этапе (102) на предмет исключения изображений, относящихся к людям (201-202). Данная обработка может выполняться с помощью модели машинного обучения, представляющей собой искусственную нейронную сеть (ИНС), обученную на анализ и выявление изображений людей на кадрах, получаемых с камер (20).
Как показано на Фиг. 3 – Фиг. 4 изображения людей (201-202) и иные динамические объекты в кадре (204) удаляются. При этом области фиксации динамических объектов (204), не относящихся к людям, замещаются изображением их статического вида, например, закрытая дверь.
При удалении областей изображения людей (201-202) на этапе (102) параллельно осуществляется запись их координат местоположения в кадре (105) в базу данных для формирования треков их перемещения.
По итогу выполнения этапа (102) обработанное изображение области контроля, содержащее статический объект (203), представленное на Фиг. 4, формируется эталонное изображение области контроля. Эталонное изображение динамически обновляется по итогу поступления новых кадров от камеры (20).
Далее на этапе (103) изображение области контроля, принятое в качестве эталонного, также анализируется на наличие динамических объектов в кадре с повторением действий на этапах (102) и (105).
При следующем обновлении кадра на этапе (108), в случае отсутствия динамических объектов в нем, сегменты области, занимаемые динамическим объектом ранее, замещаются новыми эталонными значениями (109), получаемыми с новых изображений. Таким образом, эталонное изображение обновляется до тех пор, пока не будет полностью состоять из установившихся значений, что обеспечивает когнитивность алгоритма.
Вычисление статических и динамических объектов в серии последовательных изображений зоны интереса на этапах (102)-(103) осуществляется с применением Гауссовского фильтра. Сглаживание изображения Гауссовым фильтром необходимо для минимизации попиксельной разницы между исследуемым кадром и эталонным значением, что позволит избежать появления лишних статических объектов в области контроля.
Как представлено на Фиг. 5 – Фиг. 7 выполняется формирование бинарного изображения разности текущего кадра с эталонным изображением с учетом проверки интенсивности пикселя и цветового баланса. В случае превышения пороговых значений разности в интенсивности и цветовом балансе пикселя, данному пикселю присваивается значение 1, в противном случае 0. В результате, формируется бинарная картина статических объектов (203) в серии кадров области контроля.
Бинарная картина разности эталонного изображения области контроля с текущим изображением области контроля обрабатывается фильтром логического вычитания по окрестности. Фильтр обнуляет белый пиксель, если в окрестности белого пикселя есть хотя бы один черный пиксель. Настоящий фильтр помогает избежать регистрации лишних артефактов в бинарной картине разности.
Результатом выполнения данного преобразования является бинарная картина статических объектов в области контроля.
В случае регистрации статических изменений в области контроля, область регистрации выделяется и исследуется на последующие изменения в ней, в случае возникновения попиксельной динамики в конкретной области, вся зарегистрированная область вычитается из дальнейшего анализа.
На Фиг. 8 – Фиг. 9 представлен пример агрегации смежных изменения статических объектов в области интереса (203), которая может выполняться на этапе (104). Данная агрегация необходима в случае если статический объект контроля (203) представлен в виде нескольких элементов или имеет аморфное тело, например, пакет, мешок и т.п. Применения данного шага позволяет исключить возможную дезинтеграцию статического объекта на кадре.
Для этого выполняется анализ подобластей, которые формируют область интереса (203) статического объекта, в частности, выполняется анализ расстояний между смежными подобластями статического объекта, которые объединяются в единую область в случае если значение расстояния не превышает установленное пороговое значение. Таким образом повышается точность выявления статического объекта (203) в кадре.
Формирование инцидента о зарегистрированном полезном изменении в области контроля происходит только после проверки наличия задетектированного человека в области статического изменения в конкретный момент времени, что выполняется на этапах (105-107). Время полезного статического изменения фиксируется и сравнивается с базой данных о треках задетектированных людей в конкретной области, в тот же самый момент времени. После чего формируется инцидент о полезном статическом изменении в зоне интереса с привязкой к конкретному человеку.
По каждому задетектированному человеку в области контроля записываются координаты их перемещения, а также записывается траектория их перемещений. Записанные траектории анализируются для выявления полезных изменений с наблюдаемыми статическими объектами (203) в кадре, либо для фиксации появляющихся новых статических объектов.
Распознавание людей может выполняться с помощью различных известных алгоритмов, например, распознавание лиц, анализ силуэтов и т.п. Примеры данных технологий широко известны из уровня техники.
На этапе (110) выполняется распознавание человека и типа полезного изменения статического объекта (203) в области контроля. При формировании инцидента (этап 111) осуществляют связывание статичного объекта (203) в наблюдаемой области интереса с идентифицированным человеком на основании анализа траектории его перемещения и времени упомянутого изменения области статичного объекта. Тип взаимодействия может представлять собой следующее: появление объекта в кадре, изменение первоначального положения объекта, исчезновение объекта из кадра.
Таким образом, заявленное решение позволяет сформировать информацию об инциденте при распознавании одного или нескольких полезных изменений, связанных со статическими объектами в кадре. Каждый тип взаимодействия записывается в хронологическом порядке для области контроля.
Сведения об инциденте могут включать в себя следующую информацию: время события, изображение статичного объекта контроля и информацию, идентифицирующую человека, например, имя и фамилия, должность, возраст, фотография и т.п. Дополнительно может осуществляться запрос дополнительных данных по зафиксированному человеку, например, данные об объявлении в розыск, перемещение вне области контроля и др.
На этапе (112) обработанные объекты, связанные с инцидентами, добавляются к эталонному изображению, которое обновляет отображение эталонного кадра для последующего анализа видеопотока. В случае если произошла регистрация полезного изменения, все последующие изменения, касающиеся этой области, проверяются на появление новых полезных изменений, из чего также делаются выводы о типах полезных изменений.
Сформированный инцидент сохраняется в базе данных. Также может быт реализована функция оперативной отправки сформированного инцидента на пульт охраны, либо на мобильное устройство ответственного сотрудника. Передача данных об инцидентах может осуществляться посредством стандартизованных каналов передачи данных, например, ЛВС, Интернет, Wi-Fi и т.п.
На Фиг. 10 представлен общий пример системы на базе вычислительного компьютерного устройства (300), которое может применяться для реализации заявленного способа. В общем случае устройство (300) содержит такие компоненты, как: один или более процессоров (301), по меньшей мере одну оперативную память (302), средство постоянного хранения данных (303), интерфейсы ввода/вывода (304), средство В/В (305), средства сетевого взаимодействия (306).
Процессор (301) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (300) или функционала одного или более его компонентов. Процессор (301) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (302).
Память (302), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал. Средство хранения данных (303) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (303) позволяет выполнять долгосрочное хранение различного вида информации, например, истории обработки запросов (логов), идентификаторов пользователей, данные камер, изображения и т.п.
Интерфейсы (304) представляют собой стандартные средства для подключения и работы с камерами (20) или иными вычислительными устройствами. Интерфейсы (304) могут представлять, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п. Выбор интерфейсов (304) зависит от конкретного исполнения устройства (300), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п., а также подключаемых сторонних устройств.
В качестве средств В/В данных (305) может использоваться: клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.
Средства сетевого взаимодействия (306) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средства (406) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.
Компоненты устройства (300), как правило, сопряжены посредством общей шины передачи данных.
В качестве камер (20) могут применяться различные типы камер, например, IP видеокамеры, PTZ-камеры и т.п. Камеры (20) могут осуществлять передачу данных на устройство (300) с помощью проводного и/или беспроводного канала передачи данных, например, посредством TCP/IP протокола, Ethernet подключения и т.п.
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.
1. Компьютерно-реализуемый способ анализа статичных объектов в видеопотоке, выполняемый с помощью процессора и содержащий этапы, на которых:
- получают по меньшей мере два кадра от по меньшей мере одной камеры наблюдения, отображающие изображения области контроля;
- осуществляют обработку полученных кадров, в ходе которой удаляют области движущихся объектов и исключают из анализа людей, регистрируя их координаты в базе;
- формируют эталонное изображение фона области контроля на основании обработанных кадров;
- динамически обновляют эталонное изображение на основании получения видеопотока области контроля в реальном времени;
- осуществляют формирование бинарного изображения разности текущего изображения зоны интереса, полученного из видеопотока, с эталонным изображением;
- определяют по меньшей мере одну область интереса, содержащую по меньшей мере один статичный объект;
- осуществляют анализ изменения упомянутой области статичного объекта по сравнению с эталонным изображением;
- идентифицируют людей и траектории их перемещения в области интереса;
- связывают статичный объект в области интереса с по меньшей мере одним идентифицированным человеком в области контроля на основании анализа упомянутых траекторий перемещений и времени упомянутого изменения области статичного объекта;
- определяют тип взаимодействия с упомянутым статичным объектом идентифицированного человека и формируют сведения об инциденте.
2. Способ по п.1, характеризующийся тем, что удаление изображений людей осуществляется с помощью по меньшей мере одной модели машинного обучения.
3. Способ по п.1, характеризующийся тем, что тип взаимодействия со статичным объектом выбирается из группы: появление в кадре, изменение первоначального положения, исчезновение из кадра.
4. Способ по п.3, характеризующийся тем, что каждый тип взаимодействия записывается в хронологическом порядке для области контроля.
5. Способ по п.1, характеризующийся тем, что сведения об инциденте содержат по меньшей мере время события, изображение статичного объекта контроля и информацию, идентифицирующую человека.
6. Способ по п.1, характеризующийся тем, что дополнительно выполняется анализ подобластей области статического объекта.
7. Способ по п.6, характеризующийся тем, что в случае если расстояние между подобластями менее заданного порога, то подобласти объединяются в единую область.
8. Способ по п.1, характеризующийся тем, что идентификация людей в кадре осуществляется с помощью распознавания лиц и/или анализа изображения силуэта.
9. Система для анализа статичных объектов в видеопотоке, содержащая по меньшей мере один процессор и по меньшей мере одно средство памяти, содержащее машиночитаемые инструкции, которые при их выполнении процессором реализуют способ по любому из пп. 1-8.
