Система и способ отображения движущихся объектов на карте местности
Изобретение относится к области визуализации данных на карте местности, а более конкретно к анализу видеоданных, получаемых от камер, привязанных к интерактивной карте местности, для последующего отображения в режиме реального времени всех движущихся в кадре объектов на упомянутой карте местности. Система отображения движущихся объектов на интерактивной карте местности содержит видеокамеры, трекер объектов и устройство обработки и хранения данных, на котором установлен графический пользовательский интерфейс. Графический пользовательский интерфейс содержит устройство обработки и хранения данных, а именно блок отображения, блок настройки слоев интерактивной карты и блок задания угла обзора видеокамер. При этом устройство обработки и хранения данных сконфигурировано для получения видеоданных от видеокамер, а также для получения метаданных всех движущихся объектов от трекера объектов. Достигается обеспечение отображения в режиме реального времени изображений реальных движущихся объектов на интерактивной карте местности. 3 н. и 26 з.п. ф-лы, 3 ил.
ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к области визуализации данных на карте местности, а более конкретно к анализу видеоданных, получаемых от камер, привязанных к интерактивной карте местности, для последующего отображения в режиме реального времени всех движущихся в кадре объектов на упомянутой карте местности.
УРОВЕНЬ ТЕХНИКИ
Системы видеонаблюдения (безопасности, контроля) используются для охраны и контроля помещений или территорий. При этом упомянутые охранные системы могут быть очень больших масштабов, то есть включать в себя как уличное видеонаблюдение, так и контроль внутри зданий. Для огромной подконтрольной территории используются автоматизированные системы видеонаблюдения. В общем случае такие системы опираются на алгоритмы обработки изображений и распознавания образов, позволяющие анализировать видео без прямого участия человека. В зависимости от конкретных целей, системы видеонаблюдения могут реализовывать множество функций, например, таких как: обнаружение объектов, слежение за движением объектов, идентификация объектов, поиск интересующих объектов и многое другое.
Когда система видеонаблюдения выявляет потенциально опасную ситуацию или подозрительные действия объектов в кадре, оператор системы сразу же оповещается. Для принятия решения о дальнейших действиях по нейтрализации потенциально опасной ситуации оператор системы просматривает видео с одной или нескольких видеокамер, в области зрения которых видно происшествие. Однако движущиеся объекты, например, люди или автомобили, как правило очень быстро перемещаются из области зрения одной видеокамеры в область зрения другой. В связи с этим оператору системы может быть не совсем удобно быстро переключаться между различными видеокамерами и следить за ситуацией в целом. Когда идет речь о реагировании на потенциально опасную ситуации в режиме реального времени, очень важно видеть картину полностью и не упускать ни единой детали. Для такого случая было бы более наглядно и удобно видеть движущиеся объекты и все их действия прямо на карте местности, а не переключаться между различными видеокамерами.
Из уровня техники известны различные решения, характеризующие отображение меток движущихся объектов на карте местности. Примером может служить мобильное приложение «Яндекс.Навигатор» или такое решение как «Яндекс.Карты», которое показывает в режиме реального времени местоположение всего общественного транспорта. А работает это так: каждое транспортное средство оборудовано устройствами GPS и ГЛОНАСС, которые раз в 20-60 секунд передают по мобильному интернету сигналы о своем местоположении на сервер перевозчика. Далее система получает от перевозчиков ID машины, номер маршрута, тип транспорта (автобус, троллейбус, трамвай или маршрутка), время сигнала и координаты. Система осуществляет проверку транспортного средства (едет ли оно по своему маршруту или нет) и после успешной проверки транспортное средство отображается на карте в виде метки.
Основным отличием такого рода решений от заявляемого нами решения является использование датчиков для определения местоположения объектов. При этом движущиеся объекты отображаются на карте местности лишь как метки. Такие решения не являются достаточно наглядными для использования в системах безопасности, поскольку по меткам трудно распознать полную картину происходящего.
Что касается использования видеокамер, то из уровня техники известно решение, раскрытое в патенте US 8358808, В2, G06K 9/00, опубл. 22.01.2013, в котором описаны системы и методы для обнаружения и отслеживания объектов, таких как автомобили, по видеоданным. Системы и способы анализируют видеоданные для подсчета объектов, определения скоростей объектов и отслеживания пути объектов, не полагаясь на обнаружение и идентификацию фоновых данных в захваченных видеоданных. Система обнаружения использует одну или несколько линий сканирования для создания пространственно-временной карты, представляющей из себя временную последовательность фрагментов видеоданных, отображающих историю данных пикселей, соответствующих линии сканирования. Система обнаруживает объекты в видеоданных на основе пересечения линий на пространственно-временной карте. Система обнаруживает объект и затем записывает обнаружение для подсчета и отображения объекта в связке с видеоданными.
Основным отличием данного решения является отсутствие визуального отображения движущихся объектов на карте местности. Кроме того, известное решение является достаточно сложным в реализации и применяется только для отслеживания транспортных средств.
Наиболее близким по технической сущности является известное решение, раскрытое в патенте RU 2703152 C1, G06T 7/20, опубл. 15.10.2019, в котором описаны системы и способы для отображения схемы перемещения объектов по контролируемой местности. Система содержит: множество датчиков и/или устройств, определяющих конкретное положение объектов в заданные моменты времени; план контролируемой местности; память, хранящую архив данных, идентифицирующих объекты в определенном местоположении в определенное время, причем упомянутые данные получают от упомянутых датчиков и/или устройств в режиме реального времени; устройство отображения изображений; графический пользовательский интерфейс; устройство ввода/вывода данных; и по меньшей мере, одно устройство обработки данных, сконфигурированное для выполнения этапов, включающих: получение запроса от пользователя через графический пользовательский интерфейс, а также критериев поиска, для выполнения поиска данных о, по меньшей мере, одном объекте; выполнение поиска данных о, по меньшей мере, одном объекте по архиву данных; получение набора данных, характеризующего перемещение, по меньшей мере, одного заданного объекта по контролируемо местности, причем данные были получены от разных датчиков и/или устройств в соответствии с критериями поиска в разное время; автоматическое построение на плане контролируемой местности схемы перемещения объекта по полученному набору данных; отображение упомянутой схемы перемещения объекта на устройстве отображения изображений.
Основным отличием данного решения является тот факт, что анализируются именно архивные данные, которые получены не только от видеокамер, но и от других устройств. При этом на плане местности может быть отображена только схема перемещения объекта, а не изображение реального движущегося объекта в режиме реального времени.
Таким образом, основным недостатком предшествующего уровня техники является отсутствие быстрого, точного и более наглядного отображения в режиме реального времени всех движущихся объектов на карте местности, причем не только на улице, но и в зданиях. Заявляемое нами решение позволяет оператору системы безопасности отслеживать все движущиеся объекты просматривая только карту охраняемой местности, а не видеоданные от множества видеокамер, в области зрения которых перемещаются движущиеся объекты.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
Заявляемое техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники и на развитие уже известных решений.
Техническим результатом заявленной группы изобретений является обеспечение отображения в режиме реального времени изображений реальных движущихся объектов на интерактивной карте местности.
Данный технический результат достигается за счет того, что система отображения движущихся объектов на интерактивной карте местности содержит: несколько видеокамер, привязанных к интерактивной карте и сконфигурированных для получения видеоданных из своей области зрения; трекер объектов, выполненный с возможностью анализа видеоданных, получаемых от видеокамер, для формирования метаданных всех движущихся объектов; и по меньшей мере одно устройство обработки и хранения данных, на котором установлен графический пользовательский интерфейс (ГПИ), содержащий средства ввода и вывода данных, по меньшей мере такие, как: блок отображения, сконфигурированный для отображения интерактивной карты местности в двумерном (2D) или трехмерном (3D) виде; блок настройки слоев интерактивной карты, сконфигурированный для предоставления пользователю возможности добавлять отдельные слои для каждого этажа любого многоэтажного здания, имеющегося на интерактивной карте, при этом каждый слой представляет собой отдельную мини-карту этажа, а на полной 3D интерактивной карте каждое многоэтажное здание представляется как трехмерный объект, состоящий из нескольких слоев; блок задания угла обзора видеокамер, сконфигурированный для предоставления пользователю системы возможности задавать для каждой привязанной к интерактивной карте видеокамеры ее угол обзора на карте; при этом устройство обработки и хранения данных сконфигурировано для: получения видеоданных от видеокамер, а также получения метаданных всех движущихся объектов от трекера объектов; анализа полученных видеоданных и метаданных объектов; отображения в режиме реального времени на интерактивной карте реального изображения по меньшей мере одного движущегося объекта, именно в том местоположении на карте, где в настоящий момент находится этот движущийся объект, причем местоположение изображения на карте и само изображение движущегося объекта меняются в режиме реального времени на основании видеоданных и метаданных движущегося объекта; при этом на интерактивной карте отображаются все движущиеся объекты, которые попадают в область зрения любой из привязанных к карте видеокамер, для которых предварительно пользователем задан угол обзора на карте.
Указанный технический результат также достигается за счет способа отображения движущихся объектов на интерактивной карте местности, выполняемого компьютерной системой, содержащей, по меньшей мере, одно устройство обработки и хранения данных, на котором установлен графический пользовательский интерфейс (ГПИ), содержащий средства ввода и вывода данных, причем способ содержит этапы, на которых выполняется: отображение интерактивной карты местности в двумерном (2D) или трехмерном (3D) виде на экране; предоставление пользователю возможности посредством использования средств ГПИ добавлять отдельные слои для каждого этажа любого многоэтажного здания, имеющегося на интерактивной карте, при этом каждый слой представляет собой отдельную мини-карту этажа, а на полной 3D интерактивной карте каждое многоэтажное здание представляется как трехмерный объект, состоящий из нескольких слоев; предоставление пользователю возможности посредством использования средств ГПИ привязывать видеокамеры к интерактивной карте и задавать угол обзора на карте для привязанных видеокамер; получение видеоданных от упомянутых видеокамер; анализ полученных видеоданных посредством использования трекера объектов для формирования метаданных всех движущихся объектов; анализ полученных метаданных движущихся объектов; отображение в режиме реального времени на интерактивной карте реального изображения по меньшей мере одного движущегося объекта, именно в том местоположении на карте, где в настоящий момент находится этот движущийся объект, причем местоположение изображения на карте и само изображение движущегося объекта меняется в режиме реального времени на основании видеоданных и метаданных движущегося объекта; при этом на интерактивной карте отображаются все движущиеся объекты, которые попадают в область зрения любой из привязанных к карте видеокамер, для которых предварительно пользователем задан угол обзора на карте.
В одном частном варианте заявленного решения блок отображения сконфигурирован для отображения интерактивной карты в двух режимах: режиме отображения полной 3D интерактивной карты или режиме отображения 2D мини-карты этажа любого многоэтажного здания, имеющегося на интерактивной карте, при этом как только пользователь системы выбирает слой конкретного этажа конкретного многоэтажного здания, интерактивная карта переходит из режима отображения полной 3D интерактивной карты в режим отображения 2D мини-карты выбранного этажа, причем изображения движущихся объектов отображаются на интерактивной карте в любом из возможных режимов отображения.
В другом частном варианте заявленного решения блок отображения сконфигурирован для предоставления пользователю системы возможности поворачивать, наклонять или изменять масштаб отображаемой интерактивной карты в любом из возможных режимов отображения, причем при масштабировании карты все отображаемые на ней изображения движущихся объектов масштабируются в тех же пропорциях.
В еще одном частном варианте заявленного решения если движущийся объект попадает в область зрения нескольких видеокамер, то для отображения автоматически выбирается изображение движущегося объекта именно с той видеокамеры, с которой в настоящий момент получено наилучшее видеоизображение движущегося объекта для заданного пользователем системы угла поворота или наклона интерактивной карты.
А в другом частном варианте заявленного решения для случая, когда пользователь системы посчитает движение отображаемого на интерактивной карте движущегося объекта подозрительным, ГПИ сконфигурирован таким образом, чтобы предоставить пользователю системы возможность выбирать движущийся объект на интерактивной карте, после чего открывается полное видео с той видеокамеры, от которой получено отображаемое на карте изображение упомянутого движущегося объекта.
В еще одном частном варианте заявленного решения в блоке отображения на интерактивной карте отображаются траектории движения всех движущихся объектов за предварительно заданный пользователем системы интервал времени, причем траектории движения разных движущихся объектов отображаются разными цветами.
В другом частном варианте заявленного решения трекер объектов при анализе видеоданных делит все движущиеся объекты на такие категории как: человек, транспортное средство, группа людей.
В еще одном частном варианте заявленного решения в случае, когда при анализе видеоданных определено, что движущийся объект является человеком, при этом далее распознано лицо упомянутого человека, то рядом с изображением этого человека на интерактивной карте будет отображаться его ФИО и фотография из базы данных.
В другом частном варианте заявленного решения в случае, когда при заданном пользователем масштабе и угле наклона или поворота интерактивной карты невозможно корректно и полностью отобразить изображение движущегося объекта, то на основании метаданных упомянутого движущегося объекта для отображения будет использовано его схематичное изображение.
В еще одном частном варианте заявленного решения интерактивная карта представляет из себя план местности или открытую карту местности (OpenStreetMap).
В другом частном варианте заявленного решения если интерактивная карта является открытой картой местности OpenStreetMap, то в настройках каждой видеокамеры можно задать точные координаты ее местоположения, после чего она будет добавлена на интерактивную карту в предварительно заданную точку.
В еще одном частном варианте заявленного решения ГПИ дополнительно содержит блок задания правил, сконфигурированный для предоставления пользователю возможности задавать правила, для определения того, какие ситуации или действия движущихся объектов считать опасными или неправомерными.
В другом частном варианте заявленного решения в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил, на интерактивной карте в месте происшествия появляется значок для привлечения внимания пользователя, причем упомянутый значок будет мигать красным цветом на протяжении предварительно заданного пользователем интервала времени.
А еще в одном частном варианте заявленного решения в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил осуществляется по меньшей мере одно или комбинация из предварительно заданных пользователем действий, таких как: инициирование тревоги, sms оповещение пользователя, оповещение пользователя по электронной почте, аудио оповещение пользователя, запись видеоданных с места происшествия в архив, экспорт кадра или видеоданных.
Данный технический результат также достигается за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления способов отображения движущихся объектов на интерактивной карте местности.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - блок-схема системы отображения движущихся объектов на интерактивной карте местности.
Фиг. 2 - пример отображения движущегося объекта на мини-карте этажа многоэтажного здания.
Фиг. 3 - блок-схема одного из вариантов реализации способа отображения движущихся объектов на интерактивной карте местности.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Ниже будет приведено описание примерных вариантов осуществления заявленной группы изобретений. Однако заявленная группа изобретений не ограничивается только этими вариантами осуществления. Специалистам в данной области техники будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, могут попадать и другие варианты реализаций.
Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде компьютерных систем и способов для отображения движущихся объектов на интерактивной карте местности, а также в виде считываемого компьютером носителя данных.
На фиг. 1 представлена блок-схема одного из вариантов реализации системы для отображения движущихся объектов на интерактивной карте местности. Упомянутая система в полной своей комплектации включает в себя: несколько видеокамер (10, …, 1n), привязанных к интерактивной карте местности; трекер объектов (20); базу данных (30); и по меньшей мере одно устройство обработки и хранения данных (30, …, 3m), на котором установлен графический пользовательский интерфейс (40), содержащий средства ввода и вывода данных, по меньшей мере такие, как: блок отображения (b1), блок настройки слоев интерактивной карты (b2), блок задания угла обзора видеокамер (b3) и блок задания правил (b4). При этом видеокамеры, трекер объектов, база данных и все устройства обработки и хранения данных объединены в единую вычислительную систему посредством использования локальной сети или через интернет. Следует отметить, что для достижения заявляемого технического результата достаточно минимальной комплектации системы, в состав которой не входит база данных и блок задания правил в ГПИ.
В данном контексте под системами понимаются любые вычислительные/компьютерные системы, построенные на базе программно-аппаратных взаимосвязанных технических средств.
Видеокамеры, привязанные к интерактивной карте, сконфигурированы для получения в режиме реального времени видеоданных из своей области зрения и передачи их по сети к по меньшей мере одному устройству обработки и хранения данных.
Трекер объектов - это программный алгоритм для определения местоположения движущихся объектов в видеоданных. Посредством использования упомянутого трекера возможно выполнить обнаружение всех движущихся в кадре объектов и определить их конкретные пространственные координаты. Кроме того, упомянутый трекер объектов в некоторых реализациях может использовать нейронные сети, например, для повышения точности определения движущихся объектов.
В качестве устройства обработки и хранения данных может выступать компьютер, ноутбук, сервер, планшет и т.п. При этом для обработки данных каждое упомянутое устройство содержит одно или комбинацию из: процессора, микропроцессора, графического процессора, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер), сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных. А для хранения данных упомянутые устройства содержат, по меньшей мере одно из, но не ограничиваясь: жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические накопители информации и т.д.
Графический пользовательский интерфейс (ГПИ), установленный на по меньшей мере одном устройстве обработки и хранения данных, представляет из себя систему средств ввода и вывода данных, для обеспечения взаимодействия пользователя с вычислительным устройством, основанную на представлении всех доступных пользователю системных объектов и функций в виде графических компонентов экрана (окон, значков, меню, кнопок, списков, панелей и т.п.). При этом пользователь имеет произвольный доступ, посредством устройств ввода/вывода данных, ко всем видимым экранным объектам - блокам интерфейса, которые отображаются на дисплее. Устройство ввода/вывода данных может представлять собой, но не ограничиваясь, например, манипулятор мышь, клавиатуру, тачпад, стилус, джойстик, трекпад и т.п.
Следует отметить, что в описанную систему могут входить и любые другие известные в данном уровне техники устройства, например, такие как различного вида датчики, устройства ввода/вывода, устройства отображения (дисплеи, экраны) и т.п.
Далее будет подробно описан пример работы вышеупомянутой системы отображения движущихся объектов на интерактивной карте местности.
Рассмотрим крупную систему безопасности, например, для бизнес-городка. При этом следует отметить, что система безопасности может быть аналогичным образом сконфигурирована для абсолютно любой охраняемой территории, начиная от одного помещения/здания и доходя до целого района или города. На охраняемой территории есть несколько многоэтажных зданий. Камеры видеонаблюдения размещены как на улице, так и внутри зданий (на всех этажах, во всех требующих контроля помещениях).
Для контроля за территорией бизнес-городка и соответственно для отслеживания перемещения всех движущихся по ней объектов используется интерактивная карта местности. В общем случае интерактивная карта - это электронная карта, на которой представлена информация, привязанная к географическому контексту. В контексте данной заявки интерактивная карта представляет из себя план местности или открытую карту местности (OpenStreetMap). При этом план местности - это разновидность топографической карты или чертеж небольшого участка местности в заданном масштабе, который представляет из себя изображение в общедоступном формате. Открытая карта местности (OpenStreetMap) в свою очередь конфигурируется на основании данных геоинформационной системы (ГИС), при этом есть возможность ее редактировать (в зависимости от требований и интересов пользователя).
К упомянутой интерактивной карте привязаны все видеокамеры системы. А в случае, когда в качестве интерактивной карты выступает OpenStreetMap (OSM), в настройках каждой видеокамеры можно указать точные координаты ее местоположения. После этого каждая видеокамера будет добавлена на интерактивную карту в предварительно заданную точку.
Как уже было отмечено ранее, видеокамеры системы сконфигурированы для получения в режиме реального времени видеоданных из своей области зрения. Упомянутые видеокамеры предпочтительно размещены таким образом, чтобы полностью охватывать все помещение/территорию, при этом области зрения видеокамер могут немного пересекаться/накладываться, для получения полной картины. Таким образом при дальнейшем анализе видеоизображений легко обнаружить различные движущиеся или стационарные объекты, отследить траекторию движения объектов, идентифицировать объекты, осуществить поиск интересующих объектов, получить хорошее одно или несколько интересующих изображений по видеоданным, а также выполнить многие другие необходимые действия. Все установленные видеокамеры подключены по сети (локальной или глобальной) к одному или нескольким устройствам обработки и хранения данных, в данном случае к серверу. Кроме того, все установленные видеокамеры привязаны к карте местности. Привязку видеокамер осуществляет администратор перед началом работы системы.
При этом видеокамеры в одной из реализаций могут содержать трекер объектов, сконфигурированный для формирования метаданных объектов. Или же в другом варианте, если в системе используются самые простые видеокамеры, то трекер объектов может быть установлен на одном из устройств обработки и хранения данных, например, на сервере. Трекер объектов сконфигурирован для обработки и анализа видеоданных, получаемых от видеокамер системы, и для формирования метаданных всех движущихся в кадре объектов. Метаданными являются подробные данные обо всех объектах, перемещающихся в поле зрения каждой камеры (местоположения, траектории движений, описатели лиц, номера транспортных средств, описатели одежды и т.п.). Получаемые метаданные объектов сохраняются в память системы, вместе с соответствующими им видеоданными, для обеспечения возможности дальнейшего анализа по архивным данным. Следует отметить, что в одной из возможных реализаций трекер объектов при анализе видеоданных делит все обнаруженные движущиеся объекты на такие категории как: человек, транспортное средство, группа людей. Кроме того, как уже было отмечено ранее, трекер объектов в некоторых реализациях может использовать нейронные сети. Для примера, если оператор системы хочет, чтобы на карте местности из всех движущихся объектов отображались только люди, то для такого случая трекер объектов сконфигурирован таким образом, чтобы посредством использования нейронной сети отсеивать все другие движущиеся в кадре объекты и детектировать только людей. Аналогичным образом на карте можно отобразить только транспортные средства.
Когда все устройства системы безопасности установлены на территории и настроены должным образом, пользователь, а точнее администратор системы, приступает к настройке отображения данных на интерактивной карте местности. Ведь от наглядности данных на карте зависит точность и скорость выявления потенциально опасных происшествий, а также скорость реагирования. Для настройки отображаемых данных ГПИ, установленный на компьютере пользователя, содержит необходимые средства ввода и вывода данных (см. фиг. 1), которые будут рассмотрены более подробно ниже.
Блок отображения [b1] сконфигурирован для отображения интерактивной карты местности в двумерном (2D) или трехмерном (3D) виде. Изначально карта местности представлена в 2D виде. Однако для большей детализации и лучшей наглядности было бы хорошо видеть многоэтажные здания в 3D виде. Для достижения этой цели в ГПИ предусмотрен блок настройки слоев интерактивной карты [b2], который сконфигурирован для предоставления пользователю системы возможности добавлять отдельные слои для каждого этажа любого многоэтажного здания, имеющегося на интерактивной карте. При этом каждый слой представляет собой отдельную 2D мини-карту этажа, а на полной уже 3D интерактивной карте каждое многоэтажное здание представляется как трехмерный объект, состоящий из нескольких слоев. Таким образом, оператор в момент настройки работы системы для каждого многоэтажного здания и соответственно для каждого этажа добавляет отдельные слои. Мини-картой этажа (слоем) чаще всего является план этажа. Такое решение будет полезно и удобно в использовании для контроля за ситуацией не только на улице, но и в зданиях. Для примера, на фиг. 2 представлена мини-карта этажа одного здания.
Также ГПИ содержит блок задания угла обзора видеокамер [b3], сконфигурированный для предоставления пользователю системы возможности задавать для каждой привязанной к интерактивной карте видеокамеры ее угол обзора на карте. Следует еще раз обратить внимание, что угол обзора видеокамеры задается непосредственно на карте местности. Этот этап необходим, поскольку на интерактивной карте отображаются только те движущиеся объекты, которые попадают в область зрения любой из привязанных к карте видеокамер, для которых предварительно пользователем задан угол обзора на карте.
В свою очередь, по меньшей мере одно устройство обработки и хранения данных, например, компьютер или сервер выполняет основные этапы, необходимые для работы всей системы отображения движущихся объектов на интерактивной карте. А именно упомянутый компьютер или сервер получает видеоданные от всех привязанных видеокамер и метаданные всех движущихся объектов от трекера объектов в режиме реального времени. Далее осуществляется анализ полученных видеоданных и метаданных объектов. Во время анализа выполняются стандартные операции обработки видеоданных, такие как обнаружение объектов, распознавание, получение изображений объектов и многое другое.
Финальным этапом является отображение в режиме реального времени на интерактивной карте реального изображения по меньшей мере одного движущегося объекта, именно в том местоположении на карте, где в настоящий момент находится этот движущийся объект. При этом местоположение изображения на карте и само изображение движущегося объекта меняются в режиме реального времени на основании получаемых видеоданных и метаданных движущегося объекта. Следует отметить, что реальное изображение объекта (или проще говоря трек) представляет из себя прямоугольную область кадра видеоданных, в которой определено движение объекта.
Блок отображения [b1] сконфигурирован для отображения интерактивной карты в двух режимах: режиме отображения полной 3D интерактивной карты или режиме отображения 2D мини-карты этажа любого многоэтажного здания, имеющегося на интерактивной карте. Предположим для примера, что на экране пользователя отображается полная интерактивная 3D карта местности, на которой есть несколько многоэтажных зданий. Если пользователь хочет посмотреть, что происходит, например, на 3-ем этаже определенного здания, то тогда пользователь системы выбирает (кликает по нему мышкой) слой конкретного этажа (в данном примере третьего) конкретного многоэтажного здания. После этого интерактивная карта переходит из режима отображения полной 3D интерактивной карты в режим отображения 2D мини-карты выбранного этажа, на которой отображаются движущиеся по этажу объекты. На фиг. 2 представлен пример отображения движущегося объекта на 2D мини-карте этажа многоэтажного здания. По карте легко понять, что один из сотрудников бизнес-городка идет по коридору. Следует отметить, что изображения движущихся объектов отображаются на интерактивной карте в любом из возможных режимов отображения, однако для отображения людей на улице логично использовать полную карту, а вот для отображения людей внутри здания лучше подходит использование мини-карты этажа, поскольку движущиеся объекты отображаются в масштабе карты.
В одном из частных вариантов реализации системы блок отображения [b1] дополнительно сконфигурирован для предоставления пользователю системы возможности поворачивать, наклонять или изменять масштаб отображаемой интерактивной карты в любом из возможных двух режимов отображения (то есть выполнять любые действия, которые возможно осуществлять с трехмерным объектом). При этом при масштабировании карты все отображаемые на ней изображения движущихся объектов масштабируются в тех же пропорциях что и карта.
Кроме того, если пользователь повернул карту и при этом трек движущегося объекта ловится несколькими видеокамерами сразу, то может выполняться переключение с одной камеры на другую для более лучшего представления движущегося объекта на карте местности. То есть если движущийся объект попадает в область зрения нескольких видеокамер, то для отображения автоматически выбирается изображение движущегося объекта именно с той видеокамеры, с которой в настоящий момент получено наилучшее видеоизображение движущегося объекта для заданного пользователем системы угла поворота или наклона интерактивной карты. Например, если на видеоданных от камеры 1 хорошо видно идущего человека (то есть видно в полный рост и хорошо видно руки и лицо), а на видеоданных от камеры 2 видно затылок этого человека (поскольку он уже прошел камеру 2), то для отображения автоматически выбирается изображение человека от камеры 1.
Также для примера представим ситуацию, в которой оператор системы при просмотре интерактивной карты заметил какую-то подозрительную ситуацию или подозрительные действия/движения движущегося объекта. Например, если два человека дерутся или человек идет в опасную зону. Для такого случая ГПИ сконфигурирован таким образом, чтобы предоставить пользователю системы возможность выбирать движущийся объект на интерактивной карте (кликать по нему мышкой), после чего открывается полное видео с той видеокамеры, от которой получено отображаемое на карте изображение упомянутого движущегося объекта. По этим видеоданным оператор системы легко и быстро сможет разобраться в ситуации и принять необходимые меры безопасности.
Следует также отметить, что в одном из частных вариантов реализации система дополнительно сконфигурирована для отображения траекторий движения всех движущихся объектов на карте. А именно в блоке отображения [b1] на интерактивной карте отображаются траектории движения всех движущихся объектов за предварительно заданный пользователем системы интервал времени. При этом траектории движения разных движущихся объектов отображаются разными цветами. Допустим, оператор хочет увидеть, кто из сотрудников заходил в помещение, из которого 26 мая 2020 года пропало оборудование. Оператор в ГПИ задает интересующий его интервал времени, например, с 8:00 до 13:00, поскольку в 13:00 уже была обнаружена пропажа. После этого на карте местности можно увидеть траектории движения всех объектов, перемещающихся по территории и определить, кто именно из сотрудников и в какое конкретно время заходил в помещение. Далее при просмотре видеоданных в определенный момент легко подтвердить факт кражи и принять соответствующие меры.
Как уже было указано ранее, трекер объектов при анализе видеоданных делит все движущиеся объекты на три категории: (1) человек, (2) транспортное средство, (3) группа людей. При этом в случае, когда при анализе видеоданных определено, что движущийся объект является человеком (1), далее система пытается распознать его лицо. Возможно это сотрудник охраняемого бизнес-городка. Если лицо упомянутого человека распознано, то на интерактивной карте рядом с изображением этого человека будет отображаться его ФИО и фотография из базы данных. Также может быть отображена должность человека или любая другая предварительно заданная для отображения информация из базы данных сотрудников. Следует отметить, что база данных хранится на по меньшей мере одном устройстве обработки и хранения данных, таком как сервер.
Бывают ситуации, когда при заданном пользователем масштабе и угле наклона или поворота интерактивной карты невозможно корректно и полностью отобразить изображение (трек) движущегося объекта. Например, если оператор смотрит сверху на улицу. Для такого случая на основании проанализированных метаданных упомянутого движущегося объекта для отображения на карте будет использовано его схематичное изображение.
Как известно, автоматизированные системы безопасности обычно сконфигурированы таким образом, чтобы была возможность задавать определенные критерии или правила, для определения потенциально опасных траекторий движения объектов. ГПИ заявляемой нами системы в одной из частных реализаций также дополнительно содержит блок задания правил [b4], сконфигурированный для предоставления пользователю системы возможности задавать правила, для определения того, какие ситуации или действия движущихся объектов считать опасными или неправомерными. Такими правилами определения того, какие движения объектов являются тревожными, могут являться по меньшей мере следующие: факт наличия пересечения траектории движения объекта и некоторой поверхности в пространстве координат объектов; факт попадания траектории, по меньшей мере, одного объекта в некоторую область в пространстве координат объектов; факт покидания траектории, по меньшей мере, одного объекта некоторой области в пространстве координат объектов; факт появления траектории, по меньшей мере, одного объекта в некоторой области в пространстве координат объектов; факт исчезновения траектории, по меньшей мере, одного объекта в некоторой области в пространстве координат объектов; факт начала движения, по меньшей мере, одного объекта в некоторой области в пространстве координат объектов; факт остановки, по меньшей мере, одного объекта в некоторой области в пространстве координат объектов; определение временной длительности нахождения траектории движения, по меньшей мере, одного объекта внутри некоторой области в пространстве координат объектов; факт одновременного нахождения внутри некоторой области нескольких объектов и тому подобное. Более подробно о различных вариантах правил раскрыто в наших более ранних патентах RU 2688739 С2 и RU 2671994 С1.
Когда оператор системы задает все необходимые правила/критерии, система начинает автоматически в режиме реального времени проверять движения всех объектов. В момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил (например, если человек пересек предварительно заданную линию - графический примитив), на интерактивной карте в месте происшествия появляется значок для привлечения внимания пользователя. Это может быть значок (!) или любой другой, заданный пользователем. Если оператор системы предварительно задал интервал времени сигнализации, то упомянутый значок (!) будет мигать красным цветом (или любым другим предварительно заданным цветом) на протяжении заданного интервала времени.
Кроме того, дополнительно в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил осуществляется по меньшей мере одно или комбинация из предварительно заданных пользователем действий. Например, таких как: инициирование тревоги, sms оповещение пользователя, оповещение пользователя по электронной почте, аудио оповещение пользователя, запись видеоданных с места происшествия в архив, экспорт кадра или видеоданных. Все эти действия помогают операторам системы быстро реагировать на потенциально опасные ситуации. Для примера, если оператор системы отвлекся или отошел ненадолго, и за это время система обнаружила нарушение, то оператору приходит sms оповещение, а также выполняется аудио оповещение на его рабочем компьютере. При этом на интерактивной карте в месте происшествия мигает значок (!). Кроме того, оповещение может приходить не только оператору, но и сразу сотрудникам службы безопасности.
На фиг. 3 представлена блок-схема одного из вариантов реализации способа отображения движущихся объектов на интерактивной карте местности. Указанный способ выполняется компьютерной системой, содержащей, по меньшей мере, одно устройство обработки и хранения данных, на котором установлен графический пользовательский интерфейс (ГПИ), содержащий средства ввода и вывода данных. При этом способ содержит этапы, на которых выполняется:
(100) отображение интерактивной карты местности в двумерном (2D) или трехмерном (3D) виде на экране;
(200) предоставление пользователю возможности посредством использования средств ГПИ добавлять отдельные слои для каждого этажа любого многоэтажного здания, имеющегося на интерактивной карте, при этом каждый слой представляет собой отдельную мини-карту этажа, а на полной 3D интерактивной карте каждое многоэтажное здание представляется как трехмерный объект, состоящий из нескольких слоев;
(300) предоставление пользователю возможности посредством использования средств ГПИ привязывать видеокамеры к интерактивной карте и задавать угол обзора на карте для привязанных видеокамер;
(400) получение видеоданных от упомянутых видеокамер;
(500) анализ полученных видеоданных посредством использования трекера объектов для формирования метаданных всех движущихся объектов;
(600) анализ полученных метаданных движущихся объектов;
(700) отображение в режиме реального времени на интерактивной карте реального изображения по меньшей мере одного движущегося объекта, именно в том местоположении на карте, где в настоящий момент находится этот движущийся объект, причем местоположение изображения на карте и само изображение движущегося объекта меняется в режиме реального времени на основании видеоданных и метаданных движущегося объекта; при этом на интерактивной карте отображаются все движущиеся объекты, которые попадают в область зрения любой из привязанных к карте видеокамер, для которых предварительно пользователем задан угол обзора на карте.
Следует еще раз отметить, что данный способ может быть реализован средствами описанной ранее системы для отображения движущихся объектов на интерактивной карте местности и, следовательно, может быть расширен и уточнен всеми теми же частными вариантами исполнения, которые уже были описаны выше для реализации системы отображения движущихся объектов на интерактивной карте местности.
Кроме того, варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В данном примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном или более из различных традиционных считываемых компьютером носителе данных.
В контексте данного описания «считываемым компьютером носителем данных» может быть любая среда или средство, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции (команды) для их использования (исполнения) вычислительным устройством, например, таким как компьютер. При этом носитель данных может являться энергозависимым или энергонезависимым машиночитаемым носителем данных.
При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного решения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.
Хотя данное техническое решение было описано подробно в целях иллюстрации наиболее необходимых в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.
1. Система отображения движущихся объектов на интерактивной карте местности, содержащая:
несколько видеокамер, привязанных к интерактивной карте и сконфигурированных для получения видеоданных из своей области зрения;
трекер объектов, выполненный с возможностью анализа видеоданных, получаемых от видеокамер, для формирования метаданных всех движущихся объектов; и
по меньшей мере одно устройство обработки и хранения данных, на котором установлен графический пользовательский интерфейс (ГПИ), содержащий средства ввода и вывода данных, по меньшей мере такие, как:
блок отображения, сконфигурированный для отображения интерактивной карты местности в двумерном (2D) или трехмерном (3D) виде;
блок настройки слоев интерактивной карты, сконфигурированный для предоставления пользователю возможности добавлять отдельные слои для каждого этажа любого многоэтажного здания, имеющегося на интерактивной карте, при этом каждый слой представляет собой отдельную мини-карту этажа, а на полной 3D интерактивной карте каждое многоэтажное здание представляется как трехмерный объект, состоящий из нескольких слоев;
блок задания угла обзора видеокамер, сконфигурированный для предоставления пользователю системы возможности задавать для каждой привязанной к интерактивной карте видеокамеры ее угол обзора на карте;
при этом устройство обработки и хранения данных сконфигурировано для получения видеоданных от видеокамер, а также получения метаданных всех движущихся объектов от трекера объектов;
анализа полученных видеоданных и метаданных объектов;
отображения в режиме реального времени на интерактивной карте реального изображения по меньшей мере одного движущегося объекта именно в том местоположении на карте, где в настоящий момент находится этот движущийся объект, причем местоположение изображения на карте и само изображение движущегося объекта меняются в режиме реального времени на основании видеоданных и метаданных движущегося объекта;
при этом на интерактивной карте отображаются все движущиеся объекты, которые попадают в область зрения любой из привязанных к карте видеокамер, для которых предварительно пользователем задан угол обзора на карте.
2. Система по п. 1, в которой блок отображения сконфигурирован для отображения интерактивной карты в двух режимах: режиме отображения полной 3D интерактивной карты или режиме отображения 2D мини-карты этажа любого многоэтажного здания, имеющегося на интерактивной карте,
при этом, как только пользователь системы выбирает слой конкретного этажа конкретного многоэтажного здания, интерактивная карта переходит из режима отображения полной 3D интерактивной карты в режим отображения 2D мини-карты выбранного этажа,
причем изображения движущихся объектов отображаются на интерактивной карте в любом из возможных режимов отображения.
3. Система по п. 2, в которой блок отображения сконфигурирован для предоставления пользователю системы возможности поворачивать, наклонять или изменять масштаб отображаемой интерактивной карты в любом из возможных режимов отображения, причем при масштабировании карты все отображаемые на ней изображения движущихся объектов масштабируются в тех же пропорциях.
4. Система по п. 3, в которой если движущийся объект попадает в область зрения нескольких видеокамер, то для отображения автоматически выбирается изображение движущегося объекта именно с той видеокамеры, с которой в настоящий момент получено наилучшее видеоизображение движущегося объекта для заданного пользователем системы угла поворота или наклона интерактивной карты.
5. Система по любому из пп. 1-4, в которой для случая, когда пользователь системы посчитает движение отображаемого на интерактивной карте движущегося объекта подозрительным, ГПИ сконфигурирован таким образом, чтобы предоставить пользователю системы возможность выбирать движущийся объект на интерактивной карте, после чего открывается полное видео с той видеокамеры, от которой получено отображаемое на карте изображение упомянутого движущегося объекта.
6. Система по любому из пп. 1-3, в которой в блоке отображения на интерактивной карте отображаются траектории движения всех движущихся объектов за предварительно заданный пользователем системы интервал времени, причем траектории движения разных движущихся объектов отображаются разными цветами.
7. Система по любому из пп. 1-5, в которой трекер объектов при анализе видеоданных делит все движущиеся объекты на такие категории, как человек, транспортное средство, группа людей.
8. Система по п. 7, в которой в случае, когда при анализе видеоданных определено, что движущийся объект является человеком, при этом далее распознано лицо упомянутого человека, то рядом с изображением этого человека на интерактивной карте будет отображаться его ФИО и фотография из базы данных.
9. Система по п. 4, в которой в случае, когда при заданном пользователем масштабе и угле наклона или поворота интерактивной карты невозможно корректно и полностью отобразить изображение движущегося объекта, то на основании метаданных упомянутого движущегося объекта для отображения будет использовано его схематичное изображение.
10. Система по любому из пп. 1-4, в которой интерактивная карта представляет из себя план местности или открытую карту местности (OpenStreetMap).
11. Система по п. 10, в которой если интерактивная карта является открытой картой местности OpenStreetMap, то в настройках каждой видеокамеры можно задать точные координаты ее местоположения, после чего она будет добавлена на интерактивную карту в предварительно заданную точку.
12. Система по п. 5, в которой ГПИ дополнительно содержит блок задания правил, сконфигурированный для предоставления пользователю возможности задавать правила, для определения того, какие ситуации или действия движущихся объектов считать опасными или неправомерными.
13. Система по п. 12, в которой в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил, на интерактивной карте в месте происшествия появляется значок для привлечения внимания пользователя, причем упомянутый значок будет мигать красным цветом на протяжении предварительно заданного пользователем интервала времени.
14. Система по любому из пп. 12-13, в которой в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил, осуществляется по меньшей мере одно или комбинация из предварительно заданных пользователем действий, таких как инициирование тревоги, sms-оповещение пользователя, оповещение пользователя по электронной почте, аудиооповещение пользователя, запись видеоданных с места происшествия в архив, экспорт кадра или видеоданных.
15. Способ отображения движущихся объектов на интерактивной карте местности, выполняемый компьютерной системой, содержащей по меньшей мере одно устройство обработки и хранения данных, на котором установлен графический пользовательский интерфейс (ГПИ), содержащий средства ввода и вывода данных, причем способ содержит этапы, на которых выполняются:
отображение интерактивной карты местности в двумерном (2D) или трехмерном (3D) виде на экране;
предоставление пользователю возможности посредством использования средств ГПИ добавлять отдельные слои для каждого этажа любого многоэтажного здания, имеющегося на интерактивной карте, при этом каждый слой представляет собой отдельную мини-карту этажа, а на полной 3D интерактивной карте каждое многоэтажное здание представляется как трехмерный объект, состоящий из нескольких слоев;
предоставление пользователю возможности посредством использования средств ГПИ привязывать видеокамеры к интерактивной карте и задавать угол обзора на карте для привязанных видеокамер;
получение видеоданных от упомянутых видеокамер;
анализ полученных видеоданных посредством использования трекера объектов для формирования метаданных всех движущихся объектов;
анализ полученных метаданных движущихся объектов;
отображение в режиме реального времени на интерактивной карте реального изображения по меньшей мере одного движущегося объекта именно в том местоположении на карте, где в настоящий момент находится этот движущийся объект, причем местоположение изображения на карте и само изображение движущегося объекта меняется в режиме реального времени на основании видеоданных и метаданных движущегося объекта;
при этом на интерактивной карте отображаются все движущиеся объекты, которые попадают в область зрения любой из привязанных к карте видеокамер, для которых предварительно пользователем задан угол обзора на карте.
16. Способ по п. 15, в котором интерактивная карта может отображаться в двух режимах: режиме отображения полной 3D интерактивной карты или режиме отображения 2D мини-карты этажа любого многоэтажного здания, имеющегося на интерактивной карте,
при этом, как только пользователь системы выбирает слой конкретного этажа конкретного многоэтажного здания, интерактивная карта переходит из режима отображения полной 3D интерактивной карты в режим отображения 2D мини-карты выбранного этажа,
причем изображения движущихся объектов отображаются на интерактивной карте в любом из возможных режимов отображения.
17. Способ по п. 16, в котором пользователь системы имеет возможность посредством использования средств ГПИ поворачивать, наклонять или изменять масштаб отображаемой интерактивной карты в любом из возможных режимов отображения, причем при масштабировании карты все отображаемые на ней изображения движущихся объектов масштабируются в тех же пропорциях.
18. Способ по п. 17, в котором если движущийся объект попадает в область зрения нескольких видеокамер, то для отображения автоматически выбирается изображение движущегося объекта именно с той видеокамеры, с которой в настоящий момент получено наилучшее видеоизображение движущегося объекта для заданного пользователем системы угла поворота или наклона интерактивной карты.
19. Способ по любому из пп. 15-18, в котором для случая, когда пользователь системы посчитает движение отображаемого на интерактивной карте движущегося объекта подозрительным, ГПИ сконфигурирован таким образом, чтобы предоставить пользователю системы возможность выбирать движущийся объект на интерактивной карте, после чего открывается полное видео с той видеокамеры, от которой получено отображаемое на карте изображение упомянутого движущегося объекта.
20. Способ по любому из пп. 15-17, в котором на интерактивной карте отображаются траектории движения всех движущихся объектов за предварительно заданный пользователем интервал времени, причем траектории движения разных движущихся объектов отображаются разными цветами.
21. Способ по любому из пп. 15-19, в котором упомянутый трекер объектов при анализе видеоданных делит все движущиеся объекты на такие категории, как человек, транспортное средство, группа людей.
22. Способ по п. 21, в котором в случае, когда при анализе видеоданных определено, что движущийся объект является человеком, при этом далее распознано лицо упомянутого человека, то рядом с изображением этого человека на интерактивной карте будет отображаться его ФИО и фотография из базы данных.
23. Способ по п. 18, в котором в случае, когда при заданном пользователем масштабе и угле наклона или поворота интерактивной карты невозможно корректно и полностью отобразить изображение движущегося объекта, то на основании метаданных упомянутого движущегося объекта для отображения будет использовано его схематичное изображение.
24. Способ по любому из пп. 15-18, в котором интерактивная карта представляет из себя план местности или открытую карту местности (OpenStreetMap).
25. Способ по п. 24, в котором если интерактивная карта является открытой картой местности OpenStreetMap, то в настройках каждой видеокамеры пользователь имеет возможность задать точные координаты ее местоположения, после чего она будет добавлена на интерактивную карту в предварительно заданную точку.
26. Способ по п. 19, в котором ГПИ дополнительно сконфигурирован для предоставления пользователю возможности задавать правила для определения того, какие ситуации или действия движущихся объектов считать опасными или неправомерными.
27. Способ по п. 26, в котором в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил, на интерактивной карте в месте происшествия появляется значок для привлечения внимания пользователя, причем упомянутый значок будет мигать красным цветом на протяжении предварительно заданного пользователем интервала времени.
28. Способ по любому из пп. 26-27, в котором в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил, осуществляется по меньшей мере одно или комбинация из предварительно заданных пользователем действий, таких как инициирование тревоги, sms-оповещение пользователя, оповещение пользователя по электронной почте, аудиооповещение пользователя, запись видеоданных с места происшествия в архив, экспорт кадра или видеоданных.
29. Считываемый компьютером носитель данных, содержащий исполняемые процессором компьютера инструкции для осуществления способов отображения движущихся объектов на интерактивной карте местности по любому из пп. 15-28.
