Способ индексирования видеоданных для фасетной классификации

Изобретение относится к вычислительной технике. Технический результат заключается в уменьшении ресурсоемкости поиска информации в массивах видеоданных на основе фасетной классификации. Способ индексирования видеоданных по фасетным признакам характеризуется тем, что добавляют видеоданные, содержащие фасетные признаки, в хранилище данных, причем формируют по крайней мере одну комбинацию из по крайней мере двух фасетных признаков поступивших видеоданных; увеличивают по меньшей мере на один значение каждого счетчика всех полученных комбинаций; осуществляют поиск видеоданных в хранилище данных, причем используют только те комбинации фасетных признаков, для которых счетчики имеют положительное значение; удаляют видеоданные из хранилища данных, причем уменьшают по меньшей мере на один значение каждого счетчика каждой комбинации фасетных признаков удаляемых видеоданных. 2 н. и 16 з.п. ф-лы, 6 ил.

 

ОБЛАСТЬ ТЕХНИКИ

[1] Изобретение, в общем, относится к вычислительным системам, а в частности к области обработки и хранения видеоданных, в том числе к области видеонаблюдения и телевидения, а предназначено для индексирования видеоданных и фасетного поиска информации в массивах видеоданных.

УРОВЕНЬ ТЕХНИКИ

[2] Существующие системы обработки и хранения видеоданных, как правило, используют универсальные хранилища (системы хранения данных) и базы данных (системы управления базами данных). Видеоданные поступают из источников видеоданных, таких как видеокамеры или мобильные устройства пользователей, разделяются на фрагменты и записываются на хранилище данных в виде объектов или файлов. Размер фрагментов выбирается для оптимизации скорости чтения и/или записи объектов (файлов) в хранилище. Реестр хранимых объектов или файлов, как правило, ведется в базе данных. Некоторые  системы осуществляет запись видеоданных в циклическом режиме. Для таких систем вводится понятие глубины видеоархива, то есть максимальный интервал времени хранения видеоданных, поступающих в системы. Хранимые фрагменты видеоданных характеризуются множеством признаков: источник видеоданных (место и тип видеозаписи), временная метка и продолжительность фрагмента видеозаписи, временная метка и продолжительность события внутри фрагмента видеозаписи, права доступа к фрагменту видеозаписи, типы и признаки объектов, содержащихся во фрагменте видеозаписи, типы и признаки событий, содержащихся во фрагменте видеозаписи, типы и признаки внешний событий, связанных со фрагментом видеозаписи, идентификаторы объектов, содержащихся во фрагменте видеозаписи, текстовые комментарии пользователей к фрагменту видеозаписи и т.д.

[3] Для определения признаков объектов и событий в видеозаписях используются алгоритмы видеоаналитики, в том числе на основе распознавания образов и машинного обучения. Примерами признаков, полученных при помощи алгоритмов видеоаналитики, являются пол и возрастная группа человека, цвет волос и одежды человека, цвет и тип транспортного средства.

[4] Индексы фрагментов видеозаписей, а также объектов и событий в этих видеозаписях обычно хранится в базе данных. Такие индексы устанавливают взаимосвязь между объектом (файлом) в хранилище данных и признаками фрагментов. Индексы обеспечивают возможность быстрого поиска по видеозаписям без чтения и обработки больших массивов видеозаписей в момент запроса.

[5] Как правило, поисковые запросы в системах обработки и хранения видеозаписей, включают не один, а множество признаков видеозаписей или событий. В этом случае можно говорить о фасетной классификации фрагментов видеозаписей (объектов и событий внутри видеозаписей). Результаты поискового запроса могут включать пересечения или объединения множеств фрагментов видеозаписей, соответствующих заданным признакам. Возникают новые индексы, которые синтезируются друг с другом посредством комбинирования признаков в соответствии с фасетной формулой. Когда объем хранимых видеозаписей и/или количество объектов (событий) в видеозаписях достигают существенных объемов, то есть данные становятся большими данными (англ. big data), существующие системы обработки и хранения видеозаписей сталкиваются с проблемами производительности. Обработка поисковых запросов становится очень ресурсоемкой в части работы с индексом видеозаписей. Это приводит к увеличению времени ожидания пользователя и удорожанию аппаратного обеспечения системы.

[6] Из уровня техники известен патент US 7860817 B2 “System, method and computer program for facet analysis”, патентообладатель: Primal Fusion Inc, дата публикации: 28.12.2010. В данном техническом решении описывается автоматизированный фасетный анализ входной информации, выбранной из области информации в соответствии с исходной структурой данных. Анализ фасетного признака может выполняться путем обнаружения, по меньшей мере, одного из фасетных признаков, фасетных атрибутов и иерархии фасетных атрибутов входной информации с использованием наращивания шаблона и статистического анализа для идентификации закономерностей отношений фасетных атрибутов во входной информации. Указанный патент не раскрывают решения вычислительной проблемы при работе с большими данными, в частности, не использует счетчики фасетных признаков и их комбинаций для снижения нагрузки на базу данных в момент выполнения поискового запроса пользователя.

[7] Также из уровня техники известен патент US 9588989 B2 “Search systems and computer-implemented search methods”, патентообладатель: Battelle Memorial Institute, дата публикации: 07.03.2017. В данном техническом решении описываются поисковые системы и реализованные способы поиска. В одном аспекте поисковая система включает в себя интерфейс связи, выполненный с возможностью доступа к множеству элементов данных коллекции, причем элементы данных включают в себя множество объектов изображения. Фасетные атрибуты (признаки) включают в себя счетчики базовых объектов, связанных с фасетными атрибутами в одном варианте осуществления. Однако, указанный патент также не раскрывает решения вычислительной проблемы при работе с большими данными, так как отдельные счетчики базовых объектов не создаются для комбинаций фасетных признаков и для иерархии фасетных признаков. Для определения числа базовых объектов при поисковом запросе, включающим два или более фасетных признаков, необходимо выполнять фактический подсчет объектов на пересечении этих фасетных признаков.

СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ

[8] Данное техническое решение направлено на устранение недостатков, присущих существующим техническим решениям.

[9] Технической задачей в данном техническом решении является вычислительная оптимизация алгоритмов индексирования и поиска информации в массивах видеоданных на основе фасетной классификации.

[10] Техническим результатом, проявляющимся в данном техническом решении, является уменьшение ресурсоемкости поиска информации в массивах видеоданных на основе фасетной классификации.

[11] Дополнительным техническим результатом является повышение скорости подсчета объектов с заданными фасетными признаками, повышение скорости формирования статистических отчетов в разрезе различных фасетных признаков, снижение общего времени поиска информации, ускорение поиска по текстовой (символьной) строке, а также контроль целостности хранимых видеоданных.

[12] Дополнительным техническим результатом, проявляющимся при осуществлении данного технического решения, является повышение точности выполнения поисковых запросов пользователем, а также повышение скорости информирования пользователя о размере выборке событий (видеоданных) без фактического подсчета событий в момент обработки поискового запроса.

[13] Указанный технический результат достигается благодаря осуществлению способа индексирования видеоданных по фасетным признакам, характеризующийся тем, что добавляют видеоданные, содержащие фасетные признаки, в хранилище данных, причем формируют, по крайней мере, одну комбинацию из, по крайней мере, двух фасетных признаков поступивших видеоданных; увеличивают по меньшей мере на один значения каждого счетчика всех полученных комбинаций; затем осуществляют поиск видеоданных в хранилище данных, причем используют только те комбинации фасетных признаков, для которых существуют счетчики; далее удаляют видеоданные из хранилища данных, причем уменьшают по меньшей мере на один значение каждого счетчика каждой комбинации фасетных признаков удаляемых видеоданных.

[14] В некоторых вариантах осуществления технического решения при добавлении видеоданных дополнительно формируют, по крайней мере, один агрегирующий счетчик, являющийся суммой двух или более других счетчиков признаков, причем агрегирующий счетчик увеличивается одновременно вместе со суммируемыми счетчиками.

[15] В некоторых вариантах осуществления технического решения счетчики фасетных признаков объединяются в иерархию за счет агрегирования.

[16] В некоторых вариантах осуществления технического решения при добавлении видеоданных счетчики увеличивают и уменьшают на произвольное значение N, где N - число событий индексируемых событий в полученных видеоданных.

[17] В некоторых вариантах осуществления технического решения фасетным признаком является абсолютный или относительный интервал времени, соответствующий времени записи видеоданных.

[18] В некоторых вариантах осуществления технического решения фасетным признаком является источник видеоданных.

[19] В некоторых вариантах осуществления технического решения фасетным признаком являются признак пользователя или группы пользователей, имеющий права доступа к хранимым видеоданных.

[20] В некоторых вариантах осуществления технического решения фасетным признаком является движение, обнаруженное в соответствующих видеоданных.

[21] В некоторых вариантах осуществления технического решения фасетным признаком является результат обработки видеоданных алгоритмами видеоаналитики и/или аудиоаналитики.

[22] В некоторых вариантах осуществления технического решения фасетным признаком является признак или идентификатор человека.

[23] В некоторых вариантах осуществления технического решения фасетным признаком является признак или идентификатор транспортного средства.

[24] В некоторых вариантах осуществления технического решения фасетным признаком является событие из внешней системы, интегрированной в систему видеонаблюдения.

[25] В некоторых вариантах осуществления технического решения фасетным признаком является пользовательская метка или комментарий.  

[26] В некоторых вариантах осуществления технического решения при добавлении видеоданных дополнительно используют индекс базы данных для текстового и числового поиска по признакам видеоданных.

[27] В некоторых вариантах осуществления технического решения множество счетчиков распределено по множеству вычислительных узлов.

[28] В некоторых вариантах осуществления технического решения счетчик признака используется для управления отображением соответствующего признака в графическом интерфейсе пользователя.

[29] В некоторых вариантах осуществления технического решения счетчик признака используется для получения оценки числа результатов поиска в видеоданных.

[30] Также указанный технический результат достигается благодаря осуществлению системы обработки и хранения видеоданных по фасетным признакам, которая содержит хранилище видеоданных и устройство обработки данных, в котором добавляют видеоданные, содержащие фасетные признаки, в хранилище видеоданных, причем формируют, по крайней мере, одну комбинацию из, по крайней мере, двух фасетных признаков поступивших видеоданных; увеличивают по меньшей мере на один значения каждого счетчика всех полученных комбинаций; осуществляют поиск видеоданных в хранилище данных, причем используют только те комбинации фасетных признаков, для которых существуют счетчики имеют положительное значение; удаляют видеоданные из хранилища данных, причем уменьшают по меньшей мере на один значение каждого счетчика каждой комбинации фасетных признаков удаляемых видеоданных.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[31] Признаки и преимущества настоящего технического решения станут очевидными из приведенного ниже подробного описания и прилагаемых чертежей, на которых:

[32] На Фиг. 1 показана одна из возможных схем системы видеонаблюдения с фасетным поиском;

[33] На Фиг 2 показан способ добавления индексированных видеоданных в хранилище данных;

[34] На Фиг 3 показан пример осуществления способа фасетного поиска в индексированных видеоданных;

[35] На Фиг 4 показан способ удаления индексированных видеоданных из хранилища данных;

[36] На Фиг. 5 показан пример структуры счетчиков для фасетного поиска по видеоданным;

[37] На Фиг. 6 показан пример графического интерфейса пользователя системы видеонаблюдения с фасетным поиском.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[38] Фасетный метод классификации данных предполагает, что исходное множество видеоданных (событий) разбивается на подмножества группировок по независимым между собой признакам классификации — фасетам или фасетным признакам. Элементы видеоданных и события видеоданных могут быть представлены в виде пересечения ряда фасетных признаков. Тогда индексы видеоданных получают путем комбинирования фасетных признаков в соответствии с фасетной формулой. Суть настоящего изобретения состоит в использовании множества счетчиков для всех или части комбинаций фасетных признаков, по которым пользователь может производить поиск в архиве видеоданных. Счетчики хранят заранее рассчитанное число событий или иных меток в хранимых видеоданных, и могут быть использованы для исключения пустых веток поиска. Счетчики могут быть также использованы для информирования пользователя о числе возможных результатов поискового запроса для каждой комбинации фасетных признаков без подсчета событий (меток) по базе данных во время сеанса работы пользователя. Счетчики могут храниться в базе данных вместе с основным индексом видеоархива.

[39] Данное техническое решение может быть реализовано в виде системы, осуществляющей выполнение инструкций для реализации вышеупомянутого способа.

[40] Техническое решение может быть реализовано в виде распределенной в пространстве системы.

[41] Ниже будут описаны термины и понятия, необходимые для осуществления настоящего технического решения.

[42] Система – это компьютерная система, облачный сервер, кластер, ЭВМ (электронно-вычислительная машина), СЧПУ (система с числовым программным управлением), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять определенную последовательность операций (действий, инструкций).

[43] Хранилище (англ. storage) - облачное хранилище данных, система хранения данных (СХД), сеть хранения данных или сетевое хранилище данных с составе которых могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы, выделенные или виртуализированные сервера. В целях обеспечения горизонтального масштабирования хранилища для больших данных могут быть использованы объекты хранилища на базе CEPH.

[44] Большие данные (англ. big data) — совокупность подходов, инструментов и методов обработки данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети. В контексте настоящего изобретения, под большими данными подразумеваются видеоданные размером 10 ПБ и выше, а число источников видеоданных, как правило, превышает 3 000.

[45] Фасетная формула - порядок, фиксирующий последовательность выражения фасетов и межфасетных коннекторов в классификационном индексе.

[46] Фасетная классификация - классификационная система, в которой понятия представлены в виде фасетной структуры, а классификационные индексы синтезируются посредством комбинирования фасетных признаков в соответствии с фасетной формулой.

[47] Фасетный признак — классификационный признак, применяемый для группирования понятий в фасетные ряды.

[48] Фасетный ряд — совокупность всех подклассов классификационной системы, получаемых при делении класса по одному классификационному признаку.

[49] Индексирование (англ. indexing) - процесс проставления условных обозначений и составления ссылок (указателей), служащих для упрощения доступа к видеоданным.

[50] Видеоаналитика — технология, использующая методы компьютерного зрения для автоматизированного получения различных данных на основании анализа последовательности изображений, поступающих с видеокамер в режиме реального времени или из архивных записей.

[51] Событие - факт, состоящий в том, что нечто произошло и было зарегистрировано в видеоданных.

[52] Настоящий способ индексирования видеоданных на основе фасетной классификации может быть реализован в системе обработки и хранения видеоданных одновременно на трех этапах обработки видеоданных:   а) добавление видеоданных в хранилище; б) поиск в видеоданных; в) удаление видеоданных из хранилища. Далее подробно рассмотрены варианты осуществления технического решения на каждом этапе.

[53] На этапе добавления видеоданных в хранилище (Фиг. 2) сначала получают видеоданные из источника видеоданных.

[54] Источником видеоданных может быть видеосенсор, камера, видеокодер.

[55] Источником видеоданных может быть сетевой видеосервер, видеорегистратор, сервер хранения видео. Такой источник видеоданных может представлять собой стандартный или специализированный компьютер с дисковой или твердотельной памятью для хранения видео.

[56] Источником видеоданных может быть мобильное устройство, смартфон, планшет, оснащенные видеокамерой.

[57] Источником видеоданных может быть человек или организация, создавшие видеозапись или видеофильм.  

[58] Источник видеоданных, а также любые другие компоненты системы, такие как хранилище или вычислительное устройство, могут быть виртуализированы, то есть, не ограничен реализацией, физической конфигурацией или географическим положением аппаратного обеспечения.

[59] Видеоданные могут поступать в потоковом режиме (кадр за кадром) или в пакетном режиме (пакет кадров или фрагмент видео). В системах видеонаблюдения, полученные видеоданные характеризуются фасетными признаками, включающими, как минимум, признаки места и времени регистрации видеоданных. В системах трансляции видео по запросу полученные видеоданные характеризуются фасетными признаками, включающими другие признаки, например, жанр и год фильма.

[60] В некоторых вариантах осуществления могут дополнять фасетные признаки признаками на основе событий или объектов, содержащихся в полученных видеоданных. Для этого осуществляют обработку полученных видеоданных при помощи программных алгоритмов видеоаналитики (видеоанализа) и/или аудиоаналитики. Фасетные признаки также формируются посредством использования алгоритмов видеоаналитики, например, на базе нейронных сетей с глубоким обучением. Алгоритмы формируют события или иную разметку видеоданных, соответствующие фасетного признака. В качестве вышеуказанных алгоритмов, формирующих события, могут использоваться, не ограничиваясь, алгоритмы распознавания лиц, распознавания номерных знаков транспортных средств, распознавания звуков, а также другие алгоритмы обнаружения, сопровождения и классификации объектов в поле зрения камеры. Например, к фасетным признакам можно добавить следующие признаки видеоданных, полученных при помощи программных или аппаратных алгоритмов: наличие/отсутствие движения, наличие объекта определенного типа (человек, группа людей, мотоцикл, легковой автомобиль, грузовой транспорт, состав поезда), наличие лица человека и его признаки (пол, возраст, раса, наличие очков, усов, бороды и других отличительных признаков), наличие транспортного средства и его признаки (тип, цвет, регион, характер движения), наличие сопутствующих звуков (шум, крик, выстрел). Обработка видеоданных такими алгоритмами может производится либо “на лету”, по мере поступления видеоданных, либо в пакетном режиме.

[61] В некоторых вариантах осуществления могут дополнять фасетные признаки признаками на основе событий, полученных из внешних системы. Например, к фасетным признакам могут быть добавлены следующие признаки: наличие событий системы контроля и управления доступом (СКУД), наличие событий охранно-пожарной сигнализации (ОПС), наличие событий расчетно-кассовой системы, наличие событий билетной системы, наличие событий других датчиков.

[62] В некоторых вариантах осуществления могут дополнять фасетные признаки идентифицирующими признаками, соответствующим конкретным лицам или транспортным средствам. Например, фасетным признаком может быть ФИО человека или номер автомобиля.

[63] В некоторых вариантах осуществления могут дополнять фасетные признаки признаками на основе событий, полученных от пользователя системы. Например, к фасетным признакам могут быть добавлены следующие признаки: наличие текстового комментария пользователя, наличие определенных меток, тегов или наличие уровня опасности определенного уровня.

[64] В некоторых вариантах осуществления могут дополнять фасетные признаки признаками на основе разграничения прав доступа между пользователями системы и системных меток видеоданных.

[65] В некоторых вариантах осуществления могут дополнять фасетные признаки агрегирующими признаки. Агрегирование фасетных признаков может производиться по иерархическому принципу. Например, как показано на Фиг. 5, если агрегирование производится по времени, то получаем агрегирующие фасетные признаки, соответствующие интервалам времени в 10 мин., 1 час, 1 сутки. Если агрегирование производится по территориальному принципу, то получаем агрегирующие признаки, соответствующие отдельным камерам, адресам, населенным пунктам, регионам. Если агрегирование происходит по принципу разграничения доступа к информации, то получаем агрегирующие признаки для групп и подгрупп пользователей. Если агрегирования происходит по типа событий, то получаем иерархический классификатор типов событий.

[66] Согласно настоящему изобретению, формируют, по крайней мере, одну комбинацию из, по крайней мере, двух полученных фасетных признаков (в том числе, агрегирующих признаков). Например, могут использовать следующую комбинацию из трех фасетных признаков: идентификатор источника видеоданных, интервал времени регистрации видеоданных и тип события. Тогда, эта комбинация будет объединять условия, например, что в зоне наблюдения определенной камеры, в определенный интервал времени было обнаружено лицо человека.

[67] Оптимальные комбинации фасетных признаков могут подобраны на основе целевого назначения системы, частоты поисковых запросов пользователя по соответствующим признакам, скоростным и временным требованиям к системе. Новые комбинации могут быть добавлены “на лету” при поступлении видеоданных с новым фасетным признаком.

[68] Для иллюстрации механизма построения комбинаций фасетных признаков, приведем пример расчета общего числа признаков:

Физический смысл фасетного признака	Расчет независимых признаков	Расчет агрегирующих (зависимых) признаков	Расчет суммы независимых и зависимых признаков
Дата и время события в архиве глубиной 30 дней	4 320 квантов времени по 10 минут	720 квантов времени при агрегировании по часу + 30 квантов времени при агрегировании по суткам	5 070 признаков времени
Место размещение камеры (адрес)	100 000 камер	10 000 мест по 10 камер + 10 городов по 10 000 камер	110 010 признаков места
Обнаружение лица человека	4 признака: Мужское лицо без очков + Мужское лицо в очках + Женское лицо без очков + Женское лицо в очках	3 признака: Мужчина лицо + Женское лицо + Все лица	7 признаков лица

[69] Расчет всех комбинаций признаков выглядит следующим образом: (5 070 признаков времени) x (110 010 признаков места) x (7 признаков лица) = 3 904 254 900 признаков. Итого имеем около 4 млрд комбинаций признаков, для каждого из которого может быть создан отдельный счетчик. На практике, реальное количество счетчиков будет существенно меньше, т.к. события обычно возникают на ограниченном интервале времени и для  ограниченного числа источников видеоданных.

[70] Далее, для всех существующих комбинаций признаков, соответствующим полученным видеоданным, проверяют наличие соответствующих счетчиков в базе данных. Если счетчика соответствующего комбинации признаков в базе данных нет, то его создают и инициализирует в нулевое значение.

[71] Значения всех найденных и созданных счетчиков для полученных видеоданных увеличивают на единицу. Если в комбинации присутствуют агрегирующие признаки, то все счётчики, состоящие в общей иерархии, увеличиваются на единицу одновременно.

[72] В некоторых реализациях, например, при наличии множества событий определенного типа в полученных видеоданных, счетчики сразу увеличивают на соответствующее число событий.

[73] Далее, полученные видеоданные и соответствующие им фасетные признаки записывают в хранилище данных. Формируют индексирующую ссылку на записанные видеоданные и записывают ее базу данных. Индексирующая ссылка может представлять собой запись в базу данных,  включающую ссылку на файл или иной идентификатор объекта с видеоданными, хранимыми на хранилище данных. Также записывают в базу данных информацию о событиях в видеоданных, вместе с фасетными признаками каждого события в видеоданных.

[74] В некоторых вариантах осуществления, в базу данных записывают идентификатор источника видеоданных (название и адрес видеокамеры), дата и время получения видеоданных, идентификаторы и признаки людей и транспортных средств, обнаруженных в этих видеоданных, ссылки на ключевые кадры видеоданных. Например, с помощью алгоритмов распознавания лиц, подключенной к базе разыскиваемых лиц, могут быть получены такие идентификаторы человека как имя, фамилия, номер паспорта человека, а также определены признаки человека, такие как возрастная группа, пол, расовая группа. С помощью алгоритмов распознавания транспортных средства могут быть получен идентификатор (номерной знак) и такие признаки как регион, цвет, марка и модель транспортного средства.

[75] На этапе фасетного поиска в индексированных видеоданных (Фиг. 3) предварительно отображаются в графическом интерфейсе пользователя названия фасетных признаков для одной или нескольких комбинаций, которые имеют ненулевые значения счетчиков.

[76] В некоторых вариантах осуществления, напротив фасетных признаков отображают значения счетчиков, соответствующих числу результатов поиска после фильтрации результатов по этому фасетному признаку.

[77] Если пользователем уже выбраны некоторые признаки или их комбинации для поиска, то рассматривают только те значения счетчиков, которые соответствуют этим выбранным признакам. Если для комбинации признаков, выбранной пользователем не существует счетчик, то значение числа событий может быть получено путем суммирования (вычитания) имеющихся счетчиков для признаков, составляющих эту комбинацию.

[78] Затем осуществляют поиск видеоданных, событий, источников видеоданных (например, камер) или иных данных на основе запроса пользователя в базе данных. Для этого формируют, как минимум, один запрос к базе данных, включающий комбинацию фасетных признаков, которая выбрана пользователем. При этом поиск производится только по тем комбинациям признаков, для которых задано ненулевое значение счетчика, т.к. комбинации признаков для нулевых значения признаков пользователю не показываются.

[79] Затем отображают ограниченное число результатов поиска в видеоданных с учетом признаков, выбранных пользователем.

[80] Результаты поиска могут отображаться в виде мозаики кадров из видеоданных, точек на географической карте или планах, где размещены источники видеоданных, списков событий, таблиц и графиков. В случае если пользователь не удовлетворен результатами поиска, получают от пользователя новый набор признаков для уточнения или расширения поискового запроса.

[81] Повторяют вышеописанные шаги поиска до тех пор, пока пользователь не получает нужные ему результаты поиска. Графический интерфейс пользователя для фасетного поиска в видеоданных иллюстрирован на Фиг. 6.

[82] На этапе удаления индексированных видеоданных из хранилища (Фиг. 4), вначале определяют видеоданные, подлежащие удалению. При автоматическом удалении, находят видеоданных по фасетному признаку времени, который выходит за рамки заданной глубины архива. Удаление видеоданных может также происходит в ручном режиме, по запросу пользователя. Из базы данных получают фасетные признаки и ссылки на удаляемые видеоданные в хранилище. Уменьшают на единицу или иное число событий N все счетчики, соответствующие комбинациям признакам удаляемых видеоданных. Если используются комбинации с агрегирующими признаками, то все счётчики, состоящие в общей иерархии, уменьшаются на 1 или N одновременно. Если счетчик равен нулю, то счетчик удаляют. Затем удаляют из хранилища непосредственно видеоданные, информацию о событии в удаляемых видеоданных вместе с их фасетными признаками. Удаляют из базы данных индексирующие ссылки.

[83] Согласно еще одному варианту осуществления, примерная система для реализации технического решения включает в себя устройство обработки данных. Устройство обработки данных может быть сконфигурировано как клиент, сервер, мобильное устройство или любое другое вычислительное устройство, которое взаимодействует с данными в системе совместной работы, основанной на сети. В самой базовой конфигурации устройство обработки данных, как правило, включает в себя, по меньшей мере, один процессор и устройство хранения данных (хранилище). В зависимости от точной конфигурации и типа вычислительного устройства системная память может быть энергозависимой (например, оперативное запоминающее устройство (ОЗУ, RAM)), энергонезависимой (например, постоянное запоминающее устройство (ПЗУ, ROM)) или некоторой их комбинацией. Устройство хранения данных, как правило, включает в себя одну или более прикладных программ и может включать в себя данные программ. Настоящее техническое решение как способ, описанное в деталях выше, может быть реализовано в прикладных программах.

[84] Устройство обработки данных может иметь дополнительные особенности или функциональные возможности. Например, устройство обработки данных может также включать в себя дополнительные устройства хранения данных (съемные и несъемные), такие как, например, магнитные диски, оптические диски или лента. Компьютерные носители данных могут включать в себя энергозависимые и энергонезависимые, съемные и несъемные носители, реализованные любым способом или при помощи любой технологии для хранения информации, такой как машиночитаемые инструкции, структуры данных, программные модули или другие данные. Устройство хранения данных, съемное хранилище и несъемное хранилище являются примерами компьютерных носителей данных. Компьютерные носители данных включают в себя, но не в ограничительном смысле, оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), электрически стираемое программируемое ПЗУ (EEPROM), флэш-память или память, выполненную по другой технологии, ПЗУ на компакт-диске (CD-ROM), универсальные цифровые диски (DVD) или другие оптические запоминающие устройства, магнитные кассеты, магнитные ленты, хранилища на магнитных дисках или другие магнитные запоминающие устройства, или любую другую среду, которая может быть использована для хранения желаемой информации и к которой может получить доступ устройство обработки данных. Любой такой компьютерный носитель данных может быть частью системы. Устройство обработки данных может также включать в себя устройство ввода, такие как клавиатура, мышь, перо, устройство с речевым вводом, устройство сенсорного ввода, и так далее. Устройство вывода, такие как дисплей, динамики, принтер и тому подобное, также могут быть включены в состав устройства обработки данных.

[85] Устройство обработки данных содержит коммуникационные соединения, которые позволяют устройству связываться с другими вычислительными устройствами, например по сети. Сети включают в себя локальные сети и глобальные сети наряду с другими большими масштабируемыми сетями, включая, но не в ограничительном смысле, корпоративные сети и экстрасети. Коммуникационное соединение является примером коммуникационной среды. Как правило, коммуникационная среда может быть реализована при помощи машиночитаемых инструкций, структур данных, программных модулей или других данных в модулированном информационном сигнале, таком как несущая волна, или в другом транспортном механизме, и включает в себя любую среду доставки информации. Термин «модулированный информационный сигнал» означает сигнал, одна или более из его характеристик изменены или установлены таким образом, чтобы закодировать информацию в этом сигнале. Для примера, но без ограничения, коммуникационные среды включают в себя проводные среды, такие как проводная сеть или прямое проводное соединение, и беспроводные среды, такие как акустические, радиочастотные, инфракрасные и другие беспроводные среды. Термин «машиночитаемый носитель», как употребляется в этом документе, включает в себя как носители данных, так и коммуникационные среды.

[86] Настоящее подробное описание составлено с приведением различных не имеющих ограничительного и исчерпывающего характера вариантов осуществления. В то же время, специалистам, имеющим средний уровень компетентности в рассматриваемой области техники, очевидно, что различные замены, модификации или сочетания любых раскрытых здесь вариантов осуществления (в том числе частично) могут быть воспроизведены в пределах объема настоящего технического решения. Таким образом, подразумевается и понимается, что настоящее описание технического решения включает дополнительные варианты осуществления, суть которых не изложена здесь в явно выраженной форме. Такие варианты осуществления могут быть получены путем, например, сочетания, модификации или преобразования каких-либо действий, компонентов, элементов, свойств, аспектов, характеристик, ограничений и пр., относящихся к приведенным здесь и не имеющим ограничительного характера вариантам осуществления.

ПОДРОБНОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[87] На Фиг. 1. показана одна из возможных схем системы видеонаблюдения с фасетным поиском. На схеме представлены следующие компоненты системы видеонаблюдения:

[88] 100 - система обработки и хранения видео;

[89] 101 – источники видеоданных (камеры);

[90] 102 – модуль видеоанализа;

[91] 103 – модуль видеозаписи;

[92] 104 – хранилище видеоданных;

[93] 105 – система индексирования;

[94] 106 – база данных;

[95] 107 – поисковый сервис для обслуживания клиентов;

[96] 108 – рабочие станции пользователей;

[97] 109 – мобильные устройства пользователей;

[98] 110 – видеостены.

[99] Видеопотоки из внешних источников видеоданных (101) обрабатываются алгоритмами видеоаналитики (видеоанализа) в блоке (102), в то время как модуль видеозаписи (103) записывает видео в хранилище (104). В блоке (102) могут быть использованы алгоритмы распознавания лиц, распознавания номерных знаков транспортных средств, распознавания звуков а также другие алгоритмы обнаружения, сопровождения и классификации объектов в поле зрения камеры. Результатом работы алгоритмов видеоаналитики в блоке (102) являются события  и метаданные, которые поступают в систему индексирования (105). Система индексирования (105) обрабатывает входящие события согласно настоящему изобретению и записывает события и индексы систему управления базами данных (106) и систему хранения видеоданных (104).

[100] Кроме того модуль индексирования (105) обеспечивает удаление событий и метаданных по истечении срока хранения данных согласно настоящему изобретению.

[101] Клиенты, представленные рабочими станциями (веб-доступ) (108), мобильными устройствами (109) и видеостенами (110), запрашивают данные о событиях посредством поискового сервиса (107), и события, обработанные алгоритмами видеоаналитики, отображаются в интерфейсе клиентов

[102] На Фиг 2. показан способ добавление видеоданных в хранилище.

[103] В некоторых вариантах реализации алгоритм добавлениях видеоданных включает следующие шаги: получение видеоданных из источников (201); получение фасетных признаков этих видеоданных (202); формирование комбинаций фасетных признаков (203); для всех сформированных комбинаций фасетных признаков (204) производится проверка наличия счетчика (205), при необходимости создание и инициализация счетчика в нулевое значение (206), увеличение счетчика на единицу (207); добавление видеоданных в хранилище и ссылки на видеоданных в базу данных (208).

[104] На Фиг 3. показан способ фасетного поиска в индексированных видеоданных.

[105] В некоторых вариантах реализации фасетный поиск в индексированных видеоданных осуществляется итерационно, методом последовательного приближения. Вначале формируют поисковый запрос в виде комбинации фасетных признаков, в которую добавляют все имеющиеся фасетные признаки (301). В интерфейсе пользователя отображают названия фасетных признаков комбинации (302). Напротив каждого признака показывают значение счетчика, соответствующему числу результатов, добавляемых эти признаком (302).

[106] Отображают найденные видеоданные в виде мозаики кадров, списка или видеоряда (303). Если пользователь хочет продолжить поиск (304), то он уточняет комбинацию для поиска, путем добавления или удаления в ней фасетных признаков (305). Шаги (302), (303), (304) и (305) повторяются до получения нужных результатов поиска.

[107] На Фиг 4. показан способ удаления видеоданных из хранилища.

[108] В некоторых вариантах реализации способ удаления видеоданных включает следующие шаги: получение фасетных признаков и ссылок на удаляемые видеоданных (401); формирование комбинаций фасетных признаков (402); для всех сформированных комбинаций фасетных признаков (403) производится уменьшение счетчика на единицу (404), проверка нулевого значения счетчика (405), при необходимости удаление счетчика из базы данных (406); удаление видеоданных по ссылке из хранилища и удаление ссылки из базы данных (407).

[109] На Фиг. 5. показан пример структуры счетчиков для фасетного поиска по видеоданным.

[110] В некоторых вариантах реализации, структура счетчиков включает следующие группы счетчиков.

[111] 501 – событие;

[112] 502 – признаки лиц;

[113] 503 – признаки объектов;

[114] 504 – признаки транспортных средств;

[115] 505 – признаки аудиосигналов;

[116] 506 – фрагменты видеоданных;

[117] 507 – признаки источников видеоданных;

[118] 508 – признаки времени.

[119] На Фиг. 6. показан пример графического интерфейса пользователя системы видеонаблюдения с фасетным поиском.

[120] Панель поиска видеоданных по умолчанию открыта. При необходимости ее можно скрыть, нажав на кнопку скрытия панели поиска (601). При повторном нажатии панель поиска снова выводится на экран.

[121] Пользователь задает параметры поиска, переключаясь между категориями фасетных признаков (602) и группами фильтров на основе фасетных признаков (603), соответствующих каждой категории (602). Напротив каждого фасетного признака указано число событий на основе счетчика. В зависимости от заданных категорий и фильтров на основе фасетных признаков в правой части экрана загружаются результаты поиска (614).

[122] Категории включают в себя список групп с указанием количества объектов напротив отдельных категорий. По умолчанию видна часть доступных групп, при нажатии опции «Показать еще» (602) загружается полный список, который включает в себя:

[123] Места;

[124] Планы;

[125] Камеры;

[126] События:

	[127] Видеодетекторы;[127] Видеодетекторы;
	[128] Лица;[128] Лица;
	[129] Номерные знаки;[129] Номерные знаки;
	[130] Аудиоаналитика;[130] Аудиоаналитика;
	[131] Контроль качества видео;[131] Контроль качества видео;

[132] Выбрав категорию (602), пользователь задает параметры поиска в фильтрах на основе фасетных признаков (603), уникальных для каждой выбранной категории, а также дату и время в календаре (604) в случае поиска по архиву. По умолчанию видна часть доступных групп фильтров, при нажатии опции «Больше» (607) загружается полный список. За пределами видимости находятся другие группы фильтры такие, как тип события, приоритет, ответы оператора и пр.

[133] Все группы фильтров работают по принципу логического «И», а внутри группы - по принципу логического «ИЛИ». Если не выбран ни один из элементов группы фильтров, то фильтр считается отключенным и в комбинацию фасетных признаков заносят все фасетные признаки этой группы.

[134] Результаты поиска (614) автоматически отображаются справа от панели поиска в одной из следующих вкладок (612):

[135] Карта;

[136] Места;

[137] Планы;

[138] Камеры;

[139] События.

[140] При выборе или отмене выбора фасетного признака в группе фильтров происходит обновление списка фильтров и результатов поиска. При этом могут изменяться значения счетчиков напротив событий (606). Таким образом, реализуется итерационных поиск методом последовательного приближения, то есть путем уточнения набора фасетных признаков в фильтрах.

[141] Так, например, на вкладке «События» результаты представлены кадры событий в видеоданных (614). При наведении курсора мыши на кадр события (615) появляется ряд опций, включающих в себя:

[142] просмотр плана;

[143] воспроизведение события;

[144] добавление события в форму «Ответ» (включая как создание нового ответа, так добавление в уже существующий).

[145] При нажатии на кадр события (615) открывается медиаплеер, и начинается воспроизведение видео.

[146] Под кадром события размещается сопутствующая информация (616), включающая в себя описание события.

[147] Над результатами поиска отображаются заданные пользователем фильтры (610). Пользователь может сбросить фильтры, как последовательно нажимая «Закрыть» на каждом фильтре, так и воспользовавшись кнопкой «Очистить» (611) справа от списка фасетных фильтров (610).

[148] Опция «Сбросить» (605) на панели поиска под наименованием фильтра (фильтров) также позволяет очистить фасетные признаки, выбранные пользователем как параметры поиска. При этом производится очистка результатов поиска, а в центральной части окна загружаются последние актуальные данные.

[149] Опция сортировки событий по времени (612) позволяет просматривать события, начиная с архивных событий по возрастанию или убыванию даты в зависимости от выбранной опции («Сначала новые» или «Сначала старые»).

[150] Строка поиска по текстовому запросу в верхней части окна (609) позволяет осуществлять поиск событий в зависимости от выбранных критериев, задаваемых в выпадающем списке слева (608). Данные критерии включают в себя:

[151] идентификатор события;

[152] номер автомобиля;

[153] фамилия персоны;

[154] комментарий оператора.

1. Способ индексирования видеоданных по фасетным признакам, характеризующийся тем, что:

• добавляют видеоданные, содержащие фасетные признаки, в хранилище данных, причем

• формируют по крайней мере одну комбинацию из по крайней мере двух фасетных признаков поступивших видеоданных;

• увеличивают по меньшей мере на один значения каждого счетчика всех полученных комбинаций;

• осуществляют поиск видеоданных в хранилище данных, причем используют только те  комбинации фасетных признаков, для которых счетчики имеют положительное значение;

• удаляют видеоданные из хранилища данных, причем уменьшают по меньшей мере на один значение каждого счетчика каждой комбинации фасетных признаков удаляемых видеоданных.

2. Способ индексирования видеоданных по п.1, характеризующийся тем, что при добавлении видеоданных дополнительно формируют по крайней мере один агрегирующий счетчик, являющийся суммой двух или более других счетчиков признаков, причем агрегирующий счетчик увеличивается одновременно вместе со суммируемыми счетчиками.

3. Способ индексирования видеоданных по п.2, характеризующийся тем, что счетчики фасетных признаков объединяются в иерархию за счет агрегирования.

4. Способ индексирования видеоданных по п.1, характеризующийся тем, что при добавлении видеоданных счетчики увеличивают и уменьшают на произвольное значение N, где N - число событий индексируемых событий в полученных видеоданных.

5. Способ индексирования видеоданных по п.1, характеризующийся тем, что фасетным признаком является абсолютный или относительный интервал времени, соответствующий времени записи видеоданных.

6. Способ индексирования видеоданных по п.1, характеризующийся тем, что фасетным признаком является источник видеоданных.

7. Способ индексирования видеоданных по п.1, характеризующийся тем, что фасетным признаком является признак пользователя или группы пользователей, имеющий права доступа к хранимым видеоданным.

8. Способ индексирования видеоданных по п.1, характеризующийся тем, что фасетным признаком является движение, обнаруженное в соответствующих видеоданных.

9. Способ индексирования видеоданных по п.1, характеризующийся тем, что фасетным признаком является результат обработки видеоданных алгоритмами видеоаналитики и/или аудиоаналитики.

10. Способ индексирования видеоданных по п.1, характеризующийся тем, что фасетным признаком является признак или идентификатор человека.

11. Способ индексирования видеоданных по п.1, характеризующийся тем, что фасетным признаком является признак или идентификатор транспортного средства.

12. Способ индексирования видеоданных по п.1, характеризующийся тем, что фасетным признаком является событие из внешней системы, интегрированной в систему видеонаблюдения.

13. Способ индексирования видеоданных по п.1, характеризующийся тем, что фасетным признаком является пользовательская метка или комментарий.  

14. Способ индексирования видеоданных по п.1, характеризующийся тем, что при добавлении видеоданных дополнительно используют индекс базы данных для текстового и числового поиска по признакам видеоданных.

15. Способ индексирования видеоданных по п.1, характеризующийся тем, что множество счетчиков распределено по множеству вычислительных узлов.

16. Способ индексирования видеоданных по п.1, характеризующийся тем, что счетчик признака используется для управления отображением соответствующего признака в графическом интерфейсе пользователя.

17. Способ индексирования видеоданных по п.1, характеризующийся тем, что счетчик признака используется для получения оценки числа результатов поиска в видеоданных.

18. Система обработки и хранения видеоданных по фасетным признакам, содержащая  хранилище видеоданных и устройство обработки данных, в котором:

• добавляют видеоданные, содержащие фасетные признаки, в хранилище видеоданных, причем

• формируют по крайней мере одну комбинацию из по крайней мере двух фасетных признаков поступивших видеоданных;

• увеличивают по меньшей мере на один значения каждого счетчика всех полученных комбинаций;

• осуществляют поиск видеоданных в хранилище данных, причем используют только те комбинации фасетных признаков, для которых существуют счетчики, имеющие положительное значение;

• удаляют видеоданные из хранилища данных, причем уменьшают по меньшей мере на один значение каждого счетчика каждой комбинации фасетных признаков удаляемых видеоданных.