Система поиска нарушений в порядке расположения объектов
Владельцы патента RU 2698157:
Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") (RU)
Изобретение относится к вычислительной технике. Техническим результатом изобретения является поиск нарушений в порядке расположения объектов с улучшенной функциональностью и большей точностью. Система поиска нарушений в порядке расположения объектов содержит: телекамеру; блок формирования обобщенных признаков области для разделения изображения на области и формирования для каждой области изображения многомерного цифрового вектора; блок формирования пространства признаков для формирования с помощью нейронной сети пространства признаков объектов для всего изображения в виде тензора признаков; блок анализа упорядоченности для анализа упорядоченности расположения объектов на изображении путем осуществления кластерного анализа тензора признаков с помощью многослойных нейронных сетей, при этом формирования карты связанных компонент в двумерном пространстве признаков объектов; блок принятия решений для определения нарушения порядка расположения объектов на изображении, при этом анализ карты связанных компонент в двумерном пространстве признаков объектов путем сравнения ее с заданным пользователем порядком расположения объектов на изображении и принятия решения о наличии или отсутствии нарушения. 1 з.п. ф-лы, 3 ил.
Изобретение относится к области компьютерного зрения, а именно к системам поиска нарушений в порядке расположения объектов, и может применяться в системах видеонаблюдения для анализа порядка расположения однотипных объектов.
Одним из примеров упорядоченного расположения объектов являются хранящиеся на складе вещи. Для складского учета важно фиксировать нарушение в порядке расположения хранимых вещей, поэтому актуальной является задача автоматической фиксации фактов нарушения порядка хранения.
Типичный подход к определению нарушений в порядке расположения объектов заключается в переходе от частной задачи распознавания типов объектов, присутствующих на изображении, и определения области их расположения к общей задаче определения нарушения порядка расположения распознанных на изображении объектов. Например, с помощью методов, подобных методам, представленным в научных публикациях [1-3], можно на изображении выделить положение всех объектов, порядок расположения которых необходимо контролировать, с помощью ограничивающего прямоугольника с вертикальными и горизонтальными сторонами, и при этом осуществить распознавание типов объектов внутри каждого такого прямоугольника. Пример такого поиска объектов представлен на Фиг. 1. После того, как на изображении выделены и классифицированы расположенные на нем объекты, формируют алгоритм принятия решения о правильности расположения объектов в месте хранения, или о нарушении порядка расположения объектов в месте хранения, поскольку полученное представление расположения объектов достаточно просто сопоставить с эталонным расположением объектов.
Для того, чтобы системы подобного типа работали корректно, необходимо построить точный многокатегориальный алгоритм идентификации объектов, а также метод точный метод определения положения (локализации) объектов на изображении. Для приведенного выше примера учета порядка расположения объектов на складе, количество категорий объектов может достигать несколько десятков тысяч, и при этом состав номенклатуры объектов может обновляться в процессе функционирования склада. Построение системы и способа классификации и детектирования объектов с таким количеством их классов является очень трудоемкой задачей, которая до сих пор не решена с достаточной степенью достоверности: количество ошибок идентификации довольно велико, и превышает 10% по показателям ошибок первого рода и второго рода. На Фиг. 1 видно, что не все объекты идентифицированы корректно, есть примеры неточной локализации объектов, пропуска объектов, ложного определения объектов, а также примеры некорректной классификации объектов по типам.
Наиболее близким к заявленному изобретению является описанный в патенте на изобретение [4] способ определения, с помощью нейронных сетей, отклонения от исходного значения параметров газотурбинного двигателя. Данный способ выбран в качестве прототипа заявленного изобретения.
Недостаток способа прототипа заключается в недостаточном удобстве его использования и функциональности, в связи с применением контактного, с помощью контактных датчиков, метода определения параметров газотурбинного двигателя. Кроме того, способ прототипа имеет меньшую точность, в связи с применением в нем для осуществления кластеризации нейронной сети Кохонена, которая обладает меньшей обобщающей способностью по сравнению с нейронными сетями других типов.
Техническим результатом изобретения является создание системы поиска нарушений в порядке расположения объектов с улучшенным удобством пользования, функциональностью и большей точностью, за счет бесконтактного, с помощью телекамеры, определения расположения объектов, а также за счет отсутствия многокатегориальной классификации объектов.
Отсутствие в заявленном изобретении многокатегориальной классификации объектов позволяет существенно упростить процесс принятия решения о наличии нарушений в порядке расположения объектов, поскольку позволяет не учитывать исходные данные, описывающие внешний вид новых объектов в тех случаях, когда категориальный состав объектов меняется, а также позволяет не учитывать существенный уровень ошибок, присущих многокатегориальной классификации.
Технический результат достигнут путем создания системы поиска нарушений в порядке расположения объектов, содержащей, по меньшей мере, одну телекамеру, которая соединена с блоком формирования признаков области, который соединен с блоком формирования пространства признаков, который соединен с блоком анализа упорядоченности, который соединен с блоком принятия решения, причем
- телекамера выполнена с возможностью формирования изображения объектов и передачи его в
- блок формирования обобщенных признаков области, выполненный с возможностью разделения изображения на области и формирования для каждой области изображения многомерного цифрового вектора, описывающего обобщенные признаки объектов, расположенных в этой области изображения, и с возможностью передачи многомерных цифровых векторов областей изображения в
- блок формирования пространства признаков, выполненный с возможностью формирования с помощью нейронной сети пространства признаков объектов для всего изображения в виде тензора признаков, описывающего обобщенные признаки объектов, расположенных во всех областях изображения, и с возможностью передачи тензора признаков в
- блок анализа упорядоченности, выполненный с возможностью анализа упорядоченности расположения объектов на изображении путем осуществления кластерного анализа тензора признаков с помощью многослойных нейронных сетей, при этом формирования карты связанных компонент в двумерном пространстве признаков объектов, и с возможностью передачи карты связанных компонент в
- блок принятия решений, выполненный с возможностью определения нарушения порядка расположения объектов на изображении, при этом анализа карты связанных компонент в двумерном пространстве признаков объектов путем сравнения ее с заданным пользователем порядком расположения объектов на изображении и принятия решения о наличии или отсутствии нарушения порядка расположения объектов на изображении.
В предпочтительном варианте осуществления системы телекамера установлена на поворотной платформе и выполнена с возможностью изменения фокусного расстояния объектива.
Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими графическими материалами.
Фиг. 1. Схема функционирования методов локализации объектов на изображении и идентификации их типов (разный вид рамок соответствует объектам разного типа на изображении) с примерами ошибок, выполненная согласно уровню техники.
Фиг. 2. Схема функционирования системы поиска нарушений в порядке расположения объектов, выполненная согласно изобретению.
Фиг. 3. Блок-схема системы поиска нарушений в порядке расположения объектов, выполненная согласно изобретению.
Рассмотрим более подробно функционирование заявленной системы поиска нарушений в порядке расположения объектов, содержащей, телекамеру 1, которая соединена с блоком 2 формирования признаков области, который соединен с блоком 3 формирования пространства признаков, который соединен с блоком 4 анализа упорядоченности, который соединен с блоком 5 принятия решения (Фиг. 1-3).
С помощью телекамеры 1 формируют изображение объектов и передают его в блок 2 формирования обобщенных признаков области.
С помощью блока 2 формирования обобщенных признаков области разделяют изображение на области и формируют для каждой области изображения многомерный цифровой вектор, описывающий обобщенные признаки объектов, расположенных в этой области изображения, и передают многомерные цифровые вектора областей изображения в блок 3 формирования пространства признаков.
С помощью блока 3 формирования пространства признаков формируют с помощью нейронной сети пространство признаков объектов для всего изображения в виде тензора признаков, описывающего обобщенные признаки объектов, расположенных во всех областях изображения, и передают тензор признаков в блок 4 анализа упорядоченности.
С помощью блока 4 анализа упорядоченности анализируют упорядоченность расположения объектов на изображении путем осуществления кластерного анализа тензора признаков с помощью многослойных нейронных сетей, при этом формируют карты связанных компонент в двумерном пространстве признаков объектов, и передают карты связанных компонент в блок 5 принятия решений.
С помощью блока 5 принятия решений определяют нарушение порядка расположения объектов на изображении, при этом анализируют карту связанных компонент в двумерном пространстве признаков объектов путем сравнения ее с заданным пользователем порядком расположения объектов на изображении и принимают решение о наличии или отсутствии нарушения порядка расположения объектов на изображении.
Телекамера 1 установлена на поворотной платформе и выполнена с возможностью изменения фокусного расстояния объектива, что позволяет использовать для контроля порядка расположения объектов вместо нескольких телекамер 1 одну, используемую в режиме автоматического сканирования с программным выбором параметров управления увеличением объектива для формирования оптимального изображения объектов в процессе сканирования.
Хотя описанный выше вариант выполнения изобретения был изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла заявленного изобретения, раскрытого в прилагаемой формуле изобретения.
ЛИТЕРАТУРА
1. Ren S. et al. Faster r-cnn: Towards real-time object detection with region proposal networks // Advances in neural information processing systems. - 2015. - C. 91-99.
2. Redmon J., Farhadi A. YOLO9000: better, faster, stronger // arXiv preprint. - 2017.
3. Liu W. et al. Ssd: Single shot multibox detector // European conference on computer vision. - Springer, Cham, 2016. - C. 21-37.
4. Добродеев И.П. Способ диагностики технического состояния газотурбинного двигателя // патент на изобретение РФ №2445598.
1. Система поиска нарушений в порядке расположения объектов, содержащая по меньшей мере одну телекамеру, которая соединена с блоком формирования признаков области, который соединен с блоком формирования пространства признаков, который соединен с блоком анализа упорядоченности, который соединен с блоком принятия решения, причем
телекамера выполнена с возможностью формирования изображения объектов и передачи его в
блок формирования обобщенных признаков области, выполненный с возможностью разделения изображения на области и формирования для каждой области изображения многомерного цифрового вектора, описывающего обобщенные признаки объектов, расположенных в этой области изображения, и с возможностью передачи многомерных цифровых векторов областей изображения в
блок формирования пространства признаков, выполненный с возможностью формирования с помощью нейронной сети пространства признаков объектов для всего изображения в виде тензора признаков, описывающего обобщенные признаки объектов, расположенных во всех областях изображения, и с возможностью передачи тензора признаков в
блок анализа упорядоченности, выполненный с возможностью анализа упорядоченности расположения объектов на изображении путем осуществления кластерного анализа тензора признаков с помощью многослойных нейронных сетей, при этом формирования карты связанных компонент в двумерном пространстве признаков объектов, и с возможностью передачи карты связанных компонент в
блок принятия решений, выполненный с возможностью определения нарушения порядка расположения объектов на изображении, при этом анализа карты связанных компонент в двумерном пространстве признаков объектов путем сравнения ее с заданным пользователем порядком расположения объектов на изображении и принятия решения о наличии или отсутствии нарушения порядка расположения объектов на изображении.
2. Система по п. 1, отличающаяся тем, что телекамера установлена на поворотной платформе и выполнена с возможностью изменения фокусного расстояния объектива.
