Система и способ идентификации экипировки на человеке
Настоящее изобретение относится к вычислительной технике для автоматической идентификации предметов экипировки на человеке. Технический результат заключается в повышении точности идентификации предметов экипировки на человеке. Технический результат достигается за счет системы для идентификации экипировки на человеке, содержащей память, устройство захвата изображений, устройство обработки данных, модуль анализа изображений, модуль сегментации, модуль идентификации и модуль вывода. Модуль идентификации дополнительно разбивает результаты идентификации на категории состояния предметов экипировки, для каждой из которых в качестве результата прохождения одной или нескольких искусственных нейронных сетей выводится свой вектор значения вероятности. 3 н. и 16 з.п. ф-лы, 2 ил.
Настоящее изобретение относится к области использования искусственных нейронных сетей в компьютерном зрении, а более конкретно к системам и способам обработки видеоданных, полученных от видеокамер, для автоматической идентификации предметов экипировки на человеке.
УРОВЕНЬ ТЕХНИКИ
В настоящее время большое распространение получили различные системы видеонаблюдения. Если задуматься, то уже сложно представить себе такое место, где не было бы установлено видеокамер. Ведь в каждом магазине, торговом центре, на любом предприятии и даже в жилых домах и парках для обеспечения всеобщей безопасности и контроля используют системы видеонаблюдения.
Под системами видеонаблюдения в контексте данной заявки подразумеваются программно-аппаратные средства, использующие методы компьютерного зрения для автоматизированного сбора данных на основании анализа потокового видео (видеоанализа). Такие видеосистемы опираются на алгоритмы обработки изображений, в том числе на алгоритмы распознавания, сегментации, классификации и идентификации изображений, позволяющие анализировать видео без прямого участия человека. Современные видеосистемы помимо прочего позволяют автоматически анализировать видеоданные с камер и сопоставлять указанные данные с данными, имеющимися в базе данных.
В последнее время стала набирать обороты тема распознавания предметов одежды/экипировки на человеке. Для примера, такие технологии распознавания могут помочь при поиске людей по видеоданным, если известно в какой одежде искомый человек. Кроме того, распознавание одежды на человеке может пригодится сотрудникам магазинов одежды, чтобы быстро определить стиль покупателя и своевременно предложить ему подходящую по стилю и вкусу одежду. Также, распознавание предметов экипировки может использоваться и для контроля за ношением спецодежды на различных опасных предприятиях, или же за соблюдением правил ношения средств индивидуальной защиты человека (СИЗ).
Из уровня техники известно решение, раскрытое в патенте US 8891880 В2, G06K 9/34, опубл. 18.11.2014, в котором описаны различные устройства и способы извлечения характеристик одежды для поиска людей. Способ поиска человека, реализуемый процессором, включает в себя такие этапы, как: поиск параметров признаков одежды на основе текста запроса одежды, представляющего тип и цвет одежды человека; формирование запроса характеристик одежды на основе параметров характеристик одежды; сравнение запроса характеристик одежды с характеристиками одежды, извлеченными из хранилища характеристик одежды, с получением, таким образом, результата сопоставления; и создание результата поиска человека на основе результата сопоставления.
Данное решение характеризует главным образом технологию поиска людей, причем поиск людей осуществляется на основе характеристик одежды человека, извлеченных из входного видео. При этом в известном решении подробно не раскрыто основных этапов обработки видеоданных, а также конкретных технологий идентификации предметов одежды и/или экипировки.
Также из уровня техники известно решение, раскрытое в патенте US 8379920 В2, G06K 9/00, опубл. 19.02.2013, в котором описаны различные системы и способы распознавания одежды по видеоданным. Система распознавания одежды по видео включает в себя: средства обнаружения и отслеживания человека; средство для оценки свойств текстуры на основе гистограммы ориентированного градиента (HOG) в нескольких пространственных ячейках, набора плотных функций SIFT и откликов DCT, при этом ориентации градиента в 8 направлениях (каждые 45 градусов) вычисляются по результатам цветовой сегментации; средство для совмещения лица и определения окклюзии; а также средство для выполнения оценки возрастай пола, выделения участков кожи и сегментации одежды для устройства с линейным опорным вектором (SVM) для последующего распознавания одежды, которую носит человек.
Известное из уровня техники решение существенно отличается от заявляемого нами решения и не содержит подробного раскрытия этапов распознавания и идентификации одежды.
Что касается примера идентификации СИЗ, то из уровня техники известно решение, раскрытое в патенте ЕР 2653772 B1, G06K 9/20, опубл. 22.08.2018, в котором раскрыта система определения соответствия средств индивидуальной защиты, включающая память и процессор, причем процессор сконфигурирован для: определения местоположения человека в рабочей зоне на основании сигнала от устройства определения местоположения; направления одного или нескольких устройств захвата изображений в определенное местоположение человека; приема одного или нескольких изображений из устройства захвата изображений; обнаружения одного или нескольких предметов СИЗ на одном или нескольких изображениях; обнаружения расположения одного или нескольких предметов СИЗ на человеке по одному или нескольким изображениям; идентификации типа одного или нескольких предметов СИЗ; проверки соответствия СИЗ одному или нескольким стандартам СИЗ на основе расположения одного или нескольких предметов СИЗ и типа одного или нескольких предметов СИЗ; и отправки сигнала, указывающего на результаты проверки соответствия. При этом в рассматриваемом решении идентификация типа одного или нескольких предметов СИЗ включает в себя:
идентификацию одной или нескольких меток, связанных с одним или несколькими предметами СИЗ.
Известное из уровня техники решение использует достаточно сложные техники анализа и обработки изображений для идентификации СИЗ и его положения на человеке. При этом для идентификации используются метки СИЗ, что значительно отличается от заявляемого нами решения.
Таким образом, основным отличием/преимуществом заявляемого нами решения от известных из уровня техники решений является использование уже имеющихся стандартных средств видеонаблюдения и средств обработки изображений, которые в совокупности позволяют быстро и точно идентифицировать любые предметы экипировки на человеке по видеоданным.
Заявляемое решение главным образом направлено на упрощение, ускорение и повышение точности процесса идентификации, а соответственно на обеспечение своевременного контроля за людьми в зоне наблюдения.
Следует отметить, что в современных видеосистемах для сегментации, распознавания и идентификации изображений все чаще применяются искусственные нейронные сети. Искусственная нейронная сеть (ИНС) - это математическая модель, а также ее аппаратное и/или программное воплощение, построенное по принципу организации и функционирования биологических нейронных сетей (сетей нервных клеток живых организмов). Одним из главных преимуществ ИНС является возможность их обучения, в процессе которого ИНС способна самостоятельно выявлять сложные зависимости между входными и выходными данными.
Именно за счет использования нескольких ИНС для обработки изображений, а также за счет использования стандартных средств видеонаблюдения и обработки видеоданных, заявляемое нами решение является более простым для осуществления и более точным по сравнению с известными из уровня техники решениями.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
Заявляемое техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники и на развитие уже известных решений.
Техническим результатом заявленной группы изобретений является повышение точности идентификации предметов экипировки на человеке за счет использования нескольких искусственных нейронных сетей.
Данный технический результат достигается тем, что система для идентификации экипировки на человеке содержит: память, сконфигурированную для хранения базы данных, которая включает в себя по меньшей мере выборку изображений предметов экипировки (ПЭ), а также сведения о необходимых ПЭ в различных зонах контроля; по меньшей мер е одно устройство захвата изображений, сконфигурированное для получения видеоданных из зоны контроля, в которой находится человек; и по меньшей мере, одно устройство обработки данных, содержащее: модуль получения видеоданных, сконфигурированный для получения видеоданных от по меньшей мере одного устройства захвата изображений в режиме реального времени; модуль анализа изображений, сконфигурированный для анализа видеоданных с целью обнаружения в кадре по меньшей мере одного человека и определения зоны контроля, после чего полученное изображение человека и данные о зоне контроля передаются в модуль сегментации; модуль сегментации, сконфигурированный для сегментации полученного изображения человека на отдельные изображения областей контроля с использованием искусственной нейронной сети (ИНС); модуль идентификации, сконфигурированный для идентификации каждого ПЭ на по меньшей мере одном из полученных изображений отдельных областей контроля с использованием одной или нескольких отдельных искусственных нейронных сетей, при этом модуль идентификации дополнительно разбивает результаты идентификации на по меньшей мере три возможные категории состояния ПЭ, для каждой из которых в качестве результата прохождения одной или нескольких ИНС выводится свой вектор значения вероятности; модуль вывода, выполненный с возможностью вывода полученных результатов идентификации.
Указанный технический результат также достигается за счет способа идентификации экипировки на человеке, выполняемого компьютерной системой, содержащей, по меньшей мере, одно устройство обработки данных и память, хранящую базу данных, которая включает в себя по меньшей мере выборку изображений предметов экипировки (ПЭ), а также сведения о необходимых ПЭ в разных зонах контроля, причем способ содержит этапы, на которых: получают видеоданные от по меньшей мер е одного устройства захвата изображений в режиме реального времени, причем устройство захвата изображений получает видеоданные из зоны контроля, в которой находится человек; выполняют анализ полученных видеоданных с целью обнаружения в кадре по меньшей мере одного человека и определения зоны контроля для получения изображения человека и данных о зоне контроля; выполняют сегментацию полученного изображения человека на отдельные изображения областей контроля с использование искусственной нейронной сети (ИНС); идентифицируют каждый ПЭ на по меньшей мере одном из полученных изображений отдельных областей контроля с использованием одной или нескольких отдельных искусственных нейронных сетей, при этом результата идентификации дополнительно разбиваются на по меньшей мере три возможные категории состояния ПЭ, для каждой из которых в качестве результата прохождения одной или нескольких ИНС выводится свой вектор значения вероятности; выводят полученные результаты идентификации.
В одном частном варианте заявленного решения категориями состояния ПЭ являются по меньшей мере: правильное состояние ПЭ (1); по меньшей мере одно или несколько состояний ПЭ, отличающихся от правильного состояния ПЭ (2); шумы, не позволяющие правильно идентифицировать ПЭ (3); причем если упомянутых состояний, отличающихся от правильного состояния ПЭ (2), два или более, то для каждого такого возможного состояния на выходе одной или нескольких ИНС будет свой вектор значения вероятности.
В другом частном варианте заявленного решения модуль вывода в качестве результата идентификации выводит только ту категорию состояния ПЭ, которой соответствует наибольшее значение вероятности, причем если наибольшее значение вероятности у категории (2), то система дополнительно сконфигурирована выполнять предварительно заданные пользователем действия.
Еще в одном частном варианте заявленного решения если ПЭ состоит из нескольких составных частей, то для идентификации одного ПЭ может использоваться несколько ИНС, соответствующих количеству составных частей данного ПЭ.
В другом частном варианте заявленного решения областями контроля являются по меньшей мере: голова, плечи, предплечья, кисти, туловище, бедра, голени, стопы.
Еще в одном частном варианте заявленного решения модуль идентификации дополнительно сконфигурирован с возможностью объединения нескольких областей контроля, полученных от модуля сегментации, в одну область, для последующей идентификации ПЭ на полученной объединенной области контроля.
А еще в одном частном варианте заявленного решения модуль сегментации дополнительно сконфигурирован с возможностью отбрасывать изображения тех людей, которые расположены относительно устройства захвата изображений на расстоянии, превышающем максимально допустимое расстояние, предварительно заданное пользователем, а также изображения тех людей, которые находятся в неинформативных позах.
В другом частном варианте заявленного решения к предметам экипировки (ПЭ) относятся по меньшей мере, но не ограничиваясь: средства индивидуальной защиты (СИЗ), предметы одежды, наряды, предметы рабочей формы, предметы военного снаряжения.
Еще в одном частном варианте заявленного решения идентификация выполняется в соответствии с данными, полученными из сведений о необходимых ПЭ именно в той зоне контроля, в которой находится рассматриваемый человек.
Помимо указанного выше, данный технический результат также достигается за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления способов идентификации экипировки на человеке.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - блок-схема системы для идентификации экипировки на человеке.
Фиг. 2 - блок-схема способа идентификации экипировки на человеке.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Ниже будет приведено описание примерных вариантов осуществления заявленной группы изобретений. Однако заявленная группа изобретений не ограничивается только этими вариантами осуществления. Специалистам будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, могут попадать и другие варианты реализаций.
Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде вычислительных систем и способов, реализуемых различными компьютерными средствами, а также в виде считываемого компьютером носителя данных, хранящего исполняемые процессором компьютера инструкции.
На фиг. 1 представлена блок-схема системы для идентификации экипировки на человеке. Данная система включает в себя: память (10), сконфигурированную для хранения базы данных (DB); по меньшей мере одно устройство захвата изображений (20, …, 2n); и по меньшей мере, одно устройство обработки данных (30, …, 3m), содержащее: модуль получения видеоданных (40), модуль анализа изображений (50), модуль сегментации (60), модуль идентификации (70) и модуль вывода (80).
В данном контексте под компьютерными системами понимаются любые вычислительные системы, построенные на базе программно-аппаратных взаимосвязанных технических средств.
Под устройством захвата изображений в контексте данной заявки подразумевается видеокамера.
В качестве устройства обработки данных может выступать процессор, микропроцессор, графический процессор, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер) или интегральная схема, сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных.
В роли устройства памяти, сконфигурированного для хранения данных, могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, сервер, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические накопители информации и т.д.
В контексте данной заявки память хранит базу данных, которая включает в себя по меньшей мере выборку изображений предметов экипировки (ПЭ), а также сведения о необходимых ПЭ в различных зонах контроля (если такие имеются).
Экипировка - это совокупность предметов одежды, используемых человеком для конкретной цели. К предметам экипировки (ПЭ) относятся по меньшей мере, но не ограничиваясь: средства индивидуальной защиты (СИЗ), любые предметы одежды (рубашка, штаны, кофта, брюки, майка, шорты, пальто и т.д.), наряды (например, костюм клоуна или костюм любого героя из фильма или мультфильма), предметы рабочей формы (спецодежда, комбинезоны, жилеты), предметы военного снаряжения (военная форма и соответствующие атрибуты).
К средствам индивидуальной защиты (СИЗ) относятся изделия, предназначенные для защиты человека от различных физических или химических воздействий. СИЗ могут включать в себя: средства защиты кожных покровов (специальную одежду, обувь, изолирующие костюмы, жилеты, комбинезоны), средства защиты органов дыхания (противогазы, респираторы, изолирующие дыхательные аппараты, комплект дополнительного патрона), средства зашиты рук (перчатки), средства защиты головы от физических воздействий (каска, шлем), средства защиты лица (маска, респиратор), средства защиты органов слуха (наушники, ушные вкладыши), средства защиты глаз (защитные очки), различные предохранительные приспособления (страховочные тросы) и так далее.
Что касается выборки изображений предметов экипировки (ПЭ), то заявляемая система идентификации ПЭ сконфигурирована для автоматического пополнения упомянутой выборки изображений каждого ПЭ и для обучения по меньшей мере одной используемой искусственной нейронной сети. Пополнение выборки изображений и обучение по меньшей мере одной ИНС являются постоянными процессами, поскольку набор ПЭ и их внешний вид могут меняться со временем. При этом обучение каждой ИНС в контексте заявляемого решения выполняется на основании пополняемой базы данных ПЭ. Причем обучение ИНС может осуществляться как устройством обработки данных системы, так и облачным сервисом или любым другим вычислительным устройством.
Следует отметить, что в описанную систему могут входить и любые другие известные в данном уровне техники устройства, например, такие как различного вида датчики, устройства ввода/вывода, устройства отображения и т.п.
Далее будет подробно описан пример работы вышеупомянутой системы для идентификации экипировки на человеке. Все нижеописанные этапы работы системы также применимы и к реализации заявляемого способа идентификации экипировки на человеке, который будет рассмотрен более подробно ниже.
Рассмотрим принцип работы данной системы идентификации. Предположим данная система, а также соответствующее ей ПО, установлены на каком-либо предприятии (заводе или фабрике). Сотрудники утром приходят на работу и в соответствии со своей должностью одевают необходимые предметы экипировки (ПЭ), например, рабочую спецодежду и СИЗ. После того как сотрудник оденет все что ему необходимо, он проходит в зону контроля. Под зоной контроля в контексте данной заявки понимается помещение, оснащенное по меньшей мере одной видеокамерой и оборудованное для идентификации ПЭ на человеке, а также для мониторинга, проверки и контроля за действиями людей. Зоной контроля может являться, например, рабочее помещение.
По меньшей мере одно устройство захвата изображений рассматриваемой системы, в данном случае видеокамера, расположена в помещении таким образом, чтобы непрерывно в режиме реального времени получать видеоданные из зоны контроля, в которой находится человек или несколько людей. Следует отметить, что описываемая система идентификации и видеонаблюдения может включать в себя несколько видеокамер для получения большего количества видеоданных и повышения точности результатов их обработки. То есть в каждом требующем контроля помещении может быть установлено по несколько видеокамер. При этом количество контролируемых помещений тоже не ограничено. Кроме того, в отдельных реализациях при настройке видеокамеры для определенной зоны контроля оператор системы имеет возможность задавать конкретные ПЭ, которые необходимо отслеживать на человеке именно в той зоне контроля, в которой располагается данная видеокамера.
Далее основную работу выполняет по меньшей мере одно устройство обработки данных, например, такое как графический процессор компьютера. Упомянутое устройство обработки данных включает в себя отдельные программные или аппаратные модули/блоки, каждый из которых сконфигурирован для выполнения определенной задачи. В описываемом решении, как представлено на фиг. 1, устройство обработки данных содержит такие модули как: модуль получения видеоданных (40), модуль анализа изображений (50), модуль сегментации (60), модуль идентификации (70) и модуль вывода (80). Далее будет подробно описана работа каждого модуля.
Модуль получения видеоданных (40) непрерывно получает все видеоданные, поступающие от по меньшей мере одного или нескольких устройств захвата изображений в режиме реального времени. Затем все получаемые видеоданные анализируются модулем анализа изображений (50) для выявления/обнаружения кадров, отображающих/характеризующих по меньшей мере одного человека и определения зоны контроля. Данные о зоне контроля могут быть определены графическим процессором из метаданных, которые каждое устройство захвата изображений передает в устройство обработки данных вместе с видеоданными. Следует отметить, что при установке системы на предприятии, все устройства захвата изображений предпочтительно располагать в зонах контроля таким образом, чтобы полностью охватывать все помещение (области зрения камер могут немного пересекаться/накладываться, для получения полной картины). Таким образом модуль анализа изображений (50) может с легкостью обнаружить человека и получить хорошее одно или несколько его изображений по видеоданным. Что касается анализа видеоданных, то в зависимости от предварительно заданных пользователем настроек, он выполняется либо постоянно, либо в определенно заданный пользователем системы интервал времени, либо по сигналу от пользователя системы. После того как системой обнаружен кадр с человеком и получены данные о конкретной зоне контроля, в которой находится обнаруженный человек, полученное по меньшей мере одно изображение/кадр упомянутого человека и соответствующие ему данные о зоне контроля автоматически передаются в модуль сегментации (60).
Модуль сегментации (60) в свою очередь сконфигурирован для сегментации полученного изображения человека на отдельные изображения областей контроля. Упомянутая сегментация выполняется с использованием своей искусственной нейронной сети. Следует отметить, что сегментация может выполняться по цвету и/или форме и/или текстуре. Пользователь системы может задать любой вид сегментации, или же сегментация может выполняться последовательно каждым из перечисленных способов для получения наилучшего результата. В контексте данной заявки упомянутыми областями контроля являются анатомические части человеческого тела, к которым относятся по меньшей мере такие восемь частей, как: голова, плечи, предплечья, кисти, туловище, бедра, голени, стопы.
Кроме того, в одном из частных вариантов реализации системы модуль сегментации (60) дополнительно сконфигурирован с возможностью отбрасывать изображения тех людей, которые расположены относительно устройства захвата изображений на расстоянии, превышающем максимально допустимое расстояние, предварительно заданное пользователем системы. То есть когда люди в кадре визуально различимы, но находятся слишком далеко для осуществления последующей корректной обработки данных. Также модуль сегментации (60) сконфигурирован с возможностью отбрасывать и изображения тех людей, которые находятся в неинформативных позах (например, когда человек сидит или наклонился). Это необходимо для снижения количества ложных срабатываний системы, поскольку в описанных выше случаях часто возникают проблемы с верной идентификацией ПЭ.
После разделения изображения человека на отдельные изображения его анатомических частей (8 областей контроля), эти отдельные изображения далее передаются в модуль идентификации (70). Упомянутый модуль выполняет идентификацию каждого предмета экипировки на каждом из полученных отдельных изображений областей контроля с использованием своей отдельной по меньшей мере одной или даже нескольких классификационных искусственных нейронных сетей (ИНС). Идентификация осуществляется путем сравнения каждого распознанного изображения ПЭ с по меньшей мере, одним изображением ПЭ, содержащимся в базе данных системы. При этом данные о каждом ПЭ в базе данных включают в себя по меньшей мере: наименование, основные характеристики (такие как размер, форма, цветовая палитра) и выборку эталонных изображений. Кроме того, каждое изображение в выборке эталонных изображений ПЭ включает в себя дескриптор, характеризующий вектор чисел данного изображения.
Следует отметить, что в одном из вариантов реализации системы модуль идентификации (70) дополнительно сконфигурирован с возможностью объединения нескольких областей контроля, полученных от модуля сегментации (60), в одну область, для последующей идентификации ПЭ на полученной объединенной области контроля. Например, для идентификации штанов на человеке модуль идентификации автоматически объединяет две области контроля «голени» и «бедра» для получения дополнительной области контроля «ноги». Аналогичным образом происходит объединение таких областей контроля как «плечи», «предплечья» и «туловище» для идентификации кофты с длинными рукавами.
А принцип идентификации следующий: искусственная нейронная сеть (в данном случае классификационная ИНС) получает отдельное изображение области контроля (например, области контроля «голова»), после чего выдает некоторый вектор чисел - дескриптор изображения. При этом, как уже было указано ранее, база данных системы хранит выборку эталонных изображения всех возможных ПЭ, включающую соответствующий каждому изображению ПЭ дескриптор. Для сравнения изображений классификационная ИНС использует именно эти дескрипторы. Причем ИНС обучена так, что чем меньше угол между этими векторами чисел в пространстве, тем больше вероятность совпадения изображений. В качестве метрики для сравнения используется косинус угла между векторами чисел (векторами из базы данных и полученным вектором изображения области контроля). Соответственно, чем ближе косинус угла между векторами к единице, тем больше вероятность, что ПЭ является одним и тем же на сравниваемой паре изображений.
В отличие от запатентованного нами ранее технического решения (см. патент RU 2724785 В1), модуль идентификации (70) заявляемой системы дополнительно сконфигурирован, чтобы разбивать полученные результаты идентификации на по меньшей мере три возможные категории состояния ПЭ, для каждой из которых в качестве результата прохождения одной или нескольких классификационных ИНС выводится свой вектор значения вероятности. В контексте данной заявки упомянутыми категориями состояния ПЭ являются по меньшей мере: правильное состояние ПЭ (1); по меньшей мере одно или несколько состояний ПЭ, отличающихся от правильного состояния ПЭ (2); и шумы, не позволяющие правильно идентифицировать ПЭ (3). Таким образом, по итогу работы модуля идентификации мы получаем вектор значения вероятности для каждой из возможных категорий состояния ПЭ. Причем если состояний, отличающихся от правильного состояния ПЭ (2), два или более, то для каждого такого возможного состояния на выходе одной или нескольких классификационных ИНС будет свой вектор значения вероятности.
Для примера рассмотрим ситуацию, когда для соблюдения техники безопасности на предприятии все люди должны быть в каске с фонарем. То есть если человек в каске с фонарем, то это правильное состояние ПЭ (1). Если человек в каске без фонаря (а) или же вообще каска отсутствует (б), то эти два состояния ПЭ относятся к категории (2). Если изображение головы человека является малоконтрастным или смазанным, или же темным или наоборот засвеченным, то система не может определить есть ли на изображении области контроля ПЭ или нет. В таком случае система отнесет результат идентификации к категории шум (3). Допустим для примера, что в результате модуль идентификации определил, что с вероятностью 0,6 (60%) человек в каске с фонарем (то есть категория (1)), с вероятностью 0,2 (20%) что человек в каске без фонаря (то есть категория (2)), с вероятностью 0,1 (10%) каска на человеке отсутствует (то есть категория (2)) и с вероятностью 0,1 (10%) на рассматриваемом системой изображении представлен шум (то есть категория (3)). Исходя из полученных значений вероятности логично предположить, что на изображении человек в каске с фонарем, так как полученная вероятность этого выше всего. А поскольку категория состояния соответствует категории правильного состояния ПЭ (1), то система не предпринимает никаких дальнейших действий относительно рассматриваемого человека.
Следует обратить внимание, что вектором значения вероятности, выводимым системой в качестве результата идентификации, является выход классификационной ИНС. Топология сети может меняться, как и количество категорий состояния ПЭ, которые пытается идентифицировать система. Под выходом ИНС в общем случае понимается прямое прохождение ИНС, ион представлен в виде вектора (или набора векторов) вероятностей принадлежности к категориям. Именно по выходу ИНС система выявляет различные нарушения ношения ПЭ. Для примера предположим, что модуль идентификации разбил результат идентификации на три категории состояния ПЭ - (1) человеке маске, (2) человек без маски и (3) шум. Таким образом на выходе будет - «0.0.11:0.72:0.2». То есть исходя из полученных данных выходит, что человек без маски, а это является нарушением.
Кстати говоря, для случая, когда ПЭ состоит из нескольких составных частей (например, каска+фонарь=каска с фонарем), для идентификации такого сложного/составного ПЭ в отдельных реализациях системы может использоваться несколько ИНС, соответствующих количеству составных частей данного ПЭ (для данного примера две ИНС). Таким образом, в заявляемом решении осуществляется использование нескольких отдельных ИНС для идентификации одного ПЭ. Это может быть также актуально и полезно в случае, когда несколько категорий состояния одного ПЭ очень похожи по признакам. Например, когда человек в застегнутом защитном комбинезоне - это категория (1), а когда человеке защитном комбинезоне, но он не застегнут, то это категория (2). В таком случае для достижения наилучшего результата идентификации проще обучить несколько отдельных ИНС (то есть для каждой категории своя ИНС). Кроме того, для идентификации таких отдельных (простых) ПЭ как каска и фонарь также логично использовать отдельные ИНС.
В одном из частных вариантов исполнения системы идентификация ПЭ выполняется в соответствии с данными, полученными из сведений о необходимых ПЭ именно в той зоне контроля, в которой находится рассматриваемый человек. В такой реализации модуль идентификации (70) пытается идентифицировать ПЭ только на тех областях контроля, на которых в соответствии с определенной зоной контроля должен присутствовать ПЭ, при этом не тратит вычислительные ресурсы системы на распознавание ПЭ на других областях контроля, поскольку для рассматриваемой зоны контроля нет требований по ношению ПЭ на других частях тела. Для примера рассматривая нынешнюю ситуацию, практически в любом магазине или ТЦ в период пандемии необходимо находиться в маске/респираторе и перчатках. В таком случае пользователь системы предварительно настраивает систему так, чтобы в торговом зале (зоне контроля) выполнялась идентификация только таких СИЗ, как перчатки, маска и респиратор. При этом идентификация СИЗ будет выполняться только на двух областях контроля: «голова» и «кисти». Такие настройки можно задать как в каждой отдельной видеокамере, так и посредством устройства обработки данных.
После идентификации всех ПЭ результаты идентификации передаются в модуль вывода (80), который выполнен с возможностью вывода полученных результатов идентификации. При этом в отдельных вариантах реализации системы модуль вывода (80) в качестве результата идентификации для каждого ПЭ выводит только ту категорию состояния этого ПЭ, которой соответствует наибольшее значение вероятности. Если наибольшее значение вероятности у категории состояния шум (3), то этот результат никак не используется системой далее. То есть просто игнорируется. Благодаря такой особенности система легко отсекает шумы, которые в противном случае могли бы привести к ложным срабатываниям системы. Если максимальное/наибольшее значение вероятности у категории состояния (1), то есть когда ПЭ в правильном состоянии, то системой не предпринимается никаких дальнейших действий. А вот если наибольшее значение вероятности у категории (2), то есть когда состояние ПЭ отличается от правильного, то система дополнительно сконфигурирована выполнять предварительно заданные пользователем системы действия. Например, если на человеке должна быть маска, а системы определила, что на человеке нет маски, то в таком случае модуль вывода (80) может автоматически отправить сигнал тревоги оператору системы или сотруднику охраны, с указанием данных о месте и времени нарушения, а также по возможности о личных данных нарушителя.
Следует отметить, что сами результаты идентификации никак не выводятся именно на экран оператора системы, то есть они просто сохранятся системой в базу данных для дальнейшего контроля за работой системы или для формирования различных отчетов.
Далее будет описан пример конкретной реализации способа для идентификации экипировки на человеке. На фиг. 2 представлена блок-схема одного из вариантов реализации способа идентификации экипировки на человеке.
Указанный способ выполняется уже описанной выше компьютерной системой, содержащей, по меньшей мере одно устройство обработки данных и память, хранящую базу данных, которая включает в себя по меньшей мер е выборку изображений предметов экипировки (ПЭ), а также сведения о необходимых ПЭ в различных зонах контроля.
Заявляемый способ в базовом варианте содержит этапы, на которых: (100) получают видеоданные от по меньшей мере одного устройства захвата изображений в режиме реального времени, причем устройство захвата изображений получает видеоданные из зоны контроля, в которой находится человек;
(200) выполняют анализ полученных видеоданных с целью обнаружения в кадре по меньшей мере одного человека и определения зоны контроля для получения изображения человека и данных о зоне контроля;
(300) выполняют сегментацию полученного изображения человека на отдельные изображения областей контроля с использование искусственной нейронной сети (ИНС);
(400) идентифицируют каждый ПЭ на по меньшей мере одном из полученных изображений отдельных областей контроля с использованием одной или нескольких отдельных искусственных нейронных сетей,
(500) при этом результаты идентификации дополнительно разбиваются на по меньшей мере три возможные категории состояния ПЭ, для каждой из которых в качестве результата прохождения одной или нескольких ИНС выводится свой вектор значения вероятности;
(600) выводят полученные результаты идентификации.
Следует еще раз отметить, что данный способ может быть реализован посредством использования охарактеризованной ранее вычислительной системы и, следовательно, может быть расширен и уточнен всеми теми же частными вариантами исполнения, которые уже были описаны выше для реализации системы для идентификации предметов экипировки на человеке.
Кроме того, варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В данном примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном или более из различных традиционных считываемых компьютером носителе данных.
В контексте данного описания «считываемым компьютером носителем данных» может быть любая среда или средства, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции (команды) для их использования (исполнения) вычислительной системой, например, такой как компьютер. При этом носитель данных может являться энергонезависимым машиночитаемым носителем данных.
При необходимости, по меньшей мере часть различных операций, рассмотренных в описании данного решения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.
Хотя данное техническое решение было описано подробно в целях иллюстрации наиболее необходимых в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.
1. Система для идентификации экипировки на человеке, содержащая:
память, сконфигурированную для хранения базы данных, которая включает в себя по меньшей мере выборку изображений предметов экипировки (ПЭ), а также сведения о необходимых ПЭ в различных зонах контроля;
по меньшей мере одно устройство захвата изображений, сконфигурированное для получения видеоданных из зоны контроля, в которой находится человек; и
по меньшей мере, одно устройство обработки данных, содержащее:
модуль получения видеоданных, сконфигурированный для получения видеоданных от по меньшей мере одного устройства захвата изображений в режиме реального времени;
модуль анализа изображений, сконфигурированный для анализа видеоданных с целью обнаружения в кадре по меньшей мере одного человека и определения зоны контроля, после чего полученное изображение человека и данные о зоне контроля передаются в модуль сегментации;
модуль сегментации, сконфигурированный для сегментации полученного изображения человека на отдельные изображения областей контроля с использованием искусственной нейронной сети (ИНС);
модуль идентификации, сконфигурированный для идентификации каждого ПЭ на по меньшей мере одном из полученных изображений отдельных областей контроля с использованием одной или нескольких отдельных искусственных нейронных сетей, при этом модуль идентификации дополнительно разбивает результаты идентификации на по меньшей мере три возможные категории состояния ПЭ, для каждой из которых в качестве результата прохождения одной или нескольких ИНС выводится свой вектор значения вероятности;
модуль вывода, выполненный с возможностью вывода полученных результатов идентификации.
2. Система по п. 1, в которой категориями состояния ПЭ являются по меньшей мере: правильное состояние ПЭ (1); по меньшей мере одно или несколько состояний ПЭ, отличающихся от правильного состояния ПЭ (2); шумы, не позволяющие правильно идентифицировать ПЭ (3);
причем если упомянутых состояний, отличающихся от правильного состояния ПЭ (2), два или более, то для каждого такого возможного состояния на выходе одной или нескольких ИНС будет свой вектор значения вероятности.
3. Система по п. 2, в которой модуль вывода в качестве результата идентификации выводит только ту категорию состояния ПЭ, которой соответствует наибольшее значение вероятности, причем если наибольшее значение вероятности у категории (2), то система дополнительно сконфигурирована выполнять предварительно заданные пользователем действия.
4. Система по п. 2, в которой если ПЭ состоит из нескольких составных частей, то для идентификации одного ПЭ может использоваться несколько ИНС, соответствующих количеству составных частей данного ПЭ.
5. Система по любому из пп. 1-4, в которой областями контроля являются по меньшей мере: голова, плечи, предплечья, кисти, туловище, бедра, голени, стопы.
6. Система по п. 5, в которой модуль идентификации дополнительно сконфигурирован с возможностью объединения нескольких областей контроля, полученных от модуля сегментации, в одну область, для последующей идентификации ПЭ на полученной объединенной области контроля.
7. Система по п. 5, в которой модуль сегментации дополнительно сконфигурирован с возможностью отбрасывать изображения тех людей, которые расположены относительно устройства захвата изображений на расстоянии, превышающем максимально допустимое расстояние, предварительно заданное пользователем, а также изображения тех людей, которые находятся в неинформативных позах.
8. Система по любому из пп. 1-7, в которой к предметам экипировки (ПЭ) относятся по меньшей мере, но не ограничиваясь: средства индивидуальной защиты (СИЗ), предметы одежды, наряды, предметы рабочей формы, предметы военного снаряжения.
9. Система по любому из пп. 1-7, в которой идентификация выполняется в соответствии с данными, полученными из сведений о необходимых ПЭ именно в той зоне контроля, в которой находится рассматриваемый человек.
10. Способ идентификации экипировки на человеке, выполняемый компьютерной системой, содержащей, по меньшей мере, одно устройство обработки данных и память, хранящую базу данных, которая включает в себя по меньшей мере выборку изображений предметов экипировки (ПЭ), а также сведения о необходимых ПЭ в разных зонах контроля, причем способ содержит этапы, на которых:
получают видеоданные от по меньшей мере одного устройства захвата изображений в режиме реального времени, причем устройство захвата изображений получает видеоданные из зоны контроля, в которой находится человек;
выполняют анализ полученных видеоданных с целью обнаружения в кадре по меньшей мере одного человека и определения зоны контроля для получения изображения человека и данных о зоне контроля;
выполняют сегментацию полученного изображения человека на отдельные изображения областей контроля с использованием искусственной нейронной сети (ИНС);
идентифицируют каждый ПЭ на по меньшей мере одном из полученных изображений отдельных областей контроля с использованием одной или нескольких отдельных искусственных нейронных сетей, при этом результаты идентификации дополнительно разбиваются на по меньшей мере три возможные категории состояния ПЭ, для каждой из которых в качестве результата прохождения одной или нескольких ИНС выводится свой вектор значения вероятности;
выводят полученные результаты идентификации.
11. Способ по п. 10, в котором категориями состояния ПЭ являются по меньшей мере: правильное состояние ПЭ (1); по меньшей мере одно или несколько состояний ПЭ, отличающихся от правильного состояния ПЭ (2); шумы, не позволяющие правильно идентифицировать ПЭ (3);
причем если упомянутых состояний, отличающихся от правильного состояния ПЭ (2), два или более, то для каждого такого возможного состояния на выходе одной или нескольких ИНС будет свой вектор значения вероятности.
12. Способ по п. 11, в котором в качестве результата идентификации выводится только та категория состояния ПЭ, которой соответствует наибольшее значение вероятности, причем если наибольшее значение вероятности у категории (2), то система дополнительно сконфигурирована выполнять предварительно заданные пользователем действия.
13. Способ по п. 11, в котором если ПЭ состоит из нескольких составных частей, то для идентификации одного ПЭ может использоваться несколько ИНС, соответствующих количеству составных частей данного ПЭ.
14. Способ по любому из пп. 10-13, в котором областями контроля являются по меньшей мере: голова, плечи, предплечья, кисти, туловище, бедра, голени, стопы.
15. Способ по п. 14, в котором перед идентификацией ПЭ дополнительно выполняется объединение нескольких областей контроля, полученных от модуля сегментации, в одну область, для последующей идентификации ПЭ на полученной объединенной области контроля.
16. Способ по п. 14, в котором на этапе сегментации дополнительно осуществляется отбрасывание изображений тех людей, которые расположены относительно устройства захвата изображений на расстоянии, превышающем максимально допустимое расстояние, предварительно заданное пользователем, а также изображений тех людей, которые находятся в неинформативных позах.
17. Способ по любому из пп. 10-16, в котором к предметам экипировки (ПЭ) относятся по меньшей мере, но не ограничиваясь: средства индивидуальной защиты (СИЗ), предметы одежды, наряды, предметы рабочей формы, предметы военного снаряжения.
18. Способ по любому из пп. 10-16, в котором идентификация выполняется в соответствии с данными, полученными из сведений о необходимых ПЭ именно в той зоне контроля, в которой находится рассматриваемый человек.
19. Считываемый компьютером носитель данных, содержащий исполняемые процессором компьютера инструкции для осуществления способов идентификации экипировки на человеке по любому из пп. 10-18.
