Способ и система для обнаружения человека в опасной зоне и предупреждения его об опасности
Изобретение относится к системе для обнаружения человека в опасной зоне и информирования его об опасности, которая содержит: датчик, выполненный с возможностью формирования изображения опасной зоны; анализатор, выполненный с возможностью выявления на изображении человека; формирователь речевых сообщений, выполненный с возможностью формирования электрического сигнала речевого сообщения; акустический извещатель, выполненный с возможностью преобразования электрического сигнала речевого сообщения в слышимый сигнал речевого сообщения; и визуальный извещатель, выполненный с возможностью подачи видимого сигнала, при этом анализатор способен объединять изображения с по меньшей мере одного датчика в одно изображение большего размера и выявлять человека на этом объединенном изображении при помощи нейронной сети. Технический результат – повышенная устойчивость к воздействию неблагоприятных факторов, препятствующих обнаружению человека в опасной зоне на изображениях, в частности, сложных погодных условий, заслонения, засветки или загрязнения камер видеонаблюдения или датчиков иного вида, необычного положения человека или на индивидуальных средствах мобильности. 2 н. и 58 з.п. ф-лы, 5 ил.
Область техники, к которой относится изобретение
Изобретение относится к средствам обеспечения безопасности на основе компьютерного зрения и, в частности, к способу и системе для обнаружения человека в опасных зонах инфраструктуры производственных и иных хозяйственных объектов, а также объектов промышленного, магистрального и городского транспорта (в том числе железнодорожного), путем анализа изображения, получаемого с видеокамеры, и обеспечения световой и звуковой сигнализации для информирования человека о необходимости выхода из опасной зоны.
Уровень техники
Из уровня техники известны средства обнаружения человека на объектах железнодорожной инфраструктуры, в основном относящихся к пешеходным переходам и переездам железнодорожных путей.
Из патентного документа GB2590915A известна система для предупреждения пешеходов, пересекающих железнодорожные пути по необслуживаемому переходу, о приближении поезда. Система содержит ряд датчиков для выявления наличия поезда, направления и скорости его движения, видеокамеры с функцией выявления движения и устройства световой и звуковой индикации, указывающие на опасность нахождения на путях при приближении поезда.
Из патентного документа RU134889U1 известна система для обеспечения безопасности железнодорожных переездов, содержащая камеры с функцией выявления движения для определения наличия на переезде движущегося или неподвижного транспортного средства при приближении поезда. Наличие на переезде движущегося транспортного средства приводит к задержке активации электромеханических устройств заграждения, а выявление неподвижного транспортного средства приводит к формированию сигнала тревоги.
Из патентного документа RU156053U1 известна система для ситуационного контроля на железнодорожном переезде, обеспечивающая автоматическую циклическую запись изображения с видеокамер о ситуации на железнодорожном переезде, выявление движущихся транспортных средств путем анализа изображений, речевое оповещение участников дорожного движения на переезде о приближении поезда и речевое оповещение участников дорожного движения о нарушении Правил дорожного движения (въезде транспортного средства в зону переезда при включенном запрещающем сигнале переездных светофоров).
Из патентного документа RU2295470C1 известна система для обеспечения безопасности на железнодорожных переездах, содержащая две видеокамеры, видеопроцессорное устройство, позволяющее обнаруживать движущиеся объекты на переезде, формирователь голосовых сообщений и громкоговоритель. Система также обеспечивает возможность подачи команды на экстренное торможение приближающемуся поезду в случае аварийной ситуации на переезде.
Из патентного документа RU2565159C2 известна система для защиты железнодорожных переездов, содержащая датчики приближения поезда, видеокамеры, видеодетектор, речевой информатор и рупорные громкоговорители. Система обеспечивает речевое оповещение участников дорожного движения на переезде о приближении поезда, выявляет возникновение аварийной ситуации (неподвижное транспортное средство на переезде), формирует и передает локомотивной бригаде сигнал тревоги.
Из патентного документа RU2711480C1 известна система для обнаружения препятствий на пути следования поезда и оповещения о них машинистов. Система содержит радар и видеокамеру с соответствующими модулями обработки, модуль обнаружения препятствия и модуль оповещения. Обнаружение человека на изображении с видеокамеры выполняется нейронной сетью. Модуль оповещения выполняет расчет времени движения до обнаруженного человека и если оно составляет менее 60 секунд, включает извещатель.
Из патентного документа RU2728967C1 известна система для оповещения пешехода и машиниста поезда о нахождении пешехода в опасной зоне. Определение положения пешехода и поезда обеспечивается с использованием средств GSM и GPS в смартфонах пешехода и машиниста, через них же выполняется оповещение.
Из патентного документа RU2752155C1 известна система технического зрения для обеспечения безопасности движения поездов в области ограниченной видимости. Система содержит видеокамеры, лидар и тепловизор, а также модуль обнаружения и идентификации объектов с модулем искусственной нейронной сети. В зависимости от положения и вида обнаруженного препятствия система формирует предупредительную или аварийную сигнализацию для машиниста поезда.
Из патентного документа US20090041297A1 известна система для выявления человека на изображении на основе следующих признаков: наличие головы на по существу вертикальном туловище, движение суставов при перемещении человека, размер в определенном диапазоне размеров и (возможно) видимое лицо. Для обработки изображений применяются алгоритм «Condensation» (Conditional Density Propagation) и фильтрация Калмана.
Из патентного документа US5825412A известна система для мониторинга железнодорожного переезда, в которой камера формирует изображения, устройство обработки изображений выявляет на них присутствие объектов и определяет их размер. Если этот размер превышает пороговое значение, система формирует сигнал тревоги, передаваемый на локомотив.
Из патентного документа US5864304 известна система оповещения для железнодорожного переезда о приближении поезда. Система содержит датчики приближения поезда и по сигналам с них формирует предупреждающий сигнал для водителей и пешеходов. Система также содержит датчики металла для определения наличия транспортных средств на переезде и формирует сигнал аварии для машиниста поезда.
Из патентного документа US6641091B1 известна система для определения присутствия людей и транспортных средств на железнодорожном переезде. Система содержит импульсный радар в качестве датчика присутствия и обеспечивает сбор статистических данных о пересечении железнодорожных путей.
Из патентного документа US8693725B2 известна система для выявления наличия объекта на изображении с видеокамеры. Объект выявляется за счет определения отсутствия на изображении характерных элементов изображения (например, рельсов, шпал, края балласта пути и т.п.) при их закрывании инородным объектом. Идентификация объекта не выполняется.
Из патентного документа US9152856B2 известна система для определения наличия пешехода на дороге, пешеходном переходе или на железнодорожном переезде. Наличие человека определяется путем выявления на изображении характерных частей человеческого тела. Эти части выявляются анализом яркости с определением границ контрастных зон, построением нормалей к ним и анализом соответствующих углов и расстояний.
Из патентного документа WO2005058668A2 известна система для выявления опасных инцидентов на железнодорожных пассажирских платформах, в дверях вагонов и т.п. путем гистограммного анализа изображений с видеокамер на предмет резких изменений в изображении.
Из патентного документа WO2014186642A2 известна система для мониторинга железнодорожного переезда, в которой изображения получаются от нескольких мультиспектральных камер, подвергаются мультиспектральному агрегированию, фильтрации для исключения мешающей засветки (например, от головного освещения локомотива), определению фона и выявлению объектов (транспортных средств, пешеходов, животных, выпавшего груза и т.п.). Объекты подвергаются классификации, на основе которой определяется степень критичности события, в зависимости от которой выполняется оповещение.
В непатентном документе [1] описано обнаружение пешеходов на изображениях с камер видеонаблюдения на пешеходных переходах трамвайных путей.
В непатентном документе [2] описано обнаружение пешеходов на изображениях с камер видеонаблюдения на пешеходных переходах и железнодорожных переездах.
В непатентном документе [3] описано обнаружение пешеходов на изображениях с камер видеонаблюдения на объектах железнодорожной инфраструктуры.
В непатентном документе [4] также описано обнаружение пешеходов на изображениях с камер видеонаблюдения на объектах железнодорожной инфраструктуры.
В непатентном документе [5] описано обнаружение человека с использованием алгоритмов Feature pyramid network (FPN) на изображениях с камер видеонаблюдения на объектах железнодорожной инфраструктуры.
В непатентном документе [6] описано обнаружение конкретного человека на изображениях с множества камер видеонаблюдения на объектах железнодорожной инфраструктуры.
В непатентном документе [7] также описано обнаружение пешеходов на изображениях с камер видеонаблюдения на объектах железнодорожной инфраструктуры.
В непатентном документе [8] описано обнаружение человека с использованием алгоритмов Histograms of oriented gradients (HOG) и Support vector machine (SVM) на изображениях с камер видеонаблюдения на объектах железнодорожной инфраструктуры.
В непатентном документе [9] упоминается выявление случаев повреждения, разъюстировки или засветки оптических датчиков. При обнаружении неработающего датчика выдается сигнал неисправности.
В непатентном документе [10] описано обнаружение человека на железнодорожной платформе на изображениях с камер видеонаблюдения с использованием сверточной нейронной сети.
В непатентном документе [11] описано обнаружение пешеходов на изображениях с камер видеонаблюдения на объектах железнодорожной инфраструктуры.
Известные технические решения не обладают требуемой устойчивостью к воздействию неблагоприятных факторов, препятствующих обнаружению человека в опасной зоне на изображениях, в частности, сложных погодных условий (туман, дождь, снег), заслонения, засветки или загрязнения камер видеонаблюдения или датчиков иного вида, необычного положения человека (на четвереньках, ползком) или на индивидуальных средствах мобильности (велосипед, самокат, лыжи, ролики и т.п.). Кроме того, известные технические решения не обладают требуемой заметностью и убедительностью сигналов, информирующих человека об опасности или предписывающих покинуть опасную зону.
Раскрытие изобретения
Настоящее изобретение призвано преодолеть или по меньшей мере уменьшить указанные выше недостатки известных технических решений. Изобретение включает в себя систему для обнаружения человека в опасной зоне и информировании его об опасности и соответствующий способ функционирования этой системы.
Система для обнаружения человека в опасной зоне и информировании его об опасности содержит по меньшей мере один датчик, способный формировать изображение опасной зоны, анализатор, способный выявлять человека на этом изображении, формирователь речевых сообщений, способный формировать электрический сигнал речевого сообщения, акустический извещатель, способный преобразовывать электрический сигнал речевого сообщения в слышимый сигнал речевого сообщения, и визуальный извещатель, способный подавать видимый сигнал, при этом анализатор способен объединять изображения с по меньшей мере одного датчика в одно изображение большего размера и выявлять человека на этом объединенном изображении.
Способ обнаружения человека в опасной зоне и информировании его об опасности включает в себя формирование изображения опасной зоны по меньшей мере одним датчиком, выявление на изображении человека анализатором, формирование электрического сигнала речевого сообщения формирователем речевых сообщений, подачу слышимого сигнала речевого сообщения акустическим извещателем и подачу видимого сигнала визуальным извещателем, при этом анализатор объединяет изображения с по меньшей мере одного датчика в одно изображение большего размера и выявляет человека на этом объединенном изображении.
Датчик может представлять собой видеокамеру, в частности, IP-камеру. Несколько IP-камер могут быть подключены к анализатору через POE-коммутатор.
Изображения с нескольких датчиков могут получаться по существу одновременно с разных ракурсов и могут подвергаться кадрированию до их объединения.
Анализатор может содержать нейронную сеть, которая может представлять собой сверточную нейронную сеть. Сверточный слой нейронной сети может применять по меньшей мере один фильтр с использованием весов, получаемых алгоритмом обратного распространения ошибки, активационный слой нейронной сети может применять активационную функцию ReLU, а пулинговый слой нейронной сети может уменьшать размерность тензорного пространства.
К нейронной сети на этапе ее обучения может применяться принцип переноса обучения. При обучении может применяться функция потерь, содержащая компонент краевых условий, компонент уверенности и компонент условий классификации, а также показатели качества - точность, покрытие и среднюю точность.
При обучении нейронной сети может применяться обучающий набор данных, содержащий фактические данные и измененные фактические данные, имитирующие артефакты реальных изображений.
Анализатор может выявлять нарушение нормальной работы датчика путем анализа изображения с этого датчика, при этом нарушение может представлять собой засветку и/или заслонение и/или загрязнение этого датчика. В этом случае анализ изображения может включать в себя выявление и сопоставление характерных точек изображения с заранее заданной периодичностью, при этом нормальная работа датчика считается нарушенной, если доля равномерно распределенных точек оказывается меньшей заранее заданной пороговой величины.
Событие выявления на изображении человека может фиксироваться в журнале событий системы, а соответствующие изображения могут записываться в архив изображений. Событие нарушения нормальной работы датчика также может фиксироваться в журнале событий системы. О событии нарушения нормальной работы датчика может выдаваться сообщение во внешнюю среду (вне системы) для принятия соответствующих мер. Изображение, на основе которого выявлено нарушение нормальной работы датчика, также может записываться в архив изображений. Архив изображений может подвергаться циклической перезаписи.
Получаемые с датчиков изображения могут подвергаться кешированию, а записываемые в архив изображения могут включать в себя изображения, начиная с полученных за первое заранее заданное время до момента первого выявления человека и заканчивая полученными спустя второе заранее заданное время после момента последнего выявления человека, при этом ранние изображения могут извлекаться из кеша.
Слышимый сигнал речевого сообщения может выражать информирование, предупреждение, предписание, запрет или любое их сочетание. Видимый сигнал также может выражать информирование, предупреждение, предписание, запрет или любое их сочетание и может представлять собой статическое изображение и/или динамическое изображение.
Визуальный извещатель может представлять собой комбинацию осветительного устройства и проектора, обеспечивающего проецирование видимого сигнала на поверхность контролируемой зоны.
Изобретение обладает высокой устойчивостью к воздействию неблагоприятных факторов, препятствующих обнаружению человека в опасной зоне на изображениях, в частности, сложных погодных условий (туман, дождь, снег), заслонения, засветки или загрязнения камер видеонаблюдения или датчиков иного вида, необычного положения человека (на четвереньках, ползком) или на индивидуальных средствах мобильности (велосипед, самокат, лыжи, ролики, скутер, моноколесо и т.п.). Кроме того, изобретение обеспечивает хорошую заметность и убедительность слышимых и видимых сигналов, информирующих человека об опасности и необходимости покинуть опасную зону или запрещающих входить в опасную зону.
Краткое описание чертежей
На фиг. 1 представлена обобщенная блок-схема системы для обнаружения человека на изображениях и доведения до него предупредительных и/или предписывающих сообщений.
На фиг. 2 представлена блок-схема иллюстративного варианта системы для обнаружения человека на изображениях и доведения до него предупредительных и/или предписывающих сообщений.
На фиг. 3 показан пример предупредительной надписи, формируемой визуальным извещателем согласно изобретению.
На фиг. 4 представлена блок-схема алгоритма обработки изображений согласно изобретению.
На фиг. 5 показан пример объединенного изображения, полученного из изображений с четырех видеокамер.
Осуществление изобретения
Система согласно изобретению предназначена для обнаружения человека в опасной зоне инфраструктуры производственных и иных хозяйственных объектов, а также объектов промышленного, магистрального и городского транспорта (в том числе железнодорожного), и доведения до человека предупредительных и/или предписывающих сообщений. Система позволяет повысить уровень безопасности людей за счет своевременного информирования голосовым сообщением и/или другим звуковым сигналом и/или световым сигналом о нахождении человека в опасной зоне.
Далее осуществление изобретения описано на примере системы для обнаружения и предупреждения человека на пешеходном переходе железнодорожных путей. Тем не менее, такая система может применяться также на автомобильных переездах железнодорожных путей, на эстакадах, в грузовых погрузочных зонах, на пассажирских платформах и в иных местах инфраструктуры производственных и опасных производственных объектов или объектах промышленного, магистрального и городского транспорта, где людям может угрожать опасность, связанная с подвижным составом, другими транспортными средствами, падением с высоты, перемещением груза, громким звуком, запылением, загазованностью, радиационной опасностью, биологической опасностью, пожарной опасностью, опасностью поражения электрическим током и т.п.
Обобщенный состав системы 10 для обнаружения и предупреждения человека представлен на фиг. 1. В общем случае система 10 для обнаружения и предупреждения человека содержит по меньшей мере один датчик 101, анализатор 102, формирователь 103 речевых сообщений, акустический извещатель 104, визуальный извещатель 105 и источник 106 электропитания.
Датчик 101 представляет собой источник изображений контролируемой зоны, получаемых с заранее заданной периодичностью. Датчик 101 может быть реализован как обычная фотокамера, обычная видеокамера, инфракрасная видеокамера, моноспектральный матричный датчик, мультиспектральный матричный датчик, лидарный датчик, радарный датчик и т.д. Периодичность получения изображений может быть постоянной или может зависеть от обстановки в контролируемой зоне. Например, периодичность получения изображений может зависеть от времени года, времени суток, погодных условий, условий освещения, выявленной активности в контролируемой зоне, степени опасности в контролируемой зоне и т.д.
В частности, периодичность получения изображений может снижаться в периоды времени с минимальной вероятностью появления людей в контролируемой зоне (например, глубокой ночью) и может повышаться в периоды времени с максимальной вероятностью появления людей в контролируемой зоне (например, во время активных перемещений людей в связи с трудовой и учебной деятельностью, хозяйственными нуждами и т.п. - утром и вечером). Периодичность получения изображений может снижаться в периоды времени с минимальной опасностью в контролируемой зоне (например, на время снижения интенсивности движения по железнодорожным путям) и может повышаться в периоды времени с максимальной опасностью в контролируемой зоне (например, на время прохождения составов с ответственными или опасными грузами по железнодорожным путям).
Минимальная периодичность получения изображений с датчика 101 может составлять, например, от одного кадра в несколько секунд до нескольких кадров в секунду. Максимальная периодичность получения изображений с датчика 101 может составлять, например, от нескольких кадров в секунду до нескольких десятков кадров в секунду.
Периодичность получения изображений с мультиспектральных датчиков может быть различной для разных диапазонов спектра. Например, периодичность получения изображений с датчика в видимом диапазоне может отличаться от периодичности получения изображений с датчика в инфракрасном диапазоне.
В случае применения в системе 10 нескольких датчиков 101 они могут быть датчиками одного вида или датчиками разных видов. Например, в системе 10 могут сочетаться монохромная видеокамера и радарный датчик или инфракрасная видеокамера и лидарный датчик. Периодичность получения изображений с датчиков разных видов также может быть различной.
В некоторых случаях датчик 101 может быть оборудован устройством подсветки в соответствующем диапазоне спектра.
Анализатор 102 представляет собой устройство для обработки изображений, получаемых с датчика 101, с целью выявления на изображении человека. Анализатор 102 может быть реализован в виде вычислительного устройства с традиционной архитектурой или в виде специализированного вычислительного устройства. Примером вычислительного устройства с традиционной архитектурой может служить промышленный компьютер или контроллер на базе центрального процессора (CPU), способный к выполнению соответствующего программного обеспечения. Центральный процессор может быть, например, процессором с полным набором команд (CISC) или процессором с сокращенным набором команд (RISC). В качестве примера специализированного вычислительного устройства можно привести вычислитель на базе графического процессора (GPU), программируемой логической интегральной схемы (GPGA), заказной интегральной схемы (ASIC) и т.д.
Формирователь 103 речевых сообщений представляет собой устройство для формирования звуковых сигналов в виде речевых сообщений на основе результатов работы анализатора 102. В частности, формирователь 103 речевых сообщений может быть реализован в виде цифроаналогового преобразователя (ЦАП), формирующего электрический звуковой сигнал для оповещения человека об опасности в контролируемой зоне. Цифроаналоговый преобразователь может быть параллельного или последовательного вида. В некоторых случаях формирователь 103 речевых сообщений может быть частью вычислительного устройства, реализующего функции анализатора 102.
Акустический извещатель 104 представляет собой устройство для преобразования электрического звукового сигнала, соответствующего речевому сообщению, в акустический сигнал требуемой громкости и направленности, доступный для непосредственного восприятия и понимания человеком в контролируемой зоне. Акустический извещатель 104 может содержать по меньшей мере один громкоговоритель. Громкоговоритель может включать в себя акустический излучатель электромагнитного, электродинамического, электростатического, пьезоэлектрического, магнитострикционного вида и т.п. Громкоговоритель может быть направленного или ненаправленного действия. Громкоговоритель направленного действия может быть оборудован одним или несколькими рупорами, экранами, акустическими линзами и т.д. В некоторых случаях громкоговоритель может быть реализован в виде излучателя с синтезированной апертурой, т.е. может содержать несколько излучателей, фазированных таким образом, чтобы формировать требую диаграмму направленности акустического извещателя 104. В некоторых случаях громкоговоритель может быть реализован в виде так называемого «акустического прожектора».
При необходимости громкоговоритель может быть оборудован усилителем мощности или усилитель мощности может представлять собой отдельной устройство, включенное между формирователем 103 речевых сообщений и акустическим извещателем 104. В некоторых случаях в качестве акустического извещателя 104 могут использоваться средства из состава объектовой (станционной, перегонной и т.п.) громкоговорящей связи.
Визуальный извещатель 105 представляет собой устройство для подачи видимого информирующего, предупреждающего или предписывающего сигнала человеку в контролируемой зоне. Визуальный извещатель 105 может быть реализован в виде фонаря, светофора, семафора, проблескового маячка, панели с текстом и/или с изображением, проектора, лазерного формирователя изображения и т.д.
Источник 106 электропитания представляет собой устройство для обеспечения электропитанием всех нуждающихся в этом частей системы 10. Источник 106 электропитания может быть реализован как первичный и/или вторичный источник электропитания. В частности, первичный источник электропитания может представлять собой электрохимический источник (например, батарею гальванических элементов, аккумуляторную батарею, источник на основе суперконденсаторов и т.п.), топливный элемент (например, на основе водорода, метанола, этанола и т.п.), электромеханический генератор (например, на основе двигателя внутреннего сгорания, двигателя Стирлинга, двигателя турбинного типа и т.п.), солнечную батарею, ветрогенератор, волновой гидрогенератор, гидротурбину и т.д. Вторичный источник электропитания может представлять собой стабилизированный преобразователь электрического тока. Источник 106 электропитания может содержать несколько источников, которые могут быть одного вида или разных видов.
На фиг. 2 представлена блок-схема иллюстративного варианта реализации системы 11 для обнаружения и предупреждения человека.
Система 11 в качестве датчиков содержит четыре IP-камеры 111 для получения последовательности изображений контролируемой области, представляющей собой оборудованный пешеходный переход железнодорожных путей.
Все IP-камеры 111 подключены к POE-коммутатору 117, обеспечивающему питание этих камер через сеть Ethernet (Power Over Ethernet). POE-коммутатор 117 представляет собой обычный POE-коммутатор, к которому не предъявляется особых требований и выбор которого является тривиальной задачей для специалиста. POE-коммутатор 117 соединен сетью Ethernet с блоком 112 компьютерного зрения.
Блок 112 компьютерного зрения обеспечивает обработку изображений контролируемой области с целью выявления на них присутствия человека. Алгоритм такой обработки изображений подробно описан ниже. Блок 112 компьютерного зрения соединен с ЦАП 113 и выдает ему цифровой сигнал речевого оповещения человека в контролируемой зоне. В иллюстративном варианте реализации изобретения интерфейс между блоком 112 компьютерного зрения и ЦАП 113 представляет собой интерфейс SPDIF, но в равной степени здесь может применяться интерфейс USB (Universal Serial Bus) или любой другой подходящий интерфейс, обеспечивающий передачу цифрового аудиосигнала.
Преобразователь ЦАП 113 формирует аналоговый сигнал речевого оповещения и представляет собой обычный ЦАП соответствующей разрядности, к которому не предъявляется особых требований и выбор которого является тривиальной задачей для специалиста. Аналоговый сигнал с выхода ЦАП 113 поступает на усилитель 118.
Усилитель 118 представляет собой усилитель мощности звуковой частоты и обеспечивает необходимую мощность звукового сигнала, подаваемого на речевой извещатель 114. К усилителю 118 не предъявляется особых требований, это может быть обычный усилитель с подходящими параметрами (выходной мощностью, рабочим диапазоном частот, коэффициентом нелинейных искажений и допустимым сопротивлением нагрузки), соответствующими параметрам речевого извещателя 114. В иллюстративном варианте реализации изобретения усилитель 118 может иметь номинальную выходную мощность от нескольких ватт до нескольких десятков ватт и рабочий диапазон частот, соответствующий диапазону частот человеческой речи.
Речевой извещатель 114 представляет собой акустическое устройство, содержащее громкоговоритель направленного действия номинальной мощностью 100 ватт. К речевому извещателю 114 также не предъявляется особых требований, это может быть обычный громкоговоритель, применяемый для громкой связи на станциях и линейных объектах железных дорог и соответствующий параметрам усилителя 118.
Система 11 содержит визуальный извещатель 115, соединенный с блоком 112 компьютерного зрения. В иллюстративном варианте реализации изобретения визуальный извещатель 115 представляет собой комбинацию осветительного устройства (фонаря) и проектора, обеспечивающего проецирование на поверхность контролируемой зоны в темное время суток крупной хорошо заметной предупредительной надписи или иного изображения. Примером такой предупредительной надписи может служить представленное на фиг. 3 интуитивно понятное изображение, подобное дорожному знаку, запрещающему движение. Следует отметить, что изображение, подобное представленному на фиг. 3, обладает повышенной эффективностью воздействия на человека за счет сочетания информационного (надпись) и эмоционального (сочетание цветов, формы, яркости, контрастности изображения) воздействия.
Предупредительное изображение может быть статическим (неподвижным) или оно может двигаться целиком (например, вращаться) или частично, кроме того, при этом могут изменяться параметры по меньшей мере некоторых частей изображения - цвет, яркость, контрастность и т.п. (например, предупредительная надпись с фиг. 3 может периодически инвертироваться по цвету и яркости). Динамическое изображение может быть более заметным для человека (или животных) и обладать более выраженным эмоциональным воздействием.
Фонарь и проектор расположены на опоре высотой приблизительно 6 м над поверхностью контролируемой зоны. На той же опоре расположены IP-камеры 111, ориентированные таким образом, чтобы обеспечивать необходимый обзор контролируемой зоны и возможность своевременного обнаружения человека до его попадания в зону непосредственной опасности.
В зависимости от конфигурации пешеходного перехода (в частности, от количества пересекаемых переходом железнодорожных путей, расстояния между путями, наличия устройств и сооружений, закрывающих обзор камерам и т.п.), пешеходный переход может обслуживаться одним комплектом системы 11 или пешеходный переход может обслуживаться несколькими комплектами системы 11, например, двумя комплектами системы 11, расположенными с разных сторон пешеходного перехода и действующими независимо друг от друга.
Система 11 также содержит накопитель 119 информации, предназначенный для долговременного хранения программных команд и данных, представляющий собой твердотельный диск (SSD) и соединенный с блоком 112 компьютерного зрения по интерфейсу USB3. Накопитель 119 может быть любым другим подходящим устройством хранения информации, например, жестким диском (HDD) или флэш-картой, соединенным с блоком 112 компьютерного зрения соответствующим интерфейсом, например, IDE, SATA, SCSI или PCMCIA.
Кроме того, система 11 содержит устройство 120 связи, обеспечивающее связь этой системы с внешними системами. В некоторых вариантах практической реализации устройство 120 связи может использоваться для получения от источника телесигнализации данных о приближении подвижного состава к контролируемой зоне, которые могут учитываться при определении режима работы системы 11. Например, приближение подвижного состава к пешеходному переходу может вызывать включение первичного информирующего или предупредительного сигнала даже в отсутствие людей в непосредственной близи от перехода, а выявляемое системой 11 приближение людей к переходу может вызывать включение вторичного (более заметного) предупредительного или предписывающего сигнала.
Система 11 содержит источник 116 питания и (опционально) термостат 121. К источнику 116 питания не предъявляется особых требований, его параметры (напряжение, ток, коэффициент пульсаций, защита от перегрузок и/или коротких замыканий, способность поддержания выходного напряжения при пропадании входного напряжения и т.д.) определяются требованиями питаемого оборудования в системе 11 и выбор такого источника представляет собой тривиальную задачу для специалиста в данной области. Необходимость применения термостата 121 определяется с учетом требований к условиям эксплуатации системы 11. К термостату 121 также не предъявляется особых требований, он может содержать нагреватель и/или охладитель и устройство управления, обеспечивая стабилизацию теплового режима работы оборудования системы 11.
Оборудование системы 11 может размещаться в контейнере подходящей конструкции и размера. В частности, оборудование системы 11 может размещаться в обычном приборном шкафу со степенью защиты от проникновения влаги и твердых предметов не ниже IP65.
На фиг. 4 представлена блок-схема алгоритма обработки изображений с датчика 101 (в частности, с IP-камеры 111), реализуемого анализатором 102 (в частности, блоком 112 компьютерного зрения).
На шаге 201 в системе 10 изображения считываются с каждого датчика 101 и подаются в анализатор 102. В системе 11 изображения считываются с каждой IP-камеры 111 через POE-коммутатор 117. В общем случае считывание изображений с датчиков может выполняться синхронно или асинхронно. Синхронное считывание в некоторых случаях позволяет упростить сопоставление и объединение изображений с разных датчиков 101, поскольку изображения в этом случае относятся к одному моменту времени. Асинхронное считывание позволяет более эффективно использовать пропускную способность канала передачи данных между датчиками 101 и анализатором 102. При этом разница во времени получения изображений с разных датчиков 101 не велика и не препятствует эффективной обработке изображений на последующих шагах способа. Например, разница во времени получения изображений при асинхронном считывании может быть в пределах нескольких миллисекунд или нескольких десятков миллисекунд. Выбор синхронного или асинхронного считывания может определяться конфигурацией системы и параметрами ее элементов и не является принципиальным для реализации назначения изобретения.
На шаге 202 изображения, одновременно или по существу одновременно считанные с каждого датчика 101, объединяются в одно изображение большего размера. На фиг. 5 представлен пример объединенного изображения, полученного из изображений четырех датчиков 101 (в данном случае - с четырех видеокамер).
Анализ изображений, полученных с разных ракурсов, способствует повышению устойчивости алгоритма согласно изобретению к воздействию неблагоприятных факторов, препятствующих обнаружению человека на изображениях, в частности, сложных погодных условий (туман, дождь или снег), заслонения, засветки или загрязнения камер видеонаблюдения или датчиков иного вида, необычного положения человека (на четвереньках или ползком) или на индивидуальных средствах мобильности (велосипед, самокат, лыжи, ролики, скутер, моноколесо и т.п.)
При этом исходные изображения могут подвергаться кадрированию (обрезке их неинформативной части) для снижения непроизводительной вычислительной нагрузки на анализатор 102. В некоторых вариантах реализации изобретения кадрирование может выполняться динамически, т.е. с учетом контента изображения. Динамическое кадрирование может выполняться так называемыми «умными камерами» (smart cameras) самостоятельно. При этом область внимания (ROI, region of interest) может определяться самой камерой на основе анализа движения на исходном изображении и обрезка каждого кадра может производиться согласно этой области внимания.
Объединение изображений с нескольких датчиков 101 с последующим анализом единого изображения позволяет повысить устойчивость системы согласно изобретению к заслонению, засветке или загрязнению датчиков 101, поскольку отсутствие поддающегося распознаванию изображения человека, например, с одной или двух из четырех камер, лишь несколько снижает вероятность обнаружения человека, но не исключает такого обнаружения полностью.
При этом следует отметить, что объединение изображений с нескольких датчиков 101 в одно общее изображение не является критичным для данного изобретения. В равной степени изобретение может быть успешно реализовано, например, в варианте с параллельной обработкой и независимым анализом изображений с каждого датчика 101. В частности, обработка и анализ изображений с разных датчиков могут быть реализованы в отдельных вычислительных потоках, выполняемых анализатором 102. Такой вариант может быть наиболее целесообразным при совместном применении датчиков 101 разного типа, но может использоваться и с датчиками одного типа (в частности, с видеокамерами).
На шаге 203 выполняется обнаружение человека на объединенном изображении.
Обнаружение обеспечивается сверточной нейронной сетью, реализованной в анализаторе 102 (или в блоке 112 компьютерного зрения). Сверточная нейронная сеть представляет собой нейронную сеть со сверточными слоями. Такие слои позволяют эффективно определять показатели для распознавания объектов, изучая пиксели изображений. Основным отличием сверточных слоев от обычных является способность учитывать трехмерное RGB-измерение пикселя для формирования разряженного вектора представления изображения.
Задача обнаружения человека на изображении по сути является задачей классификации. На вход нейронной сети поступает тензор размерностью, определяемой шириной, высотой и глубиной сверточного слоя. Этот тензор обрабатывается сверточным слоем, который применяет к изображению фильтры с использованием весов, получаемых алгоритмом обратного распространения ошибки [12]. Такой фильтр представляет собой матрицу с весовыми коэффициентами, применение которых к тензору изменяет его размерность, в частности, уменьшает ширину и высоту исходного тензора, увеличивая его глубину.
Затем обработка продолжается в активационном слое, где с применением активационной функции ReLU [13] обеспечивается включение или выключение нейронов для передачи информации. Включение и выключение каждого нейрона происходит с учетом производной функции ReLU, которая, в свою очередь, носит бинарный характер и напоминает пороговую функцию активации.
Далее выполняется «сжимание» тензорного пространства с использованием пулинговых слоев. Эти слои сжимают размерность пространства до необходимого для дальнейшего использования за счет применения к тензору матрицы суммирования.
Нейронная сеть может содержать несколько последовательностей слоев (свертка-активация-пулинг). На выходе нейронной сети расположен полносвязный слой, с которого снимается вектор, размерность которого соответствует количеству классов, используемых для классификации объектов на изображении. Если алгоритм ориентирован на обнаружение только человека, выходной вектор является бинарным. В других случаях алгоритм может быть способен обнаруживать в контролируемой области другие объекты, например, крупных животных или транспортные средства (в частности на железнодорожных переездах).
При реализации алгоритма обнаружения человека согласно изобретению может использоваться принцип переноса обучения, состоящий в использовании готовой базовой модели и в обучении ее под необходимые цели. В иллюстративном примере практической реализации изобретения качестве базовой модели использована модель YOLO V4 [14] - уникальная архитектура одноступенчатого обнаружения и распознавания объектов на изображении.
При обучении базовой модели используется следующая функция ошибок (первая строка задает ограничивающие рамки, вторая характеризует уверенность, третья относится к классификации):
где x, y, w, h - действительные координаты ограничивающих рамок; x', y', w', h' - предсказанные координаты ограничивающих рамок; C - оценка достоверности; C' - пересечение по объединению предсказанной ограничивающей рамки с основной истиной; p(C) - условная вероятность, λ - настраиваемые параметры. С применением этой функции ошибок модель обучается до выхода на плато неизменяемости.
Помимо оценки модели по функции потерь, используются следующие показатели качества работы модели: точность, покрытие, средняя точность.
Точность (P, Precision) определяется как количество истинных срабатываний (TP), деленное на сумму истинных срабатываний (TP) и ложных срабатываний (FP):
.
Покрытие (R, Recall) определяется как количество истинных положительных результатов (TP), деленное на сумму истинных положительных результатов (TP) и ложных отрицательных результатов (FN), при этом упомянутая выше сумма - это просто количество основных истин, поэтому в действительности нет необходимости подсчитывать количество ложных отрицательных результатов:
.
Средняя точность (AP, Average Precision) представляет собой сумму показателей точности при различных порогах:
,
где Pn - точность при n-м пороге; Rn - покрытие при n-м пороге.
Для обучения базовой модели используется обучающий набор данных. Обучающий набор данных содержит фактические данные (ground truth data) и дополнительные данные (augmentation data). Фактические данные составляют основу обучающего набора данных, а дополнительные данные представляют собой измененные фактические данные, добавленные в обучающий набор данных для имитации искажений, выпадений и прочих артефактов, характерных для реальных рабочих входных данных этапа использования модели. Дополнительные данные могут формироваться путем изменения геометрических характеристик изображения (вращения, изменения ориентации, изменения масштаба, смещения и переворачивания), цветовых характеристик изображения (перестановки цветовых каналов, случайное изменение уровней в цветовых каналах, выпадение цветовых каналов), яркостных характеристик изображения (изменение яркости и/или контрастности), нарушения фокусировки, замутнения изображения (имитирующего неблагоприятные погодные условия - туман, дождь, снег) и т.п. В некоторых случаях дополнительные данные могут включать в себя обрезанные и «склеенные» кадры.
Обученная на этапе обучения базовая модель затем используется на этапе использования с подачей на ее вход реальных рабочих входных данных - изображений с датчиков 101 (IP-камер 111) согласно описанному здесь алгоритму.
В примере объединенного изображения на фиг. 5 результат работы алгоритма обнаружения человека показан рамками (bounding boxes) вокруг фрагментов изображений, классифицированных как изображения человека.
Поступающие на вход алгоритма рабочие входные данные подвергаются контролю на предмет выявления засветки или загрязнения датчика 101 (например, объектива IP-камеры 111). Такой контроль реализован с использованием алгоритма Binary Robust Independent Elementary Features [15]. При запуске алгоритма выполняется поиск характерных точек (feature points) в кадре инициализации, затем эти точки отслеживаются и с заранее заданной периодичностью выполняется их сопоставление с точками в кадре предыдущего сопоставления. Если доля равномерно распределенных точек оказывается меньшей заранее заданного порога, то делается вывод о том, что камера заслонена, засвечена или объектив камеры загрязнен. Выявленное событие заслонения, засветки или загрязнения объектива фиксируется в журнале и при необходимости сообщается во внешнюю среду для принятия соответствующих мер (например, для выполнения очистки, проведения регламентных работ или ремонта).
На шаге 204 реализуется ветвление алгоритма - в случае обнаружения человека на изображении способ переходит к шагу 205 обработки результатов обнаружения, а при отсутствии человека на изображении способ возвращается к шагу 201.
На шаге 205 событие обнаружения человека фиксируется в журнале событий системы, а соответствующие изображения записываются в архив. В частности, в системе 10 журнал событий и/или архив изображений может содержаться в анализаторе 102 или во внешнем по отношению к нему устройстве (не показано на фиг. 1), а в системе 11 журнал событий и/или архив изображений может содержаться в накопителе 119. Архив может содержать только объединенные изображения или только исходные изображения с каждого датчика или оба вида изображений, помеченных соответствующим образом.
Архив подвергается циклической перезаписи, а его объем позволяет хранить изображения, например, в течение 10 суток. Последовательность изображений, соответствующая событию обнаружения человека, может включать в себя изображения, начиная с полученных за некоторое первое заранее заданное время до момента обнаружения человека и заканчивая полученными спустя некоторое второе заранее заданное время после момента прекращения обнаружения человека (т.е. после того, как человек покинул зону обнаружения датчика). Для этого изображения подвергаются кешированию с длительностью, соответствующей первому заранее заданному времени. Первое и второе заранее заданное время могут быть одинаковыми или могут отличаться. Например, первое заранее заданное время может составлять 10 секунд, а второе заранее заданное время может составлять 1 минуту.
На шаге 206 формируется один или несколько сигналов, выдаваемых в системе 10 с анализатора 102 на формирователь 103 сообщений и на визуальный извещатель 105. В системе 11 сигнал, связанный с событием обнаружения человека, выдается на ЦАП 113 для формирования соответствующего речевого сигнала и/или (при необходимости) другого звукового сигнала, например, сирены. В системе 11 этот сигнал также выдается на визуальный извещатель 115. Кроме того, он может выдаваться на устройство 120 связи для передачи во внешнюю среду (например, на смежные системы телесигнализации).
Список непатентных источников
1. Zhihao Chen, R. Khemmar, B. Decoux, Amphani Atahouet, J. Ertaud. Real time object detection, tracking, and distance and motion estimation based on deep learning: Application to smart mobility. 8th International Conference on Emerging Security Technologies (EST), 2019, DOI: 10.1109/EST.2019.8806222.
2. Marco P. daSilva, William Baron. State-of-the-art technologies for intrusion and obstacle detection for railroad operations. Final Report. U.S. Department of Transportation Research and Innovative Technology Administration John A. Volpe National Transportation Systems Center Cambridge, 2007
3. Baoqing Guo, Jiafeng Shi, Liqiang Zhu, Zujun Yu. High-speed railway clearance intrusion detection with improved SSD network. Applied Science, 2019, 9, 2981, DOI: 10.3390/app9152981
4. Baoqing Guo, Gan Geng, Liqiang Zhu, Hongmei Shi, Zujun Yu. High-Speed Railway Intruding Object Image Generating with Generative Adversarial Networks. Sensors, 2019, 19(14), 3075, DOI: 10.3390/s19143075
5. Chuanyi Han, Jinlei Zhu, Feng Li, Shengkai Wan, Houjin Chen. Design of lightweight pedestrian detection network in railway scenes. Journal of Physics: Conference Series, Volume 1544 (2020), 012053, DOI: 10.1088/1742-6596/1544/1/012053
6. Jan Willem Marck, Henri Bouma, Jan Baan, Julio de Oliveira Filho, Mark van den Brink. Finding suspects in multiple cameras for improved railway protection. Proceedings SPIE Security + Defence, 2014, Vol. 9253, Optics and Photonics for Counterterrorism, Crime Fighting, and Defence X; Optical Materials and Biomaterials in Security and Defence Systems Technology, XI, 92530H, DOI: 10.1117/12.2064020
7. Yaser Sheikh, Yun Zhai, Khurram Shafique, Mubarak Shah. Visual monitoring of railroad grade crossing. Proceedings SPIE Defense and Security, 2004, Vol. 5403, Sensors, and Command, Control, Communications, and Intelligence (C3I) Technologies for Homeland Security and Homeland Defense III, DOI: 10.1117/12.542369
8. Yumeng Sun, Zhengyu Xie. A method for pedestrian intrusion detection of railway perimeter based on HOG and SVM. Proceedings of the 4th International Conference on Electrical and Information Technologies for Rail Transportation (EITRT), 2019 (pp. 347-355), April 2020, DOI: 10.1007/978-981-15-2914-6_33
9. Комплекс обеспечения безопасности железнодорожных переездов https://web.archive.org/web/20180620132905/https://tvema.ru/553
10. Fan Yang, Houjin Chen, Jupeng Li, Feng Li, Lei Wang, And Xiaomiao Yan. Single shot multibox detector with Kalman filter for online pedestrian detection in video. IEEE Access, Volume 7, pp. 15478-15488, 31 January 2019, DOI:10.1109/ACCESS.2019.2895376
11. Asim F. Zaman. Railroad trespassing detection and analysis using video analytics. Master’s thesis at School of Graduate Studies Rutgers, The State University of New Jersey, October 2018
12. Laurent Boue. Deep learning for pedestrians: backpropagation in CNNs. v.1, Preprint, 2018, https://arxiv.org/abs/1811.11987
13. Abien Fred M. Agarap. Deep Learning using Rectified Linear Units (ReLU). v.2, 2019, https://arxiv.org/pdf/1803.08375.pdf
14. Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao. YOLOv4: Optimal Speed and Accuracy of Object Detection, v.1, 2020, https://arxiv.org/pdf/2004.10934.pdf
15. Michael Calonder, Vincent Lepetit, Christoph Strecha, Pascal Fua. BRIEF: Binary Robust Independent Elementary Features, September 2010, DOI: 10.1007/978-3-642-15561-1_56
1. Система для обнаружения человека в опасной зоне и информирования его об опасности, содержащая:
- по меньшей мере один датчик, выполненный с возможностью формирования изображения опасной зоны;
- анализатор, выполненный с возможностью выявления на изображении человека;
- формирователь речевых сообщений, выполненный с возможностью формирования электрического сигнала речевого сообщения;
- акустический извещатель, выполненный с возможностью преобразования электрического сигнала речевого сообщения в слышимый сигнал речевого сообщения; и
- визуальный извещатель, выполненный с возможностью подачи видимого сигнала,
отличающаяся тем, что анализатор способен объединять изображения с по меньшей мере одного датчика в одно изображение большего размера и выявлять человека на этом объединенном изображении.
2. Система по п. 1, отличающаяся тем, что по меньшей мере один датчик представляет собой видеокамеру.
3. Система по п. 2, отличающаяся тем, что видеокамера представляет собой IP-камеру.
4. Система по п. 3, отличающаяся тем, что IP-камеры соединены с анализатором через POE-коммутатор.
5. Система по п. 1, отличающаяся тем, что изображения с по меньшей мере одного датчика получены по существу одновременно.
6. Система по п. 1, отличающаяся тем, что изображения с по меньшей мере одного датчика получены с разных ракурсов.
7. Система по п. 1, отличающаяся тем, что изображения с по меньшей мере одного датчика до их объединения подвергнуты кадрированию.
8. Система по п. 1, отличающаяся тем, что анализатор содержит нейронную сеть.
9. Система по п. 8, отличающаяся тем, что нейронная сеть представляет собой сверточную нейронную сеть.
10. Система по п. 9, отличающаяся тем, что нейронная сеть содержит сверточный слой, способный применять по меньшей мере один фильтр с использованием весов, получаемых алгоритмом обратного распространения ошибки.
11. Система по п. 9, отличающаяся тем, что нейронная сеть содержит активационный слой, способный применять активационную функцию ReLU.
12. Система по п. 9, отличающаяся тем, что нейронная сеть содержит пулинговый слой, способный уменьшать размерность тензорного пространства.
13. Система по п. 8, отличающаяся тем, что к нейронной сети применен принцип переноса обучения.
14. Система по п. 8, отличающаяся тем, что при обучении нейронной сети применена функция потерь, содержащая следующие компоненты: краевые условия, уверенность и условия классификации.
15. Система по п. 8, отличающаяся тем, что при обучении нейронной сети применены следующие показатели качества: точность, покрытие и средняя точность.
16. Система по п. 8, отличающаяся тем, что при обучении нейронной сети применен обучающий набор данных, содержащий фактические данные и измененные фактические данные, имитирующие артефакты реальных изображений.
17. Система по п. 1, отличающаяся тем, что анализатор способен выявлять нарушение нормальной работы датчика путем анализа изображения с этого датчика.
18. Система по п. 17, отличающаяся тем, что нарушение нормальной работы датчика представляет собой засветку, и/или заслонение, и/или загрязнение этого датчика.
19. Система по п. 17, отличающаяся тем, что анализ изображения включает в себя выявление и сопоставление характерных точек изображения с заранее заданной периодичностью, при этом нормальная работа датчика считается нарушенной, если доля равномерно распределенных точек оказывается меньшей заранее заданной пороговой величины.
20. Система по п. 1, отличающаяся тем, что событие выявления человека фиксируется в журнале событий системы, а соответствующие изображения записываются в архив изображений.
21. Система по п. 17, отличающаяся тем, что событие нарушения нормальной работы датчика фиксируется в журнале событий системы.
22. Система по п. 21, отличающаяся тем, что изображение, на основе которого выявлено нарушение нормальной работы датчика, записывается в архив изображений.
23. Система по п. 21, отличающаяся тем, что о событии нарушения нормальной работы датчика сообщается во внешнюю среду для принятия соответствующих мер.
24. Система по п. 20 или 22, отличающаяся тем, что архив изображений подвергается циклической перезаписи.
25. Система по п. 20, отличающаяся тем, что изображения подвергаются кешированию, а записываемые в архив изображения включают в себя изображения, начиная с полученных за первое заранее заданное время до момента первого выявления человека и заканчивая полученными спустя второе заранее заданное время после момента последнего выявления человека.
26. Система по п. 1, отличающаяся тем, что слышимый сигнал речевого сообщения представляет собой информирование, и/или предупреждение, и/или предписание, и/или запрет.
27. Система по п. 1, отличающаяся тем, что визуальный извещатель представляет собой комбинацию осветительного устройства и проектора, обеспечивающего проецирование видимого сигнала на поверхность контролируемой зоны.
28. Система по п. 27, отличающаяся тем, что видимый сигнал представляет собой информирование, и/или предупреждение, и/или предписание, и/или запрет.
29. Система по п. 27, отличающаяся тем, что видимый сигнал представляет собой статическое изображение.
30. Система по п. 27, отличающаяся тем, что видимый сигнал представляет собой динамическое изображение.
31. Способ обнаружения человека в опасной зоне и информирования его об опасности, включающий в себя:
- формирование изображения опасной зоны по меньшей мере одним датчиком;
- выявление на изображении человека анализатором;
- формирование электрического сигнала речевого сообщения формирователем речевых сообщений;
- подачу слышимого сигнала речевого сообщения акустическим извещателем; и
- подачу видимого сигнала визуальным извещателем,
отличающийся тем, что анализатор объединяет изображения с по меньшей мере одного датчика в одно изображение большего размера и выявляет человека на этом объединенном изображении.
32. Способ по п. 31, отличающийся тем, что по меньшей мере один датчик представляет собой видеокамеру.
33. Способ по п. 32, отличающийся тем, что видеокамера представляет собой IP-камеру.
34. Способ по п. 33, отличающийся тем, что IP-камеры соединены с анализатором через POE-коммутатор.
35. Способ по п. 31, отличающийся тем, что изображения с по меньшей мере одного датчика получаются по существу одновременно.
36. Способ по п. 31, отличающийся тем, что изображения с по меньшей мере одного датчика получаются с разных ракурсов.
37. Способ по п. 31, отличающийся тем, что изображения с по меньшей мере одного датчика до их объединения подвергаются кадрированию.
38. Способ по п. 31, отличающийся тем, что анализатор содержит нейронную сеть.
39. Способ по п. 38, отличающийся тем, что нейронная сеть представляет собой сверточную нейронную сеть.
40. Способ по п. 39, отличающийся тем, что нейронная сеть содержит сверточный слой, применяющий по меньшей мере один фильтр с использованием весов, получаемых алгоритмом обратного распространения ошибки.
41. Способ по п. 39, отличающийся тем, что нейронная сеть содержит активационный слой, применяющий активационную функцию ReLU.
42. Способ по п. 39, отличающийся тем, что нейронная сеть содержит пулинговый слой, уменьшающий размерность тензорного пространства.
43. Способ по п. 38, отличающийся тем, что к нейронной сети применяется принцип переноса обучения.
44. Способ по п. 38, отличающийся тем, что при обучении нейронной сети применяется функция потерь, содержащая следующие компоненты: краевые условия, уверенность и условия классификации.
45. Способ по п. 38, отличающийся тем, что при обучении нейронной сети применяются следующие показатели качества: точность, покрытие и средняя точность.
46. Способ по п. 38, отличающийся тем, что при обучении нейронной сети применяется обучающий набор данных, содержащий фактические данные и измененные фактические данные, имитирующие артефакты реальных изображений.
47. Способ по п. 31, отличающийся тем, что анализатор выявляет нарушение нормальной работы датчика путем анализа изображения с этого датчика.
48. Способ по п. 47, отличающийся тем, что нарушение нормальной работы датчика представляет собой засветку, и/или заслонение, и/или загрязнение этого датчика.
49. Способ по п. 47, отличающийся тем, что анализ изображения включает в себя выявление и сопоставление характерных точек изображения с заранее заданной периодичностью, при этом нормальная работа датчика считается нарушенной, если доля равномерно распределенных точек оказывается меньшей заранее заданной пороговой величины.
50. Способ по п. 31, отличающийся тем, что событие выявления человека фиксируется в журнале событий системы, а соответствующие изображения записываются в архив изображений.
51. Способ по п. 47, отличающийся тем, что событие нарушения нормальной работы датчика фиксируется в журнале событий системы.
52. Способ по п. 51, отличающийся тем, что изображение, на основе которого выявлено нарушение нормальной работы датчика, записывается в архив изображений.
53. Способ по п. 51, отличающийся тем, что о событии нарушения нормальной работы датчика сообщается во внешнюю среду для принятия соответствующих мер.
54. Способ по п. 50 или 52, отличающийся тем, что архив изображений подвергается циклической перезаписи.
55. Способ по п. 50, отличающийся тем, что изображения подвергаются кешированию, а записываемые в архив изображения включают в себя изображения, начиная с полученных за первое заранее заданное время до момента первого выявления человека и заканчивая полученными спустя второе заранее заданное время после момента последнего выявления человека.
56. Способ по п. 31, отличающийся тем, что слышимый сигнал речевого сообщения представляет собой информирование, и/или предупреждение, и/или предписание, и/или запрет.
57. Способ по п. 31, отличающийся тем, что визуальный извещатель представляет собой комбинацию осветительного устройства и проектора, обеспечивающего проецирование на поверхность контролируемой зоны видимого сигнала.
58. Способ по п. 57, отличающийся тем, что видимый сигнал представляет собой информирование, и/или предупреждение, и/или предписание, и/или запрет.
59. Способ по п. 57, отличающийся тем, что видимый сигнал представляет собой статическое изображение.
60. Система по п. 57, отличающийся тем, что видимый сигнал представляет собой динамическое изображение.
