Способ предупреждения о наличии препятствия на пути следования

Изобретение относится к области средств предупреждения о наличии препятствий. Техническим результатом является повышение точности своевременного определения местоположения объекта, который может помешать движению слабовидящего пользователя, в частности, в условиях быстрой ходьбы или бега. Способ включает в себя получение изображения окружающего пространства; выбор изображения лучшего качества за заданный промежуток времени, осуществление определения центра и площади выбранного изображения, выявление объектов на изображении; сравнение изображений выявленных объектов с сохраненными эталонными изображениями физических объектов, для отнесения выявленных объектов к объектам первого или второго типа, для каждого из выявленных объектов первого типа осуществление определения рамки, ограничивающей выявленный объект; определение площади рамки; сравнение площади рамки, ограничивающей выявленный объект, с сохраненными эталонными значениями, для разных физических объектов при помощи эвристического алгоритма, в случае если площади рамки, ограничивающей выявленный объект, больше эталонного значения, осуществление определения центра рамки, ограничивающей выявленный объект, на основании центра рамки определение на изображении окружающего пространства местоположения выявленного объекта, относительно центра указанного изображения, формирование предупреждения о местонахождении объекта, в случае если выявленный объект занимает больше четверти площади изображения; причем выявление объектов и определение рамки, ограничивающей объект, осуществляется при помощи нейронной сети, которая обучена на наборе данных, который включает в себя изображения физических объектов. 8 з.п. ф-лы, 1 ил.

 

Область техники

Данное изобретение относится к средствам предупреждения о наличии препятствий и может быть использовано, главным образом, как средство помощи в передвижении слепым и слабовидящим людям.

Уровень техники

Из уровня техники известен способ и устройство для помощи слабовидящим, раскрытое в описании к патенту US 10528815 В2, опубликованном 07.01.2020. В данном решении раскрыто оборудование для помощи слабовидящему пользователю при движении и способ выявления препятствий при помощи указанного оборудования. Согласно указанному способу получают при помощи двух камер ряд изображений, которые обрабатываются нейронной сетью в целях обнаружения объектов, которые могут помешать движению, например лестниц, дверей и т.п. В процессе обработки полученных изображений используют алгоритмы обработки глубины и алгоритмов идентификации объектов. После того как на изображениях идентифицируют то или иное препятствие, пользователя указанным оборудованием уведомляют о приближении к данному объекту, используя для этого динамик. При этом указывают пользователю, какой объект расположен в поле движения пользователя и какое расстояние осталось до столкновения с ним. Описанный выше способ позволяет идентифицировать местоположение объекта в пространстве и своевременно предупредить о наличии помехи движению.

Также из уровня техники известен способ облегченной одновременной локализации и картирования, выполняемый в реальном времени на колесном устройстве, приведенный в заявке US 2022/0187841 А1, опубликованной 16.01.2022. Согласно указанному способу определяют препятствия в реальном времени на основе RGB - изображений. Для этого применяют нейронную сеть, использующую алгоритм SIFT (scale-invariant feature transform). Указанный алгоритм позволяет идентифицировать объекты и их местоположение на полученных изображениях путем определения площади рамок, ограничивающих каждый идентифицируемый объект, и последующего приведения данных изображений к эталонным. После этого сравнивают изображения при помощи эвристических алгоритмов для определения объекта мешающего движению. Данный способ определения препятствий, мешающих движению, позволяет повысить точность их обнаружения по сравнению с известными аналогичными способами.

Наиболее близким к предложенному способу обхода препятствий является способ, раскрытый в описании к патенту US 10130548 В2, опубликованное 20.11.2018. Раскрытый в указанном документе способ предназначен для оказания помощи слабовидящим людям при движении и заключается в получении нескольких изображений от RGB - камеры мобильного телефона и обработке полученных изображений посредством применения нейронной сети. Указанная нейронная сеть определяет центр изображения и идентифицирует объекты, расположенные на изображениях, их расположение и границы. В процессе обработки полученные изображения подвергаются аффинному преобразованию для их более точной идентификации. В случае обнаружения объекта, который может помешать движению пользователя, выдается аудио оповещение, указывающее в какую сторону от идентифицируемого объекта нужно повернуть или, если объект расположен достаточно близко - остановиться. Указанное решение позволяет обеспечить надежную помощь в навигации пользователям с ослабленным зрением. Описанный выше способ может быть принят в качестве прототипа заявленного изобретения.

Общим недостатком всех приведенных выше способов определения препятствий и помощи слабовидящим людям является то, что точность определения местоположения препятствия и соответственно расстояния до него не является достаточной для его своевременного обнаружения. В ряде случаев, если слабовидящий пользователь достаточно быстро движется, например в процессе занятия спортом, он может не успеть своевременно обнаружить на своем пути опасный объект, вследствие чего может произойти столкновение с ним.

В связи с этим в качестве задачи, которая положена в основу заявленного изобретения, выступает устранение данного недостатка. Соответственно в качестве технического результата, который достигается при осуществлении заявленного изобретения, выступает повышение точности своевременного определения местоположения объекта, который может помешать движению слабовидящего пользователя, в частности, в условиях быстрой ходьбы или бега.

Сущность изобретения

Указанный выше технический результат и поставленная задача достигается и решается за счет того, что способ предупреждения о наличии препятствия на пути следования включает в себя:

получение изображения окружающего пространства;

выбор изображения лучшего качества за заданный промежуток времени,

осуществление определения центра и площади выбранного изображения,

выявление объектов на изображении;

сравнение изображений выявленных объектов с сохраненными эталонными изображениями физических объектов для отнесения выявленных объектов к объектам первого или второго типа,

для каждого из выявленных объектов первого типа осуществление определения рамки, ограничивающей выявленный объект;

определение площади рамки;

сравнение площади рамки, ограничивающей выявленный объект, с сохраненными эталонными значениями для разных физических объектов, при помощи эвристического алгоритма,

в случае если площади рамки, ограничивающей выявленный объект, больше эталонного значения, осуществление определения центра рамки, ограничивающей выявленный объект,

на основании центра рамки определение на изображении окружающего пространства местоположения выявленного объекта, относительно центра указанного изображения,

формирование предупреждения о местонахождении объекта в случае, если выявленный объект, занимает больше четверти площади изображения;

причем выявление объектов и определение рамки, ограничивающей объект, осуществляется при помощи нейронной сети, которая обучена на наборе данных, который включает в себя изображения физических объектов.

Также в способе изображение окружающего пространства получают в трехканальном формате RGB.

Также в способе изображение получают при помощи камеры мобильного телефона.

Также в способе изображение является видеопотоком, полученным в режиме реального времени.

Также в способе площадь ограничивающей объект рамки определяют в пикселях.

Также в способе предупреждение производится в звуковом формате.

Также в способе предупреждение выводится на экран.

Также в способе сравнения изображений выявленных объектов с изображениями эталонных объектов производится аффинное преобразование и поворот изображений выявленных объектов таким образом, чтобы их центры совпадали с изображениями эталонных объектов.

Краткое описание чертежей и графических материалов

Данное изобретение пояснено следующими графическими иллюстрациями.

На фиг. 1 приведена блок-схема способа.

Осуществление изобретения

Варианты реализации изобретения устраняют вышеупомянутые и другие недостатки, обеспечивая механизмы для предупреждения о наличии препятствия на пути следования человека.

Перед началом работы задают начальное максимальное значение качества изображения, которое используется для определения препятствия, а также интервал времени, в течении которого осуществляется выбор изображения лучшего качества.

С помощью камеры мобильного устройства получают изображение окружающего пользователя пространства.

В данном контексте «мобильное устройство» может относиться к портативному компьютеру, такому как мобильный телефон, смартфон, планшетный компьютер, нетбук, умные часы, персональное устройство цифрового помощника, ноутбук, цифровая видеокамера, цифровой фотоаппарат, цифровая видеокамера. Некоторые мобильные устройства могут иметь сенсорный экран, обеспечивающий интерфейс сенсорного экрана цифровыми кнопками и цифровой клавиатурой. Некоторые мобильные устройства могут иметь физические кнопки вместе с физической клавиатурой.

Изображение может являться видеопотоком, полученным в режиме реального времени.

На этапе П3 (фиг. 1) фиксируется время начала цикла П4-П7, в котором отбирается наилучшее изображение за определенный промежуток времени. При истечении заданного интервала времени, выбранное изображение лучшего качества, используют в дальнейшей обработке.

Определяют центр и площадь полученного изображения.

Полученное изображение окружающего пространства подают на вход нейронной сети для выявления объектов на изображении. Цветные изображения могут быть представлены в виде трех отдельных матриц изображений: одна хранит количество красного (R) в каждом пикселе, другая - количество зеленого (G), а третья - количество синего (В), в формате RGB.

Нейронная сеть распознает объекты на изображении.

Для отнесения выявленных объектов к объектам первого или второго типа изображения выявленных объектов сравниваются с эталонными изображениями физических объектов, сохраненными ранее. Для сравнения изображений выявленных объектов с эталонными изображениями производится аффинное преобразование и поворот изображений выявленных объектов таким образом, чтобы их центры совпадали с изображениями эталонных объектов.

Под объектами первого типа понимаются объекты, расположенные ближе или имеющие больший размер, чем объекты второго типа, под объектами второго типа понимаются объекты, расположенные дальше или имеющие меньший размер, чем объекты первого типа.

На втором этапе нейронная сеть обрабатывает данные, относящиеся к объектам первого типа, и возвращает рамки вокруг каждого из таких объектов.

Площадь ограничивающей объект рамки может быть определена в пикселях.

На этапе способа П11 (фиг. 1) осуществляется сравнение площади рамки, ограничивающей выявленный объект, с сохраненными эталонными значениями для каждого вида объектов, при помощи эвристического алгоритма.

При определении, что площадь рамки, ограничивающей выявленный объект, больше сохраненного эталонного значения, определяют центр рамки, ограничивающей выявленный объект.

На основании центра рамки определяют на полученном изображении окружающего пространства местоположение выявленного объекта, относительно центра указанного изображения. На основании расположения центра рамки, ограничивающей выявленный объект, определяют в какой из трех зон он находится: слева, по центру, или справа.

В частности, если центр рамки, ограничивающей объект будет находиться слева от центра полученного изображения, то местоположение объекта будет обозначено, как слева, если центр рамки, ограничивающей объект будет находиться справа, то местоположение объекта будет обозначено, как справа.

Предупреждение о наличии препятствия на пути следования формируется в виде сигнала, указывающего на местоположение объекта относительно пользователя.

Предупреждение о местонахождении объекта производится в случае, если выявленный объект занимает больше четверти площади полученного изображения окружающего пространства, что свидетельствует о том, что расстояние до объекта мало и может произойти столкновение с ним.

Для того чтобы избежать столкновения с препятствием, оно должно находиться вне зоны, которую отсекает угол в п/8 радиан с вершиной, расположенной в непосредственной близости к человеку по центру его туловища по горизонтальной оси и биссектрисой перпендикулярной этой оси. Угол обзора камеры в среднем 90 градусов или п/2 радиан. Таким образом, если препятствие занимает площадь больше (п/2)/(п/8)=0,25 столкновение с объектом неизбежно.

Предупреждение о препятствии может производится в звуковом формате или в виде предупреждения, выводимого на экран.

Используемая нейронная сеть может быть представлена нейронной сетью, включающей в себя входной слой, выходной слой и один или несколько скрытых слоев, соединяющих входной слой и выходной слой. Выходной слой может иметь то же количество узлов, что и входной слой.

Нейронная сеть может включать множество нейронов, которые связаны с обучаемыми весами и смещениями. Нейроны могут быть организованы в слои. Нейронная сеть может быть обучена на обучающем наборе данных.

Во время обучения нейронной сети параметры нейронной сети могут быть изменены для оптимизации точности распознавания.

Нейронная сеть может быть обучена на наборе данных, который включает в себя изображения физических объектов, где одна сторона изображения имеет размер 640 пикселей, а другая сторона изображения либо меньше первой стороны, либо равна ей, а объект на разных изображениях имеет разный ракурс.

Для обучения нейронной сети может быть использовано 12500 кадров изображений физических объектов, снятых с разных ракурсов и на разных фонах, с разным масштабом, яркостью.

Обучение нейронной сети может включать в себя обработку нейронной сетью изображений, и сравнение полученного результата с целевым значением, ошибка может быть передана обратно на предыдущие уровни нейронной сети, параметры которых (веса и смещения нейронов) могут быть соответствующим образом скорректированы для минимизации ошибок.

После обучения нейронная сеть может использоваться для распознавания объектов на изображении окружающего пространства.

Описанные выше этапы способа позволяют своевременно и точно определить местоположение объекта, который может помешать движению слабовидящего пользователя, и предупредить о наличии препятствия на пути следования.

1. Способ предупреждения о наличии препятствия на пути следования, включающий в себя:

получение изображений окружающего пространства;

выбор изображения лучшего качества за заданный промежуток времени,

осуществление определения центра и площади выбранного изображения,

выявление объектов на изображении;

сравнение изображений выявленных объектов с сохраненными эталонными изображениями физических объектов для отнесения выявленных объектов к объектам первого или второго типа,

для каждого из выявленных объектов первого типа осуществление определения рамки, ограничивающей выявленный объект;

определение площади рамки;

сравнение площади рамки, ограничивающей выявленный объект, с сохраненными эталонными значениями для разных физических объектов при помощи эвристического алгоритма,

в случае если площади рамки, ограничивающей выявленный объект, больше эталонного значения, осуществление определения центра рамки, ограничивающей выявленный объект,

на основании центра рамки определение на изображении окружающего пространства местоположения выявленного объекта относительно центра указанного изображения,

формирование предупреждения о местонахождении объекта, в случае если выявленный объект занимает больше четверти площади изображения;

причём выявление объектов и определение рамки, ограничивающей объект, осуществляется при помощи нейронной сети, которая обучена на наборе данных, который включает в себя изображения физических объектов.

2. Способ по п. 1, отличающийся тем, что изображение окружающего пространства получают в трехканальном формате RGB.

3. Способ по п. 1, отличающийся тем, что изображение получают при помощи камеры мобильного телефона.

4. Способ по п.1, отличающийся тем, что изображение является видеопотоком, полученным в режиме реального времени.

5. Способ по п. 1, отличающийся тем, что площадь ограничивающей объект рамки определяют в пикселях.

6. Способ по п. 1, отличающийся тем, что предупреждение производится в звуковом формате.

7. Способ по п. 1, отличающийся тем, что предупреждение выводится на экран.

8. Способ по п. 1, отличающийся тем, что для сравнения изображений выявленных объектов с изображениями эталонных объектов производится аффинное преобразование и поворот изображений выявленных объектов таким образом, чтобы их центры совпадали с изображениями эталонных объектов.

9. Способ по п. 1, отличающийся тем, что под объектами первого типа понимаются объекты, расположенные ближе или имеющие больший размер, чем объекты второго типа.