Способ обнаружения и классификации малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой



Способ обнаружения и классификации малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой
Способ обнаружения и классификации малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой

Владельцы патента RU 2698649:

Акционерное общество "Федеральный научно-производственный центр "Нижегородский научно-исследовательский институт радиотехники" (RU)

Изобретение относится к вычислительной технике. Технический результат – повышение точности классификации объектов на радиолокационном изображении. Способ обнаружения и классификации малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой, включает: обнаружение и классификацию областей с потенциальными объектами на основе сверточной нейросети архитектуры типа сеть обнаружения (DetectNet), причем производится обнаружение областей с потенциальными объектами и их предварительная классификация с использованием РЛИ низкого разрешения, при этом окончательную классификацию объектов производят с использованием второй нейросети распознавания типа остаточная сеть (ResNet), которая использует РЛИ с высоким разрешением, причем объединение двух нейросетей в общую систему осуществляется методом повышения разрешения для обнаруженных областей интереса путем интерполяции, причем интерполяция может быть как фиксированной - бикубической, так и адаптивной - обучаемой. 1 ил.

 

Изобретение относится к устройствам обнаружения и классификации целей для радиолокационных станций и может быть использовано для обнаружения и классификации малоразмерных объектов нескольких классов на радиолокационных изображениях (РЛИ) с продольными размерами классифицируемых объектов от 70 до 25 пикселей и менее.

Часто используемым способом для обнаружения и распознавания объектов на изображениях являются сверточные нейросети. Изначально разработанные для обработки оптических изображений, в последние годы нейросетевые подходы были адаптированы для работы с РЛИ. Так, в статье [1] описывается применение сверточной нейросети для распознавания объектов на РЛИ и проводится сравнение этого способа с ранее известными способами распознавания - при этом нейросеть обеспечила наибольшую вероятность распознавания при 10 классах объектов. Более поздние работы, например [2], подтвердили преимущества нейросетей при распознавании объектов на РЛИ среди множества классов. Также имеются работы по обнаружению (определению области нахождения объектов) на РЛИ. В [3] описан способ устойчивого обнаружения объектов, основанный на итеративном применении сверточной сети для локализации объектов нескольких классов. При этом мало работ, посвященных совместному обнаружению и распознаванию целей в рамках общей схемы обработки. Хотя методы локализации с помощью нейросетей обычно подразумевают и классификацию, но либо число классов очень невелико (2-3), либо классы имеют сильно различающиеся характеристики, как в [3]. Для классов объектов, схожих по форме и размерам (например, различные виды техники), точность классификации недостаточно высока. При этом, чем меньше размер распознаваемых объектов, тем сложнее задача классификации. Предлагаемый способ позволяет одновременно решать задачи обнаружения и классификации для объектов малых размеров и сходных форм.

Наиболее близким по своей сущности к заявляемому способу, то есть прототипом, является способ, описанный в [4] - «контекстная» основанная на областях сверточная нейросеть с многослойным слиянием для обнаружения кораблей на радиолокационных изображениях». Указанный способ использует сверточную нейросеть, в которой одна часть слоев служит для определения областей интереса (Region Proposal Network - RPN), а другая часть слоев используется для обнаружения объектов (с учетом контекстной информации об областях интереса). При этом в части обнаружения используются приведенные к одной размерности данные с нескольких слоев. Такая архитектура нейросети является вариантом архитектуры GoogLeNet [5]. Использование данного способа позволяет обнаруживать и отличать корабли от других объектов с размером около 30×30 пикселей.

К недостаткам данного способа можно отнести малое число распознаваемых классов (два класса - «корабли» и «прочее»), специализация на работе с надводными объектами (использование признаков, специфических для областей суши и водных поверхностей, является существенной частью способа), а также использование РЛИ фиксированного разрешения в качестве обучающего набора, что может ограничивать возможности обучения, а следовательно, и точность классификации нейросети, особенно при дальнейшем уменьшении размеров классифицируемых объектов.

Достигаемым техническим результатом заявляемого изобретения является повышение точности классификации объектов на радиолокационном изображении путем использования двух нейронных сетей типа: сети обнаружения (DetectNet) и остаточной сети (ResNet).

Описываемый способ отличается от прототипа тем, что для обнаружения и распознавания используются две сверточные нейросети различной архитектуры, при этом нейросеть распознавания обучается и работает с изображениями более высокого разрешения, чем нейросеть обнаружения. Последовательность действий при обработке РЛИ предлагаемым способом приведена на фигуре. На первом шаге производится обнаружение областей с потенциальными объектами и их предварительная классификация с использованием РЛИ низкого разрешения (аналогично прототипу). На втором шаге повышается разрешение для обнаруженных областей интереса путем интерполяции, причем интерполяция может быть как фиксированной (бикубическая), так и адаптивной (обучаемой -аналогично способу, используемому в прототипе при усреднении данных со слоев различной размерности при распознавании). На третьем шаге производится окончательная классификация объектов с использованием нейросети распознавания другой архитектуры, работающей с областями интереса в повышенном разрешении. Такой подход позволяет использовать для обучения нейросетей обнаружения и распознавания РЛИ с различным разрешением. Как результат, вся система обнаружения и распознавания позволяет обнаруживать и классифицировать с высокой вероятностью объекты малых размеров даже при большом числе классов. Возможность выбора вида интерполяции позволяет выбирать между более быстрым обучением (при фиксированной интерполяции) и более точной классификацией (при адаптивной интерполяции).

Обнаружение объектов осуществляется с помощью нейросети с архитектурой «Сеть Обнаружения» (DetectNet) [6], которая, как и прототип, является вариантом архитектуры (GoogLeNet) [5]. По сравнению с [6] нейросеть модернизирована с целью повышения точностных и вычислительных характеристик. В частности, число распознаваемых классов увеличено до требуемого количества, число базовых (Inception) слоев [5] уменьшено таким образом, чтобы минимизировать вычислительные затраты без потерь в качестве обнаружения (но с возможным ухудшением предварительного распознавания - это компенсируется на шаге 3). Нейросеть обнаружения обучается на полных радиолокационных изображениях с объектами. Изображения могут быть как реальными, так и синтезированными на основе реальных. В отличие от стандартной методики обучения нейросетей, по рассчитанному отклику полносвязной части сети вычисляются две функции потерь - одна для величины рассогласования позиций объектов, а другая для величины рассогласования обнаруженных областей интереса с учетом класса объекта. Сумма значений данных функций потерь затем используется для коррекции весов сети по общепринятой схеме [5].

Окончательное распознавание объектов осуществляется с помощью нейросети с архитектурой «Остаточная сеть» (ResNet) [7], которая обучается на изображениях объектов заданных классов (и дополнительно на изображениях только с фоном, без объектов, если требуется распознавание класса «Объект не обнаружен») с более высоким разрешением, чем разрешение изображений, использованных для обучения нейросети обнаружения. Такие изображения могут быть получены как путем вырезания соответствующих областей изображений, используемых при обучении обнаружению, и повышения их разрешения, так и путем вырезания областей изображения с объектами из радиолокационных изображений более высокого разрешения. Схема обучения стандартная для сверточных нейросетей [2].

Для объединения двух нейросетей применяется интерполяция, которая для каждого изображения с обнаруженным объектом с исходным разрешением повышает разрешение до используемого в нейросети распознавания. Достаточно хорошие результаты показывает бикубическая интерполяция. Повысить точность распознавания можно путем применения адаптивной обучаемой интерполяции [8] за счет больших вычислительных затрат при обучении.

Предложенный способ распознавания и обнаружения объектов на радиолокационных изображениях позволяет обнаруживать и классифицировать объекты трех и более классов при размере объектов 25 пикселей и менее с высокой вероятностью, достигаемой за счет возможности обучения нейросети распознавания на изображениях с высоким разрешением.

Предложенный способ был опробован на практике на наборе данных MSTAR с использованием бикубической интерполяции на шаге 2 и показал точность распознавания для трех классов не менее 99% при исходных размерах объектов около 20-25 пикселей.

Литература

1. H. Wang, S. Chen, F. Xu, and Y. - Q. Jin - «Приложение алгоритмов глубокого обучения к данным MSTAR» - IGARSS, 2015.

2. David А.Е. Morgan - «Глубокие сверточные нейросети для автоматического распознавания целей на радиолокационных изображениях» - Proc. of SPIE, Vol. 9475 94750F-1, 2015.

3. Yang Long, Yiping Gong, Zhifeng Xiao, and Qing Liu - «Точная локализация объектов на радиолокационных изображениях, основанная на сверточных нейросетях» - IEEE Transactions on Geoscience and Remote Sensing, Vol. 55, No. 5, May 2017

4. Miao Kang, Kefeng Ji, Xiangguang Leng, and Zhao Lin - «Контекстная, основанная на областях, сверточная нейросеть с многслойным слиянием для обнаружения кораблей на радиолокационных изображениях» - Remote Sens. 2017.

5. Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich - «Углубляясь в свертки», Pages: 1-9, DOI: 10.1109/CVPR. 2015. 7298594

6. Andrew Tao, Jon Barker and Sriya Sarathy - «Сеть Обнаружения: Глубокая нейросеть для обнаружения объектов в системе DIGITS» - https://devblogs.nvidia.com/parallelforall/detectnet-deep-neural-network-object-detection-digits/

7. К. Не, X. Zhang, S. Ren, and J. Sun - «Глубокое остаточное распознавание для классификации изображений» - CoRR, vol. Abs/1512.03385, 2015.

8. Tao Kong, Anbang Yao, Yurong Chen, Fuchun Sun - «ГиперСеть: к точной генерации областей интереса и объединенному обнаружению объектов» -The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 845-853.

Способ обнаружения и классификации малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой, с помощью которого обнаруживают и предварительно классифицируют области с потенциальными объектами на основе сверточной нейросети архитектуры типа сеть обнаружения (DetectNet) с использованием для обучения и работы радиолокационных изображений (РЛИ) низкого разрешения, после чего повышают разрешение для обнаруженных областей, отличающийся тем, что производится обнаружение областей с потенциальными объектами и их предварительная классификация с использованием радиолокационных изображений низкого разрешения, при этом окончательную классификацию объектов производят с использованием второй нейросети распознавания архитектуры типа остаточная сеть (ResNet), которая использует для обучения и работы изображения с более высоким разрешением, a DetectNet обучается на полных радиолокационных изображениях с объектами, причем объединение двух нейросетей в общую систему осуществляется методом повышения разрешения для обнаруженных областей интереса путем интерполяции, причем интерполяция может быть как фиксированной - бикубической, так и адаптивной - обучаемой, причем возможность выбора вида интерполяции позволяет выбирать между более быстрым обучением, при фиксированной интерполяции, и более точной классификацией, при адаптивной интерполяции.



 

Похожие патенты:

Группа изобретений относится к области обработки изображений. Техническим результатом является увеличение точности.

Изобретение относится к вычислительной технике. Техническим результатом изобретения является поиск нарушений в порядке расположения объектов с улучшенной функциональностью и большей точностью.

Изобретение относится к способу и системе трекинга подвижного объекта и может применяться в системах виртуальной или дополненной реальности. Технический результат заключается в обеспечении автоматической настройки зоны трекинга при обратном оптическом или оптико-инерциальном трекинге подвижного объекта с применением трекера, установленного на подвижном объекте и содержащего оптический датчик и инерциальный датчик.

Изобретение относится к области транспортных средств и, в частности, для оценки эксплуатационных характеристик оттаивателя окна. Техническим результатом является обеспечение эффективности контроля/анализа эксплуатационных характеристик оттаивания окон.

Изобретение относится к области вычислительной техники для обработки изображений. Технический результат заключается в повышении точности нахождения и классификации схожего объекта при обработке рентгенографических изображений и выводе результата обработки пользователю.

Изобретение относится к устройствам и способам для определения параметров движения мяча и вычисления данных о его вращении. Техническим результатом изобретения является возможность быстро и точно вычислять вращение движущегося мяча без нанесения особого маркера на мяч.

Изобретение относится к видеонаблюдению, в частности к отслеживанию движущегося объекта, при котором отображают на устройстве отображения видео, которое захвачено камерами и сохранено в средстве накопления видео.

Изобретение относится к области компьютерного зрения. Технический результат заключается в расширении арсенала технических средств.

Изобретение относится к вычислительной технике. Технический результат – обеспечение точного наблюдения в транспортных системах.

Изобретение относится к способам, машиночитаемому носителю и компьютерной системе для визуализации изображения данных трехмерного лазерного сканирования. Технический результат заключается в автоматизации обработки данных трехмерного лазерного сканирования.

Изобретение относится к области информационных технологий, в частности к устройствам для экспертизы монтажных схем (МС) и принципиальных схем (ПС), и может быть использовано для проверки железнодорожной технической документации.

Изобретение относится к вычислительной технике. Технический результат – повышение эффективности обработки видеопотока для передачи данных в сетевой среде.

Изобретение относится к вычислительной технике. Технический результат - повышение эффективности и достоверности геодезического мониторинга.

Изобретение относится к вычислительной технике. Техническим результатом изобретения является поиск нарушений в порядке расположения объектов с улучшенной функциональностью и большей точностью.

Настоящее изобретение относится к области обработки изображений. Технический результат настоящего изобретения заключается в обеспечении возможности сверхразрешения изображения, повышении детализации изображения подобно тому, как если бы это было сделано с помощью оптической системы с соответствующим коэффициентом увеличения.

Изобретение относится к области вычислительной техники для обработки изображений. Технический результат заключается в повышении точности нахождения и классификации схожего объекта при обработке рентгенографических изображений и выводе результата обработки пользователю.

В настоящем документе представлены системы и способы для получения изображения, по меньшей мере, части документа и определения множества точек деления, делящих изображение на потенциальные сегменты; создания графа линейного деления (ГЛД), содержащего множество вершин с использованием множества точек деления и множества ребер, соединяющих множество вершин; идентификации пути ГЛД, имеющего значение метрики качества выше порогового значения, где путь выбирается из множества путей ГЛД и содержит одно или более ребер, а значение метрики качества выводится с использованием нейронной сети, классифицирующей каждый из множества пикселей изображения; а также создания одного или более блоков изображения, где каждый из одного или более блоков соответствует ребру идентифицированного пути и представляет часть изображения, связанного с типом объекта.

Изобретение относится к вычислительной технике. Технический результат – повышение эффективности и качества обработки изображений в последовательности изображений в реальном масштабе времени.

Изобретение относится к вычислительной технике. Технический результат – обеспечение точного наблюдения в транспортных системах.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении качества воспроизведения видео за счет того, что выходные видеоданные получаются посредством выполнения обработки преобразования яркости на основании информации интервала.

Изобретение относится к области вычислительной техники при использовании искусственных нейронных сетей. Технический результат заключается в повышении точности выявления факта потенциального мошенничества со стороны кассира.

Изобретение относится к вычислительной технике. Технический результат – повышение точности классификации объектов на радиолокационном изображении. Способ обнаружения и классификации малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой, включает: обнаружение и классификацию областей с потенциальными объектами на основе сверточной нейросети архитектуры типа сеть обнаружения, причем производится обнаружение областей с потенциальными объектами и их предварительная классификация с использованием РЛИ низкого разрешения, при этом окончательную классификацию объектов производят с использованием второй нейросети распознавания типа остаточная сеть, которая использует РЛИ с высоким разрешением, причем объединение двух нейросетей в общую систему осуществляется методом повышения разрешения для обнаруженных областей интереса путем интерполяции, причем интерполяция может быть как фиксированной - бикубической, так и адаптивной - обучаемой. 1 ил.

Наверх