Интеллектуальная космическая система для мониторинга зданий и сооружений

Изобретение относится к интеллектуальной космической системе мониторинга. Технический результат заключается в дистанционном зондировании Земли для мониторинга зданий и сооружений. Система включает совокупность компьютерных средств, структурированных на основе сверточной нейронной сети, связанных с космическими аппаратами дистанционного зондирования Земли и обеспечивающих получение итоговых изображений, сформированных на базе изображений, принятых от космического аппарата дистанционного зондирования Земли, и уточняющих данных дистанционного зондирования Земли, при этом компьютерные средства, структурированные на основе сверточной нейронной сети, связаны с космическими аппаратами дистанционного зондирования Земли типа Ресурс-П, сверточная нейронная сеть обрабатывает изображения строительных объектов, принятые от космических аппаратов дистанционного зондирования Земли указанного типа, с формированием методом скользящего окна прямоугольных матриц пикселей изображения с заданным шагом - кропов, генерацией нескольких отображений для каждой прямоугольной матрицы путем поворота и зеркального отображения с сегментацией каждого отображения средствами сверточной нейронной сети и его классификацией средствами сверточной нейронной сети в качестве одного из строительных объектов. 3 ил.

 

Предлагаемое изобретение относится к области средств и технологий дистанционного зондирования Земли, а именно к применению результатов дистанционного зондирования Земли для мониторинга зданий и сооружений.

Из уровня техники известен способ обработки изображений со спутников [Thomas Blaschke, Stefan Lang, Eric Lorup, Josef Strobl and Peter Zeil. Object-Oriented Image Processing in an Integrated GIS/Remote Sensing Environment and Perspectives for Environmental Applications. EnviroInfo 2000: Umweltinformatik '00 Umweltinformation Planung, Politik und Copyright 2000 Metropolis Verlag, Marburg]. Способ включает обработку спутниковых снимков по различным алгоритмам и сочетание полученных результатов с данными GIS.

В качестве ближайшего аналога предлагаемого изобретения может быть выбрана основанная на использовании нейронной сети система получения и обработки космических снимков, предложенная в заявке на изобретение CN 107945146, Univ. Nanjing Information Science & Tech., публикация 2018 г. Система из CN 107945146 включает совокупность компьютерных средств, структурированных на основе сверточной нейронной сети, связанных с космическими аппаратами дистанционного зондирования Земли программы LandSat и научно-исследовательским космическим аппаратом Aqua с аппаратурой дистанционного зондирования Земли Modis. Сверточная нейронная сеть обеспечивает получение итоговых изображений, сформированных на базе изображений, принятых от космического аппарата дистанционного зондирования Земли, и уточняющих данных дистанционного зондирования Земли.

В свою очередь, в нашем изобретении предложено применить технические возможности сверточной нейронной сети для решения более узкой задачи - мониторинга зданий и сооружений для контроля возведения несанкционированных строительных объектов, с обеспечением быстроты обработки данных и задействовании меньшего количества вычислительных ресурсов. Нами предложена интеллектуальная космическая система мониторинга, включающая совокупность компьютерных средств на основе сверточной нейронной сети, позволяющих обрабатывать данные с космических аппаратов дистанционного зондирования Земли Ресурс-П. Отличие от аналога заключается в структуре нейронной сети и использовании данных с космических аппаратов дистанционного зондирования Земли типа Ресурс-П. Сверточная нейронная сеть обрабатывает изображения строительных объектов, принятые от космических аппаратов дистанционного зондирования Земли указанного типа, с формированием методом скользящего окна прямоугольных матриц пикселей изображения с заданным шагом - кропов, генерацию нескольких отображений для каждой прямоугольной матрицы путем поворота и зеркального отображения с сегментацией каждого отображения средствами сверточной нейронной сети и его классификацией средствами сверточной нейронной сети в качестве одного из строительных объектов и получением итогового изображения.

Предложенная система поясняется следующими изображениями:

фиг. 1 - схема алгоритма распознавания и классификации строительных сооружений;

фиг. 2 - архитектура сверточной нейронной сети с отображением последовательности операций кодировки и декодировки;

фиг. 3 - разбиение исходного снимка на куски фиксированного размера методом скользящего окна.

Спутниковые снимки строительных сооружений, полученные с космических аппаратов Ресурс-П поступают на вход сверточной нейронной сети (фиг. 1). В настоящее время используются спутниковые снимки в уровне обработки 4А - комплексированное изображение панхроматического (уровня обработки 2А) и многоспектрального (уровня обработки 2А1) снимков одной и той же территории. Применение сверточной нейронной сети в предлагаемой архитектуре позволит быстрее выполнять обработку данных за счет меньшего количество операций и времени, необходимых для выполнения одного прохода сети, так как нейронная сеть менее требовательна к техническим ресурсам, а также позволяет выполнять обработку в режиме близком к реальному времени. Применение космических аппаратов Ресурс-П позволит задействовать при мониторинге строительных сооружений данные дистанционного зондирования Земли высокого и сверхвысокого разрешения.

Архитектуру предложенной сверточной сети можно описать (фиг. 2) как совокупность последовательностей блоков кодировки и декодировки. Блоки кодировки уменьшают пространственное разрешение исходного изображения в данном случае разрешение кропов - прямоугольных матриц пикселей изображения. Блоки декодировки увеличивают пространственное разрешение, объединяя входные данные с картами признаков, полученных с помощью метода проброса из блоков кодировки соответствующего разрешения, что обеспечивает ансамблирование результатов всех слоев и разрешений.

Блок кодировки представляет собой набор из трех функциональных подблоков (операций над картами признаков): слой свертки, функция активации ReLU, слой субдискретизации. Блок декодировки представляет собой набор из четырех функциональных подблоков (набор из двух последовательностей двух операций): слой свертки, функция активации ReLU. Слой свертки включает свой фильтр для каждого канала, ядро свертки которого обрабатывает предыдущий слой по фрагментам, суммируя результаты матричного произведения для каждого фрагмента, и обозначается свертка ([k×k], m, n), где k×k - размер ядра свертки, m и n количество входных и выходных фильтров для слоя соответственно. Функция активации ReLU, представляющая собой функцию max(0,x) ReLU=x, позволяет избежать проблем затухающего и взрывающегося градиента, а также является вычислительно несложной, скалярный результат каждой свертки попадает на функцию активации. Слой субдискретизации (слой подвыборки) представляет собой нелинейное уплотнение карты признаков, при этом группа точек (обычно размера 2×2) уплотняется до одной точки, проходя нелинейное преобразование. Наиболее употребительна при этом функция максимума. Преобразования затрагивают непересекающиеся прямоугольники или квадраты, каждый из которых ужимается в одну точку, при этом выбирается точка, имеющая максимальное значение. Операция пулинга (то есть, если на предыдущей операции свертки уже были выявлены некоторые признаки, то для дальнейшей обработки настолько подробное изображение уже не нужно, и оно уплотняется до менее подробного и служит для генерации новых карт признаков большей размерности) позволяет существенно уменьшить пространственный объем изображения.

Блок декодировки результата представляет собой набор из четырех функциональных подблоков (последовательных операций): пространственное исключение - выключает слой нейронов с вероятностью р; слой свертки с ядром 1×1 - необходим для уменьшения размерности карты признаков; функция активации - скалярный результат каждой свертки попадает на функцию активации, которая представляет собой нелинейную функцию sigmoid=1/(1+e-x), позволяющая усиливать слабые сигналы и не насыщаться от сильных сигналов; линейное увеличение размерности - операция обратная субдискретизации, то есть линейное повторение карты признаков, каждая точка преобразуется в группу точек 2×2, проходя линейное преобразование, преобразования затрагивают все точки, каждая из которых превращается в группу точек, при этом они имеют одинаковое значение, данная операция позволяет увеличить объем изображения.

Для обработки принятых спутниковых снимков методом скользящего окна формируют кропы - прямоугольные матрицы пикселей изображения (фиг. 3), кропы формируют с заданным шагом, для чего задают размеры скользящего окна HSW×WSW, задают шаг скользящего окна - SH пикселей по вертикали и SW пикселей по горизонтали; исходное изображение I с высотой Н и шириной W дополняют по краям до размера кратного размерам скользящего окна; из дополненного изображения с шагом SH×SW формируют матрицы пикселей - кропы размера HSW×WSW. Предложено использовать HSW×WSW=512 пикселей для обеспечения с одной стороны попадания достаточно крупных объектов в один кроп, что позволит достичь заданной точности, и практической возможности создания программной реализации, с другой стороны, поскольку размер окна напрямую определяет размер слоя нейронной сети, увеличение которого ведет к увеличению требований к размеру памяти и скорости работы аппаратного обеспечения и экспоненциальному увеличению времени обучения. Также, предложено использовать шаг SH=HSW/2=256 пикселей и SW=WSW/2=256 пикселей для обеспечения наложения кропов друг на друга таким образом, чтобы край одного кропа совпадал с центром смежного с ним, что позволит избежать конфликтов на краях кропов при восстановлении сегментации всего снимка из сегментаций отдельных кропов.

Для каждой прямоугольной матрицы - кропа генерируют несколько отображений путем поворота и зеркального отображения исходного изображения. Предложено генерировать восемь отображений на каждый кроп, то есть вариации отображения исходного куска с помощью операций поворота на угол π/2 и зеркального отображения. То есть, для кропа изображения С(ϕ(x) - поворот на угол π/2, ψ(x) - зеркальное отображение) множество из восьми отображений О модно представить, как O={С, ϕ(С), ϕ(ϕ(С)), ϕ(ϕ(ϕ(С))), ψ(С), ψ(ϕ(С)), ψ(ϕ(ϕ(С))), ψ(ϕ(ϕ(ϕ(С))))}. Средствами сверточной нейронной сети получают карту сегментов для каждого отображения с последующей классификацией в качестве одного из объектов строительных сооружений для чего через нейронную сеть пропускают исходный кроп С, итоговая функция получения предсказания - P=h(C) на кроп изображения С. В результате, на выходе сегментации сверточной нейронной сети получается набор из восьми (для рассматриваемого примера) карт вероятности того, что каждая точка исходного кропа может быть классифицирована, как изменения строительных сооружений.

К полученному набору карт вероятности применяются операции обратного отображения (поворота на - π/2 и зеркального отображения) с целью получения прообразов используемых образов применительно к выходным картам вероятности. При x=ψ(ψ(x)) и х=ϕ-1(х)=ϕ(ϕ(ϕ(x))), искомое множество Ор имеет вид Ор={Р1, ϕ-1-1-1)(P2))), ϕ-1-1(P3)), ϕ-1(P4), ψ(P5), ψ(ϕ-1-1)(ϕ-1)(P6)))), ψ(ϕ-1-1)(P7))), ψ(ϕ-1(P8))}. С помощью усреднения предсказаний уточняют границы полученных сегментов. Итоговое предсказание для каждой точки кропа изображения для предложенного варианта вычисляется по следующей формуле Pитог(i,j)=Σk=18Pk(i,j)/8. Данный подход позволяет улучшить результаты сегментации, полученные на предыдущем этапе. Объединив полученные пересекающиеся карты предсказаний с помощью взвешенной суммы, используя в качестве весов двумерное распределение Гаусса с нулем в центре кропа и среднеквадратичным отклонением σ=HSW/2⋅3=~85, вычисленное в точках соответствующих центрам пикселей кропа, чтобы получить сегментацию исходного изображения. Это позволит устранить конфликты и артефакты на границах кропов, так как для каждого пикселя наибольший вклад в его значение внесет тот кроп, к центру которого он ближе находится, а вклад крайних точек кропа составит ~0,2.

Интеллектуальная космическая система мониторинга, включающая совокупность компьютерных средств, структурированных на основе сверточной нейронной сети, связанных с космическими аппаратами дистанционного зондирования Земли и обеспечивающих получение итоговых изображений, сформированных на базе изображений, принятых от космического аппарата дистанционного зондирования Земли, и уточняющих данных дистанционного зондирования Земли, отличающаяся тем, что

компьютерные средства, структурированные на основе сверточной нейронной сети, связаны с космическими аппаратами дистанционного зондирования Земли типа Ресурс-П, при этом

сверточная нейронная сеть обрабатывает изображения строительных объектов, принятые от космических аппаратов дистанционного зондирования Земли указанного типа, с

формированием методом скользящего окна прямоугольных матриц пикселей изображения с заданным шагом - кропов,

генерацией нескольких отображений для каждой прямоугольной матрицы путем поворота и зеркального отображения с

сегментацией каждого отображения средствами сверточной нейронной сети и его

классификацией средствами сверточной нейронной сети в качестве одного из строительных объектов.



 

Похожие патенты:

Настоящая группа изобретений относится к области обработки изображений, в частности к способу и системе для преобразования изображения в изображение с прорисованными деталями.

Изобретение относится к области обработки видеоизображений, направленной на объединение нескольких видеоизображений в одно панорамное видео. Техническим результатом является повышение эффективности объединения нескольких видеоизображений.

Изобретение относится к вычислительной технике. Технический результат – повышение качества изображений.

Изобретение относится к системам мониторинга лесного фонда. Технический результат заключается в обеспечении ансамблирования результатов полученных слоёв и разрешений.

Изобретение относится к вычислительной технике. Технический результат - повышение точности и скорости идентификации железнодорожных номерных деталей.

Изобретение относится к области дистанционного зондирования Земли и касается способа радиометрической коррекции скановой структуры изображения от многоэлементного фотоприёмника многозонального сканирующего устройства.

Изобретение относится к вычислительной технике. Технический результат – повышение эффективности и качества обработки изображений в последовательности изображений в реальном масштабе времени.

Изобретение относится к вычислительной технике. Технический результат – повышение локального контраста результирующего изображения.

Изобретение относится к области формирования изображений, а именно к системе синтеза промежуточных видов светового поля на основе уменьшенного количества видов светового поля.

Изобретение относится к области обработки цифровых изображений и касается способа компенсации геометрического шума инфракрасных изображений от сенсоров с вертикальным расположением линеек фоточувствительных элементов.

Изобретение относится к вычислительной технике. Технический результат заключается в снижении сложности и трудоемкости процесса формирования перечня потенциальных угроз.

Изобретение относится к области искусственного интеллекта. Технический результат - повышение точности диагностирования, анализа и прогноза развития заболевания для пациента.

Изобретение относится к системам мониторинга лесного фонда. Технический результат заключается в обеспечении ансамблирования результатов полученных слоёв и разрешений.

Группа изобретений относится к области вычислительной техники и может быть использована в искусственных нейронных сетях. Техническим результатом является обеспечение назначения оценки релевантности для искусственных нейронных сетей.

Изобретение относится к области искусственного интеллекта, и в частности, к рекуррентным нейронным сетям (РНС). Техническим результатом является повышение степени сжатия.

Изобретение относится к области техники связи. Технический результат заключается в повышении точности обнаружения вторжений и повышении защищенности межмашинных сетей.

Изобретение относится к нейронным сетям конечного кольца. Технический результат заключается в повышении надежности нейрокомпьютерной техники.

Изобретение относится к области робототехнических устройств. Технический результат заключается в повышении точности распознавания области захвата объекта роботизированным устройством.

Изобретение относится к области вычислительной техники и может быть использовано для интерпретирования предложений на естественном языке, в том числе выполнения контекстно-тематического машинного перевода.

Изобретение относится к вычислительной технике. Техническим результатом изобретения является поиск нарушений в порядке расположения объектов с улучшенной функциональностью и большей точностью.

Изобретение относится к интеллектуальной космической системе мониторинга. Технический результат заключается в дистанционном зондировании Земли для мониторинга зданий и сооружений. Система включает совокупность компьютерных средств, структурированных на основе сверточной нейронной сети, связанных с космическими аппаратами дистанционного зондирования Земли и обеспечивающих получение итоговых изображений, сформированных на базе изображений, принятых от космического аппарата дистанционного зондирования Земли, и уточняющих данных дистанционного зондирования Земли, при этом компьютерные средства, структурированные на основе сверточной нейронной сети, связаны с космическими аппаратами дистанционного зондирования Земли типа Ресурс-П, сверточная нейронная сеть обрабатывает изображения строительных объектов, принятые от космических аппаратов дистанционного зондирования Земли указанного типа, с формированием методом скользящего окна прямоугольных матриц пикселей изображения с заданным шагом - кропов, генерацией нескольких отображений для каждой прямоугольной матрицы путем поворота и зеркального отображения с сегментацией каждого отображения средствами сверточной нейронной сети и его классификацией средствами сверточной нейронной сети в качестве одного из строительных объектов. 3 ил.

Наверх