Способ поиска и распознавания объектов на цифровых изображениях
Владельцы патента RU 2458397:
Федеральное государственное военное образовательное учреждение высшего профессионального образования "Военный авиационный инженерный университет" (г. Воронеж) Министерства обороны Российской Федерации (RU)
Изобретение относится к автоматике и вычислительной технике и может быть использовано при построении систем технического зрения различного назначения, а также для анализа и синтеза фильтров при обработке цифровых изображений. Техническим результатом предлагаемого способа является повышение вероятности правильного обнаружения и уменьшение времени распознавания объектов на неоднородном фоне цифровых изображений. Сущность изобретения заключается в том, что сначала измеряется энергетический спектр входного изображения. Затем выполняется адаптивная пространственная фильтрация входного изображения и сравнивается с эталонным изображением объекта. Далее измеряют энергетический спектр входного изображения. После чего синтезируют адаптивный пространственный дискретный фильтр, фильтруют входное изображение синтезированным фильтром. Далее сравнивают отфильтрованное изображение с порогом и получают бинарное изображение объекта и фона, получают бинарное изображение с расширенной областью объекта, путем дилатации объекта, получают изображение области интереса. После чего измеряют энергетический спектр изображения области интереса. 1 ил.
Изобретение относится к автоматике и вычислительной технике и может быть использовано при построении систем технического зрения различного назначения, а также для анализа и синтеза фильтров при обработке цифровых изображений.
Известен способ поиска и распознавания объектов на цифровом изображении, основанный на пошаговом совмещении нормализованных изображений распознаваемых объектов, центрированных и вписанных в одинаковых размеров ячейки таблицы распознаваемых объектов и изображения шаблонов, центрированные и вписанные в аналогичные ячейки таблицы шаблонов (см. патент RU 2234127 С2, 05.06.2002 «Способ компьютерного распознавания объектов»). В данном способе является обязательным наличие процедуры предварительной нормализации (приведение объекта на изображении к стандартному виду - изменение масштаба, поворот в требуемое положение и пр.), центрированию, что ведет к увеличению времени поиска и, соответственно, распознавания. И только потом построчно снизу вверх или сбоку - поочередно совмещают строки или столбцы таблицы объектов с таблицей шаблонов, для окончательного распознавания.
Наиболее близкими по технической сущности к заявляемому способу являются способы поиска и распознавания объектов на цифровом изображении, основанные на выделении контуров одного цвета на изображении с их последующим представлением в виде коэффициентов преобразования Фурье (см., например, US Patent 6563959 B1, 13.05.2003, «Perceptual similarity image retrieval method») и на выделении замкнутого контура, максимально совпадающего с границами объекта с последующим поочередным наложением шаблонов, хранящихся в памяти компьютера (см. патент RU 2250499 С1, 17.11.2003 «Способ компьютерного распознавания объектов»), где в случае совпадения контуров заранее известных шаблонов с обнаруженными объектами последние фиксируются как распознанные. В первом случае степень схожести двух объектов на разных изображениях определяется по ряду коэффициентов, но этот способ очень чувствителен к качеству входного изображения и затрачивает много времени при его обработке, если изображение объекта представляется на сложном неоднородном фоне. Недостатком второго способа является низкая вероятность правильного обнаружения и распознавания, если изображения границ объекта размыты и имеют малый контраст, т.е. имеет место влияние характеристик фона на характеристики объекта, и таким образом бывает сложно выделить границы только объекта без составляющих фона, кроме того, при повороте распознаваемого объекта относительно идентичного шаблона может быть принято решение о нераспознавании.
Техническим результатом предлагаемого способа является повышение вероятности правильного обнаружения и уменьшение времени распознавания объектов на неоднородном фоне цифровых изображений.
Указанный технический результат достигается тем, что в предлагаемом способе поиска и распознавания объектов на цифровых изображениях измеряется энергетический спектр входного изображения, выполняется адаптивная пространственная фильтрация входного изображения и сравнивается с эталонным изображением объекта, при этом эталонное изображение представляют в виде Sэ-матрицы эталона, размерностью m×n, где М =L/р - количество строк, L - длина изображения, 
, N=H/p - количество столбцов, Н - ширина изображения и р - размер пикселя, элементами которой являются коэффициенты разложения энергетического спектра эталонного изображения в двумерный ряд Фурье по косинусам, измеряют энергетический спектр входного изображения и представляют его в виде Sвх-матрицы, размерностью q×q, где 
, Q - количество коэффициентов разложения энергетического спектра входного изображения в двумерный ряд Фурье по косинусам, синтезируют адаптивный пространственный дискретный фильтр, фильтруют входное изображение синтезированным фильтром, сравнивают отфильтрованное изображение с порогом и получают бинарное изображение объекта и фона, получают бинарное изображение с расширенной областью объекта, путем дилатации объекта со структурообразующим элементом в виде матрицы размером m×n, получают изображение области интереса, путем умножения бинарного изображения с расширенной областью объекта на входное изображение, измеряют энергетический спектр изображения области интереса и представляют его в виде Sинт-матрицы размером m×n, элементами которой являются коэффициенты разложения его энергетического спектра в двумерный ряд Фурье по косинусам, и сравнивают ее с Sэ-матрицей.
Сущность предлагаемого способа заключается в следующем:
- в базу данных (память) вводится эталонное изображение объекта, в виде Sэ-матрицы эталона, размерностью m×n, где 
М=L/р -количество строк, L - длина изображения, 
, N=H/p - количество столбцов, Н - ширина изображения и р - размер пикселя, элементами которой являются коэффициенты разложения энергетического спектра эталонного изображения в двумерный ряд Фурье по косинусам (см. Богословский А.В., Жигулина И.В. Эффективность многомерной дискретной фильтрации //Радиотехника, 2008, №4); Sэ-матрицу эталона определяют по одному из способов, описанных в патентах RU 2373544 С1, 05.11.2008 «Способ измерения параметров энергетического спектра изображения» или RU 2370780 С1, 25.07.2008 «Способ измерения параметров энергетического спектра двумерного сигнала»; данная матрица коэффициентов хранится в базе данных (памяти) для последующего поиска и распознавания объекта на входном изображении;
- измеряют энергетический спектр входного изображения по одному из способов, описанных выше, и представляют его в виде Sвх-матрицы, размерностью q×q, где 
, Q - количество коэффициентов разложения энергетического спектра входного изображения в двумерный ряд Фурье по косинусам;
- определяют характеристики (отсчеты импульсной характеристики и апертуру) синтезируемого пространственного дискретного фильтра (см. Богословский А.В., Загузова Н.Д., Пахольчак З.Д., Богословский Е.А. Определение ранга S-матрицы входного изображения и синтез дискретных фильтров //Труды Тамбовского ВВАИУРЭ(ВИ) №2 (2), 2008 г. (журнал в журнале «Успехи современной радиоэлектроники», 2008 г., №11));
- выполняют процедуру адаптивной (адаптация в данном случае заключается в формировании пространственного фильтра для обработки каждого кадра видеопоследовательности) пространственной фильтрации входного изображения синтезированным фильтром;
- сравнивают результат фильтрации с порогом (см., например, Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. М.: Техносфера, 2006. - с. 421-424) и получают бинарное изображение, параллельно сформировав структурообразующий элемент в виде матрицы размером m×n;
- получают бинарное изображение с расширенной областью объекта, путем дилатации (поэлементного умножения бинарного изображения на структурообразующий элемент, см. там же с.355-358) объекта и получают бинарное изображение с расширенной областью объекта;
- получают область интереса входного изображения, содержащую искомый объект, путем умножения бинарного изображения с расширенной областью на входное изображение;
- определяют коэффициенты разложения энергетического спектра сигнала в двумерный ряд Фурье по косинусам области интереса входного изображения, и формируют ее Sинт-матрицу;
- поиск (обнаружение) осуществляется, например, по критерию Неймана - Пирсона, а распознавание искомого объекта путем сравнения Sинт-матрицы с Sэ-матрицей.
Способ может быть реализован, например, с помощью устройства, представленного на фигуре 1, состоящего из последовательно соединенных блоков 1-4 и блоков 5, 6, 7, 8, 9, при этом выход блока 7 является выходом устройства. На структурной схеме обозначены:
1 - камера с ПЗС, предназначена для формирования цифрового изображения;
2 - перестраиваемый (адаптивный) фильтр, предназначен для фильтрации входного изображения;
3 - схема сравнения с порогом (блок пороговой обработки), предназначен для получения бинарного изображения;
4 - блок дилатации, предназначен для получения бинарного изображения с расширенной областью объекта;
5 - блок формирования структурообразующего элемента;
6 - формирователь S-матриц, предназначен для измерения энергетического спектра изображений и формирования S-матриц;
7 - блок поиска (обнаружения) и распознавания объектов;
8 - база данных (память) Sэ-матриц;
9 - блок синтеза пространственного дискретного фильтра, предназначен для определения отсчетов импульсной характеристики и апертуры синтезируемого пространственного дискретного фильтра.
Данная схема характеризуется двумя режимами работы обучением (пунктирная линия, Фиг.1), и поиском, и распознаванием объектов на цифровых изображениях.
В режиме обучения, с 3-го выхода блока 1 на 3-й вход блока 6 подается цифровое изображение эталона, где измеряется его энергетический спектр и формируется Sэ-матрица, элементами которой являются коэффициенты разложения энергетического спектра сигнала в двумерный ряд Фурье по косинусам, далее с 3-го выхода блока 6 Sэ-матрица поступает на первый вход блока 8 (память), где создается база данных различных изображений объектов (эталонов), для последующего поиска (обнаружения) и распознавания. Таким образом, база данных (блок 8) может постоянно расширяться за счет внесения в нее новых Sэ-матриц ранее не записанных изображений объектов.
Режим поиска и распознавания объектов можно реализовать следующей последовательностью:
1) изображение реальной сцены поступает на блок 1 (камеру с ПЗС);
2) далее цифровое изображение, в виде значений яркостей пикселей с первого выхода блока 1, подается на первый вход блока 6, где измеряется его энергетический спектр и формируется Sвх-матрица, элементами которой являются коэффициенты разложения энергетического спектра сигнала в двумерный ряд Фурье по косинусам;
3) с первого выхода блока 6 Sвх-матрица поступает на первый вход блока 9, а на второй вход блока 9 с первого выхода блока 8 подается Sэ-матрица, где из этих значений составляется система линейных уравнений, решениями которой являются значения отсчетов импульсной характеристики дискретного пространственного фильтра, т.е. синтезируется фильтр, причем апертура фильтра определяется по максимуму относительной эффективности обработки (см. Богословский А.В., Загузова Н.Д., Пахольчак З.Д., Богословский Е.А. Определение ранга S-матрицы входного изображения и синтез дискретных фильтров //Труды Тамбовского ВВАИУРЭ(ВИ) №2 (2), 2008 г. (журнал в журнале «Успехи современной радиоэлектроники», 2008 г., №11));
4) в камере с ПЗС входное изображение задерживается на время, которое необходимо для определения характеристик фильтра в блоке 9;
5) далее характеристики (отсчеты импульсной характеристики и значение апертуры) синтезируемого фильтра, с выхода блока 9 подаются на второй вход перестраиваемого фильтра (блок 2), после чего задержанное входное цифровое изображение реальной сцены, с выхода 2 блока 1 поступает на первый вход сформированного пространственного дискретного фильтра (блок 2);
6) отфильтрованное изображение с выхода блока 2 поступает на вход блока 3, где осуществляется его пороговая обработка и формируется бинарное изображение объекта и фона;
7) затем с выхода блока 3 бинарное изображение объекта и фона поступает на первый вход блока 4, куда из блока 5 на 2-й вход блока 4 подается структурообразующий элемент, осуществляется дилатация объекта и формируется бинарное изображение с расширенной областью объекта, которое умножается на входное изображение, поступающее на 3-й вход блока 4, и получают изображение области интереса;
8) изображение области интереса с выхода блока 4 поступает на 2-й вход блока 6, где измеряется его энергетический спектр и формируется Sинт-матрица, элементами которой являются коэффициенты разложения энергетического спектра изображения области интереса в двумерный ряд Фурье по косинусам;
9) с выхода 2 блока 6 Sинт-матрица поступает на первый вход блока 7, а с выхода 2 блока 8 на второй вход блока 7 подается Sэ-матрица;
10) в блоке 7 принимается решение об обнаружении объектов (например, по критерию Неймана-Пирсона) и происходит распознавание, путем сравнения Sэ-матрицы с Sинт-матрицей.
Применение данного способа поиска и распознавания позволит повысить вероятность правильного обнаружения и распознавания объектов на цифровых изображениях, обладающих сложным неоднородным фоном.
Предлагаемый авторами способ был реализован в виде компьютерной программы для ЭВМ в среде Scilab 4.0 (авторы Юдаков Д.С., Богословский Е.А., Четвертаков А.Н. Программа, моделирующая алгоритм определения размера апертуры и отсчетов импульсной характеристики цифрового фильтра, построенного на основе решения S-матрицы, по максимальной относительной эффективности подавления сигнала фона. Свид. 2009610542 РФ. - №2008615500; заявл. 26.11.2008; зарегистрировано в Реестре программ для ЭВМ Роспатента 22.01.2009), и проверен на различных тестовых изображениях (Богословский А.В., Юдаков Д.С., Богословский Е.А. Загузова Н.Д., Пахольчак З.Д. Обработка неподвижных изображений фильтрами, синтезированными на основе S-матрицы// Труды Тамбовского ВВАИУРЭ (ВИ) №2 (2), 2008 г. (журнал в журнале «Успехи современной радиоэлектроники», 2008 г., №11)).
Проведенный заявителями анализ уровня техники, включающий поиск по патентным и научно-техническим источникам информации и выявлению источников, содержащих сведения об аналогах изобретения, позволил установить, что заявители не обнаружили аналогов, характеризующихся признаками, тождественными всем существенным признакам изобретения.
Следовательно, заявленное изобретение «Способ поиска и распознавания объектов на цифровых изображениях» соответствует критерию «новизна».
Способ поиска и распознавания объектов на цифровых изображениях, основанный на измерении энергетического спектра входного изображения, адаптивной пространственной фильтрации и сравнении его с эталонным изображением, отличающийся тем, что эталонное изображение представляют в виде Sэ-матрицы эталона, размерностью m×n, где 
, M=L/p - количество строк, L - длина изображения, 
, N=H/p - количество столбцов, Н - ширина изображения и p - размер пикселя, элементами которой являются коэффициенты разложения энергетического спектра эталонного изображения в двумерный ряд Фурье по косинусам, измеряют энергетический спектр входного изображения и представляют его в виде Sвх-матрицы, размерностью q×q, где 
, Q - количество коэффициентов разложения энергетического спектра входного изображения в двумерный ряд Фурье по косинусам, синтезируют адаптивный пространственный дискретный фильтр, фильтруют входное изображение синтезированным фильтром, сравнивают отфильтрованное изображение с порогом и получают бинарное изображение объекта и фона, получают бинарное изображение с расширенной областью объекта путем дилатации объекта со структурообразующим элементом в виде матрицы размером m×n, получают изображение области интереса путем умножения бинарного изображения с расширенной областью объекта на входное изображение, измеряют энергетический спектр изображения области интереса и представляют его в виде Sинт-матрицы размером m×n, элементами которой являются коэффициенты разложения его энергетического спектра в двумерный ряд Фурье по косинусам, и сравнивают ее с Sэ-матрицей.
