Устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети

Авторы патента:


Изобретение относится к устройству для восстановления изображений с поиском похожих блоков на основе нейронной сети. Технический результат заключается в уменьшении погрешности восстановления изображений за счет использования предварительно обученной нейронной сети. Устройство содержит связанные между собой блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения, при этом синхронность работы устройства обеспечивается генератором тактовых импульсов. 8 ил.

 

Изобретение относится к области вычислительной техники и может быть использовано в цифровых телевизионных и фотосистемах, глобальных систем позиционирования и наблюдения.

Упрощенная математическая модель изображения представляет собой двумерный дискретный сигнал , (фиг. 1), где – доступные пиксели неискаженного изображения, - область изображения с отсутствующими пикселями, – граница области .

Оценивание истинных значений пикселей изображений в той или иной степени необходимо в большинстве задач цифровой обработки изображений. Особенно данная проблема актуальна при автоматической обработке изображений, полученных в светочувствительных матрицах в цифровых фото- и видеокамерах, и системах машинного зрения. Методы восстановления двумерных сигналов находят свое применение в задачах обработки архивных документов в виде изображений, имеющих различные искажения (например: царапины, пятна, пыль, не нужные надписи, линии сгиба). В видеосигналах встречаются статические изображения, которые мешают просмотру, закрывая часть полезной информации от зрителя. К таким изображениям относятся различные логотипы каналов, дата и время или субтитры, которые были наложены на видеосигнал с дальнейшим кодированием. Также отдельным классом областей, мешающим просмотру видео, являются искаженные блоки при работе видеокодека, появление которых объясняется ненадежностью среды передачи данных от кодера к декодеру. В настоящее время существуют различные методы цифровой обработки, направленные на решение задач восстановления частично утерянных участков изображения, но для их эффективного использования необходимы значительные объемы априорной информации о полезном изображении. Значительные ограничения на объем априорной информации, что имеет место на практике, существенно усложняют как выбор эффективного метода обработки, так и его значений оптимальных параметров.

Упрощенно способы реконструкции значений пикселей изображений можно разделить на следующие группы:

1) Способы на основе решения дифференциальных уравнений.

2) Способы на основе ортогональных преобразований.

3) Способы на основе синтеза текстур.

4) Способы на основе нейронной сети.

Анализ существующих способов обработки показывает, что область их использования, в условиях ограниченного объема информации о составляющих обрабатываемого процесса крайне ограничена. Использование способов реконструкции значений пикселей изображений на основе решения дифференциальных уравнений в частных производных приводит к размытию резких перепадов яркостей и контуров и требует априорную информацию для выбора параметров способов и минимизации функционала. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования данных способов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений. Для использования способов на основе ортогональных преобразований требуется априорная информация для выбора порогового значения, ортогонального базиса и размера блоков спектрального представления. Так же следует отметить, что данные способы приводят к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями, а большое количество итераций приводит к значительным вычислительным затратам. Применение способов на основе синтеза текстур требует априорной информации о размере и формы области восстановления и геометрических свойствах изображения для выбора параметров способов.

Известно цифровое сглаживающее устройство с предварительным обнаружением и устранением аномальных измерений [Патент № 2010325, МПК G 06 F 15/353, опубл. 06.02.1991]. Данное устройство содержит первый сумматор, счетчик отсчетов, первый и второй дешифраторы, первый и второй элемент И, элемент ИЛИ, триггер, блок задания коэффициента деления, первый регистр и второй сумматор, второй регистр, третий дешифратор, счетчик аномальных измерений, блок выделения модуля, схема сравнения, третий элемент и генератор тактовых импульсов.

Недостатками известного устройства являются:

- процедура обнаружения не эффективна в случае обработки групповых аномальных значений;

- необходимо априорное знание допустимого значения строба .

Известен способ и устройство для заполнения объектов, на основе растеризации изображений (Filling of graphical regions) [Патент USA № 08/053, 212)]. Способ основан на растеризации изображений и включает анализ на пересечение с различными объектами каждого пикселя вдоль растровой строки края области восстановления. Приоритетные пиксели для восстановления определяются исходя из выбранного уровня заполнения данных и одним из множества различных объектов с высоким уровнем приоритетности.

Недостатками известного способа и устройства его реализующего являются:

- априорная информация о структуре изображения и размере области восстановления для выбора параметров способа.

Известен способ восстановления изображений на основе решения дифференциальных уравнений в частных производных [Bertalmio M., Sapiro G., Caselles V., Ballester C. Image inpainting // Computer Graphics Proceedings, K. Akeley, Ed. ACM Press / ACM SIGGRAPH / Addison Wesley Longman, 2000. – P. 417–424.]. Данный способ позволяет соединять контуры постоянной яркости изображений поперек области восстановления с помощью решения дифференциальных уравнений в частных производных, минимизируя выбранный функционал. Направление линий задается с помощью граничных условий на краю области восстановления, которые определяются с помощью выражения:

.

Дифференциальное уравнение в частных производных имеет решение при условии:

.

Данное выражение определяет направление продолжение линий с помощью сглаживающего оператора в область восстановления. Анизотропная диффузия вычисляется итерационно для всех пикселей с помощью выражения:

,

где - искривление двумерной плоскости в точке .

Граничные условия для восстановления изображения состоят в том, чтобы соответствовать интенсивности значений яркости изображения на границе области восстановления, а также направлению линий контуров.

Недостатками известного способа и устройства, его реализующего являются:

- сглаживание резких яркостных переходов изображений, что значительно ухудшает визуальное качество восстановленного изображения.

Известен нелинейный способ на основе адаптивного разряженного представления сигналов через нелинейные принципы приближения [Guleryuz O.G. Nonlinear approximation based image recovery using adaptive sparse reconstructions and iterated denoising //Part I: theory IEEE transactions on image processing, 2006. – V.15. – No. 3.]. Адаптивно определяется набор индексов спектральных коэффициентов, который предсказывает отсутствующую область изображения. Ортогональное преобразование для изображения запишется в виде:

GS,

где - спектральные коэффициенты, G – матрица ортогонального преобразования изображения.

При этом можно записать, что G=[ ], где I- обозначает незначимые коэффициенты в преобразовании, а J – значимые. Далее незначимые коэффициенты приравниваются к нулю:

. (2)

При этом можно представить в виде двух составляющих – доступных и отсутствующих значений пикселей:

=[ ].

Тогда условие (2) запишется в виде:

.

Решение определяется итерационно и имеет вид:

,

где - константа, - матрица значимых коэффициентов, - номер итерации.

В качестве нулевой итерации используется заполнение области случайными числами.

Недостатками известного способа и устройства, его реализующего являются:

- априорная информация для выбора параметров способа, например, количество уровней, на которые разбивается область с потерянными пикселями, фактор перекрытия уровней разложения, размер блоков спектрального представления и пороговый уровень для определения значимых коэффициентов;

- восстановление значений пикселей происходит равнозначно для всех сторон области восстановления, что иногда приводит к тому, что структура изображения с контурами и перепадами яркости восстанавливается некорректно в центре области;

- использование данного способа приводит к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями, а количество итераций может достигать порядка 500, что приводит к значительным вычислительным затратам.

Известен способ восстановления изображений на основе заполнения похожими областями и устройство его реализующее (Image region filling by exemplar-based inpainting) [Патент USA № 11/095,138, №10/453,404].

На первом шаге вычисляется приоритет для каждого пикселя границы, который состоит из двух множителей:

, (3)

,

где - текущий пиксель на границе доступных пикселей;

- данные доверия;

- данные градиента;

- количество пикселей квадратного блока с центром в пикселе ;

- вектор, ортогональный градиенту в точке ;

- вектор, ортогональный границе в точке ;

- нормированный множитель, для черно-белых изображений равен 255.

Вначале предполагается, что значение данных доверия для пикселей из области равно 1, а для области равно 0.

Вычисление приоритета с помощью выражения (3) позволяет придать больший вес пикселям, находящимся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет данных доверия позволяет присваивать меньший вес восстановленным пикселям при увеличении дистанции от доступных пикселей из области .

На втором шаге находится блок в области доступных пикселей , для которого евклидова норма минимальна:

(4)

Значения пикселей из найденного блока копируются в области . Данные доверия для восстановленных пикселей присваиваются равным текущему значению . Процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.

Недостатками известного устройства являются:

– видимость границ на восстановленном изображении между найденными похожими блоками;

– неправильное восстановление при отсутствии похожего блока;

– зависимость эффективности восстановления от выбора размера блока.

Наиболее близким к изобретению является устройство обработки двумерных сигналов при реконструкции изображений [Патент № 2440614, МПК G 06 F 17/17, опубл. 20.01.2012].

Рассматриваемое устройство - прототип предполагает:

1) записываются значения входного изображения , ;

2) определяется значение коэффициента доверия , , ;

3) вычисляется значение приоритета для каждого значения пикселя границы , где ;

4) определяется пиксель с максимальным значением приоритета на границе ;

5) для пикселя с максимальным значением приоритета на границе с помощью способа инверсий адаптивно определяется форма области для поиска подобия;

6) вычисляется евклидова метрика для всех доступных значений пикселей изображения , ,;

7) количество блоков подобия определяется с помощью доверительного интервала:

,

где ; - уровень значимости.

8) значения пикселей в области смежные к пикселю с максимальным приоритетом восстанавливаются путем усреднения соответствующих пикселей найденных областей из области доступных пикселей :

.

9) коэффициент доверия для восстановленных пикселей присваивается равным текущему значению . После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.

Устройство обработки двумерных сигналов при реконструкции изображений содержит блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок усреднения пикселей, блок заполнения изображения.

Недостатками известного устройства-прототипа являются:

– неправильное восстановление при отсутствии похожего блока;

– зависимость эффективности восстановления от структуры изображения.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

– отсутствие похожего блока приводит к не правильному восстановлению, так как замена пикселей происходи на пиксели блока, для которого евклидова метрика минимальна, даже в том случае если она имеет большое значение по абсолютной величине.

Задачей изобретения является восстановления значений пикселей изображений на основе работы нейронной сети.

Техническим результатом предлагаемого изобретения является уменьшение погрешности восстановления изображений за счет использования предварительно обученной нейронной сети.

Достигается техническая задача за счет того, что устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети содержит блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок хранения изображения, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения, блок хранения изображения, генератор тактовых импульсов.

На Фиг. 1 представлена упрощенная математическая модель изображения.

На Фиг. 2 изображено построение ортогональных векторов.

На Фиг. 3 представлен адаптивный выбор формы области для поиска подобия.

На Фиг. 4 представлен поиск похожих блоков.

На Фиг. 5 представлена структура нейронной сети .

На Фиг. 6 представлен оригинальный блок с удаленным пикселем и пять похожих блоков.

На Фиг. 7 представлена схема обучения нейронной сети.

На Фиг. 8 представлена блок схема устройства для восстановления изображений с поиском похожих блоков на основе нейронной сети.

Устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети содержит блок хранения изображения , первый вход которого является информационным входом устройства, второй выход которого подключен к входу блока хранения пикселей 2, выход которого подключен к входу блока создания словаря 3, выход которого подключен к входу блока хранения словаря 4, выход которого подключен ко второму входу блока поиска подобия 8; третий выход блока хранения изображения 1 подключен к входу блока обработки 5, выход которого подключен к входу блоку вычисления приоритета 6, выход которого подключен к входу блока определения адаптивной формы 7, выход которого подключен к первому входу блока поиска подобия 8, выход которого подключен к входу блока оценки пикселей с помощью нейронной сети 9, выход которого подключен к входу блока заполнения изображения 10, выход которого подключен ко второму входу блока хранения изображения 1, первый выход которого является информационным выход устройства; синхронность работы устройства обеспечивается генератором тактовых импульсов 11.

Устройство реализуют следующий алгоритм. На первом шаге вычисляется значение приоритета для каждого значения пикселя границы, который состоит из двух множителей (фиг. 2):

,

,

где - текущий пиксель на границе доступных пикселей; - коэффициент доверия; - коэффициент градиента; - квадратный блок пикселей с центром в пикселе ; - количество пикселей квадратного блока, вектор, ортогональный градиенту в точке ; - вектор, ортогональный границе в точке ; - нормированный множитель, который для восьми битных изображений равен 255.

Вначале предполагается, что значение коэффициента доверия для пикселей из области равно 1, а для области равно 0.

Вычисление приоритета позволяет придавать больший вес пикселям, которые находятся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет коэффициента доверия позволяет присваивать меньший вес восстановленным пикселям при увеличении расстояния от доступных пикселей из области .

На втором шаге, для пикселя с максимальным значением приоритета на границе с помощью способа инверсий адаптивно определяется форма области для поиска подобия, что позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения.

Для формирования адаптивных областей двумерного сигнала для пикселя задаются восемь направлений , в которых определяются интервалы квазистационарности. Условие квазистационарности проверяется с помощью вычисления случайной величины , равной сумме числа инверсий значений пикселей в каждом из направлений двумерного сигнала , , в котором присутствуют доступные пиксели.

Например, сумма числа инверсий для направления 5 равна:

, ,

,

где , - текущее значение пикселя изображения с координатами (); , - последующие значения пикселей изображения по -му столбцу (движение в направлении 5), - максимальная длина интервала квазистационарности.

Количество сочетаний, для которых вычисляется сумма инверсий, составляет:

.

Первая альтернатива (убывающий сигнал) принимается, если .

Правило для принятия второй альтернативы (возрастающий сигнал) имеет вид ,

где α – значение ошибки первого рода.

Гипотеза о стационарности сигнала принимается, если

,

По полученным границам интервалов для каждого из восьми секторов, образованных направлениями 1-2, 2-3, 3-4, 5-6, 7-8, 8-1 происходит формирование областей квазистационарности. Для этого используется линейная интерполяция границ смежных интервалов уравнением прямой проходящей через две точки:

, ,

где - координаты границы направления h, - координаты границы направления h+1.

Значения пикселей, попавшие между всеми направлениями и интерполирующими прямыми проходящими через границы интервалов квазистационарности, объединяются в одну область .

Для пикселя границы смежного с пикселем , имеющего большее значение , так же определяется адаптивно область с помощью способа инверсий. Каждая из полученных областей является квазистационарной, и они находятся по разные стороны от перепада яркости. Данные области объединяются в одну (фиг. 3), таким образом, определяется область с адаптивными размерами и перепадом яркости.

Определяется пиксель с максимальным значением приоритета на границе и выбирается адаптивная область , принадлежащая данному пикселю. Использование, которой позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения.

На третьем шаге, находятся блоки , в области доступных пикселей , для которых евклидова метрика минимальна (фиг. 4):

при этом обозначает порядковые номера подобных блоков, ранжированных по евклидовой метрике.

Количество блоков подобия определяется с помощью доверительного интервала:

,

где: ; - уровень значимости.

Значения пикселей в области смежные к пикселю с максимальным приоритетом восстанавливаются путем усреднения соответствующих пикселей из найденных областей в области доступных пикселей с помощью нейронной сети, в качестве нейронной сети был выбран многослойный персептрон.

Коэффициент доверия для восстановленных пикселей присваивается равным текущему значению . После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.

В данном устройстве используется нейронная сеть прямого распространения сигнала для формирования наиболее похожего блока, обученная с помощью алгоритма обратного распространения ошибки (фиг. 5). В качестве функции активации, используется сигмоидальная нелинейная функция (sigmoidal nonlinearity), а именно функция гиперболического тангенса:

,

где - параметр наклона сигмоидальной функции активации.

На этапе обучения нейронной сети на вход подавались заранее подготовленные данные: на изображении выделялся блок со случайными координатами, размером , далее в нем удалялся центральный пиксель и находили пять наиболее похожих блоков на всем изображении сравнивая их по MSE (фиг. 6).

Далее процедура повторялась на тридцати пяти изображениях и было получено сто тысяч блоков, они использовались как обучающая последовательность для данной сети.

Данная сеть содержит три слоя: первый слой содержит двадцать нейронов, второй слой содержит так же двадцать нейронов, третий слой содержит десять нейронов. В сети создано десять входов, на пять из них подавались только центральные пиксели в найденных блоках, а на пять других входов подавались MSE этих блоков (фиг. 7). В качестве выхода использовались центральные пиксели оригинальных блоков.

Устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети работает следующим образом. На вход блока хранения изображения 1 поступает изображение с потерянными пикселями. Доступные пиксели сохраняются в блоке хранения пикселей 2, далее они поступают на вход блока создания словаря 3. Результат формирования словаря сохраняется в блоке хранения словаря 4, полученные двумерные матрицы используются далее для восстановления изображения. Матрицы создаются путем формирования квадратных блоков размером 9*9 пикселей из исходного изображения путем смещения блока по всем доступным пикселям изображения. В блоке обработки 5 происходит формирование граничных пикселей вокруг области с потерянными пикселями из блока хранения изображения 1. Далее информация о граничных пикселях поступает на вход блока вычисления приоритета 6, в котором вычисляется приоритет для всех граничных пикселей, который состоит из двух множителей: коэффициент доверия и коэффициент градиента. В данном блоке так же осуществляется ранжировка приоритета и определение граничного пикселя с максимальным значением приоритета. В блоке определения адаптивной формы 7 вокруг пикселя с максимальным значением приоритета формируется адаптивная область близких по яркости пикселей с помощью способа инверсий. Адаптивная область поступает на вход блока поиска подобия 8, в котором осуществляется вычисление евклидовой метрики со всеми двумерными матрицам, которые хранятся в блоке хранения словаря 4. В блоке поиска подобия 8 так же определяется количество похожих блоков, для которых евклидова метрика не превосходит порогового значения. Данные блоки поступают на вход блока оценки пикселей с помощью нейронной сети 9, в котором происходит формирование усредненной оценки с помощью предварительно обученной нейронной сети. Полученная оценка поступает в блок заполнения изображения 10, который копирует значения пикселей смежных к пикселю с максимальным приоритетом из усредненной оценки в блок хранения изображения 1 на соответственные координаты. Далее процесс вычисления приоритета с поиском похожих блоков и последующей заменой повторяется до тех пор, пока не будут восстановлены все значения в блоке хранения изображения 1. Синхронность работы устройства обеспечивается генератором тактовых импульсов 11.

Устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети, содержащее блок хранения изображения, первый вход которого является информационным входом устройства, второй выход которого подключен к входу блока хранения пикселей, выход которого подключен к входу блока создания словаря, выход которого подключен к входу блока хранения словаря, выход которого подключен ко второму входу блока поиска подобия; третий выход блока хранения изображения подключен к входу блока обработки, выход которого подключен к входу блока вычисления приоритета, выход которого подключен к входу блока определения адаптивной формы, выход которого подключен к первому входу блока поиска подобия, синхронность работы устройства обеспечивается генератором тактовых импульсов; отличающееся тем, что выход блока поиска подобия подключен к входу блока оценки пикселей с помощью нейронной сети, выход которого подключен к входу блока заполнения изображения, выход которого подключен ко второму входу блока хранения изображения, первый выход которого является информационным выходом устройства.



 

Похожие патенты:
Наверх