Способ увеличения разрешения цифровой видеопоследовательности

Изобретение относится к способам обработки видеоданных, а более конкретно к способам увеличения размерности видеопоследовательностей. Технический результат заключается в обеспечении увеличения размера изображения в четыре и более раз без заметных искажений. Способ увеличения размерности цифрового изображения предусматривает покадровую обработку видеопоследовательности, причем каждый пиксель кадра обрабатывают с учетом информации о самом пикселе и о локальной области вокруг него, выполняя при этом следующие операции: определяют направления границ в этом пикселе; определяют частотные характеристики обрабатываемого участка; определяют тип интерполяции, применимый к данному пикселю; вычисляют интерполированное значение пикселя на основе данных о частотных характеристиках обрабатываемого участка и направлениях границ; выполняют по результатам интерполяции значения пикселя операцию по улучшению границ; устраняют эффект мультипликации путем окончательной обработки с применением функции, адаптирующейся к пропорциям интерполяции. 7 з.п. ф-лы, 3 ил., 1 табл.

 

Изобретение относится к способам обработки видеоданных, а более конкретно к способам увеличения размерности видеопоследовательностей.

Проблема увеличения размерности изображений является особенно актуальной в телевидении с высокой четкостью (HDTV). Известно несколько эффективных способов решения проблемы увеличения разрешения изображений, однако возникают сложности с их применением и адаптацией к видеопоследовательностям, когда необходимо учитывать временные характеристики видеопоследовательности. В известных способах чаще всего используют интерполяцию, основанную лишь на пространственных характеристиках видеопоследовательности.

В одном из таких интерполяционных подходов используется метод вейвлет-анализа, который является основой для большого числа алгоритмов видеокодирования и декодирования. В процессе повышения размерности вейвлеты используются следующим образом. Изображение разлагают с помощью вейвлет, преобразования. Затем каждый набор коэффициентов уточняется для удвоения размера входящего изображения и применяется обратное вейвлет-преобразование.

Одно из удачных решений описано в патенте США №7116836 [1]. В описанном техническом решении получают данные изображения, идентифицирующие множество пикселей изображения, и на основе этих данных формируется иерархическая структура по признаку степени четкости (разрешения). Затем вычисляют выходные (исходящие) значения для принадлежащих изображению пикселей путем распространения значений пикселей, вычисленных на уровнях низкого разрешения такой иерархии, на более высокие уровни разрешения с последующим уточнением распространенных таким образом значений пикселей на уровнях с более высоким разрешением. Основным недостатком такого способа является его высокая вычислительная сложность и трудности с аппаратной реализацией.

Наиболее близким к заявляемому изобретению является техническое решение, описанное в патенте РФ №2310911 [2], где предложен способ увеличения размерности изображения, основанный на построении карты направлений границ на изображении. Эту карту направлений краев обрабатывают с помощью морфологических операций для удаления ложных направлений и сокращения числа возможных искажений. Интерполяция каждого пикселя изображения осуществляется в три этапа: первые два осуществляют вдоль координатных осей изображения, и третий образует некоторый угол с координатными осями изображения, причем этот угол зависит от значения на карте направления границ. Этот способ позволяет подавлять ступенчатость границ (jaggies), в отличие от обычной бикубической интерполяции. Последующее повышение четкости заключается в улучшении локального контраста на основе кривой преобразования яркости, при этом результирующее повышение четкости зависит от степени сглаженности кривой. Основной недостаток такого способа заключается в проявлении эффекта мультипликации на интерполированном изображении. Еще одна проблема заключается в появлении ложных текстур в высокочастотных областях.

Задача, на решение которой направлено заявляемое изобретение, заключается в разработке такого способа интерполяции видеопоследовательности, который обеспечил бы увеличение размера изображения в четыре и более раз без заметных искажений.

Поставленная задача решена за счет разработки нового способа, который предусматривает использование покадровой обработки видеопоследовательности, причем каждый пиксель кадра обрабатывают с учетом информации о самом пикселе и о локальной области вокруг него, выполняя при этом следующие операции:

- определяют направления границ в этом пикселе;

- определяют частотные характеристики обрабатываемого участка;

- определяют тип интерполяции, применимый к данному пикселю;

- вычисляют интерполированное значение пикселя на основе данных о частотных характеристиках обрабатываемого участка и направлениях границ;

- выполняют по результатам интерполяции значения пикселя операцию по улучшению границ;

- устраняют эффект мультипликации путем дополнительной обработки с применением функции, адаптирующейся к пропорциям интерполяции.

При реализации заявляемого способа важно, чтобы частотные характеристики обрабатываемого участка определяли с помощью вейвлетов, причем вейвлет 5-3 используют для вычисления частотной характеристики участка, после чего тип участка определяют на основании пороговых значений.

При реализации заявляемого способа важно, чтобы применяли один из двух видов интерполяции, а именно в случае, если обрабатываемый участок не является высокочастотным, то применяют интерполяцию на основе триангуляции с сохранением границ, если участок является высокочастотным, то применяют бикубическую интерполяцию. В промежуточной области между низкочастотными и высокочастотными участками применяют способ взвешенной суммы триангуляционной интерполяции и бикубической свертки.

При реализации заявляемого способа целесообразно применять дополнительную обработку для предотвращения эффекта размытия (сглаживания) границ, заключающуюся в том, что используют функцию, адаптирующуюся к пропорции интерполяции. Это устраняет эффект мультипликации и обеспечивает естественность видеопоследовательности с увеличенной размерностью даже при сильном увеличении (четырех - пятикратном).

По-существу, заявляемый способ предусматривает использование для увеличения размерности видеопоследовательностей комбинации вейвлета и триангуляционного способа интерполяции с сохранением границ. При этом основным достоинством заявляемого способа является получение хорошего визуального качества обработанной видеопоследовательности, особенно в приложении к телевещанию и любительским видеофильмам. Кроме того, заявляемый способ отличается низкими требованиями к вычислительным ресурсам, обеспечивает сохранение границ и четкость мелких деталей изображения, препятствует появлению искажений и мерцаний (flickering) и эффекта мультипликации.

Далее заявляемый способ поясняется с привлечением графических материалов.

Фиг.1 - Блок-схема основных этапов алгоритма согласно изобретению.

Фиг.2 - Схема определения типа интерполяции пикселя.

Фиг.3 - Схема определения типа направления.

Заявляемое изобретение обеспечивает увеличение размерности видеопоследовательности без заметных искажений за счет применения вейвлет-анализа и интерполяции изображений методом триангуляции с сохранением границ.

Предполагается, что видеопоследовательность имеет формат YCbCr. Эту видеопоследовательность обрабатывают кадр за кадром (покадровая обработка), при этом каждый кадр рассматривается как набор пикселей, и каждый пиксель обрабатывают с использованием информации о соседних пикселях, т.е. о пикселях, расположенных на участке, окружающем обрабатываемый пиксель.

Основные этапы заявляемого способа показаны на Фиг.1.

На шаге 101 определяют частотный тип участка с помощью вейвлетов и определения направления границ. Вейвлет 5-3 применяют в горизонтальном и вертикальном направлениях для вычисления числа, соответствующего частотности. Затем применяют пороговый принцип для определения типа участка. Также на этом шаге определяется направление границы в данном пикселе, используя значение производных по направлениям. Также определяют принадлежность пикселя к «шахматной» области. Далее по этим значениям выбирают тип интерполяции.

После этого вычисляют интерполированное значение пикселя на основе информации о частотности участка изображения и границах в этом пикселе (шаг 102). Для повышения размерности используют два типа интерполяции, а именно для низкочастотного участка применяют метод триангуляции с сохранением границ, для высокочастотных участков применяют бикубическую интерполяцию (свертку). В промежуточной области между низкочастотными и высокочастотными участками применяют способ взвешенной суммы триангуляционной интерполяции и бикубической свертки.

Для предотвращения размывания границ вслед за интерполяцией выполняют дополнительную операцию по улучшению границ (шаг 103). Эту дополнительную операцию выполняют на основе функции, адаптирующейся к пропорции интерполяции для предотвращения проявлений эффекта мультипликации.

Более детально шаг 101 представлен на Фиг.2. На шаге 201 вычисляют горизонтальную производную для пикселей исходного изображения. Эту производную вычисляют, исходя из нижеприведенного соотношения (1), как среднее значение разностей между пикселями, которые являются соседними в вертикальном направлении:

где I_Y(i,j) - значение канала Y текущего пикселя.

На шаге 202 вычисляют вертикальную производную для пикселей исходного изображения. Эту производную вычисляют, исходя из нижеприведенного соотношения (2), как среднее значение разностей между пикселями, которые являются соседними в горизонтальном направлении:

где I_Y(i,j) - текущий пиксель.

На шаге 203 вычисляют производную в направлении второстепенной диагонали для пикселей исходного изображения. Эту производную вычисляют, исходя из нижеприведенного соотношения (3) как среднее значение разностей между пикселями, которые являются соседними в направлении второстепенной диагонали:

где I_Y(i,j) - текущий пиксель.

На шаге 204 вычисляют производную в направлении главной диагонали для пикселей исходного изображения. Эту производную вычисляют, исходя из нижеприведенного соотношения (4), как среднее значение разностей между пикселями, которые являются соседними в направлении главной диагонали:

где I_Y(i,j) - текущий пиксель.

На шаге 205 для текущего пикселя вычисляют поддиапазон НН вейвлета 5-3. Значение вейвлета вычисляют на основе следующего соотношения:

Это значение характеризует частотный тип участка, которому принадлежит обрабатываемый пиксель: если это значение велико, то данный пиксель принадлежит участку высокой частотности. На шаге 206 дополнительно проверяют для каждого из цветовых каналов, принадлежит ли данный пиксель к области «шахматная доска»:

где Т является каналом, T∈{Y,Cb,Cr}.

где Т является каналом, T∈{Y,Cb,Cr}.

Тогда, если A_T<CHESS_TR и Вт<CHESS_TR, где Т - по меньшей мере, один из каналов, и CHESS_TR является пороговым значением для всех частотных областей, и CHESS_UP_TR, то данный пиксель считается принадлежащим области «шахматная доска», т.е. интерполируется как пиксель высокочастотной области.

На шаге 207 вычисляют наиболее вероятное направление этого пикселя. Определение направления состоит из двух частей: определение направления (direction) и определение поднаправления (sub-direction). Шаг 207 детально представлен на Фиг.3. На шаге 301 находят минимум производных для определения основного направления M=min {D_x, D_y, D_d1, D_d2}. Затем на шаге 302 в зависимости от найденного минимума устанавливают соответствующее направление (например, при M==D_x dir=0). На шаге 303 вычисляют четыре условия:

&&

&&

&&

&&

Эти условия связаны с уточнением направления. SUB_DIR_TR является предопределенным (т.е. заданным) пороговым значением, используемым для вычисления разности между двумя производными. Затем на шаге 304 проверяют, выполнено ли какое-либо из условий C_i. Если это так, то одно из направлений изменяют на поднаправление. На шаге 305 проверяют, не превышает ли число возможных поднаправлений единицу, т.е. выполнено больше одного условия. Если это так, то выбирают поднаправление, где разница абсолютных значений двух производных является меньшей. После этого шага обрабатываемому пикселю приписывают одно из возможных восьми направлений границ.

На шаге 208 определяют, какой тип (type) интерполяции следует применить к данному пикселю. На входе этого шага представлены три значения: возможное направление границы, вейвлет - значение и «шахматное» значение. Типу интерполяции пикселя присваивают индекс 8, если вейвлет - значение меньше, чем предопределенные пороговые значения, или если пиксель принадлежит «шахматной» области. В ином случае типу интерполяции присваивают индекс, равный номеру направления границы пикселя.

После определения типа интерполяции пикселя выполняют интерполяцию значения пикселя на основе триангуляции и выявленного типа интерполяции пикселя, шаг 102. Если тип интерполяции - 8, то пиксель интерполируют с использованием простого бикубического ядра свертки.

Если тип интерполяции меньше восьми, то интерполяцию выполняют с использованием следующих математических выражений:

где Δ_s,1 и Δ₂ определены с помощью нижеследующих формул.

Пусть δ_x - расстояние от текущего пикселя до ближайшего левого ряда (колонки) исходного изображения, при этом расстояние между двумя ближайшими рядами (колонками) исходного изображения принимают за единицу. Пусть δ_y - расстояние от текущего пикселя до ближайшей верхней строки исходного изображения, при этом расстояние между двумя ближайшими строками исходного изображения принимают за единицу:

где y_s,k определяют с помощью нижеследующей формулы, где I(i,j) - ближайший к интерполированному пикселю левый-верхний пиксель исходного изображения:

где параметры (parameter) t_s,k и p_s,k принимаются с использованием нижеследующей таблицы:

Tyre/Parameter	1	2	3(δy<δx)	3(δy≥δx)	4(δy+δx≤1)	4(δy+δx>1)	5	6	7	8
t1,1	0	-1	-1	0	-1	1	0	0	-1	-1
t1,2	0	0	0	0	0	1	0	0	0	0
t1,3	0	1	1	0	1	1	0	0	1	1
t1,4	0	2	2	0	2	1	0	0	2	2
t2,1	1	-1	1	-1	0	-1	1	1	-1	-1
t2,2	1	0	1	0	0	0	1	1	0	0
t2,3	1	1	1	1	0	1	1	1	1	1
t2,4	1	2	1	2	0	2	1	1	2	2
p1,1	-1	0	0	-1	0	-1	-1	-1	0	0
p1,2	0	0	0	0	0	0	0	0	0	0
p1,3	1	0	0	1	0	1	1	1	0	0
p1,4	2	0	0	2	0	2	2	2	0	0
p2,1	-1	1	-1	1	-1	1	-1	-1	1	1
p2,2	0	1	0	1	0	1	0	0	1	1
p2,3	1	1	1	1	1	1	1	1	1	1
p2,4	2	1	2	1	2	1	2	2	1	1

Out - значение текущего интерполированного пикселя результирующего изображения.

По завершении интерполяции выполняют дополнительную обработку - шаг 103. На первом этапе определяют значение параметра мультипликации для предотвращения появления такого эффекта на изображении. Этот параметр зависит от пропорции (степени) R увеличения размерности в следующем соотношении:

На этом этапе дополнительной обработки ей подвергают только пиксели Y канала. Находят минимальные и максимальные значения пикселей, расположенных в окрестностях интерполированного пикселя Oyt_Y. При этом интерполированный пиксель Oyt_Y нормируют к диапазону [0,1]:

Затем обработанное значение находят следующим образом:

где f является следующей функцией:

Вместо f(x) возможно применение и других видов функций повышения резкости.

Таким образом, рассматривают как значение интерполированного пикселя, прошедшего дополнительную обработку и являющегося исходящим пикселем в заявляемом способе увеличения размерности.

Заявляемое изобретение может найти применение в промышленных установках, на вход которых поступают изображения с низким разрешением. В первую очередь, это цифровое телевидение, в том числе телевидение с высокой четкостью (HDTV), на вход которого поступают видеопоследовательности в стандартном разрешении, требующие качественного увеличения разрешения. Другой областью применения могут быть мобильные устройства с дисплеем, использующие системы сжатия mpeg. При этом заявляемый способ позволяет успешно увеличивать размерность цветовых компонентов при восстановлении формата YCbCr 4:4:4 из форматов YCbCr 4:2:0 или 4:2:2.

1. Способ увеличения размерности цифрового изображения, предусматривающий покадровую обработку видеопоследовательности, причем каждый пиксель кадра обрабатывают с учетом информации о самом пикселе и о локальной области вокруг него, выполняя при этом следующие операции:
определяют направления границ в этом пикселе;
определяют частотные характеристики обрабатываемого участка;
определяют тип интерполяции, применимый к данному пикселю;
вычисляют интерполированное значение пикселя на основе данных о частотных характеристиках обрабатываемого участка и направлениях границ;
выполняют по результатам интерполяции значения пикселя операцию по улучшению границ;
устраняют эффект мультипликации путем окончательной обработки с применением функции, адаптирующейся к пропорциям интерполяции.

2. Способ по п.1, отличающийся тем, что тип применимой интерполяции определяют с помощью вейвлетов, определения направления границ в данном пикселе, определения типа участка и определения принадлежности к «шахматной» области, причем в первую очередь вычисляют число, соответствующее частотным характеристикам обрабатываемого участка, с помощью вейвлета 5-3, который применяют в горизонтальном и вертикальном направлениях; определяют направление границ в данном пикселе, используя значение производных по направлениям; определяют тип обрабатываемого участка на основе порогового принципа.

3. Способ по п.2, отличающийся тем, что для определения направления границ в текущем пикселе используют значения производных, рассчитанные по следующим формулам:
горизонтальную производную для пикселей исходного изображения вычисляют, исходя из нижеприведенного соотношения, как среднее значение разностей между пикселями, которые являются соседними в вертикальном направлении:
- это значение канала Y текущего пикселя;
вертикальную производную для пикселей исходного изображения вычисляют, исходя из нижеприведенного соотношения, как среднее значение разностей между пикселями, которые являются соседними в горизонтальном направлении:
- это текущий пиксель;
производную в направлении второстепенной диагонали для пикселей исходного изображения вычисляют, исходя из нижеприведенного соотношения, как среднее значение разностей между пикселями, которые являются соседними в направлении второстепенной диагонали:
- это текущий пиксель;
производную в направлении главной диагонали для пикселей исходного изображения вычисляют, исходя из нижеприведенного соотношения, как среднее значение разностей между пикселями, которые являются соседними в направлении главной диагонали:
- это текущий пиксель.

4. Способ по п.3, отличающийся тем, что определение одного из восьми возможных направлений границы в текущем пикселе выполняют с помощью следующих операций:
находят минимум производных для определения основного направления,
устанавливают в зависимости от найденного минимума соответствующее значение переменной dir, которая обозначает направление границы,
- вычисляют четыре условия:
&&;
&&;
&&;
&&,
где SUB_DIR_TR является предопределенным пороговым значением, используемым для вычисления разности между двумя производными, D_x, D_d1 и D_d2 являются производными в горизонтальном направлении и в направлении главной и второстепенной диагоналей соответственно, значение переменной dir вычислено на предыдущем шаге,
изменяют одно из направлений на под-направление, если выполнено какое-либо из условий C_i;
если выполнено больше одного условия, то выбирают под-направление, где разница абсолютных значений двух производных является меньшей.

5. Способ по п.2, отличающийся тем, что для определения частотной характеристики обрабатываемого участка используют вейвлет-преобразование, выполняемое по формуле

где Т является каналом, T∈{Y,Cb,Cr}, где Y, Cb и Cr - это цветовые каналы изображения в представлении цветового пространства YCbCr.

6. Способ по п.2, отличающийся тем, что интерполяцию выполняют с использованием следующих математических выражений:
,
где Δ_s,1 и Δ₂ определены с помощью нижеследующих формул, в которых δ_х - расстояние от текущего пикселя до ближайшего левого ряда (колонки) исходного изображения, при этом расстояние между двумя ближайшими рядами (колонками) исходного изображения принимают за единицу, а δ_у - расстояние от текущего пикселя до ближайшей верхней строки исходного изображения, при этом расстояние между двумя ближайшими строками исходного изображения принимают за единицу:

где dir - направление границы, которое определяют в п.4;
причем y_s,k определяют с помощью нижеследующей формулы, где I(i,j) - ближайший к интерполированному пикселю левый-верхний пиксель исходного изображения:
y_s,k=I(i+t_s,k+p_s,k), s=1,2, k=1,…4,
где параметры (parameter) t_s,k и p_s,k принимают значения с использованием нижеследующей таблицы:

Type - обозначает тип интерполяции, применяемый к пикселям изображения;
Out - значение текущего интерполированного пикселя результирующего изображения.

7. Способ по п.1, отличающийся тем, что на основе частотных характеристик обрабатываемых участков пикселя применяют один из двух типов интерполяции, а именно, в случае, если обрабатываемый участок определен, как низкочастотный, то применяют интерполяцию на основе триангуляции с сохранением границ, а если участок является высокочастотным, то применяют бикубическую интерполяцию, тогда как в промежуточной области между низкочастотными и высокочастотными участками применяют способ взвешенной суммы триангуляционной интерполяции и бикубической свертки.

8. Способ по п.1, отличающийся тем, что дополнительная операция по улучшению границ включает выполнение следующих действий:
определяют значение параметра мультипликации, который зависит от пропорции R увеличения размерности в следующем соотношении:

причем на этом этапе обработке подвергают только пиксели Y канала,
находят минимальные и максимальные значения пикселей, расположенных в окрестностях интерполированного пикселя Outy,
интерполированный пиксель Outy нормируют к диапазону [0,1]:
, где local_min и lokal_max - это минимальное и максимальное допустимое значение для пикселя изображения.
- находят обработанное значение следующим образом:

где f является следующей функцией: