Способ кодирования-декодирования цифровых видеоизображений
Владельцы патента RU 2616176:
Федеральное государственное бюджетное образовательное учреждение высшего образования "Тульский государственный университет" (ТулГУ) (RU)
Изобретение относится к области цифровой обработки сигналов, в частности к способам кодирования-декодирования цифровых видеоизображений. Техническим результатом является повышение коэффициента компрессии видеоизображений при незначительном снижении качества декодированного изображения применительно к изображениям, имеющим высокочастотный характер спектра сигнала. Предложен способ кодирования-декодирования цифровых видеоизображений. Согласно способу в процессе кодирования к низкочастотному компоненту вейвлет-преобразования для сглаживания исходной функции построчно подмешивают добавочный высокочастотный компонент, который используют для кодирования, но подавляют на стороне декодирования посредством использования фильтра нижних частот. Причем кодирование реализуют при использовании функционала с двумя целями повышения коэффициента компрессии данных и сохранения качества декодируемого изображения, а характеристики фильтра декодера учитывают как ограничение связи на стадии кодирования. 8 ил., 3 табл.
Техническое решение относится к области цифровой обработки сигналов, в частности к способам кодирования-декодирования цифровых видеоизображений, и может быть применено в системах хранения и обработки визуальной информации.
Известен аналогичный способ кодирования-декодирования цифровых видеоизображений на основе стандарта кодирования MPEG-4, описанный в книге Яна Ричардсона «Видеокодирование Н.264 и MPEG-4 - стандарты нового поколения» Москва: Техносфера, 2005. - 368 с., с. 197 и состоящий в следующем: при кодировании каждого очередного изображения кодером опрашивают датчик цветного изображения, далее полученное изображение представляют тремя исходными цветовыми матрицами, соответствующими красному, зеленому и синему цветовым компонентам изображения, после чего сохраняют исходные цветовые матрицы в памяти кодера, затем к каждой исходной цветовой матрице построчно применяют вейвлет-преобразование, в ходе которого получают низкочастотный и высокочастотный компоненты матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют квантование и кодирование с пространственным прогнозом, затем к высокочастотному компоненту текущей матрицы применяют квантование, сканирование и кодирование по методу нулевых деревьев, а после этого к предварительным кодам обоих частотных компонентов текущей матрицы применяют энтропийное арифметическое кодирование, после кодирования всех исходных матриц набор полученных кодов записывают в запоминающее устройство, декодером в процессе проведения декодирования изображения сначала из запоминающего устройства извлекают набор кодов изображения, далее для каждой декодируемой цветовой матрицы сначала применяют к полученным кодам энтропийное арифметическое декодирование, в результате чего получают раздельные коды низкочастотного и высокочастотного компонентов матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют декодирование с пространственным прогнозом и деквантование, затем к высокочастотному компоненту текущей матрицы применяют декодирование по методу нулевых деревьев, обратное сканирование и деквантование, после чего по декодированным низкочастотным и высокочастотным компонентам посредством обратного вейвлет-преобразования восстанавливают исходную текущую матрицу изображения, а после декодирования всех цветовых матриц восстанавливают исходное изображение.
Недостатком указанного аналога является низкое значение коэффициента компрессии видеоизображений, имеющих высокочастотный характер спектра сигнала.
В качестве прототипа выбран способ кодирования-декодирования цифровых видеоизображений на основе стандарта кодирования MPEG-4, описанный в книге Яна Ричардсона «Видеокодирование Н.264 и MPEG-4 - стандарты нового поколения» Москва: Техносфера, 2005. - 368 с., с. 197 и состоящий в следующем: при кодировании каждого очередного изображения кодером опрашивают датчик цветного изображения, далее полученное изображение представляют тремя исходными цветовыми матрицами, соответствующими красному, зеленому и синему цветовым компонентам изображения, после чего сохраняют исходные цветовые матрицы в памяти кодера, затем к каждой исходной цветовой матрице построчно применяют вейвлет-преобразование, в ходе которого получают низкочастотный и высокочастотный компоненты матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют квантование и кодирование с пространственным прогнозом, затем к высокочастотному компоненту текущей матрицы применяют квантование, сканирование и кодирование по методу нулевых деревьев, а после этого к предварительным кодам обоих частотных компонентов текущей матрицы применяют энтропийное арифметическое кодирование, после кодирования всех исходных матриц набор полученных кодов записывают в запоминающее устройство, декодером в процессе проведения декодирования изображения сначала из запоминающего устройства извлекают набор кодов изображения, далее для каждой декодируемой цветовой матрицы сначала применяют к полученным кодам энтропийное арифметическое декодирование, в результате чего получают раздельные коды низкочастотного и высокочастотного компонентов матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют декодирование с пространственным прогнозом и деквантование, затем к высокочастотному компоненту текущей матрицы применяют декодирование по методу нулевых деревьев, обратное сканирование и деквантование, после чего по декодированным низкочастотным и высокочастотным компонентам посредством обратного вейвлет-преобразования восстанавливают исходную текущую матрицу изображения, а после декодирования всех цветовых матриц восстанавливают исходное изображение.
Недостатком прототипа является низкое значение коэффициента компрессии видеоизображений, имеющих высокочастотный характер спектра сигнала.
Задачей технического решения является существенное повышение коэффициента компрессии видеоизображений при незначительном снижении качества декодированного изображения применительно к изображениям, имеющим высокочастотный характер спектра сигнала.
Поставленная задача решается благодаря тому, что в способе кодирования-декодирования цифровых видеоизображений, содержащем следующую последовательность действий: при кодировании каждого очередного изображения кодером опрашивают датчик цветного изображения, далее полученное изображение представляют тремя исходными цветовыми матрицами, соответствующими красному, зеленому и синему цветовым компонентам изображения, после чего сохраняют исходные цветовые матрицы в памяти кодера, затем к каждой исходной цветовой матрице построчно применяют вейвлет-преобразование, в ходе которого получают низкочастотный и высокочастотный компоненты матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют квантование и кодирование с пространственным прогнозом, затем к высокочастотному компоненту текущей матрицы применяют квантование, сканирование и кодирование по методу нулевых деревьев, а после этого к предварительным кодам обоих частотных компонентов текущей матрицы применяют энтропийное арифметическое кодирование, после кодирования всех исходных матриц набор полученных кодов записывают в запоминающее устройство, декодером в процессе проведения декодирования изображения сначала из запоминающего устройства извлекают набор кодов изображения, далее для каждой декодируемой цветовой матрицы сначала применяют к полученным кодам энтропийное арифметическое декодирование, в результате чего получают раздельные коды низкочастотного и высокочастотного компонентов матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют декодирование с пространственным прогнозом и деквантование, затем к высокочастотному компоненту текущей матрицы применяют декодирование по методу нулевых деревьев, обратное сканирование и деквантование, после чего по декодированным низкочастотным и высокочастотным компонентам посредством обратного вейвлет-преобразования восстанавливают исходную текущую матрицу изображения, а после декодирования всех цветовых матриц восстанавливают исходное изображение; предусмотрены следующие отличия: для каждой строки каждой цветовой матрицы низкочастотного компонента вейвлет-преобразования в кодере после квантования, но перед кодированием с пространственным прогнозом применяют построчную оптимизацию в соответствии с системой уравнений
w(x) - входная функция вейвлет-преобразования после квантования;
q(x) - добавочная функция;
f(x) - функция выхода фильтра;
λ(х) - множитель Лагранжа;
c1, c2 - весовые коэффициенты;
а - коэффициент фильтра;
k - коэффициент пропорциональности;
x – аргумент,
с неизвестными q(x), 
, λ(х), причем для кодирования используют производную суммарной функции
s(x) - суммарная функция;
w(x) - входная функция вейвлет-преобразования после квантования;
q(x) - добавочная функция;
а в декодере после декодирования с пространственным прогнозом, но перед деквантованием применяют фильтрацию по формуле
s(x) - суммарная функция;
- функция выхода фильтра;
а - коэффициент фильтра;
k - коэффициент пропорциональности;
x – аргумент,
при неизвестной , при этом значения функции s(x) вычисляют предварительно по ее производной и с учетом краевых условий, причем и в кодере, и в декодере краевые условия выбирают одинаковыми для соответствующих строк и задают предварительно, значения коэффициентов c1, c2 в кодере задают предварительно, значения коэффициентов а, k для кодера и декодера принимают одинаковыми и задают предварительно, а в процессе кодирования-декодирования используют дискретные представления указанных формул, в которых аргумент x принимают в качестве номера элемента текущей строки преобразования.
Устройство для реализации предложенного способа кодирования-декодирования цифровых видеоизображений состоит из ноутбука «SAMSUNG R530», цифровой web-камеры «hama АС-150», подставки для web-камеры, освещаемого объекта, источника освещения объекта, разветвителя, источника электричества, съемочной площадки. К ноутбуку 1 подключена цифровая web-камера 2, находящаяся на подставке 3, предназначенная для съемки поверхности объекта 4, освещаемого источником освещения 5. К разветвителю 6 подключены ноутбук и источник освещения, а сам разветвитель подключен к источнику электричества 7. Все перечисленные выше элементы расположены на съемочной площадке 8. Ноутбук и источник освещения находятся во включенном состоянии, причем на ноутбуке загружено программное обеспечение для проведения сравнительного анализа прототипного и заявляемого способов кодирования-декодирования цифровых видеоизображений. Ноутбук снабжен программным обеспечением, позволяющим осуществлять заявляемый способ в отдельности, а также осуществлять эксперимент по проведению сравнительного анализа моделей видеокодеков (кодер и декодер) на базах прототипного и заявляемого способов. В эксперименте по сравнению двух моделей видеокодеков обрабатывается один и тот же кадр, получаемый программно с web-камеры и принимаемый в качестве входного изображения. Чувствительность web-камеры, а также расстояние от съемочного объекта до источника освещения подобраны таким образом, чтобы для всех цветовых компонентов всех пикселов входного изображения их относительные значения яркости не превышали бы значения дискретного максимума в 254 отн. ед. яркости при программном представлении каждого цветового компонента 1-им байтом, то есть, чтобы в изображении не было «засветки». Эксперимент устроен следующим образом: сначала изображение записывается и обрабатывается моделью видеокодека на базе прототипного способа, при этом в памяти ноутбука сохраняется обрабатываемое изображение, после чего сохраненное изображение обрабатывается моделью видеокодека на базе заявляемого способа. Все параметры и технические характеристики перечисленных выше конструктивных элементов, а также схемы и параметры сравниваемых моделей видеокодеков при прочих равных условиях представлены в таблицах (Таблица 1) и (Таблица 2) и на фигурах (ФИГ. 1, ФИГ. 2, ФИГ. 3, ФИГ. 4).
Описанный выше способ кодирования-декодирования цифровых видеоизображений осуществляется следующим образом: на ноутбуке запускают программный вариант по осуществлению заявляемого способа в отдельности или эксперимент по проведению сравнительного анализа моделей видеокодеков на базах прототипного и заявляемого способов нажатием соответствующей кнопки. После этого ожидают окончания обработки изображения и вывода на экран результатов осуществления заявляемого способа в отдельности, либо результатов эксперимента по сравнению моделей видеокодеков, использующих прототипный и заявляемый способы.
Наличие причинно-следственной связи между совокупностью существенных признаков заявляемого объекта и достигаемым техническим результатом показано в таблице 3. Табличные данные основаны на результатах экспериментов по сравнительному анализу моделей видеокодеков на базах прототипного и заявляемого способов. Оба критерия подсчитывались программно. 
Согласно результатам экспериментальных данных предложенный способ кодирования декодирования обеспечивает повышение коэффициента компрессии цифровых видеоизображений с высокочастотным характером спектра сигнала в среднем на 8-14% при незначительном снижении качества декодированного изображения в среднем на 1-2%.
Техническая сущность заявляемого технического решения поясняется следующими дополнительными материалами.
ФИГ. 1. Структурная схема устройства для реализации прототипного и заявляемого способов.
ФИГ. 2. Функциональная схема кодера в устройстве для реализации прототипного способа.
ФИГ. 3. Функциональная схема кодера в устройстве для реализации заявляемого способа.
ФИГ 4 Принципиальная схема оптимизации кодирования сигнала низкочастотного компонента вейвлет-преобразования.
ФИГ. 5. Результаты моделирования предложенного способа для квадратного сектора из низкочастотного компонента вейвлет-преобразования.
ФИГ. 6. Результаты моделирования предложенного способа для одной строки из низкочастотного компонента вейвлет-преобразования.
ФИГ. 7. Схема экспериментальной установки для сравнения эффективностей работы видеоеодеков на базах прототипного и заявляемого способов.
ФИГ. 8.Снимок экспериментальной установки для сравнения эффективностей работы видеоеодеков на базах прототипного и заявляемого способов.
Объяснение необходимости введения совокупности указанных отличительных признаков состоит в следующем. Известно, что при обработке изображений с высокочастотным характером спектра эффективность вейвлет-преобразования по коэффициенту компрессии снижается вследствие того, что для таких изображений изменение сигнала при переходе от пиксела к пикселу становится велико.
Так, например, в рассматриваемом случае даже функция низкочастотного компонента вейвлет-преобразования w имеет большую по абсолютным значениям первую производную, а потому является неудобной для кодирования.
Суть описываемого способа состоит в том, что в кодере к исходному низкочастотному сигналу вейвлет-преобразования w искусственно подмешивается еще один высокочастотный компонент q так, что с одной стороны суммарная функция s=w+q становится белее гладкой, чем w (вследствие этого первая производная s' становится удобной для компрессии), а с другой стороны добавочная составляющая высокочастотной функции q может быть эффективно подавлена на стороне декодирования с минимальными потерями для качества изображения при использовании фильтра низких частот.
Обработка данных ведется построчно. Представленные математические модели и последовательности их выполнения устройствами схемы видеокодирования (ФИГ. 1) являются решением вариационной задачи с целевым функционалом J
и ограничением связи
где 
- целевой функционал; x - аргумент; b - верхняя граница области интегрирования; w(x) - входная функция; q(x) - добавочная функция; 
- функция выхода фильтра; λ(x) - множитель Лагранжа; c1, c2 - весовые коэффициенты; а - постоянный коэффициент, характеризующий частоту среза фильтра; k - коэффициент пропорциональности, учитывающий ослабление сигнала на выходе фильтра.
Первое слагаемое функционала характеризует цель повышения степени гладкости производной суммарной функции s=w+q (требование объема кодов). Второе слагаемое характеризует цель сохранения незначительного различия исходного кодируемого w и выходного декодируемого 
сигналов (требование качества изображения). Приоритеты между указанными целями регулируются весовыми коэффициентами. Ограничение связи представляет собой фильтр низких частот. Оно учитывается при кодировании, а также используется при декодировании.
Результаты сравнительного анализа прототипного и заявляемого способов, приведенные на фигурах (ФИГ. 5) и (ФИГ. 6), содержат экспериментально полученные характеристики для следующих функций: функция низкочастотного компонента вейвлет-преобразования w, производная этого сигнала w', добавочная функция q, суммарная функция s, равная сумме w+q кодируемой и добавочной функций, ее производная s' (передаваемая декодеру), ошибка r декодированного низкочастотного компонента вейвлет-преобразования, определяемая как разность 
кодируемого и отфильтрованного (декодируемого) сигналов.
По результатам сравнительного анализа можно отметить, что поскольку суммарная функция s в процессе кодирования становится гладкой функцией, это снижает абсолютные значения ее первой производной s'. Функцию s' становится удобно кодировать, поскольку она имеет малые абсолютные значения, что приводит к уменьшению разрядной сетки для этих значений. Кроме того, функция s' содержит длинные нулевые серии, которые эффективно кодируются энтропийным кодером. Вследствие этого запоминающему устройству требуется меньший объем памяти для хранения закодированной s', а значит повышается коэффициент компрессии изображения.
В то же время, по начальным условиям и кодам функции s' декодер может восстановить сначала саму функцию s, а затем посредством фильтрации выделить из нее желаемую функцию w (в декодере ей соответствует функция ), подавив добавочный компонент q. Поскольку действие фильтра декодера (ограничение связи) учитывается еще на стороне кодирования, то сигнал декодируемого изображения искажается слабо.
Технико-экономическое обоснование заявляемого способа состоит в том, что при его применении возможно хранение большего количества изображений при тех же объемах памяти, а значит в общем случае можно сэкономить на количестве таких запоминающих устройств при прочих равных условиях. Еще одно экономически-выгодное применение предложенного способа состоит в его использовании в рамках кодирования кадровых видеопотоков (цифровое телевидение, интернет-общение в режиме on-line), поскольку меньший объем кода требует меньших энергетических затрат. Но в этом случае необходимо использовать малые форматы изображений (критично время кодирования), а также иметь канал связи с высокими показателями помехоустойчивости, поскольку из-за использования производных одна ошибка декодирования в строке порождает серию ошибок для оставшихся элементов строки.
Способ кодирования-декодирования цифровых видеоизображений, состоящий в следующем: при кодировании каждого очередного изображения кодером опрашивают датчик цветного изображения, далее полученное изображение представляют тремя исходными цветовыми матрицами, соответствующими красному, зеленому и синему цветовым компонентам изображения, после чего сохраняют исходные цветовые матрицы в памяти кодера, затем к каждой исходной цветовой матрице построчно применяют вейвлет-преобразование, в ходе которого получают низкочастотный и высокочастотный компоненты матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют квантование и кодирование с пространственным прогнозом, затем к высокочастотному компоненту текущей матрицы применяют квантование, сканирование и кодирование по методу нулевых деревьев, а после этого к предварительным кодам обоих частотных компонентов текущей матрицы применяют энтропийное арифметическое кодирование, после кодирования всех исходных матриц набор полученных кодов записывают в запоминающее устройство, декодером в процессе проведения декодирования изображения сначала из запоминающего устройства извлекают набор кодов изображения, далее для каждой декодируемой цветовой матрицы сначала применяют к полученным кодам энтропийное арифметическое декодирование, в результате чего получают раздельные коды низкочастотного и высокочастотного компонентов матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют декодирование с пространственным прогнозом и деквантование, затем к высокочастотному компоненту текущей матрицы применяют декодирование по методу нулевых деревьев, обратное сканирование и деквантование, после чего по декодированным низкочастотным и высокочастотным компонентам посредством обратного вейвлет-преобразования восстанавливают исходную текущую матрицу изображения, а после декодирования всех цветовых матриц восстанавливают исходное изображение, отличающийся тем, что для каждой строки каждой цветовой матрицы низкочастотного компонента вейвлет-преобразования в кодере после квантования, но перед кодированием с пространственным прогнозом применяют построчную оптимизацию в соответствии с системой уравнений
w(x) - входная функция вейвлет-преобразования после квантования;
q(x) - добавочная функция;
- функция выхода фильтра;
λ(x) - множитель Лагранжа;
c1, c2 - весовые коэффициенты;
а - коэффициент фильтра;
k - коэффициент пропорциональности;
x – аргумент,
с неизвестными q(x), 
, λ(x), причем для кодирования используют производную суммарной функции
s'(x)=w'(x)+q'(x)
s(x) - суммарная функция;
w(x) - входная функция вейвлет-преобразования после квантования;
q(x) - добавочная функция,
а в декодере после декодирования с пространственным прогнозом, но перед деквантованием применяют фильтрацию по формуле
s(x) - суммарная функция;
- функция выхода фильтра;
а - коэффициент фильтра;
k - коэффициент пропорциональности;
x – аргумент,
при неизвестной 
, при этом значения функции s(x) вычисляют предварительно по ее производной и с учетом краевых условий, причем и в кодере, и в декодере краевые условия выбирают одинаковыми для соответствующих строк и задают предварительно, значения коэффициентов c1, c2 в кодере задают предварительно, значения коэффициентов а, k для кодера и декодера принимают одинаковыми и задают предварительно, а в процессе кодирования-декодирования используют дискретные представления указанных формул, в которых аргумент x принимают в качестве номера элемента текущей строки преобразования.
