Способ определения и сглаживания ступенчатых краев в телевизионном изображении
Изобретение относится к способам обработки телевизионного изображения, а именно к способам определения и сглаживания ступенчатых краев на изображении. Технический результат заключается в улучшении качества коррекции ступенчатых краев изображения. Способ заключается в том, что записывают значения интенсивности пикселей (ЗИП) изображения в память; для каждой строки: извлекают ЗИП текущей строки; извлекают ЗИП строки, следующей за текущей строкой; вычисляют зависимость модуля разности интенсивности пикселей (ЗМРИП) упомянутых строк, соответствующих одному столбцу; обрабатывают ЗМРИП пороговой функцией для предотвращения шума; определяют в ЗМРИП области «холмов»; определяют, какие из областей «холмов» являются одиночными ступеньками; извлекают ЗИП строки, следующей через одну от текущей строки; для текущей строки и строки, следующей через одну от текущей строки, повторяют операции определения «холмов»; для каждой части строки изображения, которая определена как одиночная ступенька, проверяют, есть ли на изображении в строке выше ступенчатая область, если да, то эти две ступенчатые области определяют как двойную ступенчатую область (ДСО); проводят сдвиг частей строк ДСО относительно друг друга и разделяют ДСО на две одиночные ступеньки; извлекают значения интенсивности пикселей строки, следующей через две от текущей строки и повторяют операции определения «холмов»; сглаживают одиночные ступеньки путем усреднения значений интенсивности пикселей. 2 ил.
Изобретение относится к способам обработки телевизионного изображения, а именно к способам определения и сглаживания ступенчатых краев на изображении.
Ступенчатые края являются одним из искажений, которые часто возникают на изображении. Ступенчатыми краями называют ступенчатые линии по краям объектов на изображении, там где должны быть плавные контуры.
Чтобы удалить ступенчатые края, нужно сначала их обнаружить, а затем сгладить.
Известны различные способы обнаружения и сглаживания ступенчатых краев изображения.
В патенте США №5151787 [1] описан способ для коррекции краев объектов на изображении, который обрабатывает сигнал Y канала из YCrCb представления цифрового изображения, определяет размытые области контура на изображении, затем переопределяют цвета пикселей в данных областях изображения, чтобы сделать границы более резкими.
Недостаток данного способа заключается в том, что он изменяет все изображение, а не только области ступенчатых краев, что обычно вносит искажения в изображение: смазываются мелкие детали и нарушается текстура изображения.
Графическая телевизионная дисплейная система, приведенная в патенте США №6339451 [2], содержит способ сглаживания краев, который определяет, нужно ли сглаживать или округлять найденный край или нет. Пиксель изображения представляется в виде четырех субпикселей, и цвет каждого субпикселя определяется в соответствии с цветом соседних пикселей. Затем по значению субикселей определяют общий цвет пикселя.
Одним из недостатков способа является то, что он работает с палитрой из шестнадцати цветов. Кроме того, алгоритм использует порог для определения разницы между соседними пикселями. Поэтому границы между объектами близких цветов могут быть не найдены. Алгоритм корректирует все края, а не только ступенчатые, например, вертикальные и горизонтальные линии, которые не нуждаются в коррекции, это приводит к ухудшению качества коррекции.
Наиболее близким к заявленному изобретению является способ определения ступенчатых краев и их сглаживания, описанный в патенте США №5293579 [3]. В данном способе изображение обрабатывают в горизонтальном направлении. Края определяют путем последовательного сканирования двух строк или двух столбцов изображения. Определяют изменение цвета. По заранее заданной таблице определяют, можно ли этот тип изменения цвета принять за край. Если изменение цвета совпадает с одним из типов, представленных в таблице, тогда усредняют значения соседних пикселей, используя метод By распределения цветов. Данный способ выбран в качестве прототипа заявленного изобретения.
Основным недостатком способа прототипа является пороговое условие, которое используют для определения изменений цвета, так как в случае применения данного порогового условия не будут определены границы между близкими по цвету областями. Если увеличивать разрешение изображения (например, бикубической интерполяцией) до определения краев, данный способ найдет много ложных контуров, т.к. определенные в таблице цветовые схемы рассчитаны на то, что контуры имеют ширину в один пиксель. Кроме того, способ сглаживает все найденные края независимо от того, ступенчатые они или нет, из-за чего могут потеряться мелкие детали изображения. То есть данный способ корректирует изображение недостаточно качественно.
Задачей заявленного изобретения является создание способа сглаживания ступенчатых краев изображения, который позволяет улучшить качество коррекции ступенчатых краев изображения и может работать в реальном времени.
Поставленная задача решена путем создания способа определения и сглаживания ступенчатых краев на изображении, который включает в себя следующие операции:
шаг 1 - записывают значения интенсивности пикселей изображения в блок памяти;
для каждой строки с пикселями изображения выполняют следующие операции:
шаг 2 - извлекают значения интенсивности пикселей текущей строки;
шаг 3 - извлекают значения интенсивности пикселей строки, следующей за текущей строкой;
шаг 4 - вычисляют зависимость модуля разности интенсивности пикселей текущей строки и строки, следующей за текущей строкой, соответствующих одному столбцу, от номера этого столбца;
шаг 5 - обрабатывают зависимость модуля разности интенсивности пикселей от номера столбца пороговой функцией для предотвращения шума;
шаг 6 - определяют в зависимости модуля разности интенсивности пикселей области «холмов», т.е отрезки, в которых зависимость модуля разности интенсивности сначала монотонно возрастает, а затем монотонно убывает, и отношение длины возрастающей части к убывающей части больше чем 0,5, но меньше чем 2;
шаг 7 - определяют, какие из областей «холмов» являются одиночными ступеньками, при этом проверяют значения интенсивностей пикселей исходных строк изображения, соответствующих области «холма», на монотонное возрастание/убывание:
- определяют знак разности между значениями интенсивностей крайнего левого и крайнего правого пикселей строки изображения;
- определяют знак разности между значениями интенсивностей пикселей в столбце, соответствующем вершине области «холма»;
- по вычисленным знакам разностей определяется, какие области из выделенного образца должны быть проверены на монотонное возрастание/убывание;
- проверяют области на монотонное возрастание/убывание;
- если для области выполнено условие монотонного возрастания/убывания, то ее определяют как одиночную ступеньку;
шаг 8 - извлекают значения интенсивности пикселей строки, следующей через одну от текущей строки;
шаг 9 - для текущей строки и строки, следующей через одну от текущей строки, выполняют операцию повтора шагов 4-7;
шаг 10 - для каждой части строки изображения, которая определена как одиночная ступенька, проверяют, есть ли на изображении в строке выше ступенчатая область, соответствующая столбцам с теми же номерами, если да, то эти две ступенчатые области определяют как двойную ступенчатую область;
шаг 11 - проводят сдвиг частей строк двойной ступенчатой области относительно друг друга вправо и влево, при этом разделяют двойную ступенчатую область на две одиночные ступеньки;
шаг 12 - извлекают значения интенсивности пикселей строки, следующей через две от текущей строки;
шаг 13 - для текущей строки и строки, следующей через две от текущей строки, выполняют операцию повтора шагов 4-7;
шаг 14 - сглаживают одиночные ступеньки путем усреднения значений интенсивности пикселей.
Техническим результатом заявленного изобретения является улучшение качества коррекции ступенчатых краев изображения за счет точного определения областей изображения со ступенчатыми краями и увеличение скорости коррекции ступенчатых краев за счет того, что способ обрабатывает одновременно ограниченное число пикселей начального изображения.
Для лучшего понимания настоящего изобретения далее приводится его подробное описание с соответствующими чертежами.
Фиг.1. Схема пошагового выполнения (алгоритм) способа определения и сглаживания ступенчатых краев на изображении, выполненного согласно изобретению.
Фиг.2. Область изображения со ступенчатыми краями и соответствующая ей часть зависимости B(i) - модуля разности интенсивности пикселей.
Рассмотрим пошаговое выполнение заявленного способа в устройстве определения и сглаживания ступенчатых краев на изображении на примере (Фиг.1). Каждый шаг обозначен на схеме индексом от 101 (шаг 1) до 114 (шаг 14).
Сначала записывают значения интенсивности пикселей изображения в память (шаг 1). Затем для пикселей каждой строки изображения выполняют следующие операции. Извлекают из памяти значения интенсивности пикселей текущей строки и строки, следующей за текущей (шаги 2, 3). Вычисляют зависимость B(i) модуля разности интенсивности пикселей текущей строки и строки, следующей за текущей строкой, соответствующих одному столбцу, от номера i этого столбца (шаг 4). Если A1 верхняя строка и А2 нижняя, тогда величины элементов зависимости B(i) - задаются выражением B(i)=|A1(i)-A2(i)|, где 1≤i≤N-1, где N ширина строки изображения. Обрабатывают зависимость модуля разности интенсивности пикселей от номера столбца пороговой функцией для предотвращения шума (шаг 5). Определяют зависимости модуля разности интенсивности пикселей области «холмов», т.е отрезки, в которых зависимость модуля разности интенсивности сначала монотонно возрастает (Фиг.2), а затем монотонно убывает, и отношение длины возрастающей части к убывающей части больше чем 0,5, но меньше чем 2 (шаг 6). Определяют, какие из областей «холмов» являются одиночными ступеньками, при этом проверяют значения интенсивностей пикселей исходных строк изображения, соответствующих области «холма», на монотонное возрастание/убывание (шаг 7): определяют знак разности между значениями интенсивностей крайнего левого и крайнего правого пикселей строки изображения; определяют знак разности между значениями интенсивностей пикселей в столбце, соответствующем вершине области «холма»; по вычисленным знакам разностей определяется, какие области из выделенного образца должны быть проверены на монотонное возрастание/убывание; проверяют области на монотонное возрастание/убывание; если для области выполнено условие монотонного возрастания/убывания, то ее определяют как одиночную ступеньку. Извлекают из памяти значения интенсивности пикселей строки следующей через одну от текущей строки (шаг 8). Для текущей строки и строки, следующей через одну от текущей строки, выполняют шаг 9 (т.е. повтор шагов 4-7). Для каждой части строки изображения, которая определена как одиночная ступенька, проверяют, есть ли на изображении в строке выше ступенчатая область, соответствующая столбцам с теми же номерами, если да, то эти две ступенчатые области определяют как двойную ступенчатую область (шаг 10). Проводят сдвиг частей строк двойной ступенчатой области относительно друг друга вправо и влево, при этом разделяют двойную ступенчатую область на две одиночные ступеньки (шаг 11). Извлекают из памяти значения интенсивности пикселей строки, следующей через две от текущей строки (шаг 12). Для текущей строки и строки, следующей через две от текущей строки, выполняют шаг 13 (т.е. повторяют шаги 4-7). Сглаживают одиночные ступеньки путем усреднения значений интенсивности пикселей (шаг 14).
Заявленное изобретение может быть применено в промышленных продуктах, которые имеют на входе изображение с низким разрешением.
Прежде всего, речь идет о приложениях для цифрового телевидения. Полученный сигнал должен отображаться на экране с более высоким разрешением. Таким образом, входной поток должен быть интерполирован. Но входное цифровое изображение обычно содержит области с эффектом наложения спектра. И интерполяция приводит к возникновению ступенчатых эффектов. Таким образом, потенциально проблемные области должны быть найдены и обработаны специальным образом. Разработанный способ может быть применен для нахождения таких областей.
Предложенный способ также может быть применен для улучшения качества дисплеев мобильных устройств. Данные дисплеи обычно имеют низкое разрешение и ступенчатый эффект может быть довольно значительным.
Другим важным приложением является HDTV. Чтобы улучшить качество восприятия потока HDTV используют локальное улучшение контраста и методы улучшения цвета. Это приводит к усилению ступенчатого эффекта. Предложенный способ может быть применен для нахождения таких потенциально плохих областей, чтобы предотвратить усиление эффекта ступенчатости.
Хотя указанный выше вариант выполнения изобретения был изложен с целью иллюстрации настоящего изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, заявленного в прилагаемой формуле изобретения.
Способ определения и сглаживания ступенчатых краев на изображении, включающий в себя следующие операции:
шаг 1 - записывают значения интенсивности пикселей изображения в память;
для каждой строки с пикселями изображения выполняют следующие операции:
шаг 2 - извлекают значения интенсивности пикселей текущей строки;
шаг 3 - извлекают значения интенсивности пикселей строки, следующей за текущей строкой;
шаг 4 - вычисляют зависимость модуля разности интенсивности пикселей текущей строки и строки, следующей за текущей строкой, соответствующих одному столбцу, от номера этого столбца;
шаг 5 - обрабатывают зависимость модуля разности интенсивности пикселей от номера столбца пороговой функцией для предотвращения шума;
шаг 6 - определяют в зависимости модуля разности интенсивности пикселей области «холмов», т.е отрезки, в которых зависимость модуля разности интенсивности сначала монотонно возрастает, а затем монотонно убывает, и отношение длины возрастающей части к убывающей части больше, чем 0,5, но меньше, чем 2;
шаг 7 - определяют, какие из областей «холмов» являются одиночными ступеньками, при этом проверяют значения интенсивностей пикселей исходных строк изображения, соответствующих области «холма», на монотонное возрастание/убывание:
определяют знак разности между значениями интенсивностей крайнего левого и крайнего правого пикселей строки изображения;
определяют знак разности между значениями интенсивностей пикселей в столбце, соответствующем вершине области «холма»;
по вычисленным знакам разностей определяется, какие области из выделенного образца должны быть проверены на монотонное возрастание/убывание;
проверяют области на монотонное возрастание/убывание;
если для области выполнено условие монотонного возрастания/убывания, то ее определяют как одиночную ступеньку;
шаг 8 - извлекают значения интенсивности пикселей строки, следующей через одну от текущей строки;
шаг 9 - для текущей строки и строки, следующей через одну от текущей строки, выполняют операцию повтора шагов 4-7;
шаг 10 - для каждой части строки изображения, которая определена как одиночная ступенька проверяют, есть ли на изображении в строке выше ступенчатая область, соответствующая столбцам с теми же номерами, если да, то эти две ступенчатые области определяют как двойную ступенчатую область;
шаг 11 - проводят сдвиг частей строк двойной ступенчатой области относительно друг друга вправо и влево, при этом разделяют двойную ступенчатую область на две одиночные ступеньки;
шаг 12 - извлекают значения интенсивности пикселей строки, следующей через две от текущей строки;
шаг 13 - для текущей строки и строки, следующей через две от текущей строки, выполняют операцию повтора шагов 4-7;
шаг 14 - сглаживают одиночные ступеньки путем усреднения значений интенсивности пикселей.
