Способ обнаружения насыщенных пикселов в изображении

Изобретение относится к области техники обнаружения переэкспонированных или насыщенных областей в изображении. Технический результат заключается в обеспечении возможности точного обнаружения переэкспонированной области изображения с одновременным повышением точности последующей цветовой коррекции. Способ обнаружения насыщенных пикселов в изображении, цвета которого представлены цветовыми координатами, соответствующими различным цветовым каналам, содержащий этап, на котором обнаруживают пикселы, цвета которых имеют по меньшей мере одну цветовую координату, соответствующую одному из упомянутых цветовых каналов, которая превышает пороговое значение (thr; thg; thb) насыщенности для упомянутого цветового канала, отличающийся тем, что пороговые значения (thr; thg; thb) насыщенности для упомянутых цветовых каналов, соответственно, равны цветовым координатам (rw, gw, bw), представляющим оцененный источник (ILL) света упомянутого изображения, причём упомянутый оцененный источник света соответствует белой точке изображения, которая представляет собой цвет, являющийся цветом, который воспринимается наблюдателем в качестве белого цвета в сцене изображения. 5 н. и 5 з.п. ф-лы, 1 ил.

 

Область техники, к которой относится изобретение

Данное изобретение относится к области техники обнаружения переэкспонированных или насыщенных областей в изображении. Такое обнаружение, в частности, используется перед цветовой коррекцией, например, для восстановления изображений или для преобразования в более широкий динамический диапазон.

Уровень техники

Захват сцены с широким динамическим диапазоном с помощью стандартной камеры с узким динамическим диапазоном может приводить к насыщенным или переэкспонированным изображениям. Поскольку большая часть контента изображений или видеоконтента в общем кодируется в узком или стандартном динамическом диапазоне (SDR), он в общем содержит насыщенные и/или переэкспонированные области. На данный момент начинают становиться доступными устройства отображения, которые позволяют воспроизводить изображения или видеоконтент с более широкой цветовой палитрой, более высоким разрешением и с более широким динамическим диапазоном. Следовательно, чтобы иметь возможность использовать полные возможности таких устройств отображения при отображении такого SDR-контента, цветовая коррекция должна в общем применяться к этому контенту, чтобы восстанавливать неразличимые детали и информацию в насыщенных или переэкспонированных областях этого SDR-контента.

Первый этап для такой коррекции в общем содержит идентификацию этих переэкспонированных областей. Например, в SDR-изображении, цвета которого представляются посредством цветовых координат, каждая из которых представляет различный цветовой канал и кодируется в 8 битах, все значения этих цветовых координат выше 255 в общем отсекаются до значения, более низкого или равного 255. Обычно, 235 считается стандартным и фиксированным пороговым значением насыщенности для обнаружения насыщенных цветов и ассоциированных пикселов в 8-битовых изображениях. Одна причина такого значения 235 может состоять в том, что выше этого значения отклик датчика камеры, которая захватывает это SDR-изображение, не является линейным. В большинстве обычных способов цветовой коррекции, которые используются для того, чтобы восстанавливать неразличимые детали в переэкспонированных областях контента, идентификация переэкспонированных областей основана на чрезмерном фиксированном пороговом значении насыщенности по меньшей мере в одном из этих различных цветовых каналов. Эти различные цветовые каналы, например, представляют собой обычные R-, G- и B-каналы. С учетом такого порогового значения насыщенности, все пикселы изображения, цвета которого имеют по меньшей мере один цветовой канал со значением выше порогового значения насыщенности, считаются переэкспонированными и формируют насыщенные или переэкспонированные области этого изображения.

Использование такого фиксированного порогового значения насыщенности для того, чтобы обнаруживать переэкспонированные области, так или иначе может быть проблематичным. В типичном датчике камеры, смежные элементы в общем охватываются посредством различных красных, зеленых и синих цветных фильтров, соответствующих, соответственно, R-, G- и B-каналу данных изображений, доставляемых посредством этой камеры. В связи с этим, различные элементы датчика камеры не могут принимать идентичное количество света все время, и все они не могут достигать своей максимальной пропускной способности одновременно, что в дальнейшем приводит к различному поведению в красном, зеленом и синем каналах данных изображений, доставляемых посредством камеры. Это, в частности, имеет место, если свет в сцене не является белым. Следовательно, использование фиксированного порогового значения насыщенности для всех трех цветовых каналов RGB-изображения может приводить к неправильному обнаружению переэкспонированной области, а также к некорректной последующей цветовой коррекции.

Раскрытие изобретения

Задача изобретения заключается в исключении вышеуказанных недостатков.

Для решения этой задачи предмет изобретения представляет собой способ обнаружения насыщенных пикселов в изображении, цвета которого представляются посредством цветовых координат, соответствующих различным цветовым каналам, содержащий обнаружение пикселов, цвета которых, имеют по меньшей мере одну цветовую координату, соответствующую одному из упомянутых цветовых каналов, которая превышает пороговое значение насыщенности для упомянутого цветового канала, при этом упомянутые пороговые значения насыщенности для упомянутых цветовых каналов зависят, соответственно, от цветовых координат, представляющих источник света упомянутого изображения.

Этот способ преимущественно ограничивает неправильное обнаружение насыщенных пикселов, в частности, поскольку он учитывает эффект источника света сцены.

В первой разновидности, пороговые значения насыщенности для упомянутых цветовых каналов, соответственно, равны цветовым координатам, представляющим упомянутый источник света.

Во второй предпочтительной разновидности, пороговые значения насыщенности для упомянутых цветовых каналов получаются посредством масштабирования цветовых координат, представляющих упомянутый источник света, в масштабированные цветовые координаты таким образом, что эти масштабированные цветовые координаты включены в фиксированный диапазон значений насыщенности.

Упомянутое масштабирование может выполняться без изменения оттенка либо, предпочтительно, сохраняет постоянные соотношения между цветовыми координатами (r_w, g_w, b_w), представляющими упомянутый источник (ILL) света.

Задача изобретения также представляет собой модуль для обнаружения насыщенных пикселов в изображении, цвета которого представляются посредством цветовых координат, соответствующих различным цветовым каналам, причем упомянутый модуль содержит по меньшей мере один процессор, выполненный с возможностью:

- оценки цветовых координат, представляющих источник света упомянутого изображения,

- получения пороговых значений насыщенности для упомянутых цветовых каналов, соответственно, в зависимости от цветовых координат, представляющих упомянутый источник света,

- обнаружения пикселов, цвета которых имеют по меньшей мере одну цветовую координату, соответствующую одному из упомянутых цветовых каналов, которая превышает упомянутое пороговое значение насыщенности для упомянутого цветового канала.

Задача изобретения также представляет собой устройство цветовой коррекции для коррекции цветов изображения, при этом упомянутые цвета представляются посредством цветовых координат, соответствующих различным цветовым каналам, содержащее такой модуль для обнаружения насыщенных пикселов. Устройство цветовой коррекции означает здесь любое устройство, выполненное с возможностью изменять цвета изображения, что включает в себя изменение динамического диапазона. Такое изменение цветов может реализовываться, например, для восстановления изображений или для преобразования в более широкий динамический диапазон, в частности, до этапа восстановления неразличимых деталей в насыщенных областях этого изображения.

Задача изобретения также представляет собой машиночитаемый носитель, содержащий программу для конфигурирования цифрового компьютера с возможностью осуществлять способ обнаружения насыщенных пикселов в изображении, как описано выше.

Краткое описание чертежей

Изобретение должно более ясно пониматься при прочтении описания, которое содержится далее, приведенного в качестве неограничивающего примера и со ссылкой на фиг. 1, иллюстрирующую предпочтительный вариант осуществления способа обнаружения насыщенных пикселов согласно изобретению.

Осуществление изобретения

Следует понимать, что способ обнаружения насыщенных пикселов согласно изобретению может реализовываться в различных формах аппаратных средств, программного обеспечения, микропрограммного обеспечения, процессоров специального назначения или комбинаций вышеозначенного, в частности, как комбинация аппаратных средств и программного обеспечения, формирующих модуль для обнаружения насыщенных пикселов в изображении. Более того, программное обеспечение может реализовываться как прикладная программа, материально осуществленная в блоке хранения программ. Прикладная программа может выгружаться или выполняться посредством компьютера, содержащего любую надлежащую архитектуру. Предпочтительно, компьютер реализуется на платформе, имеющей аппаратные средства, такие как один или более центральных процессоров (CPU), оперативное запоминающее устройство (RAM) и интерфейсы ввода-вывода. Платформа также может включать в себя операционную систему и код микрокоманд. Различные процессы и функции, описанные в данном документе, могут быть либо частью кода микрокоманд, либо частью прикладной программы или любой комбинации вышеозначенного, которая может выполняться посредством CPU. Помимо этого, различные другие периферийные блоки могут соединяться с компьютерной платформой, такие как блок отображения и дополнительный блок хранения данных.

Модуль для обнаружения насыщенных пикселов в изображении, в частности, может представлять собой часть устройства цветовой коррекции. Такое устройство цветовой коррекции, в частности, может быть выполнено с возможностью восстановления изображений или преобразования изображений в более широкий динамический диапазон. Согласно примерным и неограничивающим вариантам осуществления, такое устройство цветовой коррекции может быть включено в мобильное устройство; устройство связи; игровое устройство; планшет (или планшетный компьютер); переносной компьютер; фотокамеру; видеокамеру; кристалл кодирования; фотосервер; и видеосервер (например, широковещательный сервер, сервер «видео по запросу» или веб-сервер).

Функции различных элементов, показанных на фиг. 1, могут обеспечиваться посредством использования специализированных аппаратных средств, а также аппаратных средств, допускающих выполнение программного обеспечения, ассоциированного с соответствующим программным обеспечением.

Ниже приводится описание основного варианта осуществления способа обнаружения насыщенных пикселов изображения сцены, цвета которой представляются в данном цветовом пространстве посредством набора значений RGB-цвета, при этом каждое из этих значений цвета соответствует различному цветовому каналу.

Как проиллюстрировано на фиг. 1, первый этап этого способа заключается в оценке цвета источника ILL света этой сцены, соответствующей белой точке изображения. Белая точка представляет собой цвет, который воспринимается наблюдателем в качестве белого цвета в сцене, даже если он фактически не представляет собой белый цвет в колориметрии. Предпочтительно, этот источник света представляет собой доминирующий источник света сцены, и его цвет представляется посредством набора значений RGB-цвета, в частности, r_w, g_w, b_w. Чтобы оценивать этот цвет, можно использовать максимум каждого цветового компонента: максимальное значение r_max красного цвета всех пикселов изображения, максимальное значение g_max зеленого цвета и максимальное значение b_max синего цвета. Такая оценка означает то, что сцена содержит объекты, которые отражают весь красный свет, содержит объекты, которые отражают весь зеленый свет, и содержит объекты, которые отражают весь синий свет. Следовательно, предусмотрено: r_w= r_max, g_w=g_max, b_w=b_max. Для такой оценки источника света, также общеизвестно использовать так называемые алгоритмы на основе константности цветовосприятия, описанные авторами Arjan Gijsenij, Theo Gevers и Joost van De Weijer в работе "Computational color constancy: Survey and experiments". IEEE Transactions on Image Processing, 20(9):2475-2489, 2011 год. Исследуются, например, например, следующие способы на основе константности цветовосприятия: maxRGB, мир серого, край серого, оттенки серого и байесовский метод.

В качестве примера реализации этого первого этапа, можно более конкретно использовать способ авторов Jun-yan Huo, Yi-lin Chang, Jing Wang и Xiao-xia Wei, описанный в статье, озаглавленной "Robust automatic white balance algorithm using gray color points in images", in Consumer Electronics, IEEE Transactions on, 52(2):541-546, 2006 год. Этот способ содержит следующие подэтапы:

Преобразование цветовых R_iG_iB_i-координат, представляющих цвета изображения в цветовом RGB-пространстве, в цветовые L_ia_ib_i-координаты, представляющие один цвет в цветовом CIELAB-пространстве.

Выбор всех пикселов i изображения , которые удовлетворяют уравнению 1, с формированием набора . Этот набор содержит пикселы, которые не очень насыщаются и в силу этого с большей вероятностью должны представлять беловатые зоны.

, уравнение 1

где представляют цвет пиксела i в цветовом CIELAB-пространстве, при этом t=0,3 в предлагаемой реализации.

Вычисление цветовых координат r_w, g_w, b_w, представляющих цвет белой точки в цветовом RGB-пространстве, в качестве среднего RGB-значения всех пикселов в , как показано в уравнении 2.

, уравнение (2)

где является вектором, имеющим r_w, g_w, b_w в качестве координат.

В качестве разновидности примера реализации этого первого этапа, пикселы, имеющие значения thr насыщенных (или отсеченных) цветов, не рассматриваются для вычисления среднего RGB-значения. Это означает то, что пикселы, имеющие цвета, которые уже достигают насыщенности, практически никогда не представляют корректно белую точку изображения и в силу этого не должны быть включены в вычисление. Чтобы достигать этого, вышеприведенное уравнение 1 может перезаписываться следующим образом:

В связи с этим, только пикселы i, имеющие значения цвета ниже thr, включены для вычисления среднего RGB-значения уравнения 2, поскольку предполагается, что любой цвет выше порогового значения thr насыщенности с большой вероятностью должен отсекаться. В этой разновидности, отсутствует высокое и низкое пороговое значение, как пояснено ниже. Таким образом, thr является просто пороговым значением насыщенности. Оно может задаваться равным значению, идентичному значению thr в фиксированном диапазоне.

В первой разновидности обнаружения насыщенных пикселов в изображении, цветовые координаты r_w, g_w и b_w оцененного источника света сохраняются в качестве пороговых значений th_r, th_g и th_b, соответственно, для цветового R-, G- и B-канала для обнаружения насыщенных пикселов. Если th_r=r_w, th_g=g_w и th_b=b_w, это означает, что цвет изображения, имеющего цветовые r-, g- и b-координаты, считается насыщенным, если r>th_r и/или g>th_g, и/или b>th_b.

Но цветовые координаты r_w, g_w, b_w, представляющие цвет источника света, оцененный из SDR-изображения, очень часто имеют значения, которые являются слишком низкими, чтобы быть подходящими для использования непосредственно в качестве пороговых значений насыщенности для обнаружения переэкспонирования или насыщенности. По существу, использование очень низких пороговых значений насыщенности может приводить к некорректному обнаружению некоторых хорошо экспонированных пикселов. Именно поэтому является предпочтительной вторая разновидность обнаружения насыщенных пикселов в изображении, которая проиллюстрирована на фиг. 1, на котором пороговые значения th_r, th_g, th_b насыщенности получаются посредством масштабирования оцененных цветовых координат r_w, g_w, b_w цвета источника света до более высоких значений; предпочтительно, это масштабирование сохраняет постоянные соотношения между цветовыми координатами источника света в цветовом RGB-пространстве: это означает, например, что th_r/th_g=r_w/g_w, и th_g/th_b=g_w/b_w. Такое масштабирование считается вторым этапом способа обнаружения.

В качестве примера этого масштабирования, пороговые значения th_r, th_g и th_b получаются, соответственно, для цветовых R-, G- и B-каналов посредством сдвига цветовых координат r_w, g_w, b_w оцененного источника света в фиксированный диапазон, где thl и thr являются нижним и верхним пределами возможных пороговых интенсивностей переэкспонирования/яркости. Значения thl и thr, в частности, задаются пользователем. В нижеприведенной реализации, выполняемой в контексте, в котором значения RGB-цветов кодируются в 8 битах, thl =175, и thr =235.

Если является минимальной координатой из числа цветовых координат r_w, g_w, b_w источника света, если является максимальной координатой из числа цветовых координат r_w, g_w, b_w, то вектор пороговых значений, имеющий th_r, th_g и th_b в качестве координат, задается следующим образом:

, уравнение 3

иначе

, уравнение 4

иначе

Уравнение 3 и 4 влияют только на элементы в , которые составляют ниже thl или выше thr, соответственно. По существу, эти уравнения являются независимыми.

Если, например, находится то, что , т.е. значение красного цвета, то уравнение 3 должно становиться следующим:

Следует отметить, что во второй и третьей строке выше, по-прежнему r_w вычитается из thl, так как найдено, что он является минимальным элементом . Если какой-либо из элементов , то этот элемент остается неизменным.

Аналогично, для уравнения 4, если находится то, что , например, т.е. значение зеленого цвета, затем уравнение 4 фактически становится следующим:

С другой стороны, если какой-либо из элементов , то этот элемент остается неизменным.

Уравнение 3 означает то, что пороговые значения th_r, th_g и th_b, используемые для обнаружения насыщенных цветов, получаются посредством идентичного перемещения в пространстве всех цветовых координат r_w, g_w, b_w источника света.

Уравнение 4 означает то, что пороговые значения th_r, th_g и th_b, используемые для обнаружения насыщенных цветов, получаются посредством идентичной гомотетии всех цветовых координат r_w, g_w, b_w источника света, с использованием коэффициента гомотетии, который превышает 1.

На третьем этапе, проиллюстрированном на фиг. 1, насыщенные пикселы в изображении идентифицируются в качестве насыщенных пикселов, имеющих цвета, представленные посредством цветовых r-, g- и b-координат таким образом, что r>th_r и/или g>th_g, и/или b>th_b. Эти насыщенные пикселы формируют насыщенные области изображения.

В разновидности вышеуказанного масштабирования, это масштабирование частично выполняется в перцепционно-однородном цветовом пространстве (в качестве цветового LCH-пространства) вместо выполнения полностью в зависимом от устройств цветовом RGB-пространстве, как описано выше.

На первом подэтапе этой разновидности, промежуточный вектор пороговых значений вычисляется посредством масштабирования цвета источника света таким образом, что компонент g_w зеленого цвета этого источника света масштабируется до th_r следующим образом:

, уравнение 5

Компонент зеленого цвета предпочтительно выбирается для этого подэтапа масштабирования, поскольку он имеет наибольшую долю в яркости изображения, в противоположность компоненту красного цвета и синего цвета. Но также можно использовать компонент красного цвета или синего цвета источника света для этого масштабирования.

Если какой-либо из цветовых компонентов th'_r, th'_g и th'_b промежуточного вектора пороговых значений превышает максимальное битовое значение, здесь 255, то после преобразования цветов этих цветовых компонентов th'_r, th'_g и th'_b, представляющих пороговый цвет в цветовом RGB-пространстве, в цветовые компоненты th'_L, th'_C и th'_h, представляющие идентичный цвет цветового LCH-пространства, компонент th'_C сигнала цветности масштабируется до уменьшенного значения th''_C=k*th'_C таким образом, что ни один из цветовых компонентов th''_r, th''_g и th''_b, получающихся в результате преобразования в цветовом RGB-пространстве цветовых компонентов th'_L, th''_C и th'_h, не превышает максимальное 255-битовое значение, где k составляет максимально возможно близко к 1 и ниже 1. Такое значение k может быть найдено посредством итерации. Конечный пороговый цвет th'' представляет собой цвет, представленный в цветовом RGB-пространстве посредством цветовых компонентов th''_r, th''_g и th''_b.

Поскольку вышеуказанное масштабирование сигнала цветности выполняется без изменения оттенка, эта разновидность масштабирования преимущественно обеспечивает то, что оттенок точки освещения изображения не изменяется, и в силу этого все непреднамеренные изменения оттенка преимущественно исключаются в коррекциях насыщенных/отсеченных зон после обнаружения насыщенных пикселов в изображении. Поскольку точка освещения регулируется посредством масштабирования ее компонента сигнала цветности в цветовом CIELCH-пространстве, она становится все меньше и меньше насыщенной, при преимущественном сохранении ее оттенка.

Способ и модуль для обнаружения насыщенных пикселов в изображении сцены, которые описаны выше, с достижением преимущества ограничивают неправильное обнаружение насыщенных пикселов, в частности, поскольку это обнаружение учитывает эффект источника света сцены.

Хотя иллюстративные варианты осуществления изобретения описаны в данном документе со ссылкой на прилагаемый чертеж, следует понимать, что настоящее изобретение не ограничено исключительно этими вариантами осуществления, и что различные изменения и модификации могут вноситься в него специалистами в данной области техники без отступления от изобретения. Все такие изменения и модификации подразумеваются включенными в объем приложенной формулы изобретения. В силу этого, настоящее изобретение согласно формуле изобретения включает в себя вариации относительно конкретных примеров и предпочтительных вариантов осуществления, описанных в данном документе, как должно быть очевидным для специалистов в данной области техники.

Хотя некоторые конкретные варианты осуществления могут быть описаны и заявлены в формуле изобретения отдельно, следует понимать, что различные признаки вариантов осуществления, описанные и заявленные в формуле изобретения в данном документе, могут использоваться в сочетании.

1. Способ обнаружения насыщенных пикселов в изображении, цвета которого представлены цветовыми координатами, соответствующими различным цветовым каналам, содержащий этап, на котором обнаруживают пикселы, цвета которых имеют по меньшей мере одну цветовую координату, соответствующую одному из упомянутых цветовых каналов, которая превышает пороговое значение (th_r; th_g; th_b) насыщенности для упомянутого цветового канала, отличающийся тем, что пороговые значения (th_r; th_g; th_b) насыщенности для упомянутых цветовых каналов, соответственно, равны цветовым координатам (r_w, g_w, b_w), представляющим оцененный источник (ILL) света упомянутого изображения, причём упомянутый оцененный источник света соответствует белой точке изображения, которая представляет собой цвет, являющийся цветом, который воспринимается наблюдателем в качестве белого цвета в сцене изображения.

2. Способ обнаружения по п. 1, в котором пороговые значения (th_r; th_g; th_b) насыщенности для упомянутых цветовых каналов получаются посредством масштабирования цветовых координат (r_w, g_w, b_w), представляющих упомянутый оцененный источник (ILL) света, в масштабированные цветовые координаты таким образом, что эти масштабированные цветовые координаты включены в фиксированный диапазон значений насыщенности.

3. Способ обнаружения по п. 1, в котором пороговые значения (th_r; th_g; th_b) насыщенности для упомянутых цветовых каналов получаются посредством масштабирования цветовых координат (r_w, g_w, b_w), представляющих упомянутый оцененный источник (ILL) света, в масштабированные цветовые координаты таким образом, что упомянутое масштабирование выполняется без изменения оттенка.

4. Способ обнаружения по п. 1, в котором пороговые значения (th_r; th_g; th_b) насыщенности для упомянутых цветовых каналов получаются посредством масштабирования цветовых координат (r_w, g_w, b_w), представляющих упомянутый оцененный источник (ILL) света, в масштабированные цветовые координаты таким образом, что упомянутое масштабирование сохраняет постоянные соотношения между цветовыми координатами (r_w, g_w, b_w), представляющими упомянутый оцененный источник (ILL) света.

5. Устройство обнаружения для обнаружения насыщенных пикселов в изображении, цвета которого представляются посредством цветовых координат, соответствующих различным цветовым каналам, содержащее по меньшей мере один процессор, выполненный с возможностью:

- получения цветовых координат (r_w, g_w, b_w), представляющих оцененный источник (ILL) света упомянутого изображения, причём упомянутый оцененный источник света соответствует оцененной белой точке изображения, которая представляет собой цвет, который воспринимается наблюдателем в качестве белого цвета в сцене изображения,

- получения пороговых значений (th_r; th_g; th_b) насыщенности для упомянутых цветовых каналов, причём упомянутые пороговые значения насыщенности для упомянутых цветовых каналов, соответственно, равны цветовым координатам (r_w, g_w, b_w), представляющим упомянутый оцененный источник (ILL) света,

- обнаружения пикселов, цвета которых имеют по меньшей мере одну цветовую координату, соответствующую одному из упомянутых цветовых каналов, которая превышает упомянутое пороговое значение (th_r; th_g; th_b) насыщенности для упомянутого цветового канала.

6. Устройство обнаружения для обнаружения насыщенных пикселов по п. 5, в котором упомянутое масштабирование цветовых координат (r_w, g_w, b_w) в масштабированные цветовые координаты выполняется таким образом, что эти масштабированные цветовые координаты включены в фиксированный диапазон значений насыщенности.

7. Устройство цветовой коррекции для коррекции цветов изображения, в котором упомянутые цвета представляются посредством цветовых координат, соответствующих различным цветовым каналам, отличающееся тем, что оно содержит устройство обнаружения для обнаружения насыщенных пикселов по п. 5 или 6.

8. Электронное устройство, включающее в себя устройство цветовой коррекции по п. 7.

9. Электронное устройство по п. 8, отличающееся тем, что оно выбрано из группы, состоящей из устройства связи, игрового устройства, планшетного компьютера, переносного компьютера, фотокамеры, видеокамеры, кристалла кодирования, фотосервера и видеосервера.

10. Машиночитаемый носитель, содержащий программу для конфигурирования цифрового компьютера с возможностью осуществления способа по любому из пп. 1-4.