Способы для выбора уровня освещенности фоновой подсветки и настройки характеристик изображения

Изобретение относится к схемам управления дисплеем и может быть использовано для выбора уровня освещенности фоновой подсветки и настройки характеристик изображения. Технический результат заключается в компенсировании сниженной освещенности источника света. Изображение (170) отправляется анализатору (172) изображения для определения характеристик изображения, существенных для вычислений карты градационной шкалы и подсветки. Упомянутые характеристики изображения содержат гистограмму максимальных кодовых значений изображения для каждой плоскости цветов и для каждого блока изображения (170). Данные из упомянутой гистограммы отправляются в калькулятор (177) подсветки для определения подходящего уровня освещенности подсветки. 4 н. и 17 з.п. ф-лы, 78 ил.

 

ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ

Нижеследующие заявки настоящим включаются в этот документ путем ссылки: заявка на патент США № 11/465436, озаглавленная "Methods and Systems for Selecting a Display Source Light Illumination Level", зарегистрированная 17 августа 2006 г.; заявка на патент США № 11/293562, озаглавленная "Methods and Systems for Determining a Display Light Source Adjustment", зарегистрированная 2 декабря 2005 г.; заявка на патент США № 11/224792, озаглавленная "Methods and Systems for Image-Specific Tone Scale Adjustment and Light-Source Control", зарегистрированная 12 сентября 2005 г.; заявка на патент США № 11/154053, озаглавленная "Methods and Systems for Enhancing Display Characteristics with High Frequency Contrast Enhancement", зарегистрированная 15 июня 2005 г.; заявка на патент США № 11/154054, озаглавленная "Methods and Systems for Enhancing Display Characteristics with Frequency-Specific Gain", зарегистрированная 15 июня 2005 г.; заявка на патент США № 11/154052, озаглавленная "Methods and Systems for Enhancing Display Characteristics", зарегистрированная 15 июня 2005 г.; заявка на патент США № 11/393404, озаглавленная "A Color Enhancement Technique using Skin Color Detection", зарегистрированная 30 марта 2006 г.; заявка на патент США № 11/460768, озаглавленная "Methods and Systems for Distortion-Related Source Light Management", зарегистрированная 28 июля 2006 г.; заявка на патент США № 11/202903, озаглавленная "Methods and Systems for Independent View Adjustment in Multiple-View Displays", зарегистрированная 8 августа 2005 г.; заявка на патент США № 11/371466, озаглавленная "Methods and Systems for Enhancing Display Characteristics with Ambient Illumination Input", зарегистрированная 8 марта 2006 г.; заявка на патент США № 11/293066, озаглавленная "Methods and Systems for Display Mode Dependent Brightness Preservation", зарегистрированная 2 декабря 2005 г.; заявка на патент США № 11/460907, озаглавленная "Methods and Systems for Generating and Applying Image Tone Scale Corrections", зарегистрированная 28 июля 2006 г.; заявка на патент США № 11/160940, озаглавленная "Methods and Systems for Color Preservation with Image Tonescale Corrections", зарегистрированная 28 июля 2006 г.; заявка на патент США № 11/564203, озаглавленная "Methods and Systems for Image Tonescale Adjustment to Compensate for a Reduced Source Light Power Level", зарегистрированная 28 ноября 2006 г.; заявка на патент США № 11/680312, озаглавленная "Methods and Systems for Brightness Preservation Using a Smoothed Gain Image", зарегистрированная 28 февраля 2007 г.; заявка на патент США № 11/845651, озаглавленная "Methods and Systems for Tone Curve Generation, Selection and Application", зарегистрированная 27 августа 2007 г.; и заявка на патент США № 11/605711, озаглавленная "A Color Enhancement Technique using Skin Color Detection", зарегистрированная 28 ноября 2006 г.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Варианты осуществления настоящего изобретения содержат способы и системы для улучшения изображения. Некоторые варианты осуществления содержат методики улучшения цветов, некоторые варианты осуществления содержат сохранение яркости, некоторые варианты осуществления содержат улучшение освещенности, и некоторые варианты осуществления содержат методики увеличения битовой глубины.

УРОВЕНЬ ТЕХНИКИ

Типичное устройство отображения показывает изображение с использованием постоянного диапазона уровней освещенности. Для многих дисплеев диапазон освещенности имеет 256 уровней, которые равномерно расположены от 0 до 255. Кодовые значения изображения обычно назначаются для непосредственного соответствия этим уровням.

Во многих электронных устройствах с большими дисплеями дисплеи являются основными потребителями энергии. Например, в переносном компьютере дисплей, вероятно, потребляет больше энергии, чем любой из других компонентов в системе. Многие дисплеи с ограниченной доступностью энергии, например, которые находятся в устройствах с батарейным питанием, могут использовать несколько уровней подсветки или яркости, чтобы помочь в управлении энергопотреблением. Система может использовать режим полной мощности, когда она подключена к источнику питания, например энергии переменного тока, и может использовать энергосберегающий режим при работе на энергии батарей.

В некоторых устройствах дисплей может автоматически входить в энергосберегающий режим, в котором подсветка дисплея уменьшается для сбережения энергии. Эти устройства могут обладать несколькими энергосберегающими режимами, в которых подсветка уменьшается ступенчато. Как правило, когда уменьшается подсветка дисплея, также падает и качество изображения. Когда уменьшается максимальный уровень освещенности, динамический диапазон дисплея сокращается, и страдает контраст изображения. Поэтому контраст и другие свойства изображения уменьшаются во время типичной работы в энергосберегающем режиме.

Многие устройства отображения, например жидкокристаллические дисплеи (LCD) или цифровые микрозеркальные устройства (DMD), используют световые клапаны, которые в том или ином отношении являются фоновой подсветкой, боковой подсветкой или передней подсветкой. В дисплее со светоклапанной фоновой подсветкой, например LCD, фоновая подсветка устанавливается сзади жидкокристаллической панели. Фоновая подсветка излучает свет через ЖК-панель, которая модулирует свет для показа изображения. В цветных дисплеях может модулироваться и освещенность, и цвет. Отдельные ЖК-пиксели модулируют количество света, которое передается от фоновой подсветки и через ЖК-панель к глазам пользователя или какой-нибудь другой цели. В некоторых случаях целью может быть светочувствительный датчик, например прибор с зарядовой связью (CCD).

Некоторые дисплеи также могут использовать излучатели света для показа изображения. Эти дисплеи, например дисплеи на светоизлучающих диодах (LED) и плазменные дисплеи, используют элементы изображения, которые излучают свет, а не отражают свет от другого источника.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Некоторые варианты осуществления настоящего изобретения содержат системы и способы изменения уровня модуляции освещенности у пикселя со светоклапанной модуляцией, чтобы компенсировать сниженную освещенность источника света или улучшить качество изображения при постоянном уровне освещенности источника света.

Некоторые варианты осуществления настоящего изобретения также могут использоваться с дисплеями, которые используют излучатели света для показа изображения. Эти дисплеи, например дисплеи на светоизлучающих диодах (LED) и плазменные дисплеи, используют элементы изображения, которые излучают свет, а не отражают свет от другого источника. Варианты осуществления настоящего изобретения могут использоваться для улучшения изображения, созданного этими устройствами. В этих вариантах осуществления яркость пикселей может настраиваться для улучшения динамического диапазона определенных диапазонов частот изображения, диапазонов освещенности и других подразделов изображения.

В некоторых вариантах осуществления настоящего изобретения источник подсветки дисплея может настраиваться на разные уровни в ответ на характеристики изображения. Когда изменяются эти освещенности (уровни) источника света, кодовые значения изображения могут настраиваться для компенсации изменения в яркости или иного улучшения изображения.

Некоторые варианты осуществления настоящего изобретения содержат измерение общего освещения, которое может использоваться в качестве входных данных в определении уровней источника света и значений пикселей изображения.

Некоторые варианты осуществления настоящего изобретения содержат управление связанным с дисторсией источником света и расходом батареи.

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для формирования и применения коррекции в градационной шкале изображения.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для коррекции градационной шкалы изображения с помощью повышенной точности цветовоспроизведения.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для выбора уровня освещенности подсветки дисплея.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для проектирования градационной кривой панели и целевой градационной кривой. Некоторые из этих вариантов осуществления предусматривают создание множества целевых градационных кривых, причем каждая кривая имеет отношение к разному уровню освещенности фоновой подсветки. В этих вариантах осуществления может выбираться уровень освещенности фоновой подсветки, и целевая градационная кривая, имеющая отношение к выбранному уровню освещенности фоновой подсветки, может применяться к изображению, которое нужно показать. В некоторых вариантах осуществления эксплуатационная цель может влиять на выбор параметров градационной кривой.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для улучшения цвета. Некоторые из этих вариантов осуществления содержат определение телесного цвета, уточнение карты телесных цветов и цветовую обработку.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для увеличения битовой глубины. Некоторые из этих вариантов осуществления содержат применение пространственного и временного шаблона размывания на верхних частотах к изображению перед уменьшением битовой глубины.

Вышеупомянутые и другие цели, признаки и преимущества изобретения быстрее станут понятными при рассмотрении нижеследующего подробного описания изобретения в сочетании с прилагаемыми чертежами.

КРАТКОЕ ОПИСАНИЕ НЕКОТОРЫХ ЧЕРТЕЖЕЙ

Фиг.1 - схема, показывающая системы LCD с фоновой подсветкой предшествующего уровня техники.

Фиг.2А - диаграмма, показывающая связь между исходными кодовыми значениями изображения и повышенными кодовыми значениями изображения.

Фиг.2В - диаграмма, показывающая связь между исходными кодовыми значениями изображения и повышенными кодовыми значениями изображения с отсечением.

Фиг.3 - диаграмма, показывающая уровень освещенности, ассоциированный с кодовыми значениями для различных схем изменения кодовых значений.

Фиг.4 - диаграмма, показывающая связь между исходными кодовыми значениями изображения и измененными кодовыми значениями изображения в соответствии с различными схемами изменения.

Фиг.5 - схема, показывающая формирование типовой модели настройки градационной шкалы.

Фиг.6 - схема, показывающая типовое применение модели настройки градационной шкалы.

Фиг.7 - схема, показывающая формирование типовой модели настройки градационной шкалы и карты прироста.

Фиг.8 - диаграмма, показывающая типовую модель настройки градационной шкалы.

Фиг.9 - диаграмма, показывающая типовую карту прироста.

Фиг.10 - блок-схема алгоритма, показывающая типовой процесс, в котором модель настройки градационной шкалы и карта прироста применяются к изображению.

Фиг.11 - блок-схема алгоритма, показывающая типовой процесс, в котором модель настройки градационной шкалы применяется к одному диапазону частот изображения, а карта прироста применяется к другому диапазону частот изображения.

Фиг.12 - диаграмма, показывающая вариации модели настройки градационной шкалы, когда изменяется MFP.

Фиг.13 - блок-схема алгоритма, показывающая типовой, зависимый от изображения способ наложения градационной шкалы.

Фиг.14 - схема, показывающая типовые варианты осуществления зависимого от изображения выбора градационной шкалы.

Фиг.15 - схема, показывающая типовые варианты осуществления зависимого от изображения вычисления карты градационной шкалы.

Фиг.16 - блок-схема алгоритма, показывающая варианты осуществления, содержащие настройку уровня подсветки и зависимое от изображения наложение градационной шкалы.

Фиг.17 - схема, показывающая типовые варианты осуществления, содержащие калькулятор уровня подсветки и селектор карты градационной шкалы.

Фиг.18 - схема, показывающая типовые варианты осуществления, содержащие калькулятор уровня подсветки и калькулятор карты градационной шкалы.

Фиг.19 - блок-схема алгоритма, показывающая варианты осуществления, содержащие настройку уровня подсветки и зависимое от уровня подсветки наложение градационной шкалы.

Фиг.20 - схема, показывающая варианты осуществления, содержащие калькулятор уровня подсветки и вычисление или выбор зависимой от уровня подсветки градационной шкалы.

Фиг.21 - схема, показывающая график исходных кодовых значений изображения в зависимости от наклона градационной шкалы.

Фиг.22 - схема, показывающая варианты осуществления, содержащие анализ отдельного канала сигнала цветности.

Фиг.23 - схема, показывающая варианты осуществления, содержащие ввод общего освещения в модуль обработки изображений.

Фиг.24 - схема, показывающая варианты осуществления, содержащие ввод общего освещения в модуль обработки подсветки.

Фиг.25 - схема, показывающая варианты осуществления, содержащие ввод общего освещения в модуль обработки изображений и ввод характеристик устройства.

Фиг.26 - схема, показывающая варианты осуществления, содержащие альтернативные вводы общего освещения в модуль обработки изображений и/или модуль обработки подсветки и постпроцессор сигнала подсветки.

Фиг.27 - схема, показывающая варианты осуществления, содержащие ввод общего освещения в модуль обработки подсветки, который передает эти входные данные в модуль обработки изображений.

Фиг.28 - схема, показывающая варианты осуществления, содержащие ввод общего освещения в модуль обработки изображений, который может передать эти входные данные в модуль обработки подсветки.

Фиг.29 - схема, показывающая варианты осуществления, содержащие адаптивное к дисторсии управление питанием.

Фиг.30 - схема, показывающая варианты осуществления, содержащие постоянное управление питанием.

Фиг.31 - схема, показывающая варианты осуществления, содержащие адаптивное управление питанием.

Фиг.32А - график, показывающий сравнение потребляемой мощности в моделях постоянной мощности и постоянной дисторсии.

Фиг.32В - график, показывающий сравнение дисторсии в моделях постоянной мощности и постоянной дисторсии.

Фиг.33 - схема, показывающая варианты осуществления, содержащие адаптивное к дисторсиям управление питанием.

Фиг.34 - график, показывающий уровни мощности фоновой подсветки при различных пределах дисторсии для типовой видеопоследовательности.

Фиг.35 - график, показывающий типовые кривые мощности/дисторсии.

Фиг.36 - блок-схема алгоритма, показывающая варианты осуществления, которые управляют энергопотреблением в отношении критерия дисторсии.

Фиг.37 - блок-схема алгоритма, показывающая варианты осуществления, содержащие выбор уровня мощности подсветки на основе критерия дисторсии.

Фиг.38А и B - блок-схемы алгоритма, показывающие варианты осуществления, содержащие измерение дисторсий, которое учитывает результаты способов сохранения яркости.

Фиг.39 - кривая мощности/дисторсии для типовых изображений.

Фиг.40 - график мощности, показывающий неизменную дисторсию.

Фиг.41 - график дисторсии, показывающий неизменную дисторсию.

Фиг.42 - типовая кривая настройки градационной шкалы.

Фиг.43 - увеличенное представление темной области кривой настройки градационной шкалы, показанной на фиг.42.

Фиг.44 - другая типовая кривая настройки градационной шкалы.

Фиг.45 - увеличенное представление темной области кривой настройки градационной шкалы, показанной на фиг.44.

Фиг.46 - диаграмма, показывающая настройку кодового значения изображения на основе максимального значения канала цветности.

Фиг.47 - диаграмма, показывающая настройку кодового значения изображения из нескольких каналов цветности на основе максимального кодового значения канала цветности.

Фиг.48 - диаграмма, показывающая настройку кодового значения изображения из нескольких каналов цветности на основе характеристики кодового значения одного из каналов цветности.

Фиг.49 - схема, показывающая варианты осуществления настоящего изобретения, содержащие генератор градационной шкалы, который принимает максимальное кодовое значение канала цветности в качестве входных данных.

Фиг.50 - схема, показывающая варианты осуществления настоящего изобретения, содержащие разложение частоты и распознавания кода канала цветности с настройкой градационной шкалы.

Фиг.51 - схема, показывающая варианты осуществления настоящего изобретения, содержащие разложение частоты, распознавание канала цветности и сохраняющее цвет отсечение.

Фиг.52 - схема, показывающая варианты осуществления настоящего изобретения, содержащие сохраняющее цвет отсечение на основе характеристик кодового значения канала цветности.

Фиг.53 - схема, показывающая варианты осуществления настоящего изобретения, содержащие разделение частот на нижние частоты/верхние частоты и выбор максимального кодового значения канала цветности.

Фиг.54 - схема, показывающая различные связи между обработанными изображениями и моделями дисплеев.

Фиг.55 - график гистограммы кодовых значений изображения для типового изображения.

Фиг.56 - график типовой кривой дисторсии, соответствующей гистограмме из фиг.55.

Фиг.57 - график, показывающий результаты применения типового критерия оптимизация к короткому DVD-ролику, этот график изображает выбранную мощность фоновой подсветки по отношению к номеру видеокадра.

Фиг.58 иллюстрирует определение фоновой подсветки с минимальной дисторсией MSE для разных коэффициентов контрастности у реального дисплея.

Фиг.59 - график, показывающий типовую градационную кривую панели и целевую градационную кривую.

Фиг.60 - график, показывающий типовую градационную кривую панели и целевую градационную кривую для энергосберегающей конфигурации.

Фиг.61 - график, показывающий типовую градационную кривую панели и целевую градационную кривую для конфигурации с меньшим уровнем черного.

Фиг.62 - график, показывающий типовую градационную кривую панели и целевую градационную кривую для конфигурации с улучшением яркости.

Фиг.63 - график, показывающий типовую градационную кривую панели и целевую градационную кривую для конфигурации улучшения изображения, в которой уровень черного занижается, а яркость улучшается.

Фиг.64 - график, показывающий ряд типовых целевых градационных кривых для улучшения уровня черного.

Фиг.65 - график, показывающий ряд типовых целевых градационных кривых для улучшения уровня черного и улучшения яркости изображения.

Фиг.66 - диаграмма, показывающая типовой вариант осуществления, содержащий определение целевой градационной кривой и связанный с дисторсией выбор фоновой подсветки.

Фиг.67 - диаграмма, показывающая типовой вариант осуществления, содержащий связанный с эксплуатационной целью выбор параметра, определение целевой градационной кривой и выбор фоновой подсветки.

Фиг.68 - диаграмма, показывающая типовой вариант осуществления, содержащий связанные с эксплуатационной целью определение целевой градационной кривой и выбор фоновой подсветки.

Фиг.69 - диаграмма, показывающая типовой вариант осуществления, содержащий связанное с эксплуатационной целью и связанное с изображением определение целевой градационной кривой и выбор фоновой подсветки.

Фиг.70 - диаграмма, показывающая типовой вариант осуществления, содержащий разложение частоты и обработку градационной шкалы с увеличением битовой глубины.

Фиг.71 - диаграмма, показывающая типовой вариант осуществления, содержащий разложение частоты и улучшение цвета;

Фиг.72 - диаграмма, показывающая типовой вариант осуществления, содержащий улучшение цвета, выбор фоновой подсветки и процессы усиления верхних частот.

Фиг.73 - диаграмма, показывающая типовой вариант осуществления, содержащий улучшение цвета, формирование гистограммы, обработку градационной шкалы и выбор фоновой подсветки.

Фиг.74 - диаграмма, показывающая типовой вариант осуществления, содержащий определение телесного цвета и уточнение карты телесных цветов.

Фиг.75 - диаграмма, показывающая типовой вариант осуществления, содержащий улучшение цвета и увеличение битовой глубины.

Фиг.76 - диаграмма, показывающая типовой вариант осуществления, содержащий улучшение цвета, обработку градационной шкалы и увеличение битовой глубины.

Фиг.77 - диаграмма, показывающая типовой вариант осуществления, содержащий улучшение цвета; и

Фиг.78 - диаграмма, показывающая типовой вариант осуществления, содержащий улучшение цвета и увеличение битовой глубины.

ПОДРОБНОЕ ОПИСАНИЕ ТИПОВЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Варианты осуществления настоящего изобретения будут лучше всего восприниматься исходя из чертежей, где одинаковые части обозначаются одинаковыми цифрами по всему описанию. Перечисленные выше фигуры в прямой форме включаются в виде части этого подробного описания изобретения.

Станет совершенно понятно, что компоненты настоящего изобретения, которые в общих чертах описываются и иллюстрируются на чертежах в этом документе, могли бы быть организованы и спроектированы в широком спектре разных конфигураций. Таким образом, нижеследующее более подробное описание вариантов осуществления способов и систем по настоящему изобретению не имеет целью ограничить объем изобретения, а является всего лишь символизирующим предпочтительные сейчас варианты осуществления изобретения.

Элементы вариантов осуществления настоящего изобретения могут быть реализованы в аппаратных средствах, микропрограммном обеспечении и/или программном обеспечении. Хотя типовые варианты осуществления, раскрытые в этом документе, могут описывать только одну из этих форм, нужно понимать, что специалист в данной области техники смог бы выполнить эти элементы в любой из этих форм, оставаясь в рамках объема настоящего изобретения.

Устройства отображения, использующие светоклапанные модуляторы, например ЖК-модуляторы и другие модуляторы, могут быть отражающими, где свет излучается на переднюю поверхность (обращенную к зрителю) и отражается обратно к зрителю после прохождения через слой модуляционной панели. Устройства отображения также могут быть пропускающими, где свет излучается на заднюю сторону слоя модуляционной панели, и ему разрешается пройти через модуляционный слой к зрителю. Некоторые устройства отображения также могут быть прозрачно отражающими, сочетанием отражающего и пропускающего, где свет может проходить через модуляционный слой с задней стороны на переднюю, тогда как свет от другого источника отражается после входа с передней стороны модуляционного слоя. В любом из этих случаев элементы в модуляционном слое, например отдельные ЖК-элементы, могут управлять воспринимаемой яркостью пикселя.

В дисплеях с задней подсветкой, передней подсветкой и боковой подсветкой источник света может быть группой люминесцентных ламп, массивом LED или каким-нибудь другим источником. Если дисплей больше типичного размера примерно в 18", большая часть потребляемой мощности для устройства обусловлена источником света. Для некоторых применений и на некоторых рынках сокращение энергопотребления является важным. Однако уменьшение мощности означает сокращение светового потока у источника света, и соответственно уменьшение максимальной яркости дисплея.

Основным уравнением, устанавливающим связь текущих полутоновых кодовых значений светоклапанного модулятора с гамма-коррекцией, CV, освещенности источника света, L_source, и выходного уровня освещенности, L_out, является:

Уравнение 1

где g - прирост калибровки, dark - уровень темного у светового клапана, и ambient - свет, попадающий на дисплей в условиях помещения. Из этого уравнения видно, что уменьшение источника фоновой подсветки на x% также уменьшает световой выход на x%.

Уменьшение освещенности источника света может компенсироваться изменением значений модуляции светового клапана; в частности, их повышением. Фактически, любой уровень освещенности меньше (1-x%) может воспроизводиться точно, тогда как любой уровень освещенности выше (1-x%) не может воспроизводиться без дополнительного источника света или увеличения мощности источника.

Установка светового выхода из исходных и уменьшенных источников дает базовую поправку кодового значения, которая может использоваться для коррекции кодовых значений для уменьшения на x% (предполагая, что dark и ambient равны 0):

Уравнение 2

Уравнение 3

Фиг.2А иллюстрирует эту настройку. На фиг.2А и 2В исходные значения отображения соответствуют точкам на линии 12. Когда фоновая подсветка или источник света переводится в энергосберегающий режим, и освещенность источника света уменьшается, кодовые значения отображения необходимо повысить, чтобы позволить световым клапанам нейтрализовать уменьшение освещенности источника света. Эти повышенные значения совпадают с точками на линии 14. Однако эта настройка приводит к кодовым значениям 18, которые выше, чем способен создать дисплей (например, 255 для 8-разрядного дисплея). Следовательно, эти значения заканчиваются сокращенными (20), как проиллюстрировано на фиг.2В. Настроенные таким образом изображения могут страдать от размытых ярких участков, искусственного вида и, как правило, низкого качества.

Используя эту простую модель настройки, кодовые значения ниже точки 15 отсечения (входное кодовое значение 230 в этом типовом варианте осуществления) будут отображаться с уровнем освещенности, равным уровню, созданному источником света на полной мощности, находясь при этом в режиме уменьшенной освещенности подсветки. Такая же освещенность создается с меньшей мощностью, приводя к экономии энергии. Если набор кодовых значений изображения ограничивается диапазоном ниже точки 15 отсечения, режим экономии энергии может быть задействован прозрачно для пользователя. К сожалению, когда значения превышают точку 15 отсечения, освещенность уменьшается и теряется детализация. Варианты осуществления настоящего изобретения предоставляют алгоритм, который может изменять кодовые значения LCD или светового клапана, чтобы обеспечить увеличенную яркость (или нехватку уменьшения яркости в экономичном режиме) наряду с уменьшением артефактов срезания, которые могут возникать в верхней части диапазона освещенности.

Некоторые варианты осуществления настоящего изобретения могут устранять уменьшение яркости, ассоциированное с уменьшением мощности источника света дисплея, путем приведения в соответствие освещенности изображения, отображаемого с низкой мощностью, и отображаемого с полной мощностью для значительного диапазона значений. В этих вариантах осуществления уменьшение мощности фоновой подсветки, которая делит выходную освещенность на определенный коэффициент, компенсируется подъемом в данных изображения на обратный коэффициент.

Игнорируя ограничения динамического диапазона, изображения, показанные при полной мощности и уменьшенной мощности, могут быть одинаковыми, потому что деление (для уменьшенной освещенности источника света) и умножение (для повышенных кодовых значений) по существу компенсируются на значительном диапазоне. Границы динамического диапазона могут вызывать артефакты срезания всякий раз, когда умножение (для подъема кодового значения) данных изображения превышает максимальное значение дисплея. Артефакты срезания, вызванные ограничениями динамического диапазона, могут устраняться или уменьшаться путем уменьшения подъема на верхней границе кодовых значений. Этот спад может начинаться с точки максимальной точности (MFP), выше которой освещенность уже не соответствует исходной освещенности.

В некоторых вариантах осуществления настоящего изобретения нижеследующие этапы могут выполняться для компенсации уменьшения освещенности источника света или возможного уменьшения для улучшения изображения:

1) Уровень уменьшения фоновой подсветки определяется в показателях процентного отношения уменьшения освещенности.

2) Определяется точка максимальной точности (MFP), в которой происходит спад соответствия выходного сигнала при уменьшенной мощности и выходного сигнала при полной мощности.

3) Определить компенсирующий оператор градационной шкалы.

a. Ниже MFP поднять градационную шкалу для компенсации уменьшения освещенности дисплея.

b. Выше MFP постепенно снизить градационную шкалу (в некоторых вариантах осуществления - следуя непрерывным производным).

4) Применить к изображению оператор наложения градационной шкалы; и

5) Отправить на дисплей.

Основное преимущество этих вариантов осуществления в том, что экономия энергии может достигаться только с небольшими изменениями в ограниченной категории изображений. (Отличия возникают только выше MFP и состоят из уменьшения пиковой яркости и некоторой потери ярких деталей). Значения изображения ниже MFP могут отображаться в режиме экономии энергии с такой же освещенностью, что и в режиме полной мощности, делая эти области изображения неотличимыми от режима полной мощности.

Некоторые варианты осуществления настоящего изобретения могут использовать карту градационной шкалы, которая зависит от уменьшения мощности и гаммы дисплея и которая не зависит от данных изображения. Эти варианты осуществления могут обеспечить два преимущества. Во-первых, не возникают артефакты мелькания, которые могут возникать из-за различной обработки кадров, и во-вторых, алгоритм обладает очень низкой сложностью реализации. В некоторых вариантах осуществления может использоваться автономное исполнение градационной шкалы и оперативное наложение градационной шкалы. Отсечение в ярких участках может управляться с помощью описания MFP.

Некоторые особенности вариантов осуществления настоящего изобретения могут описываться относительно фиг.3. Фиг.3 - график, показывающий кодовые значения изображения, нанесенные относительно освещенности для некоторых ситуаций. Первая кривая 32, показанная точечной, представляет исходные кодовые значения для источника света, работающего при 100%-ой мощности. Вторая кривая 30, показанная в виде штрихпунктирной кривой, представляет освещенность исходных кодовых значений, когда источник света работает на 80% от полной мощности. Третья кривая 36, показанная в виде пунктирной кривой, представляет освещенность, когда кодовые значения повышаются, чтобы соответствовать освещенности, предоставленной при 100%-ой освещенности источника света, хотя источник света работает на 80% от полной мощности. Четвертая кривая 34, показанная в виде сплошной линии, представляет повышенные данные, но с кривой спада для уменьшения эффектов отсечения на верхнем уровне данных.

В этом типовом варианте осуществления, показанном на фиг.3, использовалось MFP 35 при кодовом значении 180. Отметим, что ниже кодового значения 180 повышенная кривая 34 соответствует выходному сигналу 32 освещенности посредством исходного отображения на 100%-ной мощности. Выше 180 повышенная кривая плавно переходит в максимальный выход, допустимый на 80% отображения. Эта плавность уменьшает артефакты срезания и квантования. В некоторых вариантах осуществления функция градационной шкалы может быть задана фрагментарно, чтобы плавно подходить в точке перехода, заданной MFP 35. Ниже MFP 35 может использоваться функция повышенной градационной шкалы. Выше MFP 35 кривая плавно подходит к конечной точке кривой повышенной градационной шкалы в MFP и подходит к конечной точке 37 в максимальном кодовом значении [255]. В некоторых вариантах осуществления наклон кривой может подгоняться к наклону кривой/линии повышенной градационной шкалы в MFP 35. Это может достигаться путем согласования наклона линии ниже MFP с наклоном кривой выше MFP с помощью выравнивания производных функций линии и кривой в MFP и путем согласования значений функций линии и кривой в этой точке. Другое ограничение на функцию кривой может состоять в том, что она вынуждена проходить через точку 37 максимального значения [255,255]. В некоторых вариантах осуществления наклон кривой может быть установлен в 0 в точке 37 максимального значения. В некоторых вариантах осуществления значение MFP в 180 может соответствовать уменьшению мощности источника света в 20%.

В некоторых вариантах осуществления настоящего изобретения кривая градационной шкалы может задаваться линейным соотношением с приростом g ниже точки максимальной точности (MFP). Градационная шкала дополнительно может задаваться выше MFP, чтобы кривая и ее первая производная были непрерывными в MFP. Эта непрерывность подразумевает следующий вид функции градационной шкалы:

Уравнение 4

Прирост может определяться гаммой дисплея и кратностью уменьшения яркости следующим образом:

Уравнение 5

В некоторых вариантах осуществления значение MFP может настраиваться путем ручного уравновешивания сохранения детализации ярких участков и сохранения абсолютной яркости.

MFP может определяться путем наложения ограничения, что наклон (slope) должен быть нулевым в максимальной точке. Это подразумевает:

Уравнение 6

В некоторых типовых вариантах осуществления могут использоваться нижеследующие уравнения для вычисления кодовых значений для простых повышенных данных, повышенных данных с отсечением и скорректированных данных, соответственно, согласно типовому варианту осуществления.

Уравнение 7

Постоянные A, B и C могут выбираться, чтобы давать плавное выравнивание в MFP и чтобы кривая проходила через точку [255,255]. Графики этих функций показаны на фиг.4.

Фиг.4 - график исходных кодовых значений в зависимости от скорректированных кодовых значений. Исходные кодовые значения показываются в виде точек на линии 40 исходных данных, которая показывает соотношение 1:1 между скорректированными и исходными значениями, так как эти значения являются исходными без настройки. В соответствии с вариантами осуществления настоящего изобретения, эти значения могут быть повышены или скорректированы для представления более высоких уровней освещенности. Простая процедура подъема в соответствии с вышеприведенным уравнением "подъема градационной шкалы" может привести к значениям на линии 42 подъема. Поскольку отображение этих значений приведет к отсечению, как графически показано на линии 46 и математически в уравнении "отсеченной градационной шкалы" выше, настройка может сокращаться от точки 45 максимальной точности на кривой 44 до точки 47 максимального значения. В некоторых вариантах осуществления это соотношение может описываться математически в уравнении "скорректированной градационной шкалы" выше.

Используя эти идеи, значения освещенности, представленные дисплеем с источником света, работающим на 100%-ной мощности, могут быть представлены дисплеем с источником света, работающим на более низком уровне мощности. Это достигается посредством подъема градационной шкалы, который по существу открывает световые клапаны дополнительно для компенсации потери освещенности источника света. Однако простое применение этого подъема на всем диапазоне кодовых значений приводит к артефактам срезания в верхней части диапазона. Чтобы предотвратить или уменьшить эти артефакты, функция градационной шкалы может снижаться плавно. Этот спад может управляться параметром MFP. Большие значения MFP дают совпадения освещенности на широком интервале, но увеличивают видимые артефакты квантования/срезания на верхнем уровне кодовых значений.

Варианты осуществления настоящего изобретения могут функционировать путем настройки кодовых значений. В модели дисплея с простой гаммой масштабирование кодовых значений дает масштабирование значений освещенности с разным масштабным коэффициентом. Чтобы определить, сохраняется ли эта зависимость в более реалистичных моделях дисплеев, мы можем рассмотреть модель Gamma-Offset-Gain - Flair (GOG-F). Масштабирование мощности фоновой подсветки соответствует линейно приведенным уравнениям, где процентное отношение p применяется к выходному сигналу дисплея, а не общему освещению. Согласно наблюдениям, уменьшение прироста на коэффициент p эквивалентно оставлению прироста неизмененным и масштабированию данных, кодовых значений и смещения на коэффициент, определенный гаммой дисплея. Математически мультипликативный множитель может быть внесен в степенную функцию при соответствующем изменении. Этот измененный коэффициент может масштабировать как кодовые значения, так и смещение.

Уравнение 8. Модель GOG-F

Уравнение 9. Линейное уменьшение освещенности

Уравнение 10. Уменьшение кодового значения

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.5. В этих вариантах осуществления настройка градационной шкалы может выполняться или вычисляться автономно, перед обработкой изображений, либо настройка может выполняться или вычисляться оперативно, когда обрабатывается изображение. Независимо от хронометража операции настройка 56 градационной шкалы может выполняться или вычисляться на основе по меньшей мере одного из гаммы 50 дисплея, коэффициента 52 эффективности и точки 54 максимальной точности (MFP). Эти факторы могут обрабатываться в процессе 56 исполнения градационной шкалы, чтобы создать модель 58 настройки градационной шкалы. Модель настройки градационной шкалы может принимать вид алгоритма, справочной таблицы (LUT) или некоторой другой модели, которая может применяться к данным изображения.

Как только создана модель 58 настройки, она может применяться к данным изображения. Применение модели настройки может описываться со ссылкой на фиг.6. В этих вариантах осуществления изображение вводится (62), и модель 58 настройки градационной шкалы применяется (64) к изображению для настройки кодовых значений изображения. Этот процесс приводит к выходному изображению 66, которое может быть отправлено на дисплей. Применение (64) настройки градационной шкалы обычно является оперативным процессом, но может выполняться перед показом изображения, когда позволяют условия.

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для улучшения изображений, показываемых на дисплеях, использующих модуляторы светоизлучающих пикселей, например LED-дисплеях, плазменных дисплеях и других типах дисплеев. Эти системы и способы могут использоваться для улучшения изображений, показываемых на дисплеях, использующих модуляторы светоклапанных пикселей с источниками света, работающими в режиме полной мощности или иным образом.

Эти варианты осуществления работают аналогично ранее описанным вариантам осуществления, однако вместо компенсации уменьшенной освещенности источника света эти варианты осуществления просто увеличивают освещенность диапазона пикселей, как если бы был уменьшен источник света. Таким образом, общая яркость изображения повышается.

В этих вариантах осуществления исходные кодовые значения повышаются на значительном диапазоне значений. Эта настройка кодовых значений может осуществляться, как объяснялось выше для других вариантов осуществления, за исключением того, что не происходит фактического уменьшения освещенности источника света. Поэтому яркость изображения значительно увеличивается в широком диапазоне кодовых значений.

Некоторые из этих вариантов осуществления с тем же успехом можно объяснить со ссылкой на фиг.3. В этих вариантах осуществления кодовые значения для исходного изображения показываются в виде точек на кривой 30. Эти значения могут повышаться или подгоняться к значениям с более высоким уровнем освещенности. Эти повышенные значения могут изображаться в виде точек на кривой 34, которая простирается от нулевой точки 33 до точки 35 максимальной точности и затем сходит к точке 37 максимального значения.

Некоторые варианты осуществления настоящего изобретения содержат процесс нерезкого маскирования. В некоторых из этих вариантов осуществления нерезкое маскирование может использовать пространственно меняющийся прирост. Этот прирост может определяться по значению изображения и наклону измененной кривой градационной шкалы. В некоторых вариантах осуществления использование массива приростов дает возможность выравнивания контраста изображения, даже когда яркость изображения нельзя удвоить из-за ограничений по мощности дисплея.

Некоторые варианты осуществления настоящего изобретения могут выполнять следующие этапы процесса:

1. Вычислить модель настройки градационной шкалы.

2. Вычислить высокочастотное изображение.

3. Вычислить массив приростов.

4. Взвесить высокочастотное изображение по приросту.

5. Суммировать низкочастотное изображение и взвешенное высокочастотное изображение; и

6. Отправить на дисплей.

Другие варианты осуществления настоящего изобретения могут выполнять следующие этапы процесса:

1. Вычислить модель настройки градационной шкалы.

2. Вычислить низкочастотное изображение.

3. Вычислить высокочастотное изображение как разницу между изображением и низкочастотным изображением.

4. Вычислить массив приростов с использованием значения изображения и наклона измененной кривой градационной шкалы.

5. Взвесить высокочастотное изображение по приросту.

6. Суммировать низкочастотное изображение и взвешенное высокочастотное изображение; и

7. Отправить на дисплей уменьшенной мощности.

Используя некоторые варианты осуществления настоящего изобретения, можно добиться экономии энергии с помощью лишь небольших изменений на ограниченной категории изображений. (Отличия возникают только выше MFP и состоят из уменьшения пиковой яркость и некоторой потери ярких деталей). Значения изображения ниже MFP могут отображаться в режиме экономии энергии с такой же освещенностью, что и в режиме полной мощности, делая эти области изображения неотличимыми от режима полной мощности. Другие варианты осуществления настоящего изобретения улучшают это выполнение путем уменьшения потери ярких деталей.

Эти варианты осуществления могут содержать пространственно меняющееся нерезкое маскирование, чтобы сохранить яркие детали. Как и в случае с другими вариантами осуществления, может использоваться оперативный и автономный компонент. В некоторых вариантах осуществления автономный компонент может быть расширен путем вычисления карты прироста в дополнение к функции градационной шкалы. Карта прироста может задавать прирост фильтра уменьшения контрастности для применения на основе значения изображения. Значение карты прироста может определяться с использованием наклона функции градационной шкалы. В некоторых вариантах осуществления значение карты прироста в конкретной точке "Р" может вычисляться как отношение наклона функции градационной шкалы ниже MFP к наклону функции градационной шкалы в точке "Р". В некоторых вариантах осуществления функция градационной шкалы является линейной ниже MFP, поэтому прирост равен единице ниже MFP.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.7. В этих вариантах осуществления настройка градационной шкалы может выполняться или вычисляться автономно, перед обработкой изображений, либо настройка может выполняться или вычисляться оперативно, когда обрабатывается изображение. Независимо от хронометража операции настройка 76 градационной шкалы может выполняться или вычисляться на основе по меньшей мере одного из гаммы 70 дисплея, коэффициента 72 эффективности и точки 74 максимальной точности (MFP). Эти факторы могут обрабатываться в процессе 76 исполнения градационной шкалы, чтобы создать модель 78 настройки градационной шкалы. Модель настройки градационной шкалы может принимать вид алгоритма, справочной таблицы (LUT) или некоторой другой модели, которая может применяться к данным изображения, как описано выше в отношении других вариантов осуществления. В этих вариантах осуществления также вычисляется (75) отдельная карта 77 прироста. Эта карта 77 прироста может применяться к определенным подразделам изображения, например частотным диапазонам. В некоторых вариантах осуществления карта прироста может применяться к частям изображения с частотным разделением. В некоторых вариантах осуществления карта прироста может применяться к высокочастотному подразделу изображения. Она также может применяться к определенным частотным диапазонам изображения или другим подразделам изображения.

Типовая модель настройки градационной шкалы может описываться относительно фиг.8. В этих типовых вариантах осуществления выбирается точка 84 перехода функции (FTP) (аналогично MFP используемая в вариантах осуществления компенсации уменьшения источника света), и функция прироста выбирается для обеспечения первого соотношения 82 прироста для значений ниже FTP 84. В некоторых вариантах осуществления первое соотношение прироста может быть линейным соотношением, но другие соотношения и функции могут использоваться для преобразования кодовых значений в улучшенные кодовые значения. Выше FTP 84 может использоваться второе соотношение 86 прироста. Это второе соотношение 86 прироста может быть функцией, которая соединяет FTP 84 с точкой 88 максимального значения. В некоторых вариантах осуществления второе соотношение 86 прироста может совпадать со значением и наклоном первого соотношения 82 прироста в FTP 84 и проходить через точку 88 максимального значения. Другие соотношения, которые описаны выше относительно других вариантов осуществления, и совсем другие соотношения также могут служить в качестве второго соотношения 86 прироста.

В некоторых вариантах осуществления карта 77 прироста может вычисляться в отношении модели настройки градационной шкалы, которая показана на фиг.8. Типовая карта 77 прироста может описываться относительно фиг.9. В этих вариантах осуществления функция карты прироста относится к модели 78 настройки градационной шкалы в зависимости от наклона модели настройки градационной шкалы. В некоторых вариантах осуществления значение функции карты прироста (Gain) в определенном кодовом значении определяется отношением наклона модели настройки градационной шкалы в любом кодовом значении ниже FTP к наклону модели настройки градационной шкалы в определенном кодовом значении. В некоторых вариантах осуществления это соотношение может математически выражаться в уравнении 11:

Уравнение 11

В этих вариантах осуществления функция карты прироста равна единице ниже FTP, где модель настройки градационной шкалы приводит к линейному подъему. Для кодовых значений выше FTP функция карты прироста быстро увеличивается, когда спадает наклон модели настройки градационной шкалы. Это резкое увеличение функции карты прироста повышает контраст частей изображения, к которым она применяется.

Типовой коэффициент настройки градационной шкалы, проиллюстрированный на фиг.8, и типовая функция карты прироста, проиллюстрированная на фиг.9, вычислялись с использованием процентного отношения отображения (уменьшения подсветки) в 80%, гаммы дисплея, равной 2,2, и точки максимальной точности, равной 180.

В некоторых вариантах осуществления настоящего изобретения операция нерезкого маскирования может применяться после применения модели настройки градационной шкалы. В этих вариантах осуществления артефакты уменьшаются с помощью методики нерезкого маскирования.

Некоторые варианты осуществления настоящего изобретения могут описываться относительно фиг.10. В этих вариантах осуществления вводится исходное изображение 102, и модель 103 настройки градационной шкалы применяется к изображению. Исходное изображение 102 также используется в качестве входных данных в процесс 105 составления карты прироста, который дает в результате карту прироста. Скорректированное по градационной шкале изображение затем обрабатывается посредством фильтра 104 нижних частот, дающего в результате скорректированное низкочастотное изображение. Скорректированное низкочастотное изображение затем вычитается (106) из скорректированного по градационной шкале изображения, чтобы выработать высокочастотное скорректированное изображение. Это высокочастотное скорректированное изображение затем умножается (107) на подходящее значение в карте прироста, чтобы предоставить приращенное высокочастотное изображение, которое затем прибавляется (108) к низкочастотному скорректированному изображению, которое уже скорректировано с помощью модели настройки градационной шкалы. Это сложение дает в результате выходное изображение 109 с увеличенной яркостью и улучшенным высокочастотным контрастом.

В некоторых из этих вариантов осуществления для каждой составляющей в каждом пикселе изображения значение прироста определяется из карты прироста и значения изображения в этом пикселе. Исходное изображение 102, перед применением модели настройки градационной шкалы, может использоваться для определения прироста. Каждая составляющая в каждом пикселе высокочастотного изображения также может масштабироваться на соответствующее значение прироста перед добавлением к низкочастотному изображению. В точках, где функция карты прироста равна единице, операция нерезкого маскирования не изменяет значения изображения. В точках, где функция карты прироста превышает единицу, контраст увеличивается.

Некоторые варианты осуществления настоящего изобретения направляют усилия на потерю контраста в кодовых значениях верхнего уровня при увеличении яркости кодового значения, путем разложения изображения на несколько диапазонов частот. В некоторых вариантах осуществления функция градационной шкалы может применяться к диапазону низких частот, увеличивающей яркость данных изображения, чтобы компенсировать уменьшение освещенности подсветки в режиме низкого энергоснабжения или просто увеличить яркость показываемого изображения. Параллельно, постоянный прирост может применяться к диапазону высоких частот, сохраняя контраст изображения даже в областях, где средняя абсолютная яркость уменьшается из-за низкой мощности дисплея. Работа типового алгоритма имеет вид:

1. Выполнить разложение частоты у исходного изображения.

2. Применить сохранение яркости, карту градационной шкалы, к низкочастотному изображению.

3. Применить постоянный множитель к высокочастотному изображению.

4. Сложить низкочастотные и высокочастотные изображения.

5. Отправить результат на дисплей.

Функция градационной шкалы и постоянный прирост могут определяться автономно путем создания фотометрического соответствия между показом на полной мощности исходного изображения и показом на низкой мощности обработанного изображения для применений с уменьшением освещенности подсветки. Функция градационной шкалы также может определяться автономно для применений с улучшением яркости.

Для умеренных значений MFP эти варианты осуществления с постоянным высокочастотным приростом и варианты осуществления с нерезким маскированием почти неотличимы по производительности. Эти варианты осуществления с постоянным высокочастотным приростом обладают тремя основными преимуществами по сравнению с вариантами осуществления нерезкого маскирования: уменьшенная чувствительность к шуму, возможность использовать большее MFP/FTP и использование этапов обработки в настоящее время в системе отображения. Варианты осуществления с нерезким маскированием используют прирост, который является обратной величиной наклона кривой градационной шкалы. Когда наклон этой кривой небольшой, этот прирост подвергается большому шуму усиления. Это усиление шума также может накладывать практическое ограничение на размер MFP/FTP. Второе преимущество является возможностью расширяться до произвольных значений MFP/FTP. Третье преимущество появляется из рассмотрения размещения алгоритма в системе. Как варианты осуществления с постоянным высокочастотным приростом, так и варианты осуществления с нерезким маскированием используют разложение частоты. Варианты осуществления с постоянным высокочастотным приростом выполняют эту операцию первой, тогда как некоторые варианты осуществления с нерезким маскированием сначала применяют функцию градационной шкалы перед разложением частоты. Некоторая системная обработка, например устранение контура, будет выполнять разложение частоты до алгоритма сохранения яркости. В этих случаях это разложение частоты может использоваться некоторыми вариантами осуществления с постоянным высокочастотным приростом, посредством этого исключая этап преобразования, тогда как некоторые варианты осуществления с нерезким маскированием должны инвертировать разложение частоты, применять функцию градационной шкалы и выполнять дополнительное разложение частоты.

Некоторые варианты осуществления настоящего изобретения препятствуют потере контраста в кодовых значениях верхнего уровня путем разделения изображения на основе пространственной частоты перед применением функции градационной шкалы. В этих вариантах осуществления функция градационной шкалы со спадом может применяться к низкочастотной (LP) составляющей изображения. В применениях с компенсацией уменьшения освещенности источника света это обеспечит общее совпадение освещенности низкочастотных составляющих изображения. В этих вариантах осуществления высокочастотная (HP) составляющая равномерно повышается (постоянный прирост). Разложенные по частоте сигналы могут воссоединяться и отсекаться при необходимости. Детализация сохраняется, поскольку высокочастотная составляющая не пропускается через спад функции градационной шкалы. Плавный спад низкочастотной функции градационной шкалы сохраняет высоту помещения для добавления повышенного высокочастотного контраста. Отсечение, которое может возникать в этом итоговом сочетании, не оказалось значительно уменьшающим детализацию.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.11. Эти варианты осуществления содержат разделение или разложение частот (111), наложение низкочастотной градационной шкалы (112), постоянный высокочастотный прирост или подъем (116) и суммирование или воссоединение (115) улучшенных составляющих изображения.

В этих вариантах осуществления входное изображение 110 раскладывается на диапазоны пространственных частот (111). В типовом варианте осуществления, в котором используются два диапазона, это может выполняться с использованием низкочастотного (LP) фильтра 111. Частотное разделение выполняется путем вычисления LP-сигнала посредством фильтра 111 и вычитания (113) LP-сигнала из исходного, чтобы образовать высокочастотный (HP) сигнал (118). В типовом варианте осуществления пространственный фильтр 5×5 с прямоугольной характеристикой может использоваться для этого разложения, хотя может использоваться и другой фильтр.

LP-сигнал может затем обрабатываться путем применения наложения градационной шкалы, которое обсуждалось для ранее описанных вариантов осуществления. В типовом варианте осуществления это может достигаться с помощью LUT фотометрического совпадения. В этих вариантах осуществления более высокое значение MFP/FTP может использоваться по сравнению с некоторыми ранее описанными вариантами осуществления с нерезким маскированием, поскольку большинство деталей уже извлечено в фильтрации 111. Отсечение, как правило, не следует использовать, поскольку обычно должна сохраняться некоторая высота помещения, в которую нужно добавить контраст.

В некоторых вариантах осуществления MFP/FTP может определяться автоматически и может устанавливаться так, чтобы наклон кривой градационной шкалы был равен нулю в верхнем пределе. Ряд функций градационной шкалы, определенный таким образом, иллюстрируется на фиг.12. В этих вариантах осуществления максимальное значение MFP/FTP может определяться из условия, чтобы функция градационной шкалы имела нулевой наклон в 255. Это наибольшее значение MFP/FTP, которое не вызывает отсечения.

В некоторых вариантах осуществления настоящего изобретения, описанных со ссылкой на фиг.11, обработка HP-сигнала (118) является независимой от выбора MFP/FTP, используемого в обработке низкочастотного сигнала. HP-сигнал 118 обрабатывается с постоянным приростом 116, который сохранит контраст, когда уменьшается мощность/освещенность источника света или когда кодовые значения изображения повышаются иным образом для улучшения яркости. Формула для прироста 116 HP-сигнала в показателях полной и уменьшенной мощностей фоновой подсветки (BL) и гаммы дисплея приводится непосредственно ниже в виде уравнения высокочастотного прироста (HighPassGain). Подъем высокочастотного контраста устойчив к шуму, поскольку прирост обычно небольшой (например, прирост равен 1,1 для 80%-ного уменьшения мощности и гаммы 2,2).

Уравнение 12

В некоторых вариантах осуществления, как только применено наложение градационной шкалы (112) к LP-сигналу, посредством обработки по LUT или иным образом, и постоянный прирост (116) применен к HP-сигналу, эти частотные составляющие могут складываться (115) и, в некоторых случаях, срезаться. Отсечение может быть необходимо, когда HP-значение, добавленное к LP-значению, превышает 255. Это обычно будет свойственно только ярким сигналам с высоким контрастом. В некоторых вариантах осуществления с помощью построения LUT градационной шкалы обеспечивается, что LP-сигнал не превышает верхний предел. HP-сигнал может вызывать отсечение в сумме, но отрицательные значения HP-сигнала никогда не отсекутся, поддерживая некоторый контраст, даже когда возникает отсечение.

Зависимые от изображения варианты осуществления подсветки

В некоторых вариантах осуществления настоящего изобретения уровень освещенности источника света дисплея может настраиваться в соответствии с характеристиками показываемого изображения, ранее показанных изображений, изображений для показа после показываемого изображения или их сочетаний. В этих вариантах осуществления уровень освещенность источника света дисплея может меняться в соответствии с характеристиками изображения. В некоторых вариантах осуществления эти характеристики изображения могут содержать уровни освещенности изображения, уровни цветности изображения, характеристики гистограммы изображения и другие характеристики изображения.

Как только выявлены характеристики изображения, уровень освещенности источника света (фоновой подсветки) может меняться для улучшения одного или нескольких атрибутов изображения. В некоторых вариантах осуществления освещенность источника света может уменьшаться или увеличиваться для улучшения контраста в более темных или более светлых областях изображения. Уровень освещенности источника света также может увеличиваться или уменьшаться для увеличения динамического диапазона изображения. В некоторых вариантах осуществления освещенность источника света может настраиваться для оптимизации энергопотребления для каждого кадра изображения.

Когда изменена освещенность источника света по любой причине, кодовые значения пикселей изображения могут настраиваться с использованием настройки градационной шкалы, чтобы дополнительно улучшить изображение. Если освещенность источника света уменьшена для экономии энергии, значения пикселей могут быть увеличены для восстановления утраченной яркости. Если освещенность источника света изменена для улучшения контраста в определенном диапазоне освещенности, то значения пикселей могут настраиваться для компенсации уменьшенного контраста в другом диапазоне или для дополнительного улучшения определенного диапазона.

В некоторых вариантах осуществления настоящего изобретения, которые проиллюстрированы на фиг.13, настройки градационной шкалы изображения могут зависеть от содержания изображения. В этих вариантах осуществления изображение может анализироваться (130) для определения характеристик изображения. Характеристики изображения могут содержать характеристики канала освещенности, например среднюю освещенность изображения (APL), которая является средней освещенностью изображения; максимальное значение освещенности; минимальное значение освещенности; данные гистограммы освещенности, например среднее значение гистограммы, самое часто встречающееся значение гистограммы и другие; и другие характеристики освещенности. Характеристики изображения также могут содержать характеристики цвета, например характеристику отдельных каналов цветности (например, R, G и B в RGB-сигнале). Каждый канал цветности может анализироваться независимо для определения характерных для канала цветности характеристик изображения. В некоторых вариантах осуществления для каждого канала цветности может использоваться отдельная гистограмма. В других вариантах осуществления данные гистограммы пятен, которые содержат в себе информацию о пространственном распределении данных изображения, могут использоваться в качестве характеристики изображения. Характеристики изображения также могут содержать временные изменения между видеокадрами.

Как только проанализировано (130) изображение и определены характеристики, может вычисляться или выбираться (132) карта градационной шкалы из набора предварительно вычисленных карт на основе значения характеристики изображения. Эта карта может затем применяться (134) к изображению для компенсации настройки фоновой подсветки или иного улучшения изображения.

Некоторые варианты осуществления настоящего изобретения могут описываться относительно фиг.14. В этих вариантах осуществления анализатор 142 изображения принимает изображение 140 и определяет характеристики изображения, которые могут использоваться для выбора карты градационной шкалы. Эти характеристики затем отправляются в селектор 143 карты градационной шкалы, который определяет подходящую карту на основе характеристик изображения. Этот выбор карты может затем отправляться процессору 145 изображений для применения карты к изображению 140. Процессор 145 изображений будет принимать выбор карты и исходные данные изображения и обрабатывать исходное изображение с помощью выбранной карты 144 градационной шкалы, посредством этого формируя скорректированное изображение, которое отправляется на дисплей 146 для показа пользователю. В этих вариантах осуществления одна или несколько карт 144 градационной шкалы хранятся для выбора на основе характеристик изображения. Эти карты 144 градационной шкалы могут предварительно вычисляться и сохраняться в виде таблиц или некоторого другого формата данных. Эти карты 144 градационной шкалы могут содержать простые таблицы преобразования гаммы, карты улучшения, созданные с использованием способов, описанных выше в отношении фиг.5, 7, 10 и 11, или другие карты.

Некоторые варианты осуществления настоящего изобретения могут описываться относительно фиг.15. В этих вариантах осуществления анализатор 152 изображения принимает изображение 150 и определяет характеристики изображения, которые могут использоваться для вычисления карты градационной шкалы. Эти характеристики затем отправляются в калькулятор 153 карты градационной шкалы, который может вычислить подходящую карту на основе характеристик изображения. Вычисленная карта может затем отправляться процессору 155 изображений для применения карты к изображению 150. Процессор 155 изображений будет принимать вычисленную карту 154 и исходные данные изображения и обрабатывать исходное изображение с помощью карты 154 градационной шкалы, посредством этого формируя скорректированное изображение, которое отправляется на дисплей 156 для показа пользователю.

В этих вариантах осуществления вычисляется карта 154 градационной шкалы, по существу в реальном масштабе времени на основе характеристик изображения. Вычисленная карта 154 градационной шкалы может содержать простую таблицу преобразования гаммы, карту улучшения, созданную с использованием способов, описанных выше в отношении фиг.5, 7, 10 и 11, или другую карту.

Дополнительные варианты осуществления настоящего изобретения могут описываться относительно фиг.16. В этих вариантах осуществления уровень освещенности подсветки может зависеть от содержания изображения наряду с тем, что карта градационной шкалы также зависит от содержания изображения. Однако, не обязательно может присутствовать какая-либо связь между каналом вычисления подсветки и каналом карты градационной шкалы.

В этих вариантах осуществления изображение анализируется (160) для определения характеристик изображения, необходимых для вычисления подсветки или карты градационной шкалы. Эта информация затем используется для вычисления (161) уровня освещенности подсветки, подходящего для изображения. Эти данные о подсветке затем отправляются (162) на дисплей для изменения подсветки (например, фоновой подсветки), когда отображается изображение. Данные характеристик изображения также отправляются в канал карты градационной шкалы, где карта градационной шкалы выбирается или вычисляется (163) на основе информации о характеристиках изображения. Карта затем применяется (164) к изображению для создания улучшенного изображения, которое отправляется на дисплей (165). Сигнал подсветки, вычисленный для изображения, синхронизируется с улучшенными данными изображения, чтобы сигнал подсветки совпадал с показом улучшенных данных изображения.

Некоторые из этих вариантов осуществления, проиллюстрированных на фиг.17, применяют сохраненные карты градационной шкалы, которые могут содержать простую таблицу преобразования гаммы, карту улучшения, созданную с использованием способов, описанных выше в отношении фиг.5, 7, 10 и 11, или другую карту. В этих вариантах осуществления изображение 170 отправляется анализатору 172 изображения для определения характеристик изображения, существенных для вычислений карты градационной шкалы и подсветки. Эти характеристики затем отправляются калькулятору 177 подсветки для определения подходящего уровня освещенности подсветки. Некоторые характеристики также могут отправляться селектору 173 карты градационной шкалы для использования в определении подходящей карты 174 градационной шкалы. Исходное изображение 170 и данные выбора карт затем отправляются процессору 175 изображений, который извлекает выбранную карту 174 и применяет карту 174 к изображению 170, чтобы создать улучшенное изображение. Это улучшенное изображение затем отправляется на дисплей 176, который также принимает сигнал уровня подсветки от калькулятора 177 подсветки и использует этот сигнал для модулирования подсветки 179, пока выводится улучшенное изображение.

Некоторые из этих вариантов осуществления, проиллюстрированных на фиг.18, могут вычислять карту градационной шкалы в процессе работы. Эти карты могут содержать простую таблицу преобразования гаммы, карту улучшения, созданную с использованием способов, описанных выше в отношении фиг.5, 7, 10 и 11, или другую карту. В этих вариантах осуществления изображение 180 отправляется анализатору 182 изображения для определения характеристик изображения, существенных для вычислений карты градационной шкалы и подсветки. Эти характеристики затем отправляются калькулятору 187 подсветки для определения подходящего уровня освещенности подсветки. Некоторые характеристики также могут отправляться калькулятору 183 карты градационной шкалы для использования в вычислении подходящей карты 184 градационной шкалы. Исходное изображение 180 и вычисленная карта 184 затем отправляются процессору 185 изображений, который применяет карту 184 к изображению 180 для создания улучшенного изображения. Это улучшенное изображение затем отправляется на дисплей 186, который также принимает сигнал уровня подсветки от калькулятора 187 подсветки и использует этот сигнал для модулирования подсветки 189, пока выводится улучшенное изображение.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.19. В этих вариантах осуществления изображение анализируется (190) для определения характеристик изображения относительно вычисления и выбора подсветки и карты градационной шкалы. Эти характеристики затем используются для вычисления (192) уровня освещенности подсветки. Уровень освещенности подсветки затем используется для вычисления или выбора (194) карты настройки градационной шкалы. Эта карта затем применяется (196) к изображению для создания улучшенного изображения. Улучшенное изображение и данные об уровне подсветки затем отправляются (198) на дисплей.

Устройство, используемое для способов, описанных в отношении фиг.19, может описываться со ссылкой на фиг.20. В этих вариантах осуществления изображение 200 принимается анализатором 202 изображения, где определяются характеристики изображения. Анализатор 202 изображения может затем отправить данные о характеристиках изображения калькулятору 203 подсветки для определения уровня подсветки. Данные об уровне подсветки могут быть затем отправлены селектору или калькулятору 204 карты градационной шкалы, который может вычислить или выбрать карту градационной шкалы на основе освещенности источника света. Выбранная карта 207 или вычисленная карта может быть затем отправлена процессору 205 изображений вместе с исходным изображением для применения карты к исходному изображению. Этот процесс выработает улучшенное изображение, которое отправляется дисплею 206 вместе с сигналом уровня подсветки, который используется для модулирования подсветки дисплея, пока выводится изображение.

В некоторых вариантах осуществления настоящего изобретения блок управления подсветкой отвечает за выбор уменьшения подсветки, которое будет поддерживать качество изображения. Сведения о возможности сохранения качества изображения на этапе адаптации используются для управления выбором уровня подсветки. В некоторых вариантах осуществления важно осознавать, что высокий уровень подсветки нужен, когда либо изображение яркое, либо изображение содержит очень насыщенные цвета, то есть синий с кодовым значением 255. Использование одной лишь освещенности для определения уровня фоновой подсветки может привести к артефактам с изображениями, имеющими низкую освещенность, но большие кодовые значения, то есть насыщенный синий или красный. В некоторых вариантах осуществления может исследоваться каждая плоскость цветов, и решение может быть принято на основе максимума всех плоскостей цветов. В некоторых вариантах осуществления настройка фоновой подсветки может основываться на одном заданном процентном отношении пикселей, которые отсекаются. В других вариантах осуществления, проиллюстрированных на фиг.22, алгоритм модуляции фоновой подсветки может использовать два процентных отношения: процентное отношение 236 отсеченных пикселей и процентное отношение 235 дисторсионных пикселей. Выбор настройки фоновой подсветки с помощью этих отличающихся значений предоставляет пространство для калькулятора градационной шкалы, чтобы плавно снизить функцию градационной шкалы, вместо наложения жесткого отсечения. Принимая во внимание входное изображение, определяется гистограмма кодовых значений для каждой плоскости цветов. Принимая во внимание два процентных отношения P_Clipped 236 и P_Distored235, гистограмма каждой плоскости 221-223 цветов исследуется для определения кодовых значений, соответствующих этим процентным отношениям 224-226. Это дает C_Clipped(цвет) 228 и C_Distorted(цвет) 227. Максимальное отсеченное кодовое значение 234 и максимальное дисторсионное кодовое значение 233 из разных плоскостей цветов могут использоваться для определения настройки 229 фоновой подсветки. Эта настройка обеспечивает, что для каждой плоскости цветов будет отсекаться или искажаться не более заданного процентного отношения кодовых значений.

Уравнение 13

Процентное отношение фоновой подсветки (BL) определяется путем исследования функции градационной шкалы (TS), которая будет использоваться для компенсации, и выбора процентного отношения BL таким образом, что функция градационной шкалы будет отсекаться при 255 в кодовом значении Cv_Clipped 234. Функция градационной шкалы будет линейной ниже значения Cv_Distorted (значение этого наклона будет компенсировать уменьшение BL), постоянной при 255 для кодовых значений выше Cv_Clipped и иметь непрерывную производную. Исследование производной иллюстрирует, как выбирать наклон, а отсюда и мощность фоновой подсветки, которая не дает дисторсию изображения для кодовых значений ниже Cv_Distorted.

На графике производной TS, показанном на фиг.21, значение H является неизвестным. Чтобы TS преобразовать Cv_Clipped в 255, область (Area) под производной TS должна быть равна 255. Это ограничение позволяет нам определить значение H следующим образом.

Уравнение 14

Процентное отношение BL определяется из подъема кодового значения и гаммы дисплея, и критериев точной компенсации кодовых значений ниже точки дисторсии. Отношение BL, которое будет отсекаться в Cv_Clipped и позволит плавный переход из отсутствия дисторсии ниже Cv_Distorted, имеет вид:

Уравнение 15

Более того, чтобы решить проблему изменения BL, на отношение BL устанавливается верхний предел.

Уравнение 16

Временная низкочастотная фильтрация 231 может применяться к зависимому от изображения сигналу BL, выведенному выше, чтобы компенсировать отсутствие синхронизации между LCD и BL. Схема типового алгоритма модуляции фоновой подсветки показана на фиг.22, в других вариантах осуществления могут использоваться отличающиеся процентные отношения и значения.

Наложение градационной шкалы может компенсировать выбранную настройку фоновой подсветки наряду с минимизацией дисторсии изображения. Как описано выше, алгоритм выбора фоновой подсветки проектируется на основе возможности соответствующих операций наложения градационной шкалы. Выбранный уровень BL предусматривает функцию градационной шкалы, которая компенсирует уровень фоновой подсветки без дисторсии для кодовых значений ниже первого заданного процентиля и отсекает кодовые значения выше второго заданного процентиля. Два заданных процентиля дают функцию градационной шкалы, которая плавно переходит между диапазонами без дисторсии и диапазонами с отсечением.

Измеряющие общий свет варианты осуществления

Некоторые варианты осуществления настоящего изобретения содержат датчик общего освещения, который может предоставлять входные данные модулю обработки изображений и/или модулю управления подсветкой. В этих вариантах осуществления обработка изображений, включающая настройку градационной шкалы, составление карты прироста и другие модификации, может иметь отношение к характеристикам общего освещения. Эти варианты осуществления также могут содержать настройку подсветки или фоновой подсветки, которая относится к характеристикам общего освещения. В некоторых вариантах осуществления подсветка и обработка изображений могут объединяться в единый модуль обработки. В других вариантах осуществления эти функции могут выполняться отдельными модулями.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.23. В этих вариантах осуществления датчик 270 общего освещения может использоваться в качестве входных данных для способов обработки изображений. В некоторых типовых вариантах осуществления входное изображение 260 может обрабатываться на основе входных данных от датчика 270 общего освещения и уровня подсветки 268. Подсветка 268, например фоновая подсветка для освещения панели 266 LCD-дисплея, может модулироваться или настраиваться для экономии энергии или по другим причинам. В этих вариантах осуществления процессор 262 изображений может принимать входные данные от датчика 270 общего освещения и подсветки 268. На основе этих входных данных процессор 262 изображений может изменять входное изображение, чтобы учитывать условия окружающей среды и уровни освещенности подсветки 268. Входное изображение 260 может изменяться в соответствии с любым из способов, описанных выше для других вариантов осуществления, или с помощью других способов. В типовом варианте осуществления карта градационной шкалы может применяться к изображению для увеличения значений пикселей изображения в отношении уменьшенной освещенности подсветки и колебаний общего освещения. Измененное изображение 264 затем может быть показано на панели 266 дисплея, например LCD-панели. В некоторых вариантах осуществления уровень освещенности подсветки может уменьшаться, когда общее освещение слабое, и может дополнительно уменьшаться, когда используется настройка градационной шкалы или другая методика манипуляции значениями пикселей для компенсации уменьшения освещенности подсветки. В некоторых вариантах осуществления уровень освещенности подсветки может уменьшаться, когда уменьшается общее освещение. В некоторых вариантах осуществления уровень освещенности подсветки может увеличиваться, когда общее освещение достигает верхнего порогового значения и/или нижнего порогового значения.

Дополнительные варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.24. В этих вариантах осуществления входное изображение 280 принимается в модуле 282 обработки изображений. Обработка входного изображения 280 может зависеть от входных данных от датчика 290 общего освещения. Эта обработка также может зависеть от выходных данных из модуля 294 обработки подсветки. В некоторых вариантах осуществления модуль 294 обработки подсветки может принимать входные данные от датчика 290 общего освещения. Некоторые варианты осуществления также могут принимать входные данные от индикатора 292 режима [работы] устройства, например индикатора режима мощности, который может указывать режим энергопотребления устройства, состояние батарей устройства или какое-нибудь другое состояние устройства. Модуль 294 обработки подсветки может использовать состояние общего освещения и/или состояние устройства для определения уровня освещенности подсветки, который используется для управления подсветкой 288, которая будет освещать дисплей, например LCD-дисплей 286. Модуль обработки подсветки также может передавать уровень освещенности подсветки и/или другую информацию модулю 282 обработки изображений.

Модуль 282 обработки изображений может использовать информацию о подсветке от модуля 294 обработки подсветки для определения параметров обработки для обработки входного изображения 280. Модуль 282 обработки изображений может применять настройку градационной шкалы, карту прироста или другую процедуру для настройки значений пикселей изображения. В некоторых типовых вариантах осуществления эта процедура повысит яркость и контраст изображения и частично или полностью компенсирует уменьшение освещенности источника света. Результатом обработки модулем 282 обработки изображений является скорректированное изображение 284, которое может отправляться на дисплей 286, где оно может освещаться подсветкой 288.

Другие варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.25. В этих вариантах осуществления входное изображение 300 принимается в модуле 302 обработки изображений. Обработка входного изображения 300 может зависеть от входных данных от датчика 310 общего освещения. Эта обработка также может зависеть от выходных данных из модуля 314 обработки подсветки. В некоторых вариантах осуществления модуль 314 обработки подсветки может принимать входные данные от датчика 310 общего освещения. Некоторые варианты осуществления также могут принимать входные данные от индикатора 312 режима устройства, например индикатора режима мощности, который может указывать режим энергопотребления устройства, состояние батарей устройства или какое-нибудь другое состояние устройства. Модуль 314 обработки подсветки может использовать состояние общего освещения и/или состояние устройства для определения уровня освещенности подсветки, который используется для управления подсветкой 308, которая будет освещать дисплей, например LCD-дисплей 306. Модуль обработки подсветки также может передавать уровень освещенности подсветки и/или другую информацию модулю 302 обработки изображений.

Модуль 302 обработки изображений может использовать информацию о подсветке от модуля 314 обработки подсветки для определения параметров обработки для обработки входного изображения 300. Модуль 302 обработки изображений также может использовать информацию об общем освещении от датчика 310 общего освещения, чтобы определить параметры обработки для обработки входного изображения 300. Модуль 302 обработки изображений может применять настройку градационной шкалы, карту прироста или другую процедуру для настройки значений пикселей изображения. В некоторых типовых вариантах осуществления эта процедура повысит яркость и контраст изображения и частично или полностью компенсирует уменьшение освещенности источника света. Результатом обработки модулем 302 обработки изображений является скорректированное изображение 304, которое может отправляться на дисплей 306, где оно может освещаться подсветкой 308.

Дополнительные варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.26. В этих вариантах осуществления входное изображение 320 принимается в модуле 322 обработки изображений. Обработка входного изображения 320 может зависеть от входных данных от датчика 330 общего освещения. Эта обработка также может зависеть от выходных данных из модуля 334 обработки подсветки. В некоторых вариантах осуществления модуль 334 обработки подсветки может принимать входные данные от датчика 330 общего освещения. В других вариантах осуществления информация о внешней среде может приниматься от модуля 322 обработки изображений. Модуль 334 обработки подсветки может использовать состояние общего освещения и/или состояние устройства для определения промежуточного уровня освещенности подсветки. Этот промежуточный уровень освещенности подсветки может отправляться постпроцессору 332 подсветки, который может принимать вид квантователя, процессора синхронизации или некоторого другого модуля, который может приспособить промежуточный уровень освещенности источника света к потребностям определенного устройства. В некоторых вариантах осуществления постпроцессор 332 подсветки может приспособить управляющий сигнал источника света для временных ограничений, налагаемых типом источника 328 света и/или приложением формирования изображений, например приложением воспроизведения видео. Сигнал из постпроцессора может затем использоваться для управления подсветкой 328, которая будет освещать дисплей, например LCD-дисплей 326. Модуль обработки подсветки также может передавать уровень освещенности подсветки из постпроцессора и/или другую информацию модулю 322 обработки изображений.

Модуль 322 обработки изображений может использовать информацию о подсветке от постпроцессора 332 подсветки для определения параметров обработки для обработки входного изображения 320. Модуль 322 обработки изображений также может использовать информацию об общем освещении от датчика 330 общего освещения, чтобы определить параметры обработки для обработки входного изображения 320. Модуль 322 обработки изображений может применять настройку градационной шкалы, карту прироста или другую процедуру для настройки значений пикселей изображения. В некоторых типовых вариантах осуществления эта процедура повысит яркость и контраст изображения и частично или полностью компенсирует уменьшение освещенности источника света. Результатом обработки модулем 322 обработки изображений является скорректированное изображение 344, которое может отправляться на дисплей 326, где оно может освещаться подсветкой 328.

Некоторые варианты осуществления настоящего изобретения могут содержать отдельные модули 342, 362 анализа изображений и модули 343, 363 обработки изображений. Хотя эти модули могут быть объединены в единый компонент или на одной микросхеме, они иллюстрируются и описываются как отдельные модули для лучшего описания их взаимодействия.

Некоторые из этих вариантов осуществления настоящего изобретения можно описать со ссылкой на фиг.27. В этих вариантах осуществления входное изображение 340 принимается в модуле 342 анализа изображений. Модуль анализа изображений может анализировать изображение для определения характеристик изображения, которые могут передаваться модулю 343 обработки изображений и/или модулю 354 обработки подсветки. Обработка входного изображения 340 может зависеть от входных данных от датчика 330 общего освещения. В некоторых вариантах осуществления модуль 354 обработки подсветки может принимать входные данные от датчика 350 общего освещения. Модуль 354 обработки подсветки также может принимать входные данные от датчика 352 состояния или режима устройства. Модуль 354 обработки подсветки может использовать состояние общего освещения, характеристику изображения и/или состояние устройства для определения уровня освещенности подсветки. Этот уровень освещенности подсветки может отправляться подсветке 348, которая будет освещать дисплей, например LCD-дисплей 346. Модуль 354 обработки подсветки также может передавать уровень освещенности подсветки из постпроцессора и/или другую информацию модулю 343 обработки изображений.

Модуль 322 обработки изображений может использовать информацию о подсветке от модуля 354 обработки подсветки для определения параметров обработки для обработки входного изображения 340. Модуль 343 обработки изображений также может использовать информацию об общем освещении, которая передается от датчика 350 общего освещения через модуль 354 обработки подсветки. Эта информация об общем освещении может использоваться для определения параметров обработки для обработки входного изображения 340. Модуль 343 обработки изображений может применять настройку градационной шкалы, карту прироста или другую процедуру для настройки значений пикселей изображения. В некоторых типовых вариантах осуществления эта процедура повысит яркость и контраст изображения и частично или полностью компенсирует уменьшение освещенности источника света. Результатом обработки модулем 343 обработки изображений является скорректированное изображение 344, которое может отправляться на дисплей 346, где оно может освещаться подсветкой 348.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.28. В этих вариантах осуществления входное изображение 360 принимается в модуле 362 анализа изображений. Модуль анализа изображений может анализировать изображение для определения характеристик изображения, которые могут передаваться модулю 363 обработки изображений и/или модулю 374 обработки подсветки. Обработка входного изображения 360 может зависеть от входных данных от датчика 370 общего освещения. Эта обработка также может зависеть от выходных данных из модуля 374 обработки подсветки. В некоторых вариантах осуществления информация о внешней среде может приниматься от модуля 363 обработки изображений, который может принимать информацию о внешней среде от датчика 370 общего освещения. Эта информация о внешней среде может передаваться и/или обрабатываться модулем 363 обработки изображений по пути к модулю 374 обработки подсветки. Состояние или режим устройства также может передаваться модулю 374 обработки подсветки от модуля 372 устройства.

Модуль 374 обработки подсветки может использовать состояние общего освещения и/или состояние устройства для определения уровня освещенности подсветки. Этот уровень освещенности подсветки может использоваться для управления подсветкой 368, которая будет освещать дисплей, например LCD-дисплей 366. Модуль 374 обработки подсветки также может передавать уровень освещенности подсветки и/или другую информацию модулю 363 обработки изображений.

Модуль 363 обработки изображений может использовать информацию о подсветке от модуля 374 обработки подсветки для определения параметров обработки для обработки входного изображения 360. Модуль 363 обработки изображений также может использовать информацию об общем освещении от датчика 370 общего освещения, чтобы определить параметры обработки для обработки входного изображения 360. Модуль 363 обработки изображений может применять настройку градационной шкалы, карту прироста или другую процедуру для настройки значений пикселей изображения. В некоторых типовых вариантах осуществления эта процедура повысит яркость и контраст изображения и частично или полностью компенсирует уменьшение освещенности источника света. Результатом обработки модулем 363 обработки изображений является скорректированное изображение 364, которое может отправляться на дисплей 366, где оно может освещаться подсветкой 368.

Адаптивные к дисторсии варианты осуществления управления питанием

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для рассмотрения потребностей в питании, характеристик дисплея, условий окружающей среды и ограничений батареи в устройствах отображения, включающих мобильные устройства и приложения. В некоторых вариантах осуществления могут использоваться три семейства алгоритмов: Алгоритмы управления питанием дисплея, Алгоритмы модуляции фоновой подсветки и Алгоритмы сохранения яркости (BP). Хотя управление питанием имеет высокий приоритет в мобильных устройствах с батарейным питанием, эти системы и способы могут применяться к другим устройствам, которые могут извлечь пользу из управления питанием для экономии энергии, управления тепловыделением и других целей. В этих вариантах осуществления эти алгоритмы могут взаимодействовать, но их индивидуальные функциональные возможности могут содержать:

- Управление питанием - эти алгоритмы управляют мощностью фоновой подсветки на последовательности кадров, используя изменения в визуализируемом контенте для оптимизации энергопотребления.

- Модуляция фоновой подсветки - эти алгоритмы выбирают уровни мощности фоновой подсветки для использования в отдельном кадре и используют статистические данные в изображении, чтобы оптимизировать энергопотребление.

- Сохранения яркости - эти алгоритмы обрабатывают каждое изображение для компенсации уменьшенной мощности фоновой подсветки и сохранения яркости изображения наряду с предотвращением артефактов.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.29, которая содержит упрощенную блок-схему, указывающую взаимодействие компонентов этих вариантов осуществления. В некоторых вариантах осуществления алгоритм 406 управления питанием может управлять постоянным ресурсом батареи 402 на видеопоследовательности, последовательности изображений или другой задаче отображения, и может обеспечивать заданную среднюю потребляемую мощность, в то же время сохраняя качество и/или другие характеристики. Алгоритм 410 модуляции фоновой подсветки может принимать команды от алгоритма 406 управления питанием и выбирать уровень мощности, подлежащий ограничениям, заданным алгоритмом 406 управления питанием, для эффективного представления каждого изображения. Алгоритм 414 сохранения яркости может использовать выбранный уровень 415 фоновой подсветки и возможное значение 413 отсечения, чтобы обработать изображение, компенсируя уменьшенную фоновую подсветку.

Управление питанием дисплея

В некоторых вариантах осуществления алгоритм 406 управления питанием дисплея может управлять распределением потребления электроэнергии на видеопоследовательности, последовательности изображений или другой задаче отображения. В некоторых вариантах осуществления алгоритм 406 управления питанием дисплея может распределять постоянную энергию батареи, чтобы обеспечить гарантированное функциональное время работы наряду с сохранением качества изображения. В некоторых вариантах осуществления одной целью Алгоритма управления питанием является обеспечение гарантированных нижних пределов времени работы батареи, чтобы повысить удобство эксплуатации мобильного устройства.

Постоянное управление питанием

Одной формой регулирования мощности, которая соответствует произвольной цели, является выбор неизменной мощности, которая будет соответствовать нужному времени работы. Блок-схема системы, показывающая систему на основе постоянного управления питанием, показана на фиг.30. Существенным моментом является то, что алгоритм 436 управления питанием выбирает постоянную мощность фоновой подсветки исключительно на основе начального заряда батареи 432 и нужного времени 434 работы. Компенсация 442 для этого уровня 444 фоновой подсветки выполняется над каждым изображением 446.

Уравнение 17. Постоянное управление питанием

Уровень 444 фоновой подсветки, а отсюда и энергопотребление являются независимыми от данных изображения 440. Некоторые варианты осуществления могут поддерживать несколько режимов постоянной мощности, позволяя сделать выбор уровня мощности на основе режима мощности. В некоторых вариантах осуществления зависимая от изображения модуляция фоновой подсветки может не использоваться для упрощения реализации системы. В других вариантах осуществления может устанавливаться небольшое количество уровней постоянной мощности и выбираться на основе режима работы или предпочтения пользователя. Некоторые варианты осуществления могут использовать эту идею с единственным уровнем уменьшенной мощности, то есть 75% от максимальной мощности.

Простое адаптивное управление питанием

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.31. Эти варианты осуществления содержат Алгоритм 456 адаптивного управления питанием. Уменьшение 455 мощности из-за модуляции 460 фоновой подсветки возвращается по обратной связи алгоритму 456 управления питанием, делая возможным повышенное качество изображения наряду с обеспечением нужного времени работы системы.

В некоторых вариантах осуществления экономия энергии с зависимой от изображения модуляцией фоновой подсветки может включаться в алгоритм управления питанием путем постепенного обновления статического вычисления максимальной мощности, как в Уравнении 18. Адаптивное управление питанием может содержать вычисление отношения оставшегося заряда батареи (мА·ч) к оставшемуся нужному времени работы (ч), чтобы предоставить верхний предел мощности (мА) алгоритму 460 модуляции фоновой подсветки. Вообще, модуляция 460 фоновой подсветки может выбирать фактическую мощность ниже этого максимума, предоставляя дополнительную экономию энергии. В некоторых вариантах осуществления экономия энергии благодаря модуляции фоновой подсветки может отражаться в виде обратной связи посредством изменения значений оставшегося заряда батареи или работы на средней выбранной мощности, а отсюда влияния на последующие решения по управлению питанием.

Уравнение 18. Адаптивное управление питанием

В некоторых вариантах осуществления, если информация о состоянии батареи недоступна или неточная, оставшийся заряд батареи может оцениваться путем вычисления энергии, используемой дисплеем, т.е. средней выбранной мощности, умноженной на время работы, и вычитания этого из начального заряда батареи.

Уравнение 19. Оценка оставшегося заряда батареи

Эта последняя методика обладает преимуществом выполнения без взаимодействия с батареей.

Управление мощностью/дисторсией

Автор изобретения наблюдал, при изучении дисторсии в зависимости от мощности, что многие изображения демонстрируют очень разную дисторсию при одинаковой мощности. Тусклые изображения с плохим контрастом, например недоэкспонированные фотографии, в действительности могут отображаться лучше на низкой мощности вследствие повышения уровня черного, которое происходит от использования большой мощности.

Алгоритм регулирования мощности может увязать дисторсию изображения с емкостью батареи вместо прямых установок мощности. В некоторых вариантах осуществления настоящего изобретения, проиллюстрированных на фиг.29, методики управления питанием могут содержать параметр 403 дисторсии, например максимальное значение дисторсии, в дополнение к максимальной мощности 401, предоставленной алгоритму 410 управления фоновой подсветкой. В этих вариантах осуществления алгоритм 406 управления питанием может использовать обратную связь от алгоритма 410 модуляции фоновой подсветки в виде характеристик 405 мощности/дисторсии у текущего изображения. В некоторых вариантах осуществления максимальная дисторсия изображения может изменяться на основе целевой мощности и показателя мощности-дисторсии у текущего кадра. В этих вариантах осуществления, в дополнение к обратной связи о фактически выбранной мощности, алгоритм управления питанием может выбирать и обеспечивать плановые показатели 403 дисторсии и может принимать обратную связь о соответствующей дисторсии 405 изображения в дополнение к обратной связи о заряде батареи 402. В некоторых вариантах осуществления дополнительные входные данные могли бы использоваться в алгоритме регулирования мощности, например уровень 408 общего освещения, предпочтение пользователя и режим работы (то есть видео/графика).

Некоторые варианты осуществления настоящего изобретения могут пытаться оптимально распределить мощность по видеопоследовательности наряду с сохранением качества отображения. В некоторых вариантах осуществления для данной видеопоследовательности два критерия могут использоваться для выбора компромисса между используемой полной мощностью и дисторсией изображения. Могут использоваться максимальная дисторсия изображения и средняя дисторсия изображения. В некоторых вариантах осуществления эти показатели могут минимизироваться. В некоторых вариантах осуществления минимизация максимальной дисторсии на последовательности изображений может достигаться с использованием одинаковой дисторсии для каждого изображения в последовательности. В этих вариантах осуществления алгоритм 406 управления питанием может выбирать эту дисторсию 403, позволяющую алгоритму 410 модуляции фоновой подсветки выбирать уровень фоновой подсветки, который соответствует этому плановому показателю 403 дисторсии. В некоторых вариантах осуществления минимизация средней дисторсии может достигаться, когда мощность, выбранная для каждого изображения, является такой, что наклоны кривых дисторсии мощности являются равными. В этом случае алгоритм 406 управления питанием может выбирать наклон кривой дисторсии мощности, полагаясь на алгоритм 410 модуляции фоновой подсветки, чтобы выбрать подходящий уровень фоновой подсветки.

Фиг.32А и 32В могут использоваться для иллюстрации экономии энергии при рассмотрении дисторсии в процессе управления питанием. Фиг.32А - график уровня мощности подсветки для последовательных кадров последовательности изображений. Фиг.32А показывает уровни мощности подсветки, необходимые для поддержания постоянной дисторсии 480 между кадрами и средней мощностью 482 в графике постоянной дисторсии. Фиг.32В - график дисторсии изображения для тех же последовательных кадров последовательности изображений. Фиг.32В показывает дисторсию 484 постоянной мощности, происходящую от поддержания настройки постоянной мощности, уровень 488 постоянной дисторсии, происходящий от поддержания постоянной дисторсии на всей последовательности, и среднюю дисторсию 486 постоянной мощности при поддержании постоянной мощности. Уровень постоянной мощности выбран равным средней мощности результата постоянной дисторсии. Таким образом, оба способа используют одинаковую среднюю мощность. Изучая дисторсию, мы обнаруживаем, что постоянная мощность 484 дает значительное колебание в дисторсии изображения. Также отметим, что средняя дисторсия 486 управления постоянной мощностью более чем в 10 раз превышает дисторсию 488 алгоритма постоянной дисторсии вопреки тому, что оба используют одинаковую среднюю мощность.

На практике оптимизация для минимизации либо максимальной, либо средней дисторсии на видеопоследовательности может оказаться слишком сложной для некоторых приложений, так как дисторсия между исходными и изображениями с уменьшенной мощностью должна вычисляться в каждой точке функции дисторсии мощности, чтобы оценить компромисс мощности-дисторсии. Каждая оценка дисторсии может требовать, чтобы уменьшение фоновой подсветки и соответствующее компенсирующее увеличение освещенности изображения вычислялись и сравнивались с исходным изображением. Следовательно, некоторые варианты осуществления могут содержать более простые способы для вычисления или оценки характеристик дисторсии.

В некоторых вариантах осуществления могут использоваться некоторые приближения. Сначала видно, что точечный показатель дисторсии, например среднеквадратическая ошибка (MSE), может вычисляться из гистограммы кодовых значений изображения, а не из самого изображения, как представлено в Уравнении 20. В этом случае гистограмма является одномерным сигналом только с 256 значениями, в отличие от изображения, которое при разрешении в 320×240 имеет 7680 выборок. Это могло бы дополнительно уменьшиться путем субдискретизации гистограммы при желании.

В некоторых вариантах осуществления приближение может быть осуществлено путем предположения, что изображение просто масштабируется с отсечением на этапе компенсации вместо применения алгоритма фактической компенсации. В некоторых вариантах осуществления также может быть полезно включение слагаемого повышения уровня черного в показатель дисторсии. В некоторых вариантах осуществления использование этого слагаемого может подразумевать, что минимальная дисторсия для полностью черного кадра возникает при нулевой фоновой подсветке.

Уравнение 20. Упрощение вычисления дисторсии

В некоторых вариантах осуществления, чтобы вычислить дисторсию на заданном уровне мощности, для каждого кодового значения может определяться дисторсия, вызванная линейным подъемом с отсечением. Дисторсия затем может взвешиваться по частоте кодового значения и суммироваться, чтобы предоставить среднюю дисторсию изображения на заданном уровне мощности. В этих вариантах осуществления простой линейный подъем для компенсации яркости не дает приемлемого качества для показа изображения, а служит в качестве простого источника для вычисления оценки дисторсии изображения, вызванной изменением фоновой подсветки.

В некоторых вариантах осуществления, проиллюстрированных на фиг.33, для управления как энергопотреблением, так и дисторсией изображения, алгоритм 500 управления питанием может отслеживать не только заряд 506 батареи и оставшееся время 508 работы, но также и дисторсию 510 изображения. В некоторых вариантах осуществления как верхний предел на энергопотребление 512, так и плановый показатель 511 дисторсии могут передаваться в алгоритм 502 модуляции фоновой подсветки. Алгоритм 502 модуляции фоновой подсветки может затем выбрать уровень 512 фоновой подсветки в соответствии с пределом мощности и плановым показателем дисторсии.

Алгоритмы модуляции фоновой подсветки (BMA)

Алгоритм 502 модуляции фоновой подсветки отвечает за выбор уровня фоновой подсветки, используемого для каждого изображения. Этот выбор может основываться на изображении, которое нужно показать, и сигналах от алгоритма 500 управления питанием. С помощью соблюдения предела на подаваемую максимальную мощность 512 посредством алгоритма 500 управления питанием, батарея 506 может управляться в течение нужного времени работы. В некоторых вариантах осуществления алгоритм 502 модуляции фоновой подсветки может выбирать меньшую мощность в зависимости от статистических данных текущего изображения. Это может быть источником экономии энергии на конкретном изображении.

Как только выбирается подходящий уровень 415 фоновой подсветки, фоновая подсветка 416 устанавливается в выбранный уровень, и этот уровень 415 предоставляется алгоритму 414 сохранения яркости, чтобы определить необходимую компенсацию. Для некоторых изображений и последовательностей разрешение небольшой степени дисторсии изображения может значительно уменьшить необходимую мощность фоновой подсветки. Поэтому некоторые варианты осуществления содержат алгоритмы, которые допускают управляемую степень дисторсии изображения.

Фиг.34 - график, показывающий величину экономии энергии на образце DVD-ролика в зависимости от номера кадра для нескольких допусков дисторсии. Процентное отношение пикселей с нулевой дисторсией колебалось от 100% до 97% - 95% и определялась средняя мощность по видеоклипу. Средняя мощность колебалась от 95% до 60% соответственно. Таким образом, разрешение дисторсии в 5% пикселей дало дополнительные 35% экономии энергии. Это демонстрирует значительную экономию энергии, возможную путем разрешения небольшой дисторсии изображения. Если алгоритм сохранения яркости может сохранить субъективное качество, внося небольшую дисторсию, то можно добиться значительной экономии энергии.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.30. Эти варианты осуществления также могут содержать информацию от датчика 438 общего освещения и могут быть уменьшены по сложности для мобильного применения. Эти варианты осуществления содержат статический предел процентиля гистограммы и динамический предел максимальной мощности, передаваемые в алгоритм 436 управления питанием. Некоторые варианты осуществления могут содержать постоянный план мощности, тогда как другие варианты осуществления могут содержать более сложный алгоритм. В некоторых вариантах осуществления изображение может анализироваться путем вычисления гистограмм каждой из составляющих цвета. Кодовое значение на гистограмме, в котором возникает заданный процентиль, может вычисляться для каждой плоскости цветов. В некоторых вариантах осуществления целевой уровень фоновой подсветки может выбираться так, что линейный подъем в кодовых значениях вызовет только отсечение кодового значения, выбранного из гистограммы. Фактический уровень фоновой подсветки может выбираться как минимальный из этого целевого уровня и предела уровня фоновой подсветки, предоставленного алгоритмом 436 управления питанием. Эти варианты осуществления могут обеспечивать гарантированное регулирование мощности и могут позволить ограниченную степень дисторсии изображения в случаях, где может быть достигнут предел регулирования мощности.

Уравнение 21. Выбор мощности на основе процентиля гистограммы

Варианты осуществления на основе дисторсии изображения

Некоторые варианты осуществления настоящего изобретения могут содержать предел дисторсии и предел максимальной мощности, поставляемые алгоритмом управления питанием. Фиг.32В и 34 демонстрируют, что степень дисторсии на данном уровне мощности фоновой подсветки меняется значительно в зависимости от содержания изображения. Свойства характера изменения мощности-дисторсии у каждого изображения могут использоваться в процессе выбора фоновой подсветки. В некоторых вариантах осуществления текущее изображение может анализироваться путем вычисления гистограмм для каждой составляющей цвета. Кривая дисторсии мощности, задающая дисторсию (например, MSE), может вычисляться путем вычисления дисторсии на диапазоне значений мощности, используя второе выражение в Уравнении 20. Алгоритм модуляции фоновой подсветки может выбирать в качестве целевого уровня наименьшую мощность с дисторсией в заданном пределе дисторсии или ниже. Уровень фоновой подсветки тогда может выбираться как минимальный из целевого уровня и предела уровня фоновой подсветки, предоставленного алгоритмом управления питанием. Более того, дисторсия изображения на выбранном уровне может предоставляться алгоритму управления питанием, чтобы управлять обратной связью дисторсии. Частота дискретизации у кривой дисторсии мощности и гистограммы изображения может уменьшаться для управления сложностью.

Сохранение яркости (BP)

В некоторых вариантах осуществления алгоритм BP увеличивает яркость изображения на основе выбранного уровня фоновой подсветки, чтобы компенсировать уменьшенное освещение. Алгоритм BP может управлять дисторсией, введенной в дисплей, и возможность алгоритма BP сохранить качество предписывает, сколько мощности алгоритм модуляции фоновой подсветки может попытаться сохранить. Некоторые варианты осуществления могут компенсировать уменьшение фоновой подсветки путем масштабирования значений отсечения изображения, которые превышают 255. В этих вариантах осуществления алгоритм модуляции фоновой подсветки должен быть консервативным в уменьшении мощности, либо вносятся раздражающие артефакты срезания, соответственно ограничивая возможную экономию энергии. Некоторые варианты осуществления спроектированы для сохранения качества на самых востребованных кадрах при неизменном уменьшении мощности. Некоторые из этих вариантов осуществления компенсируют один уровень фоновой подсветки (то есть 75%). Другие варианты осуществления могут быть обобщены для работы с модуляцией фоновой подсветки.

Некоторые варианты осуществления алгоритма сохранения яркости (BP) могут использовать описание выходного сигнала освещенности от дисплея в зависимости от фоновой подсветки и данных изображения. Используя эту модель, BP может определить изменения в изображении для компенсации уменьшения фоновой подсветки. С прозрачно отражающим дисплеем модель BP может быть изменена для включения в себя описания отражающей особенности дисплея. Выходной сигнал освещенности от дисплея становится функцией фоновой подсветки, данных изображения и общего освещения. В некоторых вариантах осуществления алгоритм BP может определять изменения в изображении для компенсации уменьшения фоновой подсветки в заданных условиях окружающей среды.

Влияние внешней среды

Из-за ограничений реализации некоторые варианты осуществления могут содержать алгоритмы ограниченной сложности для определения параметров BP. Например, разработка алгоритма, полностью работающего на модуле LCD, ограничивает обработку и память, доступную алгоритму. В этом примере формирование дополнительных кривых гаммы для разных сочетаний фоновой подсветки/общего освещения может использоваться для некоторых вариантов осуществления BP. В некоторых вариантах осуществления могут потребоваться ограничения на число и разрешение кривых гаммы.

Кривые мощности/дисторсии

Некоторые варианты осуществления настоящего изобретения могут получать, оценивать, вычислять или иным образом определять характеристики мощности/дисторсии для изображений, включающих, но не только, кадры видеопоследовательности. Фиг.35 - график, показывающий характеристики мощности/дисторсии для четырех типовых изображений. На фиг.35 кривая 520 для изображения C сохраняет отрицательный наклон для всего диапазона мощности подсветки. Кривые 522, 524 и 526 для изображений A, B и D убывают на отрицательном наклоне, пока они не достигнут минимума, затем растут на положительном наклоне. Для изображений A, B и D увеличение мощности подсветки фактически увеличит дисторсию в определенных диапазонах кривых, где кривые обладают положительным наклоном 528. Это может быть обусловлено характеристиками дисплея, такими как, но не только, рассеивание LCD или другие неравномерности дисплея, которые вынуждают показываемое изображение, которое смотрит зритель, постоянно отличаться от кодовых значений.

Некоторые варианты осуществления настоящего изобретения могут использовать эти характеристики для определения подходящих уровней мощности подсветки для определенных изображений или типов изображений. Характеристики дисплея (например, рассеивание LCD) могут учитываться в вычислениях параметров дисторсии, которые используются для определения подходящего уровня мощности подсветки для изображения.

Типовые способы

Некоторые варианты осуществления настоящего изобретения могут описываться относительно фиг.36. В этих вариантах осуществления устанавливается баланс мощности (530). Это может выполняться с использованием простого управления питанием, адаптивного управления питанием и других способов, описанных выше, либо с помощью других способов. Как правило, установление баланса мощности может содержать оценку уровня мощности подсветки, который позволит завершить задачу отображения, например отображения видеофайла, используя неизменный ресурс мощности, например часть заряда батареи. В некоторых вариантах осуществления установление баланса мощности может содержать определение среднего уровня мощности, который позволит завершение задачи отображения с неизменной величиной мощности.

В этих вариантах осуществления также может устанавливаться начальный критерий дисторсии (532). Этот начальный критерий дисторсии может определяться путем оценки уменьшенного уровня мощности подсветки, который будет соответствовать балансу мощности, и измерения дисторсии изображения при этом уровне мощности. Дисторсия может измеряться на нескорректированном изображении, на изображении, которое изменено с использованием методики сохранения яркости (BP), которая описана выше, или на изображении, которое изменено с помощью упрощенного процесса BP.

Как только устанавливается начальный критерий дисторсии, первая часть задачи отображения может быть показана (534) с использованием уровней мощности подсветки, которые вынуждают характеристику дисторсии у показанного изображения или изображений удовлетворять критерию дисторсии. В некоторых вариантах осуществления уровни мощности источника света могут выбираться для каждого кадра видеопоследовательности из условия, чтобы каждый кадр удовлетворял необходимому условию дисторсии. В некоторых вариантах осуществления значения источника света могут выбираться для поддержания постоянной дисторсии или диапазона дисторсии, для сохранения дисторсии ниже заданного уровня или иного соответствия критерию дисторсии.

Затем может оцениваться энергопотребление (536), чтобы определить, соответствует ли мощность, используемая для отображения первой части задачи отображения, параметрам управления балансом мощности. Мощность может распределяться с использованием постоянной величины для каждого изображения, видеокадра или другого элемента задачи отображения. Мощность также может распределяться из условия, чтобы средняя мощность, потребленная в течение последовательности элементов задачи отображения, удовлетворяла некоторому требованию, хотя мощность, потребленная для каждого элемента задачи отображения, может меняться. Также могут использоваться другие схемы распределения мощности.

Когда оценка (536) энергопотребления показывает, что энергопотребление для первой части задачи отображения не соответствовало требованиям баланса мощности, критерий дисторсии может быть изменен (538). В некоторых вариантах осуществления, в которых кривая мощности/дисторсии может оцениваться, предполагаться, вычисляться или иным образом определяться, критерий дисторсии может изменяться, чтобы позволить больше или меньше дисторсии при необходимости, чтобы соответствовать требованию баланса мощности. Хотя кривые мощности/дисторсии являются характерными для изображения, может использоваться кривая мощности/дисторсии для первого кадра последовательности, для типового изображения последовательности или для синтезированного изображения, символизирующего задачу отображения.

В некоторых вариантах осуществления, когда использовалось больше предусмотренной величины мощности для первой части задачи отображения, и наклон кривой мощности/дисторсии является положительным, критерий дисторсии может изменяться, чтобы дать меньше дисторсии. В некоторых вариантах осуществления, когда использовалось больше предусмотренной величины мощности для первой части задачи отображения, и наклон кривой мощности/дисторсии является отрицательным, критерий дисторсии может изменяться, чтобы дать больше дисторсии. В некоторых вариантах осуществления, когда использовалось меньше предусмотренной величины мощности для первой части задачи отображения, и наклон кривой мощности/дисторсии является отрицательным либо положительным, критерий дисторсии может изменяться, чтобы дать меньше дисторсии.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.37. Эти варианты осуществления обычно содержат устройство с батарейным питанием при ограниченной мощности. В этих вариантах осуществления оценивается или измеряется (540) заряд батареи. Требуемая мощность для задачи отображения также может оцениваться или вычисляться (542). Начальный уровень мощности источника света также может оцениваться или иным образом определяться (544). Этот начальный уровень мощности источника света может определяться с использованием заряда батарея и требуемой мощности для задачи отображения, как описано для постоянного управления питанием выше, или с помощью других способов.

Также может определяться (546) критерий дисторсии, который соответствует начальному уровню мощности источника света. Этот критерий может быть значением дисторсии, которое возникает для типового изображения при начальном уровне мощности источника света. В некоторых вариантах осуществления значение дисторсии может основываться на нескорректированном изображении, изображении, измененном с помощью алгоритма фактического или предполагаемого BP, или другом типовом изображении.

Как только определяется критерий дисторсии (546), оценивается первая часть задачи отображения и выбирается (548) уровень мощности подсветки, который заставит дисторсию первой части задачи отображения соответствовать критерию дисторсии. Первая часть задачи отображения затем показывается (550) с использованием выбранного уровня мощности подсветки и оценивается или измеряется мощность, потребленная во время отображения той части (552). Когда это энергопотребление не соответствует требуемой мощности, критерий дисторсии может изменяться (554), чтобы привести энергопотребление в соответствие с требуемой мощностью.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.38А и 38В. В этих вариантах осуществления устанавливается баланс мощности (560), и также устанавливается критерий дисторсии (562). Оба они обычно устанавливаются относительно конкретной задачи отображения, например видеопоследовательности. Затем выбирается изображение (564), например кадр или множество кадров в видеопоследовательности. Затем оценивается уменьшенный уровень мощности подсветки (566) для выбранного изображения, чтобы дисторсия, происходящая от уменьшенного уровня мощности света, соответствовала критерию дисторсии. Это вычисление дисторсии может содержать применение способов предполагаемого или фактического сохранения яркости (BP) к значениям изображения для выбранного изображения.

Выбранное изображение может затем изменяться с помощью способов BP (568), чтобы компенсировать уменьшенный уровень мощности источника света. Затем может быть измерена фактическая дисторсия измененного с BP изображения (570), и определение может выполняться в отношении того, соответствует ли эта фактическая дисторсия критерию дисторсии (572). Если фактическая дисторсия не соответствует критерию дисторсии, то процесс оценки может настраиваться (574), и уменьшенный уровень мощности источника света может оцениваться повторно (566). Если фактическая дисторсия удовлетворяет критерию дисторсии, то выбранное изображение может быть показано (576). Энергопотребление во время показа изображения затем измеряется (578) и сравнивается с ограничением баланса мощности (580). Если энергопотребление удовлетворяет ограничению баланса мощности, то может выбираться (584) следующее изображение, например последующий набор видеокадров, пока не закончится задача отображения (582), и в этот момент процесс завершится. Если выбирается следующее изображение (584), то процесс вернется в точку "В", где будет оцениваться уменьшенный уровень мощности источника света (566) для этого изображения, и процесс будет продолжаться как для первого изображения.

Если энергопотребление для выбранного изображения не соответствует ограничению баланса мощности (580), то критерий дисторсии может изменяться (586), как описано для других вариантов осуществления выше, и будет выбрано следующее изображение (584).

Варианты осуществления с улучшенным уровнем черного

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для улучшения уровня черного у дисплея. Некоторые варианты осуществления используют заданный уровень фоновой подсветки и формируют подходящую к освещенности градационную шкалу, которая и сохраняет яркость, и улучшает уровень черного. Другие варианты осуществления содержат алгоритм модуляции фоновой подсветки, который в своем исполнении включает улучшение уровня черного. Некоторые варианты осуществления могут быть реализованы в виде расширения или модификации вариантов осуществления, описанных выше.

Улучшенный подбор освещенности (показатель, соответствующий идеальному дисплею)

Формулировка подбора освещенности, представленная выше в Уравнении 7, используется для определения линейного масштабирования кодовых значений, которое компенсирует уменьшение фоновой подсветки. Это доказало эффективность в экспериментах с уменьшением мощности до 75%. В некоторых вариантах осуществления с зависимой от изображения модуляцией фоновой подсветки фоновая подсветка может быть значительно уменьшена, например, ниже 10%, для темных кадров. Для этих вариантов осуществления линейное масштабирование кодовых значений, выведенных в Уравнении 7, может быть неподходящим, поскольку оно может чрезмерно повысить темные значения. Хотя варианты осуществления, применяющие эти способы, могут удвоить выходную полную мощность на дисплее с уменьшенной мощностью, это не может использоваться для оптимизации выходного сигнала. Так как дисплей с полной мощностью обладает повышенным уровнем черного, воспроизведение этого выходного сигнала для темных сцен не достигается эффекта уменьшенного уровня черного, возможного с меньшей настройкой мощности фоновой подсветки. В этих вариантах осуществления критерии подбора могут изменяться, и может быть выведена замена для результата, данного в Уравнении 7. В некоторых вариантах осуществления подбирается выходной сигнал идеального дисплея. Идеальный дисплей может содержать нулевой уровень черного и такой же максимальный выходной уровень белого = W, как и дисплей полной мощности. Реакция этого типового идеального дисплея на кодовое значение, cv, может выражаться в Уравнении 22 в показателях максимального выхода W, гаммы дисплея и максимального кодового значения.

Уравнение 22. Идеальный дисплей

В некоторых вариантах осуществления и типовой LCD может иметь такой же максимальный выход W и гамму, но ненулевой уровень черного B. Этот типовой LCD может моделироваться с использованием модели GOG, описанной выше для полной выходной мощности. Выходной сигнал регулируется с помощью относительной мощности фоновой подсветки для мощности меньше 100%. Параметры модели в виде прироста (Gain) и смещения (offset) могут определяться по максимальному выходу W и уровню черного B у дисплея полной мощности, как показано в уравнении 23.

Уравнение 23. Модель GOG с полной мощностью

Выходной сигнал дисплея уменьшенной мощности с относительной мощностью фоновой подсветки P может определяться путем масштабирования результатов полной мощности посредством относительной мощности.

Уравнение 24. Фактический выходной сигнал LCD в сравнении с мощностью и кодовым значением

В этих вариантах осуществления кодовые значения могут изменяться, чтобы выходные сигналы идеального и реального дисплеев были равны, где это возможно. (Если идеальный выходной сигнал не меньше или больше возможного при заданной мощности на реальном дисплее)

Уравнение 25. Критерии для подбора выходных сигналов

Некоторое вычисление определяет в показателях x, P, W, B.

Уравнение 26. Зависимость кодового значения для подбора выходного сигнала

Эти варианты осуществления демонстрируют некоторые свойства зависимости кодового значения для подбора идеального выходного сигнала на реальном дисплее с ненулевым уровнем черного. В этом случае, имеется отсечение на верхнем (=cvMax) и нижнем (=0) краях. Они соответствуют отсечению входа на x_low и x_high, заданному Уравнением 27

Уравнение 27. Точки отсечения

Эти результаты согласуются с предыдущей разработкой авторов изобретения для других вариантов осуществления, в которых предполагается, что дисплей имеет нулевой уровень черного, то есть коэффициент контрастности является бесконечным.

Алгоритм модуляции фоновой подсветки

В этих вариантах осуществления теория подбора освещенности, которая заключает в себе рассмотрения уровня черного путем приведения в соответствие дисплея с заданной мощностью и эталонного дисплея с нулевым уровнем черного, чтобы определить алгоритм модуляции фоновой подсветки. Эти варианты осуществления используют теорию подбора освещенности для определения дисторсии, которое должно иметь изображение при показе с мощностью P по сравнению с показом на идеальном дисплее. Алгоритм модуляции фоновой подсветки может использовать предел максимальной мощности и предел максимальной дисторсии для выбора наименьшей мощности, которая приведет к дисторсии, ниже заданной максимальной дисторсии.

Дисторсия мощности

В некоторых вариантах осуществления, принимая во внимание целевой дисплей, заданный уровнем черного и максимальной яркостью при полной мощности, и изображение для показа, может вычисляться дисторсия в отображении изображения при заданной мощности P. Ограниченная мощность и ненулевой уровень черного у дисплея могут имитироваться на идеальном эталонном дисплее путем отсечения значений больше освещенности дисплея с ограниченной мощностью и путем отсечения значений ниже уровня черного у идеального эталонного дисплея. Дисторсия изображения может задаваться как MSE между исходными кодовыми значениями изображения и отсеченными кодовыми значениями, однако в некоторых вариантах осуществления могут использоваться другие показатели дисторсии.

Изображение с отсечением, которое задается зависимыми от мощности пределами отсечения кодовых значений, введенных в Уравнении 27, задается в Уравнении 28.

Уравнение 28. Отсеченное изображение

Дисторсия между изображением на идеальном дисплее и на дисплее с мощностью P в области пикселей становится

Заметим, что это может вычисляться с использованием гистограммы кодовых значений изображения.

Определение функции градационной шкалы может использоваться для выведения эквивалентной формы этого показателя дисторсии, показанной в виде Уравнения 29.

Уравнение 29. Показатель дисторсии

Этот показатель содержит взвешенную сумму ошибки отсечения на верхних и нижних кодовых значениях. Кривая мощности/дисторсии может быть построена для изображения с использованием выражения из Уравнения 29. Фиг.39 - график, показывающий кривые мощности/дисторсии для различных типовых изображений. Фиг.39 показывает график 590 мощности/дисторсии для сплошного белого изображения, график 592 мощности/дисторсии для яркого крупного плана желтого цветка, график 594 мощности/дисторсии для темного, малоконтрастного изображения группы людей, график 596 мощности/дисторсии для сплошного черного изображения и график 598 мощности/дисторсии для яркого изображения серфера на волне.

Как видно из фиг.39, разные изображения могут иметь достаточно разные зависимости мощности/дисторсии. В крайнем случае черный кадр 596 имеет минимальную дисторсию при нулевой мощности фоновой подсветки, при этом дисторсия резко поднимается, когда мощность увеличивается до 10%. Наоборот, белый кадр 590 имеет максимальную дисторсию при нулевой фоновой подсветке с дисторсией, падающей монотонно до быстрого снижения до нуля при 100%-ной мощности. Яркое изображение 598 серфинга показывает ровное уменьшение дисторсии, когда увеличивается мощность. Два других изображения 592 и 594 показывают минимальную дисторсию на промежуточных уровнях мощности.

Некоторые варианты осуществления настоящего изобретения могут содержать алгоритм модуляции фоновой подсветки, который работает следующим образом:

1. Вычислить гистограмму изображения.

2. Вычислить функцию дисторсии мощности для изображения.

3. Рассчитать наименьшую мощность с дисторсией ниже предела дисторсии.

4. (Необязательный) Ограничить выбранную мощность на основе переданных верхних и нижних пределов мощности.

5. Выбрать вычисленную мощность для фоновой подсветки.

В некоторых вариантах осуществления, описанных в отношении фиг.40 и 41, значение 604 фоновой подсветки, выбранное алгоритмом модуляции BL, может предоставляться алгоритму BP и использоваться для разработки градационной шкалы. Показаны средняя мощность 602 и дисторсия 606. Также показана верхняя граница средней мощности 600, используемая в этом эксперименте. Поскольку используемая средняя мощность значительно ниже этой верхней границы, алгоритм модуляции фоновой подсветки использует меньше мощности, чем просто при использовании постоянной мощности, равной этому среднему пределу.

Разработка гладкой функции градационной шкалы

В некоторых вариантах осуществления настоящего изобретения гладкая функция градационной шкалы содержит две особенности исполнения. Первая предполагает, что задаются параметры для градационной шкалы, и определяет гладкую функцию градационной шкалы, соответствующую тем параметрам. Вторая содержит алгоритм для выбора параметров исполнения.

Параметры предположения исполнения градационной шкалы

Зависимость кодового значения, заданная Уравнением 26, имеет неоднородности наклона при отсечении до допустимого диапазона [cvMin, cvMax]. В некоторых вариантах осуществления настоящего изобретения плавный спад в темном крае может задаваться аналогично тому, как сделано в ярком крае в Уравнении 7. Эти варианты осуществления предполагают Точку максимальной точности (MFP) и Точку наименьшей точности (LFP), между которыми градационная шкала согласуется с Уравнением 26. В некоторых вариантах осуществления градационная шкала может создаваться непрерывной и иметь непрерывную первую производную как в MFP, так и в LFP. В некоторых вариантах осуществления градационная шкала может проходить через точки экстремума (ImageMinCV, cvMin) и (ImageMaxCV, cvMax). В некоторых вариантах осуществления градационная шкала может изменяться с однородного подъема в верхних и нижних краях. Более того, пределы кодовых значений изображения могут использоваться для определения точек экстремума вместо использования фиксированных пределов. Можно использовать фиксированные пределы в этой конструкции, но могут возникнуть проблемы с большим уменьшением мощности. В некоторых вариантах осуществления эти условия однозначно задают фрагментарную квадратичную градационную шкалу, которая выводится ниже.

Условия.

Уравнение 30. Определение градационной шкалы

Уравнение 31. Наклон градационной шкалы

Беглое изучение непрерывности градационной шкалы и первой производной в LFP и MFP приводит к

Уравнение 32. Решение для параметров B, C, E, F градационной шкалы

Вершины определяют постоянные A и D в виде:

Уравнение 33. Решение для параметров A и D градационной шкалы

В некоторых вариантах осуществления эти зависимости определяют плавное расширение градационной шкалы, предполагая, что доступны MFP/LFP и ImageMaxCV/ImageMinCV. Это оставляет открытым необходимость выбирать эти параметры. Дополнительные варианты осуществления содержат способы и системы для выбора этих параметров исполнения.

Выбор параметра (MFP/LFP)

Некоторые варианты осуществления настоящего изобретения, описанные выше и в родственных заявках, направлены только на MFP с ImageMaxCV, равным 255, cvMax использовалось вместо ImageMaxCV в этих вариантах осуществления. Эти ранее описанные варианты осуществления имели линейную градационную шкалу в нижнем крае вследствие сопоставления на основе дисплея полной мощности, а не идеального дисплея. В некоторых вариантах осуществления MFP выбиралась так, чтобы плавная градационная шкала имела нулевой наклон в верхнем пределе, ImageMaxCV. Математически MFP задавалось с помощью:

Уравнение 34. Критерий выбора MFP

Решение этого критерия устанавливает связь MFP с верхней точкой отсечения и максимальным кодовым значением:

Уравнение 35. Прежние критерии выбора MFP

Для умеренного уменьшения мощности, например P=80%, эти прежние критерии выбора MFP работают хорошо. Для большого уменьшения мощности эти варианты осуществления могут превзойти результаты ранее описанных вариантов осуществления.

В некоторых вариантах осуществления авторы изобретения выбирали критерий выбора MFP подходящим для большого уменьшения мощности. Использование значения ImageMaxCV непосредственно в Уравнении 35 может вызвать проблемы. В изображениях, где мощность низкая, предполагали низкое максимальное кодовое значение. Если максимальное кодовое значение в изображении, ImageMaxCV, известно как небольшое, Уравнение 35 дает приемлемое значение для MFP, но в некоторых случаях ImageMaxCV либо неизвестно, либо большое, что может привести к чрезмерным, то есть отрицательным значениям MFP. В некоторых вариантах осуществления, если максимальное кодовое значение неизвестно или слишком высокое, другое значение может выбираться для ImageMaxCV и применяться в результате выше.

В некоторых вариантах осуществления k может задаваться в качестве параметра, определяющего наименьшую долю отсеченного значения x _high , которую может иметь MFP. Тогда k может использоваться для определения, является ли приемлемой MFP, вычисленная с помощью Уравнения 35, то есть

Уравнение 36. "Приемлемые" критерии MFP

Если вычисленная MFP не является приемлемой, MFP может быть задана как наименьшее приемлемое значение, и может определяться необходимое значение ImageMaxCV, Уравнение 37. Значения MFP и ImageMaxCV могут затем использоваться для определения градационной шкалы, как рассматривается ниже.

Уравнение 37. Исправление ImageMaxCV

Этапы для выбора MFP в некоторых вариантах осуществления обобщаются ниже:

1. Вычислить возможную MFP с использованием ImageMaxCV (или cvMax, если недоступно).

2. Проверить приемлемость, используя Уравнение 36.

3. Если чрезмерная, задать MFP на основе доли k кодового значения отсечения.

4. Рассчитать новое ImageMaxCV, используя Уравнение 37.

5. Вычислить гладкую функцию градационной шкалы, используя MFP, ImageMaxCV и мощность.

Аналогичные методики могут применяться для выбора LFP в темном крае, используя ImageMinCV и x_low.

Типовые исполнения градационной шкалы на основе алгоритмов разработки плавной градационной шкалы и автоматического выбора параметра показаны на фиг.42-45. Фиг.42 и 43 показывают типовое исполнение градационной шкалы, где выбран уровень мощности фоновой подсветки в 11%. Показана линия 616, соответствующая линейному участку исполнения градационной шкалы между MFP 610 и LFP 612. Исполнение 614 градационной шкалы изгибается от линии 616 выше MFP 610 и ниже LFP 612, но совпадает с линией 616 между LFP 612 и MFP 610. Фиг.41 - увеличенное изображение темной области исполнения градационной шкалы из фиг.42. LFP 612 является явно видимой, и нижнюю кривую 620 в исполнении градационной шкалы можно видеть отклоняющейся от линейного продолжения 622.

Фиг.44 и 45 показывают типовое исполнение градационной шкалы, в котором уровень фоновой подсветки выбран на 89% максимальной мощности. Фиг.44 показывает линию 634, совпадающую с линейной частью исполнения градационной шкалы. Линия 634 представляет реакцию идеального дисплея. Исполнение 636 градационной шкалы отклоняется (636, 638) от идеального линейного отображения 634 дисплея выше MFP 630 и ниже LFP 632. Фиг.45 показывает увеличенное представление темного края исполнения 636 градационной шкалы ниже LFP 640, где исполнение 642 градационной шкалы отклоняется от продолжения 644 идеального дисплея.

В некоторых вариантах осуществления настоящего изобретения вычисление дисторсии может изменяться путем изменения вычисления ошибки между изображениями идеального и реального дисплея. В некоторых вариантах осуществления MSE может заменяться суммой дисторсионных пикселей. В некоторых вариантах осуществления ошибка отсечения в верхних и нижних областях может взвешиваться по-разному.

Некоторые варианты осуществления настоящего изобретения могут содержать датчик общего освещения. Если доступен датчик общего освещения, то датчик может использоваться для изменения показателя дисторсии, включающего воздействия окружающего освещения и отражения экрана. Это может использоваться для изменения показателя дисторсии, а отсюда и алгоритма модуляции фоновой подсветки. Информация о внешней среде может использоваться для управления исполнением градационной шкалы также путем указания важной воспринимаемой точки отсечения в черном крае.

Варианты осуществления с сохранением цвета

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для сохранения цветовых характеристик наряду с улучшением яркости изображения. В некоторых вариантах осуществления сохранение яркости содержит преобразование объемной гаммы на полной мощности в меньшую объемную гамму дисплея с уменьшенной мощностью. В некоторых вариантах осуществления используются разные способы для сохранения цвета. Некоторые варианты осуществления сохраняют оттенок/насыщенность цвета в обмен на уменьшение подъема освещенности.

Некоторые не сохраняющие цвет варианты осуществления, описанные выше, обрабатывают каждый канал цветности функционирующим независимо, чтобы предоставить совпадение освещенности на каждом канале цветности. В тех, не сохраняющих цвет, вариантах осуществления сильно насыщенные цвета или цвета подсвечивания могут стать ненасыщенными и/или поменяться в оттенке после обработки. Сохраняющие цвет варианты осуществления направляют усилия на эти цветовые артефакты, но в некотором случае могут немного уменьшить подъем освещенности.

Некоторые сохраняющие цвет варианты осуществления также могут применять операцию отсечения, когда воссоединяются низкочастотные и высокочастотные каналы. Отсечение каждого канала цветности по отдельности снова может привести к изменению цвета. В вариантах осуществления, применяющих сохраняющее цвет отсечение, операция отсечения может использоваться для сохранения оттенка/насыщенности. В некоторых случаях это сохраняющее цвет отсечение может уменьшить освещенность отсеченных значений ниже, чем у других не сохраняющих цвет вариантов осуществления.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.46. В этих вариантах осуществления считывается входное изображение 650, и определяются кодовые значения, соответствующие разным каналам цветности для заданного расположения пикселя (652). В некоторых вариантах осуществления входное изображение может быть в формате, который содержит информацию об отдельных каналах цветности, записанную в файл изображения. В типовом варианте осуществления изображение может записываться с красным, зеленым и синим (RGB) каналами цветности. В других вариантах осуществления файл изображения может записываться в формате голубого, пурпурного, желтого и черного (CMYK), формате Lab, YUV или в другом формате. Входное изображение может быть в формате, содержащем отдельный канал сигнала освещенности, например Lab, или в формате без отдельного канала сигнала освещенности, например RGB. Когда файл изображения не имеет легкодоступных данных отдельного канала цветности, файл изображения может быть преобразован в формат с данными канала цветности.

Как только определяются (652) кодовые значения для каждого канала цветности, затем определяется максимальное кодовое значение среди кодовых значений канала цветности (654). Это максимальное кодовое значение затем может использоваться для определения параметров модели настройки кодовых значений (656). Модель настройки кодовых значений может формироваться многими способами. Кривая настройки градационной шкалы, функция прироста или другие модели настройки могут использоваться в некоторых вариантах осуществления. В типовых вариантах осуществления может использоваться кривая настройки градационной шкалы, которая улучшает освещенность изображения в ответ на уменьшенную настройку мощности фоновой подсветки. В некоторых вариантах осуществления модель настройки кодовых значений может содержать кривую настройки градационной шкалы, которая описана выше в отношении других вариантов осуществления. Кривая настройки кодовых значений затем может применяться (658) к каждому из кодовых значений канала цветности. В этих вариантах осуществления применение кривой настройки кодовых значений приведет к одинаковому значению прироста, применяемому к каждому каналу цветности. Как только выполнены настройки, процесс будет продолжаться для каждого пикселя (660) в изображении.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.47. В этих вариантах осуществления считывается входное изображение 670 и выбирается первое расположение пикселя (672). Кодовые значения для первого канала цветности определяются (674) для выбранного расположения пикселя, и кодовые значения для второго канала цветности определяются (676) для выбранного расположения пикселя. Эти кодовые значения затем анализируются, и одно из них выбирается (678) на основе критерия выбора кодового значения. В некоторых вариантах осуществления может выбираться максимальное кодовое значение. Это выбранное кодовое значение затем может использоваться в качестве входных данных для генератора 680 модели настройки кодовых значений, который будет формировать модель. Модель затем может применяться (682) к кодовым значениям первого и второго каналов цветности с практически равным приростом, применяемым к каждому каналу. В некоторых вариантах осуществления значение прироста, полученное из модели настройки, может применяться ко всем каналам цветности. Обработка затем может переходить к следующему пикселю (684), пока не обработается все изображение.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.48. В этих вариантах осуществления входное изображение 690 вводится в систему. Изображение затем фильтруется (692) для создания изображения с первым частотным диапазоном. В некоторых вариантах осуществления это может быть низкочастотное изображение или изображение некоторого другого частотного диапазона. Также может быть сформировано изображение со вторым частотным диапазоном (694). В некоторых вариантах осуществления изображение со вторым частотным диапазоном может быть создано путем вычитания изображения с первым частотным диапазоном из входного изображения. В некоторых вариантах осуществления, где изображение с первым частотным диапазоном является низкочастотным (LP) изображением, изображение со вторым частотным диапазоном может быть высокочастотным (HP) изображением. Затем может определяться (696) кодовое значение для первого канала цветности в изображении с первым частотным диапазоном для расположения пикселя, и также может определяться (698) кодовое значение для второго канала цветности в изображении с первым частотным диапазоном для расположения пикселя. Затем выбирается одно из кодовых значений канала цветности (700) путем сравнения кодовых значений или их характеристик. В некоторых вариантах осуществления может выбираться максимальное кодовое значение. Затем может быть сформирована или получена (702) модель настройки с использованием выбранного кодового значения в качестве входных данных. Это может привести к множителю прироста, который может применяться (704) к кодовому значению первого канала цветности и кодовому значению второго канала цветности.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.49. В этих вариантах осуществления входное изображение 710 может быть введено в селектор 712 пикселей, который может установить пиксель, который нужно корректировать. Считыватель 714 кодового значения первого канала цветности может считать кодовое значение для выбранного пикселя для первого канала цветности. Считыватель 716 кодового значения второго канала цветности также может считать кодовое значение для второго канала цветности в выбранном расположении пикселя. Эти кодовые значения могут анализироваться в модуле 718 анализа, где будет выбираться одно из кодовых значений на основе характеристики кодового значения. В некоторых вариантах осуществления может выбираться максимальное кодовое значение. Это выбранное кодовое значение затем может быть введено в генератор 720 модели или селектор модели, который может определить значение или модель прироста. Это значение или модель прироста затем может применяться (722) к кодовым значениям обоих каналов цветности независимо от того, выбиралось ли кодовое значение модулем 718 анализа. В некоторых вариантах осуществления при применении модели можно обращаться к входному изображению (728). Управление затем может передаваться обратно (726) селектору 712 пикселей, чтобы выполнять цикл по другим пикселям в изображении.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.50. В этих вариантах осуществления входное изображение 710 может быть введено в фильтр 730, чтобы получить изображение 732 с первым частотным диапазоном и изображение 734 со вторым частотным диапазоном. Изображение с первым частотным диапазоном может быть преобразовано, чтобы сделать возможным доступ к кодовым значениям отдельных каналов цветности (736). В некоторых вариантах осуществления входное изображение может обеспечивать доступ к кодовым значениям канала цветности без какого-либо преобразования. Может определяться кодовое значение 738 для первого канала цветности в первом частотном диапазоне, и может определяться кодовое значение 740 для второго канала цветности в первом частотном диапазоне.

Эти кодовые значения могут вводиться в анализатор 742 характеристик кодового значения, который может определять характеристики кодового значения. Селектор 744 кодового значения затем может выбрать одно из кодовых значений на основе анализа кодовых значений. Этот выбор затем может вводиться в селектор или генератор 746 модели настройки, который будет формировать или выбирать значение прироста или карту прироста на основе выбора кодового значения. Значение или карта прироста могут быть затем применены (748) к кодовым значениям первого частотного диапазона для обоих каналов цветности в корректируемом пикселе. Этот процесс может повторяться, пока не скорректировано все изображение с первым частотным диапазоном (750). Карта прироста также может применяться (753) к изображению 734 со вторым частотным диапазоном. В некоторых вариантах осуществления постоянный коэффициент прироста может применяться ко всем пикселям в изображении со вторым частотным диапазоном. В некоторых вариантах осуществления изображение со вторым частотным диапазоном может быть высокочастотной версией входного изображения 710. Скорректированное изображение 750 с первым частотным диапазоном и скорректированное изображение 753 со вторым частотным диапазоном могут складываться или иным образом объединяться (754) для создания скорректированного выходного изображения 756.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.51. В этих вариантах осуществления входное изображение 710 может отправляться в фильтр 760 или какой-нибудь другой процессор для разделения изображения на изображения нескольких частотных диапазонов. В некоторых вариантах осуществления фильтр 760 может содержать фильтр нижних частот (LP) и процессор для вычитания LP-изображения, созданного с помощью LP-фильтра, из входного изображения для создания высокочастотного (HP) изображения. Модуль 760 фильтра может вывести два или более частотных изображений 762, 764, причем каждое имеет определенный частотный диапазон. Изображение 762 с первым частотным диапазоном может содержать данные канала цветности для первого канала 766 цветности и второго канала 768 цветности. Кодовые значения для этих каналов цветности могут отправляться модулю 770 оценки характеристик кодового значения и/или селектору 772 кодового значения. Этот процесс приведет к выбору одного из кодовых значений канала цветности. В некоторых вариантах осуществления будет выбрано максимальное кодовое значение из данных канала цветности для определенного расположения пикселя. Это выбранное кодовое значение может быть передано генератору 774 режима настройки, который сформирует модель настройки кодовых значений. В некоторых вариантах осуществления эта модель настройки может содержать карту прироста или значение прироста. Эта модель настройки затем может применяться (776) к каждому из кодовых значений канала цветности для анализируемого пикселя. Этот процесс может повторяться для каждого пикселя в изображении, приводя к скорректированному изображению 778 с первым частотным диапазоном.

Изображение 764 со вторым частотным диапазоном при желании может корректироваться с помощью отдельной функции 765 прироста, чтобы повысить кодовые значения. В некоторых вариантах осуществления может не применяться никакой настройки. В других вариантах осуществления постоянный коэффициент прироста может применяться ко всем кодовым значениям в изображении со вторым частотным диапазоном. Это изображение со вторым частотным диапазоном может объединяться со скорректированным изображением 778 с первым частотным диапазоном для образования скорректированного объединенного изображения 781.

В некоторых вариантах осуществления применение модели настройки к изображению с первым частотным диапазоном и/или применение функции прироста к изображению со вторым частотным диапазоном может привести к тому, что некоторые кодовые значения изображения превышают диапазон устройства отображения или формата изображения. В этих случаях может потребоваться "отсечь" кодовые значения до необходимого диапазона. В некоторых вариантах осуществления может использоваться сохраняющий цвет процесс 782 отсечения. В этих вариантах осуществления кодовые значения, которые выпадают из заданного диапазона, могут отсекаться способом, который сохраняет соотношение между значениями цвета. В некоторых вариантах осуществления может вычисляться множитель, который не превышает максимальное значение в необходимом диапазоне, разделенное на максимальное кодовое значение канала цветности для анализируемого пикселя. Это приведет к коэффициенту "прироста", который меньше единицы и который уменьшит "завышенное" кодовое значение до максимального значения в необходимом диапазоне. Это значение "прироста" или отсечения может применяться ко всем кодовым значениям канала цветности, чтобы сохранить цвет пикселя, в то же время уменьшая все кодовые значения до значения, которое меньше либо равно максимальному значению в заданном диапазоне. Применение этого процесса отсечения приводит к скорректированному выходному изображению 784, у которого все кодовые значения находятся в заданном диапазоне и который сохраняет соотношение цвета у кодовых значений.

Некоторые варианты осуществления настоящего изобретения могут описываться относительно фиг.52. В этих вариантах осуществления сохраняющее цвет отсечение используется для сохранения соотношений цвета, в то же время ограничивая кодовые значения заданным диапазоном. В некоторых вариантах осуществления объединенное скорректированное изображение 792 может соответствовать объединенному скорректированному изображению 781, описанному в отношении фиг.51. В других вариантах осуществления объединенное скорректированное изображение 792 может быть любым другим изображением, которое имеет кодовые значения, которые нужно отсечь до заданного диапазона.

В этих вариантах осуществления определяется кодовое значение 794 первого канала цветности и определяется кодовое значение 796 второго канала цветности для заданного расположения пикселя. Эти кодовые значения 794, 796 канала цветности оцениваются в модуле 798 оценки характеристик кодового значения, чтобы определить выборочную характеристику кодового значения и выбрать кодовое значение канала цветности. В некоторых вариантах осуществления выборочная характеристика будет максимальным значением, и большее кодовое значение будет выбрано в качестве входных данных для генератора 800 настройки. Выбранное кодовое значение может использоваться в качестве входных данных для формирования настройки 800 отсечения. В некоторых вариантах осуществления эта настройка уменьшит максимальное кодовое значение до значения в заданном диапазоне. Эта настройка отсечения затем может применяться ко всем кодовым значениям канала цветности. В типовом варианте осуществления кодовые значения первого канала цветности и второго канала цветности будут уменьшены (802) на одинаковый коэффициент, посредством этого сохраняя отношение двух кодовых значений. Применение этого процесса ко всем пикселям в изображении приведет к выходному изображению 804 с кодовыми значениями, которые попадают в заданный диапазон.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.53. В этих вариантах осуществления способы реализуются в области RGB путем управления приростом, применяемым ко всем трем составляющим цвета на основе максимальной составляющей цвета. В этих вариантах осуществления входное изображение 810 обрабатывается путем разложения 812 частоты. В типовом варианте осуществления фильтр 814 нижних частот (LP) применяется к изображению для создания LP-изображения 820, которое затем вычитается из входного изображения 810 для создания высокочастотного (HP) изображения 826. В некоторых вариантах осуществления для LP-фильтра может использоваться пространственный фильтр 5×5 с прямоугольной характеристикой. В каждом пикселе в LP-изображении 820 выбирается максимальное значение 816 трех каналов цветности (R, G и B) и вводится в карту 818 LP-прироста, которая выбирает подходящую функцию прироста для применения ко всем значениям канала цветности для этого конкретного пикселя. В некоторых вариантах осуществления прирост в пикселе со значениями [r, g, b] может определяться с помощью 1-D LUT, проиндексированной по max(r, g, b). Прирост в значении x может выводиться из значения кривой градационной шкалы фотометрического совпадения, описанной выше, в значении x, деленного на x.

Функция 834 прироста также может применяться к HP-изображению 826. В некоторых вариантах осуществления функция 834 прироста может быть постоянным коэффициентом прироста. Это измененное HP-изображение объединяется (830) со скорректированным LP-изображением для образования выходного изображения 832. В некоторых вариантах осуществления выходное изображение 832 может содержать кодовые значения, которые находятся вне диапазона для применения. В этих вариантах осуществления процесс отсечения может применяться, как объяснялось выше в отношении фиг.51 и 52.

В некоторых вариантах осуществления настоящего изобретения, описанных выше, модель настройки кодовых значений для LP-изображения может быть спроектирована так, что для пикселей, чья максимальная составляющая цвета ниже некоторого параметра, например точки максимальной точности, прирост компенсирует уменьшение в уровне мощности фоновой подсветки. Низкочастотный прирост плавно спадает до 1 на границе цветовой гаммы таким образом, что обработанный низкочастотный сигнал остается в пределах гаммы.

В некоторых вариантах осуществления обработка HP-сигнала может быть независимой от выбора обработки низкочастотного сигнала. В вариантах осуществления, которые компенсируют уменьшенную мощность фоновой подсветки, HP-сигнал может быть обработан с постоянным приростом, который сохранит контраст, когда уменьшается мощность. Формула для прироста HP-сигнала в показателях полной и уменьшенной мощностей фоновой подсветки и гаммы дисплея приводится в 5. В этих вариантах осуществления подъем высокочастотного контраста устойчив к шуму, поскольку прирост обычно небольшой, например прирост равен 1,1 для 80%-ного уменьшения мощности и гаммы 2,2.

В некоторых вариантах осуществления результат обработки LP-сигнала и HP-сигнала суммируется и отсекается. Отсечение может применяться ко всему вектору выборок RGB в каждом пикселе, одинаково масштабируя все три составляющие, чтобы наибольшая составляющая масштабировалась до 255. Отсечение возникает, когда повышенное HP-значение, прибавленное к LP-значению, превышает 255, и обычно характерно только для ярких сигналов с высоким контрастом. Как правило, с помощью построения LUT обеспечивается, что LP-сигнал не превышает верхний предел. HP-сигнал может вызывать отсечение в сумме, но отрицательные значения HP-сигнала никогда не отсекутся, тем самым поддерживая некоторый контраст, даже когда возникает отсечение.

Варианты осуществления настоящего изобретения могут попытаться оптимизировать яркость изображения, либо они могут попытаться оптимизировать сохранение или совпадение цвета наряду с увеличением яркости. Как правило, существует компромисс между изменением цвета при максимизации освещенности или яркостью. Когда предотвращается изменение цвета, обычно будет страдать яркость. Некоторые варианты осуществления настоящего изобретения могут попытаться уравновесить соотношение между изменением цвета и яркостью путем формирования взвешенного прироста, примененного к каждой составляющей цвета, как показано в уравнении 38.

Уравнение 38. Взвешенный прирост

Этот взвешенный прирост колеблется между максимальным совпадением освещенности при альфа, равной 0 до минимальных цветовых артефактов при альфа, равной 1. Отметим, что когда все кодовые значения находятся ниже параметра MFP, все три прироста равны.

Основанные на модели дисплея, связанные с дисторсией варианты осуществления

Термин "масштабирование фоновой подсветки" может относиться к методике для уменьшения фоновой подсветки LCD и одновременного изменения данных, отправляемых в LCD, чтобы компенсировать уменьшение фоновой подсветки. Основная особенность этой методики - выбор уровня фоновой подсветки. Варианты осуществления настоящего изобретения могут выбирать уровень освещенности фоновой подсветки в LCD, используя модуляцию фоновой подсветки либо для экономии энергии, либо для улучшенного динамического контраста. Способы, используемые для решения этой проблемы, могут разделяться на зависимые от изображения и независимые от изображения методики. Зависимые от изображения методики могут иметь целью ограничение величины отсечения, вводимого последующей обработкой изображения с компенсацией фоновой подсветки.

Некоторые варианты осуществления настоящего изобретения могут использовать оптимизацию для выбора уровня фоновой подсветки. Принимая во внимание изображение, процедура оптимизации может выбрать уровень фоновой подсветки для минимизации дисторсии между изображением, как оно появилось бы на гипотетическом эталонном дисплее, и изображением, как оно появилось бы на реальном дисплее.

Нижеследующие термины могут использоваться для описания элементов вариантов осуществления настоящего изобретения:

1. Модель эталонного дисплея. Модель эталонного дисплея может представлять собой нужный выходной сигнал из дисплея, например LCD. В некоторых вариантах осуществления модель эталонного дисплея может моделировать идеальный дисплей с нулевым уровнем черного или дисплей с неограниченным динамическим диапазоном.

2. Модель реального дисплея. Модель выходного сигнала реального дисплея. В некоторых вариантах осуществления выходной сигнал реального дисплея может моделироваться для разных уровней фоновой подсветки, и реальный дисплей может моделироваться как имеющий ненулевой уровень черного. В некоторых вариантах осуществления алгоритм выбора фоновой подсветки может зависеть от коэффициента контрастности дисплея через этот параметр.

3. Сохранение яркости (BP). Обработка исходного изображения для компенсации уменьшенного уровня фоновой подсветки. Изображение, как оно появилось бы на реальном дисплее, является выходными данными модели дисплея при заданном уровне фоновой подсветки на изображении с увеличенной яркостью. Некоторыми типовыми случаями являются:

- Отсутствие сохранения яркости. Необработанные данные изображения отправляются на LCD-панель. В этом случае алгоритм выбора фоновой подсветки изменяет только фоновую подсветку - следовательно, яркость не сохраняется.

- Линейный подъем для компенсации яркости. Изображение обрабатывается с использованием простого аффинного преобразования, чтобы компенсировать уменьшение фоновой подсветки. Хотя этот простой алгоритм сохранения яркости жертвует качеством изображения, если в действительности используется для компенсации фоновой подсветки, он является эффективным инструментом для выбора значения фоновой подсветки.

- Наложение градационной шкалы. Изображение обрабатывается с использованием карты градационной шкалы, которая может содержать линейные и нелинейные участки. Участки могут использоваться для ограничения отсечения и улучшения контраста.

4. Показатель дисторсии. Модель дисплея и алгоритм сохранения яркости могут использоваться для определения изображения, как оно появилось бы на реальном дисплее. Затем может вычисляться дисторсия между этим выходным сигналом и изображением на эталонном дисплее. В некоторых вариантах осуществления дисторсия может вычисляться исключительно на основе кодовых значений изображения. Дисторсия зависит от выбора показателя ошибки, в некоторых вариантах осуществления может использоваться среднеквадратическая ошибка.

5. Критерии оптимизации. Дисторсия может минимизироваться при соблюдении разных ограничений. Например, в некоторых вариантах осуществления могут использоваться следующие критерии:

- Минимизировать дисторсию на каждом кадре видеопоследовательности.

- Минимизировать максимальную дисторсию при соблюдении ограничения средней фоновой подсветки.

- Минимизировать среднюю дисторсию при соблюдении ограничения средней фоновой подсветки.

Модели дисплеев.

В некоторых вариантах осуществления настоящего изобретения модель GoG может использоваться как для модели эталонного дисплея, так и модели реального дисплея. Эта модель может изменяться для масштабирования на основе уровня фоновой подсветки. В некоторых вариантах осуществления эталонный дисплей может моделироваться в виде идеального дисплея с нулевым уровнем черного и максимальным выходом W. Реальный дисплей может моделироваться как имеющий такой же максимальный выход W при полной фоновой подсветке и уровень черного B при полной фоновой подсветке. Коэффициент контрастности равен W/B. Коэффициент контрастности является бесконечным, когда уровень черного нулевой. Эти модели могут выражаться математически с использованием CV_Max для обозначения максимального кодового значения изображения в уравнениях ниже.

Уравнение 39. Модель выходного сигнала эталонного (идеального) дисплея

Для реального LCD с максимальным выходом W и минимальным выходом B при полном уровне фоновой подсветки, то есть P=1; выходной сигнал моделируется как масштабирование с относительным уровнем фоновой подсветки P. Коэффициент контрастности CR=W/B не зависит от уровня фоновой подсветки.

Уравнение 40. Модель реального LCD

Сохранение яркости

В этом типовом варианте осуществления используется процесс BP на основе простого подъема и отсечения, в котором подъем выбирается для компенсации уменьшения фоновой подсветки, где это возможно. Нижеследующий вывод показывает модификацию градационной шкалы, которая обеспечивает совпадение освещенности между эталонным дисплеем и реальным дисплеем при заданной фоновой подсветке. Как максимальный выход, так и уровень черного у реального дисплея масштабируются с помощью фоновой подсветки. Отметим, что выходной сигнал реального дисплея ограничивается ниже масштабированного выходного максимума и выше масштабированного уровня черного. Это соответствует отсечению результата градационной шкалы подбора освещенности до 0 и CV_max.

Уравнение 41. Критерии для согласования выходных сигналов

Пределы отсечения на cv' подразумевают пределы отсечения на диапазоне подбора освещенности.

Уравнение 42. Пределы отсечения

Уравнение 43. Точки отсечения

Градационная шкала обеспечивает совпадение выходного сигнала для кодовых значений выше минимального и ниже максимального, где минимум и максимум зависят от относительной мощности фоновой подсветки P и коэффициента контрастности реального дисплея CR=W/B.

Вычисление дисторсии

Различные измененные изображения, созданные и использованные в вариантах осуществления настоящего изобретения, можно описать со ссылкой на фиг.54. Исходное изображение I 840 может использоваться в качестве входных данных в создании каждого из этих типовых измененных изображений. В некоторых вариантах осуществления исходное входное изображение 840 обрабатывается (842), чтобы произвести идеальный выходной сигнал, Y_Ideal 844. Процессор идеальных изображений, эталонный дисплей 842 может предполагать, что идеальный дисплей обладает нулевым уровнем черного. Это выходной сигнал Y_Ideal 844 может представлять исходное изображение 840, которое видно на эталонном (идеальном) дисплее. В некоторых вариантах осуществления, полагая, что задается уровень фоновой подсветки, можно вычислить дисторсию, вызванную отображением изображения с этим уровнем фоновой подсветки на реальном LCD.

В некоторых вариантах осуществления сохранение 846 освещенности может использоваться для формирования изображения I' 850 из изображения I 840. Изображение I' 850 затем может отправляться процессору 854 реального LCD вместе с выбранным уровнем фоновой подсветки. Результирующий выходной сигнал помечается Y_actual 858.

Модель эталонного дисплея может имитировать выходной сигнал реального дисплея путем использования входного изображения I* 852.

Выходной сигнал реального LCD 854 является результатом прохождения исходного изображения I 840 через функцию 846 градационной шкалы подбора освещенности, чтобы получить изображение I' 850. Это не может точно воспроизводить эталонный выходной сигнал, зависящий от уровня фоновой подсветки. Однако выходной сигнал реального дисплея может имитироваться на эталонном дисплее 842. Изображение I* 852 обозначает данные изображения, отправленные на эталонный дисплей 842, чтобы имитировать выходной сигнал реального дисплея, посредством этого создавая Y_emulated 860. Изображение I* 852 создается путем отсечения изображения I 840 до диапазона, определенного точками отсечения, заданными выше относительно Уравнения 43 и где-то в другом месте. В некоторых вариантах осуществления I* может математически описываться в виде:

Уравнение 44. Отсеченное изображение

В некоторых вариантах осуществления дисторсия может задаваться в виде разницы между выходным сигналом эталонного дисплея с изображением I и выходным сигналом реального дисплея с уровнем фоновой подсветки P и изображением I'. Поскольку изображение I* имитирует выходной сигнал реального дисплея на эталонном дисплее, дисторсия между эталонным и реальным дисплеем равна дисторсии между изображениями I и I* на эталонном дисплее.

Уравнение 45

Поскольку оба изображения находятся на эталонном дисплее, дисторсия может измеряться только между данными изображения, без необходимости выходного сигнала дисплея.

Уравнение 46

Показатель дисторсии изображения

Анализ выше показывает, что дисторсия между отображением изображения I 840 на эталонном дисплее и отображением на реальном дисплее эквивалентна дисторсии между отображением обоих изображений I 840 и I* 852 на эталонном дисплее. В некоторых вариантах осуществления точечный показатель дисторсии может использоваться для установления дисторсии между изображениями. Учитывая точечную дисторсию d, дисторсия между изображениями может вычисляться путем суммирования разницы между изображениями I и I*. Поскольку изображение I* имитирует совпадение освещенности, ошибка состоит из отсечения в верхнем и нижнем пределах. В некоторых вариантах осуществления стандартная гистограмма изображения h(x) может использоваться для установления дисторсии изображения по отношению к мощности фоновой подсветки.

Уравнение 47

Кривая фоновой подсветки в зависимости от дисторсии

Принимая во внимание эталонный дисплей, реальный дисплей, определение дисторсии и изображение, дисторсия может вычисляться в диапазоне уровней фоновой подсветки. При объединении эти данные дисторсии могут образовать кривую фоновой подсветки в зависимости от дисторсии. Кривая фоновой подсветки в зависимости от дисторсии может быть проиллюстрирована с использованием выборочного кадра, который является тусклым изображением вида из темной комнаты, и модели идеального дисплея с нулевым уровнем черного, модели реального LCD с коэффициентом контрастности 1000:1, и показателем ошибки в виде среднеквадратической ошибки MSE. Фиг.55 - график гистограммы кодовых значений изображения для этого типового изображения.

В некоторых вариантах осуществления кривая дисторсии может вычисляться путем вычисления дисторсии для диапазона значений фоновой подсветки, используя гистограмму. Фиг.56 - график типовой кривой дисторсии, соответствующей гистограмме из фиг.55. Для этого типового изображения при низких значениях фоновой подсветки сохранение яркости не способно эффективно компенсировать уменьшенную фоновую подсветку, приводя к резкому увеличению в дисторсии 880. На высоких уровнях фоновой подсветки ограниченный коэффициент контрастности вынуждает уровень черного подниматься (882) по сравнению с идеальным дисплеем. Существует диапазон минимальной дисторсии, и в некоторых вариантах осуществления наименьшее значение фоновой подсветки, дающее эту минимальную дисторсию 884, может выбираться с помощью алгоритма минимальной дисторсии.

Алгоритм оптимизации

В некоторых вариантах осуществления кривая дисторсии, например, показанная на фиг.56, может использоваться для выбора значения фоновой подсветки. В некоторых вариантах осуществления может выбираться минимальная мощность дисторсии для каждого кадра. В некоторых вариантах осуществления, когда значение минимальной дисторсии не является уникальным, может выбираться наименьшая мощность 884, которая дает эту минимальную дисторсию. Результаты применения этого критерия оптимизации к короткому DVD-ролику показываются на фиг.57, которая изображает выбранную мощность фоновой подсветки по отношению к номеру видеокадра. В этом случае средняя выбранная фоновая подсветка 890 приблизительно равна 50%.

Зависимость от изображения

Чтобы проиллюстрировать зависимую от изображения сущность некоторых вариантов осуществления настоящего изобретения, выбирались типовые тестовые изображения с меняющимся содержанием, и дисторсия в этих изображениях вычислялось для диапазона значений фоновой подсветки. Фиг.39 - график кривых фоновой подсветки в зависимости от дисторсии для этих типовых изображений. Фиг.39 содержит графики для: изображения A 596, полностью черного изображения; изображения B 590, полностью белого изображения; изображения C 594, очень тусклой фотографии группы людей, и изображения D 598, яркого изображения серфера на волне.

Отметим, что форма кривой сильно зависит от содержания изображения. Предполагается, что уровень фоновой подсветки уравновешивает дисторсию из-за потери яркости и дисторсию из-за повышенного уровня черного. Черное изображение 596 имеет наименьшую дисторсию при низкой фоновой подсветке. Белое изображение 590 имеет наименьшую дисторсию при полной фоновой подсветке. Тусклое изображение 594 имеет наименьшую дисторсию при промежуточном уровне фоновой подсветки, который использует ограниченный коэффициент контрастности в качестве эффективного баланса между повышенным уровнем черного и уменьшением яркости.

Коэффициент контрастности

Коэффициент контрастности дисплея может входить в определение реального дисплея. Фиг.58 иллюстрирует определение фоновой подсветки с минимальной дисторсией MSE для разных коэффициентов контрастности у реального дисплея. Отметим, что на пределе 1:1 коэффициента 900 контрастности фоновая подсветка с минимальной дисторсией зависит от Среднего уровня сигнала (ASL) изображения. В противоположной крайности с бесконечным коэффициентом контрастности (нулевой уровень черного) фоновая подсветка с минимальной дисторсией зависит от максимума 902 изображения.

В некоторых вариантах осуществления настоящего изобретения модель эталонного дисплея может содержать модель дисплея с идеальным нулевым уровнем черного. В некоторых вариантах осуществления модель эталонного дисплея может содержать эталонный дисплей, выбранный по модели визуальной яркости, и в некоторых вариантах осуществления модель эталонного дисплея может содержать датчик общего освещения.

В некоторых вариантах осуществления настоящего изобретения модель реального дисплея может содержать пропускающую GoG-модель с конечным уровнем черного. В некоторых вариантах осуществления модель реального дисплея может содержать модель для прозрачно отражающего дисплея, где выходной сигнал моделируется как зависимый от общего освещения и отражающей части дисплея.

В некоторых вариантах осуществления настоящего изобретения сохранение яркости (BP) в процессе выбора фоновой подсветки может содержать линейный подъем с отсечением. В других вариантах осуществления процесс выбора фоновой подсветки может содержать операторов градационной шкалы с плавным спадом и/или алгоритмом двухканального BP.

В некоторых вариантах осуществления настоящего изобретения показатель дисторсии может содержать среднеквадратическую ошибку (MSE) в кодовых значениях изображения в качестве точечного показателя. В некоторых вариантах осуществления показатель дисторсии может содержать точечные показатели ошибок, включающие сумму абсолютных разностей, количество отсеченных пикселей и/или процентильные показатели на основе гистограммы.

В некоторых вариантах осуществления настоящего изобретения критерии оптимизации могут содержать выбор уровня фоновой подсветки, который минимизирует дисторсию в каждом кадре. В некоторых вариантах осуществления критерии оптимизации могут содержать ограничения средней мощности, которые минимизируют максимальную дисторсию или которые минимизируют среднюю дисторсию.

Варианты осуществления LCD с динамическим контрастом

Жидкокристаллические дисплеи (LCD) обычно страдают от ограниченного коэффициента контрастности. Например, уровень черного у дисплея может повышаться из-за рассеивания фоновой подсветки или других проблем. Это может заставить черные области выглядеть серыми, а не черными. Модуляция фоновой подсветки может смягчить эту проблему путем снижения уровня фоновой подсветки и ассоциированного рассеивания, посредством этого уменьшая также уровень черного. Однако при использовании без компенсации эта методика будет иметь нежелательный эффект уменьшения яркости дисплея. Компенсация изображения может использоваться для восстановления потери яркости дисплея из-за затемнения фоновой подсветки. Компенсация, как правило, ограничена восстановлением яркости дисплея с полной мощностью.

Некоторые варианты осуществления настоящего изобретения, описанные выше, содержат модуляцию фоновой подсветки, которая ориентирована на экономию энергии. В этих вариантах осуществления целью является воспроизведение выходного сигнала полной мощности на меньших уровнях фоновой подсветки. Это может достигаться путем одновременного затемнения фоновой подсветки и увеличения яркости изображения. Улучшение уровня черного или динамического контраста является благоприятным побочным эффектом в этих вариантах осуществления. В этих вариантах осуществления целью является достижение повышения качества изображения. Некоторые варианты осуществления могут привести к следующим повышениям качества изображения.

1. Меньший уровень черного вследствие уменьшенной фоновой подсветки.

2. Улучшенная насыщенность темных цветов вследствие уменьшенного рассеивания, вызванного уменьшением фоновой подсветки.

3. Улучшение яркости, если используется компенсация сильнее уменьшения фоновой подсветки.

4. Улучшенный динамический контраст, то есть максимальное значение в ярком кадре последовательности, деленное на минимальное значение в темном кадре.

5. Внутрикадровый контраст в темных кадрах.

Некоторые варианты осуществления настоящего изобретения могут добиваться одного или нескольких этих эффектов посредством двух важнейших методик: выбор фоновой подсветки и компенсация изображения. Одной задачей является уход от артефактов мерцания в видеоизображении, так как фоновая подсветка и компенсированное изображение будут меняться в яркости. Некоторые варианты осуществления настоящего изобретения могут использовать целевую градационную кривую для уменьшения вероятности мерцания. В некоторых вариантах осуществления целевая кривая может иметь коэффициент контрастности, который превышает таковой у панели (с фиксированной фоновой подсветкой). Целевая кривая может служить двум целям. Во-первых, целевая кривая может использоваться в выборе фоновой подсветки. Во-вторых, целевая кривая может использоваться для определения компенсации изображения. Целевая кривая влияет на упомянутые выше особенности качества изображения. Целевая кривая может простираться от пикового значения отображения при полной освещенности фоновой подсветки до минимального значения отображения при минимальной освещенности фоновой подсветки. Соответственно, целевая кривая будет простираться под диапазоном типичных значений отображения, достигаемых с полной освещенностью фоновой подсветки.

В некоторых вариантах осуществления выбор освещенности фоновой подсветки или уровня яркости может соответствовать выбору интервала целевой кривой, соответствующего собственному коэффициенту контрастности панели. Этот интервал перемещается, когда меняется фоновая подсветка. При полной фоновой подсветке темная область целевой кривой не может быть изображена на панели. При слабой фоновой подсветке яркая область целевой кривой не может быть изображена на панели. В некоторых вариантах осуществления для определения фоновой подсветки задается градационная кривая панели, целевая градационная кривая и изображение для показа. Уровень фоновой подсветки может выбираться так, чтобы диапазон контрастности панели с выбранной фоновой подсветки почти совпадал с диапазоном значений изображения под целевой градационной кривой.

В некоторых вариантах осуществления изображение может изменяться или компенсироваться, чтобы выходной сигнал дисплея как можно больше попадал на целевую кривую. Если фоновая подсветка слишком сильная, то нельзя достичь темной области целевой кривой. Аналогичным образом, если фоновая подсветка слабая, нельзя достичь яркой области целевой кривой. В некоторых вариантах осуществления мерцание можно минимизировать с использованием фиксированной цели для компенсации. В этих вариантах осуществления освещенность фоновой подсветки и компенсация изображения меняются, но выходной сигнал дисплея приближается к целевой градационной кривой, которая неподвижна.

В некоторых вариантах осуществления целевая градационная кривая может обобщать одно или несколько улучшений качества изображения, перечисленных выше. Выбор фоновой подсветки и компенсация изображения могут управляться посредством целевой градационной кривой. Выбор освещенности фоновой подсветки может выполняться для "оптимального" представления изображения. В некоторых вариантах осуществления алгоритм выбора фоновой подсветки на основе дисторсии, описанный выше, может применяться с заданной целевой градационной кривой и градационной кривой панели.

В некоторых типовых вариантах осуществления модель Gain-Offset-Gamma Flare (GOGF) может использоваться для градационных кривых, как показано в уравнении 49. В некоторых вариантах осуществления значение 2,2 может использоваться для гаммы, и ноль может использоваться для смещения, оставляя два параметра, Прирост и Засветку. Градационные кривые панели и целевые градационные кривые могут задаваться с помощью этих двух параметров. В некоторых вариантах осуществления прирост определяет максимальную яркость, а коэффициент контрастности определяет дополнительный член засветки.

Уравнение 48. Модель градационной кривой

где CR - коэффициент контрастности дисплея, M - максимальный выход панели, c - кодовое значение изображения, T - значение градационной кривой, и γ - значение гаммы.

Чтобы добиться улучшения динамического контраста, целевая градационная кривая отличается от градационной кривой панели. В простейшем применении коэффициент контрастности CR у целевой кривой больше, чем у панели. Типовые градационные кривые панели представлены в Уравнении 49.

Уравнение 49. Типовая градационная кривая панели

где CR - коэффициент контрастности панели, M - максимальный выход панели, c - кодовое значение изображения, T - значение градационной кривой панели, и γ - значение гаммы.

Типовая целевая градационная кривая представлена в Уравнении 50.

Уравнение 50. Типовая целевая градационная кривая

где CR - коэффициент контрастности целевой кривой, M - максимальный целевой выход (например, максимальный выход панели при полной освещенности фоновой подсветки), c - кодовое значение изображения, T - значение целевой градационной кривой и γ - значение гаммы.

Особенности некоторых типовых градационных кривых можно описать в отношении фиг.60. Фиг.59 - график в двойном логарифмическом масштабе кодовых значений на горизонтальной оси и относительной освещенности на вертикальной оси. На нем показаны три градационные кривые: градационная кривая 1000 панели, целевая градационная кривая 1001 и кривая 1002 степенной зависимости. Градационная кривая 1000 панели простирается от точки 1003 черного у панели до максимального значения 1005 панели. Целевая градационная кривая простирается от целевой точки 1004 черного до максимального целевого значения/значения панели 1005. Целевая точка 1004 черного находится ниже точки 1003 черного у панели, поскольку она извлекает выгоду из меньшей освещенности фоновой подсветки, однако полный диапазон целевой градационной кривой не может использоваться для одного изображения, так как фоновая подсветка может иметь только один уровень яркости для любого заданного кадра, поэтому максимального целевого значения/значения панели 1005 нельзя достичь, когда освещенность фоновой подсветки уменьшается для получения меньшей целевой точки 1004 черного. Варианты осуществления настоящего изобретения выбирают диапазон целевой градационной кривой, который больше всего подходит для показываемого изображения и для нужной эксплуатационной цели.

Различные целевые градационные кривые могут формироваться для достижения разных приоритетов. Например, если экономия энергии является основной целью, то значения M и CR для целевой кривой могут быть установлены равными соответствующим значениям в градационной кривой панели. В этом энергосберегающем варианте осуществления целевая градационная кривая равна собственной градационной кривой панели. Модуляция фоновой подсветки используется для экономии энергии, хотя показанное изображение в сущности является таким же, как на дисплее с полной мощностью, за исключением верхней части диапазона, которая недостижима при низких настройках фоновой подсветки.

Типовая градационная кривая для экономии энергии иллюстрируется на фиг.60. В этих вариантах осуществления градационные кривые панели и целевые градационные кривые идентичны (1010). Освещенность фоновой подсветки уменьшается, посредством этого обеспечивая возможность более низкой возможной целевой кривой 1011, однако эта возможность не используется в этих вариантах осуществления. Вместо этого увеличивается яркость изображения посредством компенсации кодовых значений изображения, чтобы соответствовать градационной кривой 1010 панели. Когда это невозможно, при ограничении 1013 панели из-за уменьшенной фоновой подсветки для экономии энергии, компенсация может округляться (1012), чтобы избежать артефактов срезания. Это округление может достигаться в соответствии со способами, описанными выше в отношении других вариантов осуществления. В некоторых вариантах осуществления может быть разрешено отсечение, или оно может не возникать из-за ограниченного динамического диапазона изображения. В этих случаях округление 1012 может быть ненужным, и целевая градационная кривая может просто следовать (1014) за градационной кривой панели на верхней границе диапазона.

В другом типовом варианте осуществления, когда основной целью является меньший уровень черного, значение M для целевой кривой может быть установлено равным соответствующему значению на градационной кривой панели, а значение CR для целевой кривой может быть установлено в 4 раза больше соответствующего значения на градационной кривой панели. В этих вариантах осуществления целевая градационная кривая выбирается для уменьшения уровня черного. Яркость дисплея остается без изменений относительно дисплея с полной мощностью. Целевая градационная кривая имеет тот же максимум M, что и панель, но обладает более высоким коэффициентом контрастности. В примере выше коэффициент контрастности в 4 раза больше собственного коэффициента контрастности панели. В качестве альтернативы целевая градационная кривая может содержать кривую с округлением в верхней части ее диапазона. Предположительно, фоновая подсветка может модулироваться с коэффициентом 4:1.

Некоторые варианты осуществления, которые отдают предпочтение уменьшению уровня черного, можно описать в отношении фиг.61. В этих вариантах осуществления градационная кривая 1020 панели вычисляется как описано выше, например, с использованием Уравнения 49. Целевая градационная кривая 1021 также вычисляется для уменьшенного уровня освещенности фоновой подсветки и более высокого коэффициента контрастности. В верхней части диапазона целевая градационная кривая 1024 может тянуться вдоль градационной кривой панели. В качестве альтернативы целевая градационная кривая может применять кривую 1023 округления, которая может уменьшить отсечение около предела 1022 дисплея для уменьшенного уровня фоновой подсветки.

В другом типовом варианте осуществления, когда основной целью является более яркое изображение, значение M для целевой кривой может быть установлено в 1,2 раза больше соответствующего значения на градационной кривой панели, а значение CR для целевой кривой может быть установлено равным соответствующему значению на градационной кривой панели. Целевая градационная кривая выбирается для увеличения яркости, сохраняя такой же коэффициент контрастности. (Отметим, что уровень черного повышается). Целевой максимум M больше максимума панели. Компенсация изображения будет использоваться для увеличения яркости изображения, чтобы добиться этого увеличения яркости.

Некоторые варианты осуществления, которые отдают предпочтение яркости изображения, можно описать в отношении фиг.62. В этих вариантах осуществления градационная кривая панели и целевая градационная кривая практически одинаковы (1030) около нижней границы диапазона. Однако над этой областью градационная кривая 1032 панели следует типичной траектории к максимальному выходу 1033 дисплея. Однако целевая градационная кривая следует повышенной траектории 1031, которая предусматривает более яркие кодовые значения изображения в этой области. В направлении верхней границы диапазона целевая кривая 1031 может содержать кривую 1035 округления, которая округляет целевую кривую до точки 1033, в которой дисплей уже не может следовать целевой кривой из-за уменьшенного уровня фоновой подсветки.

В другом типовом варианте осуществления, когда основной целью является улучшенное изображение с меньшим уровнем черного и более ярким средним диапазоном, значение M для целевой кривой может быть установлено в 1,2 раза больше соответствующего значения на градационной кривой панели, а значение CR для целевой кривой может быть установлено в 4 раза больше соответствующего значения на градационной кривой панели. Целевая градационная кривая выбирается как для увеличения яркости, так и уменьшения уровня черного. Целевой максимум больше максимума панели M, и коэффициент контрастности также больше коэффициента контрастности панели. Эта целевая градационная кривая может влиять как на выбор фоновой подсветки, так и на компенсацию изображения. Фоновая подсветка будет уменьшаться в темных кадрах, чтобы добиться уменьшенного уровня черного в целевой кривой. Компенсация изображения может использоваться даже при полной фоновой подсветке, чтобы добиться увеличенной яркости.

Некоторые варианты осуществления, которые отдают предпочтение яркости изображения и меньшему уровню черного, можно описать в отношении фиг.63. В этих вариантах осуществления градационная кривая 1040 панели вычисляется, как описано выше, например, с использованием Уравнения 49. Также вычисляется целевая градационная кривая 1041, однако целевая градационная кривая 1041 может начинаться с более низкой точки 1045 черного, чтобы учитывать уменьшенный уровень фоновой подсветки. Целевая градационная кривая 1041 также может следовать повышенной траектории, чтобы увеличить яркость кодовых значений изображения в среднем диапазоне и верхнем диапазоне градационной шкалы. Поскольку дисплей с уменьшенным уровнем фоновой подсветки не может достичь максимального целевого значения 1042 или даже максимального значения 1043 панели, может применяться кривая 1044 округления. Кривая 1044 округления может ограничивать целевую градационную кривую 1041 в максимальном значении 1046 панели с уменьшенной фоновой подсветкой. Различные способы, описанные в отношении других вариантов осуществления выше, могут использоваться для определения характеристик кривой округления.

Некоторые варианты осуществления настоящего изобретения могут описываться относительно фиг.64. В этих вариантах осуществления может вычисляться множество целевых градационных кривых, и может быть сделан выбор из множества вычисленных кривых на основе характеристик изображения, эксплуатационных целей или какого-нибудь другого критерия. В этих вариантах осуществления градационная кривая 1127 панели может формироваться для ситуации с полной освещенностью фоновой подсветки с повышенным уровнем 1120 черного. Также могут формироваться целевые градационные кривые 1128 и 1129. Эти целевые градационные кривые 1128 и 1129 содержат область 1122 перехода уровня черного, в которой кривая переходит в точку уровня черного, например точку 1121 уровня черного. Эти кривые также содержат общую область, в которой входные точки от любой из целевых градационных кривых преобразуются в одинаковые выходные точки. В некотором варианте осуществления эти целевые градационные кривые также могут содержать кривую 1126 округления яркости, где кривая округляется до максимального уровня 1125 яркости, например, описанного выше для других вариантов осуществления. Кривая может выбираться из этого набора целевых градационных кривых на основе характеристик изображения. Например, и не в качестве ограничения, изображение с очень многими темными пикселями может выиграть от меньшего уровня черного, и для этого изображения может выбираться кривая 1128 с затемненной фоновой подсветкой и меньшим уровнем черного. Изображение со многими яркими значениями пикселей может влиять на выбор кривой 1127 с большей максимальной яркостью 1124. Каждый кадр видеопоследовательности может влиять на выбор разной целевой градационной кривой. Если не управляется, то использование разных градационных кривых может вызвать мерцание и нежелательные артефакты в последовательности. Однако общая область 1123, совместно используемая всеми целевыми градационными кривыми этих вариантов осуществления, служит для стабилизации временных эффектов и уменьшения мерцания и аналогичных артефактов.

Некоторые варианты осуществления настоящего изобретения могут описываться относительно фиг.65. В этих вариантах осуществления может формироваться набор целевых градационных кривых, например целевая градационная кривая 1105. Эти целевые градационные кривые могут содержать разные области 1102 перехода уровня черного, которые могут соответствовать разным уровням освещенности фоновой подсветки. Этот набор целевых градационных кривых также содержит улучшенную общую область 1101, в которой все кривые в наборе совместно используют одинаковое наложение. В некоторых вариантах осуществления эти кривые также могут содержать кривые 1103 округления яркости, которые переходят из общей области на максимальный уровень яркости. В типовой улучшенной целевой градационной кривой 1109 кривая может начинаться в точке 1105 уровня черного и переходить в улучшенную общую область 1101, кривая может затем переходить из улучшенной общей области на максимальный уровень 1106 яркости с помощью кривой округления. В некоторых вариантах осуществления может отсутствовать кривая округления яркости. Эти варианты осуществления отличаются от описанных со ссылкой на фиг.65 в том, что общая область находится выше градационной кривой панели. Это преобразует входные значения пикселей в более высокие выходные значения, посредством этого увеличивая яркость показываемого изображения. В некоторых вариантах осуществления набор улучшенных целевых градационных кривых может формироваться и выборочно использоваться для кадров последовательности изображений. Эти варианты осуществления совместно используют общую область, которая служит для уменьшения мерцания и аналогичных артефактов. В некоторых вариантах осуществления набор целевых градационных кривых и набор улучшенных целевых градационных кривых может вычисляться и сохраняться для выборочного использования в зависимости от характеристик изображения и/или эксплуатационных целей.

Некоторые варианты осуществления настоящего изобретения могут описываться относительно фиг.66. В способах из фиг.66 определяются параметры целевой градационной кривой (1050). В некоторых вариантах осуществления эти параметры могут содержать максимальный целевой выход панели, целевой коэффициент контрастности и/или целевое значение гаммы панели. Другие параметры также могут использоваться для задания целевой градационной кривой, которая может использоваться для настройки или компенсации изображения, чтобы выполнить эксплуатационную цель.

В этих вариантах осуществления также может вычисляться градационная кривая панели (1051). Градационная кривая панели показана для иллюстрации различий между типичным выходным сигналом панели и целевой градационной кривой. Градационная кривая 1051 панели относится к характеристикам панели дисплея, которые нужно использовать для отображения, и может использоваться для создания опорного изображения, из которого могут быть выполнены измерения ошибки или дисторсии. Эта кривая 1051 может вычисляться на основе максимального выхода панели M и коэффициента контрастности панели CR для заданного дисплея. В некоторых вариантах осуществления эта кривая может основываться на максимальном выходе панели M, коэффициенте контрастности панели CR, значении гаммы панели γ и кодовых значениях изображения c.

Может вычисляться одна или несколько целевых градационных кривых TTC (1052). В некоторых вариантах осуществления может вычисляться семейство TTC, причем каждый член семейства основывается на разном уровне фоновой подсветки. В других вариантах осуществления могут меняться другие параметры. В некоторых вариантах осуществления целевая градационная кривая может вычисляться с использованием максимального целевого входа M и целевого коэффициента контрастности CR. В некоторых вариантах осуществления эта целевая градационная кривая может основываться на максимальном целевом выходе M, целевом коэффициенте контрастности CR, значении гаммы дисплея γ и кодовых значениях изображения c. В некоторых вариантах осуществления целевая градационная кривая может представлять нужные модификации изображения. Например, целевая градационная кривая может представлять одно или несколько из меньшего уровня черного, более яркой области изображения, компенсированной области и/или кривой округления. Целевая градационная кривая может быть представлена в виде справочной таблицы (LUT), может вычисляться посредством аппаратных средств или программного обеспечения или может быть представлена другими способами.

Может определяться уровень освещенности фоновой подсветки (1053). В некоторых вариантах осуществления выбор уровня фоновой подсветки может находиться под влиянием эксплуатационных целей, например экономии энергии, критериев уровня черного или других целей. В некоторых вариантах осуществления уровень фоновой подсветки может определяться с тем, чтобы минимизировать дисторсию или ошибку между обработанным или улучшенным изображением и исходным изображением, которое отображено на гипотетическом эталонном дисплее. Когда значения изображения преимущественно очень темные, меньший уровень фоновой подсветки может быть наиболее подходящим для показа изображения. Когда значения изображения преимущественно яркие, более высокий уровень фоновой подсветки может быть наилучшим выбором для показа изображения. В некоторых вариантах осуществления изображение, обработанное с помощью градационной кривой панели, может сравниваться с изображениями, обработанными с помощью различных TTC, чтобы определить подходящую TTC и соответствующий уровень фоновой подсветки.

В некоторых вариантах осуществления настоящего изобретения определенные эксплуатационные цели также могут рассматриваться в способах выбора фоновой подсветки и выбора компенсации изображения. Например, когда экономия энергии установлена как эксплуатационная цель, меньшие уровни фоновой подсветки могут иметь приоритет над оптимизацией характеристик изображения. Наоборот, когда яркость изображения является эксплуатационной целью, меньшие уровни фоновой подсветки могут обладать меньшим приоритетом.

Уровень фоновой подсветки может выбираться (1053) для того, чтобы минимизировать ошибку или дисторсию изображения относительно целевой градационной кривой, гипотетического эталонного дисплея или какого-нибудь другого стандарта. В некоторых вариантах осуществления способы, раскрытые в заявке на патент США № 11/460768, озаглавленной "Methods and Systems for Distortion-Related Source Light Management", зарегистрированной 28 июля 2006 г., которая настоящим включается в этот документ путем ссылки, могут использоваться для выбора уровней фоновой подсветки и способов компенсации.

После вычисления целевой градационной кривой изображение может настраиваться или компенсироваться (1054) с помощью целевой градационной кривой, чтобы достичь эксплуатационных целей или компенсировать уменьшенный уровень фоновой подсветки. Эта настройка или компенсация может выполняться относительно целевой градационной кривой.

После выбора фоновой подсветки (1053) и компенсации либо настройки (1054) скорректированное или компенсированное изображение может отображаться с выбранным уровнем фоновой подсветки (1055).

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.67. В этих вариантах осуществления устанавливается цель улучшения или обработки изображения (1060). Эта цель может содержать экономию энергии, меньший уровень черного, увеличение яркости изображения, настройку градационной шкалы или другие цели обработки или улучшения. На основе цели обработки или улучшения могут выбираться параметры целевой градационной кривой (1061). В некоторых вариантах осуществления выбор параметра может быть автоматизирован и основываться на целях улучшения или обработки. В некоторых типовых вариантах осуществления эти параметры могут содержать максимальный целевой выход M и целевой коэффициент контрастности CR. В некоторых типовых вариантах осуществления эти параметры могут содержать максимальный целевой выход M, целевой коэффициент контрастности CR, значение гаммы дисплея γ и кодовые значения изображения c.

Целевая градационная кривая (TTC) может вычисляться (1062) на основе выбранных параметров целевой градационной кривой. В некоторых вариантах осуществления может вычисляться набор TTC. В некоторых вариантах осуществления набор может содержать кривые, соответствующие меняющимся уровням фоновой подсветки, но с общими параметрами TTC. В других вариантах осуществления могут меняться другие параметры.

Может выбираться уровень освещенности фоновой подсветки (1063). В некоторых вариантах осуществления уровень фоновой подсветки может выбираться относительно характеристик изображения. В некоторых вариантах осуществления уровень фоновой подсветки может выбираться на основе эксплуатационной цели. В некоторых вариантах осуществления уровень фоновой подсветки может выбираться на основе эксплуатационных целей и характеристик изображения. В некоторых вариантах осуществления уровень фоновой подсветки может выбираться путем выбора TTC, которая удовлетворяет эксплуатационной цели или критерию ошибок, и использования уровня фоновой подсветки, который соответствует этой TTC.

Как только выбирается уровень фоновой подсветки (1063), целевая градационная кривая, соответствующая этому уровню, выбирается с помощью ассоциации. Теперь изображение может корректироваться, улучшаться или компенсироваться (1064) с помощью целевой градационной кривой. Скорректированное изображение затем может отображаться (1065) на дисплее с использованием выбранного уровня фоновой подсветки.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.68. В этих вариантах осуществления устанавливаются эксплуатационные цели показа изображения (1070). Это может выполняться через интерфейс пользователя, при помощи которого пользователь непосредственно выбирает эксплуатационные цели. Это также может выполняться путем запроса пользователя, при помощи которого пользователь устанавливает приоритеты, из которых формируются эксплуатационные цели. Эксплуатационная цель также может быть установлена автоматически на основе анализа изображения, характеристик устройства отображения, предыстории использования устройства или другой информации.

На основе эксплуатационной цели могут автоматически выбираться или формироваться параметры целевой градационной кривой (1071). В некоторых типовых вариантах осуществления эти параметры могут содержать максимальный целевой выход M и целевой коэффициент контрастности CR. В некоторых типовых вариантах осуществления эти параметры могут содержать максимальный целевой выход M, целевой коэффициент контрастности CR, значение гаммы дисплея γ и кодовые значения изображения c.

Одна или несколько целевых градационных кривых могут формироваться (1072) из параметров целевой градационной кривой. Целевая градационная кривая может быть представлена в виде уравнения, рядов уравнений, таблицы (например, LUT) или какого-нибудь другого представления.

В некоторых вариантах осуществления каждая TTC будет соответствовать уровню фоновой подсветки. Уровень фоновой подсветки может выбираться (1073) путем отыскания соответствующей TTC, которая удовлетворяет критерию. В некоторых вариантах осуществления выбор фоновой подсветки может проводиться другими способами. Если фоновая подсветка выбирается независимо от TTC, то TTC, соответствующая тому уровню фоновой подсветки, также может выбираться.

Как только выбирается итоговая TTC (1073), она может применяться (1074) к изображению для улучшения, компенсации или иной обработки изображения для показа. Обработанное изображение затем может быть показано (1075).

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.69. В этих вариантах осуществления устанавливаются эксплуатационные цели показа изображения (1080). Это может выполняться через интерфейс пользователя, при помощи которого пользователь непосредственно выбирает эксплуатационные цели. Это также может выполняться путем запроса пользователя, при помощи которого пользователь устанавливает приоритеты, из которых формируются эксплуатационные цели. Эксплуатационная цель также может быть установлена автоматически на основе анализа изображения, характеристик устройства отображения, предыстории использования устройства или другой информации. Также может выполняться анализ изображения (1081), чтобы определить характеристики изображения.

На основе эксплуатационной цели могут автоматически выбираться или формироваться параметры целевой градационной кривой (1082). Также может выбираться уровень фоновой подсветки, который может быть непосредственно установлен или может подразумеваться из значения максимального выхода дисплея и коэффициента контрастности. В некоторых типовых вариантах осуществления эти параметры могут содержать максимальный целевой выход M и целевой коэффициент контрастности CR. В некоторых типовых вариантах осуществления эти параметры могут содержать максимальный целевой выход M, целевой коэффициент контрастности CR, значение гаммы дисплея γ и кодовые значения изображения c.

Целевая градационная кривая может формироваться (1083) из параметров целевой градационной кривой. Целевая градационная кривая может быть представлена в виде уравнения, рядов уравнений, таблицы (например, LUT) или какого-нибудь другого представления. Как только эта кривая формируется (1083), она может применяться (1084) к изображению для улучшения, компенсации или иной обработки изображения для показа. Обработанное изображение затем может быть показано (1085).

Улучшение цвета и улучшение яркости

Некоторые варианты осуществления настоящего изобретения содержат улучшение цвета и улучшение или сохранение яркости. В этих вариантах осуществления определенные значения цвета, диапазоны или области могут изменяться для улучшения цветовых особенностей вместе с улучшением или сохранением яркости. В некоторых вариантах осуществления эти модификации или улучшения могут выполняться на низкочастотной (LP) версии изображения. В некоторых вариантах осуществления могут использоваться процессы улучшения определенного цвета.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.70. В этих вариантах осуществления изображение 1130 может фильтроваться (1131) с помощью фильтра нижних частот (LP), чтобы создать LP-изображение 1125. Это LP-изображение 1125 может вычитаться (1134) или иным образом объединяться с исходным изображением 1130, чтобы создать высокочастотное (HP) изображение 1135. LP-изображение затем может быть обработано с помощью процесса 1133 с градационной шкалой, например процесса сохранения яркости (BP) или аналогичного процесса для увеличения яркости элементов изображения, компенсации уменьшенного уровня фоновой подсветки или иного изменения LP-изображения 1125, как описано выше в отношении других вариантов осуществления. Результирующее обработанное LP-изображение затем может объединяться с HP-изображением 1135 для создания изображения с улучшенной градационной шкалой, которое затем может обрабатываться с помощью процесса 1139 увеличения битовой глубины (BDE). В процессе 1139 BDE специально спроектированные структуры шумов или шаблоны размывания могут применяться к изображению для уменьшения чувствительности к контурным артефактам от последующей обработки, которые уменьшают битовую глубину изображения. Некоторые варианты осуществления могут заключать в себе процесс BDE, который описан в заявке на патент США № 10/775012, озаглавленной "Methods and Systems for Adaptive Dither Structures", зарегистрированной 9 февраля 2004 г. и изобретенной Scott J. Daly и Xiao-Fan Feng, причем упомянутая заявка настоящим включается в этот документ путем ссылки. Некоторые варианты осуществления могут содержать процесс BDE, который описан в заявке на патент США № 10/645952, озаглавленной "Systems and Methods for Dither Structure Creation and Application", зарегистрированной 22 августа 2003 г. и изобретенной Xiao-Fan Feng и Scott J. Daly, причем упомянутая заявка настоящим включается в этот документ путем ссылки. Некоторые варианты осуществления могут содержать процесс BDE, который описан в заявке на патент США № 10/676891, озаглавленной "Systems and Methods for Multi-Dimensional Dither Structure Creation and Application", зарегистрированной 30 сентября 2003 г. и изобретенной Xiao-Fan Feng и Scott J. Daly, причем упомянутая заявка настоящим включается в этот документ путем ссылки. Результирующее, улучшенное с помощью BDE изображение 1129 может затем отображаться или дополнительно обрабатываться. Улучшенное с помощью BDE изображение 1129 с меньшей вероятностью будет демонстрировать контурные артефакты, когда его битовая глубина уменьшается, как объясняется в заявках, которые выше включаются путем ссылки.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.71. В этих вариантах осуществления изображение 1130 может пропускаться через фильтр 1131 нижних частот (LP), чтобы создать LP-версию изображения. Эта LP-версия может отправляться в модуль 1132 улучшения цвета для обработки. Модуль 1132 улучшения цвета может содержать функции определения цветов, функции уточнения карты цветов, функции обработки цветовой области и другие функции. В некоторых вариантах осуществления модуль 1132 улучшения цвета может содержать функции определения телесного цвета, функции уточнения карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1132 улучшения цвета могут приводить к измененным значениям цвета для элементов изображения, например значений интенсивности пикселя.

После изменения цвета LP-изображение с измененными цветами может отправляться модулю 1133 сохранения яркости или улучшения яркости. Этот модуль 1133 аналогичен многим вариантам осуществления, описанным выше, в которых значения изображения корректируются или изменяются с помощью кривой градационной шкалы или аналогичного способа для улучшения характеристик яркости. В некоторых вариантах осуществления кривая градационной шкалы может иметь отношение к уровню фоновой подсветки. В некоторых вариантах осуществления кривая градационной шкалы может компенсировать уменьшенный уровень фоновой подсветки. В некоторых вариантах осуществления кривая градационной шкалы может увеличить яркость изображения или иным образом изменить изображение независимо от любого уровня фоновой подсветки.

Изображение с улучшенными цветами и улучшенной яркостью затем может объединяться с высокочастотной (HP) версией изображения. В некоторых вариантах осуществления HP-версия изображения может создаваться путем вычитания (1134) LP-версии из исходного изображения 1130, приводя к HP-версии 1135 изображения. Объединение 1137 изображения с улучшенными цветами и улучшенной яркостью и HP-версии 1135 изображения создает улучшенное изображение 1138.

Некоторые варианты осуществления настоящего изобретения могут содержать зависимый от изображения выбор фоновой подсветки и/или отдельный процесс прироста для HP-изображения. Эти два дополнительных элемента являются независимыми, отделимыми элементами, но будут описываться в отношении варианта осуществления, содержащего оба элемента, как проиллюстрировано на фиг.72. В этом типовом варианте осуществления изображение 1130 может вводиться в модуль 1131 фильтрации, где может создаваться LP-изображение 1145. LP-изображение 1145 затем может вычитаться из исходного изображения 1130 для создания HP-изображения 1135. LP-изображение 1145 также может отправляться модулю 1132 улучшения цвета. В некоторых вариантах осуществления исходное изображение 1130 также может отправляться модулю 1140 выбора фоновой подсветки для использования в определении уровня освещенности фоновой подсветки.

Модуль 1132 улучшения цвета может содержать функции определения цветов, функции уточнения карты цветов, функции обработки цветовой области и другие функции. В некоторых вариантах осуществления модуль 1132 улучшения цвета может содержать функции определения телесного цвета, функции уточнения карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1132 улучшения цвета могут приводить к измененным значениям цвета для элементов изображения, например значений интенсивности пикселя.

Модуль 1141 сохранения яркости (BP) или улучшения яркости с помощью градационной шкалы может принимать LP-изображение 1145 для обработки с помощью операции применения градационной шкалы. Операция применения градационной шкалы может зависеть от информации о выборе фоновой подсветки, принятой от модуля 1140 выбора фоновой подсветки. Когда достигается сохранение яркости с помощью операции применения градационной шкалы, информация о выборе фоновой подсветки является полезной в определении кривой градационной шкалы. Когда выполняется только улучшение яркости без компенсации фоновой подсветки, информация о выборе фоновой подсветки может не понадобиться.

HP-изображение 1135 также может быть обработано в модуле 1136 усиления HP, используя способы, описанные выше для аналогичных вариантов осуществления. Обработка с усилением в модуле усиления HP приведет к измененному HP-изображению 1147. Измененное LP-изображение 1146, происходящее из обработки градационной шкалы в модуле 1141 градационной шкалы, может затем объединяться (1142) с измененным HP-изображением 1147 для создания улучшенного изображения 1143.

Улучшенное изображение 1143 может быть показано на дисплее с использованием модуляции фоновой подсветки с фоновой подсветкой 1144, которая приняла данные выбора фоновой подсветки от модуля 1140 выбора фоновой подсветки. Соответственно, изображение может быть показано с уменьшенной или иным образом модулированной настройкой фоновой подсветки, но с измененными значениями изображения, которые компенсируют модуляцию фоновой подсветки. Аналогичным образом изображение с улучшенной яркостью, содержащее обработку градационной шкалы LP и обработку с усилением HP, может быть показано с полной освещенностью фоновой подсветки.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.73. В этих вариантах осуществления исходное изображение 1130 вводится в модуль 1150 фильтрации, который может формировать LP-изображение 1155. В некоторых вариантах осуществления модуль фильтрации также может формировать гистограмму 1151. LP-изображение 1155 может отправляться в модуль 1156 улучшения цвета, а также в процесс 1157 вычитания, где LP-изображение 1155 будет вычитаться из исходного изображения 1130, чтобы образовать HP-изображение 1158. В некоторых вариантах осуществления HP-изображение 1158 также может подвергаться процессу 1159 шумового ограничения, в котором некоторые высокочастотные элементы удаляются из HP-изображения 1158. Этот процесс шумового ограничения приведет к вычищенному HP-изображению 1160, которое затем может быть обработано (1161) с помощью карты 1162 прироста для выполнения сохранения яркости, улучшения или других процессов, которые описаны выше для других вариантов осуществления. Процесс 1161 составления карты прироста приведет к HP-изображению 1168 с картой прироста.

LP-изображение 1155, отправленное модулю 1156 улучшения цвета, может быть обработано там с помощью функций определения цветов, функций уточнения карты цветов, функций обработки цветовой области и других функций. В некоторых вариантах осуществления модуль 1156 улучшения цвета может содержать функции определения телесного цвета, функции уточнения карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1156 улучшения цвета могут приводить к измененным значениям цвета для элементов изображения, например значений интенсивности пикселя, которые могут быть записаны как LP-изображение 1169 с улучшенными цветами.

LP-изображение 1169 с улучшенными цветами затем может обрабатываться в модуле 1163 градационной шкалы для BP или градационной шкалы для улучшения. Модуль 1163 сохранения яркости (BP) или улучшения яркости с помощью градационной шкалы может принимать LP-изображение 1169 с улучшенными цветами для обработки с помощью операции применения градационной шкалы. Операция применения градационной шкалы может зависеть от информации о выборе фоновой подсветки, принятой от модуля 1154 выбора фоновой подсветки. Когда достигается сохранение яркости с помощью операции применения градационной шкалы, информация о выборе фоновой подсветки является полезной в определении кривой градационной шкалы. Когда выполняется только улучшение яркости без компенсации фоновой подсветки, информация о выборе фоновой подсветки может не понадобиться. Операция применения градационной шкалы, выполненная в модуле 1163 градационной шкалы, может зависеть от характеристик изображения, эксплуатационных целей применения и других параметров независимо от информации о фоновой подсветке.

В некоторых вариантах осуществления гистограмма 1151 изображения может быть задержана (1152), чтобы выделить время модулю 1156 улучшения цвета и модулю 1163 градационной шкалы для выполнения их функций. В этих вариантах осуществления отложенная гистограмма 1153 может использоваться для оказания влияния на выбор 1154 фоновой подсветки. В некоторых вариантах осуществления гистограмма от предыдущего кадра может использоваться для оказания влияния на выбор 1154 фоновой подсветки. В некоторых вариантах осуществления гистограмма от двух кадров ранее текущего кадра может использоваться для оказания влияния на выбор 1154 фоновой подсветки. Как только выполняется выбор фоновой подсветки, данные выбора фоновой подсветки могут использоваться модулем 1163 градационной шкалы.

Как только LP-изображение 1169 с улучшенными цветами обработано с помощью модуля 1163 градационной шкалы, результирующее LP-изображение 1176 с улучшенными цветами и улучшенной яркостью может объединяться (1164) с HP-изображением 1168 с картой прироста. В некоторых вариантах осуществления этот процесс 1164 может быть процессом сложения. В некоторых вариантах осуществления объединенное улучшенное изображение 1177, происходящее от этого процесса 1164 объединения, будет конечным продуктом для показа изображения. Это объединенное, улучшенное изображение 1177 может быть показано на дисплее с использованием фоновой подсветки 1166, модулированной с помощью настройки фоновой подсветки, принятой от модуля 1154 выбора фоновой подсветки.

Некоторые модули улучшения цвета из настоящего изобретения можно описать со ссылкой на фиг.74. В этих вариантах осуществления LP-изображение 1170 может вводиться в модуль 1171 улучшения цвета. Различные процессы могут применяться к LP-изображению 1170 в модуле 1171 улучшения цвета. Процесс 1172 определения телесного цвета может применяться к LP-изображению 1170. Процесс 1172 определения телесного цвета может содержать анализ цвета каждого пикселя в LP-изображении 1170 и присвоение значения правдоподобия телесного цвета на основе цвета пикселя. Этот процесс может привести к карте правдоподобия телесных цветов. В некоторых вариантах осуществления справочная таблица (LUT) может использоваться для определения правдоподобия того, что цвет является телесным цветом. Также могут использоваться другие способы для определения правдоподобия телесного цвета. Некоторые варианты осуществления могут содержать способы определения телесного цвета, описанные выше и в других заявках, которые включаются в этот документ путем ссылки.

Результирующая карта правдоподобия телесных цветов может быть обработана процессом 1173 уточнения карты телесных цветов. LP-изображение 1170 также может вводиться или предоставляться этому процессу 1173 уточнения. В некоторых вариантах осуществления этот процесс 1173 уточнения может содержать управляемый изображением нелинейный фильтр нижних частот. В некоторых вариантах осуществления процесс 1173 уточнения может содержать процесс усреднения, применяемый к значению карты телесных цветов, когда соответствующее значение цвета изображения находится в пределах определенного расстояния в цветовом пространстве от значения цвета соседнего пикселя, и когда пиксель изображения и соседний пиксель находятся в пределах определенного пространственного расстояния. Карта телесных цветов, измененная или уточненная этим процессом, может затем использоваться для установления области телесных цветов в LP-изображении. Область вне области телесных цветов также может устанавливаться как область нетелесных цветов.

В модуле 1171 улучшения цвета LP-изображение 1170 может затем дифференциально обрабатываться путем применения процесса 1174 изменения цвета только к области телесных цветов. В некоторых вариантах осуществления процесс 1174 изменения цвета может применяться только к области нетелесных цветов. В некоторых вариантах осуществления первый процесс изменения цвета может применяться к области телесных цветов, а второй процесс изменения цвета может применяться к области нетелесных цветов. Каждый из этих процессов изменения цвета приведет к LP-изображению 1175 с измененными цветами или улучшенному LP-изображению. В некоторых вариантах осуществления улучшенное LP-изображение может дополнительно обрабатываться модулем градационной шкалы, например модулем 1163 градационной шкалы для BP или улучшения.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.75. В этих вариантах осуществления изображение 1130 может пропускаться через фильтр 1131 нижних частот (LP), чтобы создать LP-версию изображения. Эта LP-версия может отправляться в модуль 1132 улучшения цвета для обработки. Модуль 1132 улучшения цвета может содержать функции определения цветов, функции уточнения карты цветов, функции обработки цветовой области и другие функции. В некоторых вариантах осуществления модуль 1132 улучшения цвета может содержать функции определения телесного цвета, функции уточнения карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1132 улучшения цвета могут приводить к измененным значениям цвета для элементов изображения, например значений интенсивности пикселя.

После изменения цвета LP-изображение с измененными цветами может отправляться модулю 1133 сохранения яркости или улучшения яркости. Этот модуль 1133 аналогичен многим вариантам осуществления, описанным выше, в которых значения изображения корректируются или изменяются с помощью кривой градационной шкалы или аналогичного способа для улучшения характеристик яркости. В некоторых вариантах осуществления кривая градационной шкалы может иметь отношение к уровню фоновой подсветки. В некоторых вариантах осуществления кривая градационной шкалы может компенсировать уменьшенный уровень фоновой подсветки. В некоторых вариантах осуществления кривая градационной шкалы может увеличить яркость изображения или иным образом изменить изображение независимо от любого уровня фоновой подсветки.

Изображение с улучшенными цветами и улучшенной яркостью затем может объединяться с высокочастотной (HP) версией изображения. В некоторых вариантах осуществления HP-версия изображения может создаваться путем вычитания (1134) LP-версии из исходного изображения 1130, приводя к HP-версии 1135 изображения. Объединение 1137 изображения с улучшенными цветами и улучшенной яркостью и HP-версии 1135 изображения создает улучшенное изображение 1138.

В этих вариантах осуществления процесс 1139 увеличения битовой глубины (BDE) может выполняться на улучшенном изображении 1138. Этот процесс 1139 BDE может уменьшить видимые артефакты, которые возникают, когда ограничивается битовая глубина. Некоторые варианты осуществления могут содержать процессы BDE, которые описаны в заявках на патент, упомянутых выше, которые включаются в этот документ путем ссылки.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.76. Эти варианты осуществления аналогичны описанным относительно фиг.73, но содержат дополнительную обработку с увеличением битовой глубины.

В этих вариантах осуществления исходное изображение 1130 вводится в модуль 1150 фильтрации, который может формировать LP-изображение 1155. В некоторых вариантах осуществления модуль фильтрации также может формировать гистограмму 1151. LP-изображение 1155 может отправляться в модуль 1156 улучшения цвета, а также в процесс 1157 вычитания, где LP-изображение 1155 будет вычитаться из исходного изображения 1130, чтобы образовать HP-изображение 1158. В некоторых вариантах осуществления HP-изображение 1158 также может подвергаться процессу 1159 шумового ограничения, в котором некоторые высокочастотные элементы удаляются из HP-изображения 1158. Этот процесс шумового ограничения приведет к вычищенному HP-изображению 1160, которое затем может быть обработано (1161) с помощью карты 1162 прироста для выполнения сохранения яркости, улучшения или других процессов, которые описаны выше для других вариантов осуществления. Процесс 1161 составления карты прироста приведет к HP-изображению 1168 с картой прироста.

LP-изображение 1155, отправленное модулю 1156 улучшения цвета, может быть обработано там с помощью функций определения цветов, функций уточнения карты цветов, функций обработки цветовой области и других функций. В некоторых вариантах осуществления модуль 1156 улучшения цвета может содержать функции определения телесного цвета, функции уточнения карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1156 улучшения цвета могут приводить к измененным значениям цвета для элементов изображения, например значений интенсивности пикселя, которые могут быть записаны как LP-изображение 1169 с улучшенными цветами.

LP-изображение 1169 с улучшенными цветами затем может обрабатываться в модуле 1163 градационной шкалы для BP или градационной шкалы для улучшения. Модуль 1163 сохранения яркости (BP) или улучшения яркости с помощью градационной шкалы может принимать LP-изображение 1169 с улучшенными цветами для обработки с помощью операции применения градационной шкалы. Операция применения градационной шкалы может зависеть от информации о выборе фоновой подсветки, принятой от модуля 1154 выбора фоновой подсветки. Когда достигается сохранение яркости с помощью операции применения градационной шкалы, информация о выборе фоновой подсветки является полезной в определении кривой градационной шкалы. Когда выполняется только улучшение яркости без компенсации фоновой подсветки, информация о выборе фоновой подсветки может не понадобиться. Операция применения градационной шкалы, выполненная в модуле 1163 градационной шкалы, может зависеть от характеристик изображения, эксплуатационных целей применения и других параметров независимо от информации о фоновой подсветке.

В некоторых вариантах осуществления гистограмма 1151 изображения может быть задержана (1152), чтобы выделить время модулю 1156 улучшения цвета и модулю 1163 градационной шкалы для выполнения их функций. В этих вариантах осуществления отложенная гистограмма 1153 может использоваться для оказания влияния на выбор 1154 фоновой подсветки. В некоторых вариантах осуществления гистограмма от предыдущего кадра может использоваться для оказания влияния на выбор 1154 фоновой подсветки. В некоторых вариантах осуществления гистограмма от двух кадров ранее текущего кадра может использоваться для оказания влияния на выбор 1154 фоновой подсветки. Как только выполняется выбор фоновой подсветки, данные выбора фоновой подсветки могут использоваться модулем 1163 градационной шкалы.

Как только LP-изображение 1169 с улучшенными цветами обработано с помощью модуля 1163 градационной шкалы, результирующее LP-изображение 1176 с улучшенными цветами и улучшенной яркостью может объединяться (1164) с HP-изображением 1168 с картой прироста. В некоторых вариантах осуществления этот процесс 1164 может быть процессом сложения. В некоторых вариантах осуществления объединенное улучшенное изображение 1177, происходящее из этого процесса 1164 объединения, может быть обработано с помощью процесса 1165 увеличения битовой глубины (BDE). Этот процесс 1165 BDE может уменьшить видимые артефакты, которые возникают, когда ограничивается битовая глубина. Некоторые варианты осуществления могут содержать процессы BDE, которые описаны в заявках на патент, упомянутых выше, которые включаются в этот документ путем ссылки.

После обработки 1165 BDE улучшенное изображение 1169 может быть показано на дисплее с использованием фоновой подсветки 1166, модулированной с помощью настройки фоновой подсветки, принятой от модуля 1154 выбора фоновой подсветки.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.77. В этих вариантах осуществления изображение 1180 может фильтроваться (1181) с помощью фильтра нижних частот (LP), чтобы создать LP-изображение 1183. Это LP-изображение 1183 может вычитаться (1182) или иным образом объединяться с исходным изображением 1180, чтобы создать высокочастотное (HP) изображение 1189. LP-изображение затем может быть обработано с помощью модуля 1184 улучшения цвета. В модуле 1184 улучшения цвета различные процессы могут применяться к LP-изображению. Процесс 1185 определения телесного цвета может применяться к LP-изображению 1183. Процесс 1185 определения телесного цвета может содержать анализ цвета каждого пикселя в LP-изображении 1183 и присвоение значения правдоподобия телесного цвета на основе цвета пикселя. Этот процесс может привести к карте правдоподобия телесных цветов. В некоторых вариантах осуществления справочная таблица (LUT) может использоваться для определения правдоподобия того, что цвет является телесным цветом. Также могут использоваться другие способы для определения правдоподобия телесного цвета. Некоторые варианты осуществления могут содержать способы определения телесного цвета, описанные выше и в других заявках, которые включаются в этот документ путем ссылки.

Результирующая карта правдоподобия телесных цветов может быть обработана процессом 1186 уточнения карты телесных цветов. LP-изображение 1183 также может вводиться или предоставляться этому процессу 1186 уточнения. В некоторых вариантах осуществления этот процесс 1186 уточнения может содержать управляемый изображением нелинейный фильтр нижних частот. В некоторых вариантах осуществления процесс 1186 уточнения может содержать процесс усреднения, применяемый к значениям в карте телесных цветов, когда соответствующее значение цвета изображения находится в пределах определенного расстояния в цветовом пространстве от значения цвета соседнего пикселя, и когда пиксель изображения и соседний пиксель находятся в пределах определенного пространственного расстояния. Карта телесных цветов, измененная или уточненная этим процессом, может затем использоваться для установления области телесных цветов в LP-изображении. Область вне области телесных цветов также может устанавливаться как область нетелесных цветов.

В модуле 1184 улучшения цвета LP-изображение 1183 может затем дифференциально обрабатываться путем применения процесса 1187 изменения цвета только к области телесных цветов. В некоторых вариантах осуществления процесс 1187 изменения цвета может применяться только к области нетелесных цветов. В некоторых вариантах осуществления первый процесс изменения цвета может применяться к области телесных цветов, а второй процесс изменения цвета может применяться к области нетелесных цветов. Каждый из этих процессов изменения цвета приведет к LP-изображению 1188 с измененными цветами или улучшенному LP-изображению.

Это улучшенное LP-изображение 1188 затем может добавляться или иным образом объединяться с HP-изображением 1189, чтобы создать улучшенное изображение 1192.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.78. В этих вариантах осуществления изображение 1180 может фильтроваться (1181) с помощью фильтра нижних частот (LP), чтобы создать LP-изображение 1183. Это LP-изображение 1183 может вычитаться (1182) или иным образом объединяться с исходным изображением 1180, чтобы создать высокочастотное (HP) изображение 1189. LP-изображение затем может быть обработано с помощью модуля 1184 улучшения цвета. В модуле 1184 улучшения цвета различные процессы могут применяться к LP-изображению. Процесс 1185 определения телесного цвета может применяться к LP-изображению 1183. Процесс 1185 определения телесного цвета может содержать анализ цвета каждого пикселя в LP-изображении 1183 и присвоение значения правдоподобия телесного цвета на основе цвета пикселя. Этот процесс может привести к карте правдоподобия телесных цветов. В некоторых вариантах осуществления справочная таблица (LUT) может использоваться для определения правдоподобия того, что цвет является телесным цветом. Также могут использоваться другие способы для определения правдоподобия телесного цвета. Некоторые варианты осуществления могут содержать способы определения телесного цвета, описанные выше и в других заявках, которые включаются в этот документ путем ссылки.

Результирующая карта правдоподобия телесных цветов может быть обработана процессом 1186 уточнения карты телесных цветов. LP-изображение 1183 также может вводиться или предоставляться этому процессу 1186 уточнения. В некоторых вариантах осуществления этот процесс 1186 уточнения может содержать управляемый изображением нелинейный фильтр нижних частот. В некоторых вариантах осуществления процесс 1186 уточнения может содержать процесс усреднения, применяемый к значениям в карте телесных цветов, когда соответствующее значение цвета изображения находится в пределах определенного расстояния в цветовом пространстве от значения цвета соседнего пикселя, и когда пиксель изображения и соседний пиксель находятся в пределах определенного пространственного расстояния. Карта телесных цветов, измененная или уточненная этим процессом, может затем использоваться для установления области телесных цветов в LP-изображении. Область вне области телесных цветов также может устанавливаться как область нетелесных цветов.

В модуле 1184 улучшения цвета LP-изображение 1183 может затем дифференциально обрабатываться путем применения процесса 1187 изменения цвета только к области телесных цветов. В некоторых вариантах осуществления процесс 1187 изменения цвета может применяться только к области нетелесных цветов. В некоторых вариантах осуществления первый процесс изменения цвета может применяться к области телесных цветов, а второй процесс изменения цвета может применяться к области нетелесных цветов. Каждый из этих процессов изменения цвета приведет к LP-изображению 1188 с измененными цветами или улучшенному LP-изображению.

Это улучшенное LP-изображение 1188 затем может добавляться или иным образом объединяться с HP-изображением 1189, чтобы создать улучшенное изображение, которое затем может быть обработано с помощью процесса 1191 увеличения битовой глубины (BDE). В процессе 1191 BDE специально спроектированные структуры шумов или шаблоны размывания могут применяться к изображению для уменьшения чувствительности к контурным артефактам от последующей обработки, которые уменьшают битовую глубину изображения. Некоторые варианты осуществления могут содержать процессы BDE, которые описаны в заявках на патент, упомянутых выше, которые включаются в этот документ путем ссылки. Результирующее, улучшенное с помощью BDE изображение 1193 может затем отображаться или дополнительно обрабатываться. Улучшенное с помощью BDE изображение 1193 с меньшей вероятностью будет демонстрировать контурные артефакты, когда его битовая глубина уменьшается, как объясняется в заявках, которые выше включаются путем ссылки.

Некоторые варианты осуществления настоящего изобретения содержат подробности реализации высококачественной модуляции фоновой подсветки и сохранения яркости при ограничениях аппаратной реализации. Эти варианты осуществления могут описываться со ссылкой на варианты осуществления, проиллюстрированные на фиг.73 и 76.

Некоторые варианты осуществления содержат элементы, которые находятся в модуле 1154 выбора фоновой подсветки и модуле 1163 градационной шкалы для BP на фиг.73 и 76. Некоторые из этих вариантов осуществления могут уменьшить потребление памяти и потребности в вычислении в реальном масштабе времени.

Вычисление гистограммы

В этих вариантах осуществления гистограмма вычисляется на основе кодовых значений изображения, а не значений освещенности. Таким образом, не нужно никакого преобразования цветов. В некоторых вариантах осуществления исходный алгоритм может вычислить гистограмму на всех выборках изображения. В этих вариантах осуществления вычисление гистограммы не может быть завершено, пока не получена последняя выборка изображения. Все выборки должны быть получены, и гистограмма должна быть завершена перед тем, как может быть выполнен выбор фоновой подсветки и разработка компенсирующей градационной кривой.

Эти варианты осуществления имеют несколько сложных моментов:

- Необходимость в кадровом буфере, так как первый пиксель не может быть компенсирован, пока не завершена гистограмма - RAM.

- Малое время доступно для вычислений гистограммы и выбора фоновой подсветки, в то время как другие функциональные элементы простаивают в ожидании результатов - Вычисление.

- Большое количество выборок изображения, которое должно быть обработано для вычисления гистограммы на всех выборках изображения - Вычисление.

- Для 10-разрядных данных изображения 10-разрядная гистограмма требует относительно большой памяти для хранения данных и большого количества точек, которые нужно исследовать в оптимизации дисторсии - RAM и Вычисление.

Некоторые варианты осуществления настоящего изобретения содержат методики для преодоления этих проблем. Чтобы исключить необходимость в кадровом буфере, гистограмма предшествующего кадра может использоваться в качестве входных данных в алгоритм выбора фоновой подсветки. Гистограмма от кадра n используется в качестве входных данных для кадра n+1, n+2 или другого последующего кадра, посредством этого устраняя необходимость в кадровом буфере.

Чтобы выделить время для вычисления, гистограмма может задерживаться на один или несколько дополнительных кадров, поэтому гистограмма от кадра n используется в качестве выходных данных для выбора фоновой подсветки в кадре n+2, n+3 и т.д. Это выделяет алгоритму выбора фоновой подсветки время для вычисления от конца кадра n до начала последующего кадра, например n+2.

В некоторых вариантах осуществления временной фильтр на результат алгоритма выбора фоновой подсветки может использоваться для уменьшения чувствительности к этой задержке на кадр при выборе фоновой подсветки относительно входного кадра.

Чтобы уменьшить количество выборок, которые должны быть обработаны при вычислении каждой гистограммы, некоторые варианты осуществления могут использовать блок вместо отдельных пикселей. Для каждой плоскости цветов и каждого блока вычисляется максимальная выборка. Гистограмма может вычисляться на этих максимумах блоков. В некоторых вариантах осуществления максимум вычисляется еще на каждой плоскости цветов. Таким образом, изображение с M блоками будет иметь 3-M входов в гистограмму.

В некоторых вариантах осуществления гистограмма может вычисляться на входных данных, квантованных на небольшой диапазон разрядов, то есть 6 разрядов. В этих вариантах осуществления уменьшается RAM, необходимая для хранения гистограммы. Также в связанных с дисторсией вариантах осуществления с тем же успехом сокращаются операции, необходимые для поиска дисторсии.

Типовой вариант осуществления вычисления гистограммы описывается ниже в виде кода как Функция 1.

Функция 1

/**************************************************************************************/

//

ComputeHistogram

// Вычисляет гистограмму на основе максимума в блоке

// размер блока и битовая глубина гистограммы устанавливаются в секциях #define

// Важные глобальные переменные

// gHistogramBlockSize

// gN_HistogramBins

// N_PIPELINE_CODEVALUES

/**************************************************************************************/

void ComputeHistogram(SHORT *pSource[NCOLORS],IMAGE_SIZE

size,UINT32 *pHistogram)

{

SHORT cv;

SHORT bin;

SHORT r,c,k;

SHORT block;

SHORT cvMax;

SHORT BlockRowCount;

SHORT nHistogramBlocksWide;

nHistogramBlocksWide=size.width/gHistograrnBlockSize;

/* Очистить гистограмму */

for(bin=0;bin<gN_HistogramBins;bin++)

pHistogram[bin]=0;

// использовать максимум в блоке для гистограммы, не смешивать цвета

// отслеживать максимум в каждой строке развертки блока и найти максимум в строках развертки

// инициализировать

BlockRowCount=0;

for(k=0;k<NCOLORS;k++)

for(block=0;block<nHistogramBlocksWide;block++)

MaxBlockCodeValue[k][block]=0;

for(r=0;r<size.height;r++)

{

// единственная линия сканирования

for(c=0 ;c<size.width;c++)

{

block=c/gHistogramBlockSize;

for(k=0;k<NCOLORS;k++)

{

cv=pSource[k][r*size.width+c];

if(cv>MaxBlockCodeValue[k][block])

MaxBlockCodeValue[k] [block]=cv;

}

}

// Закончена строка блоков?

if(r==(gHistogramBlockSize*(BlockRowCount+1)-1))

{

//обновить гистограмму и увеличить BlockRowCount

for(k=0;k<NCOLORS;k++)

for(block=0;block<nHistogramBlocksWide;block++)

{

cvMax=MaxBlockCodeValue[k] [block];

bin=(SHORT)((cvMax*(int)gN_HistogramBins+(N_PIPELINE_CODEVALUES/

2))/((SHORT)N_PIPELINE_CODEVALUES));

pHistogram[bin]++;

}

BlockRowCount=BlockRowCount+1;

// обнулить максимумы

for(k=0;k<NCOLORS;k++)

for(block=0;block<nHistogramBlocksWide;block++)

MaxBlockCodeValue[k][block]-0;

}

}

return;

}

Модели целевого и реального дисплея

В некоторых вариантах осуществления алгоритмы дисторсии и компенсации зависят от степенной функции, используемой для описания целевого и эталонного дисплеев. Эта степенная функция или "гамма" может вычисляться автономно в целочисленном представлении. В некоторых вариантах осуществления это вычисление в реальном масштабе времени может использовать заранее вычисленные целые значения степенной функции гамма. Примерный код, приведенный ниже в виде Функции 2, описывает типовой вариант осуществления.

Функция 2

void InitPowerOfGamma(void)

{

int i;

// Инициализировать таблицу ROM здесь

for(i=0;i<N_PIPELINE_CODEVALUES;i++)

{

PowerOfGamma[i]=pow(i/((double)N_PIPELINE_CODEVALUES-1),GAMMA);

IntPowerOfGamma[i]=(UINT32)((1<<N_BITS__INT_GAMMA)*PowerOfGamm a[i]+0.5);

}

return;

}

В некоторых вариантах осуществления целевой и реальный дисплеи могут моделироваться с помощью двухпараметрической модели GoG-F, которая используется в масштабе реального времени для управления процессом выбора фоновой подсветки на основе дисторсии и алгоритмом компенсации фоновой подсветки. В некоторых вариантах осуществления целевой (эталонный) дисплей и реальная панель могут моделироваться как имеющие степенной закон с гаммой 2,2 с добавочным смещением. Добавочное смещение может определять коэффициент контрастности у дисплея.

Вычисление значений дисторсии

В некоторых вариантах осуществления для каждого уровня фоновой подсветки и входного изображения может вычисляться дисторсия между нужным выходным изображением и выходным изображением при заданном уровне фоновой подсветки. Результат является значением для каждого столбца гистограммы и каждого уровня фоновой подсветки. С помощью вычисления значений дисторсии только для необходимых уровней фоновой подсветки размер используемой RAM сохраняется на минимальном или уменьшенном уровне. В этих вариантах осуществления оперативное вычисление позволяет алгоритму приспосабливаться к разным выборам эталонного или целевого дисплея. Это вычисление включает в себя два элемента, гистограмму изображения и набор значений дисторсии. В других вариантах осуществления значения дисторсии для всех возможных значений фоновой подсветки вычислялись автономно и сохранялись в ROM. Чтобы снизить требования к ROM, значения дисторсии могут вычисляться для каждого интересующего уровня фоновой подсветки для каждого кадра. Принимая во внимания нужную модель дисплея и модель дисплея панели и список уровней фоновой подсветки, значения дисторсии для этих уровней фоновой подсветки могут вычисляться для каждого кадра. Примерный код для типового варианта осуществления показан ниже в виде Функции 3.

Функция 3

/***********************************************************************

// void ComputeBackLightDistortion Weight

// вычисляет дисторсию, которой нужна большая битовая глубина

// вычисляет значения дисторсии для списка выбранных уровней фоновой подсветки и параметров панели

// Relevant Globals

// MAX_BACKLIGHT_SEARCH

// N_BITS_INT_GAMMA

// N_PIPELINE_CODEVALUES

// IntPowerOfGamma

// gN_HistogramBins

***********************************************************************/

void ComputeBackLightDistortionWeight(SHORT nBackLightsSearched,

SHORT BlackWeight,

SHORT White Weight,

SHORT PanelCR,

SHORT TargetCR,

SHORT BackLightLevelReference,

SHORT

BackLightLevelsSearched[MAX_BACKLIGHT_SEARCH])

{

SHORT b;

SHORT bin;

SHORT cvL,cvH;

_int64 X,Y,D,Dmax;

Dmax=(1<<30);

Dmax^:=Dmax*Dmax;

for(b=0;b<nBackLightsSearched;b++)

{

SHORT r,q;

r=N_PIPELINE_CODEVALUES/gN_HistogramBins;

// найти нижние и верхние кодовые значения для каждой искомой фоновой подсветки

// PanelOutput=BackLightSearched*((1-PanelFlare)*y^Gamma+PanelFlare)

// TargetOutput=BackLightLevelReference*((1-

TargetFlare)*x^{^}Gamma+TargetFlare)

// для cvL найти x из условия, что минимальный выходной сигнал панели

// достигается на целевом выходном сигнале

//TargetOutput(cvL)=min(PanelOutput)=BackLightSearched*PanelFlare

// BackLightLevelReference*((1-

TargetFlare)*cvL^{^}Gamma+TargetFlare)=BackLightSearched/PanelCR

//BackLightLevelReference/TargetCR*((TargetCR-

1)*cvL^{^}Gamma+1)=BackLightSearched/PanelCR

//PanelCR*BackLightLevelReference*((TargetCR-

1)*cvL^{^}Gamma+l)=TargetCR*BackLightSearched

//PanelCR*BackLightLevelReference*((TargetCR-

1)*IntPowerOfGamma[cvL]+(1<<N_BITS_INT_GAMMA))=TargetCR*BackLig

htSearched*(1<<N_BITS_INT_GAMMA))

X-TargetCR;

X=X*BackLightLevelsSearched[b];

X=X*(1<<N_BITS_INT_GAMMA);

for(cvL=0;cvL<N_PIPELINE_CODEVALUES;cvL++)

{

Y=IntPowerOfGamma[cvL];

Y=Y*(TargetCR-1);

Y=Y+(1<<N_BITS_INT_GAMMA);

Y=Y*BackLightLevelReference;

Y=Y*PanelCR;

if(X<=Y)

break;

}

// для cvH найти x из условия, что максимальный выходной сигнал панели

// достигается на целевом выходном сигнале

// TargetOutput(cvH)=max(PanelOutput)=BackLightSearched*1

//BackLightLevelReference*((1-

TargetFlare)*cvH^{^}Gamma+TargetFlare)=BackLightSearched

// BackLightLevelReference/TargetCR* ((TargetCR-

1)*cvH^{^}Gamma+1)=BackLightSearched

//BackLightLevelReference((TargetCR-1)*cvH^{^}Gamma+1)=TargetCR*BackLightSearched

//BackLightLevelReference((TargetCR-

1)*IntPowerOfGamma[cvH]+(1<<N_BITS_INT_GAMMA))=

TargetCR*BackLightSearched*(1<<N_BITS_INT_GAMMA)

X=TargetCR;

X=X*BackLightLevelsSearched[b];

X=X*(1<<N_BITS_INT_GAMMA);

for(cvH=(N_PIPELINE_CODEVALUES-1);cvH>-0;cvH--)

{

Y=IntPowerOfGamma[cvH];

Y=Y*(TargetCR-1);

Y=Y+(1<<N_BITS_INT_GAMMA);

Y=Y*BackLightLevelReference;

if(X>=Y)

break;

}

// создать значения дисторсии

(bin=0;bin<gN_HistogramBins;bin++)

{

SHORT k;

D=0;

for(q=0;q<r;q++)

{

k=r*bin+q;

if(k<=cvL)

D+=BlackWeight*(cvL - k)*(cvL - k);

else if(k>=cvH)

D+=WhiteWeight*(k-cvH)*(k-cvH);

}

if(D>Dmax)

D=Dmax;

gBackLightDistortionWeights[b][bin]=(UINT32)D;

}

}

return;

}

Поиск фоновой подсветки с подвыборками

В некоторых вариантах осуществления алгоритм выбора фоновой подсветки может содержать процесс, который минимизирует дисторсию между целевым выходным сигналом дисплея и выходным сигналом панели на каждом уровне фоновой подсветки. Чтобы уменьшить и количество уровней фоновой подсветки, которое нужно оценить, и количество значений дисторсии, которое нужно вычислить и сохранить, в поиске может использоваться подмножество уровней фоновой подсветки.

В некоторых вариантах осуществления могут использоваться два типовых способа взятия подвыборок в поиске. В первом способе возможный диапазон уровней фоновой подсветки грубо квантуется, например, на 4 разряда. Это подмножество квантованных уровней исследуется на минимальную дисторсию. В некоторых вариантах осуществления для полноты также могут использоваться абсолютные минимальные и максимальные значения. Во втором способе используется диапазон значений около найденного уровня фоновой подсветки для последнего кадра. Например, +-4, +-2, +-1 и +0 от уровня фоновой подсветки последнего кадра ищутся вместе с абсолютными минимальными и максимальными уровнями. В этом последнем способе ограничения в диапазоне поиска накладывают некоторое ограничение на изменение в выбранном уровне фоновой подсветки. В некоторых вариантах осуществления используется обнаружение смены плана для управления подвыборкой. В рамках плана (сцены) поиск BL помещает в центре небольшой интервал поиска около фоновой подсветки последнего кадра. На границе смены плана поиск размещает небольшое количество точек по всему диапазону возможных значений BL. Последующие кадры в том же плане используют предшествующий способ центрирования поиска около BL предыдущего кадра, пока не обнаруживается другая смена плана.

Вычисление одной кривой компенсации BP

В некоторых вариантах осуществления несколько разных уровней фоновой подсветки могут использоваться во время работы. В других вариантах осуществления компенсирующие кривые для полного множества уровней фоновой подсветки вычислялись автономно, затем сохранялись в ROM для компенсации изображения в реальном масштабе времени. Это требование к памяти может быть уменьшено, отмечая то, что в каждом кадре необходима только одна компенсирующая кривая. Таким образом, компенсирующая градационная кривая вычисляется и сохраняется в RAM каждого кадра. В некоторых вариантах осуществления исполнение компенсирующей кривой такое, как используется в автономном исполнении. Некоторые варианты осуществления могут содержать кривую с линейным подъемом вплоть до точки максимальной точности (MFP) с последующим плавным спадом, как описано выше.

Временной фильтр

Одной проблемой в системе с модуляцией фоновой подсветки является мерцание. Оно может быть уменьшено посредством использования методик обработки изображений с компенсацией. Однако существует несколько ограничений для компенсации, которые могут привести к артефактам, если изменение фоновой подсветки быстрое. В некоторых ситуациях черные и белые точки сопровождают фоновую подсветку и не могут быть компенсированы во всех случаях. Также, в некоторых вариантах осуществления выбор фоновой подсветки может основываться на данных от кадра с задержкой и поэтому может отличаться от данных текущего кадра. Чтобы регулировать мерцание на уровне черного/белого и позволять задерживать гистограмму в вычислении фоновой подсветки, временной фильтр может использоваться для сглаживания фактического значения фоновой подсветки, отправленного блоку управления фоновой подсветкой, и соответствующей компенсации.

Учет изменений яркости

По различным причинам пользователь может захотеть изменить яркость дисплея. Проблема в том, как сделать это в условиях модуляции фоновой подсветки. Соответственно, некоторые варианты осуществления могут предусматривать управление яркостью эталонного дисплея, оставляя составляющие модуляции фоновой подсветки и компенсации яркости без изменений. Код ниже, описанный в виде Функции 4, иллюстрирует типовой вариант осуществления, где индекс эталонной фоновой подсветки либо устанавливается в максимальный, либо устанавливается в значение, зависящее от средней освещенности изображения (APL), если APL используется для изменения максимальной яркости дисплея.

Функция 4

/***********************************************************************

if(gStoredMode)

{

BackLightIndexReference=N_BACKLIGHT_VALUES-1;

}

else

{

APL=ComputeAPL(pHistogram);

// временной фильтр APL

if(firstFrame)

{

for(i=(APL_FILTER_LENGTH-1);i>=0;i--)

{

APL_History[i]=APL;

}

}

for(i=(APL_FILTER_LENGTH-1);i>=1;i--)

{

APL_History[i]=APL_History[i-l];

}

APL_History[0]=APL;

APL=0;

for(i=0;i<APL_FILTER_LENGTH;i++)

APL=APL+APL_History[i]*IntAplFilterTaps[i];

APL=(APL+(1<<(APL_FILTER_SHIFT-1)))>>APL_FILTER_SHIFT;

BackLightIndexReference=APL2BackLightIndex[APL];

}

Термины и выражения, которые применены в предшествующем описании изобретения, используются там как термины описания, а не ограничения, и при использовании таких терминов и выражений отсутствует намерение исключения эквивалентности показанных и описанных признаков или их частей; признается, что объем изобретения задается и ограничивается только формулой изобретения, которая следует ниже.

1. Способ для выбора уровня освещенности подсветки дисплея, причем упомянутый способ содержит этапы, на которых:
a) определяют в первом канале цветности изображения характерное кодовое значение для каждого из множества блоков;
b) определяют во втором канале цветности упомянутого изображения характерное кодовое значение для каждого из множества блоков;
c) создают гистограмму упомянутых характерных кодовых значений из упомянутого первого канала цветности и упомянутого второго канала цветности; и
d) обеспечивают фоновую подсветку на выбранном уровне освещенности фоновой подсветки на основе данных из упомянутой гистограммы.

2. Способ по п.1, в котором упомянутые характерные кодовые значения являются максимальными кодовыми значениями изображения для их соответствующих блоков.

3. Способ по п.1, дополнительно содержащий этап, на котором квантуют кодовые значения изображения до меньшей битовой глубины перед упомянутым этапом, на котором определяют характерные кодовые значения.

4. Способ по п.1, дополнительно содержащий этап, на котором создают кривую коррекции градационной шкалы на основе упомянутого уровня освещенности фоновой подсветки.

5. Способ по п.4, в котором упомянутый этап, на котором создают кривую коррекции градационной шкалы, содержит использование модели дисплея, которая использует заранее вычисленные целые значения степенной функции гамма.

6. Способ для настройки характеристик изображения, причем упомянутый способ содержит этапы, на которых:
a) создают гистограмму изображения для изображения, причем упомянутая гистограмма содержит множество столбцов;
b) выбирают подмножество уровней освещенности фоновой подсветки из множества возможных уровней освещенности фоновой подсветки, причем упомянутый выбор зависит от характеристик упомянутого изображения;
c) вычисляют эталонную модель дисплея с использованием первого заранее вычисленного целочисленного представления степенной функции гамма;
d) вычисляют целевую модель дисплея с использованием второго заранее вычисленного целочисленного представления степенной функции гамма;
e) определяют значение дисторсии для каждого столбца гистограммы при каждом выбранном уровне освещенности фоновой подсветки в упомянутом подмножестве, используя упомянутую эталонную модель дисплея и упомянутую целевую модель дисплея;
f) определяют характерные для фоновой подсветки значения дисторсии кадра путем умножения упомянутых значений дисторсии на их соответствующие количества столбцов гистограммы для каждого из упомянутых выбранных уровней освещенности фоновой подсветки;
g) обеспечивают фоновую подсветку на выбранном уровне освещенности фоновой подсветки из упомянутого подмножества на основе упомянутых характерных для фоновой подсветки значений дисторсии кадра.

7. Способ по п.6, в котором упомянутое изображение делится на блоки, и упомянутая гистограмма изображения регистрирует только максимальное кодовое значение изображения для каждого блока.

8. Способ по п.6, в котором упомянутое изображение делится на изображения каналов цветности, причем каждое изображение канала цветности делится на блоки, и упомянутая гистограмма изображения регистрирует только максимальное кодовое значение изображения для каждого блока в каждом канале цветности.

9. Способ по п.6, в котором упомянутое подмножество уровней освещенности фоновой подсветки определяется с помощью этапа, на котором квантуют упомянутое множество возможных уровней освещенности фоновой подсветки.

10. Способ по п.6, в котором упомянутое подмножество уровней освещенности фоновой подсветки определяется с помощью этапа, на котором выбирают диапазон уровней освещенности фоновой подсветки относительно уровня освещенности фоновой подсветки, выбранного для ранее обработанного кадра.

11. Способ по п.6, в котором упомянутый этап, на котором выбирают уровень освещенности фоновой подсветки, содержит этап, на котором выбирают уровень освещенности фоновой подсветки с помощью характерного для фоновой подсветки значения дисторсии кадра, показывающего наименьшую дисторсию.

12. Способ по п.6, в котором упомянутое значение дисторсии пропорционально разнице между кодовым значением изображения, обработанным с помощью упомянутой эталонной модели дисплея, и упомянутым кодовым значением, обработанным с помощью упомянутой целевой модели дисплея.

13. Способ по п.6, дополнительно содержащий этап, на котором фильтруют во времени выбор, определенный с помощью упомянутого этапа, на котором выбирают уровень освещенности фоновой подсветки, чтобы избежать чрезмерных колебаний уровня освещенности фоновой подсветки.

14. Способ для настройки характеристик изображения, причем упомянутый способ содержит этапы, на которых:
a) определяют в первом канале цветности изображения максимальное кодовое значение для каждого из множества блоков в первом канале цветности изображения;
b) определяют во втором канале цветности изображения максимальное кодовое значение для каждого из множества блоков во втором канале цветности изображения;
c) создают гистограмму упомянутых максимальных кодовых значений из упомянутого первого канала цветности и упомянутого второго канала цветности;
d) выбирают подмножество уровней освещенности фоновой подсветки из множества возможных уровней освещенности фоновой подсветки, причем упомянутый выбор зависит от характеристик упомянутого изображения;
e) вычисляют эталонную модель дисплея с использованием первого заранее вычисленного целочисленного представления степенной функции гамма;
f) вычисляют целевую модель дисплея с использованием второго заранее вычисленного целочисленного представления степенной функции гамма;
g) определяют значение дисторсии для каждого столбца гистограммы при каждом выбранном уровне освещенности фоновой подсветки в упомянутом подмножестве, используя упомянутую эталонную модель дисплея и упомянутую целевую модель дисплея;
h) определяют характерные для фоновой подсветки значения дисторсии кадра путем умножения упомянутых значений дисторсии на их соответствующие количества столбцов гистограммы для каждого из упомянутых выбранных уровней освещенности фоновой подсветки;
i) обеспечивают фоновую подсветку на выбранном уровне освещенности фоновой подсветки из упомянутого подмножества на основе упомянутых характерных для фоновой подсветки значений дисторсии кадра.

15. Способ по п.14, в котором упомянутое подмножество уровней освещенности фоновой подсветки определяется с помощью этапа, на котором квантуют упомянутое множество возможных уровней освещенности фоновой подсветки.

16. Способ по п.14, в котором упомянутое подмножество уровней освещенности фоновой подсветки определяется с помощью этапа, на котором выбирают диапазон уровней освещенности фоновой подсветки относительно уровня освещенности фоновой подсветки, выбранного для ранее обработанного кадра.

17. Способ по п.14, в котором упомянутый этап, на котором выбирают уровень освещенности фоновой подсветки, содержит этап, на котором выбирают уровень освещенности фоновой подсветки с помощью характерного для фоновой подсветки значения дисторсии кадра, показывающего наименьшую дисторсию.

18. Способ по п.14, в котором упомянутое значение дисторсии имеет отношение к разнице между кодовым значением изображения, обработанным с помощью упомянутой эталонной модели дисплея, и упомянутым кодовым значением, обработанным с помощью упомянутой целевой модели дисплея.

19. Способ по п.14, дополнительно содержащий этап, на котором фильтруют во времени выбор, определенный с помощью упомянутого этапа, на котором выбирают уровень освещенности фоновой подсветки, чтобы избежать чрезмерных колебаний уровня освещенности фоновой подсветки.

20. Способ по п.14, дополнительно содержащий этап, на котором вычисляют кривую коррекции градационной шкалы для упомянутого изображения на основе упомянутого выбранного уровня освещенности фоновой подсветки.

21. Способ для настройки характеристик изображения, причем упомянутый способ содержит этапы, на которых:
a) определяют в первом канале цветности изображения максимальное кодовое значение для каждого из множества блоков в первом канале цветности изображения;
b) определяют во втором канале цветности изображения максимальное кодовое значение для каждого из множества блоков во втором канале цветности изображения;
c) создают гистограмму упомянутых максимальных кодовых значений из упомянутого первого канала цветности и упомянутого второго канала цветности;
d) выбирают подмножество уровней освещенности фоновой подсветки из множества возможных уровней освещенности фоновой подсветки, причем упомянутый выбор зависит от характеристик упомянутого изображения, где упомянутое подмножество уровней освещенности фоновой подсветки выбирается с помощью ограниченного поиска около уровня освещенности фоновой подсветки предыдущего кадра, когда не обнаруживается смена плана между упомянутым предыдущим кадром и упомянутым изображением, и упомянутое подмножество выбранных уровней освещенности фоновой подсветки определяется относительно всего диапазона уровней освещенности фоновой подсветки, когда обнаруживается смена плана между упомянутым предыдущим кадром и упомянутым изображением;
e) вычисляют эталонную модель дисплея с использованием первого заранее вычисленного целочисленного представления степенной функции гамма;
f) вычисляют целевую модель дисплея с использованием второго заранее вычисленного целочисленного представления степенной функции гамма; и
g) обеспечивают фоновую подсветку при выборе уровня освещенности фоновой подсветки из упомянутого подмножества на основе упомянутых характерных для фоновой подсветки значений дисторсии кадра.