Преобразование динамических метаданных для поддержки альтернативного тоновоспроизведения
Изобретение относится к преобразованию метаданных, в частности к вычислению набора метаданных особого для модели преобразования объема цвета (CVT), используя существующий набор метаданных, который является особым для совершенно другой модели CVT. Техническим результатом является обеспечение эффективного перехода из форматов расширенного динамического диапазона (HDR). Указанный технический результат достигается тем, что существующий набор метаданных, который является особым для модели преобразования объема цвета, преобразуется в набор метаданных, который является особым для совершенно другой модели преобразования объема цвета. Например, принимаются метаданные исходного контента для первой модели преобразования объема цвета. Исходные метаданные определяют особое преобразование объема цвета, такое как сигмовидная кривая отображения тона. Особое преобразование объема цвета отображается в преобразовании объема цвета второй модели преобразования объема цвета, например кривой отображения тона Безье. Отображение может быть кривой наилучшего подбора или приемлемой аппроксимацией. Результаты отображения в значениях метаданных используются для второй модели преобразования объема цвета (например, точки излома и точки привязки кривой Безье). Устройства, сконфигурированные для второй модели преобразования объема цвета, могут приемлемо визуализировать исходный контент в соответствии с принятыми метаданными исходного контента первой модели преобразования объема цвета. 4 н. и 15 з.п. ф-лы, 7 ил.
ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННУЮ ЗАЯВКУ
[0001] По данной заявке испрашивается приоритет Патентной Заявки США № 15/584,368, поданной 02 мая 2017г., по которой испрашивается приоритет Предварительной Заявки США № 62/364,780, поданной 20 июля 2016г., каждая из которых во всей своей полноте включена в настоящее описание посредством ссылки.
ОБЛАСТЬ ТЕХНИКИ
[0002] Настоящее изобретение относится в целом к преобразованию метаданных. В частности, вариант осуществления настоящего изобретения относится к вычислению набора метаданных особого для модели преобразования объема цвета (CVT), используя существующий набор метаданных, который является особым для совершенно другой модели CVT.
УРОВЕНЬ ТЕХНИКИ
[0003] Контент, мастеринг которого осуществлялся для телевидения сверхвысокой четкости (UHDTV), становится широко доступным с введением систем с высоким динамическим диапазоном. Эти системы обеспечивают восприятие с эффектом присутствия с более естественным воспроизведением видеоконтента. Типичная система HDR отличается:
- высокой пиковой яркостью (например, по меньшей мере 700, 1000, 2000, или 10000 кд/м2);
- HDR функцией электро-оптического переноса (EOTF) (например, SMPTE ST 2084:2014, «High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays» или Hybrid Log-Gamma, Рекомендация ITU-R BT.2100-0 (07/2016), как впрочем и Белая Книга по Исследованиям и Разработкам BBC WHP 283, июль 2014, «Non-linear Opto-Electrical Transfer Functions for High Dynamic Range Television»);
- широкий цветовой охват (например, DCI-P3, Рекомендация ITU-R BT. Rec. 2020, или больше);
- увеличенная степень контрастности (например, по меньшей мере 800:1, 5000:1, или 10000:1); и
- 4K пиксельное разрешение или выше (например, 3840×2160 пикселей, 4096×2160 пикселей, 7680×4320 пикселей, или подобное).
[0004] Предсказуемо, будут появляться несходные форматы контента UHDTV. Например, форматы UHDTV могут основываться на разных моделях CTV на основании метаданных параметрического отображения тона, зависимых от контента динамических метаданных, и/или метаданных опорного дисплея, или даже на отсутствии метаданных вовсе. В идеале, безотносительно формата контента HDR, система HDR должна сохранять художественный замысел - цвет и освещенность, по меньшей мере, в разумной степени. Приемлемая визуализация обеспечивается за счет архивирования контента, мастеринг которого осуществлялся в каждом из форматов HDR, которые должны поддерживаться. Тем не менее, данное упрощенное решение требует больших хранилищ памяти, более длительного времени создания контента, и повышенной сложности при доставке контента.
[0005] Авторы изобретения понимают, что предпочтительным является переход из одного формата HDR вычислительно-эффективным образом. Устройство HDR должно точно осуществлять визуализацию контента, мастеринг которого осуществлялся в другом формате (как например, основанного на совершенно другой модели CVT), или, по меньшей мере, осуществлять визуализацию приемлемой для восприятия аппроксимации, на основании доступных метаданных.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0006] Варианты осуществления настоящего изобретения иллюстрируются в качестве примеров, а не в качестве ограничения, на фигурах сопроводительных чертежей и на которых подобные ссылочные числа относятся к сходным элементам, и на которых:
[0007] Фиг. 1A изображает упрощенную блок-схему, изображающую один вариант осуществления изобретения;
[0008] Фиг. 1B изображает упрощенную блок-схему, изображающую один вариант осуществления изобретения;
[0009] Фиг. 2A-2C показывают примеры подбора кривой для двух кривых переноса у отличающихся моделей CVT.
[0010] Фиг. 3 изображает упрощенный способ в соответствии с одним вариантом осуществления изобретения; и
[0011] Фиг. 4 иллюстрирует упрощенную структурную схему примерной платформы аппаратного обеспечения, на которой может быть реализован компьютер или вычислительное устройство, как описывается в данном документе.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0012] Изобретение определяется независимыми пунктами формулы изобретения, принимая во внимание любой элемент, который является эквивалентом для элемента, указанного в формуле изобретения. Зависимые пункты формулы изобретения затрагивают опциональные признаки некоторых вариантов осуществления изобретения.
[0013] В первом варианте осуществления, метаданные исходного контента преобразуются для отличающейся модели CVT. В данном варианте осуществления, принимаются метаданные исходного контента для первой модели CVT. На основании принятых метаданных исходного контента может быть вычислена первая кривая переноса для первой модели CVT. Первая кривая переноса первой модели CVT может быть отображена (например, наилучший подбор или приемлемая аппроксимация) во второй кривой переноса второй модели CVT. Отображение генерирует метаданные контента для второй модели CVT. Сгенерированные метаданные контента могут быть использованы для визуализации исходного контента посредством устройств, работающих под второй моделью CVT.
[0014] Во втором варианте осуществления, аппаратура для улучшения воспроизведения контента с высоким динамическим диапазоном имеет средство для приема метаданных исходного контента для первой модели преобразования объема цвета и средство для определения первой кривой переноса для первой модели преобразования объема цвета на основании принятых метаданных исходного контента. Аппаратура дополнительно имеет средство для отображения первой кривой переноса первой модели преобразования объема цвета во второй кривой переноса второй модели преобразования объема цвета, при этом отображение генерирует метаданные контента для второй модели преобразования объема цвета.
[0015] В третьем варианте осуществления, аппаратура для улучшения воспроизведения контента с высоким динамическим диапазоном имеет, по меньшей мере, одно электронное устройство, которое принимает метаданные исходного контента для первой модели преобразования объема цвета и, по меньшей мере, одно второе электронное устройство, которое определяет первую кривую переноса для первой модели преобразования объема цвета на основании принятых метаданных исходного контента, при этом, по меньшей мере, одно второе электронное устройство является, по меньшей мере, одним из, по меньшей мере, одного электронного устройства и другого электронного устройства. Аппаратура также имеет, по меньшей мере, одно третичное устройство, которое отображает первую кривую переноса первой модели преобразования объема цвета во второй кривой переноса второй модели преобразования объема цвета, при этом, по меньшей мере, одно третичное устройство является, по меньшей мере, одним из, по меньшей мере, одного электронного устройства, по меньшей мере, одного вторичного электронного устройства и другого электронного устройства и при этом отображение генерирует метаданные контента для второй модели преобразования объема цвета.
[0016] В четвертом варианте осуществления, способ преобразования динамических метаданных, который содержит этапы, на которых принимают исходный контент и генерируют метаданные исходного контента для первой модели преобразования объема цвета, ассоциированной с упомянутым исходным контентом. Способ дополнительно содержит этапы на которых определяют первую кривую переноса для первой модели преобразования объема цвета на основании сгенерированных метаданных исходного контента и отображают первую кривую переноса первой модели преобразования объема цвета во второй кривой переноса второй модели преобразования объема цвета, при этом упомянутый этап, на котором отображают, генерирует метаданные контента для второй модели преобразования объема цвета.
ОПИСАНИЕ ПРИМЕРНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
[0017] В данном техническом описании предоставляются методики для создания, извлечения, и/или вывода параметров модели CVT из заданного сочетания метаданных у отличной модели CVT. Эти методики могут быть использованы посредством устройства с поддержкой HDR (например, телевизора, телевизионной абонентской приставки, компьютерного планшета, интеллектуального телефона, или интеллектуальных наручных часов), кодера или декодера, или инструмента цветокоррекции. Один или более этапы процесса, или полнота всех этапов, могут быть выполнены в режиме реального времени, не в режиме реального времени, или в режиме близком к реальному времени, в облаке или автономно, посредством одного устройства или нескольких устройств.
[0018] Общий подход к созданию, извлечению, и/или выводу параметров модели CVT состоит в применении прямого отображения, используя первую модель CVT и ассоциированные метаданные, и определении параметров для требуемой, второй модели CVT, что приводит к эквивалентному или с наилучшим подбором отображению. Т.е., определенные методики, описываемые данным техническим описанием, учат оптимизации кривой, или математической функции, для второй модели CVT, которая наилучшим образом подбирает точки данных первой модели CVT посредством регулировки параметров второй модели CVT.
[0019] В идеале, могут быть приняты метаданные исходного контента, в тех случаях, где доступен только исходный контент, метаданные исходного контента могут быть определены из исходного контента.
[0020] В нижеследующих примерах, в целях объяснения, многочисленные особые подробности излагаются для того, чтобы обеспечить полное понимание настоящего изобретения. Тем не менее будет очевидно, что настоящее изобретение может быть реализовано на практике без этих особых подробностей. В других случаях, хорошо известные структуры и устройства не описываются в исчерпывающих подробностях для того, чтобы избежать ненужного затенения настоящего изобретения.
Примерные Способы
[0021] Фиг. 1A изображает упрощенную блок-схему, изображающую один вариант осуществления изобретения.
[0022] Принимается исходный контент 100, или мастер-контент HDR. Исходный контент 100 включает в себя представление выборок видео или пикселей, сжатых ли (без потерь или с потерями) или несжатых. Например, исходный контент 100 может быть сжат в:
(i) JPEG 2000 (ISO/IEC 15444-1:2004);
(ii) Рекомендация ITU-T H.265 (04/ 2015), «High efficiency video coding», включая Основной 10 профиль;
(iii) Рекомендация ITU-T H.264 (02/16), «Advanced video coding for generic audiovisual services»; или
(iv) VP9 (yfghbvth, «VP9 Bitstream & Decoding Process Specification - v0.6», от 31 марта 2016г.).
Каждое из (i)-(iv) выше включено в настоящее описание для всех целей.
[0023] Исходный контент 100 может быть ассоциированным с метаданными HDR, например, метаданными 110 исходного контента. Метаданные HDR, например, метаданные 110 исходного контента, могут включать в себя статические метаданные, динамические метаданные, или как те, так и другие. Статические метаданные описывают один или более опорные дисплеи для мастеринга, использованные для цветокоррекции исходного контента 100 - например, SMPTE ST 2086:2014 (13 октября 2014г.), «Mastering Display Color Volume Metadata Supporting High Luminance and Wide Color Gamut Image», который включен в настоящее описание для всех целей.
[0024] С другой стороны, динамические данные описывают и относятся к, без ограничения, характеристикам изображения, таким как минимальная, максимальная, средняя, срединная яркость для картинки или очерченной группы картинок (например, сцены). Динамические метаданные могут дополнительно включать в себя среднюю интенсивность области, центральный пиксель области яркости в сцене, пик сцены, весовые коэффициенты отображения насыщенности цвета, весовой коэффициент компенсации цветности, коэффициент усиления насыщенности, и подобное. Для каждого из вариантов осуществления, описываемых данным техническим описанием, динамические метаданные могут быть такими как определено, частично, документами SMPTE ST 2094-1, -10, -20, -30, или -40, все из которых включены посредством ссылки для всех целей (в частности, определения и вычисления для параметров метаданных, например, линейная или билинейная интерполяция между выборками).
[0025] Сцена может быть идентифицирована посредством отметок (например, время начала, время конца, и/или продолжительность времени), счетчика порядка картинок (POC) (POC начала, POC остановки и/или разность POC), переходов фильма (например, затухание в черный или любой особый цвет, склеек, косых склеек, растворений, вытеснений, склеек с совмещением, и подобного), маркеров в битовом потоке, регулировки в одном или более параметрах кодирования (например, постоянство любой из характеристик зернистости пленки, компоновка упаковки кадров, подсказки пост-фильтра, информация отображения тона, ориентация дисплея, хэш декодированной картинки), или внешнего вида мгновенного декодирования картинки обновления.
[0026] В отношении данного технического описания, динамические метаданные также могут описывать модель CVT. Модель CVT описывает то, каким образом исходный контент 100 должен быть отображен в отличном объеме цвета. Например, модель CVT определяет преобразование из HDR в сокращенный стандартный динамический диапазон (SDR), или отображение в объем цвета целевого дисплея из объема цвета мастеринга (который может быть больше, меньше или иначе отличаться).
[0027] Исходный контент 100 и метаданные 110 исходного контента могут быть приняты вместе в битовом потоке или раздельно. Битовый поток может быть сохранен в компьютерной памяти, вещественных машиночитаемых носителях информации (например, оптическом диске или магнитном диске), или энергонезависимой карте памяти, или может быть передан с помощью электромагнитного сигнала через телекоммуникационную сеть (например, Интернет, беспроводную услугу, телефон, беспроводное соединение малого радиуса действия (например, Bluetooth), кабельное вещание, спутниковое вещание, и/или эфирное телевизионное вещание). Из такого битового потока могут быть извлечены метаданные 110 исходного контента. В тех случаях, где метаданные исходного контента являются недоступными, они могут быть сгенерированы или определены из исходного контента.
[0028] В особом варианте осуществления, метаданные 110 исходного контента включают в себя набор 112 метаданных, содержащий как динамические метаданные (не показано), так и статические метаданные. Динамические метаданные у набора 112 метаданных ассоциированы с особой моделью CVT, отличающейся сигмовидной функцией переноса, например, сигмовидной кривой 114 переноса. Минимальные, средние, максимальные значения цветовой составляющей у сцены видео (или одной картинки) ассоциируются с минимальными, средними, и максимальными значениями целевого дисплея, чтобы определять сигмовидную кривую 114 переноса. Сигмовидная кривая 114 переноса определяет отображение значений цветовой составляющей в целевом дисплее. Конкретная реализация сигмовидной функции переноса описывается в Патенте США № 8,593,480, который включен в настоящее описание для всех целей. Динамические метаданные у набора 112 метаданных дополнительно включают в себя параметры чтобы регулировать функцию переноса, такие как смещения (минимальных, средних, или максимальных значений цветовой составляющей), коэффициент усиления отображения тонов, смещение отображения тонов, коэффициент усиления насыщенности, весовые коэффициенты компенсации, и подобное. Эти параметры позволяют устанавливать одну или более фиксированные точки и/или управлять наклоном кривой в одной или более областях.
[0029] В особом варианте осуществления, динамические метаданные, на основе сцена-за-сценой (каждая с идентифицированным интервалом времени), описывают модель CVT посредством одного или более из следующих параметрических значений:
a. самое низкое, среднее, и наивысшее квантованное для восприятия закодированное максимальное RGB значение выбранных пикселей по всем изображениям в сцене (может быть нормализовано как [0,1];
b. минимальное, среднее, максимальное смещение для максимального значения RGB;
c. смещение отображения тона;
d. коэффициент усиления отображения тона;
e. гамма отображения тона (в качестве примера, находящаяся в диапазоне [0.5, 1.5] с шагами 0.001 и значением по умолчанию 1.0);
g. весовой коэффициент компенсации цветности, величина для регулировки цветности (в качестве примера, находится в диапазоне [-0.5, 0.5]; и
h. коэффициент усиления насыщенности, величина регулировки насыщенности (в качестве примера, находится в диапазоне [-0.5, 0.5]).
[0030] Функция переноса, например, кривая 116 переноса изображает совершенно другую модель CVT, поддерживаемую целевым устройством 130 воспроизведения. В данном примерном варианте осуществления, кривая 116 переноса определяется посредством кусочной функции - с линейным участком 118 и нелинейным участком 120. Нелинейный участок 120 может быть предварительно определенной кривой, такой как кривая Nого-порядка. Фиг. 1 иллюстрирует нелинейный участок 120 в качестве кривой Безье. Кривая Безье может быть квадратичной, кубической или даже более высокого порядка. В качестве альтернативы, нелинейный участок 120 может быть одним или более B-сплайнами, неоднородными рациональными B-сплайнами, M-сплайнами, I-сплайнами, T-сплайнами, сплайнами нескольких переменных (box spline), и любой полиномиальной функцией. В качестве еще одной дополнительной альтернативы, кривая 116 переноса может быть определена посредством одной функции, и не кусочным образом.
[0031] Функция переноса, например, кривая 116 переноса отличается метаданными 122 HDR, которые содержат набор 124 метаданных, состоящий из статических метаданных (не показано) и динамических метаданных. Динамические метаданные у набора 124 метаданных могут включать в себя одну или более точки привязки (например, 1, 2, 3, 4, 5 или более) и одну или более точки излома (например, 1, 2, 3, 4, 5 или более) применительно к средству отображения кривой Безье. Эти параметры позволяют устанавливать одну или более фиксированные точки и/или управлять наклоном кривой в одной или более областях. Набор 124 метаданных дополнительно включает в себя характеристики изображения (например, средний максимум цветовых составляющих, долю ярких пикселей, и подобное) и характеристики целевого дисплея (например, максимальная яркость, и фактическая пиковая яркость).
[0032] Как иллюстрируется на Фиг. 1A, сигмовидная функция переноса, например, сигмовидная кривая 114 переноса, определенная из метаданных 110 исходного контента, используется, чтобы вычислять наилучший подбор (или приемлемый для восприятия подбор) для функции переноса, например, кривой 116 посредством блока 126 преобразования метаданных. Подбор может быть определен посредством, в качестве примеров, многомерной линейной регрессии, простой линейной регрессии, суммы квадратов, абсолютных значений смещений, наименьших квадратов (линейных или нелинейных), среднеквадратической ошибки, среднего абсолютного отклонения, или средней квадратичной ошибки. Результирующий подбор определяет, по меньшей мере, один параметр метаданных у динамических метаданных из набора 124 метаданных. Подбор характеризует линейный участок 118, нелинейный участок 120, или как тот, так и другой. Другими словами, могут быть вычислены необходимые точки привязки и излома для надлежащей кривой Безье.
[0033] Приемлемый для восприятия подбор или согласование может быть решением, которое удовлетворяет предварительно определенным критериям, таким как ошибка между кривыми переноса меньше предварительно определенной величины или процента (например, менее 5%) по диапазону значений. В качестве альтернативы, может быть приемлемым, если вычисленная наихудшая ошибка при воспроизведении любого пикселя сцены (или картинки) не будет превышать конкретной пороговой величины - например, менее около 3, 5 или 8 кд/м2, или в качестве альтернативы меньше около от 1 до 4 едва заметных отличий (JND). Применительно к конкретному варианту осуществления изобретения, объективно определенное значение JND в соответствии с законом Вебера (например, ΔL/L равно константе, константе Вебера) для широкого диапазона яркостей может быть использовано. Константа Вебера может быть меньше около 0.01, 0.005, или 0.001. Закон Вебера обеспечивает приемлемую метрику для значения JND, несмотря на то, что адаптация зрительной системы человека отличается между индивидуумами и, фактически, она не является постоянной для всех уровней яркости или пространственных частот для индивидуума.
[0034] В качестве особого варианта осуществления, может быть желательным минимизация или исключение ошибки в одной или более конкретных точках кривых переноса. Т.е., подбор может быть точно согласован с кривыми переноса для, по меньшей мере, одного из средней точки, максимальной точки, и минимальной точки, несмотря на увеличение ошибки в другом месте. Это может быть приемлемым для того, чтобы лучше сохранять творческий замысел. Например, если точно согласована средняя точка (или средние тона с заданными более высокими весовыми коэффициентами для подбора кривой), точное воспроизведение пигментации кожи или других существенных признаков может быть приоритетным над другими блестящими яркими участками. Таким образом значение среднего тона неизменно отображаются независимо от модели CVT. Средняя точка может быть средним, серединным, или усредненным значением цветовой составляющей в сцене или картинке. Она может быть вычислена или определена посредством гистограммы сцены или картинки.
[0035] В качестве еще одной другой альтернативы, подбор может быть лучше всего согласован с наклонами кривых переноса (например, кривых 114 и 116 переноса) в определенной точке или в рамках предварительно определенного диапазона реакции (например, значения среднего диапазона). Предварительно определенный диапазон может быть, в качестве примера, в рамках +/-10% от средней точки или менее. Если кривая переноса является кусочной кривой, тогда каждый наклон или сегмент кривой может быть взвешен по-разному применительно к определению подбора. Например, блок 126 преобразования метаданных может выделять нелинейный участок по отношению к линейному участку кривой 116 переноса задавая ей более высокий весовой коэффициент для вычислений.
[0036] В той степени, в которой не все параметры набора 124 метаданных определяются посредством блока 126 преобразования метаданных, могут быть применены значения по умолчанию. Например, параметр весового коэффициента насыщенности цвета может быть установлен около 1/3, 1/2, или 1, когда не разрешается посредством блока 126 преобразования метаданных. В качестве другого примера, параметр для доли ярких пикселей в сцене или картинке может быть установлен в около 0, 1/2 (50%), или 1 (100%), в качестве значения по умолчанию.
[0037] Как только динамические метаданные у набора 124 метаданных вычислены, целевое устройство 130 воспроизведения может визуализировать мастер-контент HDR, например, исходный контент 100, руководствуясь метаданными 122 HDR, с его оптимальными возможностями, при этом сохраняя творческий замысел. Как установлено ранее, целевое устройство 130 воспроизведения может быть устройством SDR, и в этом случае осуществляется отображение тона исходного контента 100 с понижением до более низкого динамического диапазона и/или более низкого цветового охвата. С другой стороны, если целевое устройство 130 воспроизведения является устройством HDR высочайшего качества, тогда исходный контент 100 может быть отображен в более высокий динамический диапазон и/или более широкий цветовой охват.
[0038] Фиг. 1B изображает упрощенную блок-схему, изображающую другой вариант осуществления изобретения. В данном варианте осуществления, блок 126 преобразования метаданных определяет параметры для функции переноса первой модели CVT на основании, по меньшей мере частично, метаданных, описывающих вторую модель CVT с другой функцией переноса. В частности, кусочная функция переноса, например, кривая 116 переноса, определенная из набора 124 метаданных, используется чтобы вычислять наилучший подбор (или приемлемый подбор) для функции переноса, кривой 114 переноса. Подбор может быть определен посредством, в качестве примера, многомерной линейной регрессии, простой линейной регрессии, суммы квадратов, смещения абсолютных значений, наименьших квадратов (линейных или нелинейных), среднеквадратичной ошибки, среднего абсолютного отклонения, или средней квадратичной ошибки. Результирующий подбор определяет, по меньшей мере, один параметр метаданных у динамических метаданных у набора 112 метаданных. Подбор характеризует результирующую функцию переноса посредством ее параметризированных характеристик метаданных.
[0039] В той степени, в которой не все параметры набора 112 метаданных определяются в результате блока 126 преобразования метаданных, могут быть применены значения по умолчанию. Например, смещение цветовой составляющей (например, минимальные, максимальные, и средние смещения составляющей) могут быть установлены в 0, когда не разрешаются посредством блока 126 преобразования метаданных. В качестве другого примера, параметр для коэффициента усиления отображения тона в сцене или картинке может быть установлен в около 1/2 (50%) или 1 (100%), в качестве значения по умолчанию.
[0040] Как только динамические метаданные у набора 112 метаданных вычислены, целевое устройство 130 воспроизведения может визуализировать мастер-контент HDR, например, исходный контент 100, руководствуясь метаданными HDR у набора 112 метаданных, с его оптимальными возможностями, при этом сохраняя творческий замысел. Как установлено ранее, целевое устройство 130 воспроизведения может быть устройством SDR, и в этом случае осуществляется отображение тона исходного контента 100 с понижением до более низкого динамического диапазона и/или более низкого цветового охвата. С другой стороны, если целевое устройство 130 воспроизведения является устройством HDR высочайшего качества, тогда исходный контент 100 может быть отображен в более высокий динамический диапазон и/или более широкий цветовой охват.
[0041] Следует иметь в виду, что блок 126 преобразования метаданных может быть выполнен в режиме реального времени, на месте посредством устройства HDR (например, телевизора, мобильного телефона, телевизионной абонентской приставки, игровой консоли, мультимедийного сервера домашнего кинотеатра, сервера кино, проигрывателя Blu-ray, и подобного), включая целевое устройство 130 воспроизведения. В качестве альтернативы, блок 126 преобразования метаданных может проводиться в автономном режиме и/или удаленно. Если блок 126 преобразования метаданных выполняется удаленно, тогда целевое устройство 130 воспроизведения может осуществлять доступ к хранилищу (например, сети базы данных, централизованной ли или географически распределенной для близости к конечным пользователям) и загружать ранее вычисленный набор метаданных для мастер-контента HDR, например, исходного контента 100. В данном случае, набор метаданных может быть передан в качестве отдельного битового потока, если исходный контент 100 уже размещается в целевом устройстве 130 воспроизведения. Если осуществляется удаленный доступ к набору метаданных, тогда может быть использовано шифрование или законное маркирование для улучшенного обеспечения безопасности.
[0042] Фиг. 2A-2C показывают просто примеры подбора кривой для кривых переноса у двух совершено разных моделей CVT. На Фиг. 2A, разность или результирующая ошибка между кривыми 114 и 116 переноса минимизируется для согласования наилучшего подбора по всему динамическому диапазону. Фиг. 2B показывает, что кривые 114 и 116 переноса согласуются в точке 210. Это гарнирует надежное воспроизведение значений цветовой составляющей в или радом с точкой 210. Наконец, Фиг. 2B показывает согласование кривых 114 и 116 переноса в или рядом с насыщенностью 220.
[0043] Фиг. 3 изображает упрощенный способ 300 в соответствии с одним вариантом осуществления изобретения. Несмотря на то, что способ 300 описывается ниже исходя из некоторых последовательных операций, следует иметь в виду, что некоторые из описанных операций могут быть выполнены в отличной очередности. Более того, некоторые операции могут быть выполнены параллельно, а не последовательно, или опционально.
[0044] Сначала, на этапе 310, исходный контент принимается посредством устройства HDR. На этапе 320 принимаются метаданные исходного контента, ассоциированные с первой моделью CVT. Метаданные исходного контента могут быть такими, как описано для Фиг. 1A-1B. На этапе 330 и 340, определяется первая кривая переноса по первой модели CVT и кривая, подобранная под вторую кривую переноса второй модели CVT. Первая и вторая модели CVT могут быть совершенно разными. Параметры, определяющие подбор кривой, сохраняются на этапе 350 в качестве метаданных для второй модели CVT. Наконец, на этапе 360, целевое устройство может визуализировать исходный контент в соответствии со второй моделью CVT на основании сгенерированных параметров. Применительно к этапу 360, целевое устройство может визуализировать исходный контент в рамках своих возможностей, включая после дальнейшего преобразования объема цвета, суб-дискретизации пикселей, увеличения размера, уменьшения размера, изменения размера, увеличения масштаба, уменьшения масштаба, поворота, обрезки насыщенности цвета, или другой операции визуализации дисплеем.
[0045] В другой методике, кривая переноса тона и кривые переноса насыщенности из первой и второй моделей CVT согласуются независимо. При согласовании кривой тона, метаданные из первой модели используются чтобы генерировать первую кривую тона. Вторая кривая тона для второй модели используется чтобы вычислять метаданные для второй модели или, в качестве альтернативы, создавать метаданные, чтобы согласовывать (или приемлемо аппроксимировать) вторую кривую тона с первой кривой тона. При согласовании кривой насыщенности, метаданные из первой модели используются чтобы создавать первую кривую насыщенности цвета. Вторая кривая насыщенности для второй модели используется чтобы вычислять метаданные для второй модели или, в качестве альтернативы, создавать метаданные для второй модели, чтобы согласовывать (или приемлемо аппроксимировать) вторую кривую насыщенности с первой кривой насыщенности.
Примерная Реализация Компьютерной Системы
[0046] Варианты осуществления настоящего изобретения могут быть реализованы с помощью компьютерной системы, систем выполненных в электронной схеме и компонентах, устройства интегральной микросхемы (IC), такого как микроконтроллер, программируемой вентильной матрицы (FPGA), или другого конфигурируемого или программируемого логического устройства (PLD), дискретного времени или цифрового сигнального процессора (DSP), проблемно-ориентированной IC (ASIC), и/или аппаратуры, которая включает в себя одну или более такие системы, устройства или компоненты. Компьютер и/или IC может выполнять, управлять, или исполнять инструкции, относящиеся к преобразованию объема цвета у изображений с высоким динамическим диапазоном, такие как те, что описываются в данном документе. Компьютер и/или IC может вычислять любой из многообразия параметров или значений, которые относятся к процессам преобразования объема цвета, описанным в данном документе. Варианты осуществления изображения и видео могут быть реализованы в аппаратном обеспечении, программном обеспечении, встроенном программном обеспечении и разнообразных их сочетаниях.
[0047] Некоторые реализации изобретения содержат, по меньшей мере, один компьютерный процессор, который исполняет инструкции программного обеспечения, которые предписывают процессору выполнять способ изобретения. Например, один или более процессоры в дисплее, кодере, телевизионной абонентской приставке, игровой консоли, домашнем мультимедийном сервере, мобильном сотовом телефоне, транскодере или подобном, могут реализовывать способы, относящиеся к преобразованиям объема цвета у изображений HDR, как описано выше посредством исполнения инструкций программного обеспечения в машиночитаемой памяти программы, доступной процессорам. Изобретение также может быть предоставлено в форме программного продукта, например, компьютерной программы. Программный продукт может содержать любой не временный носитель информации, который переносит набор машиночитаемых сигналов, содержащих инструкции, которые, когда исполняются посредством процессора данных, предписывают процессору данных исполнять способ изобретения. Программные продукты в соответствии с изобретением могут быть в любой из широкого многообразия форм. Программный продукт может содержать, например, физические носители информации, такие как магнитные носители информации для хранения данных, включающие в себя гибкие дискеты, накопители на жестком диске, оптические носители информации для хранения данных, включая CD ROM, DVD, электронные носители информации для хранения данных, включая ROM, флэш-RAM, или подобное. Машиночитаемые сигналы в программном продукте могут быть опционально сжаты или зашифрованы.
[0048] Там где выше ссылаются на компонент (например, модуль программного обеспечения, процессор, узел, устройство, цепь, и т.д.), при условии, что не указано иное, ссылка на тот компонент (включая ссылку на «средство») должна интерпретироваться, как включающая в себя в качестве эквивалентов того компонента, любой компонент, который выполняет функцию описанного компонента (например, который является функциональным эквивалентом), включая компоненты, которые не являются структурным эквивалентом для раскрытой структуры, которая выполняет функцию в иллюстрируемых примерных вариантах осуществления изобретения.
[0049] Функции каждого из компонентов могут быть выполнены посредством нескольких электронных устройств, например, электронного устройства, вторичного электронного устройства, третичного электронного устройства, и т.д., сочетания электронных устройств или могут быть выполнены посредством единого электронного устройства.
[0050] В соответствии с одним вариантом осуществления, методики, описываемые в данном документе, реализуются посредством одного или более вычислительных устройств особого назначения. Вычислительные устройства особого назначения могут быть со схемной реализацией, чтобы выполнять методики, или могут включать в себя цифровые электронные устройства, такие как одна или более проблемно-ориентированные интегральные микросхемы (ASIC) или программируемые вентильные матрицы (FPGA), которые постоянно запрограммированы, чтобы выполнять методики, или могут включать в себя один или более процессоры аппаратного обеспечения общего назначения, запрограммированные чтобы выполнять методики в соответствии с инструкциями программы во встроенном программном обеспечении, памяти, другом хранилище, или сочетании. Такие вычислительные устройства особого назначения также могут объединять специальную логику со схемной реализацией, ASIC, или FPGA со специальным программированием, чтобы осуществлять методики. Вычислительные устройства особого назначения могут быть настольными компьютерными системами, портативными компьютерными системами, переносными устройствами, сетевыми устройствами или любым устройством, которое включает логику со схемной реализацией и/или программную, чтобы реализовывать методики.
[0051] Например, Фиг. 4 является структурной схемой, которая иллюстрирует компьютерную систему 400 на которой может быть реализован вариант осуществления изобретения. Компьютерная система 400 включает в себя шину 402 или другой механизм связи для сообщения информации, и процессор 404 аппаратного обеспечения, связанный с шиной 402 для обработки информации. Процессор 404 аппаратного обеспечения может быть, например, микропроцессором общего назначения.
[0052] Компьютерная система 400 также включает в себя основную память 406, такую как память с произвольным доступом (RAM) или другое динамическое запоминающее устройство, связанную с шиной 402 для хранения информации и инструкций, которые должны быть исполнены процессором 404. Основная память 406 также может быть использована для хранения временных переменных или другой промежуточной информации во время исполнения инструкций, которые должны быть исполнены процессором 404. Такие инструкции, когда сохранены на не временных запоминающих носителях информации, доступных процессору 404, переводят компьютерную систему 400 в машину особого назначения, которая специально изготовлена для выполнения операций, указанных в инструкциях.
[0053] Компьютерная система 400 дополнительно включает в себя постоянную память 408 (ROM) или другое статическое запоминающее устройство, связанное с шиной 402, для хранения статической информации и инструкций для процессора 404. Запоминающее устройство 410, такое как магнитный диск или оптический диск, предусмотрено и связано с шиной 402 для хранения информации и инструкций.
[0054] Компьютерная система 400 может быть связана через шину 402 с дисплеем 412, таким как жидкокристаллический дисплей, для демонстрации информации пользователю компьютера. Устройство 414 ввода, включающее в себя алфавитно-цифровые и другие клавиши, связано с шиной 402 для сообщения информации и выбора команд процессору 404. Другим типом устройства ввода пользователя является средство 416 управления курсором, такое как мышь, шаровой манипулятор, или клавиши направления курсора для сообщения информации направления и выбора команд процессору 404 и для управления перемещением курсора на дисплее 412. Данное устройство ввода, как правило, имеет две степени свободы по двум осям, первой оси (например, x) и второй оси (например, y), которые позволяют устройству указывать позиции на плоскости.
[0055] Компьютерная система 400 может реализовывать методики, описанные в данном документе, используя специально изготовленную логику со схемной реализацией, одну или более ASIC или FPGA, встроенное программное обеспечение и/или программную логику, которая в сочетании с компьютерной системой предписывает или программирует компьютерную систему 400, чтобы она являлась машиной особого назначения. В соответствии с одним вариантом осуществления, методики, как описывается в данном документе, выполняются посредством компьютерной системы 400 в ответ на исполнение процессором 404 одной или более последовательностей из одной или более инструкций, содержащихся в основной памяти 406. Такие инструкции могут быть считаны в основную память 406 из другого запоминающего носителя информации, такого как запоминающее устройство 410. Исполнение последовательностей из инструкций, содержащихся в основной памяти 406, предписывает процессору 404 выполнять этапы процесса, описанные в данном документе. В альтернативных вариантах осуществления соединенная проводами схема может быть использована вместо или в сочетании с инструкциями программного обеспечения.
[0056] Понятие «запоминающий носитель информации», используемое в данном документе, относится к любым не временным носителям информации, которые хранят данные и/или инструкции, которые предписывают машине работать особым образом. Такие запоминающие носители информации могут содержать энергонезависимые носители информации и/или энергозависимые носители информации. Энергонезависимые носители информации включают в себя, например, оптические или магнитные диски, такие как запоминающее устройство 410. Энергозависимые носители информации включают в себя динамическую память, такую как основная память 406. Общие формы запоминающих носителей информации включают в себя, например, флоппи-диск, гибкий диск, жесткий диск, твердотельный накопитель, магнитную ленту, или любой другой магнитный носитель информации для хранения данных, CD-ROM, любой другой оптический носитель информации для хранения данных, любой физический носитель информации с шаблоном отверстий, RAM, PROM, и EPROM, FLASH-EPROM, NVRAM, или другой чип или картридж памяти.
[0057] Запоминающие носители информации отличаются от, но могут быть использованы в связи со средствами передачи. Средства передачи участвуют в переносе информации между запоминающими носителями информации. Например, средства передачи включают в себя коаксиальные кабели, медный провод и волоконную оптику, включая провода, которые содержит шина 402. Средства передачи также могут принимать форму акустических или световых волн, таких как те, что генерируются во время радиоволновой и инфракрасной связи для передачи данных.
[0058] Разнообразные формы носителей информации могут быть включены в перенос одной или более последовательностей из одной или более инструкций к процессору 404 для исполнения. Например, инструкции могут первоначально переноситься на магнитном диске или твердотельном накопителе удаленного компьютера. Удаленный компьютер может загружать инструкции в свою динамическую память и отправлять инструкции чрез телефонную линию, используя модем. Модем, локальный для компьютерной системы 400, может принимать данные по телефонной линии и использовать инфракрасный передатчик, чтобы преобразовывать данные в инфракрасный сигнал. Инфракрасный детектор может принимать данные, которые переносятся в инфракрасном сигнале, и надлежащая схема может помещать данные в шину 402. Шина 402 может переносить данные в основную память 406, из которой процессор 404 извлекает и исполняет инструкции. Инструкции, принятые основной памятью 406, могут опционально быть сохранены на запоминающем устройстве 410 либо до, либо после исполнения процессором 404.
[0059] Компьютерная система 400 также включает в себя интерфейс 418 связи, связанный с шиной 402. Интерфейс 418 связи обеспечивает двустороннее связывание связью для передачи данных с сетевой линией 420 связи, которая соединяется с локальной сетью 422. Например, интерфейс 418 связи может быть картой цифровой сети с комплексными услугами (ISDN), кабельным модемом, спутниковым модемом, или модемом, чтобы обеспечивать соединение связи для передачи данных с соответствующим типом телефонной линии. В качестве другого примера, интерфейс 418 связи может быть картой локальной сети (LAN), чтобы обеспечивать соединение связи для передачи данных с совместимой LAN. Также могут быть реализованы беспроводные линии связи. В такой реализации, интерфейс 418 связи отправляет и принимает электрические, электромагнитные или оптические сигналы, которые несут потоки цифровых данных, представляющие собой разнообразные типы информации.
[0060] Сетевая линия 420 связи как правило обеспечивает связь для передачи данных через одну или более сети с другими устройствами данных. Например, сетевая линия 420 связи может обеспечивать соединение через локальную сеть 422 с хост-компьютером 424 или с оборудованием данных, оперируемым посредством Поставщика 426 Услуг Интернет (ISP). ISP 426 в свою очередь предоставляет услуги связи для передачи данных через всемирную сеть связи для передачи пакетных данных, которая теперь обычно именуется как «Интернет» 428. Как локальная сеть 422, так и Интернет 428 используют электрические, электромагнитные или оптические сигналы, которые несут потоки цифровых данных. Сигналы через разнообразные сети и сигналы в сетевой линии 420 связи и через интерфейс 418 связи, которые несут цифровые данные к и от компьютерной системы 400, являются примерными формами средств передачи.
[0061] Компьютерная система 400 может отправлять сообщения и принимать данные, включая код программы, через сеть(и), сетевую линию 420 связи и интерфейс 418 связи. В примере сети Интернет, сервер 430 может передавать запрошенный код для прикладной программы через Интернет 428, ISP 426, локальную сеть 422 и интерфейс 418 связи.
[0062] Принятый код может быть исполнен посредством процессора 404 как он принимается, и/или сохранен в запоминающем устройстве 410, или другом энергонезависимом хранилище для исполнения позже.
ЭКВИВАЛЕНТЫ, РАСШИРЕНИЯ, АЛЬТЕРНАТИВЫ И ПРОЧЕЕ
[0063] В вышеприведенном описании, варианты осуществления изобретения были описаны со ссылкой на разнообразные особые подробности, которые могут варьироваться от реализации к реализации. Таким образом, единственным и исключительным показателем того, что является изобретением, и подразумевается заявителями в качестве изобретения, является формула изобретения, которая опубликована с данной заявкой, в особой форме, в которой опубликована такая формула изобретения, включая любые последующие коррекции. Любые определения, явно изложенные в настоящем документе применительно к понятиям, которые содержатся в такой формуле изобретения, должны определять значение таких понятий, как используемых в формуле изобретения. Следовательно, никакое ограничение, элемент, свойство, признак, преимущество или атрибут, которые прямо не перечислены в формуле изобретения, не должны каким-либо образом ограничивать объем такой формулы изобретения. Описание и чертежи, соответственно, должны рассматриваться в иллюстративном, а не в ограничительном смысле.
1. Способ преобразования динамических метаданных, содержащий этапы, на которых:
принимают метаданные исходного контента для первой модели преобразования объема цвета;
определяют первую кривую переноса для первой модели преобразования объема цвета на основании принятых метаданных исходного контента; и
отображают первую кривую переноса первой модели преобразования объема цвета во второй кривой переноса второй модели преобразования объема цвета, причем этап, на котором отображают, содержит подбор кривой для первой кривой переноса первой модели преобразования объема цвета ко второй кривой переноса второй модели преобразования объема цвета; и
при этом упомянутый этап, на котором отображают, генерирует метаданные контента для второй модели преобразования объема цвета.
2. Способ по п. 1, в котором этап, на котором отображают, содержит этап, на котором согласуют посредством наилучшего подбора первой кривой переноса первой модели преобразования объема цвета ко второй кривой переноса второй модели преобразования объема цвета, и при этом упомянутая первая кривая переноса является первой кривой переноса тона, а упомянутая вторая кривая переноса является второй кривой переноса тона.
3. Способ по п. 1, в котором этап, на котором отображают, содержит этап, на котором согласуют приемлемо для восприятия первую кривую переноса первой модели преобразования объема цвета со второй кривой переноса второй модели преобразования объема цвета, и при этом упомянутая первая кривая переноса является первой кривой переноса тона, а упомянутая вторая кривая переноса является второй кривой переноса тона.
4. Способ по п. 1, в котором сгенерированные метаданные контента второй модели преобразования объема цвета включают в себя, по меньшей мере, точку излома и точку привязки для кривой Безье.
5. Способ по п. 4, в котором метаданные исходного контента первой модели преобразования объема цвета включают в себя минимальные, средние и максимальные значения цветовой составляющей для, по меньшей мере, одной из картинок и очерченной группы картинок.
6. Способ по п. 1, в котором сгенерированные метаданные контента второй модели преобразования объема цвета включают в себя минимальные, средние и максимальные значения цветовой составляющей для, по меньшей мере, одной из картинок и очерченной группы картинок.
7. Способ по п. 6, в котором метаданные исходного контента первой модели преобразования объема цвета включают в себя, по меньшей мере, точку излома и точку привязки для кривой Безье.
8. Способ по п. 1, в котором этап, на котором отображают, содержит этап, на котором отображают насыщенность цвета.
9. Способ по п. 1, в котором этап, на котором отображают, содержит этап, на котором отображают яркость.
10. Способ по п. 1, в котором этап, на котором отображают, содержит этап, на котором отображают тон.
11. Способ по п. 1, в котором этап, на котором отображают, выполняется в, по меньшей мере, одном из режима реального времени и режима, близкого к реальному времени.
12. Способ по п. 1, в котором упомянутый этап, на котором отображают, выполняется в сетевом облаке.
13. Способ по п. 1, в котором упомянутый этап, на котором отображают, выполняется в автономном режиме.
14. Аппаратура для улучшения воспроизведения контента с высоким динамическим диапазоном, причем аппаратура содержит:
средство для приема метаданных исходного контента для первой модели преобразования объема цвета;
средство для определения первой кривой переноса для первой модели преобразования объема цвета на основании принятых метаданных исходного контента; и
средство для отображения первой кривой переноса первой модели преобразования объема цвета во второй кривой переноса второй модели преобразования объема цвета, причем отображение содержит подбор кривой для первой кривой переноса первой модели преобразования объема цвета ко второй кривой переноса второй модели преобразования объема цвета; и
при этом упомянутое отображение генерирует метаданные контента для второй модели преобразования объема цвета.
15. Аппаратура для улучшения воспроизведения контента с высоким динамическим диапазоном, причем аппаратура содержит:
по меньшей мере, одно электронное устройство, которое принимает метаданные исходного контента для первой модели преобразования объема цвета;
по меньшей мере, одно второе электронное устройство, которое определяет первую кривую переноса для первой модели преобразования объема цвета на основании принятых метаданных исходного контента, при этом упомянутое, по меньшей мере, одно второе электронное устройство является, по меньшей мере, одним из упомянутого, по меньшей мере, одного электронного устройства и другого электронного устройства; и
по меньшей мере, одно третичное устройство, которое отображает первую кривую переноса первой модели преобразования объема цвета во второй кривой переноса второй модели преобразования объема цвета посредством подбора кривой для первой кривой переноса первой модели преобразования объема цвета ко второй кривой переноса второй модели преобразования объема цвета, при этом упомянутое, по меньшей мере, одно третичное устройство является, по меньшей мере, одним из упомянутого, по меньшей мере, одного электронного устройства, по меньшей мере, одного вторичного электронного устройства и другого электронного устройства; и
при этом отображение генерирует метаданные контента для второй модели преобразования объема цвета.
16. Способ преобразования динамических метаданных, содержащий этапы, на которых:
принимают исходный контент;
генерируют метаданные исходного контента для первой модели преобразования объема цвета, ассоциированной с упомянутым исходным контентом;
определяют первую кривую переноса для первой модели преобразования объема цвета на основании сгенерированных метаданных исходного контента; и
отображают первую кривую переноса первой модели преобразования объема цвета во второй кривой переноса второй модели преобразования объема цвета, причем этап, на котором отображают, содержит подбор кривой для первой кривой переноса первой модели преобразования объема цвета ко второй кривой переноса второй модели преобразования объема цвета; и
при этом упомянутый этап, на котором отображают, генерирует метаданные контента для второй модели преобразования объема цвета.
17. Способ по п. 16, в котором этап, на котором отображают, дополнительно содержит этап, на котором отображают насыщенность цвета.
18. Способ по п. 16, в котором этап, на котором отображают, дополнительно содержит этап, на котором отображают яркость.
19. Способ по п. 16, в котором этап, на котором отображают, дополнительно содержит этап, на котором отображают тон.
