Оптимизация изображений высокого динамического диапазона для конкретных дисплеев

Авторы патента:

ТИХЕЛАР Йоханнес Изебранд (NL)

МЕРТЕНС Марк Йозеф Виллем (NL)

ВАН МОРИК Йоханнес Герардус Рийк (NL)

НЕЙЛАНД Рутгер (NL)

H04N19/102 - Передача изображений, например телевидение (измерения, испытания G01; системы для оригиналов рукописей например, пишущие телеграфные аппараты, которые рассматриваются в подклассе G08; накопление информации, основанное на относительном перемещении носителя записи и преобразователя G11B; кодирование; декодирование или преобразование кодов вообще H03M; радиовещание или регистрация использования радиосети H04H)

G09G5/10 - для управления яркостью

G09G5/02 - отличающиеся способом воспроизведения цвета

Владельцы патента RU 2721762:

КОНИНКЛЕЙКЕ ФИЛИПС Н.В. (NL)

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении возможности градуировки HDR для различных дисплеев, на которых может требоваться показывать изображение HDR. Устройство содержит блок определения цветового преобразования, выполненный с возможностью определения цветового преобразования, заданного в данных спецификации цветовой обработки, содержащих функцию картирования тона, причем цветовое преобразование указывает, как яркости пикселей входного изображения нужно преобразовывать в яркости пикселей второго изображения, имеющего соответствующую его максимальному коду сигнала яркости пиковую светлоту второго изображения, которая отличается от пиковой светлоты дисплея и пиковой светлоты первого изображения, блок определения масштабного коэффициента, выполненный с возможностью определения результирующего общего мультипликативного коэффициента, причем блок выполнен с возможностью применения определения в направлении положения вдоль метрики положения, которая соответствует пиковой светлоте дисплея, и выполнен с возможностью определения результирующего общего мультипликативного коэффициента на основе положения, и при этом устройство дополнительно содержит масштабирующий умножитель, выполненный с возможностью умножения каждой из трех цветовых компонент цветового представления входных цветов на результирующий общий мультипликативный коэффициент. 4 н. и 14 з.п. ф-лы, 48 ил.

ОБЛАСТЬ ИЗОБРЕТЕНИЯ

Изобретение относится к способам и устройствам для оптимизации цветов пикселей и, в частности, их яркостей, при входном кодировании изображения сцены высокого динамического диапазона (HDR), в частности, видео, содержащего несколько последовательных изображений HDR, для получения правильного художественного вида для дисплея с конкретной пиковой светлотой дисплея по желанию градуировщика цвета, создающего контент изображения, причем вид соответствует опорному виду HDR изображения HDR, проградуированного для опорного дисплея, например, мастерингового дисплея высокой пиковой светлоты (PB), когда оптимизированное изображение рендеризуется на любом фактическом дисплее, пиковая светлота (PB_D) которого не равна пиковой светлоте опорного дисплея, в соответствии с которой произведена градуировка изображения HDR. Читатель поймет, что соответствующий вид не обязательно означает вид, в точности идентичный для зрителя, поскольку дисплеи более низкой пиковой светлоты (или динамического диапазона) никогда не смогут фактически рендеризовать все виды изображения, точно рендеризуемые на дисплее более высокой пиковой светлоты, но зато возможен некоторый компромисс в цветах по меньшей мере некоторых пикселей объекта, причем регулировки цветов позволяют градуировщику пользоваться описанной ниже технологией. Но кодированное назначенное изображение и фактически рендеризованное изображение будут выглядеть в достаточной степени подобными. Описаны способы и устройства на стороне кодирования для уточнения такого вида, а также устройства принимающей стороны, например, дисплей или телевизор, выполненный с возможностью вычисления и рендеризации оптимизированного вида, а также способы и технологии передачи информации, используемой для управления оптимизацией посредством цветовых преобразований.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

Недавно несколько компаний начали исследовать и публиковать (см. WO2007082562 [Max Planck], способ двух изображений с остаточным слоем, и WO2005104035 [Dolby Laboratories], где предложен в чем-то аналогичный способ, в котором можно формировать изображение отношения для усиления переградуировки сцены HDR к низкому динамическому диапазону (LDR)) о том, как можно кодировать по меньшей мере одно неподвижное изображение, или видео из нескольких последовательных во времени, так называемых изображений высокого динамического диапазона, причем изображения HDR характеризуются тем, что они обычно кодируют или способны кодировать по меньшей мере некоторые яркости объектов по меньшей мере 1000 нит, но также темные яркости, например, ниже 0,1 нит, и обладают достаточным качеством, чтобы их можно было рендеризовать на так называемых дисплеях с HDR, которые имеют пиковые светлоты (которые являются яркостью отображаемого белого, т.е. наиболее светлого рендеризуемого цвета) обычно более 800 нит, или даже 1000 нит, и потенциально, например, 2000 или 5000 или даже 10000 нит. Конечно, эти изображения, например, фильма могут и должны также отображаться на дисплее с LDR с пиковой светлотой обычно около 100 нит, например, когда зритель хочет продолжить просмотр фильма на своем портативном дисплее, и обычно некоторые разные яркости и/или цвета объектов требуются при кодировании изображения LDR и изображения HDR (например, при градуировке HDR может требоваться, чтобы относительная яркость объекта в диапазоне [0, 1] была значительно ниже, чем в изображении, градуированном с LDR, поскольку оно будет отображаться с гораздо более светлой подсветкой). Очевидно также, что к кодированию видеосигнала могут предъявляться дополнительные требования по сравнению с кодированием неподвижного изображения, например, для обеспечения возможности дешевой обработки реального времени, и т.д.

Поэтому создатель контента обычно создает версию или изображения вида HDR, которое обычно является эталонной градуировкой (начальной точкой, из которой можно создавать дополнительные градуировки, которые являются видами на одной и той же сцене, когда необходима рендеризация на дисплеях с разными характеристиками пиковой светлоты, которая обычно производится путем придания различным объектам в изображении прямо из камеры красивых художественных цветов, для передачи, например, некоторого настроения). Т.е. под ʺградуировкойʺ подразумевается, что изображение было адаптировано человеком-градуировщиком цвета так, чтобы цвета объектов выглядели художественно правильно для градуировщика (например, он может сделать темный подвал, где объекты в тенях едва видны, но при этом единственная лампа на потолке ярко сияет, и может требоваться, чтобы эти различные рендеризованные яркости были хорошо скоординированы, для создания у зрителя оптимального впечатления) для данного назначенного сценария рендеризации, и ниже мы рассматриваем технические компоненты для обеспечения такого процесса градуировки, дающего градуированное изображение, также именуемого градуировкой, с учетом наших ограничений кодирования HDR. И затем градуировщик обычно также делает традиционное изображение LDR (также именуемое стандартное изображение SDR), которое можно использовать для обслуживания традиционных дисплеев с LDR, которые могут еще долгое время использоваться в технике. Они могут передаваться альтернативно как отдельные передачи изображения, например, в сети передачи видео, например, интернете или на канале DVB-T. В WO2007082562 и WO2005104035 представлены способы масштабируемого кодирования, в которых изображение HDR реконструируется на принимающей стороне из изображения LDR, некоторого картирования тона на нем и остаточного изображения HDR для достаточного приближения к оригиналу HDR (но только такого изображения HDR для которого конкретные цвета пикселя и яркость объекта реконструируются из изображения LDR базового слоя). Такое масштабируемое кодирование может затем совместно сохраняться в продукте памяти, например, модуле твердотельной памяти, и затем устройство принимающей стороны, например, телевизор или телевизионная приставка (STB), может определять наиболее подходящую версию для подключенного к ней телевизора.

Т.е. в одном секторе памяти хранятся основные изображения LDR, и в другом секторе - изображения HDR, или корректирующие изображения, например, изображение усиления яркости, из которого можно, начиная с соответствующих изображений LDR для тех же моментов времени вычислять изображения HDR. Например, для телевизоров до 700 нит, любой блок, производящий вычисление окончательного изображения, подлежащего рендеризации на телевизоре, может использовать изображение, градуированное с LDR, а выше 700 нит он может использовать изображение HDR (например, запрашивая, какой дисплей с каким PB подключен, или зная, что, если дисплей сам производит выбор наилучшего изображения).

Хотя это позволяет делать две художественно совершенные опорные градуировки сцены HDR для двух конкретных сценариев рендеризации, например, для телевизора 5000 нит и телевизора с LDR (который по стандарту имеет PB 100 нит), было проведено и опубликовано небольшое исследование о том, как можно обрабатывать промежуточные телевизоры с пиковой светлотой между пиковыми светлотами, соответствующими двум изображениям с художественной градуировкой, которые можно извлекать или определять на стороне приема данных изображения (соответствующая пиковая светлота кодирования задается как рендеризуемая яркость на опорном дисплее, когда максимальный код, например, 1023 для 10 бит, вводится, например 5000 нит для вида, градуированного под 5000 нит), которые, несомненно, вскоре также выйдут на рынок, например, телевизор 1800 нит. Например, создатель контента может потратить значительное время для создания эталонной градуировки HDR 1000 нит своего фильма, поскольку, например, 1000 нит может быть согласованной пиковой светлотой PB_C контента (т.е. наиболее светлым цветом пикселя, который может задаваться, будет белый ахроматический цвет) для этого конкретного стандарта кодирования HDR видеосигнала, который он использует, и он может тратить больше или меньше времени, выводя соответствующий (или также именуемый после недавнего стандартного динамического диапазона SDR, поскольку это было обычно делать традиционное видео LDR, например, согласно rec. 709) набор изображений LDR, с видом соответствующей светлоты, соответственно, контрастности. Но это означает, что имеется только хорошо выглядящее видео в случае, когда зритель имеет либо строго определенный дисплей 1000 нит PB_D с HDR, либо традиционный дисплей с SDR. Однако не предполагается ни то, что у всех людей будут дисплеи строго одной и той же разновидности дисплеев с одной и той же пиковой светлотой дисплея PB_D, ни то, что в будущем все видео будет кодироваться со строго одинаковой пиковой светлотой PB_C контента или кодирования (т.е. кто-либо, покупающий оптимальный дисплей для контента BD, по-прежнему может иметь субоптимальный дисплей, когда рынок переходит к доставке через интернет с PB_C=5000 нит), кроме того, не следует забывать о влиянии окружения наблюдения, в частности, его средней светлоты и освещенности. Поэтому, хотя все попытки кодирования HDR, по существу, сосредоточены на получении контента посредством передачи способности декодирования всех изображений HDR на принимающей стороне, заявитель полагает, что любая прагматичная система обработка HDR должна иметь больше возможностей. Заявитель провел эксперименты, продемонстрировавшие, что, для того, чтобы иметь реально хороший, убедительный художественный вид для любого промежуточного или даже внедиапазонного дисплея (например, получающего вид 50 нит, который ниже самой низкой градуировки, которая обычно может составлять 100 нит), ни изображение HDR, ни изображение LDR не является реально хорошим для этого дисплея промежуточной пиковой светлоты (который мы будем ниже называть дисплеем со средним динамическим диапазоном (MDR)). И как сказано, какая разновидность дисплея с MDR имеется в наличии, даже зависит от PB_C принимаемых или запрашиваемых изображений HDR. Также может быть так, что потребитель имеет в своей гостиной фактический телевизор или другой дисплей, более светлый, чем пиковая светлота опорного дисплея, в качестве оптимального назначенного дисплея для градуировки HDR принятого изображения, т.е., например, 10000 нит против 5000 нит, и тогда может быть желательно иметь улучшенную градуировку также для этих дисплеев более высокой светлоты, несмотря на то, что создатель контента полагает, что указывать свой вид на сцене HDR необходимо только для дисплеев с PB до 5000 нит. Например, заявитель установил, что в критичных сценах, например, лицо человека в темноте может становиться слишком темным при использовании изображения HDR вследствие неуместно высокой контрастности этого изображения HDR для рендеризации на дисплее более низкой пиковой светлоты, тогда как изображение LDR является слишком светлым во многих местах, что радикально изменяет настроение, например, ночные сцены. Фиг. 14 демонстрирует пример типичной обработки изображений сцены HDR, которой мы хотим чтобы иметь возможность достигнуть. 1401 обозначает исходную сцену или по меньшей мере то, как она аппроксимирована в эталонной градуировке HDR (поскольку обычно не будет кодироваться солнце как подлежащее рендеризации на дисплее на своей исходной светлоте 1 миллиард нит, но, вместо этого, например, как пиксели 5000 нит). Мы видим сцену, которая имеет некоторые объекты внутреннего пространства, которые будут относительно более темными, но обычно не реально темными, например, между 1 и 200 нит, и некоторые объекты освещенного солнцем внешнего пространства, наблюдаемые через окно, например здание, которое может в реальной жизни иметь яркости несколько тысяч нит, но которые для просмотра телевизора в помещении в ночное время лучше рендеризуются например, около 1000 нит. В первой градуировке, что мы будем называть градуировкой HDR с пиковой светлотой первого изображения всего лишь в этом примере PB_IM1, соответствующей пиковой светлоте PB_H HDR, например 5000 нит, установлено, что полезно позиционировать объекты в помещении относительно низко на оси относительной яркости (поэтому на оси абсолютной яркости они будут рендеризованы на яркостях около 30 нит), и объекты внешнего пространства будут где-то около или выше среднего значения диапазона яркости, в зависимости от предпочтений градуировщика для этого кадра, например, в фильме или телепередаче и т.д. (в случае телепередачи в прямом эфире градуировка может быть столь же простой, как настройка лишь очень немногих параметров до выхода в эфир, например, с использованием, по большей части, фиксированного картирования между видами HDR и LDR, но с добавлением, например, одного параметра gpm для обеспечения настройки дисплея). Какие фактические коды соответствуют желаемым яркостям, зависит не только от PB кодирования, но и от формы используемой функции выделения кода, которая также иногда именуется оптоэлектронным преобразованием или передаточной функцией (OECF; также именуемой OETF), и которая для кодирования HDR обычно имеет крутую форму, более крутую, чем гамма 1/2,2 функции LDR (специалист в данной области техники поймут, что можно формулировать технологии в любом представлении, поэтому для простоты мы ниже поясним наши принципы в представлениях яркости, по меньшей мере некоторые этапы с необходимыми поправками могут применяться в сигналах яркости, т.е. например, 10-битовых кодировках яркостей).

Необходим соответствующий вид LDR (всего лишь в этом примере именуемый IM_GRAD_LXDR), для которого, конечно, все различные объекты более широкого динамического диапазона яркости должны быть сжаты в более узкий динамический диапазон, соответствующий PB 100 нит. Градуировщик будет задавать стратегии цветового преобразования, обычно простые функции для поддержания интегральных схем передачи видео простыми по меньшей мере на ближайшие годы, которые задают, как переустанавливать яркости всех объектов (например, как можно видеть, потребуется позиционировать здание, близкое к максимуму диапазона яркости и соответствующий диапазон кода, чтобы они продолжали выглядеть достаточно светлыми по сравнению с внутренним пространстве, что может для некоторых вариантов осуществления, например, осуществляться с картированием тона с мягким отсечением). Это то, что указано на стороне создания контента на устройстве 1402 градуировки, и контент с использованием устройства может потребоваться определять на основании информации градуированных видов (S_im), которую оно принимает по некоторой среде (1403) передачи изображения, какие оптимальные яркости должны иметь различные объекты для фактического дисплея, имеющего пиковую светлоту, которая не равна пиковой светлоте, соответствующей любой из обычно двух принятых художественных градуировок (или по меньшей мере данных этих изображений). В этом примере это может предусматривать различные стратегии. Например, темные объекты внутреннего пространства хорошо рендеризуются на дисплеях с любым PB, даже 100 нит, поэтому оптимизация цвета может поддерживать их на или вблизи 30 нит для любого назначенного PB. Может потребоваться, чтобы здание было рендеризовано с некоторой яркость между градуировками LDR и HDR, а солнцу можно придавать наиболее светлый возможный цвет (т.е. PB) на любом подключенном или подлежащем подключению дисплее.

Теперь мы хотим подчеркнуть уже, как станет ясно позже, что мы разработали стратегию, которая может неожиданно кодировать сцену HDR (по какой причине мы вводим редакционную сцену) фактически как изображение LDR (+ метаданные цветового преобразования), поэтому, тогда как для простоты понимания, наши различные принципы и технические метаструктуры могут пояснены на примере сценария, где Im_1, изображение, подлежащее передаче на принимающей стороне, является изображением HDR, которое должно иметь возможность переградуировки в изображение LDR, те же принципы также могут использоваться и подлежат использованию в других важных сценариях рынка в случае, когда Im_1 является фактически градуировкой LDR (которая может переградуироваться на принимающей стороне в изображение HDR, или любое изображение среднего динамического диапазона MDR, или любое изображение вне диапазона передаваемых градуировок LDR и HDR).

Фиг. 29 схематически представляет в общем виде, что система кодирования согласно предыдущим изобретениям заявителя в направлении, в котором она теперь дополнительно строится, будет выглядеть, как обычно.

Существует некоторый источник 2901 изображения исходных изображений HDR, который может быть, например, камерой для создания видеопрограммы в оперативном режиме, но мы предположим, сосредотачиваясь, например, на хранилище данных, которое создает фильм с предварительной градуировкой цветов, т.е. все цвета и, в частности, светлоты пикселей сделаны оптимальными для представления, например, на опорном дисплее 5000 нит PB_D, например человеком-градуировщиком цвета. Затем кодирование этих данных может в этом примере означать следующее (но хотелось бы подчеркнуть, что можно также кодировать как некоторые изображения HDR, и, в частности, настройка для получения оптимальных изображений для дисплея с MDR может работать точно также на основе понижения принятых изображений HDR, на основе философии наличия очень важной зависящей от контекста информации в функциях цветового преобразования, связывающих два разных вида динамического диапазона на одной и той же сцене, обычно некоторой весьма способной т.е. изображение(я) HDR с высоким PB_C и изображение(я) SDR). Кодер 2921, прежде всего, содержит блок 2902 цветового преобразования, выполненный с возможностью преобразования эталонных изображений HDR в подходящее изображение SDR. Подходящее обычно означает, что вид будет хорошим приближением к виду HDR, оставляя при этом достаточно цветовой информации, чтобы иметь возможность осуществлять на принимающей стороне реконструкцию изображений вида HDR 5000 нит из принятых изображений SDR. На практике это будет означать, что человек-градуировщик или какой-либо интеллектуальный алгоритм после анализа особенностей изображения HDR, например, количеств и, потенциально, положений классов пикселей с конкретными значениями их яркости HDR, будет выбирать надлежащие понижающие кривые, для которых в простейшей системе будет только одна, например, кривая CC, или другая только одна с необходимыми поправками некоторая грубая понижающая кривая Fcrs. Это позволяет кодеру создавать изображения SDR Im_LDR, которые являются просто нормальными изображениями SDR (хотя, в связи с функциями, связывающими этот вид SDR с исходным эталонным видом HDR, они содержат абсолютно правильную информацию также изображения HDR, т.е. чтобы иметь возможность реконструировать изображение(я) HDR. Поскольку это просто изображения SDR, они не только хорошо рендеризуются на традиционных дисплеях (т.е. 100 нит PB_D), но и может кодироваться нормальными методами кодирования видеосигнала SDR, и это очень полезно, поскольку уже миллиард долларов потрачено на оборудование в области (например, на спутниках), которое не требует дальнейшего изменения. Таким образом, мы изящно разложили информацию HDR на функции для функционального кодирования, но в связи с настоящим изобретением, которое допускает второе важное применение, а именно интеллектуальную, оптимизированную в связи с контентом способность к переградуировке изображений в то, что необходимо для получения соответствующего вида на дисплее с MDR с любым PB_D. Это избавляет градуировщика от необходимости фактически создавать все подобные третьи виды, хотя они все еще будут генерироваться согласно его художественному видению, т.е. конкретной потребности в этом контенте, поскольку мы может использовать формы его функций цветового преобразования F_ct (в частности, функций преобразования яркости, поскольку преобразование HDR в MDR, в основном, связано с получением правильных светлот для всех объектов изображения, поэтому в данной заявке основное внимание уделено этому аспекту), какими бы они ни были, которые также передаются совместно с изображениями, пикселированными в SDR, как метаданные, при выводе оптимальных изображений MDR. Таким образом, переградуированные изображения SDR (Im_LDR) поступают на блок 2903 кодирования видеосигнала, который, для простоты пояснения, предполагается стандартизованным кодером HEVC, но квалифицированный читатель понимает, что это может быть любой другой кодер, сконструированный для передачи изображений выбранного динамического диапазона, т.е. в этом примере SDR. Это дает кодированные изображения SDR, Im_COD, и соответствующие, например, сообщения SEI, SEI(F_ct), содержащие все необходимые данные функций преобразования, однако они предназначались для передачи (например, в различных вариантах осуществления, параметрических формулировок, или LUT, которые позволяют по-разному выводить оптимальные для дисплея изображения MDR, но для любого варианта можно разработать подходящие варианты осуществления). Блок 2904 форматирования форматирует все в необходимом формате сигнала, например, ATSC для передачи по спутниковому каналу или некотором формате, пригодном для интернета, и т.д. Поэтому средой 2905 передачи может быть все, из кабельной сети, или некоторой специализированной сети передачи, или некоторой упакованной памяти наподобие диска blu-ray и т.д. на любой принимающей стороне, является ли принимающим устройством телевизионная приставка, или дисплей, или компьютер, или профессиональный приемник кинотеатра, и т.д., принимающее устройство будет содержать блок 2906 снятия форматирования, который воссоздает кодированный видеосигнал, подвергнутый декодированию сигнала. Декодер 2920 видеосигнала, с необходимыми поправками, содержит блок 2907 декодирование видеосигнала, например, декодер HEVC, который также содержит блок (2911) чтения данных функции, выполненный с возможностью сбора из метаданных функций F_ct, и их построения и представления в надлежащем формате для дополнительного использования, в этой заявке оптимизированного определения изображения MDR, согласно поясненным ниже различным возможным алгоритмам или их эквивалентам. Затем блок 2908 цветового преобразования будет при нормальном декодировании HDR просто создавать реконструкцию Im_RHDR исходного(ых) эталонного(ых) изображения(ий) HDR, какими бы они ни были, например, с заданным PB_C 1000 нит или 5000 нит. Теперь, однако, в наших изложенных ниже вариантах осуществления, блок 2908 цветового преобразования также имеет возможность переградуировки изображений оптимально для любого имеющегося дисплея (например, пользователь вводит в STB, что он купил TV 2910 3000 нит, или, если его декодер уже содержится в TV, конечно, TV будет знать свои собственные возможности). Мы указали это схематически как наличие блока 2902 настройки цвета, который будет получать информацию обо всех особенностях ситуации наблюдения (в частности, PB_D дисплея, подлежащего обслуживанию изображениями), и затем использовать любой из поясненных ниже способов для оптимальной настройки цветов для достижения на изображении MDR, Im3000nit. Хотя это может показаться чем-то, что можно хотеть сделать, фактически быть способным сделать это приемлемым образом является сложной задачей.

Заявитель, в целом, изложил принцип генерации различных дополнительных градуировок (необходимые для того, чтобы принятые изображения сцены HDR оптимально выглядели независимо от пиковой светлоты подключенного дисплея, и, например, не слишком темными или слишком светлыми для по меньшей мере части изображения) на основании имеющихся принятых градуированных изображений в WO2011/107905 и WO2012/127401, где изложены основные принципы, необходимые при настройке дисплея, необходимого для всех или по меньшей мере более обширного класса фактических вариантов осуществления. Однако сохраняется проблема с простыми вариантами кодирования, которые согласуются с практическими ограничениями, например, сложностью IC, рабочей емкостью градуировщика и т.д., которые авторы изобретения могли бы сделать после установления некоторых общих основополагающих принципов для такой практической обработки изображения HDR. Соответственно, остается проблема, как согласовать простую технологию, позволяющую создателю контента регулировать художественно оптимизированную градуировку к по меньшей мере одному фактически имеющемуся дисплею на принимающей стороне, и различным основанным на этом потребностям настройки дисплея.

За исключением того, где и насколько конкретно указано в этом описании, никакие приведенные выше рассмотрения, касающиеся уровня техники или даже конкретных мнений заявителя или интерпретаций уровня техники для объяснения чего-то, не призваны непреднамеренно указывать какие-либо особенности любых ограничений, которые, например, не должны или не могут присутствовать в любом из вариантов осуществления нашего настоящего изобретения. Также, ничто явно не сказанное не призвано выражать сколько-нибудь конкретное мнение, какие признаки или варианты могут или не могут рассматриваться в любом конкретном варианте осуществления из лишь на первый взгляд знания уровня техники или любого выведенного утверждения об очевидности и т.д. Следует понимать, что некоторые принципы добавляются лишь с конкретной целью направления некоторого конкретного света на некоторый аспект, который может быть интересен в свете изложенных ниже разнообразных вариантов осуществления, и что с учетом всех принципов и того, что можно хорошо понять из этого, некоторые приведенные выше примеры могут относиться только к некоторым конкретным преимущественным вариантам осуществления.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В частности, мы разработали очень полезную технологию картирования яркости (по меньшей мере картирование яркости, поскольку, учитывая уже многие факторы и варианты осуществления, для простоты объяснения мы пока игнорируем хроматическое измерение красноты и синевы), которая основана на умножении трех цветовых компонент на единый общий множитель, оптимизированный таким образом, что он содержит все интеллектуальные возможности, необходимые для создания оптимального вида этого изображения MDR любой сцены HDR, которая необходима для рендеризации вида этой сцены на любом фактически имеющемся дисплее конкретной пиковой светлоты дисплея PB_D (специалисту в данной области техники понятно, что те же вычисления могут осуществляться на сервере, для обслуживания конкретного дисплея PB_D позже, т.е. этот дисплей фактически физически не подключен к устройству вычисления цвета или яркости). При обработке линейных цветовых сигналов RGB, но также нелинейных степеней, что наиболее предпочтительно для обычных компонент Y'CbCr видеосигнала, их можно усиливать (путем умножения компонент на единый результирующий умножитель gt) аналогично усилению яркостей этих цветов. Таким образом, создатель контента может затем указывать по своему желанию стратегию картирования яркости, которая затем может согласно вариантам осуществления формироваться из различных подстратегий картирования, например, усиления общей светлоты, точной настройки функции произвольной формы (CC) и т.д. И затем это желаемое может фактически вычисляться согласно различным мультипликативным стратегиям. Очевидно, что, и, безусловно, для предложенных методов, в наиболее основных вариантах необходима только одна такая спецификация функции, в некоторых вариантах осуществления даже не для всех возможных яркостей входного изображения, и где мы называем ее CC в объяснениях, она также может быть какой-либо другой функцией. В любом случае, каким бы сложным создатель ни желал указать свое картирование яркости, его можно рассматривать как различные умножения, приводящие к окончательному умножению, которое можно будет реализовать как окончательную оптимизацию яркости сигнала, который можно рассматривать как нормализованные цветовые компоненты. Представлены различные возможные фактические варианты осуществления на основе принципа отделения обработки яркости от обработки цвета.

Поскольку это не общеизвестно и стандартно не используется специалистами по кодированию видеосигнала, прежде чем погружаться в детали оптимизации изображения MDR, важно убедиться в том, что читатель располагает основными знаниями и ознакомлен с базовыми принципами, которые проиллюстрированы на фиг. 16. Предположим мы используем сигмоидальную функцию для преобразования любой возможной входной яркости Y_in (которая соответствует коду сигнала яркости принятого входного изображения Im_in, подлежащего обработке, например. 950) в значение выходной яркости, которое мы для простоты также будем считать нормализованным значением между 0,0 и 1,0. В этом случае эту функцию также можно выразить через умножение, которое можно вывести, сравнивая с унитарным преобразованием (т.е. диагональю). Если бы мы хотели преобразовать, например, Im_in HDR в него самого, мы применили бы это унитарное преобразование. Если мы хотим преобразовать относительные яркости HDR в относительные яркости LDR (или просто яркости), можно применить сигмоидальную функцию. Однако можно эквивалентно умножать это значение Y_in на коэффициент g правой кривой. Такая мультипликативная стратегия позволяет относительно упростить технологию HDR, например, каскадировать различные желаемые преобразования, а также, согласно данной заявке, допускает сценарии настройки дисплея, позволяющие добиться оптимально выглядящего изображения, по большей части, соответствующего эталонному виду HDR, для любого фактически подключенного дисплея.

В качестве практического способа кодирования изображения HDR (и, фактически одновременно, градуированного вида LDR, пригодного для прямого отображения на традиционных дисплеях с LDR) и, в частности, видеосигнала, заявитель изобрел систему, в которой хранится (или передается) только одно из пары изображений HDR и LDR в качестве основного изображения, в котором одном фактически передаются данные о цвете пикселя (другое изображение передается параметрически в виде спецификаций функции цветовой обработки для вывода его из фактически принятого(ых) изображения(ий), и которое, кроме того, будучи технически правильно выведенным, может фактически кодироваться согласно классическим методам сжатия (считываться для быстрого понимания, помещаться, например, в 8-битовый для AVC или 10-битовый для HEVC контейнера сигнала яркости, и подвергаться сжатию DCT и т.д., как если бы оно не было изображением HDR сцены HDR, а неким его упрощенным представлением SDR), т.е. содержать цветные пиксельные текстуры захваченных объектов сцены HDR, т.е. оно содержит геометрическую композицию всех форм объектов и некую кодификацию их текстур, и допускает любую желаемую рендеризацию или соответствующую регулировку цветов для реконструкции этого геометрического аспекта изображений. Поэтому, фактически, в отношении того, что можно устанавливать на любой принимающей стороне, наша кодификация изображений сцены HDR содержит помимо фактически передаваемых изображений по меньшей мере одну (и обычно, ввиду стоимости градуировки, часто в точности одна) дополнительную градуировку (например, передаются изображения PB_C SDR 100 нит, но совместно передаваемые функции передачи цвета позволяют реконструировать в точности одну дополнительную градуировку, например, реконструировать эталонное изображение HDR PB_C 5000 нит), которое обычно кодируется не как второе изображение, а как (обычно ограниченный, поскольку IC декодирования, необходимые для понимания и реализации всех цветовых преобразований) набор функциональных преобразований для цветов пикселя основного изображения. Поэтому, если бы основное изображение (Im_in) было изображением HDR (например, соотнесенным с пиковой светлотой 5000 нит), функции (или алгоритмы) цветового преобразования позволили бы вычислять из него изображение LDR (обычно как стандартизованный SDR 100 нит). Специалисту в данной области техники будет известно, как можно легко кодифицировать такое преобразование с минимально необходимым количеством битов, например, функция с линейной первой частью и затем изгибающейся частью к (1,0, 1,0) может кодироваться действительнозначным или другим параметром, дающим наклон (наклон черного) и точку остановки линейной части, и какие бы параметры ни требовались для задания формы верхней части. Несколько практических вариантом будут передавать повторные градуировки SDR эталонного изображения HDR как единственное(ые) передаваемое(ые) изображение(я), поскольку это полезно для всех ситуаций, в которых уже установленные дисплеи SDR нуждаются в изображении, которое они могут непосредственно рендеризовать, без необходимости совершать дополнительное цветовое преобразование (как понадобилось бы делать дисплею с HDR или устройству, подготавливающему изображения для него, в этом варианте осуществления).

На фиг. 1 приведен типичный и всего лишь неограничительный иллюстративный возможный вариант осуществления такого цветового преобразования и соответствующего кодирования на основе преобразования (по меньшей мере одной) дополнительной градуировки, которые, как должно быть понятно квалифицированному читателю, могут использоваться не только в изложенных ниже вариантах осуществления нашей новой системы. В частности, когда мы поясняем некоторые из принципов, которые могут преимущественно применяться в линейном цветовом представлении (в частности, f(Max) или f(Y), где Y - яркость в числителе и Max соответственно Y в числителе g; и умножитель, умножающий компоненты линейного RGB), принципы также можно применять в нелинейных цветовых пространствах (часть, приводящая к вычислению g, и/или умножение, которое может умножать, например, цветовые компоненты R', G' и B', где штрих указывает, что они подчиняются степенным законам со степенью 1/N, где N - действительное или целое число линейных компонент, например, R'=sqrt(R)).

В этом примере предполагается, что изображение HDR кодируется как изображение текстуры (и принято как Im_in), и градуировка LDR может быть построена из него на любой стороне, принимающей видео, путем применения цветовых преобразований в его цвета пикселя. Однако одно и то же техническое рассуждение применяется, например, при реконструкции изображения HDR на основании основного изображения, которое является изображением LDR, т.е. подходящим для прямой рендеризации на дисплее с LDR, т.е. при рендеризации на дисплее с LDR, показывающем надлежащие светлоты и контрастности для различных объектов в изображении с данным ограничением пиковой светлоты дисплея с LDR. В этом случае цветовое преобразование будет задавать изображение HDR из изображения LDR. Заметим, что в некоторых вариантах осуществления (хотя не обязательно) порядок блоков обработки может быть противоположным на кодере и декодере, например, когда кодер уменьшает динамический диапазон и кодирует основное изображение как изображение LDR, порядок обработки яркости (или сигнала яркости) может меняться на противоположный при реконструкции на стороне декодера градуировки HDR из соответствующего основного изображения LDR, т.е. сначала применение пользовательской кривой, затем регулировка экспозиции блока 110, применяемая в обратном направлении, и т.д.

Теперь, в целях объяснения, предположим, что устройство 201 цветового преобразования составляет часть любого принимающего устройства (которым может быть телевизор, компьютер, мобильный телефон, киносервер цифрового кинотеатра, кабина наблюдения комнаты управления охранной системы и т.д.), но на стороне кодирования в любом устройстве кодирования или перекодирования могут присутствовать одни и те же технологические компоненты для проверки, что допустимо и может кодироваться для передачи. Сигнал изображения, или более обычно, видеосигнал S_im принимается через вход 103, подключаемый к различным источникам изображения, например, устройство чтения BD, антенна, интернет-соединение и т.д. Видеосигнал S_im содержит, с одной стороны, изображение (или видео из нескольких изображений для разных моментов времени) пикселей Im_in с входными цветами, и, с другой стороны, метаданные MET, которые могут содержать различные данные, но, помимо прочего, данные для уникального построения на принимающей стороне функций картирования цвета, возможно некоторые описательные данные, относящиеся, например, к тому, для какой пиковой светлоты градуируется входное изображение, и ко всему, что необходимо для обеспечения различных изложенных ниже вариантов осуществления. Кодирование видеоизображений обычно может осуществляться в стратегии кодировании типа MPEG, например, существующем MPEG-HEVC, т.е. кодирование на основе DCT цветов YCbCr пикселя, поскольку наша технология переградуировки кодирования на основе преобразования вида динамического диапазона по цвету, по существу, независима от фактически используемой стратегии сжатия в части сжатия, которая отвечает за надлежащее форматирование изображений для хранения или передачи. Поэтому, хотя различные варианты осуществления нашего изобретения могут работать на различных других определениях входного цвета, например, преимущественно, Yuv, в этом примере первый преобразователь 104 цветов выполнен с возможностью преобразования представления YCbCr в представление линейного RGB (в этом варианте осуществления, как показано ниже, можно, на основе тех же принципов изобретения, также формулировать варианты осуществления, которые работают непосредственно на компонентах YCbCr или YUV). Второй преобразователь 105 цветов может осуществлять картирование из первого представления RGB во второе. Дело в том, что градуировщик цвета может осуществлять градуировку и наблюдать, что происходит в первом цветовом пространстве, например, Rec. 709, в то же время, данные изображения кодируется согласно второму цветовому пространству. Например, можно использовать основные цвета Digital Cinema Initiatives P3: красный=(0,68, 0,32), зеленый=(0,265, 0,69), синий=(0,15, 0,06), белый=(0,314, 0,351). Или можно кодировать в формате цвета недавнего Rec. 2020, и т.д. Например, изображение может передаваться в цветовом представлении, заданном в цветовом пространстве Rec. 2020, но градуировщик произвел свою градуировку цвета в цветовом пространстве DCI-P3, и это означает, что приемники будут сначала преобразовывать в цветовое пространство P3 до осуществления всех цветовых преобразований, например, для получения градуировки LDR из изображения HDR или наоборот. Поскольку градуировщик переградуировал свое изображение HDR в изображение LDR (предположим, что все значения нормализуются к [0, 1]) в своем градуировочном цветовом пространстве, которое, как сказано, было например, Rec. 709, прежде чем математика повторно вычислит градуировку на принимающей стороне, второй преобразователь 105 цветов преобразует в это цветовое пространство Rec. 709 (специалист в данной области техники знает, что можно применять различные стратегии преобразования, например, в ряде случаев может использоваться относительное колориметрическое картирование , или может использоваться некоторая стратегия сжатия насыщенности, которая может быть обращена и т.д.). Затем, обычно метаданные применяют стратегию оптимизации цвета, которая, как предполагается в этом простом практическом варианте осуществления, осуществляется процессором 106 насыщенности цвета. Могут существовать различные причины, по которым градуировщик применяет конкретную стратегию насыщенности (например, для уменьшения насыщенности светлых цветов конкретным образом для адаптации в более высокие положения яркости в гамме RGB, или для увеличения цветонасыщенности цветов, которые стали более темными вследствие картирования HDR в LDR и т.д.). Например градуировщик может обнаружить, что темные оттенки синего, скажем, ночные сцены в небе немного снижены по насыщенности и, таким образом, может уже заранее повышать свою насыщенность в линейном изображении HDR до осуществления преобразования оптимизация яркости для получения вида LDR (это особенно интересно, поскольку наши типичные варианты осуществления предусматривают преобразования яркости, которые оставляют цветность цвета неизменной, т.е. влияют только на яркостный аспект цвета). В упрощенном иллюстративном варианте осуществления предполагается, что насыщенность является простым масштабированием для цветов (т.е. то же самое, что их оттенок, яркость или начальную насыщенность), значением s, которое считывается из передаваемых и принимаемых метаданных MET. В более простых вариантах осуществления мы сосредоточимся только на яркостных аспектах цветовых преобразований, оставляя цветовую обработку на этом едином этапе предобработки, но специалисту в данной области техники понятно, что возможны другие стратегии насыщенности, и могут быть сильно скоординированы с яркостной обработкой. Теперь цвета имеют правильные значения (R,G,B) для осуществления обработки в чисто яркостном направлении.

Ключевое свойство таких вариантов осуществления цветового преобразования, как показано на фиг. 1, состоит в возможности чистого масштабирования цветов (т.е. изменение только цветового свойства, которое является коррелятом яркости, т.е. любой мерой, которая измеряет длину цветового вектора цвета, оставляя отношения цветовых компонент, которые определяют цветность цвета, причем математику цветового преобразования можно, конечно, реализовать по-разному, например, на компонентах линейного RGB, как показано), причем цветовое преобразование, как объяснено, можно переформулировать аналогично как преобразование с общим масштабирующим множителем (с действительным числом g, например 0,753, или любой его кодификацией, которое можно преобразовать в действительное число, например INT(1000*g)) на трех цветовых компонентах. Это задает наше картирование HDR в LDR (или, аналогично, наше картирование LDR в HDR или картирование любого первого градуированного изображения первого динамического диапазона в значительно отличающийся второй динамический диапазон, причем они отличаются своей соответствующей пиковой светлотой их соответствующего опорного дисплея, т.е. яркостью, соответствующей максимальному коду в N-битовой кодификации, обычно по меньшей мере с коэффициентом 4, т.е. 2 остановками, или по меньшей мере коэффициентом 1,5 или 2, и возможно несколько большим количеством остановок) по меньшей мере в отношении яркостных аспектов объектов изображения, что является преобладающей проблемой преобразований динамического диапазона.

В иллюстративном (исключительно) примере, приведенном на фиг. 1, обработка осуществляется следующим образом. Вычислитель 107 максимума вычисляет для каждого цвета пикселя, какая из компонент RGB имеет наивысшее значение, например, красная компонента, равная 0,7 (что мы будем называть Rmax). Это будет мерой длины цветового вектора, т.е. вариантом осуществления корреляции яркости. Блок 102 картирования яркости применяет последовательность преобразований к этой максимальной компоненте, причем кодификация этих преобразований принимается в метаданных MET, что, в итоге, эквивалентно функциональному преобразованию полной яркости. Это преобразование кодифицирует, как должны изменяться все яркости, нормализованные к 1, изображения HDR для получения изображения LDR, имеющего художественно правильный градуированный вид LDR. Например, обычно применяются следующие преобразования, которые градуировщик на стороне кодирования/ создания контента указал как дающий хороший вид LDR посредством градуировки на своем программном обеспечении градуировки и выбора кнопки "сохранить" в случае удовлетворенности видом LDR. Прежде всего, умножитель 108 коэффициента усиления умножает максимальную компоненту (например, Rmax) на принятый коэффициент усиления (gai), дающий Rmax_1, различное значение между 0 и 1 для каждого пикселя (например, в некоторых вариантах осуществления градуировщик может установить уровень 70% яркостей HDR равным уровню 100% яркостей LDR, или какую-либо другую желаемую градуировку). Заметим, что обработка фактически осуществляется на максимальном из трех цветовых компонент, а не, например, на яркости цвета, несмотря на то, что поведение преобразования яркости может передаваться. Затем блок 109 применения степенной функции возводит текущий результат Rmax_1 в степень gam, причем число gam, опять же, считывается из принятых метаданных, получая результат Rmax_2. Затем блок 110 регулировки экспозиции применяет глобальное преобразование модификации экспозиции, например, путем применения следующего уравнения:

Rmax_3=ln((lg-1)*Rmax_2+1)/ln(lg), где lg, опять же, является принятым оптимизированным градуировщиком числом, а ln обозначает натуральный логарифм с основанием 2,71, дающий Rmax_4. Затем блок 111 картирования яркости применяет пользовательскую кривую, получая Rmax_4=CC(Rmax_3). Таким образом, эта кривая может передаваться, например, в виде нескольких (например, 6) характеристических точек (пары координат входного сигнала яркости/выходного сигнала яркости), между которыми промежуточные точки можно вычислять на принимающей стороне согласно некоторой передаваемый или заранее согласованной стратегии интерполяции (например, линейной интерполяции), после чего применяется эта функция: например, если Rmax_3=0,7, конкретная передаваемая функция дает для этого значения Rmax_4=0,78. Наконец, формирователь 112 преобразования дисплея преобразует согласно используемой гамме типичного дисплея с LDR (этот последний формирователь преобразования дисплея также может быть необязательным для дисплеев, которые получают вход в линейных координатах), т.е., обычно, величину, обратную гамме согласно Rec. 709. Специалисту в области техники понятно, как эти уравнения можно уравнивать согласно эквивалентным стратегиям, например, путем формирования единой LUT для применения ко всем возможным входным значениям max(R,G,B) в [0, 1]. Следует понимать, что некоторые из блоков можно пропустить, например, коэффициент усиления gai можно задать равным 1,0, что эффективно устраняет его как в результате тождественной обработки. Конечно, также можно использовать другие функции преобразования, например, применять только пользовательскую кривую, но наше исследование показало, что пример выглядит прагматичным для градуировщиков для эффективного получения хорошего вида LDR. Для наших изложенных ниже вариантов осуществления важна возможность построения любой стратегии яркостной обработки по желанию, причем здесь описана только та, которая очень хороша на практике.

Наконец, общий мультипликативный коэффициент g вычисляется делением результата всех этих преобразований, т.е. например f(Rmax) на максимальную из входных компонент RGB, т.е. например Rmax. Этот коэффициент g вычисляется способным представлять преобразование яркости как стратегию умножения. Наконец, для получения желаемого выходного цвета и его желаемой светлоты LDR, соответственно, масштабирующий умножитель 114 умножает входные значения RGB или, в этом примере, значения, полученные в результате (необязательной) обработки насыщенности (процессор 106 насыщенности цвета), на общий мультипликативный коэффициент g для получения правильных отрегулированных по яркости цветов для всех объектов изображения или, фактически, всех пикселей изображения в этих объектах. Таким образом, в этом примере, это дает градуированный вид LDR в изображении линейного RGB, начиная с изображения HDR, вводимого в S_im, цвета пикселя (R2,G2,B2) которого выводятся на выходе 115 изображения. Конечно, специалисту в области техники понятно, что благодаря правильному колориметрическому виду для изображения LDR его цвета по-прежнему можно кодировать согласно любому принципу для дополнительного использования, как может само изображение (например, в одном применении можно отправлять сигнал на привод затворов LCD по шине из вычислительной IC, но в другом применении можно отправлять изображение по соединению HDMI на телевизор для рендеризации, непосредственно или с дополнительной обработкой точной настройки в зависимости от изготовителя дисплея, благодаря чему, потенциально, некоторые дополнительные метаданные включаются в передаваемый видеосигнал для руководства точной настройки).

Теперь читателю следует отчетливо понять важный дополнительный принцип нашего кодирования HDR и технологию использования. Ранее со ссылкой на фиг. 1 мы объяснили только, как можно кодировать два вида разных динамических диапазонов (т.е. со все светлоты объектов, соответственно, скоординированы) сцены HDR, т.е. как кодировать два исходных изображения, градуированных создателем контента. И зачем мы это сделали? Все было бы просто, если бы в мире существовал только один (100 нит) дисплей с LDR и, в частности, только одна разновидность (например 5000 нит) дисплея с HDR в жилищах различных зрителей контента. Тогда дисплей с LDR отображал бы градуировку LDR, а дисплей с HDR, каким бы он ни был, отображал бы ʺградуировку HDRʺ. Это может хорошо работать для пиковых светлот дисплеев, которые умеренно отклоняются от пиковой светлоты изображения, принимаемых для рендеризации, но, вероятно, не будет давать хорошие результаты для больших отклонений. В частности, какое изображение будет 1000-нитовым дисплеем, необходимым для отображения, 100-нитовым или 5000-нитовым. Теперь можно очень хорошо градуировать по меньшей мере еще одно изображение согласно точно такой же технологии, как показано на фиг. 1, например, определять функции цветового преобразования для фактического вычисления наилучшим образом выглядящей градуировки для дисплеев PB_D около 1000 нит. Возможно, что около 500 нит или 2500 нит вид все же будет неподходящим по меньшей мере для некоторых критичных сцен HDR (например, чудовище в темноте может становиться слишком темным, чтобы его можно было видеть, или, напротив, может становиться нереалистично светлым, или контрастность другого чудовища в сером тумане может становиться настолько низкой, что оно становится невидимым, и т.д.). Во многих сценариях (и, в частности, в широковещательных применениях реального времени), градуировщик может не заботиться об осуществлении третьей градуировки с функциями вторых цветовых преобразований в MET_TR2, и даже может не хотеть тратить много времени на детализированное создание градуированного второго вида (например, LDR из эталонного HDR). Поэтому мы установили принцип, что, с одной стороны, можно очень хорошо узнать фактическую семантику сцены HDR, глядя на две градуировки, которые обычно находятся на крайних концах, в отношении типичного предполагаемого использования, шкалы пиковой светлоты. Например, можно видеть, что в сцене HDR взрыв усилен по светлоте по сравнению со сценой LDR, где имеется большое количество кодов сверх необходимого для достаточной рендеризации остальной части сцены (или наоборот, можно видеть, что взрыв затемнен в LDR по сравнению с его светлой выразительной версией в изображении HDR). Это не обязательно указывает, как следует усиливать взрыв для конкретного PB_D, например, нужно ли немедленно оперативно начинать усиление или только для высококачественных дисплеев HDR, например, PB свыше 2000 нит, но по меньшей мере известно, что для промежуточных градуировок (MDR) потребуется усиливать огненный шар взрыва. Теперь необходимая технология зависит от ситуации, например, сложности типа сцены HDR и требовательности конкретного пользователя, сбалансированных в том, что общепринято в этой области применения, доступности по времени и стоимости и т.д. Принцип состоит в том, что принимающая сторона, например, телевизионная приставка или TV IC, может сама выводить другие необходимые градуировки (между двумя принятыми градуировками, или даже вне этого диапазона) обычно с некоторым дополнительным руководством от создающей стороны, с метаданными, которые отличаются по природе от цветовых преобразований, используемых для создания фактической второй исходной градуировки, т.е. указанного и подтвержденного исходного художественного материала градуировщиком. Поскольку физика и технические требования для этой так называемой фазы настройки дисплея также будут отличаться. Заметим, что в то время как мы будем описывать версии, где создатель фактически передает параметры, оптимальные для настоящей сцены HDR согласно его конкретному желанию, мы также утверждаем, что те же принципы можно применять только на принимающей стороне, например, где принимающее устройство осуществляет анализ изображения для достижения подходящего значения параметра, например, настройки дисплея gpr или gpm. Для некоторых сцен не критично, какова окончательная рендеризованная яркость различных объектов изображения, например, свет в комнате в реальной жизни также может быть немного более светлым, и поэтому свет внешнего мира, хорошо наблюдаемого через окно, может быть относительно более светлым или более тусклым. В таком случае устройство или градуировщик может принимать решение с помощью очень простого технического инструмента, настраивать вид немного более светлым (например, на 3 единичных шага в некотором диапазоне) по сравнению с тем, что дает опорный алгоритм по меньшей мере для некоторой части диапазона яркости. Для некоторых более критичных сцен градуировщик или производитель дисплея, например, для автоматического улучшения изображения, или для обеспечения пользователя более интеллектуальным управлением пользовательского интерфейса влияния на вид, может захотеть более точно управлять различными частями сцены HDR (в частности, различными диапазонами светлоты, но в некоторых сценариях может существовать, например, информация, позволяющая идентифицировать конкретные объекты, и в этом случае может осуществляться настройка дисплея, зависящая от объекта), для различных поддиапазонов диапазона возможных пиковых светлот дисплеев все, конечно, в соответствии с типичными аппаратными ограничениями для этих разновидностей технологии.

Поэтому только кодирование и декодирование даже двух возможных градуированных изображений захваченной сцены с динамическим диапазоном не является достаточной технологией, дающей возможность совершенно правильно обрабатывать изображение HDR, что является суровым уроком тем, кто желает быстро выйти на рынок со слишком простыми решениями, поэтому нам также нужны принципы кодирования, скоординированные с методологией настройки дисплея и, в частности, той, которая является прагматичной с учетом типичных потребностей, ограничений и желаний обработки видеосигнала, в частности, теперь, обработки видеосигнала HDR.

Теперь, после долгого вступления, необходимого, поскольку все в этом очень недавнем изображении HDR, в частности, кодировании видеосигнала является очень новым, и, в частности, некоторые из технических подходов заявителя даже не известны, помимо общеизвестных, перейдем к детальному рассмотрению настоящих коэффициентов, компонент, вариантов осуществления и оригинальных идей, касающихся настройки дисплея. Представленное ниже изобретение позволяет получить прагматичные и в то же время мощные инструменты, удовлетворяющие различные потребности оптимизации настройки, для такой общей (мультипликативной) обработки масштабирования, которые задают колориметрический вид по меньшей мере двух градуированных изображений, способ получения промежуточных градуировок ((полу)автоматически переградуированных видов среднего динамического диапазона MDR) для фактических дисплеев, подлежащих подключению, на которые подается оптимизированное изображение для рендеризации, которые можно вычислять на любой принимающей стороне с помощью устройства (201) цветового преобразования для вычисления результирующих цветов (R2, G2, B2) пикселей выходного изображения (IM_MDR), которое настраивается для дисплея с пиковой светлотой (PB_D) дисплея, начиная с входных цветов (R,G,B) пикселей входного изображения (Im_in), имеющего максимальный код сигнала яркости, соответствующий пиковой светлоте (PB_IM1) первого изображения, которая отличается от пиковой светлоты (PB_D) дисплея, отличающегося тем, что устройство цветового преобразования содержит:

- блок (4201, 102; 2501) определения цветового преобразования, выполненный с возможностью определения цветового преобразования (TMF) из данных (MET_1) спецификации цветовой обработки, содержащих по меньшей мере одну функцию (CC) картирования яркости, принятую через вход (116) метаданных, причем данные спецификации цветовой обработки указывают, как яркости пикселей входного изображения (Im_in) должны преобразовываться в яркости пикселей второго изображения (Im_RHDR), имеющего соответствующую его максимальному коду сигнала яркости пиковую светлоту (PB_IM2) второго изображения, которая отличается от пиковой светлоты (PB_D) дисплея и пиковой светлоты (PB_IM1) первого изображения, благодаря чему, частное от деления пиковой светлоты первого изображения на пиковую светлоту второго изображения либо больше 2, либо меньше 1/2;

- блок (4205, 200; 1310) определения масштабного коэффициента, выполненный с возможностью определения результирующего общего мультипликативного коэффициента (gt; Ls), причем блок выполнен с возможностью определения этого результирующего общего мультипликативного коэффициента посредством: во-первых, установления в заранее определенном направлении (DIR), которое имеет ненулевой угол против часовой стрелки от вертикального направления, ортогонального направлению, охватывающему яркости входного изображения, заранее установленной метрики (1850, METR) для определения положений пиковых светлот дисплеев, и положения (M_PB_D) на той метрике, которое соответствует значению пиковой светлоты (PB_D) дисплея, причем метрика начинается в положении диагонали, представляющей функцию тождественного преобразования, и во-вторых: установления второго цветового преобразования (1803; F_M) для определения по меньшей мере яркостей результирующих цветов (R2, G2, B2) пикселей выходного изображения (IM_MDR), причем второе цветовое преобразование основано на цветовом преобразовании (TMF) и положении (M_PB_D);

и в-третьих: определения результирующего общего мультипликативного коэффициента (gt; Ls) на основе второго цветового преобразования (1803; F_M); и при этом устройство (201) цветового преобразования дополнительно содержит

- масштабирующий умножитель (114), выполненный с возможностью умножения каждой из трех цветовых компонент цветового представления входных цветов на результирующий общий мультипликативный коэффициент (gt) для получения результирующих цветов (R2, G2, B2).

Как будет очевидно квалифицированному читателю, изучающему различные описанные ниже возможности, мы уже хотим обратить внимание на некоторые факторы, которые не следует читать ограниченно, чтобы понять базовые принципы. Прежде всего, хотя все аддитивные дисплеи окончательно работают с цветовыми компонентами RGB, вычисления цвета можно фактически эквивалентно осуществлять в других цветовых представлениях. Начальное цветовое преобразование, которое нужно определить или установить, является одним отображением в виде карты между двумя совместно передаваемыми представителями различных градуированных изображений динамического диапазона, например, SDR-to-HDR_5000nit. Это уже допускает варианты в различных вариантах осуществления, поскольку некоторые более простые варианты могут передавать это необходимое преобразование как одну-единственную функцию (CC) картирования яркости или тона, но другие варианты осуществления могут передавать полное необходимое цветовое преобразование, или даже его часть преобразования яркости, как последовательность цветовых преобразований, например, на создающей стороне человек-градуировщик цвета, оптимально выводящий SDR из эталонного HDR, сначала делает некоторое грубое повторное осветление нескольких участков изображения, и затем получает точную настройку для некоторых объектов в изображении (изменения дифференциальной яркости которых также могут передаваться в таком альтернативном варианте осуществления через форму кривой CC). Фактически нужно вычислять окончательную(ые) оптимальную(ые) функцию(и) для вычисления не изображения HDR, а изображения MDR (например, для PB_D1650 нит) из принятого изображения SDR.

Это также может осуществляться по-разному в различных вариантах осуществления, например, некоторые варианты осуществления могут один раз вычислять окончательную функцию картирования яркости для любых возможных яркостей (или сигналов яркости) SDR во входном изображении, загружать ее в часть вычисления цвета, например, в виде таблицы значений gt, подлежащих использованию, и затем обрабатывать цветовое преобразование пиксель за пикселем. Но, альтернативно, определения любого частичного вычисления функции могут осуществляться оперативно по мере поступления пикселей, но квалифицированный читатель понимает, как нужно устанавливать форму желаемой(ых) функции(й) переградуировки для этого конкретного изображения или сцены изображений, начиная с того, что было сконструировано создателем контента, и затем для того, что согласованно необходимо для ограничений в данный момент подключенного или обслуживаемого дисплея.

Это позволяет задавать изображения разных видов для возбуждения дисплеев некоторого PB_D, который может иметь много значений и не соответствует PB принятого изображения (ни одной пиковой светлоте другого градуированного изображения, выводимого из него путем применения принятых цветовых преобразований прямо во входное изображение, функции которого указывают, как выводить только эту другую пару из двух изображений, для каждого момента времени в случае видео), на основе этого принятого изображения и надлежащим образом заданного цветового преобразования (которое, для понимания читателя, можно без ограничения предположить сконструированным человеком-градуировщиком цвета), которые содержат по меньшей мере преобразование яркости (которое также может фактически задаваться и приниматься как метаданные и/или применяться при осуществлении вычислений в качестве преобразования сигнала яркости, поскольку преобразование яркости может уникально преобразовываться в эквивалентное преобразование сигнала яркости). Любая сторона приемника может по меньшей мере частично принимать решение по форме такой функции, поскольку эта форма будет по меньшей мере настраиваться согласно одному свойству рендеризации принимающей стороны, например, PB_D, но, предпочтительно, также задается создателем контента, что обычно может осуществляться с использованием функций цветового преобразования, задающих соотношение между изображением LDR и изображением HDR. Поскольку, в идеале, настройка дисплея также должна учитывать конкретные требования любой конкретной сцены или изображения HDR (которые могут значительно изменяться по типу и в зависимости от типа семантического объекта нуждается в рендеризации яркости различных объектов изображения), которое является тем, что настоящие варианты осуществления, связанные с функциями, которые уже заданы для кодирования дуэта изображений, могут обрабатывать. Затем это цветовое преобразование можно, наконец, фактически применять в качестве стратегии умножения на (исходные, или масштабированные по яркости, например, в представлении, нормализованном к максимуму 1,0) красную, зеленую и синюю цветовые компоненты, линейные или нелинейные (или даже, в других вариантах осуществления, на Y'CbCr или другие цветовые представления).

Соотношение между необходимой функцией (или, фактически, ее соответствующими мультипликативными коэффициентами gt), т.е. отклоненной формой этой функции, начиная с тождественного преобразования или без обработки (диагональная функция, которая будет отображать в виде карты сигналы яркости SDR сами в себя на оси y в граничном случае, когда теоретически можно вычислить градуировку SDR из принятой градуировки SDR, или HDR из HDR, что, конечно, фактически не делается, но также должно быть правильно для любой технологической конструкции согласно нашим различным принципам, т.е. хороший способ понять и сформулировать технологию) будет определяться путем установление метрики в целом. Эту метрику можно рассматривать как ʺрастяжениеʺ функции внешней оболочки, а именно если нужно вычислить изображение HDR_5000nit из принятого изображения SDR (это проиллюстрировано для простого сценария, среди прочего, на фиг. 18). Конечно, в сложных случаях можно, например, либо использовать изменяющуюся метрику на различных возможных сигналах яркости входного изображения (что может осуществляться, например, согласно варианту осуществления, подобному показанному на фиг. 6), и/или форма функции может изменяться от принятой, например, для дисплея, настраивающего поведение для самых темных пикселей, может изменяться, что может осуществляться, например, путем введения дополнительной отклоняющей или направляющей функции, и т.д. Но базовый аспект состоит в возможности устанавливать метрику и затем вычислять значение PB_D дисплея в положение на этой метрике для любого входного сигнала яркости или яркости. Исследование исследователей также показывает, что выгодно иметь возможность выбирать различные направления для метрики, например, направление, ортогональное к диагонали, имеет хорошее влияние на управление необходимыми светлотами при картировании из HDR в SDR, или наоборот, с помощью обратных функций. В заключение, специалист в данной области техники может понять из наших принципов, что способность определять положение набора точек M_PB_D (или M_PB_U в других вариантах осуществления) для каждого возможного входного сигнала яркости на графике яркостей или сигнала яркости (например, нормализованного или ненормализованного, т.е. фактической входной яркости SDR (или HDR, как на фиг. 18) на оси x, и некоторой яркости на оси y, которая может быть любой необходимой яркостью MDR, например, на оси, которая растягивается до максимума изображения HDR, т.е. например PB_C=5000 нит), устанавливает окончательную оптимальную функцию (в том смысле, что создает соответственно выглядящее изображение в изображение HDR с учетом ограничений рендеризации дисплея и прагматичных ограничений вычисления, выбранных, например, по сложности IC, которую может обеспечить любой изготовитель TV или STB) для вычисления сигнала яркости изображения MDR из входных сигналов яркости (заметим, что также можно вычислять изображения MDR вне диапазона между двумя совместно передаваемыми градуировками).

В полезном варианте осуществления направление (DIR) лежит между 90 градусами, соответствующими вертикальной метрики на графике входной и выходной яркости или сигнала яркости, и 135 градусами, которые соответствуют диагональной метрике.

В полезном варианте осуществления две внешние точки (PBE, PBEH) метрики соответствуют пиковой светлоте принятого входного изображения (PB_L), соответственно, посредством функций цветового преобразования совместно кодированного изображения другой пиковой светлоты (PB_H), которое можно реконструировать из этого изображения путем применения к нему принятых в метаданных функций цветового преобразования, содержащих по меньшей мере одну функцию (CC) картирования тона, и при этом устройство вычисляет выходное изображение (IM_MDR) для дисплея с пиковой светлотой (PB_D) дисплея в этом диапазоне пиковых светлот (из PB_L в PB_H).

В полезном варианте осуществления метрика основана на логарифмическом представлении пиковых светлот дисплеев. Уже в простых вариантах осуществления можно, таким образом, оптимизировать динамический диапазон и яркостный вид различных объектов изображения простым и хорошим способом, например, значением gp верхнего уравнения из нижеследующих уравнений 1, которое соответствует варианту осуществления определения положения, зависящего от PB_D на метрике, и затем правильно определенной форме функций для вывода изображения от MDR к SDR (или обычно от MDR к HDR). Но, конечно, в более сложных вариантах осуществления как сказано выше, положение на метрике, соответствующее необходимой функции преобразования яркости, может изменяться более сложным образом, например, на основе передаваемых параметров, указывающих желаемое поведение переградуировки, определенное создателем контента или параметры окружающей среды, например, измерение, оценку или эквивалентное значение окружающего освещения (например, вводимое зрителем, что позволяет комфортно смотреть при таком освещении) и т.д., но затем отклонения все же могут обычно начинаться с логарифмического количественного определения фактически имеющегося значения PB_D между значениями PB_C двух передаваемых градуированных изображений LDR и HDR.

Полезный вариант осуществления имеет блок (200) определения масштабного коэффициента, дополнительно выполненный с возможностью получения параметра (gpr; gpm) настройки из вторых данных (MET_2) спецификации цветовой обработки, которые были предварительно определены во время создания входного изображения (Im_in), и выполнен с возможностью вычисления результирующего общего мультипликативного коэффициента (gtu), соответствующего другому положению на метрике, чем положение пиковой светлоты (PB_D) дисплея, причем другое положение основано на значении параметра настройки. Важно, чтобы читатель потратил некоторое время, чтобы подумать об этом и понять это. Существует первый механизм, который позволяет стороне создания контента определять точную форму функций, преобразующих данные между изображениями градуировки HDR и LDR, т.е. изображениями, созданными передающей стороной и установимыми принимающей стороной (например, PB_C 100 и 5000 нит). Это позволяет, согласно уровню качества, необходимому каждому конкретному применению HDR, для определения, как яркости объектов изображения HDR должны отображаться в яркости SDR, что уже может быть непростой задачей. Например, если мы имеем ярко освещенную витрину в ночное время и вслед за этим некоторые велосипеды в темноте, градуировщик может использовать (как представлено на фиг. 1) одну или более функций картирования яркости, чтобы более или менее точно определять, какие яркости должны иметь темные велосипеды (чтобы они, например, были просто видны в типичной рендеризации изображения SDR, и не были ни слишком светлыми, чтобы не портить иллюзию, ни невидимо тонущими в черном). С другой стороны, для светлого объекта в лучах прожекторов на витрине, также может быть нетривиальной задачей выбор оптимальных яркостей, которые одновременно создают хорошую разность светлот с темными частями изображения, и хорошую контрастность и цветонасыщенность внутри участка для объектов за окном (при этом читатель также не должен забывать гарантировать, при отправке такого изображения, градуированного с SDR путем выбора этих функций, возможность реконструкии Im_RHDR). Поэтому задача состоит в том, что технология должна быть способна обрабатывать достаточно хорошо даже при создании двух градуированных изображений (например 100 и 1000 нит). Идея, лежащая в основе нашего прагматичного решения для вывода изображений MDR, состоит в том, что существует очень важная информация в этих функциях цветового преобразования, которая может использоваться алгоритмами принимающей стороны для создания красивых соответствующих изображений MDR. Но, в зависимости от изображения и, в частности, сложности сцены HDR, при переходе к такому алгоритму автоматического создания MDR можно терять некоторую точность по сравнению с этой, возможно, реально совершенным образом градуированной парой иллюстративных изображений LDR и HDR. Поэтому в случае, когда создатель контента (т.е. обычно градуировщик цвета) желает, он может отправлять второй набор метаданных согласно своим желаемым, для более точного управления фактическим выводом функции(й) преобразования MDR, например, построением метрики и вычислением точек, зависящих от PB_D, на метрике, что, например, представлено на фиг. 6. Поэтому мы подчеркиваем: первые метаданные функции цветового преобразования (для вычисления, например, реконструкции эталонного HDR Im_RHDR из принятых изображений SDR Im_in), грубо и глобально указывают, как должна работать переградуировка, начиная с двух далеко разнесенных иллюстративных градуировок (например, HDR PB_C обычно по меньшей мере в 10 раз выше, чем 100 нит градуировки SDR, но, предпочтительно, более высокое по меньшей мере для высококачественных сцен HDR), но второй набор метаданных (MET_2) позволяет дополнительно указывать фактическое поведение настройки дисплея для различных ограничений рендеризации, которые может налагать градуировщик. Он может делать это по-разному, например, зная, что некоторый критичный участок тени следует обрабатывать с осторожностью, поскольку там происходит важное действие, и быстро осветлять для большинства сценариев рендеризации, или альтернативно, что некоторые светлые участки можно сильно (мягко) отсекать и т.д., или градуировщик может, например, наблюдать поведение на некотором типичном опорном дисплее MDR (например, 500 нит для кодировок HDR 1000 нит).

В полезном варианте осуществления блок (200) определения масштабного коэффициента выполнен с возможностью определения другого положения путем применения монотонной функции, дающей на выходе нормализованное положение на метрике как функцию по меньшей мере одного входного параметра (gpr), причем монотонная функция может определяться самим цветовым преобразованием, или на основе метаданных предписания, предписывающих форму функции, подлежащую использованию, которые были предварительно определены во время создания входного изображения (Im_in). Может быть полезно определять поведение позиционирования как некоторую функцию. Это допускает некоторое аналогичное поведение вдоль метрик, в случае, когда желательно, несмотря на длину этих метрик, изменение в соответствии с функцией, т.е. возможными входными сигналами яркости. Например, это позволяет претендовать на то, чтобы все дисплеи, превышающие некоторый порог, например 90% PB_C_HDR (т.е. например, 4500 нит), предполагались идентичными опорному дисплею HDR PB_D=5000 нит, и рендеризовать изображение MDR максимально близко к эталонной градуировке HDR. Такая функция может устанавливаться самим принимающим устройством (как врожденное поведение, например, некоторого режима рендеризации фильма, который можно выбирать), или некоторая информация о функции может передаваться от самой создающей стороны, например, всей монотонной функции. Мы подчеркиваем, что эта функция является той, которая определяет положение точки M_PB_D вдоль метрики, т.е. в зависимости от PB_D, но все же, например, ближе к функции картирования SDR в эталонный HDR, чем, например, предписывает логарифмическое вычисление (как, например, проиллюстрировано на фиг. 15), и эта функция не должна сбиваться функциями для вычисления изображения HDR из изображения SDR, т.е. функцией(ями) преобразования яркости.

Полезный вариант осуществления содержит блок (1110) анализа изображения, выполненный с возможностью анализа цветов объектов во входном изображении (Im_in), и определения из него значения по меньшей мере одного из параметров, управляющих вычислением выходного изображения (IM_MDR), например, параметра (gpm) настройки, или направления (DIR), или формы монотонной функции, дающей на выходе нормализованное положение на метрике, подлежащей использованию при вычислении результирующего общего мультипликативного коэффициента (gt). Некоторые варианты осуществления может хорошо использовать знание о функциях преобразования яркости, созданных на стороне создания контента, определяя настройку дисплея, по большей части, самостоятельно. Они, например, могут оценивать, какие разновидности темных, средних и светлых участков присутствуют в изображении, и, например, определять направление DIR, которое влияет на то, как изменяются усредненные участки средней яркости (например, их выходные яркость и контрастность) в зависимости от обработки, например, сжатия, выделений (это может осуществляться по-разному для вышеупомянутой витрины, которая содержит значимые объекты, которые зритель должен распознавать, в частности, если существуют важные коммерческие объекты, например, название фирмы, выгравированные или выполненные методом пескоструйной обработки на окне, т.е. с низкой контрастностью, но которые все же должны быть распознаваемы на всех дисплеях MDR, в отличие, например, от некоторых ламп, которые также нужно просто отсекать до единого белого цвета для большинства пользователей).

Другой полезный вариант осуществления устройства содержит блок (3710) определения величины отсечения, выполненный с возможностью определения минимальной величины жесткого отсечения до пиковой светлоты (PB_D) дисплея для поддиапазона наиболее светлых яркостей входного изображения (Im_in), причем вычисление результирующего общего мультипликативного коэффициента (gt) определяется для яркостей входного изображения в поддиапазоне для картирования входной яркости в пиковую светлоту (PB_D) дисплея. В случае, когда создатель контента или производитель TV желает или допускает некоторую минимальную величину отсечения (для малого поддиапазона, например, наиболее светлых 10% яркостей наиболее светлых 3% сигналов яркости), этот блок 3710 может указывать это. Один вариант осуществления может, посредством некоторой вспомогательной функции F_ALT, направлять вычисление окончательной функции картирования яркости, подлежащей использованию (F*), как определено блоком (3712) определения функции яркости. Примером такого способа может быть использование функции F_ALT, которая является функцией отсечения, т.е. функцией, которая дает выходной результат PB_D (например, 1500 нит для дисплея, который может рендеризовать максимально 1500 нит белый) независимо от входного сигнала яркости, и это всего лишь одна из альтернативных функций, которые может генерировать генератор 3711 функции.

Нижеследующие варианты осуществления также представляют интерес. Блок 3712 определения функции яркости может определять окончательную функцию, подлежащую загрузке, например, в LUT, производя непосредственно вычисление сигнала яркости MDR из сигнала яркости SDR входного изображения (т.е. загружать, например, на блоке 2501 этой иллюстративной топологии) результирующей функции, которая резко переходит или плавно спадает к стратегии чередующейся настройки жесткого отсечения (см. пояснительный пример возможностей, проиллюстрированных на фиг. 38).

Еще один интересный вариант осуществления, особенно интересный для осуществления настройки в зависимости от окружающего освещения, имеет блок (3702) оценивания уровня черного для установления оценки уровня черного, причем вычисление результирующего общего мультипликативного коэффициента (gt) зависит от уровня черного. Это может быть еще один блок в блоке (3701) определения оптимальной функции, который может представлять собой, например, программное обеспечение, работающее в соответствии с частью базового цветового преобразования в IC (это допускает обновление через программно-аппаратное обеспечение, например, для обеспечения новых или лучших стратегий настройки, или различных уровней качества в зависимости от канала доставки контента или подписки и т.д.). Оценка уровня черного, обычно указывающая уровень яркости или уровень сигнала яркости на фактически имеющемся дисплее с MDR, т.е. в изображении MDR, ниже которого детали изображения будут невидимыми или едва видимыми, может фактически определяться по-разному, например, путем запрашивания прагматически хорошо работающего значения у зрителя через пользовательский интерфейс, например, пульт дистанционного управления, т.е. некоторый вход 3755 для получения оценки уровня, который также может быть подключен к измерителю освещенности или камере и т.д.

Интересно также изменять варианты осуществления в направлении, которое управляет поведением настройки для многоступенчатой настройки, например, вариант осуществления, в котором вычисление результирующего общего мультипликативного коэффициента (gt) основано на функции (Fcrs) грубого картирования яркости и функции (CC) точного картирования яркости, отличающийся тем, что сначала оптимизированная функция грубого картирования (FCrs_opt) определяется на основе по меньшей мере пиковой светлоты (PB_D) дисплея для определения оптимальных поддиапазонов яркостей, соответствующих фактической ситуации рендеризации на дисплее, и это грубое картирование применяется к входному изображению, давая грубые сигналы яркости (Y'CG), и затем функция точного картирования оптимизируется на основе функции (CC) точного картирования яркости и по меньшей мере пиковой светлоты (PB_D) дисплея, и эта функция точного картирования применяется к грубым сигналам яркости. Это позволяет, например, определять грубое и точное картирование яркостей, соответствующих пиковой светлоте дисплея вдоль метрики (1850) в другом направлении (DIR), причем грубое картирование предпочтительно осуществлять по диагонали, и точное картирование предпочтительно осуществлять по вертикали. Конечно, дополнительные варианты осуществления могут затем дополнительно точно настраивать и управлять настройкой этих по меньшей мере двух подэтапов для различных дисплеев MDR, путем приема вторых метаданных MET_2, указывающих (например, значение(я) gpm или аналогичные метаданные).

Для вариантов осуществления, адаптированных к дополнительным свойствам окружения наблюдения, т.е. не только к характеристикам дисплея, выгодно, когда сначала функция картирования яркости устанавливается согласно опорной ситуации наблюдения с фиксированным уровнем освещения, и затем эта функция регулируется для значения уровня черного, причем из этой отрегулированной функции вычисляется результирующий общий мультипликативный коэффициент (gt), например на блоке 3701.

Все эти блоки или устройства настройки можно физически реализовать после декодера (т.е. который, например, выводит Im_RHDR, точно соответствующий эталонной градуировке HDR) или совместно с ним, т.е. непосредственно выводящим изображение MDR из изображения SDR (затем изображение HDR может использоваться в программном вычислении оптимальной функции для использования в машине базового цветового преобразования).

Другие интересные варианты осуществления и варианты, например, таковы.

Иллюстративный вариант осуществления вычисления результирующего общего мультипликативного коэффициента (gt), необходимого для вычисления результирующих цветов выходного изображения содержит сначала вычисление отношения (gp): логарифм, прежде всего, отношения пиковой светлоты дисплея (PB_D), в частности, подключенного дисплея, на котором предполагается рендеризовать изображение(я), и опорной пиковой светлоты (PB_IM1, например, PB_H), соответствующей входному изображению, деленный на логарифм отношения опорной пиковой светлоты (PB_H) и пиковой светлоты (PB_IM2, например, является PB_L градуировки LDR), соответствующей изображению (Im_LDR) динамического диапазона яркости, по меньшей мере в 1,5 раза отличающегося от динамического диапазона яркости входного изображения, который обычно является второй принятой градуировкой сцены HDR. После этого устройство цветового преобразования вычисляет результирующий общий мультипликативный коэффициент (gt) как начальный общий мультипликативный коэффициент g (определенный из всех частичных цветовых преобразований, используемых для преобразования между первой и второй градуировкой, которыми обычно бывают изображения вида HDR и LDR) возведенный в степень отношения (gp).

Могут существовать другие такие метрики, но метрика не может быть произвольной: она должна использоваться для определения положения, где промежуточная пиковая светлота дисплея (PB_D) должна точно или приблизительно оказываться между PB_H и PB_L, чтобы вид MDR можно было использовать при рендеризации на дисплее PB_D (и, в частности, полезно также, если метрика дает хорошие результаты при экстраполяции видов за пределы диапазона [PB_IM1, PB_IM2]).

Таким образом, устройство или способ сначала определяет цветовое преобразование между двумя изображениями кодированного/принятого вида (Im_in и IM_GRAD_LXDR, в котором IM_GRAD_LXDR может быть изображением HDR или LDR, и затем другое изображение имеет значительно другой динамический диапазон), причем цветовое преобразование в различных вариантах осуществления можно фактически представлять и передавать на блок производящий вычисления, например, функцию (между нормализованной входной и выходной яркостью), или один или набор мультипликативных коэффициентов g.

Во многих вариантах осуществления все цвета выходного изображения MDR можно вычислять этим способом, но в других вариантах осуществления лишь некоторые из пикселей повторно вычисляются. Например, способ может копировать некоторые декорации, или некоторые текстовые или графические элементы, например, из изображения LDR, и усиливают только пиксели, соответствующие огненному шару или окну, ведущему наружу и т.д. В таком случае функция также может задаваться только на части диапазона возможных яркостей, и т.д.

В конце концов, какое бы вычисление цветовой обработки ни требовалось для вывода изображения MDR, например, из изображения HDR, устройство будет преобразовывать это в набор значений умножения, для умножения на входные цвета, которые обычно могут быть в линейном цветовом представлении RGB (или, аналогично, можно, например, умножать компоненту L представления Lu'v', в котором u' и v' являются координатами цветности CIE 1976, но эти детали несущественны для понимания различных вариантов осуществления настройки дисплея).

Поэтому устройство нуждается, прежде всего, в блоке (1303) определения метрики возможностей, для определения, какая метрика необходима для определения положения значения PB_D между значениями PB_IM1 и PB_IM2. Эта метрика обычно является нелинейной, и с некоторыми из параметров настройки устройства, в некоторых преимущественных сценариев под управлением градуировщика контента, может дополнительно влиять на форму нелинейности. Это, помимо прочего объясняется тем, что настройка дисплея не является просто адаптацией на основе физики отображения, даже с учетом нелинейного человеческого зрения, но поскольку, в частности, для перехода (особенно, очень высокого DR) HDR в LDR, может потребоваться выполнять сложные оптимизации для сжатия яркостей всех объектов друг с другом и при этом получать красивый скоординированный вид (может быть проще, если второе изображение также является изображением HDR или по меньшей мере изображением MDR с достаточно высоким PB). Тем не менее, в идеале, желательно, чтобы варианты осуществления вне системы были достаточно простыми, для быстрого получения, с несколькими параметрами по меньшей мере большинства управления настройкой вида, которое необходимо для классов контента HDR.

Блок (1303) определения метрики возможностей может делать что-то просто с использованием заранее определенной метрики (которая, например, жестко запрограммирована в IC), или, в других вариантах осуществления, может определять необходимый вид из указателя типа метрики (COD_METR), которую он принимает от создателя контента посредством принятого сигнала S_im в заранее согласованном поле метаданных. Поскольку различные сцены HDR могут обрабатываться по-разному, градуировщик может, например, передавать, что для действия первой сцены в фильме солнечного внешнего пространства метрика, подлежащая использованию, является логарифмическим отношением (и, возможно, направлением, вертикальным направлением, ортогональным оси входных яркостей, см. ниже), но затем, когда следующая сцена становится вечерней сценой, для получения несколько более светлого вида создатель контента может указывать, что настройка дисплея должна осуществляться с метрикой на основе OETF (и, например, в ортогональном тождественному диагональном направлении, или, другими словами 135 градусов от оси входной яркости). Или, в зависимости от того, нужно ли переградуировать контент MDR в реальном времени (или, например, обрабатывать для более позднего зрителя и сохранять на HDD в жилище зрителя), устройство цветового преобразования, например, в STB, может производить некоторое вычисление, обращаться к статистике изображения и делать вывод, что метрика должна немного измениться, или PB_D должен измениться, как если бы назначенный дисплей был чуть более темным, приводя к несколько более светлому изображению, или любому изменению параметров, влияющих на настройку дисплея, пока вид MDR не будет признан удовлетворительным, либо человеком, либо алгоритмом автоматического анализа качества изображения. Блок определения метрики возможностей устройства принимающей стороны может строить свою собственную метрику, например, из статистического анализа наборов изображений фильма, но обычно будет просто выбирать из набора заранее запрограммированных вариантов.

Затем блок (1310) определения результирующего умножителя будет, в целом, как пояснено нижеприведенными примерами, позиционировать метрику на карте преобразования яркости (или, фактически, делать что-то эквивалентное в своих вычислениях), определять, где пиковая светлота дисплея оказывается между кодированными изображениями (т.е. необходимо ли более близкое к HDR или более близкое к изображение LDR MDR по меньшей мере для некоторого поддиапазона цветов пикселя, или некоторого поднабора пикселей входного изображения Im_in), и затем, обращаясь к форме полной функции преобразования яркости, определять для каждой возможной входной яркости, какой результирующий общий мультипликативный коэффициент gt необходим для вычисления соответствующей выходной яркости или в коэффициенте выходной цвет для соответствующего пикселя в изображении MDR.

Поэтому, вместо использования начального общего мультипликативного коэффициента (g), которое кодифицирует картирование яркости для объектов изображения согласно любому художественному желанию градуировщика, как он хочет, чтобы выглядели два вида динамического диапазона, с использованием параметров нашей технической функции цветового преобразования, преобразующих из первого вида динамического диапазона захваченной сцены (например HDR 5000 нит в качестве основного изображения) во второй, например, LDR (для возбуждения традиционных дисплеев 100 нит), которые пояснены на фиг. 1, который поэтому просто дает вторую художественную опорную градуировку из изображений первой опорной градуировки, вычисляется новый результирующий общий мультипликативный коэффициент (gt), который характеризует надлежащим образом масштабированную по яркости или настроенную под дисплей версию переградуировки, дающую изображение MDR. Например, устройство или способ могут понижать от основного изображения HDR (которое, как упомянуто, можно сформировать как единое мультипликативное действие на цвета RGB пикселя с общим коэффициентом). Это дает промежуточное градуированное изображение (MDR), которое имеет подходящий вид для подключаемого дисплея промежуточной пиковой светлоты, например 1250 нит, т.е. все объекты сцены HDR в захваченном изображении рендеризуются на этом дисплее с приемлемой светлотой (желательной для создателя контента и принятой наблюдателю, являются ли они прохладными тенистыми участками, спокойными прудами, ярко освещенным лицом преступника, допрашиваемого полицией, и т.д.), и что на любом данном дисплее, и, потенциально, с учетом других факторов, как то окружение наблюдения и т.д. И, согласно вариантам осуществления, помимо светлот цветов пикселя объектов изображения, также цветонасыщенность цветов пикселя можно оптимизировать по желанию, путем применения надлежащим образом масштабированной версии, например, необходимого снижения насыщенности для создания ярко окрашенных объектов в градуировке LDR. Основное требование для получения правильно градуированных изображений для дисплеев, значительно отличающихся пиковой светлотой, состоит в том, что по меньшей мере яркости различных объектов должны быть правильно оптимизированы для каждого дисплея. В противном случае, зритель может видеть, например, некоторые части изображения, которые являются слишком темными, и даже могут быть недостаточно различимыми. Или некоторые объекты могут иметь неправильную контрастность, например, низкую контрастность. Но поскольку мы нашли способ формулировать преобразования яркости как умножение на коэффициент g, те же принципы можно применять также для обработки насыщенности цвета. И преобразование насыщенности цвета также является полезной обработкой, при необходимости преобразовывать между изображения для дисплеев значительно отличающегося динамического диапазона яркости, поскольку, например, градуировщик может хотеть для увеличения цветонасыщенности для самых темных частей сцены при рендеризации на дисплеях низкой пиковой светлоты, например, между 100 и 600 нит.

Вычисление gt осуществляется на принимающей стороне, но также может обычно осуществляться создающей стороне для проверки, что будут делать приемники. Даже в некоторых вариантах осуществления создающая сторона может отклонять любые вычисления значений gt принимающей стороны, и непосредственно указывать их, например, для одного или более кадров фильма, но мы сосредоточимся на более простых вариантов осуществления вычисления в пояснении.

Можно сделать различие между ʺестественнымʺ видом или, точнее, семейством видов для соответствующих дисплеев с различными пиковыми светлотами (и/или динамическими диапазонами), и повторно отрегулированным видом, который дополнительно настроен согласно некоторыми принципами. Могут существовать различные причины для перенастройки на принимающей стороне, для которой параметры наблюдения дисплея, окружение, адаптация зрителя и т.д. окончательно определяют, каким должен быть вид, но обычно в цепях изображения HDR или обработки видеосигнала, особую важность имеет по меньшей мере пиковая светлота дисплея, на котором нужно рендеризовать изображение(я). С другой стороны, несколько сторон в цепи от создания до потребления изображения могут обсуждать, каким будет оптимальный вид (например, конечный потребитель может иметь особый взгляд на материал или потребность). Можно предположить, что некоторые системы, которые можно использовать для пояснения наших вариантов осуществления, позволят создателю контента обсуждать, каким окончательно должен быть оптимальный ʺестественныйʺ вид, на каком бы дисплее принимающей стороны будет отображаться контент, если он того желает. Наши простейшие варианты осуществления допускают это, поскольку основная часть вида уже кодируется в спецификациях цветового преобразования, которые передаются в первых метаданных MET_1, связанных с изображением (например, на одном и том же оптическом диске или носителе, содержащем изображение, или через одно и то же соединение передачи изображения), и если затем просто регулировать это до конкретной пиковой светлоты принимающего дисплея, то большая часть вида градуировщика на изображаемой сцене по-прежнему будет присутствовать и восприниматься на окончательно рендеризованном виде. Фактически, если устройство цветового преобразования просто применяет метрику как есть, т.е. без дополнительной точной настройки параметрами, задающими изменчивость вида, например gpr, и затем определяет функции цветового преобразования HDR в MDR на основе принятого цветового преобразования (причем TMF определяет картирование, например, из HDR в LDR), то MDR определяется только различием в градуировке, кодированной в функциях преобразования HDR-LDR.

Однако другие стороны также могут обсуждать вид, и это может определяться точно такими же техническими компонентами наших различных вариантов осуществления, типичными в качестве переопределения естественного вида. Например, производитель устройства, например, производитель телевизора, также может иметь много информации и/или предпочтительное мнение о том, как должны выглядеть некоторые типы рендеризаций сцены HDR (или соответствующих им рендеризаций MDR). Например, он может пожелать сделать темные подвалы немного более светлыми, или, возможно, еще более темными, поскольку он хочет подчеркнуть возможности рендеризации темного выше среднего своего дисплея. Или ему может быть нужен более или, напротив, менее насыщенный вид, чем в среднем. Или он может обрабатывать цвет для других аппаратных особенностей дисплея, или предпочтений поставщика, например, вида цветов, типичного для поставщика, и т.д. В прошлом, которое бвло бы сделано полностью слепым на принятом изображении после его анализа телевизором, или просто с фиксированными функциями, которые всегда дают приемлемый результат, например, увеличенной насыщенности, независимо от мнения создателя о том, как одна и та же изображаемая сцена должна изменяются между различными сценариями рендеризации (поэтому цвета могут становиться перенасыщенными вместо приятно пастельных), но, согласно нашему настоящему подходу, дополнительная обработка производителя устройства может быть скоординирована с тем, что художественный создатель думает о сцене (кодированной в его цветовых преобразованиях для перехода из вида, кодированного в передаваемом изображении первого вида, например, HDR 5000 нит, во второй опорный вид, например, традиционный LDR 100 нит). И, в частности, из этой функциональной повторной спецификации по меньшей мере еще одной градуировки сцены HDR динамического диапазона, производитель устройства (например, изготовитель TV) располагает гораздо более релевантной семантической информацией, поскольку человек-градуировщик делает свой выбор на основе интеллектуальных особенностей сцены и ее изображения(й), на основании того, какое принимающее устройство может производить более интеллектуальные вычисления оптимальной переградуировки. Существует даже третья сторона, в целом, которая может выдвигать мнение об окончательном виде изображения согласно нашей новой технологии переградуировки вида. Зритель может точно настраивать вид, например, обычно в небольшом объеме (возможно даже с большим шагом, например, изменение до 3 остановок, но затем только на части диапазона яркости, например, 10% самых темных цветов), с помощью пульта 1122 дистанционного управления, если он думает, например, что в данный момент изображение является частично слишком темным, поскольку, его жена читает книгу за ним.

Поэтому наше устройство цветового преобразования опирается, в основном, на то, что указал градуировщик в качестве своих функций цветового преобразования (в метаданных MET, точнее, MET_1, связанных с передаваемыми изображениями Im_in), которые просты в реализации на IC, и которые могут не требовать от градуировщика дополнительной градуировки. Все, что от него требуется в некоторых вариантах осуществления, это (быстро) проверить, хорошо ли выглядит такое настроенное под дисплей MDR видео, например, научно-популярный фильм с выжженными солнцем яркими планетами, или телевизионное шоу с различными световыми эффектами, на дисплее промежуточной пиковой светлоты, выбранном градуировщиком, например, 1000 нит, который является хорошим промежуточным (MDR) дисплеем для кодирования 5000HDR/100LDR, поскольку он примерно на 2 остановки ниже 5000 и примерно на 3 остановки выше LDR, и даже можно обойтись без этой проверки, если градуировщик ориентируется только на принимающую сторону для дополнительной настройки своего естественного вида (т.е. просто указывает свои цветовые преобразования для градуировки только одного дополнительного опорного вида помимо своего эталонного основного вида, например LDR 100 нит, и затем все дальнейшие повторные градуировки осуществляются производителем приспособления, например, программного обеспечения улучшения цвета, выполняющегося на компьютере, и т.д.).

В случае осуществления некоторой проверки или более или менее конкретного указания, как предпочтительно должна происходить переградуировка на принимающей стороне, градуировщик принимает способ оптимизации дополнительной градуировки выбранный им в данный момент (или автоматический совет), который дает приятные изображения MDR, например, сохраняя функции цветового преобразования и основное изображение на диске blu-ray или промежуточном сервере для передачи в дальнейшем потребителям, совместно с любой информацией, необходимой для применения на принимающей стороне способа оптимизации градуировки, настроенного на конкретный подключаемый дисплей (что в более простых вариантах осуществления будут только функциями для градуировки второго изображения из основного изображения т.е. данными для вычисления общего мультипликативного коэффициента (g) или соответствующей функцией картирования яркости TMF, но в более усовершенствованных вариантах осуществления будут дополнительными параметрами, указывающими более точные стратегии оптимизации). Затем принимающая сторона может самостоятельно определять третью градуировку, например, для пиковой светлоты 1250 нит, и, например, когда устройство цветового преобразования подключено к профессиональному серверу подачи видео через интернет, сохранять это(и) третье(и) градуированное(ые) изображение(я) для потребителя или группы или класса потребителей, когда это необходимо.

Устройство цветового преобразования получает значение пиковой светлоты PB_D для дисплея, на который поступает оптимизированные изображения MDR, например, если подключен только один дисплей (например, устройство встроено в телевизор) PB_D может быть фиксированным числом, хранящимся в части памяти некоторой IC. Если устройство является, например, STB, оно может запрашивать PB_D у подключенного TV. Затем устройство цветового преобразования оценивает, как этот PB_D соотносится с пиковыми светлотами, соответствующими двум градуированным изображениям HDR и LDR, т.е. PB соответствующих опорных дисплеев для которых эти градуировки были созданы, чтобы выглядеть оптимально. Это соотношение можно, например, вычислять как логарифмическое отношение gp или, эквивалентно, относительную разность. Это отношение используется для получения оптимальной хорошо выглядящей стратегии промежуточной (полу)автоматический переградуировки. Поэтому принципы нашего изобретения можно применять только на пути преобразования яркости или только на пути обработки насыщенности цвета, или на обоих, путем применения одного и того же надлежащего зависящего от дисплея принципа регулировки дважды, но с разными спецификациями цветового преобразования, в зависимости от того, какая ситуация или какой градуировщик требуется для любого изображения или видео HDR.

Преимущественно, устройство (201) цветового преобразования содержит вход (117) данных дисплея, выполненный с возможностью приема пиковой светлоты дисплея (PB_D) от подключенного дисплея, что позволят ему определять правильную градуировку для любого имеющегося и/или подключенного дисплея на принимающей стороне, потенциально, производя вычисления в оперативном режиме при просмотре видео. Этот вариант осуществления также может располагаться внутри самого дисплея, например телевизора, благодаря чему, этот дисплей может определять свою собственную оптимизированную градуировку из данных нашего кодирования HDR (например, PB_D, хранящегося в памяти). Таким образом, наша технология кодирования HDR фактически кодирует связку видов на сцене HDR, которые могут быть связаны, например, с тем, как многовидовая система может кодировать различные по-разному ориентированные виды на сцене, но теперь в цветовом пространстве различия выглядят очень по-разному. Альтернативные варианты осуществления могут располагаться, например, на профессиональных видеосерверах, которые заранее вычисляют несколько градуировок для различных типов дисплея с пиковой светлотой, близкой к значениям конкретного класса PB_D, для дальнейшей подачи потребителю или точной настройки их вида дополнительными градуировщиками цвета и т.д.

Варианты осуществления могу определять дополнительные переменные настройки дисплея, например, устройство (201) цветового преобразования может дополнительно содержать блок (1304) определения направления, выполненный с возможностью определения направления (DIR) относительно оси яркости входных цветов, и иметь блок (200) определения масштабного коэффициента, содержащий блок (1312) направленной интерполяции, выполненный с возможностью определения яркости для пикселя выходного изображения (IM_MDR) из яркости пикселя входного изображения (Im_in) путем позиционирования метрики в направлении (DIR). В качестве одного полезного примера, наша технология может интерполировать в горизонтальном направлении, т.е. определять на карте преобразования яркости, какая выходная яркость соответствует входной яркости на оси x. Наше дополнительное исследование показало, что может быть полезно вращать направление интерполяции для определения, где должен располагаться промежуточный MDR, соответствующий PB_D, и как нужно обрабатывать цвет, поскольку различные преобразования яркости имеют различные определение и поведение, и такая разная настройка может создавать, например, более светлый вид в по меньшей мере некотором поддиапазоне яркостей (например, некоторые функции можно задать узлами между сегментами, отличающимися поведением преобразования яркости, например, растяжением темно-серых, с фиксированным входным положением яркости, и затем направленная интерполяция может изменять это). В частности, было установлено, что положение под углом 135 градусов от оси входной яркости является интересным положением, поскольку затем осуществляется ортогональная настройка относительно тождественного преобразования, и затем, например, экстраполяции могут первоначально задаваться как, по большей части, симметрично отраженные относительно этой диагонали). Мы покажем ниже, как развертывать метрику в этом направлении DIR, и специалист в данной области техники должен понять, как из этого можно выводить математические уравнения, делая геометрию.

Опять же, это направление может, например, определяться устройством принимающей стороны самостоятельно, например, на основании своей классификации типа изображения HDR, или может передаваться как указатель направления COD_DIR от стороны создания контента. Мы покажем преимущественный вариант осуществления, который может производить вычисления путем применения поворота карты, содержащей функцию преобразования яркости, осуществляемого блоком 1312 направленной интерполяции.

Затем блок (1311) определения общего множителя будет преобразовывать необходимое цветовое преобразование для получения вида MDR в различных необходимых коэффициентах gt для умножения входных цветов.

Преимущественно, устройство (201) цветового преобразования имеет блок (200) определения масштабного коэффициента, дополнительно выполненный с возможностью получения параметра (gpr; gpm) настройки из вторых данных (MET_2) спецификации цветовой обработки, и выполнен с возможностью вычисления результирующего общего мультипликативного коэффициента (gt), соответствующего другому положению на метрике, чем положение пиковой светлоты (PB_D) дисплея, причем другое положение основано на значении параметра настройки. Как сказано выше, метрика определяет, что будет, по большей части, приемлемым видом MDR, если он не принимает ничего, кроме, например, создателя контента или дополнительного анализа изображения и универсального ноу-хау HDR, зависящего от поставщика, т.е. когда вид MDR уже, по большей части, хорош для многих разновидностей сцены HDR, именно потому, что он уже оптимально определен на основе принятых функций цветового преобразования (например, пользовательской кривой CC), которые определяют, как должны изменяться различные градуировки сцены HDR по меньшей мере от концевой точки первого диапазона PB (например, PB_H) ко второму (PB_IM2, например, чем PB_L). Однако может требоваться более быстрое, более агрессивное изменение к виду LDR для некоторых изображений, или даже некоторых частей некоторых изображений, соответствующих некоторой разновидности участков или объектов, например, темных подвалов, и менее агрессивное, чем ʺсреднееʺ (как определено лишь с использованием метрики и направления) изменение в зависимости от отклонения PB_D от PB_IM1 для других ситуаций. Градуировщик должен указывать это максимально простым способом. В простейших вариантах осуществления нашей технологии градуировщик может использовать один-единственный параметр (gpr) для указания, насколько ближе должна лежать подлежащая использованию точка M_PB_U, соответствующая точке вычисления MDR, например, к PB_H на метрике, чем при вычислении ʺвслепуюʺ устройством принимающей стороны путем размещения PB_D на метрике.

Например, в некоторых вариантах осуществления блок (200) определения масштабного коэффициента выполнен с возможностью определения другого положения путем применения монотонной функции, дающей на выходе нормализованное положение на метрике как функцию по меньшей мере одного входного параметра (gpr), лежащего между минимумом, например, отрицательным mn_gpr для экстраполяции или 0 и максимумом (mx_gpr), и, конечно, в зависимости также от некоторого входного значения, соотнесенного с ситуацией дисплея т.е. PB_D (gpr может быть, например, мерой кривизны кривой, изгибающейся вокруг линейной, как показано на фиг. 15, и т.д.). В случае прямого определения позиция на метрике, входным значением может быть сам PB_D, или может быть некоторая функция этого PB_D, например, используемая метрика. Это значение gpr может устанавливаться градуировщиком, например, с помощью ручки 1510, или вычисляться посредством анализа изображения на основе искусственного интеллекта на принимающей стороне. Поскольку можно формулировать изменение (по меньшей мере для интерполяции, и это, соответственно, можно адаптировать, когда требуется экстраполяция), необходимое для получения вида MDR, как цветовое преобразование, которое является тождественным при теоретическом вычислении градуировки HDR, или, в целом, принятую основную градуировку, из него самого, и другую границу диапазона, т.е., например, вид LDR 100 нит можно получить путем применения передаваемого преобразования яркости (т.е. ʺполностьюʺ), можно рассматривать это как применение мультипликативного изменения, от полного отсутствия, т.е. умножения на 1,0, до полномасштабного, т.е. умножения на g, соответствующий принятым метаданным, для вычисления вида LDR из принятого изображения HDR. Отсюда, для любого фактического значения множителя для различных входных яркостей, можно задавать непрерывную функцию наподобие представленной на фиг. 15, которая применяет цветовое преобразование в полном объеме (m_MT_norm=1) или совсем не применяет, или применяет ограниченно, в зависимости от входа, характеризующего сценарий отображения, и по меньшей мере одного значения gpr, характеризующего желаемую разновидность переградуировки.

При рассмотрении варианта осуществления устройства (201) цветового преобразования, в котором блок (200) определения масштабного коэффициента использует логарифмическую метрику и вычисляет коэффициент gt возводя значение g в степень вычисленного отношения коррекции, квалифицированный читатель может понять, что может быть выгодно скорректировать это отношение. Это можно делать прагматически, получая параметр (gpm) настройки, например, из данных спецификации цветовой обработки (MET), и затем вычисляя настроенное степенное значение (gpp), которое является отношением (gp), полученным путем вычисления логарифмической метрики того, чему соответствует PB_D, возведенным в степень параметра (gpm) настройки, с последующим вычислением дополнительно настроенной версии общего мультипликативного коэффициента (gtu), который является начальным общим мультипликативным коэффициентом (g), возведенным в степень, равную настроенному степенному значению (gpp), причем gtu будет использоваться как обычно масштабирующим умножителем (114) для умножения (например) на входные цвета линейного RGB. Можно ничего не говорить, но мы скажем для полного пояснения квалифицированному читателю, что хотя это степенное значение gpm выглядит как значение гамма, оно не имеет никакого отношения к гаммам, известным из дисплеев, или из общего осветления изображение, поскольку теперь это параметр управления для агрессивности необходимой настройки на другой градуированный вид для некоторого необходимого цвета изображения MDR, соответствующего некоторому PB_D, в зависимости от особенностей сцены HDR и, например, типа художественных оптимизаций, которые были необходимы для получения приемлемой градуировки LDR. Факт состоит только в том, что степенная функция является прагматичным инструментом для построения поведения типа, например, поясненного на фиг. 15, и тот факт, что некоторые математические функции являются универсально развертываемыми, является лишь математическим совпадением.

Предпочтительно, мы также предлагаем техническое решение, позволяющее создателю контента дополнительно определять, как будут выглядеть промежуточные градуировки. С одной стороны, мы представили в качестве решения ограничение, что градуировщик не должен чрезмерно утруждаться дополнительной градуировкой, поскольку градуировка занимает много времени, и, например, некоторые этапы создания могут уже выходить за рамки бюджета до завершающего этапа создания, и градуировщик уже потратил значительное время на создание эталонной градуировки HDR (однако, если кому-нибудь трудно увидеть это на своем фактическом дисплее, имеет смысл не полностью игнорировать проблемы окончательной рендеризации), и затем связанный с ней вид LDR (или вид LDR, например, из киноверсии, и затем соответствующий вид HDR для просмотра телевизора с HDR, или другие альтернативы последовательности операций). С другой стороны, даже столкнувшись с некоторыми трудностями в градуировках на любой стороне диапазона необходимых промежуточных градуировок для различных значений PB_D (опять же, заметим, что это изобретение и его варианты осуществления не ограничивается этим типичным сценарием пояснения, поскольку технологии также могут работать, например, для градуировки в сторону повышения от эталонной градуировки 5000 нит, например, до 20000 нит, начиная с теми же функциями для понижения и надлежащего их изменения, или с дополнительными функциями для обновления, передаваемыми в метаданных, и т.д.), т.е. уже имея градуировку HDR и LDR, определение промежуточных градуировок можно упростить. Однако на первый взгляд и в целом, определение промежуточной градуировки все же может быть относительно сложным, в частности, при наличии больших количества остановок между пиковой светлотой градуировки MDR и исходной градуировки на любом конце, LDR и HDR. Поэтому, в идеале, градуировщик должен полностью создавать третью градуировку MDR, или по меньшей мере достаточно полностью, что можно делать согласно нашим более усовершенствованным вариантам осуществления. Однако мы предлагаем несколько простых решений, которые можно использовать вместо, только или при необходимости с небольшой дополнительной точной настройкой, например, части глобального картирования яркости для генерации промежуточного градуированного изображения (или в качестве посткоррекции изображения, полученного в результате вышеописанного способа оптимизации с помощью дополнительной функции), или локальной точной настройки некоторого объекта, который является критичным и который непросто правильно градуировать нашими простыми вариантами осуществления, и т.д.

В этом варианте осуществления, градуировщик может быстро создавать промежуточные MDR, указывая только один дополнительный параметр настройки gpm или gpr, который также передается в метаданных MET, и указывает, насколько промежуточные градуировки будут выглядеть, как градуировка LDR или HDR, или, другими словами, насколько быстро при прохождении через различные промежуточные пиковые светлоты назначенного подключенного дисплея промежуточная градуировка MDR изменяется от вида HDR к виду LDR или наоборот в другом направлении (например, насколько светлым остается конкретный темный объект, когда пиковая светлота дисплея продолжает увеличиваться).

Конечно, помимо 1-параметрической функции точной настройки (для более быстрого или более медленного перехода к другой градуировке при удалении PB_D от начальной точки, например PB_H), можно задавать дополнительные параметры, указывающие как именно должна происходить зависящая от сцены более или менее агрессивная настройка дисплея, например, как с gptt на фиг. 15. В принципе, в нашей технической структуре можно задавать сколь угодно сложные спецификации перехода вида между видами HDR и LDR для различных промежуточных положений PB_D, при отклонения от чисто метрического подхода.

Преимущественно, дополнительный вариант осуществления устройства (201) цветового преобразования имеет блок (200) определения масштабного коэффициента, дополнительно выполненный с возможностью получения по меньшей мере одного значения яркости (Lt), разграничивающего первый диапазон яркостей цветов пикселя (или соответствующих сигналов яркости) входного изображения и второй диапазон яркостей, и при этом блок (200) определения масштабного коэффициента выполнен с возможностью вычисления настроенного общего мультипликативного коэффициента (gtu), т.е. более конкретного определенного варианта осуществления результирующего общего мультипликативного коэффициента gt, для по меньшей мере одного из первого и второго диапазонов яркостей. Под сигналом яркости подразумевается любая кодификация яркости или любой другой меры светлоты пикселя (соотнесенной с длиной цветового вектора), и их значения можно эквивалентно вычислять друг в друга. Например, в некоторых практических вариантах осуществления может быть выгодно делать это значение Lt разграничителем значений, где значение задается как max(R,G,B), т.е. наибольшая из цветовых компонент входного цвета. Таким образом, когда наибольшая цветовая компонента, например, красная, превышает, например, 0,3, цвет классифицируется в первом режиме, иначе во втором режиме.

Согласно этому варианту осуществления градуировщик может выбирать конкретные интересные поддиапазоны диапазона яркости основного изображения (и, следовательно, через цветовое преобразование, также выводимое изображение, например, изображение LDR), и по-разному обрабатывать их. В приведенном выше рассмотрении мы сосредоточились, в основном, на том, насколько быстро следует переходить от градуировки HDR к градуировке LDR (или наоборот, если основное изображение Im_in было изображением LDR), и насколько это технически достижимо в некоторых практических вариантах осуществления даже при наличии одного-единственного параметра управления gpr или gpm. Затем эта адаптация обычно будет осуществляться таким образом для всех цветов пикселя во входном изображении, т.е. независимо от их исходной светлоты, предполагается, что они могут аналогично настраиваться на дисплей, поскольку различие в подходе уже, по большей части, закодировано в форме преобразования яркости для градуировки между исходными видами HDR и LDR градуировщика. Однако могут существовать различные семантические части в сценах HDR, например, яркая одежда в относительно более темных областях базара и светлом внешнем пространстве, наблюдаемом через вход базара, и обычно могут существовать различные оптимизации, предусмотренные для отображения различных частей, например, в относительно малом диапазоне яркости LDR, создавая при этом художественно убедительное изображение. Или же темные участки могут быть очень критичными в ночной сцене, и градуировщик может пожелать оставить их довольно светлыми, поддерживая этот поддиапазон яркостей близким к виду LDR до относительно высоких пиковых светлот, например 800 нит, поддерживая при этом приятную контрастность HDR в верхних участках, например, часть домов, вблизи осветительного столба, или часть пещеры, которая освещена солнечным светом, падающим через трещину в своде, или яркие световые короба с подсветкой, и т.д. Поэтому в нашем более усовершенствованным варианте осуществления, градуировщик может хотеть указать настройку, в частности, насколько агрессивно градуировка MDR переходит к градуировке второго изображения для последовательных шагов PB_D, по-разному для разных частей сцены, в частности, частей изображений с разными яркостями пикселей, и, таким образом, по-прежнему преимущественно иметь механизм, позволяющий градуировщику дополнительно указывать его желаемое управление этим аспектом.

Обычно градуировщик указывает отдельное значение gpm для каждой стороне по меньшей мере одного участка, разграничивающего значение сигнала яркости (Lt), и большее количество значений, если в диапазоне указаны дополнительные участки (например, темные участки, средние участки и светлые участки, и суперсветлые участки). Один из двух участков может использовать значение, принятое по умолчанию, например, gpm=1, что означает использование стратегии нашего первого варианта осуществления, и это означает, что в некоторых вариантах осуществления градуировщику нужно лишь указать одно конкретное значение gpm для одного из двух участков с яркостями на любой стороне Lt. Но он также может указывать и передавать особое значение gpm для обеих сторон: gpm_1 и gpm_2.

Дополнительный вариант осуществления устройства (201) цветового преобразования имеет блок (200) определения масштабного коэффициента, дополнительно выполненный с возможностью определения диапазона сглаживания сигналов яркости, расположенных вокруг по меньшей мере одного значения сигнала яркости (Lt), и выполнен с возможностью интерполяции настроенного общего мультипликативного коэффициента (gtu) между его значением, определенным на любой стороне по меньшей мере одного значения сигнала яркости (Lt). Чтобы гарантировать поведение плавного перехода, который может не требоваться для каждого сценария вычисления сцена HDR и MDR, и без неподходящих яркостей пикселей для любого объекта промежуточных градуировок (которые, в частности, могут быть критичны для некоторых градиентов, например, в небе, или освещенного сферического объекта), этот вариант осуществления позволяет градуировщику указывать переходный участок. Он может указывать интерполяцию в зависимости от того, насколько стратегия интерполяции отличается на любой стороне Lt т.е. насколько gpm_1, например, для низких яркостей, отличается от gpm_2 для высоких яркостей (типичные хорошие значения любого из них могут лежать между 1,5 и 1/1,5), определять, помимо прочего, ширину участка интерполяции в качестве дополнительного параметра I_W, и должен ли он, например, располагаться симметрично вокруг Lt или асимметрично применяться только к яркостям выше Lt (альтернативно, принимающее устройство может самостоятельно определять стратегию интерполяции с использованием особенностей на результирующей(их) кривой(ых), например, что она должна монотонно увеличиваться, или желаемые ограничения на производные в конкретный момент или в течение конкретного интервала, т.е. оно будет предлагать по меньшей мере одну стратегию, удовлетворяющую ограничениям, и т.д.). Также, он может в некоторых вариантах осуществления указывать некоторую желаемую стратегию интерполяции путем передачи функции(й) для вычисления необходимого значения gpm для каждой возможной яркости в основном изображении в метаданных, но, по умолчанию, это будет линейной интерполяцией между значениями gpp, передаваемыми для любой стороны участка интерполяции.

Теперь, на основании некоторых пояснительных вариантов осуществления устройства цветового преобразования, отвечающего принципам нашего изобретения, ниже описаны некоторые дополнительные варианты устройства, в которых может содержатся это устройство вычисления основных цветов, в различных сценариях применения, например, устройства на стороне потребителя, на стороне создателя контента, на сайте компании передачи контента, например, на головной станции кабельной сети или спутнике, или посредством интернет-услуги переградуировки видеозаписей, например, потребителей, например, свадебных или юбилейных видеозаписей, и т.д.

На стороне кодера наши варианты осуществления можно использовать в системе

для создания кодирования изображения высокого динамического диапазона (Im_src), содержащей:

- вход для приема изображения высокого динамического диапазона (Im_src);

- преобразователь (303) изображения, выполненный с возможностью преобразования изображения высокого динамического диапазона (Im_src) в эталонную градуировку (M_XDR) изображения высокого динамического диапазона (Im_src);

- устройство (201) цветового преобразования по любому из вышеперечисленных пунктов устройства цветового преобразования, выполненное с возможностью вычисления, начиная с входных цветов пикселей входного изображения (Im_in), которая является эталонной градуировкой (M_XDR), результирующих цветов пикселей второго градуированного изображения (M_X2DR), путем применения цветового преобразования (TMF; g);

- причем устройство цветового преобразования выполнено с возможностью получения по меньшей мере одного параметра (gpm) и для вычисления с использованием параметра и цветового преобразования второго изображения (IM_MDR), соответствующего пиковой светлоте, которая отличается от пиковой светлоты, соответствующей эталонной градуировке (M_XDR), и пиковой светлоте, соответствующей второму градуированному изображению (M_X2DR);

- блок (310) форматирования сигнала, выполненный с возможностью преобразования второго градуированного изображения (M_X2DR) совместно с эталонной градуировкой (M_XDR) в форматированное изображение высокого динамического диапазона (SF_X2DR), подходящего для хранения и/или передачи изображения и содержащего данные о цвете пикселя эталонной градуировки (M_XDR), метаданные, кодирующие цветовое преобразование, и по меньшей мере один параметр (gpm); и

- выход (320) изображения для вывода форматированного изображения высокого динамического диапазона (SF_X2DR).

Обычно компоненты отражают их на принимающей стороне, но теперь человек-градуировщик (или система автоматической переградуировки на основе искусственного интеллекта) имеет дополнительные технические компоненты для определения, что должен делать приемник, для создания наиболее совершенных промежуточных градуировок согласно желанию градуировщика.

В данном случае, градуировщик обычно начинает с исходного материала HDR (Im_src), например, прямо с камеры HDR, например, камеры красного цвета, или даже системы двух по-разному экспонируемых камер, на которые поступает изображение одной и той же сцены через светоделитель. Градуировщик обычно хочет делать эталонную градуировку HDR этого, как объяснено на примере, приведенном на фиг. 14, он хочет позиционировать яркости различных объектов изображения и их соответствующие коды сигнала яркости, на оси яркости 5000 нит слева на фиг. 14. Он также хочет делать градуировку LDR, соответствующую тому же эталонному виду изображения HDR. Продолжая конкретный пример основного изображения (Im_in), которое фактически передается обычно как сжатое по DCT или не сжатое, которое является изображением HDR, причем в этом сценарии градуированное изображение M_XDR, выводимое из первой градуировки, будет изображением HDR, и затем это изображение HDR будет добавляться к сигналу изображения совместно с метаданным функции цветовой обработки, и записываться, например, на BD или другую физическую память (321), или любое другое средство передачи изображения. В этом сценарии, градуировщик создает из эталонной градуировки HDR по меньшей мере одну функцию картирования яркости (например CC) для получения M_X2DR, которое в этом случае является изображением LDR, т.е. изображением, коды которого будут картироваться в PB_L 100 нит.

Однако у нас также есть версия и соответствующие варианты осуществления настройки дисплея, что мы будем называть режим 2, в котором ʺизображение HDRʺ сцены HDR фактически кодируется как изображение LDR 100 нит. В этом случае M_XDR, полученный путем определения начальной градуировки основного изображения, может быть изображением LDR. И в этом режиме, функции, которые указывает градуировщик (CC и т.д.), будут картировать это изображение LDR в изображение HDR, которые обычно является очень близким, почти идентичным приближением изображения желаемого эталонного вида HDR. В этом режиме 2, Im_in, хранящееся в изображении или видеосигнала S_im, будет изображением LDR, и функции преобразования яркости (и преобразования насыщенности) будут обновлять функции, для вывода на принимающей стороне изображения HDR, и также M_X2DR будет изображением HDR. В любом случае, градуировщик обычно проверяет вид трех изображений, его изображения вида исходного LDR и HDR, и изображение MDR, на трех типичных дисплеях, с надлежащим образом выбранными пиковыми светлотами дисплеев, соответствующими таким изображениям.

Поэтому форматированное изображение высокого динамического диапазона SF_X2DR согласно нашей технологии HDR действительно кодирует вид HDR на сцене, независимо от того, содержит ли он фактически основное изображение HDR или LDR.

Эта система обычно также выводит по меньшей мере один параметр (gpm) настройки.

Одна из различных итерации может применяться, в зависимости от того, хочет ли градуировщик тратить больше или меньше времени. Для передач в реальном времени, градуировщик может, например, только наблюдать, ли виды (для которого градуировка HDR и LDR будет затем обычно также предусматривать несколько операций, например, единое логарифмическое или на основе S-кривой преобразование, установленное на основе характеристик сцены непосредственно до начала шоу для генерации эталонной градуировки, и второе, для получения второй, зависимой градуировки, например LDR из эталонной градуировки HDR) имеют достаточно приемлемое качество на трех опорных дисплеев, и иногда он может грубо оперировать простым поворотным переключателем, который, например, изменяет параметр gpm. Но когда предусмотрено повторное создание эталона в автономном режиме, градуировщик может тратить значительное время для обеспечение кодирования нескольких градуировок, например, 2 дополнительных градуировок MDR между HDR и LDR, и одну на любой стороне (ультра-HDR UHDR и суб-LDR SLDR), и т.д., либо некоторых из них вариантами осуществления настройки дисплея, либо некоторых из них вариантами осуществления совместного кодирования исходного вида изображения динамического диапазона, посредством полных цветовых преобразований в метаданных, и затем настройка дисплея поверх этого для промежуточных положений PB_D между более чем двумя исходными передаваемыми градуировками. Особенно для некоторых более популярных программ, в компаниях-посредниках в цепи передачи изображения, например, компаниях, которые имеют бизнес дополнительной продажи, передачи, оптимизации и т.д. Существующий контент, в действии повторного создания эталона для различных категорий приемников, может существовать дополнительный бюджет градуировки для человека-градуировщика, чтобы тратить больше времени при создании несколько более усовершенствованных сценариев переградуировки, и математических параметров этих различных цветовых преобразований.

Читатель понимает, что все варианты или комбинации устройства также можно реализовать в качестве способов обработки изображений, например, способа вычисления результирующих цветов (R2, G2, B2) пикселей выходного изображения (IM_MDR), которое настраивается для дисплея с пиковой светлотой (PB_D) дисплея, начиная с входных цветов (R,G,B) пикселей входного изображения (Im_in), имеющего максимальный код сигнала яркости, соответствующий пиковой светлоте (PB_IM1) первого изображения, которая отличается от пиковой светлоты (PB_D) дисплея, отличающийся тем, что способ содержит:

- определение цветового преобразования (TMF; g) из данных (MET_1) спецификации цветовой обработки, содержащих по меньшей мере одну функцию (CC) картирования тона, принятую через вход (116) метаданных, причем цветовое преобразование указывает, как яркости пикселей входного изображения (Im_in) должны преобразовываться в яркости пикселей второго изображения (Im_RHDR), имеющего соответствующую его максимальному коду сигнала яркости пиковую светлоту (PB_IM2) второго изображения, которая отличается от пиковой светлоты (PB_D) дисплея и пиковой светлоты (PB_IM1) первого изображения, благодаря чему, частное от деления пиковой светлоты первого изображения на пиковую светлоту второго изображения либо больше 2, либо меньше 1/2;

- определение результирующего общего мультипликативного коэффициента (gt; Ls) посредством, во-первых, установления в направлении (DIR) положения (M_PB_D), которое соответствует значению пиковой светлоты (PB_D) дисплея на установленной метрике (1850), которая картирует пиковые светлоты дисплеев на по меньшей мере функции преобразования яркости, причем метрика начинается в положений функции тождественного преобразования,

и затем вычисления результирующего общего мультипликативного коэффициента (gt; Ls) на основе установленного положения и соответствующей ей по меньшей мере функции преобразования яркости, которая сформулированная как результирующий общий мультипликативный коэффициент (gt; Ls); и

- умножение каждой из трех цветовых компонент цветового представления входных цветов на результирующий общий мультипликативный коэффициент (gt).

Обычно может быть полезно, если способ определяет положение (M_PB_D) также в зависимости от формы преобразования яркости для преобразования входного изображения во втором изображении (IM_HDR), содержащем по меньшей мере одну функцию (CC) картирования тона, принятую через метаданные.

Полезно также, чтобы способ вычисления результирующих цветов пикселей, начинающийся с входных цветов пикселей входного изображения (Im_in), отличался тем, что содержит:

- определение начального общего мультипликативного коэффициента (g) на основании данных спецификации цветовой обработки (MET), принятых через вход (116) метаданных,

- определение результирующего общего мультипликативного коэффициента (gt), путем, прежде всего, вычисления отношения (gp) логарифмов, во-первых, отношения пиковой светлоты дисплея (PB_D) и опорной пиковой светлоты (PB_H), соответствующей входному изображению, и, во-вторых, отношения опорной пиковой светлоты (PB_H) и пиковой светлоты (PB_L), полученного из данных спецификации цветовой обработки (MET) и соответствующего изображению (Im_LDR), что приводит при применении данных спецификации цветовой обработки к цветам пикселя входного изображения, и затем вычисление результирующего общего мультипликативного коэффициента (gt), как начального общего мультипликативного коэффициента (g), возведенного в степень отношения (gp), и

- умножение линейного цветового представления RGB входных цветов, причем мультипликативный коэффициент является результирующим общим мультипликативным коэффициентом (gt).

Полезно также, чтобы способ вычисления результирующих цветов пикселей по п. 7, содержал этап приема пиковой светлоты дисплея (PB_D) от подключенного дисплея.

Полезно также, чтобы способ вычисления результирующих цветов пикселей содержал получение параметра (gpm) настройки из данных спецификации цветовой обработки (MET), вычисление настроенного степенного значения (gpp), которое является отношением (gp), возведенным в степень, являющуюся параметром (gpm) настройки, определение настроенного общего мультипликативного коэффициента (gtu), который является начальным общим мультипликативным коэффициентом (g), возведенным в степень, равную настроенному степенному значению (gpp), и умножение линейного цветового представления RGB входных цветов на мультипликативный коэффициент, который является настроенным общим мультипликативным коэффициентом (gtu).

Полезно также, чтобы способ вычисления результирующих цветов пикселей содержал получение по меньшей мере одного значения сигнала яркости (Lt), разграничивающего первый диапазон сигналов яркости цветов пикселя входного изображения и второй диапазон сигналов яркости, и вычисление настроенного общего мультипликативного коэффициента (gtu) для по меньшей мере одного из первого и второго диапазонов сигналов яркости. Затем другой поддиапазон может, например, использовать принятый по умолчанию параметр gt, определенный из отношения логарифмов, указывающего соотношение яркости вышеупомянутых PB_D, PB_H и PB_L для самых широких вариантов осуществления. Некоторые варианты осуществления способа или устройства могут использовать любой из вышеописанных вариантов осуществления, или любой из них выбираемый, в зависимости от текущей ситуации, которые обычно кодируются дополнительными характеризующими кодами в метаданных.

Полезно также, чтобы способ вычисления результирующих цветов пикселей содержал определение переходного диапазона сигналов яркости, расположенных вокруг по меньшей мере одного значения сигнала яркости (Lt), и интерполирование настроенного общего мультипликативного коэффициента (gtu) между его значением, определенным на любой стороне по меньшей мере одного значения сигнала яркости (Lt).

Как очевидно квалифицированному читателю, все варианты осуществления можно реализовать как многие другие варианты, способы, сигналы, передаваемые по сетевым соединениям или хранящиеся в некотором продукте памяти, компьютерных программах, и в различных комбинациях и модификациях и т.д.

Например, в некоторых вариантах осуществления, сторона создания контента может управлять тем, как любой дисплей принимающей стороны должен рендеризовать (промежуточные) виды на основе того, как градуировщик определяет, как должны выглядеть различные градуировки динамического диапазона, путем передачи этого в качестве кодированного сигнала изображения высокого динамического диапазона (S_im), содержащего:

- данные о цвете пикселя, кодирующие основное изображение, которое является эталонной градуировкой (M_XDR);

- метаданные (MET), содержащие параметры, указывающие цветовые преобразования для вычисления второго градуированного изображения (M_X2DR) из эталонной градуировки (M_XDR),

отличающиеся тем, что кодированный сигнал изображения высокого динамического диапазона (S_im) дополнительно содержит параметр (gpm) настройки, подлежащий использованию для вычисления результирующих цветов пикселей, начиная с входных цветов пикселей эталонной градуировки (M_XDR) путем:

- определения начального общего мультипликативного коэффициента (g) на основании цветовых преобразований;

- вычисления отношения (gp) логарифмов, во-первых, отношения пиковой светлоты дисплея (PB_D) и опорной пиковой светлоты (PB_H), соответствующей входному изображению, и, во-вторых, отношения опорной пиковой светлоты (PB_H) и пиковой светлоты (PB_L), полученного из метаданных (MET) и соответствующего изображению (Im_LDR), что приводит, при применении данных спецификации цветовой обработки, к цветам пикселя входного изображения;

- вычисления настроенного степенного значения (gpp), которое является отношением (gp), возведенным в степень, являющуюся параметром (gpm) настройки;

- определения настроенного общего мультипликативного коэффициента (gtu), который является начальным общим мультипликативным коэффициентом (g), возведенным в степень, равную настроенному степенному значению (gpp); и

- умножения линейного цветового представления RGB входных цветов эталонной градуировки (M_XDR) на мультипликативный коэффициент, который является настроенным общим мультипликативным коэффициентом (gtu). Этот сигнал может содержать дополнительное указание метаданных, позволяющее любому устройству принимающей стороны применить любой из наших вариантов осуществления, например, один или более разграничителей яркости Lt и т.д.

Полезна также система для создания кодирования изображения высокого динамического диапазона, содержащая пользовательский интерфейс (330), позволяющий человеку-градуировщику указывать упомянутый по меньшей мере один параметр (gpm), и выход (311) изображения для подключения дисплея (313), имеющего пиковую светлоту (PB_D) дисплея.

Полезна также система (1130) для определения цветов, подлежащих рендеризации, содержащая устройство (201) цветового преобразования и пользовательский интерфейс (1120) для ввода по меньшей мере одного пользовательского параметра, который изменяет по меньшей мере одно из метрики, параметра (gpr; gpm) настройки и пиковой светлоты (PB_D) дисплея, подлежащих использованию устройством цветового преобразования.

Полезен также способ вычисления результирующих цветов (R2, G2, B2) пикселей выходного изображения (IM_MDR) для дисплея с пиковой светлотой (PB_D) дисплея, начиная с линейных трех компонентов входных цветов (R,G,B) пикселей входного изображения (Im_in), имеющего максимальный код сигнала яркости, соответствующий пиковой светлоте (PB_IM1) первого изображения, которая отличается от пиковой светлоты дисплея, содержащий:

- определение цветового преобразования (TMF; g) из данных (MET_1) спецификации цветовой обработки, которые содержат по меньшей мере одну функцию (CC) картирования тона для по меньшей мере диапазона яркостей пикселей, причем цветовое преобразование указывает вычисление по меньшей мере некоторых цветов пикселя изображения (IM_GRAD_LXDR), имеющего соответствующую его максимальному коду сигнала яркости пиковую светлоту (PB_IM2) второго изображения, которая отличается от пиковой светлоты (PB_D) дисплея и пиковой светлоты (PB_IM1) первого изображения, благодаря чему, частное от деления пиковой светлоты первого изображения на пиковую светлоту второго изображения либо больше 2, либо меньше 1/2;

- определение результирующего общего мультипликативного коэффициента (gt), путем осуществления:

- определения метрики для определения положений пиковых светлот дисплеев между пиковой светлотой (PB_IM1) первого изображения и пиковой светлотой (PB_IM2) второго изображения и вне этого диапазона; и

- определения из пиковой светлоты (PB_D) дисплея метрики и цветового преобразования результирующего общего мультипликативного коэффициента (gt); и

- причем способ дополнительно содержит умножение линейных трех компонентов входных цветов (R,G,B) на результирующий общий мультипликативный коэффициент (gt) для получения результирующих цветов (R2, G2, B2).

Полезно также, чтобы способ дополнительно содержал определение направления (DIR) относительно оси яркости входных цветов (R,G,B), и при этом определение результирующего общего мультипликативного коэффициента (gt) содержит определение яркости для пикселя выходного изображения (IM_MDR) из яркости пикселя входного изображения (Im_in) путем позиционирования метрики в направлении (DIR).

Полезно также, чтобы способ дополнительно содержал получение параметра (gpr; gpm) настройки из вторых данных (MET_2) спецификации цветовой обработки, и вычисление результирующего общего мультипликативного коэффициента (gt), соответствующего другого положения на метрике, чем положение пиковой светлоты (PB_D) дисплея, причем другое положение основано на значении параметра настройки.

Полезно также, чтобы способ содержал получение по меньшей мере одного значения яркости (Lt, Ltr1), разграничивающего первый диапазон яркостей цветов пикселя входного изображения и второй диапазон яркостей, и вычисление результирующего общего мультипликативного коэффициента (gt) для по меньшей мере одного из первого и второго диапазонов яркостей.

Чтобы иметь возможность передавать необходимую информацию от создающей стороны, на которой генерируются художественно надлежащие виды, в любое место использования этих изображений, полезно иметь техническую спецификацию сигнала изображения высокого динамического диапазона (S_im), содержащую:

- данные о цвете пикселя, кодирующие основное изображение, которое является эталонной градуировкой (M_XDR) сцены высокого динамического диапазона;

- метаданные (MET), содержащие параметры, указывающие цветовое преобразование для вычисления второго градуированного изображения (M_X2DR) из эталонной градуировки (M_XDR); отличающиеся тем, что кодированный сигнал изображения высокого динамического диапазона (S_im) дополнительно содержит параметр (gpm) настройки, подлежащий использованию для вычисления результирующих цветов пикселей, начиная с входных цветов пикселей эталонной градуировки (M_XDR), путем определения результирующего общего мультипликативного коэффициента (gt), который определяется на основе цветового преобразования и параметра настройки, и пиковой светлоты (PB_D) дисплея для дисплея, на который поступает изображение, содержащее пиксели, имеющие результирующие цвета.

Этот сигнал может распространяться согласно любой технологии передачи сигнала или располагаться в любом продукте памяти, содержащем данные о цвете пикселя, метаданные (MET) и параметр (gpm) настройки.

В то время как некоторые варианты осуществления позволяют градуировщику в большей или меньшей степени управлять любыми повторными градуировками для любой ситуации рендеризации при том, что обычно по меньшей мере конкретная пиковая светлота дисплея не равна пиковой светлоте опорного дисплея, связанного с передаваемым(и) изображением(ями), другие варианты осуществления (независимо от того, желает ли градуировщик передавать какие-либо спецификации переградуировки, т.е. все кроме своих цветовых преобразований для переградуировки передаваемых изображений в еще один вид динамического диапазона, передаваемый только параметрически, например, LDR из HDR) позволяют принимающему устройству самому дополнительно переградуировать вид для назначенной характеристики рендеризации, например, дисплея MDR 1500 нит, в частности, посредством варианта осуществления устройства (201) цветового преобразования, содержащего блок (1110) анализа изображения, выполненный с возможностью анализа цветов объектов во входном изображении (Im_in), и определения из него значения для по меньшей мере одного параметра настройки (gpm или gpr и т.д.), или пиковой светлоты дисплея (PB_D), подлежащей использованию при вычислении результирующего общего мультипликативного коэффициента (gt), или метрики, или направления, или любого параметра или комбинации параметров согласно любому из наших вариантов осуществления, допускающих указание окончательного мультипликативного параметра g_fin для получения цветов окончательного переградуированного изображения (R,G,B)_radj.

В частности, также может быть полезно, чтобы устройство позволяло конечному зрителю (например, смотрящему телевизор дома) самостоятельно оказывать влияние на вид, например, повторно задавая параметр gpr, например, сообщая ему малое смещение в любом направлении, например gpr_v=gpr+k*0,1, где k выбрано из {-3, -2, …., 3}, или, в целом, gpr+k*N, где N - размер малого шага. Это позволяет несколько изменять вид, но в координации с тем, что градуировщик контента указал как релевантное для этой сцены при ее переградуировке, т.е. в соответствии со своими функциями цветового преобразования HDR-LDR, которые он передал в метаданных, соответствующих (видео) изображению(ям).

Любая технология способа или устройство может быть реализована в программном обеспечении, реализующем изобретение посредством всех соответствующих необходимых этапов, закодированных в программном обеспечении для предписания процессору осуществлять их, причем программное обеспечение хранится в некоторой памяти и загружается из нее.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты способа и устройства согласно изобретению понятны из и будут пояснены со ссылкой на реализации и варианты осуществления, описанные ниже, и со ссылкой на прилагаемые чертежи, которые, как понято читателю, служат лишь неограничительными конкретными иллюстративными примерами более общих принципов, которые можно реализовать иначе, и где штрихи используются для указания того, что компонента является необязательной, компоненты без штрихов не обязательно являются важными. Штрихи также могут быть использованы для указания, что элементы, которые, согласно объяснению, важны, скрыты внутри объекта, или для нематериальных вещей, например, выделений объектов/участков (и как они могут быть показаны на дисплее). Квалифицированному читателю должно быть ясно, что с учетом сложности предмета и различных альтернативных реализаций, которые можно сделать, мы для краткости принципов показали некоторые компоненты только в некоторых изображениях, но что эти компоненты можно, с необходимыми поправками, добавлять и к другим различным вариантам осуществления. Также должно быть ясно, что некоторые фигуры описывают аспекты вариантов осуществления на любом более высоком уровне абстракции, например, на уровне технической структуры.

На чертежах:

фиг. 1 схематически демонстрирует иллюстративное устройство для создания вторичной (исходный вид от создателя, указывающий, как должна выглядеть сцена, рендеризуемая на опорном дисплее, согласующемся с некоторыми конкретными возможностями, например, конкретной пиковой светлотой) градуировкой другого динамического диапазона из входной эталонной градуировки (которая, для простоты понимания может быть, например, эталонной градуировкой HDR), которую заявитель хочет улучшить дополнительными техническими компонентами в этой заявке, для облегчения создания дополнительных градуировок, т.е. правильных видов для других динамических диапазонов;

фиг. 2 схематически демонстрирует иллюстративную базовую вычислительную часть, позволяющую создавать по меньшей мере одну дополнительную градуировку (которую мы будем называть градуировкой MDR), из информации, указывающей две начальные градуировки, которые могут приниматься через некоторое средство передачи изображения от стороны создания контента или создаваемой на той же стороне, по меньшей мере одна из которых является градуировкой HDR;

фиг. 3 схематически демонстрирует такую вычислительную систему для вычисления дополнительной градуировки при реализации в иллюстративной системе для пояснения некоторых аспектов нашего изобретения, причем система позволяет градуировщику указывать такие по меньшей мере три градуировки и кодировать информацию для них, позволяя реконструировать три градуировки на принимающей стороне, например, телевизором или компьютерной системой потребителя;

фиг. 4 схематически демонстрирует результаты использования простого варианта осуществления для создания трех иллюстративных промежуточных градуировок (между исходной градуировкой LDR и градуировкой HDR, созданной градуировщиком цвета создателя контента), представленных как кривые (относительного, т.е. нормализованного к 1,0) картирования яркости для картирования входной яркости Y_HDR градуировки HDR к выходной яркости Y_L для желаемой третьей градуировки MDR, на основании кривой картирования яркости для генерирования второй градуировки из эталонной градуировки, причем вторая градуировка в этом примере является градуировкой LDR для дисплея 100 нит;

фиг. 5 схематически демонстрирует более усовершенствованный вариант осуществления, позволяющий дополнительно настраивать формы кривых промежуточной градуировки, в частности, соответствуют ли они характеристике распределения яркости вдоль оси рендеризуемых яркостей ближе к градуировке HDR, или ближе к градуировке LDR;

фиг. 6 схематически демонстрирует еще более сложный вариант осуществления, позволяющий более точно представлять кривые в по меньшей мере двух подобластях яркости, т.е. позволяющие по-разному указывать поведение переградуировки в зависимости от яркости объектов, для которых следует вычислять изображение оптимального вида MDR;

фиг. 7 схематически демонстрирует, как наши варианты осуществления могут делать третью градуировку для любого назначенного, например, подключаемого дисплея с видом конкретной пиковой светлоты ближе к HDR, или ближе к градуировке LDR по меньшей мере в некотором поддиапазоне яркостей;

фиг. 8 схематически демонстрирует, как варианты осуществления также могут находить надлежащую промежуточную насыщенность цвета цветов пикселя градуировки MDR для дисплея промежуточной пиковой светлоты, начиная с входного градуированного изображения (в дополнение к яркости цветов пикселя нужно поддерживать хроматичности в точности одинаковыми для всех видов, но в некоторых вариантах осуществления будет лучше настраивать также по меньшей мере насыщенность цвета, обычно оставляя оттенки неизменными);

фиг. 9 схематически демонстрирует другой пример применения наших вариантов осуществления к конкретному соотношению видов как картирование тона между HDR и LDR, как указано градуировщиком;

фиг. 10 схематически демонстрирует другой пример, возможный с нашими вариантами осуществления конкретной переградуировки для нескольких дисплеев с промежуточной пиковой светлотой, который объединяет быстрый переход к виду LDR для первого участка пикселей с яркостями в первом поддиапазоне яркости и более плавное изменение для второго участка пикселей с яркостями во втором поддиапазоне яркости;

фиг. 11 схематически демонстрирует лишь в качестве пояснительного примера некоторых возможных применений настоящих технологий некоторые возможные варианты осуществления приемников, которые способны определять свои собственные желаемые спецификации переградуировки согласно нашим принципам (и, в частности, эта фигура также демонстрирует, как в некоторых из этих устройств пользователь принимающей стороны может влиять на вид по меньшей мере одного изображения MDR для по меньшей мере одного предполагаемого сценария рендеризации);

фиг. 12 схематически демонстрирует иллюстративную обработку для быстрой настройки грубых контрастностей переградуированного вида;

фиг. 13 схематически демонстрирует на уровне высокоуровневой компоненты, что будет содержать типичное устройство настройки дисплея для вывода изображения MDR;

фиг. 14 демонстрирует пример возможной сцены HDR, например, фильма, для пояснения читателю некоторых необходимых основных принципов нашей технической цепи HDR и решения проблем;

фиг. 15 демонстрирует один возможный вариант осуществления того, как можно дополнительно влиять на вид вычисленных изображений MDR, например человек-градуировщик цвета от стороны создания контента, т.е. обычно за некоторое время до фактического просмотра изображения(ий);

фиг. 16 поясняет в порядке примера, как мы можем в нашей структуре видеть необходимую цветовую обработку в качестве мультипликативной математической формулировки;

фиг. 17 демонстрирует пояснение возможностей (например, желаний градуировщика цвета создать художественно градуированный контент для изображения(й) сцены HDR), которые могут существовать для создания переградуированных или настроенных под дисплей изображений MDR по-разному, например, согласно особенностям сцены HDR;

фиг. 18 демонстрирует тот же пример, но теперь в математической системе координат, соответствующей градуировке LDR видов принятых изображений HDR и LDR на сцене HDR, и в этом примере показывающей возможное определение направленной функции преобразования яркости MDR;

фиг. 19 демонстрирует, соответственно, как такие конкретные варианты осуществления вывод MDR можно формулировать на поворотной шкале, и поясняет наступающие технические последствия и решения, принятые изобретателем;

фиг. 20 поясняет, как можно видеть смысловое значение одной возможной метрики, которую можно использовать согласно настоящему изобретению;

фиг. 21 поясняет, как можно учитывать в процессе генерации MDR параметры функций цветовой обработкой HDR в LDR или LDR в HDR, которые задаются параметрически, и как можно вслепую или целенаправленно изменять эти параметры в случае необходимости, например, положения конкретных точек разграничения яркости, и как осуществляется последующее вычисление цветов MDR в такой технической формулировке;

фиг. 22 демонстрирует другую возможность для указания колориметрического поведения генерации вида MDR, например, градуировщиком цвета, который может передавать эту информацию в любое или несколько мест приема;

фиг. 23 - график, показывающий, как можно масштабировать между нормализованными представлениями с опорной 1,0 относительной яркостью в разные значения абсолютной яркости (обычно PB_D дисплея, для которого нужно вычислить переградуировку);

фиг. 24 демонстрирует пояснение, как можно преобразовывать некоторые из наших вариантов осуществления в эквивалентные другие варианты осуществления, дающие одни и те же выходные цвета;

фиг. 25 схематически демонстрирует иллюстративный вариант осуществления, к которому дисплей адаптируется при получении изображения SDR в качестве входа на основании сигнала яркости Y'i цветов пикселя этого входного изображения с помощью вычислений в нелинейном цветовом представлении, где другие варианты осуществления показывают, что также можно осуществлять вычисления в линейных цветовых представлениях RGB;

фиг. 26 схематически демонстрирует дополнительный вариант осуществления при включении нашей технологии в систему такой конструкции;

фиг. 27 схематически демонстрирует другой дополнительный вариант осуществления при включении нашей технологии в систему такой конструкции;

фиг. 28 схематически демонстрирует другой дополнительный вариант осуществления при включении нашей технологии в систему такой конструкции;

фиг. 29 схематически демонстрирует типичную цепь системы передачи изображения или видео HDR с кодером, средой передачи, например, телевизионным кабелем или интернетом, и декодером, в котором можно использовать и интегрировать наши варианты осуществления;

фиг. 30 схематически поясняет, что настройка дисплея может по-разному объединяться с декодированием, что, например, полезно, когда сложная стратегия переградуировки вычисляется другим подключенным извне блоком;

фиг. 31 демонстрирует модель вычисления, которую, например, блок, внешний к базовому декодеру, может использовать для вычисления функций для загрузки в блоки базового декодера HDR;

фиг. 32 схематически поясняет, как можно настраивать при переходе от первого представления сигнала яркости ко второму в варианте осуществления двойной грубой-точной переградуировки;

фиг. 33 схематически поясняет некоторые основные принципы возможной настройки для систем, которые могут рендеризовать участки очень глубокого черного цвета;

фиг. 34 схематически поясняет один типичный пример для осветления вида/градуировки, например, под влиянием средства ввода пользовательского интерфейса, чтобы зритель передавал свои предпочтения, касающиеся светлоты или четкости рендеризованного(ых) изображения(й);

фиг. 35 схематически поясняет некоторые желаемые настройки дисплея, т.е. картирование различных яркостей объекта/участка сцены в положения и диапазоны на оси яркости MDR, при наличии континуума имеющихся дисплеев со всевозможными значениями PB_D;

фиг. 36 схематически поясняет другой пример другой сцены с топологически другим желаемым поведением как картируются все участки для наборов возможных дисплеев с различными значениями PB_D;

фиг. 37 схематически поясняет некоторые возможности внешнего блока для определения формы желаемой функции переградуировки яркости/цвета, например, в отношении поведения самых темных или наиболее светлых возможных пикселей в изображении(ях);

фиг. 38 схематически демонстрирует способ настройки, который поддерживает вид MDR, более близкий к градуированному виду HDR (т.е. для более высоких яркостей), ценой некоторой минимально допустимой величины отсечения, заранее сконфигурированной в устройстве или вычисленной на основе по меньшей мере свойств изображения;

фиг. 39 схематически поясняет, как устройство может использовать формулировку метрики для этого, что позволяет, помимо прочего, создателям контента передавать желаемое глобальное поведение настройки;

фиг. 40 схематически демонстрирует другой практический вариант осуществления настройки;

фиг. 41 схематически поясняет, как типичные способы настройки будут функционировать для обработки не опорного окружающего освещения, т.е. значительно отличного от предполагаемого освещения, для которого было(и) проградуировано(ы) кодированное(ые) изображение(я);

фиг. 42 схематически демонстрирует базовые аспекты технического функционирования нескольких (хотя и не всех) из изложенных ниже вариантов осуществления;

фиг. 43 схематически демонстрирует техническое видение динамического диапазона MDR на основе контента относительно фактического дисплея с динамическим диапазоном MDR, из которого следуют некоторые из наших технических вариантов осуществления; и

фиг. 44 схематически демонстрирует некоторые численные примеры возможного варианта осуществления регулировки уровня черного, в случае, когда изображение(я) HDR передаются как изображение(я) SDR и подлежат расширению на подходящее(ие) изображение(я) MDR более высокого динамического диапазона, чем у изображения(й) SDR.

ПОДРОБНОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

В эпоху кодирования видеосигнала LDR или SDR (SDR это стандартный динамический диапазон, а именно, традиционный кодированный видеосигнал с кодированием пиковой светлоты PB_C =100 нит по определению и ITU-R BT.709 (Rec. 709) EOTF для связывания кодов сигналов яркости с яркостями или нелинейных компонент RGB с линейными), обработка видеосигнала была технически относительно простой. Фактически, не было реального упоминания о кодировании пиковой светлоты (или наиболее светлого белого, который кодек представлял как величину в нитах, которую телевизор или дисплей, рендеризующий изображение, должен делать). Этот принцип не существовал и не требовался, что можно проверять, поскольку это не предписано, например, в NTSC или PAL при кодировании видеосигнала или кодировании цифрового видеосигнала Rec. 709, используемом при кодировании MPEG. Задается цветность (т.е. желтизна) белого (x=0,3127; y=0,3290), но не значение яркости. Дело в том, что в свое время была совершено другая философия, а именно, парадигма относительной рендеризации, которая предусматривает, что максимальный код (например R=G=B=255) рендеризуется на любой пиковой светлоте дисплея PB_D, которую дисплей может генерировать. Если бы вы купили TV 80 нит, вы бы имели несколько более тусклые изображения с белым 80 нит, и если бы вы купили современный дисплей PB_D 200 нит, вы бы увидели те же самые белые участки более светлыми. Это фактически не говорит о том, какая белая область точно кодировалась в эту эпоху SDR, поскольку, с одной стороны, человеческое зрение является в высокой степени относительным (поэтому при условии, что существуют цвета, более желтые, чем выбранный белый, зритель будет видеть их как желтые, а при наличии участков с 18% яркости белого, все, что отображается на TV, будет восприниматься как средний серый), и во-вторых, поскольку не было очень большого различия между дисплеями с PB_D 80 нит и 200 нит. Если белый уже рассматривался с относительным отсутствием технического интереса, черные участки полностью игнорировались (если ничего другого не упомянуто, обычно предполагается, что черный равен нулю или практически нуль, но любой, кто желает вдаваться в детали, понимает, что не только различные дисплеи создают разные черные участки, поскольку, например, в LCD, в отличие от OLED, просачивается часть подсветки через закрытые пиксели, но, что более важно, воспринимаемый черный подвергается влиянию путем освещения окружения наблюдения).

Все это изменилось в эпоху HDR, особенно если есть желание иметь возможность показывать почти все, т.е. изображения высокого динамического диапазона и также в различных ситуациях, например, темном домашнем кинозале в мансарде потребителя или при просмотре в дневное время.

Можно подытожить, что эпоха HDR началась, когда SMPTE ST.2084 HDR EOTF была стандартизована в 2014 г. (заявитель сконструировал аналогичную функцию выделения кода сигнала яркости, которая представлена ниже в ур. 6). Эта очень крутая форма функции позволила кодировать значительно более высокий динамический диапазон яркостей пикселей изображений HDR, т.е. с темными участками, которые гораздо глубже по сравнению с белыми, по сравнению с максимально 1000:1 динамическим диапазоном, который OETF Rec. 709 можно кодировать. Поэтому было разработано прямое кодирование (только) яркостей изображения HDR путем вычисления соответствующих сигналов яркости с этой 2084 EOTF, именуемой HDR10.

Проблема, которую не каждый понимает, но распознается заявителем, однако состоит в абсолютном кодировании. Это означает, что теперь максимальный код (например, в 10 битах R=G=B=2^10-1=1023) связывается яркость, например, 1000 нит. Это означает не только то, что что-либо в сцене свыше 1000 нит не может быть закодировано, пока не будет согласия кодировать ее с характерными яркостями, более низкими, чем 1000 нит, но также и то, что максимальный код всегда должен рендеризоваться на 1000 нит на любом дисплее, а следующий ниже код (например, R=G=B=1000) должен рендеризоваться как фиксированная яркость, определенная формой 2084 EOTF.

Это имеет преимущества и недостатки. Основное преимущество состоит в создании изображения самого по себе, теперь имеется уникальное определение изображения, т.е. которое дисплей должен рендеризовать в качестве яркостей пикселей. До 2014 г. никакой специалист по созданию контента не имел (возможно, неожиданно смотрящий на него с этого момента назад по времени) абсолютно никакой возможности знать, каким было бы изображение, что он создал, т.е. как любой потребитель будет видеть его. После проектирования полностью освещенного зрительного зала и после того, как создатель сделал красиво выглядящее изображение (например, с облаками, которые необходимы для создания некоторой грозовой темноты, которую он проверил на своем опорном мониторе для градуировки цвета создающей стороны), возможно, надо надеяться, если дисплей 100 нит с SDR размещен в этом зале и рендеризует изображение (т.е. соответственно с кодированным белым кодирования пиковой светлоты PB_C, рендеризованной на пиковой светлоте дисплея PB_D), было бы приятно видеть темные тучи, как положено. Но при покупке нового дисплея 1000 нит PB_D с HDR эти темные облака могут выглядеть очень светлыми, возможно даже почти сияющими, безусловно, совершенно другой художественный вид. Однако для 2084 EOTF специалист по созданию контента может построить свои изображения с надлежащими кодами HDR, чтобы абсолютно ни на одном дисплее облака не стали бы более светлыми, чем, например 80 нит.

Однако, несмотря на упрощенность и худшее качество, а теперь как поэтапно доказано недостаточность на рынке, создатели технологии относительной рендеризации не были полностью неправы. По различным вышеупомянутым причинам, касающимся, помимо прочего, человеческого зрения и изменения окружения наблюдения и свойств дисплея, зацикливаться на абсолютной парадигме также неверно и недостаточно. Поэтому необходимо что-то эквивалентное, способное создавать некоторую ʺотносительностьʺ и надлежащим образом при необходимости (и как прагматически реализуемое с учетом всех имеющихся практических ограничений, например, сложности IC, или доступного времени у специалиста), что состоит в том, что заявитель разработал в качестве настройки дисплея. Ниже будут описаны различные варианты осуществления и компоненты, по которым специалист в области техники должен легко понять из нашего способа демонстрирования, что только иллюстративные компоненты легко дополнить или повторно объединить с другими описанными вариантами или эквивалентами.

До разделения на глубокие технические детали различных вариантов осуществления читатель может сначала захотеть ознакомиться с техническим (и художественным) намерением, лежащим в основе настоящих принципов, чтобы убедиться, что он хорошо понимает различия между только кодированием изображения и стратегией оптимизации дисплея, совместно построенной на технологии кодирования HDR.

Для этого можно начинать с изучения фиг. 14 и приведенного ниже текста, и обдумывания того факта, что, если некоторый создатель контента предпринял усилия для создания только двух оптимально градуированных изображений для двух разных дисплеев (например, 5000 нит, соответственно, 100 нит PB_D), как можно вывести оптимальное изображение, например, для дисплея PB_D 700 нит или 1800 нит, автоматически, поскольку в нескольких применениях нежелательно, чтобы люди-градуировщики тратили слишком много времени на градуировку нескольких версий изображений одной и той же сцены HDR, в частности, если технология кодирования предназначена только для передачи двух разных изображений вида динамического диапазона для любой сцены HDR. Ввиду возможной сложности изображений и художественных желаний это нетривиальная задача, которая нуждается в достаточном объеме технологии, чтобы иметь возможность обрабатывать требования. Только две возможности того, что может потребоваться для оптимально выглядящих изображений в спектре дисплеев с различными возможными PB_D на любой принимающей стороне, проиллюстрированы на фиг. 35 и 36, и что является только требованием при наличии дисплеев с различными PB_D в приемлемо фиксированном окружении наблюдения, но, кроме того, обычно может существовать второй проход к оптимизации, оптимизирующий для характеризуемого имеющегося окружения наблюдения, например, типичного отражения от передней пластины, которая создает переменный минимальный воспринимаемый черный как функцию величины освещения окружающей среды. Эти различные факторы будут детально рассмотрены ниже с различными альтернативными, добавочными или дополнительными компонентами для обработки, которая необходима в системах от более простой (например, немодифицированная камера и мобильный телефон IC) до более профессиональной, но более сложной и дорогостоящей (например, в цепи профессионального кино).

Фиг. 2 демонстрирует примерное пояснение возможного варианта осуществления наших новых устройств цветового преобразования, которые, как предполагается, теперь содержатся в некотором устройстве принимающей стороны (например, телевизоре или компьютере и т.д.). Предполагается, что часть картирования яркости такая же, как на фиг. 1 (хотя, как сказано, принципы также могут формулироваться в различных нелинейных цветовых представлениях), за исключением того, что здесь раскрыт также потенциальный вариант осуществления различных пространственно расположенных отображений в виде карты. Можно передавать и принимать дополнительные метаданные, что делает возможным блок 222 сегментирования для отделения пикселей первого типа от пикселей второго типа. Например, часть неба, наблюдаемая через малое боковое окно, может получать несколько другое картирование яркости, чем то же небо, наблюдаемое через большое основное окно. Т.е. в или вблизи пространственного положения (x,y)_1 пикселей с цветами (Y_sky, u'_sky, v'_sky), т.е. в частности, с яркостями, имеющими значения Y_sky в диапазоне, например, более светлые, чем пороговая яркость, в котором x и y являются пространственными координатами пикселя, и Y - яркость и u' и v' - координаты CIE 1976 uv пикселей синего неба, получает другое преобразование в другое Y_sky_out_2, чем пиксели, имеющие даже одинаковые входные (Y_sky, u_sky, v_sky) цвета, но находящиеся в разных пространственных положениях (x,y)_2. Если блок сегментирования просто классифицирует пиксели и загружает разные параметры картирования для получения начального общего коэффициента усиления в зависимости от того, классифицируются ли пиксели сначала относительно второго идентифицированного участка, остальная обработка может быть идентичной той, которая объяснена со ссылкой фиг. 1 (например, два параллельных вычислительных пути можно использовать с предварительно вычисленными LUT и т.д.). Читателю следует понять, что обработка для получения второго исходного градуированного изображения (например, LDR) из передаваемого изображения (например, HDR), не обязана быть такой же, как локальная обработка для определения настроенного под дисплей изображения MDR, что, конечно, не предполагает, что точные значения функций и параметров могут отличаться, а также логические обоснования, приводящие к формам высокоуровневого преобразования в ударах могут отличаться, но по меньшей мере в случае приема информации в метаданных, что позволяет сегментировать конкретные наборы пикселей обычно в семантически особых объектах изображения, можно также производить настройку дисплея, отдельно адаптированную к этим участкам или объектам, например, усиливать огненный шар быстрее к виду HDR, в случае, когда PB_D дисплея уже допускает рендеризацию некоторых эффектов HDR, т.е. быстрее, чем остальная часть сцены, которая может настраиваться более плавно по различным возможным промежуточным значениям PB_D. Опять же, различные параметры gai, cc и т.д. считываются из метаданных и отправляются на различные блоки для осуществления вычислений цвета (в частности, вычислений изменения яркости), но теперь, например, второй участок получает свою собственную обобщенной формы кривую картирования яркости cc_2, тогда как основной участок (большая часть неба, наблюдаемого через окно, и например все пиксели внутреннего пространства комната) преобразуется согласно кривой CC. PB_H и PB_L преимущественно сохраняются как метаданные, указывающие две градуировки (в частности, что именно означают коды градуировки или, другими словами, для которых созданы опорные условия рендеризации этих градуировок), и также считываются из метаданных и отправляются на блок 200 определения масштабного коэффициента, который выполнен с возможностью вычисления результирующего общего мультипликативного коэффициента (gt) на основании значений PB_L, PB_H и PB_D, откуда бы ни поступало это значение PB_D (например, обычно подключенный дисплей передает свою пиковую светлоту через вход 117 данных). Фиг. 2 поясняет некоторую основную настройку свойств дисплея в соответствии с PB_D, таким образом, что вычисляется другой параметр gt, чем тот, который использовался бы только для декодирования другого из пары изображений HDR/SDR, чем тот, который его фактически передаваемый (в случае передачи сцен изображения HDR HDR, его можно, в принципе, вычислять из него самого с использованием некоторого тождественного преобразования, и изображение SDR можно вычислять путем применения по меньшей мере некоторой функции, которая картирует любую возникающую яркость или сигнал яркости HDR в соответствующую яркость или сигнал яркости SDR согласно предпочтениям создателя контента, и в случае, когда изображение SDR передается как пиксельные данные единственного изображения для любого изображения вида HDR исходной сцены HDR, тождественное преобразование будет отображать в виде карты SDR в SDR, и некоторая оптимально определенная на создающей стороне и переданная функция будет отображать в виде карты HDR соответствующее изображение пары). Хотя мы начинаем пояснение с этой операцией, работающей с цепью подпреобразований (GAM, LG, CC,..), работающих мультипликативно на компонентах линейного RGB через умножитель 114, и функция, фактически вычисляемая путем умножения на gt или gtu, задается делением функции, применяемой к max(R,G,B), которая затем делится на яркость входного пикселя, читателю следует понять, что в соответствии с принципами вариантов осуществления, она может изменяться на этих компонентах. Например, с необходимыми поправками, можно непосредственно масштабировать значения Y'CbCr, или можно использовать единую LUT в части 102, и можно применять эту LUT непосредственно к значениям сигнала яркости входных пикселей, когда они обрабатываются вместо вычисления max(R,G,B). И более релевантно, чем эти изменения в деталях, можно изменять то, насколько сильно следует настраивать вид, каким образом, согласно какой метрике, т.е. как он будет изменяться с возможными значениями PB_D имеющихся дисплеев согласно некоторым конкретным встроенным в устройство или передаваемым желаниям создателей контента или производителей устройств, или даже зрителей при использовании пользовательского интерфейса их STB или TV, и т.д., которые будут свойствами настройки варианта осуществления.

Усовершенствованные варианты осуществления позволяют создателю контента указывать и передавать дополнительный параметр, определяющий оптимизацию градуировки, а именно, параметр (gpm) настройки, который обычно является действительным числом, например, 1,253 (или его кодификацией, например, умножением на 1000 и округлением до ближайшего целого числа, и т.д.). Обычно значения от 0,6 до 1,5 удовлетворяют вариантам осуществления, которые работают на модификации логарифмической метрики путем изменения степени, которая определяет значение gt, как показано ниже, но в целом программное обеспечение градуировщика цвета будет иметь разумные пределы, сверх которых поведение переградуировки становится слишком экстремальным (трудно ожидать, что для дисплея 300 нит потребуется немедленно реализовать вид, т.е. возбуждать его с нормализованными яркостями этого вида, высококачественного изображения HDR, поскольку такой дисплей не может правдоподобно рендеризовать его ток, что градуировщик увидит, например, как слишком темные области, поэтому какие бы практические пределы он ни пожелал выбрать, значения все равно будут высокими).

На фиг. 4 приведен пример очень простого варианта осуществления нашей оптимизации дисплея с изображением HDR. Предположим, нам нужно картировать входные яркости Y_HDR изображения HDR (т.е. основное изображение является градуировкой 1600 нит) в качестве входа в выходные яркости (обозначенные Y_L на этом графике) для любой желаемой градуировки. Например, кривая 405 дает полную стратегию (которая соответствует всем блокам фиг. 1, осуществляющим свое преобразование яркости, т.е. результирующие яркости начинаются с входных яркостей в начале цепи; важно, что причина наличия такой цепи в том, она оказалась полезной на практике для обработки изображения HDR, чтобы можно было использовать преобразование различных компонент, и также при настройке дисплея можно было конкретно использовать любую такую конкретную частичную информацию переградуировки в любом из различных вариантов осуществления для различных сценариев) для картирования яркости для создания приятного изображение для дисплея 100 нит.

Мы видим в этом примере типичную одну из возможных стратегий, в которых яркости более темных участков усилены (относительно, на нормализованной шкале!), чтобы эти участки были достаточно видны на темном дисплее 100 нит, поскольку эти участки градуированные ультратемными в основной градуировке HDR, поскольку, он был проградуирован для светлых дисплеев, например 1600 нит. Яркости оставшихся светлых участков затем распределяются по верхнему диапазону, который еще доступен (в этом примере более 50% рендеризованной выходной пиковой светлоты, в отношении которой можно заметить, что ввиду нелинейной природы человеческого зрения не так уж много, но это лишь пояснение) в этом примере в линейном режима, но, конечно, градуировщик может использовать, например, S-кривую или кривую мягкого отсечения для более высоких входных яркостей, для создания, например, дополнительной контрастности на некоторых участках изображений и т.д. Изображение HDR при преобразовании само в себя (которое фактически не нужно делать, но является теоретической конечной точкой всех фактических цветовых преобразований в изображения, не имеющие пиковой светлоты PB_H) эквивалентно тождественному преобразованию наклона 45 градусов, что позволяет изобразить это на карте, чтобы иметь возможность показывать градуировки, которые остаются близкими к виду HDR. Общие мультипликативные коэффициенты для каждой входной яркости Y_HDR можно считывать из кривых, например, усиление b(0,2) картируется как g, умноженное на значение Y_HDR=0,2, в желаемый Y_LDR=0,6, который соответствует общему мультипликативному коэффициенту g, равному 3, для этой входной яркости. Теперь, если нужно получить оптимальную градуировку для монитора с пиковой светлотой 800 нит (кривая 402), поскольку это относительно близко по психовизуальным свойствам к монитору 1600 нит (для которого принятая градуировка HDR в этом примере будет выглядеть оптимальной), и все же может показывать контент с относительно высоким динамическим диапазоном, будет вычисляться переградуировка 800 нит (MDR_800), относительно близкая к тождественному преобразованию, т.е. результирующий общий мультипликативный коэффициент gt, в данном случае, b800(0,2), должен быть близок к 1, и аналогично для всех остальных входных яркостей. Оптимальные повторные градуировки для 400 нит (кривая 403) и 200 нит (кривая 404), пиковой светлоты PB_D назначенного или подключенного дисплея должны иметь кривые и общие мультипликативные коэффициенты, которые постепенно приближаются к картированию LDR (кривая 405).

Уравнения, которые наш вариант осуществления использует для вывода любой промежуточной градуировки, имеют вид:

gp=LOG(PB_H/PB_D;2,71)/LOG(PB_H/PB_L;2,71)

gt=степень(g, gp) [ур. 1]

Полезно изменять, например, мультипликативные стратегии настройки дисплея наподобие этой, поскольку это может моделировать лучшие визуальные желания. Как может проверить квалифицированный читатель, это позволяет вычислять необходимый выходной Y_L для любого входного Y_HDR, поскольку результирующий общий мультипликативный коэффициент может определяться с одной стороны на основе фиксированного отношения gp на принимающей стороне или стороне использования изображения (которая зависит от дисплея, на котором требуется рендеризация, который в данный момент обычно предполагается единственным в жилище потребителя), а, с другой стороны, на основании начального g, который можно вычислять из входного Y_HDR, и метаданных для функций цветового преобразования, т.е. на виде LDR против HDR, по мере их приема. Как можно проверять, заполняя значения, gp изменяется между log(1)=0 при PB_D=PB_H и 1 при PB_D=PB_L, т.е. будет использоваться полное значение g при PB_D=PB_L, и осуществляя тождественное преобразование путем умножения значений RGB с 1 при PB_D=PB_H.

Мы хотим остановиться здесь на примере, который читатель уже обдумывает и понимает из этого первого простого варианта осуществления, который действует обычным образом, и не будет смущаться вещами, которые определенно не одинаковы. Мы имеем, с одной стороны, поведение, которое (мультипликативно) отображает в виде карты входные яркости пикселей в выходные яркости. И это поведение принято от создателя контента, в частности, его градуировщика цвета, поскольку обычно любой приемник будет принимать всю необходимую информацию для определения двух градуированных изображений (обычно вид HDR и LDR на одной и той же сцене HDR). И, таким образом, приемник может знать преобразования между этими изображениями, в любой форме, но, в частности, в форме умножения входной яркости при поддержания постоянной цветности цвета (фактически, он обычно уже получает эти функции, поэтому, их будет легко использовать в любом приемнике для любого дополнительного применения). С другой стороны, поскольку градуировки могут не быть по меньшей мере полностью оптимальными для рендеризации на дисплеях, которые не имеют пиковую светлоту, равную PB, связанным с двумя градуировками, кроме того, приемник может нуждаться в вычислении новой оптимальной промежуточной переградуировки MDR из всей этой информации. Для этого также можно использовать метрики, на которых могут определяться мультипликативные коэффициенты, и функции преобразования яркости, которые могут аналогично преобразовываться в мультипликативные значения gt и т.д., но эти два коэффициента кодирования исходной градуировки против вычисления настроенного под дисплей изображения MDR, хотя обычно связаны, но иногда в меньшей степени, определенно не одинаковые, поэтому очень разные философии технического проектирования могут приводить к очень разным решениям (даже если некоторые компоненты носят одинаковое название, например, значение гамма в некоторых вариантах осуществления). Можно рассматривать настройку дисплея как некоторую точную настройку на градуированной паре, хотя насколько точной и легкой должна быть переградуировка, зависит от ситуации, но один из видов конструкции за ним состоит в том, что градуировщик не должен беспокоиться о фактическом создании бесконечной величины исходных градуировок для одной и той же сцены HDR (т.е. было бы хорошо, чтобы создатель контента присутствовал во всевозможных TV потребителя для оперативного создания наиболее художественно привлекательных адаптированных изображений, но в по мере возможности автоматизированном предмете с как можно меньшей дополнительной работой при необходимости для градуировщика, опять же, в зависимости от сценария и его желаний, т.е. однако, с различными вариантами осуществления по меньшей мере предлагающими некоторые из необходимого управления для достижения правильного вида, в том, что является очень сложной обработкой поля изображения, и сильно нелинейной зрительной системы потребителей этих изображений).

На практике, конечно, эти значения gp и gt не нужно вычислять все время, но обычно, поскольку градуировки можно изменять, например, для каждого кадра N изображений, LUT можно построить непосредственно перед тем, как они требуются для переградуировки входных изображений, которые применяют необходимую функцию картирования, показанную на фиг. 4, например, для подключенного дисплея 400 нит (и метаданные принимаются по меньшей мере как раз к сроку, например, за 5 изображений вперед).

В этом случае блок 200 будет искать необходимый результирующий общий мультипликативный коэффициент gt т.е. например, b800(0,75).

В случае, когда основным изображением является изображение LDR, которое нуждается в обновлении до, например, 6000 нит HDR, или любого переградуированного изображения для промежуточной пиковой светлоты, согласно варианту осуществления используются немного другие аналогичные уравнения:

gp=LOG(PB_D/PB_L;2,71)/LOG(PB_H/PB_L;2,71)

gt=степень(g, gp) [ур. 2]

Теперь масштабирующий умножитель 114 действует аналогично тому, как показано на фиг. 1, но умножает три цветовые компоненты RGB на gt вместо g, давая желаемый вид цветов.

Однако, возможно, что градуировщику нужна другая стратегия переградуировки сложной сцены или кадра видеоизображений, например, той, которая остается дольше (т.е. для дополнительных пиковых светлот дисплеев выше LDR 100 нит) близкой к функциональной форме LDR. Ему нужно указать это очень простым способом, чтобы не использовать слишком много дорогостоящего времени градуировки, в идеале он определяет, например, только один-единственный параметр, а именно, параметр настройки gpm.

Поэтому более усовершенствованный вариант осуществления нашего блока 200 определения масштабного коэффициента применяет нижеследующие уравнения:

gpp=степень(gp, gpm)

gtu=степень(g, gpp) [ур. 3]

Если gpm меньше 1, то повторные градуировки до более низкой пиковой светлоты ведут себя больше похоже на LDR по своему виду (и кривой картирования), и наоборот, они ведут себя больше похоже на HDR для gpm, большего 1, тем с большей вероятностью более высокий gpm выбирается создателем контента или градуировщиком.

Это поведение проиллюстрировано на фиг. 5. Опять же, следует указать, что gpm не работает в (классическом) степенном смысле направлении вдоль оси x (как форма кривых, которые представляют градуировку, т.е. соотношение между яркостями всех объектов для сцены, не должно значительно изменяться, однако с малыми изменениями, например, незначительным увеличением некоторой части, психовизуально допустимой, поскольку они соответствуют основным модификациям вида желаемой яркости/контрастности, принят остальные малые преобразования приняты путем адаптации визуальной интерпретации в мозгу), но работает для каждого значения Y_HDR, поэтому в направлении оси Y_L, так сказать. Фактически gpm растягивает или сжимает семейство кривых к функции градуировки LDR, или наоборот, единичной функции картирования HDR, т.е. определяет ʺагрессивность необходимых изменений вид переградуировкиʺ.

На фиг. 5 выбрано значение gpm, равное 1,3, и показано, что результирующая кривая (503) картирования яркости или общие мультипликативные коэффициенты (теперь именуемые настроенными общими мультипликативными коэффициентами gtu) становятся более аналогичными кривой тождественного преобразования HDR. Аналогично, с коэффициентом, например, 0,8 результирующая кривая будет лежать выше кривой 403, т.е. кривая 405 ближе к виду LDR. Это может быть полезно, например, если существуют важные темные объекты в этой сцене, например лица, для которых разумно поддерживать их достаточно светлыми долгое время, т.е. до тех пор, пока не будет указано, что рендеризующий дисплей является достаточно светлым, например, выше 800 нит.

Однако это все еще глобальная настройка (в том смысле, что все яркости Y_HDR обрабатываются просто связанным образом, определенным только формой функции преобразования яркости HDR в LDR и параметром gpm). Более сильное влияние наших стратегий может происходить из вариантов осуществления, которые допускают разную настройку для разных подобластей входной яркости (и, следовательно, путем картирования также выходных яркостей). Например, если мы настраиваем кривую 403 таким образом, что она становится более светлой (больше похожей на LDR) для яркостей более темных участков, она по необходимости также становится более светлой для яркостей более светлых участков (поскольку для поддержания вида, они должны для любой переградуировки иметь выходные яркости выше, чем для темных участков изображений), и это может быть неуместно светлым. Например, светлые внешние участки могут терять слишком много контрастности, и градуировщик может воспринимать их как неприятно полинявшие для некоторых критичных сцен. Т.е., было бы полезно делать более темные части сцены более светлыми и, следовательно, контрастными и видимыми, однако оставляя верхние участки, например, близкими к виду HDR.

Желаемое поведение показано иначе на фиг. 7. Здесь показано, насколько изображение, градуированное с LDR, вносит вклад в вид любой промежуточной градуировки MDR, соответствующей любой назначенной пиковой светлоты дисплея между PB_L и PB_H. Принятое по умолчанию поведение уравнений 1 показано на графике 701. Можно видеть, что можно присваивать дополнительный весовой коэффициент любой градуировке вдоль пути изменения различных промежуточных пиковых светлот в градуировке MDR. Например, кривая 702 демонстрирует ситуацию, когда градуировка MDR остается близкой к градуировке LDR до относительно светлых промежуточных пиковых светлот PB_D и только для наиболее светлых дисплеев начинает показывать вид HDR (в нижеследующем объяснении на основе используемой метрики, это будет соответствовать месту, где оказываются ярлыки для различных значений PB_D, т.е. оказываются ли, например, все до (PB_H+PB_L)/2 вблизи друг друга, т.е. вблизи положения PB_L градуировки LDR). Нужно ли и до какой степени выбирать такую кривую, будет зависеть от соотношения между градуировками HDR и LDR, т.е. функций цветового преобразования между ними. Градуировщик может делать разные вещи, например, осветлять более темные части в градуировке LDR, мягко отсекать более светлые части, увеличивать контрастность некоторой промежуточной части, производить некоторую конкретную обработку насыщенности на окно из яркого цветного стекла и т.д., но, например, если существуют, например, критичные темные участки, кривая наподобие 702 может выбираться градуировщиком, и его значение gpm может передаваться на различные приемники в или в связи с S_im. Кривая 703, с другой стороны, являться той, которая быстро вносит большую долю вида HDR, даже для относительно темных подключенных дисплеев.

В примере, приведенном на фиг. 6, градуировщик указывает режим оптимизации, разграничивающий значение (сигнала яркости или) яркости (Lt), в примере, равное 0,43. Ниже этого значения Lt он указывает первое значение gpm, например gpm_1=0,3, т.е. для всех входных цветов с яркостью Y_HDR <= Lt, результирующая кривая вычисляется, как объяснено со ссылкой на фиг. 5, с этим значением gpm_1. Выше Lt, градуировщик хочет перейти в новый режим переградуировки, и в этом примере для более светлых цветов он хочет иметь вид HDR. Он определяет значение, большее 1, в примере gpm_2=2,0, из-за чего более светлые пиксели образуют довольно сильный вид, близкий к HDR, более сильный, чем обычно необходимый, но в этом примере. В примере, вместо немедленного использования gpm_2=2,0 для значений Y_HDR выше Lt, он указывает интерполяцию для создания плавного переходного участка. Это может указываться по-разному, в пояснительном примере простым способом путем указания более высокой яркости переходного режима, Lt2=0,72. Выше 0,72 настроенный общий мультипликативный коэффициент gtu, подлежащий использованию, например, для создания LUT кривой будет определяться с использованием gpm_2=2,0 или gpp_R=0,25 в этом примере. На переходном участке будет использоваться стратегия интерполяции, реализованная, например, путем сначала вычисления значения степени на любой стороне перехода, которое позже послужит для определения общего мультипликативного коэффициента gtu для входных яркостей темных, соответственно, светлых участков, с последующим интерполированием их на переходных участках путем вычисления, например:

gpp_L=степень(gp, gpm_1)

gpp_R=степень(gp, gpm_2)

gpp_i=gpp_L+(Y_HDR-Lt)*(gpp_R-gpp_L)/(Lt2-Lt) [ур. 4]

Конечно, по желанию градуировщика можно использовать другие стратегии интерполяции.

Затем это значение gpp_i будет использоваться для определения аналогично тому, как объяснено со ссылкой на фиг. 3 значение gtu для каждой входной яркости в переходном диапазоне (т.е. gtu=степень(g, gpp_i)), хотя на любой стороне перехода соответствующее значение gpp_L или gpp_R используется в степенной функции на g, и с этой формулировкой результирующую кривую, например 603, можно вычислять из кривой 403, что будет результатом способа, объясненного со ссылкой на фиг. 4, или на практике результирующая кривая будет вычисляться непосредственно. В соответствии с дисплеем 800 нит, эквивалентом более простой кривой 402 будет теперь кривая 602, которая действительно наблюдается, ведя себя гораздо более аналогично LDR для более темных пикселей, но более аналогично HDR для более светлых пикселей. Следует понимать, что для такого варианта осуществления блок 200 будет давать gtu, эквивалентный gt, и в противном случае все может быть аналогично для различных возможностей варианта осуществления. В этом примере мы интерполировали значения gtu, подлежащие использованию для общего умножения, фактически интерполируя задающие его значения gpp, но альтернативные варианты осуществления также можно интерполировать значения gtu, результирующие на любой стороне перехода самостоятельно. Обычно кодер будет указывать используемый способ. Например, он может указывать, что декодер должен вычислять значения gtu на любой стороне интервала [Lt1,Lt2], затем линейно интерполировать эту кривую в пропущенных точках в интервале, и сохранять это как окончательную LUT для яркостной обработки текущего кадра изображений.

Поэтому, согласно этим вариантам осуществления градуировщик может просто задавать весьма усовершенствованную стратегию переградуировки вида для различных возможных дисплеев в области для кодирования HDR любой даже сложной сцены. В простых случаях ему нужно только кодировать одно значение gpm, поскольку, например, по умолчанию, более высокое значение gpm_2 может быть понято любым приемником для такого сценария фиксированным 1,0. Или, не беспокоя градуировщика, но чтобы быть уверенным, что не менее согласованный приемник неправильно понимает намерение градуировщика, в случае, когда градуировщик, например, только устанавливает более низкое значение gpm_1 и пороговое Lt, то кодер по умолчанию заполняет gpm_2=1,0. В случае, когда градуировщик указывает только степенное значение gpm_2 для яркостей выше Lt, кодер заполняет 1,0 по умолчанию для gpm_1. Обычно кодер может также автоматически определять стратегию интерполяции, которая, как он думает, должен выглядеть хорошо (давая по меньшей мере монотонно возрастающие кривые градуировки MDR), и градуировщик может принимать кодирование этой стратегии в метаданных (например, как значение Lt2), ничего не делая, или вместо этого повторно указывать более красиво выглядящую стратегию интерполяции (при необходимости, градуировщик может также точно настраивать значения gpm на любой стороне Lt). В целом, согласно нашим новым принципам, каждый общий мультипликативный коэффициент g, кодифицирующий различие в градуировке между градуировками HDR и LDR, может использоваться для определения оптимизированной переградуировки, задавая подходящее степенное значение GP для каждого входного Y_HDR, при этом степенное значение GP может указываться любой кривой, кодифицированной как метаданные любым образом, например, кривой с тремя точками Lt для интересных режимов светлоты в текущем кадре изображений, и вместо, например, фиксированных значений gpm или gpp на любой стороне, например, линейный или параболический закон в поддиапазоне входных яркостей между Lt2 и Lt3 и т.д., и затем переградуированное изображение вычисляется с использованием gtu=степень(g, GT) для любого Y_HDR в качестве входа, и применение этого gtu к любому линейному кодированию цвета обработанного в данный момент цвета пикселя.

Поэтому, как объяснено со ссылкой на фиг. 2, любой приемник, получающий различные метаданные, может реализовать желаемый вариант осуществления оптимизации, настроенной под дисплей, как указано стороной создания контента. В итоге, по меньшей мере одно градуированное изображение с цветами пикселя необходимо в качестве фактически кодированного и передаваемого изображения и в качестве начальной точки, например, градуировка на 2000 нит (которая фактически передается и принимается, например, обычно сжимается в формате MPEG, будем называть основным изображением). Затем будет определение функций для определения по меньшей мере одной дополнительной градуировки (например, LDR, если основное изображение является, например, HDR 2000 или 5000 нит), настолько точно, насколько градуировщик задал его с использованием различных возможных глобальных или локальных функций (мы объяснили, по большей части, аспект яркостной обработки, который является основным аспектом переградуировкой динамического диапазона яркости, т.е. определение другого вида на сцене для дисплея с другими возможностями динамического диапазона, которые содержат по меньшей мере пиковую светлоту, но обычно также могут применяться цветовые преобразования, аналогично обработке насыщенности по меньшей мере некоторых объектов изображения, и, потенциально, даже изменения оттенка). Это преобразование может передаваться, например, через по меньшей мере произвольное картирование Y_HDR в Y_L, заданное как пользовательская кривая CC, например, задающая, как преобразовать градуировку на 2000 нит в градуировку, которая является теоретически оптимальной для дисплея пиковой светлоты 500 или 10000 нит (опорного или назначенного) или значений вокруг нее. Затем, если требуется преобразование на принятом изображении HDR, например, поскольку несколько дисплеев с разной пиковой светлотой присутствует на принимающей стороне, или, например, поскольку пользователь использует свой пульт дистанционного управления для управления максимальной светлотой ниже теоретического максимума 10000 нит (аналогично созданию разновидности нового дисплея), могут существовать некоторые варианты осуществления сложности того, как создавать новую переградуировку, например, для 8000 нит. Более простые версии могут быть, по большей части, автоматическими, а некоторой степени игнорировать колориметрические и семантические сведения кадра изображений сцены HDR, и, точнее то, что градуировщик сказал или сказал бы об этом, т.е. как бы хотелось видеть изменения, например, до более низкой светлоты, происходящие на распределение относительных светлот различных объектов вдоль оси яркости до имеющейся пиковой светлоты. Это распределение различных светлот объектов изображения будет определять так называемый вид сцены (например, является ли он унылой, по большей части, темной ночной сценой, где все же проглядываются формы домов), помимо прочего, вследствие эффекта межобъектных контрастностей (например, окно из цветного стекла является ярким, но все же достаточно более светлым, чем внутреннее пространство церкви), и обычно будут предусмотрены некоторые необходимые оптимизации, поскольку даже при наличии достаточного динамического диапазона на дисплее для рендеризации конкретной изображаемой сцены, обычно осуществляется художественное определение семейства видов, вместо точного распределения яркостей объектов вдоль оси яркости как в исходной захваченной сцене самой по себе (т.е., например, градуировщик может по своему выбору устанавливать освещенное солнцем внешнее пространство лишь на пару остановок более светлым, чем внутреннее пространство для достаточной имитации эффекта внешнего пространства, вместо, например, 5 остановок). Заметим также, что техника создания надлежащих внешних видов и человеческое зрение является весьма сложными, поэтому желательно иметь технологию, которая одновременно достаточно проста (в противном случае она будет неприемлема) и одновременно достаточно мощна для обработки по меньшей мере большинства сценариев достаточным образом (в противном случае создатели контента не смогут удовлетворительно использовать ее), и именно этим должны быть заняты авторы изобретения. Как описано выше, градуировщик может использовать разные параметры для указания, как повторные градуировки должны зависеть от градуировки на по меньшей мере одной стороне интервала, в котором располагается пиковая светлота назначенного дисплея, т.е. как градуировочные кривые преобразуются друг в друга. С одним или несколькими параметрами, градуировщик имеет быстрое, но мощное управление тем, как приемники будут вычислять различные потенциально необходимые повторные градуировки. Приемники будут просто применять математику к входным цветам основного изображения. Хотя мы предложили прагматически простой вариант осуществления, работающий на цветах линейного RGB пикселя, специалисту в данной области техники понятно, что наши принципы могут также эквивалентно применяться, например, к цветовым представлениям Yu'v', в которых, например, компоненты uv остаются постоянными, и Y преобразуется при необходимости, или с использованием коррелятов Y, например, значения V= max(R,G,B), которые оба являются линейными комбинациями линейных цветовых коэффициентов, которые могут аналогично мультипликативно масштабироваться и т.д. При условии, что можно применять принципы масштабирования, необходима некоторая компонента, которая указывает светлоту цвета, и затем можно масштабировать (умножать) линейные или нелинейные цветовые компоненты (поскольку один и тот же масштабный коэффициент может быть установлен вне степенного закона, например, степень(g*L; N)=степень(g;N)*степень(L;N), поэтому, если известно, например, как масштабируется яркость, также известно, как масштабируется сигнал яркости, и наоборот; и то же самое можно, при желании, сформулировать с другими коррелятами светлоты и/или цветовыми пространствами. Заметим также, что мы пояснили основы наших вариантов осуществления на основе PB_D назначенного дисплея, в случае, например, когда поставщик TV имеет мнение о более сложной обработке для повышения театральности эффекта HDR, например, локального усиления контрастности и т.д., можно координировать эту обработку в результирующей настройке дисплея, с необходимыми поправками, с информацией от создателя контента, например, локальными градиентами функций картирования яркости, информации о сегментах объекта, и т.д.

Фиг. 3 демонстрирует пример нашей технологии, применяемой на стороне создания и кодирования изображений или видео, например, в центре завершающего этапа создания ТВ-программ киностудии, или в центре производства ТВ-программ для вещателя, или даже в своей простейшей форме, в передвижной телестудии, и т.д. Сервер 301 данных имеет хранилище для подачи начального изображения Im_src (которое обычно является изображением HDR, т.е. с по меньшей мере объектами высокой светлоты, например, рендеризуемой яркости свыше 1000 нит, и часто также темными объектами, хотя в некоторых вариантах осуществления исходным может быть изображением некоторого более низкого динамического диапазона, в котором градуировщику все же нужно создавать эффекты HDR, путем вычисления, например, огненного шара с помощью математики компьютерной графики, причем огненный шар можно представить как одно или более малых изображений) или видеопоследовательности через вход 302. Без ограничения можно предположить, что это, например, необработанный материал, отснятый камерой. Преобразователь 303 изображения выполнен с возможностью преобразования этих необработанных данных, например, в основное изображение HDR 5000 нит, из которого соотношение между рендеризуемыми яркостями и цветовыми кодами (содержащими сигнал яркости и две другие компоненты, кодифицирующие хроматические аспекты цвета) определяется заранее выбранной, обычно фиксированной, но потенциально переменной электрооптической передаточной функцией (EOTF). Обычно создатель контента может задавать изображение с опорой на дисплей, т.е. задавая, как оно должно отображаться на опорном дисплее 5000 нит, и преобразование из яркостей сцены из камеры, или эквивалентных цветовых координат, обычно предусматривает художественную градуировку, что мы будем называть эталонной градуировкой M_XDR (например, лампы 20000 нит могут кодироваться как коды для рендеризации 5000 нит после применения EOTF, и такие коэффициенты, как настройки относительной экспозиции камеры, также больше не особо важны). Для этого, преобразователь 303 изображения содержит блок 304 цветового преобразования, выполненный с возможностью осуществления любого набора цветовых преобразований, который нужен для создания красивой эталонной градуировки. Параметры для этих преобразований не обязательно сохранять, поскольку система отсюда и далее, т.е. также декодирование на принимающей стороне, может начинаться именно с этой эталонной градуировки (которая обычно хранится в сигнале изображения S_im, который может форматироваться согласно, например, традиционным технологиям кодирования видеосигнала, например MPEG_HEVC, т.е. когда эталонная градуировка является основным изображением, хранящимся как набор изображений с преобразованными посредством DCT компонентами YCbCr, и метаданных, например, в качестве сообщений SEI), но некоторые варианты осуществления также могут сохранять некоторые метаданные из этой эталонной градуировки. Во-вторых, согласно нашему изобретению градуировщик также будет градуировать второй вид динамического диапазона IM_GRAD_LDR, например, LDR для дисплеев 100 нит, поскольку эта информация необходима для дальнейших оптимизаций фактического дисплея. Функции для этого отображения не требуется сохранять, т.е. блок 304 цветового преобразования будет записывать соответствующие параметры (например gai, cc) в метаданных S_im. Необходимый ввод от градуировщика может вводиться через вход 331 данных, подключенный к средству 330 пользовательского интерфейса указания цвета, например, клавиатуре, которое может быть специализированной консолью для градуировки цвета, и т.д. В иллюстративном варианте осуществления предполагается, что эталонная градуировка HDR M_XDR сохраняется или передается как основное изображение совместно с понижающими функциями, позволяющими на принимающей стороне вычислять градуировку LDR, но, альтернативно, также можно сохранять/передавать вторично градуированную градуировку LDR как основное изображение, совместно с обновляющими функциями для реконструкции по меньшей мере достаточно хорошим приближением эталонной градуировки HDR на принимающей стороне, или промежуточную градуировку можно использовать как основное изображение, с функциями для получения градуировок LDR и HDR, созданных на стороне кодирования, и т.д.

Обработка основного изображения на блоках 104, 105, 106, 102 и т.д., опять же, аналогично тому, что было объяснено со ссылкой на фиг. 2, поскольку кодер нуждается в моделировании для градуировщика, которое фактически будет происходить на стороне декодирования. Однако теперь обычно значения параметров (gai, cc, и т.д.) различных блоков цветовой обработки вводятся посредством надлежащей настройки человеком-градуировщиком, хотя другие варианты осуществления также могут считывать их из метаданных аналогично тому, как это происходит на фиг. 1, например, если некоторый градуировщик осуществляет понижение с другим блоком цветового преобразования, возможно, в другое время. Например, он может использовать программу цветового преобразования с другими математическими преобразованиями, задающими вторую градуировку, и промежуточный блок преобразования может преобразовывать эти цветовые обработки в приблизительно равные обработки результатов вида с любым из комбинированных подблоков цветовой обработки любого из наших вариантов осуществления для проведения преобразования HDR в LDR или другого преобразования динамического диапазона. Блок 200 определения масштабного коэффициента может обычно первоначально предварительно загружаться с единым gpm, равным 1. В этом случае имитация применяет ур. 1 или 2 для создания градуировки MDR. Градуировщик может, например, обращаться параллельно (или последовательно для адаптации своего зрения по-разному и т.д.) к трем дисплеям путем вывода соответствующих изображений на выхода 311 дисплея, а именно, дисплею 312 с HDR, показывающему градуировку HDR, которая в этом случае была основным изображением, также именуемую эталонной градуировкой, дисплею 314 с LDR, показывающему градуировку LDR 100 нит и обычно являющуюся опорным монитором 100 нит, и надлежащим образом выбранный дисплей 313 с MDR для показа переградуированной оптимальной промежуточной градуировки согласно любому выбранному одному из наших вариантов осуществления. Этот дисплей 313 с MDR может, например, выбираться логарифмически близким к среднему типичных имеющихся двух градуировок LDR и HDR. Если градуировщик, например, работает в формате, который обычно стандартно использует пиковую светлоту 2000 нит для градуировки HDR, он может выбирать дисплей с MDR, который имеет пиковую светлоту 400 нит (4×100 и приблизительно 2000/4). Поскольку оптимизация является приближением в качестве регулировки вида второго порядка, не критично, осуществляется ли проверка, например, на дисплее с MDR 500 или 600 нит. Крови того, градуировщик может выбирать для использования, например, популярный дисплей во время создания контента. Если большинство дисплеев в области имеет пиковую светлоту около 800 нит, градуировщик может выбирать такой дисплей 800 нит с MDR (несмотря на то, что он может градуировать эталоны 5000 нит в будущем, когда будут лучшими дисплеями, но, конечно, ему бы хотелось бы, чтобы его фильмы также выглядели красиво на текущими дисплеями 800 нит до поры до времени). Обычно для дисплея с MDR выгодно находиться где-то вблизи средней точки, поскольку это, где предполагается необходимой наибольшая величина переградуировки. Но градуировщик может, например, также выбирать второй дисплей с LDR для проверки критичности любого вида, близкого к LDR, также на дисплеях, которые могут обеспечить несколько более контрастные виды, поэтому в этом случае дисплей с MDR может быть, например, только на одну или 1,5 остановки выше 100 нит. В случае, когда градуировщик удовлетворен видом, он может нажать кнопку ʺзакончитьʺ. В примере это позволить, например, сохранять сигнал S_im (т.е. основное изображение и метаданные для понижения), и в предыдущем примере значение gpm 1,0, но в более усовершенствованных вариантах осуществления данные более усовершенствованной оптимизации градуировки MDR на продукте 321 памяти, например, диске blu-ray (BD), через выход 320 изображения. Специалисту в данной области техники следует понимать, что, аналогично, данные могут, например, храниться на сервере для дальнейшей подачи, например, через интернет, или вещаться в реальном времени, и т.д. В более усовершенствованных вариантах осуществления, градуировщик может использовать вычисление градуировки MDR, применяющее, например, функцию 503 в качестве начальной точки. Затем он может дополнительно градуировать для получения точного третьего вида, улучшающегося на этом простом принципе переградуировки (т.е. он, опять же, может использовать по меньшей мере некоторые инструменты технологий кодирования исходных градуировок, но может начинать с настроенной под дисплей переградуировки MDR вместо эталонной градуировки, для перехода к третьей исходной градуировке, и набора функций цветового преобразования, подлежащих передаче на один и тот же приемник). Например, он может определять участок изображений кадра, и применять к нему дополнительно пользовательскую кривую, для конкретной обработки этих подобластей/объектов. Это можно использовать, например, если лицо в темноте является критичным, простые функции переградуировки делают это приемлемым, поэтому все наподобие глаз и выражения лица может хорошо восприниматься, но теперь довольно критичный градуировщик все еще не удовлетворен (во всех областях деятельности некоторые люди могут быть менее критическими, а другие - даже очень критическими). Выбранная простая функция переградуировки может приводить к красивой градуировки MDR, например, для 500 нит, в отношении рассматриваемого окружения, например, темной улицы, поскольку не наблюдается все, что критично, но градуировщик может захотеть сделать лицо более здоровым, и применять некоторую дополнительную функцию. Затем метаданные для этой третьей (частичной) градуировки также могут сохраняться как одна или более функций на диске blu-ray, или передаваться как дополнительные метаданные и т.д. Один или более блоков 310 форматирования сигнала могут применяться для форматирования всех данных в необходимом формате. Например, для возбуждения дисплея может использоваться другое кодирование после соединения дисплея в ограниченной полосе, с последующим сохранением, например, на BD, и в этом случае форматированное изображение высокого динамического диапазона SF_X2DR может кодироваться согласно любой схеме кодирования HDR, но, предпочтительно, схеме, в которой основное изображение дополняется метаданными, кодифицирующими цветовые преобразования для вычисления изображения второго динамического диапазона из основного изображения, причем два изображения для дисплеев, значительно отличающихся динамическим диапазоном, т.е. обычно по меньшей мере в 2 раза. В примере мы уже предполагали, что конвейер обработки (реализованный как 102) содержит картирование в типичный формат LDR (например, обратное 709, осуществляемое блоком 112), но дисплей с MDR может иметь другой формат источника и т.д., с которым блок 310 форматирования может работать. Это не является преобладающей частью наших новых принципов, очевидно специалисту в данной области техники и не будет дополнительно рассмотрено.

Фиг. 8 описывает, как принцип оптимизации может работать для получения правильной насыщенности цвета цветов пикселя для возбуждения дисплеев MDR промежуточной пиковой светлоты, аналогично объясненной выше яркостной обработке. В некоторых вариантах осуществления может быть предпочтительно производить масштабирование как оптимизированной яркости, так и насыщенности, хотя другие варианты осуществления могут использовать только масштабирование яркости. Входные цвета имеют входную насыщенность, или более точно, хрому C_in, для которой отсчет осуществляется от нулевого значения, соответствующего белому цвету. Существует несколько определений насыщенности, например, насыщенности, нормализованные к [0, 1], как в HVC, или другие насыщенности, как в CIE 1976 uv, но все они имеют свойство, что насыщенность цвета задается вектором, начинающимся в заранее определенном белом, наподобие D65, и проходящим некоторое расстояние. Предположим, что во входном изображении HDR существует пиксель, имеющий насыщенность Cs, которая будет увеличиваться до значения Cf. Это может задаваться мультипликативным коэффициентом s, который является коэффициентом, аналогичным вышеописанному начальному общему мультипликативному коэффициенту g. Если LDR является более насыщенным, чем изображение HDR (что, например, может быть, поскольку каждое уменьшение яркости участков рендеризованного изображения из-за меньших характеристик пиковой светлоты дисплея соответствует уменьшению цветонасыщенности, которая подлежит противокоррекции путем обработки насыщенности, заданной градуировщиком), полезно также увеличивать насыщенность градуировок MDR, но в меньшей степени, а именно, с коэффициентом st, который является вариантом осуществления gt. Устройства, которые имеют возможность обработки насыщенности, обычно имеют процессор 106 насыщенности цвета, который не является простым процессором, использующим фиксированный коэффициент насыщенности s, но вместо этого выполнен с возможностью обеспечения надлежащим образом масштабированной насыщенности. Обработка насыщенности может быть фиксированной для всех яркостей и может осуществляться с единым мультипликативным значением s, но все же нуждается в оптимизации дисплея до оптимального значения для каждого подключенного дисплея с MDR, но обычно для преобразования динамического диапазона может быть желательна более сложная обработка насыщенности. Например, насыщенность может изменяться в зависимости от яркости, или значения минус яркость и/или входной насыщенности и т.д. Однако важно, что необходимая переградуировка насыщенности (т.е. между изображениями HDR и LDR) для каждого входного пикселя указывается градуировщиком и передается в метаданных MET, это может определяться на приемнике и затем надлежащим образом масштабироваться. Обычно процессор 106 насыщенности цвета будет иметь некоторый механизм поисковой таблицы для определения s. Например, если входной цвет (Ri,Gi,Bi)=(0,2, 0,3, 0,7) LUT дает, например, s=1,1, или в случае снижения насыщенности, например, s=0,5, и для другого входного цвета может существовать то же или другое значение s. Затем процессор 106 насыщенности цвета содержит блок для вычисления результирующего мультипликативного коэффициента (st) насыщенности, который является вариантом осуществления результирующего общего мультипликативного коэффициента gt, по аналогии с блоком 200, и вычисляет: st= степень(s, sp). Отношение sp может быть для насыщенности несколько другим, чем для яркостной обработки, но обычно все же будет зависеть от соотношения между PB_D, PB_H и PB_L, и часто нет необходимости делать это иначе, чем как вычисляется gp (но, конечно, может использовать разные значения gpm для обработки насыщенности и яркости, делая яркости вида MDR больше похожими на вид LDR, например, и при этом делая насыщенности вида больше похожими на насыщенности изображения HDR, и т.д.). Как показано на фиг. 8, может также иметь смысл использовать разные режимы насыщенности, заданные, например, разграничителями Lt насыщенности (которые фактически могут быть любой информацией разграничения, позволяющей классифицировать цвета пикселя на два или более разных классов для различной обработки насыщенности), например, для указания участка снижения насыщенности для обработки высоких светлот в повторных градуировках низкой пиковой светлоты, и участка для усиления цветонасыщенности более темных цветов и т.д.

Обычно полезно осуществлять обработку насыщенности в виде:

Ro=st*(Rin-Y)+Y

Go=st*(Gin-Y)+Y

Bo=st*(Bin-Y)+Y [ур. 5]

где Ri, Gi, Bi - линейные входные цветовые компоненты, и Ro, Go, Bo - результирующие выходные цветовые компоненты после обработки насыщенности, и Y - линейная яркость, т.е. линейная комбинация a*Ri+b*Gi+c*Bi, с заранее определенными постоянными a, b и c, хотя могут использоваться другие эквивалентные обработки.

На фиг. 9 приведен дополнительный пример того, как можно уже следовать иногда сложным особенностям, оптимизированным в зависимости от сцены желания градуировщика, даже с помощью простейших из наших вариантов осуществления, которые располагаются только в вычислении простой переградуировки на принимающем устройстве, и о котором градуировщик, например, не заботится, для любой дополнительной проверки. Мы используем в этом примере логарифмическое назначенное масштабирование рендеризации в зависимости от пиковой светлоты дисплея согласно ур. 1. Мы видим, что этот способ может уже очень хорошо задавать необходимые яркости и контрастности, где они требуются в сцене. Например, в этом примере участки несколько выше 60% (линейные) максимума (т.е. белого), которые мы предполагаем заданными на изображении HDR, обычно могут требовать некоторого осветления в этой рендеризации. С другой стороны в этом примере также существует критичный участок изображения около 50%, например, лицо актера в части сцены, освещенной относительно ярко. С другой стороны, в более темных участках изображения в этом примере не предполагается слишком большое количество объектов высокого интереса, поскольку вид LDR может позволить во многом мягко отсекать эти более темные участки. Это может быть сцена, где, например, многое происходит вне, например, в освещенном солнцем ландшафте, и кое-что внутри, что позволяет художественно принимать решение для совсем небольшого затемнения, например, возможно, в сарае или внутри храма, который рассматривается через небольшую дверь, и, таким образом, она не является слишком релевантной независимо от того, что там находится (ввиду малого размера участка, даже при рендеризации HDR на дисплее с HDR зрительная система может быстро отбрасывать это как ʺнеинтересный черныйʺ, и, таким образом с той же философией градуировки градуировщик может принимать решение делать его также в LDR приблизительно тем, что наблюдается как черный (заметим, что наши способы должны быть способны работать в более точных, а также менее критичных вариантах градуировки, и обычно с более простыми и более сложными сценами HDR, причем первые являются, например, двумя пространственными участками изображения, точная средняя яркость которых не очень важна в любой рендеризации MDR, и последние имеют, например, очень строгие требования к рендеризации, например, чудовище, частично скрытое в тумане). Важное свойство состоит, в том, что даже в простейшем из наших вариантов осуществления, можно приятно получать внешние виды приблизительно хорошей светлоты и все соответствующие определяемые контрастности (т.е. между яркостью выбранного интересного пикселя 1 и 2, или среднюю яркостью интересного участка 1 и 2, например, темного угла и части внешнего пространства, наблюдаемого через окно комнаты), для всех промежуточных динамических диапазонов (MDR). В этой фиг. 9 кривая 909 является преобразованием яркости для применения для преобразования вида HDR 5000 нит в вид LDR 100 нит, HDR преобразованный сам в себя без изменения, конечно, будет соответствовать диагонали, и другие кривые являются преобразованиями, необходимыми для переградуировки в различные градуировки MDR, для дисплеев с различными пиковыми светлотами между 5000 и 100 нит, на которые поступают изображения оптимизированного вида.

Фиг. 10 демонстрирует еще один более усовершенствованный пример, предусмотренный нашими вариантами осуществления (будь то (частично) управляемой человеком-градуировщиком на стороне создания контента или автоматической переградуировкой, осуществляемой конкретным приемником, например, телевизором с HDR). Этот пример демонстрирует, как можно сильно переградуировать изображение при наличии дополнительной семантической информации о различных участках, определенной простым способом (например градуировщиком, и передаваемой или блоком анализа изображения, присутствующим только на приемнике) как единого разграничителя Lrc яркости (или сигнала яркости). В этом примере, более светлый участок может быть очень критичным, и может быть трудно оптимизировать более темный участок одновременно (т.е. поддерживать, например достаточную контрастность для всего диапазона возможных яркостей темных пикселей в кадре изображений, при одновременной необходимости достаточно большой части диапазона яркости в рендеризации более низких изображений MDR с достаточным визуальным качеством более светлого участка изображения), т.е. можно быстро принимать решение на снижение его качества конкретным образом. Быстро означает, что даже для пиковых светлот (PB) MDR, близких к PB HDR, например, если PB_H=2800 нит, и PB_MDR равна 2500 нит, более низкий диапазон полностью или по большей части картируется согласно стратегии, которая имитирует вид LDR 100 нит. Однако более светлый участок может более постепенно настраивать к виду LDR через различные PB MDR между 2800 и 100 нит. Эта стратегия может определяться градуировщиком по меньшей мере частично или как начальная направляющая стратегия, а также определяться (например, путем отклонения всего, указанного градуировщиком, например, он мог указать плавную переградуировку к виду LDR для более темных и более светлых участков изображений кадра) самим приемником.

Согласно поясненным выше примерам варианта осуществления сценария с участием человека-градуировщика, т.е. разрешенного, например, в окончательной рендеризации его изображений этими вариантами осуществления системы передачи изображения HDR, альтернативно, в качестве автоматического градуировщика можно также использовать компьютерный алгоритм. Это может происходить на создающей стороне, где алгоритм может осуществлять очень интеллектуальный анализ изображения не в реальном времени, например, идентифицируя участки, конкретные разновидности текстур или даже идентифицировать классы объектов, например, людей, некоторых животных, автомобилей на солнце с зеркальными отражениями на своем металле, и т.д., и на основании статистической информации о том, как градуировщик обычно желает градуировать эти разновидности сцен и их объектов. Однако блок автоматической градуировки также может располагаются на приемнике и применять обработку улучшения изображения, кодифицирующую информацию качества изображения, разработанную, например, производителем телевизора, в течение десятилетий (и возможно, образующую вид его подписи). Новое решение теперь состоит в том, чтобы включать ее в нашу современную технологию переградуировки HDR. Фиг. 11 поясняет это в иллюстративном варианте осуществления блока 1130 цветового преобразования приемника, например, входящего в состав телевизора, или телевизионной приставки, или компьютера, подающего сигнал на коммерческий дисплей в супермаркете или на мероприятии во внешнем пространстве и т.д.

Изображения видео и метаданные для осуществления переградуировки естественных цветов (например, от HDR 5000 нит в качестве входных изображений Im_in до LDR 100 нит посредством логарифмического масштабирования, объясненного со ссылкой на фиг. 1, с параметром lg, выбранным в качестве оптимального для этой сцены человеком-градуировщиком создающей стороны, и также параметры P_CC, задающие, например, мультилинейную форму пользовательской кривой картирования тона) принимаются через сеть 1101 передачи изображений в этом примере (например, видео сервер, подключенный через интернет, или телевизионная служба, вещаемая или рассылаемая по множественным адресам по мобильной телефонной сети и т.д.). Затем блок 1102 определения масштабного коэффициента применяет спецификацию картирования тона, указанную в качестве оптимальной для картирования вида на одном конце назначенного диапазона (хотя те же принципы, в принципе, также могут использоваться для выхода немного за границы диапазона), например HDR, к опорному виду другого конца диапазона, например, LDR 100 нит, и поэтому определяет начальный масштабный коэффициент g_nat, для осуществления масштабирования линейного (или потенциально даже нелинейного) RGB. Второй блок 1103 определения масштабного коэффициента определяет окончательный масштабный коэффициент g_fin для использования в данной ситуации, но теперь в этом варианте осуществления этот коэффициент может определяться знанием улучшения изображения принимающего устройства. Для этого, содержится блок 1110 анализа изображения, который может содержать различные блоки анализа изображения (которые обычно могут быть, например, различными программными компонентами анализа изображения, или их аппаратными реализациями). В этом простом пояснительном примере мы описываем блок 1112 анализа гистограммы и блок 1112 распознавания объекта. Блок 1112 анализа гистограммы может быть выполнен с возможностью анализа распределения яркости изображения(ий) и определения наличия, например, большого количества темных пикселей или что семантически важные пиксели являются темными (поскольку блоки могут работать совместно). Затем он может определять, например, разграничитель темного участка и назначенную стратегию осветления. Блок 1112 распознавания объекта может содержать, например, детектор лиц, который может обнаруживать лица, имеющие различную светлоту, поскольку актеры стоят в различных по-разному освещенных частях сцены. Из всего этого знания, блок 1113 определения параметров стратегии определяет соответствующие параметры, который, согласно различным раскрытым вариантам осуществления, располагается во втором блоке 1103 определения масштабного коэффициента (заметим, что некоторые из этих функциональных возможностей могут располагаются в других компонентах в некоторых устройствах или системах, но мы описываем это функционально). Например, логический способ блока 1113 определения параметров стратегии для передачи, что он хочет, например, осветлять сцену и, в частности, более темные цвета больше, чем естественный способ градуировщика (который может быть столь же простым, как применение нашего уравнения, без какой-либо конкретной информации переградуировки от человека-градуировщика, или более усовершенствованная стратегия, которой можно частично следовать или, по большей части, пренебрегать), может осуществляться путем указания нового значения gpm (конечно, в некоторых вариантах осуществления устройство может также задавать новые значения для функций, задающих картирование между исходными градуировками HDR и LDR, например, наклон нижней части, но, согласно некоторым вариантам осуществления существует неприкосновенная информация от поставщика контента, которую также не нужно модифицировать, поскольку ее назначенный вид может достигаться в ходе постобработки; если необходима какая-либо адаптация функциональной формы, то по меньшей мере это можно реализовать только из части вычисления MDR, например, вместо чисто мультипликативного масштабирования, описанного на фиг. 19, телевизор может применять изгибание к результирующей функции картирования яркости MDR для значений самых темных участков, или любому альтернативному переопределению функции, например, умножение на корректирующие значения конкретной фиксированной или зависящей от изображения функции, определенной TV). Если блок 1110 анализа изображения определяет, например, с помощью своего анализа гистограммы и идентификации актера в этом самом темном участке, что, согласно производителю приемника, самые темные части, по природе своей, слишком темны для рендеризации, например, подключенного дисплея 1100 нит, gpm может немного вырасти к виду LDR (поскольку переход к LDR обычно может вести мебя грубо, и теперь, в зависимости от сцены, соответствует осветлению). Разграничитель Ltr1 яркости может передаваться для осуществления этой стратегии только к самому темному поддиапазону яркостей HDR. Возможны другие способы, в которых блок 1110 анализа изображения может передавать свое желание необходимой переградуировки, а качестве вторых метаданных MET_2. Например, он может представлять, что подключенный дисплей не имеет 1100 нит, но вместо этого передавать значение PBF, например, 1300, или 900, использовать это аналогично PB_D при вычислении логарифмического отношения. Или он может уже передавать логарифмическое отношение, и позволить блоку 1103 применять к нему значение gpm, и т.д. Или он может регулировать значения PB_H и PB_L. Поэтому любая необходимая комбинация значений для вычисления окончательного g_fin, с правильными значениями, определенными блоком 1110 анализа изображения, может передаваться в MET_2 на блок 1103. Помимо анализа только изображений Im_in, может быть очень преимущественным смотреть, какие интеллектуальные возможности градуировщик поместил в форму функций цветового преобразования. Для этого в некоторых вариантах осуществления может содержаться блок 1114 анализа картирования тона, выполненный с возможностью анализа функциональной формы полного картирования тона между первым и вторым опорными видами, т.е. обычно HDR и LDR. Например этот блок может согласовать три участка, и проверять, какая обработка (например, мягкое отсечение) осуществляется к более светлому цвету, какая обработка осуществляется к цветам среднего диапазона (например, усиление контрастности), и какая обработка осуществляется к темным участкам. Если, например, в картировании тона наблюдается быстрое изгибание, как в примере, приведенном на фиг. 9, сильно наклонная часть около 50%, то блок 1114 анализа картирования тона может определять там точку разграничения Ltr1. Затем эта информация может использоваться блоком 1113 для определения интеллектуальной переградуировки для средних тонов, оптимизирующих контрастность согласно предпочтениям производителя приемника, учитывая при этом семантическое знание о сцене, присутствующей в спецификации градуировки градуировщика, и, сохраняя по меньшей мере несколько, в различных вариантах осуществления, в соответствии с этим намерением переградуировки градуировщика, поскольку эти варианты осуществления применяют переградуировку на исходных намерениях переградуировки, кодифицированных в g_nat.

Заметим, что в этом более простом примере предполагается отсутствие дополнительных параметров метаданных, указывающих конкретное желание градуировщика в отношении переградуировки (например, значение gpm), однако, если градуировщик указывает такие метаданные во входном сигнале S_im, он также может передаваться на блок 1110. Этот блок может хорошо удовлетворять этому желанию, например, путем изменения значения gpm с малым допуском, например, от 5% до 10%, или только в ограниченном поддиапазоне диапазона яркости, например, только изменение вида 10% самых темных цветов, оставляя при этом исходные желания градуировщика по созданию контента для более светлых цветов, или альтернативно даже полностью игнорировать значение gpm градуировщика, и определять свое собственное значение gpm для блока 1103.

Некоторые более усовершенствованные варианты осуществления также могут позволять зрителю обсуждать окончательный вид. Обычно через входное соединение 1121 с пультом 1122 дистанционного управления и через пользовательский интерфейс 1120, он может давать некоторые простые команды переградуировки. Например, он может иметь 5-точечную шкалу для осветления изображения. Это может передаваться в качестве сигнала b_rel={-2, -1, 0, 1, 2}, который может преобразовываться блоком 1113, например, на несколько остановок увеличения светлоты на 10% самых темных цветов, и, окончательно, одно или более значений gpm, и, возможно, один или более разграничителей (Ltr1, Ltr2) для осуществления соответствующего осветления, которое будет создавать надлежащий вид для зрителя. Любая такая связь может осуществляться различными вариантами осуществления приемника, например, -1, может соответствовать 10% увеличению в PB_D, передаваемом как значение PBF, и т.д.

Выше было уже пояснено, как, согласно настоящим вариантам осуществления, можно определять повторные градуировки, которые коррелируют с важным визуальным параметром светлоты, и со ссылкой на фиг. 12 будет упрощенно пояснен пример, как можно семантически по изображению определять различные изменения контрастности окончательного вида рендеризации MDR с нашими различными вариантами осуществления. Динамический диапазон или, напротив, отношение контрастности является простым принципом: самый темный цвет в изображении относительно наиболее светлого. Психовизуально релевантная контрастность является более сложным параметром. Тем не менее, он может определяться относительно просто с нашими адаптивными к изображению вариантами осуществления, описанными выше. Обычно окончательную контрастность в сцене можно грубо оценивать из двух коэффициентов: внутриобъектные контрастности, которые определяют, насколько хорошо видны текстуры объектов (например, выражение лица, или грубость этого лица, или зерна поверхности древесины), и, в частности, когда предусмотрены изображения с высоким отношением контрастности: межобъектные контрастности. Во многих сценах HDR, может существовать лишь несколько, часто только 2, по-разному освещенных участков. Например, средняя яркость внутреннего пространства относительно внешнего пространства. Или средняя яркость ночной улицы относительно яркости пары ламп. В HDR могут существовать различные такие поддиапазоны средней яркости, поскольку диапазон яркости, например, дисплея 5000 нит, достаточно велик. Например, может существовать несколько разных белых участков, например, бумажно-белое внутреннее пространство, белое окружение лампы, и еще более светлая белая область самой лампы, и, возможно, еще более светлая лампа. В LDR, не все эти участки разной светлоты могут правдоподобно отображаться. Фактически, традиционные кодировки LDR весьма пригодны для кодирования всех цветов относительно белого, или аналогично связанный 18% средний серый (и заканчивая однако глубокий можно получить в шуме и/или квантовании кода с одной стороны, но и с другой стороны, что адаптированная зрительная система будет видеть как черные участки, например, ниже 5% линейного белого), но не для столь многих по-разному освещенных участков. Для некоторых изображений градуировщик может для вида LDR выбирать отсечение всех разных белых участков до одного и того же белого (R=G-B=255) LDR, вместо того, чтобы рисковать, что некоторые лампы будут выглядеть серыми. Поэтому, например, баланс между внешним видом средней светлоты для пикселей внутреннего пространства на мониторе LDR 100 нит, и насколько более светлое внешнее пространство воспринимается (где также может потребоваться, чтобы это внешнее пространство было сильно насыщенным, а не более светлым, но пастелизованным), т.е. внутриобъектная контрастность для этих двух участков, может быть критичной в зависимости от обработанного изображения.

Фиг. 12 поясняет, как приемник может балансировать различные контрастности в таких участках, и, таким образом, внешний вид полной контрастности рендеризованного изображения. Кривая 1201 указывает, как градуировщик указал картирование тона для получения изображения LDR 100 нит. Мы видим участок, который мягко отсекает наиболее светлые цвета, участок среднего диапазона, где многое выглядит продолжающимся, т.е. может существовать несколько критичных объектов (например, 3 по-разному освещенных актеров), поскольку существует несколько критичных точек изгибания в этой части кривой картирования тона, и предпочтительное картирование для более темных цветов. Если блок 1110 анализа изображения определяет два разграничителя Ltr1 и Ltr2 для этих важных подобластей, он может теперь предложить различные способы балансирования контрастности. Например, можно определять, что для более светлых цветов, кривая 1210 дает более оптимальную контрастность. Это может изменять вид этого, например, освещенного солнцем внешнего участка, поскольку теперь самые темные пиксели этого подучастка могут быть более темными, например, для изображения MDR 1200 нит, чем предложенные естественной переградуировкой до MDR 1200 нит, но что также может быть желательно для производителя приемника. В этом примере приемник выбрал, по большей части, игнорировать детали градуировки для среднего диапазона (которые могут учитывать или не учитывать качество окончательно рендеризованного вида, но, в зависимости от сценария применения, могут осуществляться или не осуществляться), однако существует некоторая адаптивность, поскольку наклон кривой картирования тона, предложенной приемником, изменяется примерно посередине части 1211 среднего диапазона. В этом примере, отношение контрастности для самых темных пикселей одинаково для предложенного приемником вида MDR, как и для предложенного градуировщиком вида LDR, однако, контрастность распределяется по-разному, поскольку форма кривой нижней части 1212 сильно отличается от намерения градуировщика (в этом примере, поскольку в идеале приемник может хотеть следовать по меньшей мере по большей части, исходной форме). Эти методы позволяют оптимизировать различные межобъектные и внутриобъектные контрастности, согласно которым приемник желает после своего анализа входных изображений Im_in. Например, верхняя часть кривой 1210 (является ли это результатом для MDR 1200 нит, предложенного градуировщиком, или уже из первого определения блока 1110) может не быть достаточно контрастной, т.е. внешнее пространство выглядит слишком мягко. Затем может определяться частичная кривая 1220 другой светлой части, с дополнительным отношением контрастности и дополнительной контрастностью. Это может означать, что может потребоваться, чтобы средняя часть была менее контрастной, хотя, конечно, также может быть предложена стратегия, которая отображает в виде карты разные значения Y_HDR в одни и те же значения Y_L. Таким образом, можно оптимизировать и вторую внутриобъектную контрастность C_intR2, и третью внутриобъектную контрастность C_intR3. Но и это будет определять межобъектные контрастности, например, первую межобъектную контрастность C_gl (например, заданную между яркостями средних точек более светлого и более темного подучастков, или взвешенную появлениями пикселей и т.д.), которая, напротив, также может оптимизироваться, в основном, самостоятельно, потенциально жертвуя некоторой внутриобъектной контрастностью, например C_intR3.

Фиг. 13 демонстрирует универсальный вариант осуществления для вычисления картирования тона. Блок 1301 снятия форматирования сигнала получает всю необходимую информацию. COD_DIR и COD_METR указывают, направление интерполяции (DIR) и метрику для вычисления положений промежуточных пиковых светлот дисплеев для использования (например, как указано на стороне создания контента градуировщиком), и будем предполагать, что они составляют 135 градусов, и метрика на основе OETF, что будет более подробно объяснено ниже. В некоторых вариантах осуществления, которые не позволяют изменять, они могут быть заранее построены в компоновку схемы, например, в варианте осуществления устройства, который осуществляет только вертикальную настройку. Блок 1302 определения картирования тона получает через вход 116 метаданных всю информацию для построения окончательного картирования тона между яркостями входного изображения (например, изображения HDR) и соответствующей второй градуировки (LDR). Поскольку вторая часть нашего способа состоит в том, что необходимо устанавливать функции цветового преобразования между двумя типичными видами на сцене HDR, обычно, HDR и, например, вид LDR 100 нит. Через выход 1308 он может выдавать эту функцию картирования яркости в подходящей форме (TMF) или в других вариантах осуществления набор множителя g, но здесь предполагается, что передается функциональная форма между входными HDR и градуированными выходными яркостями LDR, т.е. предполагается, что это просто функция, что будет объяснено в виде графического картирования между яркостями, но в технологии может передаваться, например, в виде LUT. Эта TMF будет вводиться для блока (200) определения масштабного коэффициента, который будет осуществлять вычисление преобразования, необходимого для получения изображения MDR, и представлять это для каждого цвета пикселя, подлежащего обработке, как подходящий коэффициент gt для умножения (например, 1,53 или 0,872 и т.д.).

Прежде чем перейти к подробному объяснению, дадим читателю некоторое дополнительное понимание того, что происходит.

Фиг. 17 демонстрирует в довольно упрощенном примере градуировки, чего мы хотим добиться с помощью настройки дисплея. Мы показали математику как абсолютное мнение об абсолютной (опорные 5000 нит) яркости оси, однако, заметим, что они были перцепционно униформизированы согласно нашей оптоэлектронной передаточной функции (P-OETF). Поэтому мы линейны в кодовом пространстве в этом представлении, не в пространстве относительной яркости, как в других графиках. Читатель может приблизительно думать, как если бы оси были логарифмическими, но точное картирование между относительными [0,0, 1,0] координатами сигнала яркости опорного дисплея в этом примере 5000 нит и фактический соответствующий выход определяются согласно (Philips EOTF):

Y=Lm*степень((rho^v-1)/(rho-1); gam) [ур. 6]

В этом уравнении, v - относительный сигнал яркости (читатель может сравнивать это с сигналами яркости сигнала LDR, т.е., например, [0, 255] значения изображения, деленные на 255), который предполагается действительным числом, rho - постоянная, например 33, gam - постоянная, равная 2,4, Lm - в этом сценарии кодирование PB изображения, а именно 5000, и ^ и степень указывают степенную функцию. Заметим, что в случае, когда мы хотим задать EOTF, которая заканчивается на других, например, более высоких значениях PH_H (или, в этом уравнении, более высоком Lm, например 10000), то нужно вычислять другое значение rho согласно:

rho_2=(33-1)*(PB_H/5000)^(1/gam) +1 [ур. 7]

Поэтому эквидистантные значения в [0,0, 1,0], например, на оси x с фиг. 17 преобразуются в фактические яркости путем вычисления согласно приведенному выше уравнению. Эта функция отличается тем, что значения v являются более однородными для нелинейного человеческого глаза в типичном диапазоне яркостей дисплея с HDR, т.е. в принципе это можно рассматривать как психологическое приближение освещенности.

Наша Philips HDR OETF (P-OETF) задается как обратная этой функции:

v=1/log(rho)*log(1+(rho-1)*(Y/Lm)^1/gam) [ур. 8]

Теперь, если мы хотим произвести градуировку, например, для дисплея 100 нит, читатель может, в принципе, рассматривать это как отображение на дисплее 5000 нит, но без создания какой-либо яркости выше 100 нит (что возможно на дисплее 5000 нит, но не на дисплее 100 нит). Возможное (довольно плохое качество, но хорошее в целях объяснения) преобразование яркости для достижения изображения (первоначально градуированного) вида LDR, является кривой 1702. В основном мы рендеризуем с помощью этой кривой все яркости пикселей (принятого изображения HDR как Im_in) до 100 нит в точности так же, как они рендеризовались бы, если бы мы рендеризовали входное изображение на своем соответствующем опорном дисплее, для которого, и обычно на котором оно было градуировано, т.е. дисплее 5000 нит. Но все более высокие яркости будут просто отсекаться до 100.

Если бы мы (теоретически) применяли преобразование яркости для получения переградуировки до 5000 нит от в точности уже Im_in 5000 нит мы бы уже приняли от градуировщика цвета, то, конечно, обычно применялось бы тождественное преобразование 1701. Так что же происходит, если мы хотим определить промежуточную переградуировку, например, для дисплей с MDR 500 нит?

Конечно, можно отсекать все яркости выше 500, но это, вероятно, не будет наилучшей переградуировкой, которую можно сделать для этого дисплея, даже если бы мы имели такое плохое отсечение преобразования яркости HDR в LDR, заданное создателем контента. Мы имеем информацию всех текстур наиболее светлых объектов в Im_in HDR, поэтому для дисплеев более высокого PB_D, т.е. по возможности, мы показываем часть этой информации, даже в версии сниженного качества по сравнению с рендеризацией 5000 нит (т.е. меньшее усиление светлоты, менее выразительные контрастности, меньшие блеск и яркость блеска в зависимости от того, каковы сцена HDR и изображение). Один вариант будет для вычисления кривой 1711, если предполагается, что все объекты до 100 нит были рендеризованы хорошо (и это ʺнепредумышленноʺ было интересной точкой разграничения, ниже которой объекты нужно рендеризовать с одной и той же яркостью на всех фактических дисплеях). Но также можно применять другую стратегию (которая будет соответствовать вычислению с другой метрикой и/или направлением интерполяции и/или функцией точной настройки для агрессивности переградуировки (gpm, gpr)), которая сдвигает точку, где останавливается осуществление картирование равной яркости, и начинает растяжение в наиболее светлых объектах HDR до L_kn. Это будет давать кривую 1703 картирования яркости MDR для генерирования градуировки MDR для фактического дисплея PB_D=500 нит.

Читатель поймет, что какой бы сценарий мы ни хотели бы исполнять и как бы далеко мы ни хотели бы сдвинуть L_kn над 100 нит, будет зависеть от того, что находится в изображении(ях). Если представляющего интерес внешнего пространства не очень много, что часто происходит с широковещательными материалами, для которых вид из окна в настоящее время обычно уже отсекается или мягко отсекается строго, можно жить с меньшей величиной рендеризуемых яркостей для этих объектов внешнего пространства (диапазон R_sm). Это может быть особенно справедливо, если яркости объектов внутреннего пространства в точности не заканчиваются на 100 нит (которые они могли бы делать, конечно, в зависимости от тщательной градуировки градуировщик), но, например, необходимо отсекать (в этом экстремальном примере жестко отсекать) некоторые из более светлых частей, например, некоторых отражающих объектов на столе. Поскольку это может быть основной частью сцены, которую зритель внимательно рассматривает, действительно может иметь смысл также сообщать этим объектам красивые яркости и контрастности текстуры, путем включения их в равнояркостную (диагональную) часть, до их максимальной яркости, или по меньшей мере ближе к ней ценой качества цветов освещенных солнцем домов, наблюдаемых через окно, как показано на фиг. 14. Это также может быть особенно справедливо, если ничего не дополнительно известно об изображении (конечно, если градуировщик указывает COD_METR и COD_DIR для использования, это уже несколько сообщает, какова ситуация, но предполагается, что градуировщик только сделал TMF, и принимающее устройство должно самостоятельно определять все остальное, в более простой стратегии настройки дисплея, но все же давать максимально приемлемое визуальное качество для изображений MDR), поскольку затем можно предположить, что, вероятно, будет в паре интересных яркостях выше значения 100 нит низкое качество, поскольку это сцена HDR, поэтому можно также делить ошибки путем размещения точки L_kn чуть выше, чем случайные 100 нит (градуировщик может позаботиться о яркостях внутреннего пространства уже в своей эталонной градуировке HDR, т.е. освещать их удовлетворительно, и поскольку не очень легко в точности согласовать их со структурой LDR/HDR, градуировать внутреннее пространство до надлежащих яркостей, но не всегда можно быть уверенным, что он поместит объекты внутреннего пространства в точности в поддиапазон LDR уже в эталонной градуировке HDR).

Однако, в альтернативном сценарии, где градуировщик знает, что все участки более темных пикселей попадают в часть 100 нит, и что где-то в вышеупомянутой части 100 нит существуют важные текстуры, которой нужна максимальная контрастность или максимальная величина возможных пригодных кодов сигнала яркости и яркостей (для произвольных функций картирования яркости), градуировщик может хотеть поддерживать точку L_kn на 100 нит для всех повторных градуировок MDR. Поэтому читатель понимает, что настройку дисплея (также именуемую настраиваемостью) можно сделать простой, при желании, но может понравиться некоторое дополнительное техническое средство, позволяющее для сложности сцен и изображений HDR также в более сложных случаях, и все же как можно проще для градуировщика, которому может требоваться определить все коэффициенты и параметры.

Теперь, если мы хотим видеть, что происходит в опорном кадре конкретного дисплея, рассмотрим дисплей PB_D=500 нит, мы можем вырезать из карты на фиг. 17 только часть, которая доходит до Y_out=500 нит. Максимум этого представления является максимумом, который можно рендеризовать на дисплее 500 нит, т.е. что нужно делать, представляя ему максимальный код сигнала яркости v=1,0. Поэтому, игнорируя метки нит, мы помещаем в карту для наглядности, спецификацию переградуировки на фиг. 17 можно рассматривать как спецификацию в пространстве кодов сигнала яркости (хотя на входной оси можно хорошо считывать эквидистантные коды сигнала яркости, конечно, на оси y в этом представлении v=1,0 окажутся на разных высотах для разных дисплеев с разными PB_D (читатель может предположить для своего понимания, что все эти разные дисплеи, эмулированные на дисплее 5000 нит, которые поэтому должны останавливать рендеризацию при некотором сигнале яркости vx в зависимости от возможности PB_D e эмулированного дисплея).

Фиг. 18 демонстрирует те же примерные преобразования, но теперь в системе координат, из которой может начинать выводить необходимую функцию преобразования яркости HDR в MDR, начиная со спецификации цветового преобразования HDR в LDR, принятой в метаданных, связанных с видеосигналом S_im. Горизонтальная ось такая же, поскольку это возможные яркости пикселей нашего Im_in 5000 нит. Вертикальная ось должна определять относительную яркость переградуированного к MDR цвета пикселя, опять же на перцепционно униформизированной шкале с нашей P-OETF, т.е. между нулем и значением L1 (или, другими словами, ее соответствующим кодом сигнала яркости). Для градуировки 100 нит, это значение L1, которое соответствует максимальному коду сигнала яркости, например, 1023 в 10 битах, или 4095 в 12 битах, это будет 100 нит. Опять же, мы видим, что для яркостей HDR до 100 нит, согласно градуировщику, они должны рендеризоваться на дисплеях 100 нит с LDR с точно такой же яркостью, как предписывает изображение 5000 нит, и выше этого градуировка LDR отсекает все до PB_L=100 нит.

Мы также видим, например, что в этом представлении, для получения одних и тех же рендеризованных яркостей для темно-серых областей на дисплее с LDR как на дисплее с HDR, потребуется увеличить сигналы яркости изображения LDR (которые в этой схеме также можно считывать, однородно между L1, соответствующей v=1,0, и 0), т.е. нужно увеличить наклон темного или коэффициент усиления на угол b, по сравнению с относительными значениями HDR (здесь на ʺнеправильнойʺ оси 100 нит, показанной как диагональ, поскольку потребуется знать, что ось, заканчивающаяся на 5000 нит, соответствует максимальному сигналу яркости, либо входного изображения, либо теоретически вычисленного выходного изображения путем осуществления тождественного преобразования). Теперь мы выводим необходимую кривую 1803 картирования MDR для относительного возбуждения между минимумом и максимумом (минимальный и максимальный сигнал яркости теперь соответствуют для этого дисплея PB_D=500 нит значению 0, соответственно 500 нит, что показано как Y_out_MDR справа на графике), т.е. этот Y-out_MDR для любого Y_in Im_in? Мы проводим линию, ортогональную диагонали (картирование 1701 HDR5000 в HDR5000), и помещаем на ней метрику (1850). Эта метрика будет иметь значения между отсутствием изменения яркости, или ʺ0ʺ, и ʺполнымʺ изменением (или ʺ1ʺ), с учетом градуировки LDR. Теперь мы можем находить положение M_PB_D, соответствующее любому PB_D на этой метрике (см. нижеприведенные примеры вычисления). В случае, когда мы хотим, чтобы вид выглядел (для этого фактического дисплея с PB_D, но конкретной критичной сцены, которая должна выглядеть более близкой к LDR в течение более долгого времени при перемещении PB_D вверх от PB_L=100 нит) больше похоже на LDR, можно определять другую точку M_PB_U, например, согласно вариантам осуществления, описанным ниже. Можно рассматривать ʺсреднююʺ точку как соответствующую дисплею, который связывает свой PB_D (нелинейно) примерно посередине между опорными дисплеями PB_H и PB_L, в отношении своего вида, т.е. своих возможностей HDR. Теперь предположим, что точка изгиба PBE в этом примере фактически не такая же, как просто где отсечение начинается ввиду ограниченного значения PB_L 100 нит, но является особой критической точкой в градуировке (которая может передаваться по меньшей мере одним параметром (параметром в метаданных, который указывает соотношение цветового преобразования исходной градуировки LDR и HDR от градуировщика), например, ее относительное положение на оси Y_in между 0,0 и 1,0, и ее высота на оси Y_out_LDR). Теперь мы видим, что в этой повернутой версии интерполяция, эта семантически важная точка не обязана оставаться в одной и том же положении Y_in, как в вариантах осуществления вертикальной интерполяции, но может сдвигаться со смещением dp, что делает этот конкретный способ настройки дисплея элегантным для некоторых сценариев (это, например, также может быть полезно для функций HDR в LDR, которые отсекают черные участки ниже яркости HDR L_Hb до 0 в градуировке LDR).

На фиг. 19 показано, как можно выводить полную функцию 1803 преобразования яркости MDR для получения изображения MDR, начиная с функции, задающей градуировку LDR (1802), в повернутой структуре. Специалисту в данной области техники должно быть ясно, как блок (1312) направленной интерполяции может вычислять новую текущую координату x rc, соответствующую координате Y_in, и как можно вращать функцию. Эта функция может храниться, например, во временной памяти. Теперь нужно определить мультипликативное масштабирование значение S, например 0,63 (определение будет дано ниже), которое будет давать необходимые точки кривой MDR. В порядке примера показано, как точка изгиба перемещается в новое положение (M_PB_D, если мы поместим туда метрику), но все остальные точки, при любой форме функции, будут изменяться согласно тому же мультипликативному принципу. Поэтому, если взять текущую координату rc и соответствующую функцию картирования яркости LDR FR_L(rc), то необходимое значение функции цветового преобразования HDR в MDR будет определяться как FR_M(rc)=S*FR_L(rc). Затем кривую снова можно повернуть, чтобы получить значения в структуре на фиг. 18, и эти значения можно снова помещать в память. Для попиксельной обработки фактически потребуются значения коэффициента усиления, поэтому варианты осуществления блока (200) определения масштабного коэффициента обычно будут сохранять LUT значений gt для всех возможных значений Y_in (или фактически, в наших предпочтительных вариантах осуществления используются значения RGBmax, но они аналогично изменяются между 0,0 и 1,0).

Вычисление этих значений gt может осуществляться путем сравнения высоты вычисленной функции преобразования яркости MDR для обслуживаемого дисплея PB_D с высотой диагонали для всех входных значений, с последующим получением значения множителя путем деления одной на другую, как показано на фиг. 16.

Теперь фиг. 20 демонстрирует, как задавать хорошо работающую метрику для получения масштабного коэффициента S.

Предположим, мы хотим вывести изображение MDR (и функцию, определяющую значения сигнала яркости, которые требуются при наличии значения яркости или сигнала яркости входного изображения) для дисплея, например, PB_D=500 нит. Нужно масштабировать значения возбуждения для получения яркостей всех объектов, правильных относительно кривой возбуждения для LDR. Поэтому мы базируем все во всегда типичной (поскольку это традиционное стандартизованное значение, но вещи могут изменяться в будущем и наши технические принципы останутся неизменными) структуре 100 нит этой функции 2002 картирования яркости SDR. Предположим теперь, что мы хотим, например, чтобы светлоты более темных участков по-прежнему выглядели одинаково для всех трех дисплеев (HDR, LDR и MDR), насколько затем нам нужно переместить точку P1 или P2 вниз, к диагонали, соответствующей градуировке HDR, или к горизонтальной входной оси, для получения правильной точки P3 на кривой MDR.

Поскольку необходимо считывать эту кривую MDR на оси 500 справа, мы составим следующие математические уравнения:

A=P_OETF(Lm/PB_L, PB_L)

B=P_OETF(Lm/PB_D, PB_D) [ур. 9]

Это наши заданные выше функции OETF HDR loggamma, но теперь не заканчивающиеся на 5000 нит, но на втором значении после запятой, например PB_L=100 нит (обычно). Т.е. это генерирует перцептивную ось с текущей координатой, которая останавливается на 1,0, например, для 100 нит, что является осью y этой карты. Lm в этом сценарии является значением 5000 нит Im_in, но может различаться для других эталонных кодировок HDR.

Фиг. 23 иначе демонстрирует физическое значение масштабных коэффициентов (A,B) элементарного преобразования. Также можно рассматривать P_OETF как повторно нормализованную функцию, которая не заканчивается на 1, но переходит, например, к 5,0 (и затем позже поскольку это просто умножение максимума, если нужны отношения, можно добиться того же в нормализованной к 1 версии). Итак, нужно преобразовать кривую 2303 градуировки картирования яркости HDR в LDR для получения надлежащей кривой MDR. Это не должна быть кривая 2304, поскольку это лишь применение градуировки LDR к более светлому дисплею PB_D, который будет давать слишком светлый вид. Масштабирование яркостей более темных участков в изображении для эквивида (т.е. имеющего одинаковые рендеризованные яркости, например, для 10% самых темных цветов на любом дисплее с MDR и опорных дисплеях HDR и LDR), будет давать одинаковый коэффициент растяжения для перцептивной оси к новой нормализованной версии (т.е. 1,0, соответствующего, например, 500 нит) как определение этого значения из белого (1,0). Здесь мы теперь показываем поведение нашего цветового преобразования не в относительной системе координат, нормализованной к 1,0, но в абсолютной на опорной оси 5000 нит. Для естественного преобразования (просто применения кривой LDR без учета более высокого PB_D) яркости 100 нит (например, белого), исключительно в отношении повторной нормализации оси, поэтому без учета каких-либо особенностей кривой преобразования яркости, указанных градуировщиком, или любых параметров управления, касающихся интерполяции яркостей, например gpr, нужно усиливать цвет 2301 до эквивалентного ему 5000 нит (т.е. все же без учета надлежащего противодействия интеллектуальной переградуировки).

Т.е. нам нужно определить на P-OETF-перцептуализованной оси y величину растяжения вектора. Если сто нит соответствует 1,0, то мы находим значение 2302 путем умножения, например, на 1,7. То же самое можно сделать, если прочитать точки на 500-нитовом представлении кривых, т.е. в котором 500 нит соответствует максимально возможному сигналу яркости (1,0). В случае преобразования этой яркости в версию, представленную 5000 нит, получается коэффициент B, например, 1,3. Теперь фактический интерес представляет преобразование цвета 2305, определенного для градуировки LDR, т.е. в системе 100 нит (например, входная яркость HDR 500 нит должна рендеризоваться в LDR как 30 нит) в опорную систему дисплея 500 нит. Например, если бы мы не изменили значения, полученные путем преобразования, чтобы бы означало в новой системе координат 500 нит (которая находится в правой стороне оси на фиг. 18, Y_out_MDR)?

Можно видеть, что умножение y-значения 2305 на S^-1 для получения значения 2306 соответствует его умножению на A/B, но это не даст эквивид, поскольку тогда все просто станет в 5 раз более светлым на линейной шкале, и в X раз на перцептуализованной шкале. Поэтому для поддержания ограничения эквивида, следует умножать значение 2305 на S=B/A (чтобы иметь правильно масштабированную кривую возбуждения MDR, когда, начиная с кривой возбуждения LDR, но теперь отсчитываемой в система координат, где 500 нит является максимальным относительным сигналом яркости или яркостью 1,0, которая не дает пунктирную кривую 2304, но кривую 2303, которая будет желаемой кривой градуировки MDR, но теперь интерпретируемой на оси 500, вместо исходный оси y 100 нит). Поскольку все это относительные мультипликативные операции, всех их можно представить происходящими в системе координат, где 1,0 соответствует 100 нит, но если нужна фактическая рендеризованная яркость, нужно считывать ее на оси Y_out_MDR.

Поэтому при масштабировании по вертикали к оси x получится масштабный коэффициент S=B/A.

Важно то, что при любом значении PB_D можно задавать масштабный коэффициент (при желании можно даже экстраполировать) и, таким образом, получить метрику.

Если наш целевой дисплей будет PB_D=PB_H=5000 (=Lm), потребуется достичь точки P4 градуировки HDR (тождественного преобразования), т.е. с мультипликативной точки зрения потребуется масштабировать значение LDR для этого входа (яркости 50 Im_in HDR на оси x), для этой градуировки также A=50 нит слева LDR оси y, с коэффициентом S=C/A, в котором C=P_OETF(Lm/PB_H, 5000). Можно видеть, что поскольку это дает значение v для входной оптической яркости (нормализованной) 1,0, и исходя из того, что эта диагональная градуировка HDR делает все яркости равными выходным яркостям (т.е. для сигнала яркости 1,0 при получении 5000 нит на входе и выходе для градуировки HDR, соответственно, получается правильное значение для всех остальных точек на линии, т.е. также для этого, например, 50 нит, что происходит, чтобы вектор имел размер HDR_5000 нит [не показан] на входной точке для преобразования цвета).

Теперь можно математически доказать, что если нужно интерполировать по диагонали, в частности, под углом 135 градусов, функция масштабирования приобретет вид SS=[(B-1)/(B+1)/(A-1)/(A+1)].

Также можно связывать с этим положение метрики на линии между точкой P4 яркости HDR и точкой P1 яркости LDR, как мы делали на фиг. 18. Это будет соответствовать смещению метрики или, в целом, текущей координаты MS, которая в вертикальном варианте осуществления может указываться как Y_MDR=Y_HDR+MS*(Y_LDR-Y_HDR). Также в универсальной ситуации такая координата MS будет принимать значение между MS=0 для PB_D=PB_H, т.е. когда требуется градуировка MDR, идентичная градуировке HDR, и 1,0, когда требуется градуировка LDR.

На основе этого простого пояснения читатель может понять, что одна и та же схема преобразования будет применяться при наличии общей функции 2001 TMF, задающей градуировку LDR из градуировки HDR в качестве входа.

Поэтому в нашей схематической конструкции, приведенной на фиг. 13, блок (1312) направленной интерполяции будет вращать (осуществлять соответствующее математическое преобразование, например, получение LUT повернутых значений для входной оси на фиг. 19) принятую функцию, определять надлежащие масштабные коэффициенты SS, вычислять функцию, соответствующую переградуировке MDR в повернутой структуре, как объяснено выше, и повторно вращать к структуре, в которой ось Y_in горизонтальна. Тогда мы получаем, например в LUT, значения функции Y_out_MDR для входных значений Y_in. Затем блок (1311) определения общего множителя будет преобразовывать эту функцию в соответствующий набор (LUT) множителей gt, поскольку наша типичная структура цветового преобразования будет работать с теми, как объяснено.

До сих пор были описаны варианты осуществления, агностические к тому, как заданы и, в частности, параметризованы функции цветового преобразования. Вышеописанная обработка может работать с любыми значениями функции, и мы объясняли их, как если бы они были чистыми LUT.

Однако может существовать интересная семантическая информация, указывающая, каким образом градуировщик задает функции. Например, он может задавать функцию многосегментной яркостной обработки с более низким сегментом для обработки более темных цветов, например, цветов внутреннего пространства, и второй более высокий сегмент, указывающий, что следует делать в более светлый сегмент, например, цвета внешнего пространства. Это поведение преобразования яркости может передаваться на приемник, например, параметром Lt, который также является разграничителем между внешними и внутренними яркостями. Возможны многие альтернативные философии параметризации. Может потребоваться сдвигать положение яркости этого порога по меньшей мере в некоторых градуировках MDR по меньшей мере для некоторых типов изображений HDR (например, вместо желания поддерживать цвета внутреннего пространства, выглядящие одинаково на всех дисплеях, градуировщик может принимать решение использовать чуть более высокие возможности дисплеев с HDR, например, выше 1500 нит, также для некоторого осветления цветов в помещении). Сдвиги вдоль оси x и вдоль оси y могут быть полезны. Все зависит от того, какие цвета присутствуют в изображении, и какие контрастности внешнего вида нужны градуировщику, и т.д.

Приведем один интересный пример для пояснения возможного параметрического варианта осуществления.

Фиг. 21 демонстрирует пример интересной стратегии преобразования яркости HDR в LDR, которую нужно поместить в основной инструментарий, который задает нашу технологию кодирования в связи с видом HDR (это будет соответствовать конкретному варианту осуществления пользовательской кривой блока 111, но вместо передачи в качестве LUT мы будем передавать эту функцию как 5 параметров; 3 из которых позволяют описывать кривую картирования, показанную на фиг. 21: наклон скорости подъема для самых темных цветов изображения, начиная с 0,0 [управление коэффициентом усиления тени]; наклон снижения выделений т.е. угол под которым верхняя линейная часть идет вниз, и ширина или полуширина параболической секции между ними: можно уникально определить среднюю точку midx, где линейные части пересекаются, и затем параболическая секция может проходить от midx-ширина/2 до midx+ширина/2). На этом графике показаны нормализованные (например, к 10 битам) сигналы яркости, а напротив них соответствующие яркости, сверху для входного изображения HDR 5000 нит, и сразу справа яркости выходного изображения MDR 500 нит, которые можно вычислять из входного изображения HDR, удаляя теперь детали 100 нит (которые использовались выше для упрощения объяснения наших принципов).

Градуировщик снова указывает кривую 2100 HDR в LDR (т.е. 100 нит), но теперь с этой конкретной формулировкой функции. Она содержит коэффициент усиления темного (наклон dg), который определяет, насколько светлыми будут выглядеть самые темные цвета в изображении, градуированном с LDR. Это важно, поскольку, если в сцене HDR присутствуют очень светлые объекты, например, лампы, которые все еще правдоподобно захватываются в сигналах яркости HDR, призрачные участки той же сцены могут падать очень глубоко на нормализованной оси, и поэтому могут нуждаться в значительном усилении в градуировке LDR, чтобы все же можно было видеть, что там происходит. Темный режим заканчивается в точке 2101. Для наиболее светлых цветов существует аналогичный линейный сегмент с коэффициентом усиления hg выделения. Посередине существует параболический сегмент, ширина которого соответствует концевым точкам линейных частей. Это позволят управлять контрастностью умеренно серых объектов.

Теперь мы видим, что параметрически передаваемые особые точки изменили положение на кривой 2103 преобразования яркости MDR. Эти измененные положения можно вычислять с использованием направления DIR и, в частности, метрики.

midx=(1-hg)/(dg-hg)

Затем вычисляется новая средняя точка Pm2 с координатами newMidx и newMidY:

x0=midx; x1= dg*midx; y0=dg*midx; y1=midx

m=(y1-y0)/(x1-x0)

b=(x1*y0-x0*y1)/(x1-x0)

newMidx= ((x1-x0)/2)*(1-SS)+x0

newMidy=m*newMidx+b

Отсюда можно вычислить новую ширину параболического участка и, таким образом, две оконечные точки линейных сегментов:

newWidth=(1-P_OETF(SS, PB_H) )*old_width

где old_width - параметр этой кривой, определенный градуировщиком, а именно, ширина параболического сегмента, а именно, ширина асимметричных или симметричных проекций в обе стороны от точки, где продолжения линейных сегментов встречаются в так называемой средней точке. И затем, конечно, также можно повторно вычислять новые коэффициент усиления темного и коэффициент усиления выделения:

newGg= newMidy/newMidx

nwHg= max((newMidy-1)/(newMidx-1),0)

Читатель может понять, что можно построить стратегии повторного расчета для интересных точек, или других параметров функций преобразования яркости для других сценариев. Интересный вывод из этого примера состоит в том, что устройство принимающей стороны может вычислять новые параметры для окончательной кривой для применения для получения MDR из реконструированного HDR (или даже непосредственно из SDR), и что это зависит от установленного масштабного коэффициента SS, который, в свою очередь, зависит не только от значения PB_D на принимающей стороне, следовательно, насколько изображение оптимального вида для него будет соответствовать виду HDR, соответственно, SDR, но и от угла, выбранного для определения кривой (например, поворот на 45 градусов влево от вертикали). Поэтому некоторые из наших вариантов осуществления работают путем повторного вычисления параметров, задающих функцию картирования яркости, и согласно принципам ориентированной метрики.

Зная, как осуществлять основные вычисления (можно применять простые варианты осуществления, которые являются, по большей части, слепыми особенностями изображения и желаниями градуировщика, все же необходимые для создания приемлемых переградуированных изображений MDR для имеющихся дисплеев), рассмотрим теперь пару более наглядных вариантов осуществления того, как градуировщик может варьировать при этом путем включения нескольких дополнительных технических параметров управления, адаптированных к особенностям текущей сцены HDR.

Фиг. 22 демонстрирует, как можно для конкретной сцены HDR или кадра изображений непосредственно кодировать, какое значение MS будет соответствовать какому имеющемуся PB_D. Как следует из вышесказанного, для нашего вывода картирования яркости MDR (или, в целом, цветовых преобразований), необходимо, прежде всего, средство для позиционирования на метрике (т.е. между 0,0 и 1,0 или даже вне этого диапазона для экстраполяции) точки M_PB_U, что может осуществляться с нормализованной координатой MS. И затем от этого значения можно преобразовывать эту функцию картирования яркости любой формы для осуществления цветового преобразования HDR в LDR (или LDR в HDR в других сценариях, например, режиме 2) в функцию, необходимую для вычисления изображения MDR. Теперь, при наличии явной функции (2201) определения положения метрики, например, передаваемой в виде LUT, или простого уравнения, в принципе, даже не нужно определять основную метрику. Это может быть выгодно, если градуировщик может без труда определять такую функцию, например, можно использовать степенной закон, для которого градуировщик может изменять степень, например, поворотом ручки. Тогда он сразу увидит на своем дисплее с MDR, как изменяется полный вид изображения или фокус на критичной области, например, на чудовище в темноте, которое ему хотелось бы видеть в приемлемой степени, чтобы гарантировать, что оно будет аналогично приемлемо видимым на всех остальных фактических дисплеях в жилище зрителя.

Но, при наличии хорошей метрики, можно также спроектировать изменения точной настройки, как показано на фиг. 15. Здесь m_MT_norm_in является значением MS для нашей конкретной выбранной метрики, т.е. будет, опять же принимать значения между 0,0 и 1,0. Это позволяет вычислять значение для конкретного дисплея с пиковой светлотой PB_D. Если градуировщик ничего не указывает, результирующий m_MT_norm в качестве выхода будет таким же, и применялась бы стандартная автоматическая настройка дисплея как в любом из объясненных выше вариантов осуществления. Однако градуировщик может указывать функции, которые отклоняются от этой формы, предпочтительно плавно, и заканчиваются в координатах 0,0 и 1,0. Например, он может построить степенную функцию, степенной параметр gpr которого определяет, насколько изящно должна выглядеть переградуировка MDR, например, наподобие градуировки LDR, как показано, даже для дисплеев с очень высоким PB_D (т.е. m_MT_norm_in приближающимся к 0), или наоборот (как показано положением результирующей точки M_PB_U, смещенной на dgr). Он даже может формулировать для сложных функций, которые могут иметь, например, разное поведение для дисплеев выше конкретной пиковой светлоты, причем их поведение может кодифицироваться вторым параметром gptt, или даже дополнительными параметрами, например, задающими линейную нижнюю часть кривой, и т.д.

Таким образом, читатель понимает, что наша технология может применять несколько метрик (например, несколько относительно аналогичных определений OETF, которые примерно соответствуют равным ступеням освещенности, или другие функции, моделирующие такое поведение освещенности градуировок), и также несколько направлений интерполяции, и несколько способов их определения. Например, в простом устройстве это может фиксироваться в оборудовании и определяться как таковое путем осуществления вычислений, например, на процессоре, и более сложные варианты осуществления могут, например, переключаться между стратегией вычисления MDR, например, для каждого кадра изображений в фильме (или даже для частей изображения, например, более низкие светлоты могут интерполироваться одной метрикой, или даже одним направлением, и более высокими, чем другие, и, в зависимости от сцены, может быть не очень критично, куда проецируются все интерполированные цвета), например, согласно принципам управления, передаваемым от человека-градуировщика, принятым от стороны создания контента, обычно, в виде одного или пары простых параметров, которые оказывают первичное основное влияние на вид изображений MDR.

Фиг. 24 демонстрирует возможность колориметрического представления любого картирования (в одной и той же гамме, например, нормализованной к 1,0) из яркости первого пикселя или, в этом примере, сигнала яркости (заданного некоторым линейным уравнением из линейной яркости, соответственно, из нелинейных цветовых компонент R'G'B', которые связаны с линейными аддитивными красной, зеленой и синей цветовыми компонентами через некоторую нелинейную оптоэлектронную передаточную функцию OETF, т.е. R'=OETF(R), G'=OETF(G), B=OETF(B), где OETF, например, SDR, заданном в Rec. 709), например, сигнала яркости Y'i HDR во второй сигнал яркости, например, сигнал яркости Y'o соответствующего изображения, градуированного с LDR, двумя способами. Прежде всего, как представлено выше, можно применять мультипликативную функцию с зависящим от цвета (в случае локальной обработки, возможно, даже зависящим от пикселя) скалярного значения множителя g. Этого можно добиться путем эквивалентного умножения нелинейных красной, зеленой и синей цветовых компонент цвета HDR для получения цвета LDR (или наоборот поскольку способы могут работать в другом направлении, например, выводя градуировку HDR из градуировки LDR, что типично для систем кодирования HDR режима-ii, которые кодируют виды сцены HDR путем передачи набора традиционных изображений SDR 100 нит). Однако можно также начинать с любого опорного значения масштабированного сигнала яркости (или яркости) Y'n, относительно некоторому уровню, и масштабировать это значение (или, эквивалентно, его цветовым компонентам R'G'B' или RGB) некоторым масштабирующим значением яркости Ls. В случае, когда Y'n является самим сигналом яркости Y'i LDR, мы снова имеем вышеописанную мультипликативную реализацию, представленную, например, на фиг. 1 (и, в принципе, не имеет значения, как был вычислен коэффициент g, т.е. на основе какой цепи вычислений, для получения, например, значения f(Max)/Max или значения F(Y')/Y', и т.д.).

Как сказано, наши принципы настройки дисплея широко применимы и допускают реализацию в различных формах схемы устройства, в частности, в различных цветовых пространствах. Ниже мы рассмотрим пару вариантов осуществления на основе нелинейного сигнала яркости входного изображения SDR (т.е. PB LDR 100 нит), принятого декодером HDR.

На фиг. 25 делитель отделяет компоненту сигнала яркости от цвета пикселя (Y'UV, который обычно является представлением YCbCr, используемым в кодеках типа MPEG, например, HEVC). Верхний путь обработки может осуществлять все разновидности цветовой обработки на входном цвете с помощью необязательного цветового процессора 2503, но он содержит преобразователь 2504 цветов для преобразования цвета в нелинейный R'G'B' (т.е. тройку цветовых компонент, заданную OETF Rec. 709, или нелинейную тройку цветовых компонент, заданную квадратным корнем). Для пояснения этого изобретения, предположим, что цветовой процессор осуществляет только модификацию насыщенности текущих цветов пикселя, подлежащих обработке на основании яркости этих цветов пикселя, как описано в WO2014/128586 фиг. 15A. Может существовать блок 2526 определения функции, который использует алгоритм для определения функции насыщенности s(Y'), где s - зависящий от сигнала яркости множитель для умножения компонент хромы Cb=B'-Y' и Cr=R'-Y' на (или использования аналогичного определения альтернативной обработки насыщенности), чтобы не слишком много цветов в диапазоне MDR подвергалось отсечению цвета, но для этой заявки предполагается наличие такой функции s(Y'), которая затем будет использоваться цветовым процессором 2503 для насыщения или снятия насыщения различных цветов в начальном изображении (т.е. в этом иллюстративном варианте осуществления изображение SDR используется в качестве начального изображения, но, с необходимыми поправками, альтернативный вариант осуществления может выводить изображение MDR, начиная с изображения HDR, например, Im_RHDR). Затем на преобразователе 2501 сигнала яркости применяется функция, которая задается принятыми метаданными, определяющими функцию, т.е. эта часть аналогична вышеописанным вариантам осуществления, например, на фиг. 1 путь обработки между входом (R,G,B), поступающим из необязательного блока 106 SAT, и коэффициентом g, выводимым на умножитель. Снова умножаем на надлежащий g для этого входного цвета (или в различных вариантах осуществления именуемый, например, gt), но g здесь именуется Ls. Масштабированные R's, G's, B's могут быть просто нелинейными цветовыми компонентами изображения LDR (т.е. изображения градуированного вида LDR пары HDR/LDR, которая принимается в этом варианте осуществления) (например R's=sqrt(R_linear_LDR), в котором R_linear_LDR - красная линейная цветовая компонента, необходимая для смешивания для создания правильно рендеризованного изображения на дисплее PB 100 нит). R's и т.д. обычно могут быть компонентами sqrt(R)/Sqrt(Y), где Y - некоторая характеристика яркости, или коэффициент между значениями яркости или сигнала яркости HDR и LDR. Выходные нелинейные цветовые компоненты R'o, G'o, B'o являются компонентами, задающими изображение вида HDR, например, обычно, также заданные в этом варианте осуществления согласно Rec. 709, обратное BT1886, или определение квадратного корня используемой нелинейности для этого определения цветовых компонент. Это означает, что Ls может обычно также наблюдаться (т.е. задаваться) в виде нелинейного квадратного корня по сравнению с яркостью (которая универсально задается и в линейном пространстве отсчета фотонов). Может существовать дополнительное преобразование форматирования цвета, применяемое блоком 2506 форматирования цвета, дающее цветовое представление Rd, Gd, Bd, подходящее для передачи на дисплей (например, по соединению HDMI). Например, некоторые дисплеи могут иметь режим, который принимает линейный RGB, и в этом случае блок 2506 форматирования цвета будет применять операцию возведения в квадрат на трех компонентах R'o, G'o, B'o. Но другие дисплеи могут иметь другие форматы передачи изображения HDR, например, для сжатия информации в пределах, которые позволяет соединитель, и затем эта окончательная кодификация применяется на 2506. Внутри подключенного дисплея 2510 блок 2511 улучшения цвета может дополнительно применять оптимизацию цвета. В результате может получаться, что наши варианты осуществления настройки дисплея при предварительной обработке изображений (или, в частности, если наш блок является прямой частью декодера изображения HDR, непосредственного декодирования в некоторый подходящий промежуточный формат среднего динамического диапазона, т.е. для пиковой светлоты дисплея, которая не равна ни PB изображения HDR совместно кодированной пары, ни PB изображения LDR) только применять настройку дисплея на основе характеристик пиковой светлоты рендеризующего дисплея и/или только применять настройку дисплея к наиболее светлым, например, 95% яркостей, или, например, 80% сигналов яркости, и оставлять измеренную и охарактеризованную оптимизацию окружения рендеризации самых темных цветов специальным алгоритмам производителя TV. TV может содержать, например, камеру, которая направлена на окружение зрителя, путем применения обнаружения лиц, и затем характеризует количество света, излучаемого непосредственно на него (и потенциально также под каким углом, например, несколько пятен над диваном), и каково универсальное окружающее освещение, т.е. прямое+непрямое освещение стен, устанавливая общий уровень темноты для зрительного зала, и т.д. Затем эти параметры могут, когда их не обязательно вводить в наши алгоритмы настройки дисплея для предварительной обработки (хотя эту информацию можно использовать для принятия решения по надлежащей настройке самых темных цветов), использоваться внутри TV для оптимизации самых темных цветов, например, некоторого их осветления блоком 2511 улучшения цвета. В необязательном порядке, некоторые варианты осуществления может иметь условный предсумматор (2555), который позволяет осуществлять более универсальную настройку для мультипликативной цветовой обработки, особенно при оптимизации ярко освещенных окружений наблюдения для которых требуются осветленные версии самых темных цветов изображения. Например, этот предсумматор использует фиксированное или предварительно вычисленное пороговое значение YT и прибавляет фиксированное или предварительно вычисленное значение k, и аналогичные варианты осуществления могут делать это на трех компонентах RGB.

Различные варианты осуществления могут быть составлены согласно этому принципу.

Например, может быть полезным производить вычисление оптимизированного вида, зависящего от дисплея, и, одновременно, соответствующего gt или Ls в области линеаризованного цвета. Например, согласно варианту осуществления, показанному на фиг. 26, конкретные (например, заданные градуировщиком цвета) функции картирования яркости обновляются от LDR к HDR (или от LDR к MDR) где заданные в перцепционно однородном представлении светлот (что позволяет градуировщику более быстро более релевантно управлять видом и светлотами всех объектов изображения). Поэтому блок 2501 на фиг. 25 содержит в этом варианте осуществления в последовательном порядке: блок 2601 возведения в квадрат, или, в порядке альтернативы, применение функции EOTF стандартного дисплея BT1886, затем функция, которая преобразует значения Li ʺсветлотыʺ (которые затем будут яркостями, по меньшей мере в очень хорошем приближении), полученные в результате применения преобразования к перцепционно более однородным значениям P светлоты, осуществляемого блоком 2602 обеспечения однородности (который может применять, например, OETF, заданную Philips: ур. 8). Блок 2801 картирования яркости применяет любое картирование по желанию создателя контента и реконструируемое из его кодификации, принятой в метаданных. Например, он может создавать этот иллюстративный вид HDR из вида LDR, усиливая яркости на среднем участке и ослабляя некоторые наиболее светлых яркостей. Он создает яркость Pho вида HDR (или MDR), все в той же перцептуализованной области, которую линеаризатор 2604 может преобразовать в значение линейной яркости света HDR обрабатываемого в данный момент пикселя, LL. В этом варианте осуществления преобразователь 2605 представления преобразует его путем применения квадратного корня, получая: Ls=sqrt(LL). Блок 2801 картирования яркости может принимать различные вышеописанные формы или другие формы, т.е. он может брать значение MS (например, определенное STB на основе установленных условий во время рендеризации, или указанное создателем контента, или любую их комбинацию, т.е. MS=FUNCT(MS_1, MS_2), где MS_1 и MS_2, соответственно, является указанным создателем и указанным приемником значением [или любой другой эквивалентный вариант, например, MS=MS_1+Delta_MS, и т.д.]), и определять некоторую подходящую новую функцию картирования яркости для картирования LDR в MDR с пиковой светлотой дисплея вместо, например, HDR 5000 нит (как показано пунктирной и, соответственно, сплошной кривой внутри 2603).

Фиг. 27 описывает другой вариант осуществления, в котором большинство блоков такие же, как на фиг. 26, но теперь осуществляется явное деление линейной яркости света HDR и входного сигнала яркости Y'I SDR, и для этого конкретного варианта осуществления это деление возводится в степень MS, где 0<=MS<=1, и MS, опять же, указывается согласно любому автоматическому, заданному человеком или полуавтоматическому способу.

На фиг. 28 показан полезный вариант осуществления для каких-либо других, например, сложных вариантов осуществления настройки дисплея. Теперь блок преобразования яркости, реализованный как преобразователь 2501 сигнала яркости, сначала использует блок 2801 картирования яркости для преобразования яркостей изображения LDR в яркости изображения HDR LLH (в перцептивной области, но то же самое может происходить в области линейного преобразования или квадратного корня), и затем (например, понижение от PB_HDR=5000 нит до PB_D=2800 нит) картирование яркости для настройки дисплея применяется блоком 2802 повторного картирования яркости дисплея, что дает правильные настраиваемые под дисплей яркости LLDA. Такой вариант осуществления позволяет, например, подключенному дисплею загружать функцию картирования яркости F(LLH), определенную им, в 2802 через вход 2888 (установлен ли этот блок 2802 в отдельной STB или образует часть декодера HDR в TV), вместо того, чтобы просто вводить значение MS и позволять блоку 2802 повторного картирования яркости дисплея вычислять соответствующую функцию картирования яркости. Можно также использовать функции картирования, которые не тесно связаны с формой функции переградуировки, преобразующей между принятым изображением LDR и эталонным изображением HDR, и т.д.

Фиг. 30 поясняет, что наша оптимизация дисплея путем создания оптимальных изображений MDR может осуществляться несколькими способами. Например, на фиг. 30A показана возможность использования этого в качестве апостериорной обработки изображений после декодирования (предположим, принятых как SDR) принятых изображений в версию HDR (предположим для простоты понимания реконструкцию эталонного изображения HDR, например, с PB_C=5000 нит), Im_HDR. Отсюда, настройка дисплея понижается до необходимого Im_MDR, например, для дисплея PB_D 700 нит или 1500 нит. В такой топологии двух блоков декодер 3001 и блок 3002 настройки цвета может фактически содержаться в разных устройствах, например, декодер может содержаться в STB или компьютере, аблок настройки цвета может располагаться в TV (и в этом случае, хотя он получает реконструированные изображения HDR, он все же получает функции F_ct), или они могут находиться в одном и том же устройстве, или даже один или более из блоков может располагаться, например, на сетевом компьютере, который, например, обслуживает пользователя заранее определенным контентом.

Однако другая топология (показанная на фиг. 30B), в которой картирования в MDR немедленно учитывается, т.е. при вводе Im_SDR, нет необходимости сразу же выводить изображение HDR, но, например, изображение 700 нит может немедленно выводиться из изображения SDR. Картирование состоит в том, что комбинация всех отображений в виде карты сначала, например, в 5000 нит, и затем в 700 нит, и может предварительно вычисляться блоком 3012 оптимизации программного обеспечения. Особенно, если все отображения в виде карты имеют свое собственное мультипликативное масштабирование, комбинация всех этих множителей для достижения окончательного множителя, подлежащего использованию для яркости каждого пикселя, осуществляется относительно непосредственно. это необходимое преобразование может предварительно вычисляться после приема функций F_ct, и передается и загружается в декодер 3010 в виде LUT (Y'_out=LUT(Y'_in)), подлежащей использованию на нескольких следующих изображениях кадра, или, другими словами, до момента приема новых функций, пригодных для нескольких следующих изображений (некоторые варианты осуществления могут передавать набор функций только для N изображений в сцене, но другие варианты осуществления могут принимать новые функции для каждого последовательного изображения видео). Может существовать задержка 3011, представляющая 1 или пару изображений, в случае, когда блок 3012 оптимизации программного обеспечения должен осуществлять более сложную обработку (например, содержащую анализ контента изображения), поскольку, в целом, также цветовая LUT (CLUT) может передаваться для обработки цветовым процессором 2503, но другие варианты осуществления могут не иметь этой задержки. Преимущество такой топологии состоит в том, что требуется только 1 набор оборудования, и оптимальная настройка дисплея немедленно осуществляется на (теперь изменяемая, а не фиксированная, как того требует нормальная парадигма декодирование) этап декодирования. Мы поясним это чуть более подробно, исходя из того, что эта полезная топология используется (квалифицированный читатель понимает, как различные предложенные компоненты применяются ко всем вариантам).

Фиг. 31 демонстрирует прагматически очень полезный способ осуществления настройки для получения изображения MDR и его яркостей Y-MDRL (или, эквивалентно, сигналам яркости в аналогичных вариантах осуществления).

Яркости SDR Y_SDRin отображаются в виде карты перцептуализатором 3101 в перцепционно более однородное представление сигнала яркости, например, согласно следующей функции:

Y'U=log(1+[rho(Y_SDRin)-1]*степень(Y_SDRin;1/2,4))/log(rho(Y_SDRin)) [ур. 10],

где rho - постоянная, которая зависит от пиковой светлоты кодека, используемого для любого изображения (в этом случае, PB_C=100 нит SDR), которая определяется для Y_SDRin и Y'U, нормализованного к 1,0, согласно:

rho(PB_C)=1+(33-1)*степень(PB_C/10000;1/2,4).

Поскольку это всего лишь принцип, также можно использовать другие блоги снятия однородности сигнала яркости, с целью, чтобы равные шаги этого сигнала яркости Y'U точнее соответствовали визуально равным шагам светлоты.

Остаток в этом алгоритме будет работать в этой области, который отменяется линеаризатором 3105, который повторно преобразует цвета пикселя в представление линейной яркости.

Важным в этом варианте осуществления является двухэтапный подход настройки. Мы можем наилучшим образом объяснить это с помощью понижения подчасти 3110, поскольку эта схема соответствует примерным преобразованиям, чтобы сначала преобразовывать SDR в HDR (например, яркости HDR YHL в диапазоне до PB_C=5000 до 1000 нит) путем обновления подчасть 3100, а затем этого HDR в необходимые яркости MDR (Y_MDRL) путем понижения. Опять же, все операции будут осуществляться в области перцепционно униформизированного сигнала яркости (т.е. однородные относительные сигналы яркости HDR Y'H будут преобразовываться). Может существовать первое необязательное картирование 3111 коэффициента усиления, которое фактически отображает в виде карты некоторую максимальную яркость в изображении (например, хотя PB_C может составлять 5000 нит, такие высокие яркости можно считать слишком светлыми для настоящей сцены изображений, поэтому градуировщик может градуировать контент до предела, например, 2000 нит, однако, с учетом значительно сниженного динамического диапазона SDR, имеет смысл отображать это в виде карты в максимально возможный для 100 нит, т.е. код 1023, соответствующий 100 нит PB_C, однако, для систем, которые, например, кодируют один HDR как другой HDR, это картирование коэффициента усиления может отсутствовать; аналогично, некоторые варианты осуществления могут осуществлять некоторое картирование черного, отображающее в виде карты некоторый черный сигнал яркости HDR Y'H в некоторый черный нормализованный сигнал яркости HDR Y'HN). Но важно, на этих нормализованных сигналах яркости HDR Y'HN, которые все еще имеют вид распределения светлоты типичного изображения HDR, блок 3112 грубого картирования сигнала яркости может применять грубое отображение в виде карты. Это отображение в виде карты грубо управляет картированием пары поддиапазонов, на которые позже каритровать фактически желаемые оптимальные сигналы яркости различных объектов изображения. Например, практический вариант, который мы находим хорошо работающим, был вариантом, который выделил поддиапазон для помещения всех темных сигналах яркости (SD), и поддиапазон для наиболее светлых сигналов яркости, возможных в изображении (SB), между которыми можно затем легко установить средний диапазон, например, в одном из наших вариантов осуществления параболического соединительного сегмента (который, например, задается на основе средней точки, например, где линейные наклонные сегменты для самых темных и самых светлых сигналов яркости встречаются, и некоторой ширины).

Независимо от того, что градуировщик хочет делать с фактическими объектами, например, в этом поддиапазоне темных участков, например, несколько осветлять самый темный объект, алгоритм настройки может, согласно двухэтапному способу, явно управлять, где должны находиться самые темные цвета, т.е. какой поддиапазон они должны охватывать, в каждом сценарии наблюдения (т.е. насколько светлым является дисплей, его PB_D, будет определять, насколько темными могут быть эти темные участки, и/или светлоту окружения наблюдения, которая также влияет на видимость особенно темных участков изображения). Градуировщик (или алгоритм автоматической градуировки на создающей стороне) могут затем в этих настраиваемых диапазонах, автоматически правильно расположенных (при условии, что настройка обрабатывается, как объяснено со ссылкой на фиг. 32), определять свои точные градуировки, например, должно ли лицо становиться немного более светлым, или контрастным, или белый стул, освещенный солнцем, должен сиять немного больше, и т.д. Блок 3113 точной градуировки осуществляет эту окончательную настройку грубых сигналов яркости Y'CG, дающую точно градуированные сигналы яркости Y'FG, после чего линеаризатор 3114 преобразует в линейные выходные яркости Y_MDRL, которые оптимально переградуированы. Специалист в данной области техники должен помнить, что эти функции были первоначально созданы на создающей стороне для ситуации понижения из эталонного HDR, например 5000 нит, в SDR (100 нит), не как в настоящее время, например, в 3000 нит, или 700 нит, поэтому они должны быть правильно модифицированы, что является тем, что делают алгоритмы оптимальной настройки. Все эти блоки будут отражаться в верхней подчасти, с теми же функциями, но, конечно, по-разному настроенными. Т.е. теперь, после перехода в перцептивную область в обратном порядке, первый блок 3102 точной градуировки будет преобразовывать однородные сигналы яркости Y'U в переградуированные сигналы яркости Y'RG (которые все еще находятся в виде динамического диапазона SDR, но при этом некоторые из объектов имеют разные сигналы яркости), то блок 3103 грубой градуировки будет применять функцию грубого выделения по меньшей мере трех поддиапазонов (которая реализует, что теперь сигналы яркости объекта преобразованы из вида динамического диапазона SDR в вид HDR), и затем, в необязательном порядке, может существовать некоторое масштабирование белого блока 3104 масштабирования, который картирует максимум нормализованных сигналов яркости HDR Y'HN (т.е. 1,0) в некоторое более низкое положение окончательных сигналов яркости HDR Y'H, например, сигнала яркости, который соответствует 2000 нит на представлении PB_C 5000 нит (независимо от используемой функции выделения кода, которая в этом варианте осуществления, мы предполагаем отвечающим приведенному выше уравнению [10]).

Как сказано эти блоки фактически могут не присутствовать как таковые на принимающем устройстве, поскольку они являются принципиальными частями, которые программное обеспечение может использовать для определения яркости LUT (LLUT) для предварительной загрузки в фактическом единственном блоке картирования яркости, но это поясняет, как преимущественно может работать настройка.

Фиг. 32 описывает это более подробно. Фиг. 32a демонстрирует, что градуировщик хотел бы, чтобы произошло, если бы на создающей стороне имелась ситуация, например, 600 нит MDR. Но поскольку PB_D может быть любым, такой ситуации никогда не возникнет. Все же, это имеет смысл как рабочее предположение, что, если бы он хотел осветить пиксели, например, автомобильного кресла, он хочет осветлить те же самые пиксели, даже если они были предварительно осветлены посредством грубого картирования. Поэтому то, что градуировщик хотел бы делать, это точно настраивать яркости объектов, которые заданы, например, на оси 600 нит MDR, т.е., например, пикселя с промежуточной яркостью Y_im. Однако приемник не получает ни оптимальной кривой 3203 картирования HDR в MDR, ни измененному положению пикселя 3303. Первоначально имеется кривая 3201 HDR в SDR и указание того, что градуировщик хотел бы точно настроить на создающей стороне пиксель 3304, т.е. который является некоторым пикселем SDR (заданный на части 0-100 нит диапазона яркости). Но то, что фактически должно происходить в качестве второй, точной градуировки, изображает кривая CC на фиг. 32b. но, как сказано, после того, как устройство принимающей стороны задает оптимальную кривую 3202 грубой градуировки, остается только кривая точной градуировки заданный в системе координат SDR и HDR. Но мы можем игнорировать перцептуализацию, и затем стабильный коэффициент во всем этом, соответствующий как начальному сигналу яркости SDR Y_inL (здесь опять же предполагается, что HDR передается и принимается как изображения SDR, которые нужно переградуировать в MDR), так и соответствующей промежуточной грубой яркости в диапазоне PB_D 600 нит, а именно, Y_im, является яркостью HDR Y_HDR. Соотношение между яркостями Y_im и Y_in для любого Y_HDR, является грубым картированием. Поэтому, как показано на фиг. 32, оптимизатор 3012 программного обеспечения, нуждающийся в интерполяции LUT, использует грубое картирование для определения, какая запись в LUT, относящейся к SDR, а именно Y_in, соответствует необходимой яркости Y_im, относящейся к MDR. После этого, эту LUT можно использовать при вычислении окончательной LLUT.

Фиг. 33 демонстрирует пояснение варианта осуществления, который можно использовать для оптимизации самых темных частей изображения MDR, в частности, при наличии дисплеев, которые могут рендеризовать очень темные пиксели, особенно при наблюдении в темном окружении. Здесь предполагается, что изображение HDR PB_C 5000 нит, которое содержало данные изображения до очень темных яркостей (например, 0,001 нит или менее), передавалось как изображение SDR. Требовалось кодировать самые низкие яркости в SDR с чисто информационной точки зрения, т.е. давать им темную рендеризацию, но с линейной кривой картирования, которая имеет достаточно большой наклон, поскольку теперь, по существу, она служит, прежде всего, функцией выделения кода для самых темных яркостей HDR (вместо конкретно оптимальной градуировки LDR). Можно предположить приемлемо переводить это в традиционные устройства SDR, имеющие минимальную рендеризацию самого темного пикселя, например, 0,1 нит в нормальном окружении наблюдения телевизора (например, вечер с притушенными источниками света), т.е. это то, чему будет соответствовать код ʺ0ʺ. Но эта линейная градуировка не будет оптимальной для устройств с лучшими возможностями для рендеризации темных участков. Поэтому настройка может применять другую функцию настройки, которая дает лучший вид темных участков, до конца самых темных темных участков (что известно, например, в диапазоне HDR как порог Thr_DH, или в диапазоне SDR как Thr_DS). Например, можно использовать функции, которые дают некоторую дополнительную контрастность в зависимости от того, насколько темный приемник знает, что система может рендеризовать (как функция обоих DB_D самого темного черного участка дисплея при возбуждении в абсолютной темноте, и окружающее освещение, влияющее на оба отражение от передней пластины дисплея и адаптацию зрения зрителя, и необходимость видеть конкретные глубокие черные участки). Например, простые функции могут быть растяжениями гамма-функции, но можно использовать более усовершенствованные функции, например, после определения, какие семантические подобласти или объекты существуют в этом поддиапазоне самых темных участках до Thr_DH. В некоторых вариантах осуществления может существовать дополнительная информация об изображениях или чего-то еще, касающегося создания изображений, кроме наиболее простых вариантов. Например, в случае самого темного уровня черного дисплея, на котором контент градуировался по цвету человеком, указывающим, какие яркости этот дисплей все же может рендеризовать достаточно по-разному (с учетом его света утечки или передней пластины отражения) или, в целом, какие самые темные яркости все же будут наблюдаться градуировщиком как разные, эта информация также полезна для любого принимающего устройства при принятии решения о настройке дисплея, или, в целом, будет использоваться оптимизация цвета на стороне рендеризация. Например, если зритель имеет OLED в темном зрительном зале, который оценивается как имеющий лучшие возможности рендеризации для самых темных цветов, то, например, опорный дисплей LCD создателя контента (что указано в передаваемом значении уровня черного самого темного), затем вариант осуществления устройства настройка цветовой обработки принимающей стороны может принимать решение для применения функций растяжения только до некоторой степени, поскольку создаются псевдотемные яркости, которые специалист по созданию сам фактически не видит (но до определенной величины, которая может осуществляться, например, когда ситуация рендеризации нуждается в дополнительной контрастности для лучшего вида). Поэтому в этом варианте осуществления определение результирующего общего коэффициента, и все вычисления оптимальной настроенной формы функции, образующей основу этого в различных вариантах осуществления, также будет зависеть от значения передаваемого самого темного уровня черного дисплея создания.

Тем не менее, даже при построении мощных систем автоматической настройки принимающей стороны, которая все делает для пользователя, зритель может хотеть иметь некоторое управление системой, для выражения своих предпочтений. Однако зритель не является профессиональным градуировщиком цвета, поэтому, даже если у него есть время и желание делать это вместо того, чтобы смотреть фильм, не следует нагружать его всеми этими сложными колориметрическими проблемами. Это случай, когда наша система очень полезна, поскольку она уже реализует способ творческого специалиста на дисплее, и тогда зрителю просто нужно совершить пару быстрых (и целесообразных) точных настроек согласно своим предпочтениям. На фиг. 34 иллюстративно показан случай, когда пользователь находит, что изображение HDR немного слишком темно для его связывания (аналогично, некоторые пользователи находят HDR слишком светлым, и затем может осуществляться аналогичная обработка, но что работа будет осуществляться, по большей части, на наиболее светлых пикселях, или, возможно, в среднем, светлых вместо темных). Если зритель считает изображение конкретной сцены или фильма слишком темным, например, поскольку он смотрит в довольно светлом окружении, то, вероятно, дело в том, что самые темные участки слишком трудно увидеть. Поэтому вместо того, чтобы осуществлять глобального увеличения светлоты, которое будет повреждать вид HDR, что, опять же, нежелательно, его новая кнопка светлоты связывается только с самым темным диапазоном. При грубой градуировке вышеупомянутых трех подучастков, самый низкий участок из темных участков обычно задается и передается более высоким порогом яркости, для которого мы показали здесь значение HDR Thr_BKS на этот раз диапазона HDR 1000 нит. Если начальная оптимизированная кривая 3401 картирования для дисплея с MDR 700 нит автоматически определяется на основе только желаний градуировщика, передаваемых в функциях цветового преобразования F_ct, и ситуация наблюдения (по меньшей мере PB_D), то пользователь может настраивать свою собственную кривую, благодаря способности за несколько шагов осветления поднимать подчасти темных участков кривой, и затем средняя секция также перемещается, для связывания с неизменным наклоном для светлых участков.

Фиг. 35 демонстрирует один пример протокола настройки, который указывает, что градуировщик желает видеть рендеризованным на спектре всех дисплеев с пиковыми светлотами, например, между 5000 нит и 100 нит.

Мы видим пример пространственной станции с темными яркостями внутри (поддиапазон яркости SL), которые рендеризуют одно то же на всех дисплеях, поскольку диапазон SL до 60 нит укладывается в диапазон SDR. Светлая земля, наблюдаемая снаружи (поддиапазон BE), должна иметь гораздо более яркие светлые участки, но в SDR не существует слишком большого просвета. Все же не нужно бесконечно растягивать этот диапазон 40 нит к еще более светлым дисплеям с HDR, или на некоторых дисплеях это будет неприятно светлым. Поэтому должен быть некоторый изгиб в функции картирования для этих светлых участках от некоторого дисплея MDRx вперед (PB_Cx=600 нит). Принимающая сторона может оценивать, что из взгляда на реконструированное изображение HDR, и что, очевидно, создатель не хочет, чтобы эти участки выходили выше 600 нит, несмотря на наличие комнаты до 1000 нит. Затем настройку можно оптимизировать между требованиями, например, временной согласованностью и необходимостью в более позднем просвете для более светлых сцен, но в примере он оставляет верхний предел одинаковым для всех дисплеев с PB_C выше 600 нит, и решенный для использования всего имеющегося диапазона дисплея 600 нит, для рендеризации внепланетных яркостей в поддиапазоне Be2 как можно более светлыми, и сжатия, например, к Be3 для более низких PB_D.

Фиг. 36 демонстрирует другой возможный пример настройки дисплея по желанию для типичного вызова изображения HDR сцены. Зритель наблюдает нормально освещенную комнату (с яркостями пикселей в поддиапазоне MIDRM) в центре из темной комнаты переднего плана (DRK), в котором все источники света отключены. Глядя через окна, мы видим светлый, возможно, освещенный солнцем внешний мир (поддиапазон OUTS). При осуществлении измерений физической яркости можно обнаружить, что ʺнормальныеʺ яркости в средней комнате обычно составляют примерно 1/100 внешнего пространства, поскольку с учетом таких геометрических факторов, как размер окна и близость зданий на другой стороне улицы и т.д., локальная освещенность обычно может составлять 1/100 освещенности внешнего пространства (в зависимости, конечно, от того, что есть, и является ли средняя комната освещенной только внешним светом). Темная призрачная часть все же может, например, быть в 10 раз более темной. Поэтому уже существует отношение освещенностей 1000:1, и предполагая типичные коэффициенты отражения объектов между 90% и 1%, это означает, что мы должны ожидать отношение яркостей в сцене 100000:1 (без учета зеркального отражения солнца на металлических объектах). Конечно, в эталонной градуировке HDR мы можем не находить освещенный солнцем объект внешнего пространства кодированным, например, 10000 нит, поскольку изображение обычно наблюдается в более тусклом окружении и прямо на малом прямоугольнике дисплея и не слишком блестящим на временной шкале фильма (мы можем, например, принимать решение отводить взгляд от объектов в сцене, которые являются слишком светлыми, но допускаются для комфортного просмотра фильма, и по большей части наблюдать актеров, и не сбрасывать или раздражаться, например, светлым коммерческим знаком TL-трубки снаружи). Поэтому, в зависимости от художника, создающего эталонное изображение HDR, пиксели объекта в изображении могут иметь несколько разных значений для их яркостей. Мы предполагаем в этом примере, что изображение 1000 нит кодируется, и настройка необходима для более низких PB_D и также более высоких PB_D' (которые обычно могут художественно следовать другим принципам, которые не нужно здесь пояснять, но технически можно использовать аналогичные технические компоненты для реализации некоторого обновления настройки дисплея). Как можно видеть из протокола настройки и различных углов соединительных линий, соединяющих примерные дисплеи из непрерывного возможного спектра дисплев PB_D, это изображение может требовать гораздо более сложной настройки дисплея. Например, для такого изображения HDR высокой сложности может потребоваться, чтобы гораздо более критичный выбор, чем лишь стратегия нелинейного сжатия, согласовывался с некоторым приемлемо выглядящим изображением посредством слишком малого динамического диапазона SDR. Например, если изображение SDR не требуется для вычисления дополнительных изображений, можно принимать решение на жесткое отсечение некоторых из подобластей яркости (которые мы также называем режимами), т.е. отображать в виде карты все яркости 1000 нит принятого изображения COD_HDR в единое значение яркости или несколько значений. Как упомянуто выше в наших различных вариантах осуществления, другой проигрыватель может принимать решение. Например, телевизор может принимать решение делать это в своих заранее запрограммированных интеллектуальных эвристических алгоритмах, выполняя вычисление HDR в SDR. Или градуировщик контента может указывать, что он желает поддерживать более темные участки (поскольку что-то, представляющее интерес, может происходить в темной комнате немного позже), но жертвует внешним пространством, делая окна однородно белыми (которые он будет обычно передавать в форме своих понижающих функций HDR в LDR, но он может также передавать это с дополнительными метаданными, например, как пояснено на фиг. 6 путем отправки некоторых параметров, которые предписывают или управляют, как можно или нужно настраивать различные подобласти яркости). Но важно понять, что алгоритм настройки, реализующий такое поведение, не может просто работать путем применения простой формы функции картирования яркости в яркости SDR пикселей, поскольку затем единая яркость белого в изображении SDR (пиксели внешнего пространства, наблюдаемого через окна) не будет расширяться в набор различных яркостей, например, в настроенное изображение MDR 400 нит. Также, как можно видеть, темные участки могут настраиваться согласно равнояркостному протоколу для всех дисплеев между 400 нит и 5000 нит (и, потенциально, за пределами), но даже для меньших динамических диапазонов, чем имеющие PB_D=400 нит, необходимо затемнять пиксели неосвещенной комнаты (DRK). Особенно при естественном освещении изображения HDR могут быть весьма сложными. Рассмотрим, например, полицейский автомобиль, совершающий погоню через темный ночной лес. Фары автомобиля могут освещать деревья в сложных картинах и, кроме того, будут красные и/или синие сигнальные источники света полицейского автомобиля. В частности, дополнительно в лесу могут существовать очень темные углы, особенно в отсутствие полной луны. Особенно, при адаптации цветов/яркостей объектов изображения для получения изображения, которое выглядит более оптимальном (в идеале, аналогичный вид эталонной градуировки на этом опорном дисплее) на любом конкретном дисплее может быть далек от тривиального, нуждаясь в хорошем наборе технических решений для его обработки, особенно, прагматической его обработки. Если ничего не делать, некоторые части изображения обычно будут выглядеть неприятно слишком темными и/или другие части слишком светлыми, последнее, например, при использовании противообработки, которая сильно упрощена. Кроме того, в принципе, вероятны решения, которые могут обеспечивать создание и использование многих практических вариантов изображения, например, студийный захват, который хорошо построен колориметрически, внестудийное видеопроизводство малым коллективом, большой голливудский фильм, распространяемый на BD, потребительский контент, и т.д.

Фиг. 37 демонстрирует, как более сложные варианты настройки дисплея могут производить более сложные вычисления, например, с учетом конкретного недостатка, касающегося наиболее светлых пикселей, возможных в изображениях, или, напротив, самого темного, в частности, в случае это может затруднять наблюдение при рассмотрении в более светлом окружении наблюдения (например, когда вы смотрите TV, а ваша жена хочет читать книгу в той же комнате, т.е. имеется определенное количество включенных ламп, и настройка может обеспечивать любую конфигурацию включения комбинации ламп, присутствующих в зрительном зале). Допустимо строить более усовершенствованные методы настройки, определяя надлежащие функции в автономном режиме и загрузку необходимой, например, функции преобразования яркости SDR-to-MDR_1650nit в базовом блоке вычисления, которая затем выводит отсюда множители gt. Блок 3701 определения оптимальной функции, осуществляющий все различные определения, может выполняться как программное обеспечение и анализировать принятые функции SDR в HDR, характеристики изображений (хотя это может не требоваться, если оптимально используется информация в формах функции переградуировки картирования яркости), сведения об окружении рендеризации, дополнительно нужные создателю контента, передаваемые во вторых метаданных, или выборах производителя устройства, или желаний зрителя. Все это может приводить к разным оптимальным функциям F*, уже преобразованным в необходимый выходной диапазон MDR, или формулируемый на эталонном диапазоне HDR и все же подлежащий настройке в основе цветовой обработки, представленной блоками справа от блока 3701.

На фиг. 38 приведен пример, как вспомогательные функции можно использовать для переопределения настройки, например, путем управления формой только части, т.е. для поддиапазона входных сигналов яркости окончательной функции картирования яркости SDR в MDR. Мы показываем настройку, отличающуюся от показанной на фиг. 17, в которой, хотя картирование HDR в SDR в этом примере требуется для обеспечения значительной величины отсечения для этого примера, переградуированные или настроенные на MDR изображения не демонстрирует жесткое отсечение. Однако такая иллюстративная кривая для вывода изображения MDR из изображения HDR (передаваемого или реконструированного как Im_RHDR) 1703 демонстрирует длинный хвост мягкого отсечения, которая соответствует скорому сохранению кривой HDR, т.е. диагонали. Для некоторых разновидностей настройки может быть желательным оставаться долгое время на диагонали, т.е. иметь яркости, идентичные яркостям изображения HDR. Для темных яркостей, например, ниже 40 нит, можно понять, что в некоторых сценариях может быть полезно рендеризовать их с идентичной выходной яркостью на любом дисплее PB_D, т.е. на дисплее с SDR или любом дисплее с HDR. Иногда может быть желательным поддерживать это требование даже до очень высоких яркостей HDR, т.е. выводить настроенную кривую 3801 (где в этом примере изображение HDR формирует входное изображение для цветового преобразования для получения надлежащего зависящего от PB_D изображения MDR как выходного изображения). Конечно, изображение 4700 нит не может содержать в точности те же самые яркости, что и изображение PB_C 5000 нит, поэтому в некоторый момент нужно оставлять кривую тождественного преобразования яркости (т.е. диагональ) и начинать некоторое мягкое или жесткое отсечение. В этом примере, существует диапазон RLB, который можно выбирать для жесткого отсечения, и переходный диапазон RT для мягкого отсечения, который может выбираться устройством малым (либо согласно своим собственным внутренним правилам вычисления, либо под управлением ввода создателя контента и/или зрителя), таким образом, что виды градуировки MDR максимально допустимы для изображения вида HDR, т.е. в случае покупки дисплея 5000 нит вместо дисплея 4500 нит. Это может быть очевидно создателям контента, хотя, возможно, менее производителям устройств, и очень хорошо работать в случае, когда наивысшими яркостями являются, например, выделениями металлического отражения и т.д.

Фиг. 39 демонстрирует, как это может указываться функцией позиционирования на метрике (например, создателем контента, желающим предписывать устройству настраиваться согласно такому поведению). На горизонтальной оси задаются возможные значения PB_D, а также порог TPERF, выше которого дисплеи должны вести себя как опорные дисплеи согласно созданной эталонной градуировке HDR (т.е. как если бы PB_D=PB_C=например 5000 нит). На оси y отложено расстояние на метрике, которое в этом случае указывается как отличие от градуировки SDR (или близость к эталонной градуировке HDR). Конечно для дисплея с SDR, это расстояние должно быть 0, т.е. такой дисплей должен обслуживаться изображением SDR. Когда устройство видит, что оно должно вести себя как дисплей с HDR выше TPERF, оно может принимать решение о стратегии для поддержания максимально возможного количества яркостей MDR, равных яркости HDR (которая будет получена при осуществлении цветовой обработки на входном сигнале яркости SDR), и затем о некоторой необходимой стратегии (мягкого) отсечения, например, как пояснено со ссылкой на фиг. 38. Или даже некоторое малое сжатие яркостей ниже TPERF может осуществляться для создания немного большего места для мягкого отсечения наиболее светлых пикселей (например, яркостей 4700-5000 нит, которые не могут быть рендеризованы на дисплее PB_D 4700 нит), что показано более толстой кривой, немного отклоняющейся от диагонали.

Фиг. 40 демонстрирует другой пример, допускающий вычислительно простую настройку дисплея в вертикальном направлении. Он демонстрирует одновременно некоторые необязательные (пунктирные линии) блоки для очень полезного подробно описанного варианта осуществления, как общий принцип, где блок 4025 адаптации представляет наибольший интерес.

Предположим (без ограничения), что изображение SDR Y'CbCr поступает через вход 4001. Верхняя часть является цепью яркостной обработки, согласно универсальному практическому способу заявителя. Сначала сигналы яркости SDR Y'_SDR линеаризуются со стандартизованной BT.1886 EOTF (это определение архетипичного дисплея с SDR, и мы берем нулевое смещение черного, поэтому это уравнение является приблизительно квадратным). Затем перцептуализатор 4003 преобразует линейные яркости, которые выводятся из предыдущего линеаризатора 4002, в более визуально однородные сигналы яркости Y'P. Хотя возможны другие уравнения, предполагается, что мы используем нашу Philips HDR OETF (приведенное выше уравнение 8), с указанными параметрами, например, rho, равным 5,7, которое является надлежащим значением для дисплеев SDR, т.е. нормализованной кривой для PB_C 100 нит. Очень полезно осуществлять настройки дисплея в таком цветовом представлении, хотя это не требуется, и можно даже сбрасывать линеаризатор и выполнять вычисления непосредственно на (приблизительно квадратный корень) сигналах яркости SDR. Затем блок 4004 пользовательской кривой применяет некоторую кривую переградуировки. В универсальном варианте осуществления это будет осуществлять всю необходимую градуировку LDR в HDR, но в конкретном варианте осуществления, где присутствуют все пунктирные блоки, этот блок может загружать кривую из метаданных, которые осуществляют точную градуировку (из нормализованного представления SDR в выходной сигнал, который по прежнему является нормализованным SDR). Блок 4005 грубой переградуировки применяет функцию Fcrs для перемещения по меньшей мере трех поддиапазонов сигналов яркости, созданных блоком 4004, в надлежащие положения HDR, где теперь располагается диапазон HDR (относительные положения, т.е. по сравнению с PB_C, например 5000 нит, поскольку вычисления по прежнему работают на представлениях, нормализованных к максимуму 1,0). В конкретном примере, форма этой функции определяется параметром SSL, который определяет наклон линейной части функции для черных участков, т.е. начиная с 0, HSL аналогично определяет крутизну наклона для наиболее светлых сигналов яркости, и MIDW определяет ширину переходного участка между этими двумя поддиапазонами, например, параболической формы. Наконец, в некоторых ситуациях может существовать блок 4006 адаптации диапазона, который может картировать максимум 1,0 в некоторое относительное значение HDR dW, например 0,7, и аналогично, значение 0 может картироваться в dB, например 0,0001. Это, наконец, дает нормализованные сигналы яркости HDR, Y'CH, которые имеют надлежащую градуировку (в области перцептивного сигнала яркости). Перцептивные сигналы яркости Y'P умножаются на постоянную 1/kb, и минимум из Y'P/kb и Y'CH используется как окончательный сигнал яркости Y'FH HDR, с правильным видом светлоты.

Затем эти нормализованные сигналы яркости линеаризуются в нормализованные яркости HDR линеаризатором 4009, который, поскольку мы использовали Philips OETF на блоке 4003, будет соответствующим Philips OETF, как задано приведенным выше ур. 6. Теперь параметр rho_H будет зависеть от того, какой тип изображения HDR предполагается в системе для реконструкции, он обычно оказывается между 13,2 (для PB_C 1000 нит HDR) и 33 (для HDR 5000 нит), но, конечно, может также иметь другие значения.

Наконец, обычно линейные яркости HDR преобразуются обратно в формат квадратного корня, чтобы соответствовать входному формату Y'_SDR, блоком 4010 вычисления сигнала яркости, применяющим обратную функцию BT.1886 EOTF (в принципе, этот стандарт предписывает только дисплей и его опорную EOTF, но квалифицированный читатель может представлять себе, как определять обратную форму функции путем отражения от диагонали).

Теперь блок 4025 адаптации масштабирует до надлежащих относительных яркостей путем применения следующего вычисления.

Сначала вычисляется значение gp, соответствующее PB_D дисплея с MDR, для которого изображение нужно переградуировать от вида HDR в качестве начальной точки, аналогично описанному выше. Поэтому обычно другой блок вычисляет gp=log(PB_D/100)/log(PB_C/100), где PB_C - пиковая светлота реконструированных изображений HDR, которая, конечно, соответствует типу кодека HDR, т.е. тому, что создающая сторона выбрала в качестве полезного значения PB_C для изображений HDR пары HDR/SDR (которая может определяться положениями конкретного стандарта, например, для дисков blu-ray желательно использовать PB_C 1000 нит, или типичными потребностями приложения, т.е. разновидностями изображений, которые будут возникать, например, для новостной программы, которые могут иметь выделения, но обычно относительно однородно освещены, а не экзотически освещены, т.е. там нет темных пещер или лазерных мечей, можно предположить, что 1000 нит будет достаточно, и все, что выше, можно жестко отсекать до этого белого).

Блок 4025 адаптации будет умножать полную функцию преобразования яркости, применяемую ко входному сигналу яркости SDR, т.е. F_tot(Y'_SDR), которая сначала возводится в степень gp, благодаря чему, сигнал яркости возводится в степень (1-gp).

Следовательно, другими словами, она вычисляет надлежащим образом градуированный сигнал яркости MDR Y'M=степень(Y'GH;gp)* степень(Y'_SDR;1-gp). Аналогично вышеописанному можно преобразовывать различные более усовершенствованные методы и варианты осуществления в формулировку этой разновидности, а также преобразовывать это окончательное мультипликативное масштабирование в другие области сигнала яркости.

Наконец, в необязательном порядке нелинейные сигналы яркости MDR, заданные согласно функции в форме BT.1886, можно преобразовывать в другой формат сигнала яркости, например, версии яркостей, в точности, выражаемые квадратным корнем, блоком 4033, который соответствует определениям варианта осуществления, используемого заявителем (следовательно, в необязательном порядке).

Надлежащим образом градуированные сигналы яркости MDR L'M, используются для умножения (умножителем 4032) на три нормализованные нелинейные значения RGB, R's и т.д. (выводимые из цветной матричной схемы 4031), что было пояснено выше со ссылкой на фиг. 25, давая окончательные правильные значения RGB MDR (RGB_MDR), которые могут передаваться непосредственно на дисплей этого соответствующего PB_D.

Этот настоящий способ настройки дисплея очень полезен, если соответствующая хроматическая обработка осуществляется путем регулировки насыщенности на блоке 4030 насыщенности, которая обычно может осуществляться путем умножения Cb и Cr на коэффициент Sat(Y'_SDR), который зависит от входных сигналов яркости. Типичным хорошим выбором для этих функций может быть отклонение от Sat(Y'_SDR)=k/Y'_SDR, где k - постоянная, с для более высоких значений Y'_SDR меньшим значением Sat, чем эта обратная линейная функция, для создания снижения насыщенности. Это дает приятно переградуированные изображения MDR согласно всем аспектам оптимизации (поскольку, конечно, невозможно хорошо рендеризовать эталонное изображение HDR на любом дисплее с MDR, особенно, если он имеет, например, PB_D=500 нит).

На фиг. 41 приведен пример того, как обычно работает настройка при наличии вышеупомянутого среднего окружающего освещения. Если окружающая освещенность становится достаточно высокой, так что, дисплей телевизора или компьютера, который при нормальном освещении на первый взгляд, выглядел бы как светло-серая заплатка, может выглядеть темно-серым или даже черным по сравнению со светлыми объектами, окружающими дисплей.

На фиг. 41b мы начинаем теперь с изображения, которое оптимально переградуировано для дисплея с MDR, например, с PB_D=1200 нит (исходное эталонное изображение HDR может содержать контент изображения т.е. светлые объекты до 5000 нит, но соответствующие яркости для этих объектов уже вычислены в диапазоне яркости MDR, согласно любой из вышеописанных стратегий). Теперь предположим, что уровень окружающего света увеличивается, тогда целесообразно снова осветлять различные яркости объектов (по диагонали). Конечно, было бы оптимально делать это по-разному в зависимости от фактического контента изображения. Например, типичная, хотя, безусловно, не исключительная и не единственная разновидность проблемы, состоит в том, что зрителю трудно воспринимать, что именно располагается в самых темных участках изображения. Теперь, теоретически, можно подумать, что, если усилить окружающий свет, например, в 2 раза, то можно было бы получить такую же ситуацию внешнего вида, если линейно усиливать все яркости, рендеризованные на дисплее (поэтому также возбуждающее изображение MDR в качестве входа) также в 2 раза (даже если это уже возможно, например, ввиду ограниченной подсветки дисплея LCD). Это было бы верно в случае идеальной адаптации человеческого зрения, но на практике это не всегда является наилучшим подходом для такого осветления с учетом окружения-подсчета, чтобы все еще гарантировать наилучшим образом выглядящую рендеризацию для любой комбинации контента изображения/ограничений наблюдения. Фиг. 41a поясняет некоторые из принципов. Рендеризация изображения теоретически выглядела бы оптимальной, если бы иллюстративная средняя яркость пикселей изображения (AVGIM) была равна иллюстративной средней яркости окружающих объектов (AVGSURR), что, в свою очередь, проявляется через отражательные способности объектов, зависящие от уровня окружающего освещения. Например, при рендеризации ночной сцены с темноватыми стенами домов, через которую идет полицейский, светя фонариком в сторону зрителя, выглядело весьма реалистично, если бы сцена продолжалась с окружающими участками и объектами, имеющими приблизительно такие же яркости объектов, как в изображении, как будто они являются продолжением домов. Следует подчеркнуть, что HDR изменил все правила, и что средняя яркость изображения HDR обычно не может быть равна 0,18*PB_C, как было в эпоху видео SDR. Это не так, поскольку PB_C может быть любым, и более светлые максимумы для возможностей кодирования объектов обычно приводят к относительно более низким осреднениям, а также, поскольку сцены HDR могут содержать все, что угодно, но часто имеют красивые виды, поскольку они могут иметь малые выделения, гораздо более светлые, чем в среднем (с любым соотношением с AVGIM, безусловно, не всегда в 5 раз светлее). Конечно читатель поймет, что эта модель несовершенна и может существовать, только если окружающее освещение динамически изменяется с контентом изображения, что не всегда предпочтительно. Поэтому обычно рендеризация на дисплее может быть более темной, чем окружение при рендеризации ночных сцен, и несколько более светлой при рендеризации дневных сцен (увеличиваясь до внешнего вида световых коробов дисплеев, но зритель фокусируется, по большей части, на дисплее, т.е. адаптируется в большей степени на основе цветов дисплея, чем на цветах окружения). Для изображений HDR, это различие может быть несколько более выразительным, поэтому было бы полезным для оптимального впечатления, что, когда, например, ночная сцена подлежит рендеризации, так что окружающие источники света на некоторое время по меньшей мере приглушаются до некоторой степени со скоординированными лампами, чтобы убедиться, что темные участки изображения не выглядит слишком черноватыми, но в целом, нельзя гарантировать, что любая система рендеризации будет делать это.

Однако, способы настройки дисплея, которые фокусируются точно на основном участке обычно ʺсреднихʺ яркостей, а не на глобальном факторе, усиливающем пиковую светлоту и все, что ниже, солинейно, позволяют желаемым образом оптимально обрабатывать регулировку внешнего вида для разных окружений.

Фиг. 41b схематически демонстрирует такое преобразование яркости на графике 4110, которое поэтому можно охарактеризовать в диапазоне нормализованной яркости MDR L_MDR (например, PB_D=1200 нит), причем выходные яркости L*_MDR охватывают тот же диапазон (который будет соответствовать тому, что можно отправлять как цвета возбуждения на дисплей с MDR).

Иллюстративное среднее по изображению AVGIM, опять же, можно получать по-разному, и в той или иной степени иллюстративной точности (например, оно может совместно передаваться в третьих метаданных, или оцениваться устройством принимающей стороны из дискретизированного набора яркостей изображения MDR, например, эвристически). В проиллюстрированном способе, это среднее увеличивается на величину dAV. Первое, что нужно отметить, нет необходимости в двукратном увеличении для двукратно увеличенного освещения, напротив, следует учитывать, помимо прочего, какой диапазон необходим для более светлых объектов (т.е. с яркостями выше максимума AM участка средних яркостей 4111). Различные практические визуальные эффекты дают возможность выбора. С одной стороны, как уже сказано, на практике рендеризация на дисплее не подлежит точной (равной) координации со средней яркости окружения. Следовательно, будет усиливаться средняя яркость AVGIM путем ее сдвига по установленному значению смещения dAV (что эквивалентно простому управлению окончательной кривой 4112 преобразования яркости на основе роста этого ключевого положения), чтобы ее осветления, но, возможно, меньше для теоретически совершенной мультипликативной адаптации зрения. Например, если дисплей уже выше среднего светлого по сравнению с окружением, усиление этого среднего на dAV, которое соответствует значению L*_MDR, которое равно только 1,5xAVGIM, будет делать его по-прежнему несколько светлой и яркой рендеризации, будь оно немного меньше, но, вероятно, достаточно хорошей для обстоятельств (что касается многих изображений, осветление темных участков может быть критической проблемой в отношении видимости, однако, осветление средних цветов дает красивый светлый чистый и яркий вид рендеризации для любой окружающей ситуации). Кроме того, алгоритм может использовать эвристику, касающуюся того, что необходимо для контрастностей в этом основном участке. Опять же, некоторые метаданные спецификации от создающей стороны могут указывать то, что желательно использовать но эвристические автоматические алгоритмы на стороне приемника. В зависимости от имеющейся вычислительной емкости, некоторый анализ сцены для кадра изображений, и определение сложности участков на основе таких аспектов в качестве величины подрежимов гистограммы на среднем участке 4111, локальные меры, например, иллюстративные значения текстуры, или даже быстрое сегментирование и на основе геометрической картины объектов и т.д., или меры качества изображения, например, оценки сегментации, или оценки ошибки сжатия. Алгоритмы могут использовать это для вычисления, где минимум Am должен картироваться на выходной оси яркости L*_MDR, или, в этом случае, алгоритма, предусматривающего некоторое допустимое снижение контрастности (для выравнивания с потребностями наиболее светлых объектов изображения, выше AM), путем снижение F(AM) до выходной яркости MXA по сравнению с линейным сдвигом всех яркостей среднего участка. Также светлые пиксели следуют некоторым важным психовизуальном урокам. Нужно обратить внимание не только на сдвиг, или изгиб с произвольной функцией наподобие лишь некоторой гамма-функции, поскольку можно серьезно разрушать вид динамического диапазона, которое было предварительно создателем контента и в зависимости от настройки PB_D таким образом тщательно созданной. Нужны более светлые пиксели, для создания некоторого блеска. Конечно, опять же, может существовать некоторое неизбежное снижение динамического диапазона, поскольку существует настолько большой окружающий свет, и дисплей, несмотря на то, что PB_D, превышающий 100 нит, начинает достигать его максимумов. Однако это не означают, что нельзя также осуществлять такую оптимизацию максимально тщательно, для удержания, по мере возможности, первоначально назначенный вид художника, который он создал в эталонной градуировке HDR, с учетом всех ограничений на стороне рендеризации. И оптимум, опять же, будет зависеть от контента. Например, если во всем диапазоне светлых участков выше AM, для этого изображения существует только пара малых ламп, наблюдаемых как световые лампы, или некоторые малые участки металлического отражения, будет больше возможностей для их рендеризации на более низком абсолютном отношении среднего этого локального участка, деленного на AVGIM, все еще давая психологический внешний вид хорошего блеска. Однако, при наличии для светлых участков вида через окно (в этом случае, внутреннее пространство, образующее участок средних яркостей) освещенных солнцем зданий, необходимы дополнительные усилия для сжатия этого участка выше сбалансированного вычисленного MXA, поэтому этот участок не сильно теряет контрастность и цветонасыщенность, особенно, если что-то важное происходит также во внешнем пространстве фильма. В этом примере самые темные пиксели усилились до оценки уровня черного BKEst. В целом, алгоритм придет к сбалансированному повторному выделению этих по меньшей мере трех участков, и более усовершенствованные алгоритмы даже могут настраивать форму функции 4112 на по меньшей мере одном из этих участках, чтобы она была нелинейной.

Как указано, очень полезный подход к осуществлению настройки дисплея предусматривает способ или устройство для вычисления результирующих цветов изображения MDR для дисплея с пиковой светлотой (PB_D), которая не равна принятой пиковой светлоте изображения (PB_IM1), или изображения, вычисляемого из него путем применения к нему совместно принятых функций F_ct картирования цвета, содержащих по меньшей мере функции картирования яркости, которые содержат функцию (Fcrs) грубого картирования яркости и функцию (CC) точного картирования яркости, отличающийся тем, что сначала оптимизированная функция грубого картирования (FCrs_opt) определяется на основе по меньшей мере PB_D для определения оптимальных поддиапазонов яркостей с учетом фактической ситуации рендеризации на дисплее, и это грубое картирование применяется к входному изображению, давая грубые сигналы яркости (Y'CG), а затем функция точного картирования оптимизируется на основе функции (CC) точного картирования яркости и по меньшей мере PB_D, и это применяется к грубым сигналам яркости. Грубое картирование позволяет создавать красивые версии поддиапазонов в зависимости от требований изображения, которые затем можно использовать для точной градуировки объектов в нем. Например, сцена домашнего внутреннего пространства в пасмурный день с видом внешнего пространства может из первых математических принципов выглядеть аналогично ночной сцене с ярко освещенной витриной с объектами внутри, и темный участок соседнего слабо освещенного переулка, где припарковано несколько велосипедов. Хотя велосипеды могут быть едва видны, и это может быть художественным замыслом, оба изображения содержат более светлые и более темные участки. Однако освещенное дневным светом внутреннее пространство, в идеале, рендеризуется с более светлыми яркостями, чем любая ночная сцена. Также, поскольку ночные сцены обычно не выглядят контрастными, может не требоваться большой подучасток сигналов яркости, даже если происходит некоторое действие, тогда как, с другой стороны, домашнее внутреннее пространство может требовать значительного поддиапазона имеющегося диапазона яркостей для многих дисплеев MDR. Механизм грубого начального картирования яркости не только грубо учитывает то, где помещать необходимые поддиапазоны, т.е. с которых начальная или средняя яркость MDR, но и то, какую степень т.е. величину яркостей MDR будет иметь каждый поддиапазон. Оба оптимизированных картирования могут определяться по-разному, например, грубое картирование для создания приятно освещенных версий можно растягивать в диагональном направлении с оптимально определенным масштабным коэффициентом и точно картировать в вертикальном направлении. Но возможны другие варианты, например, изменение грубого направления растяжения для самой темной части входных яркостей или сигналов яркости входного изображения, подлежащего преобразованию в изображение MDR.

Поскольку наши новые технические принципы можно реализовать в различных вариантах и во многих формах (например, 1-этапое прямое вычисление при декодировании в отличие от постобработки, различных метрик и регулировка вдоль метрик, различных цветовых представлений и т.д.), мы добавили фиг. 42 для более простого пояснения (повторного обобщения) базовых принципов некоторых из наших вариантов осуществления. Верхняя часть относится к чистому кодированию видеосигнала и будет использоваться только для обеспечения возможности создающей стороне формулировать изображение HDR сцены (и, в частности, при необходимости переградуировки к разным яркостям, для получения изображения с оптимальными светлотами объектов для дисплея с данной возможностью HDR, в частности, его пиковой светлотой PB_D дисплея), например, человеком-градуировщиком, указывающим функцию преобразования тона или яркости TMF, которая картирует относительные яркости HDR эталонного градуированного изображения HDR (M_HDR) с относительными яркостями SDR соответствующего изображения SDR (RG_SDR). Как была определена эта функция, какова была ее форма, или даже как именно она представлена в метаданных (MET), передаваемых на приемник, не требуется для пояснения, настоящих принципов. Первое, что обычно делается (по-разному в различных возможных реализациях варианта осуществления), это повторное задание этой функции (которая картирует между SDR и HDR, например, кодирование представления PB_C=1000 нит) TMF на принимающей стороне. Дело в том, что ее форма очень важна, поскольку она определяет (согласно, например, человеку-градуировщику), как нужно перегруппировывать яркости изображений объектов. Поэтому это будет важным фактором управления для любого алгоритма определения переградуировки для конкретного дисплея. Во многих наших вариантах осуществления, мы рассматриваем эту, например, функцию переградуировки HDR в SDR как крайний случай возможных повторных градуировок в случае передачи изображения HDR (и наоборот, для вариантов осуществления SDR-передачи). Затем определяется направление интерполяции, на графике соотношения между яркостями входного изображения (ось x) и выходными яркостями (которое, в принципе, может быть любым представлением, например, как входные яркости связаны с яркостями другого градуированного изображения стороны создания источника, или изображения, необходимого для конкретного дисплея). Некоторые варианты осуществления могут иметь указанное направление, т.е. ввод в блок (4205) определения масштабного коэффициента, например, блоком чтения данных, который считывает их из метаданных, совместно передаваемых с информацией изображения (коэффициентов DCT и т.д.), или, в некоторых вариантах осуществления, оно может быть установлено на устройстве, например, фабрике, равным по умолчанию 45 градусам, и т.д. Угол 45 градусов представляет особый интерес, поскольку этот способ уменьшает для минимального поведению диагонали, когда любое представление отображает на карте максимум. Яркость представления первого изображения (например, SDR in) во второе (PB_C, например, оптимизированное изображение дисплея 500 нит). Во-вторых, в этом направлении метрика может располагаться, обычно с одной из концевых точек, лежащих на диагонали графика (см., например, фиг. 21), а именно, что изображение, которое является передаваемым входным изображением Im_in. Направление будет определять математику, как будут выглядеть промежуточные версии необходимой функции картирования яркости из входного изображения в любое изображение оптимизированного дисплея, и, в частности, через метрику. Наличие метрики позволяет в необходимой или желаемой степени, производить точные определения промежуточного поведения переградуировки, например, в отличие от более грубых или универсальных способов. Как показано, возможны различные способы получения эквивалентных метрик, но, конечно, блок будет иметь заранее заданную или принятую метрику, целесообразную для необходимого хорошего или приемлемого качества оптимизации поведения дисплея. Также показано, что можно настраивать метрики или положения на метриках. Единственное, что читателю нужно понять в этом итоговом упрощенном рассмотрении, это то, что некоторая метрика может располагаться, в направлении DIR, там, где необходимо, например, начиная в каждой точке диагонали (которая соответствует конкретной входной яркости). Конечно, альтернативные варианты осуществления можно выбирать для определения лишь нескольких точек на диагонали для определения положения соответствующей точки подлежащей использованию функции переградуировки (F_M) для вычисления выходного изображения с оптимизированным PB_D, и затем определять другие точки, например, посредством линейного соединения и т.д. Принципы таких различных вариантов осуществления одинаковы. Поэтому, как показано в нижнем схематическом чертеже, обычно другая концевая точка заканчивается на кривой TMF, передаваемой в метаданных (т.е. функции, необходимой, например, для вычисления изображения, градуированного с SDR, из принятого входного изображения HDR, которое соответствует диагонали, представляющей тождественное преобразование). Поэтому читатель может понять, что если можно позиционировать несколько из масштабированных таким образом версий метрики METR, которая имеет положения, соответствующие различным возможным пиковым светлотам по меньшей мере между HDR, например, положением 1000 нит на диагонали и положением 100 нит SDR на TMF, т.е. которое мы изобразили отрезком линии, например, для положения PB_D 200, 400, 600, 800 нит, то в каждом положении диагонали также может определяться положение (M_PB_D) на метрике, которое соответствует фактическому имеющемуся дисплею на принимающей стороне, и для которого нужно вычислять подходящее выходное изображение с хорошими яркостями переградуированного объекта/ пикселей изображения. В принципе, читатель может понять определение окончательной необходимой функции F_M, т.е. для вычисления не градуировки SDR из принятого изображения HDR (в качестве входного изображения в это устройство), но изображения MDR для дисплея PB_D, можно получить путем соединения всех положений на метриках. Но, конечно, на практике такое поведение можно по-разному математически выразить в устройстве, например, как уравнение, непосредственно вычисляющее новый необходимый параметр или параметры некоторой конкретной функции, которую градуировщик использовал для связывания градуировок SDR и HDR в качестве кодированного и передаваемого видео (например, для функции TMF, которая соединяет в перцептивном однородном пространстве два линейных сегмента на светлом, соответственно, темном концах диапазона сигнала яркости с параболическим сегментом, для параметров функции F_M, определяющих наклоны линейных частей, а также может потребоваться повторное вычисление положения параболической части, и такие вычисления могут, например, реализоваться как программный код, выполняющийся на процессоре в устройстве, например, STB или TV, при условии, что они реализуют объясненное общее поведение). Наконец, функция предпочтительно и преимущественно преобразуется в значение множителя, методом, дополнительно объясненным со ссылкой на фиг. 16.

Мы также изобразили, как текущая координата vLin на диагонали соответствует входным яркостям посредством геометрической проекции P, и то же самое можно сказать о повернутой оси y выходных яркостей. Поэтому обычно методология настройки будет определять функцию F_M путем соединения точек на расположенных метриках, которые соответствуют M_PB_D, но могут существовать варианты, которые отличаются от этого, но, в целом, позиционирование будет зависеть от идентифицированного положения M_PB_D и формы функции TMF. Например, типичный простой, но мощный вариант осуществления масштабирует метрики, как установленные, например, с простым единственным предварительным установлением ʺгалочекʺ, соответствующих равным шагам PB_D (например, каждый шаг 100 нит), поэтому другие PB_C двух градуировок изображения присоединяются к этой функции TMF, представляющей это преобразование яркости (т.е. например, кривую SDR для вычисления яркостей концевых точек метрики 100 нит изображений SDR из изображений HDR, и как эта кривая будет располагаться за пределами диагонали, например, башни над ней, когда диагональ повернута в горизонтальном направлении).

Фиг. 43 поясняет другой технический подход, полезный для адаптации переградуированного изображения согласно необходимым возможностям черного системы рендеризации (т.е. дисплея в окружении наблюдения), и в зависимости от таких коэффициентов (которые, например, производитель дисплея может использовать во внутренней обработке внутри TV, или передавать данные на STB или компьютер предобработки и т.д.), в частности, такие коэффициенты как типичный свет утечки подсветки, когда пиксель LCD возбуждается, будучи полностью закрытым, или вуалирование на передней пластине дисплея, соответствующее конкретной величине освещенности зрительного зала, и т.д. Читателю следует понять, что, благодаря градуировке, существует то, что можно рассматривать как теоретическая ситуация. Предположим, что эталонная градуировка произведена на конкретном дисплее с HDR создающей стороны (который станет опорным дисплеем для передаваемых эталонных изображений HDR). В частности, если градуировка дисплея не может рендеризовать более светлую яркость, чем его PB_ref_grad=5000 нит, то можно ожидать, что, хотя конкретное изображение HDR может содержать пиксели меньшей яркости, ничто в изображении не будет превышать 5000 нит. Аналогично, если создающий градуировщик не может правдоподобно видеть любые яркости ниже, например, 0,01 нит, можно ожидать, что ничто ниже 0,01 не будет существовать в кодированном изображении, или по меньшей мере не с точным значением. Теперь некоторые варианты осуществления могут выводить вторичные настроенные градуировки для дисплеев с лучшим черным, чем опорный монитор художника, создающего контент, но здесь мы сосредоточимся на более типичном сценарии, который наоборот: зритель принимающей стороны имеет дисплей с худшим поведением черного. Если градуировщик указывает с помощью своих функций, как наиболее светлая яркость будет картироваться между M_HDR эталонного изображения HDR и соответствующей градуировки SDR I_SDR, то он также указывает идеальное желаемое поведение в отношении того, как этот наиболее светлый пиксель должен выглядеть в изображении I_MDR, например, картироваться в его PB_C=700 нит. Будет существовать настраиваемое соотношение, аналогичное объясненному выше, со всеми серыми ниже пиковой светлоты, и здесь мы можем теперь сосредоточиться на самом черном черном. Если градуировщик указывает, как черный самого черного контента будет картироваться в черный SDR (обычно 0,1 нит), он также говорит что-то о том, как он предполагает растяжение черного для переградуированных изображений MDR. А именно, можно вычислять виртуальный (контент) черный Bvirt. Причина в том, что предполагается создание переградуированного изображения MDR, при наличии идеального дисплея, который может рендеризовать необычайно темные черные участки. Однако, как сказано, вследствие различных причин, дисплей может быть способен только рендеризовать фактический черный Bactl, и/или зритель может быть способен достаточно хорошо различать только контент изображения до такого черного. Это будет желание дополнительной настройки картирования по меньшей мере самых темных цветов изображения к и вокруг этого фактического черного.

Один хороший способ сделать это состоит в некотором распределении необходимого смещения, согласно следующему способу:

мы поясним, с какой целью происходит адаптация уровня черного после этапа точной градуировки (лишь иллюстративной, или после применения единственной функции картирования яркости в другом варианте осуществления), т.е. существует блок BLA, например, на фиг. 26 между блоками 2603 и блоком 2604 линеаризации. Сначала блок BLA определяет виртуальный уровень черного Bvirt, например, путем следующего вычисления:

Bvirt=B_SDR+(B_src-B_SDR)*(PB_D-PB_L)/(PB_src-PB_L)

где в этом примере PB_src - пиковая светлота контента источника HDR, т.е., например, 1000 нит или 5000 нит, и пиковая светлота PB_L SDR нормально равна 100 нит.

Затем определяется дельта.

Дельта=Bvirt-Bactl

(Bactl может определяться по-разному, например, производитель может определять его на своих фабриках и сохранять его, или он может определяться в положении наблюдения до наблюдения видеоконтента и т.д.).

Это преобразуется в дельту в униформизированном пространстве сигнала яркости:

Del_PU= - P_OETF(abs(дельта)/PB_D; PB_D),

где P_OETF - относительная яркость униформизированной функции выделения кода сигнала яркости, заданной выше в ур. 8.

Затем фактическое смещение различных возможных входных яркостей, т.е. прошедших предыдущую обработку и выведенных из блока 2603, может осуществляться, например, согласно:

LL=P_EOTF(Pho*(1+Del_PU)- Del_PU; PB_D), [ур.11],

где EOTF - обратная функция Philips OETF, как описано выше (ур. 6).

Альтернативно, возможны некоторые другие варианты осуществления, например, осуществляющие BLA только на участке самых темных цветов, ниже, например, диапазона передаваемого или определенного приемником черного, ограниченного сверху BK_D_U:

LL=P_EOTF[max(Pho*(1+{Del_PU/max(BK_D_U, abs(Del_PU))},Pho)- Del_PU; PB_D],

и т.д.

Пример того, как может вести себя эта настройка, проиллюстрирована на фиг. 44. Здесь приведен пример того, как изображение SDR можно преобразовать в изображение HDR или по меньшей мере более высокого DR (MDR) посредством функции, которая приглушает более темные части изображения по сравнению с более светлыми. Нормальной функцией для применения будет функция 4401, которая приятно проходит через (0,0;0,0). Согласно уравнению наподобие, например, приведенному выше ур. 11 можно создать окончательную кривую, которая имеет смещение для самого черного входа (т.е. в этом варианте осуществления, это будут SDR-кодированными яркостями, соответствующими первоначально эталонными яркостями HDR, и которые необходимо преобразовывать в подходящие (достаточно видимые) яркости MDR, для дисплея, который имеет относительно плохую рендеризацию черного. Это дает функцию 4402. Показано также, что алгоритм может работать в другом направлении (функция 4403), немного переопределяя функции, но в текущей технической структуре и философии можно применять и другие способы создания очень хорошие черные участки.

Читателю следует понять, что это поведение регулировки черного возможно без слишком многих деталей остатка поведения настройки дисплея, например, без принципа направленно ориентированной метрики. То, что будет, в целом предполагаться, это то, что некоторая начальная оптимизация изображения MDR в случае черный не учитывается, т.е., например, с грубой градуировкой, по большей части, отвечающей за ограничения более светлых пикселей, с последующим осуществлением прохода оптимизации черного, в блоке оптимизации черного.

Алгоритмические компоненты, раскрытые в этом тексте можно (полностью или частично) реализовать на практике в виде оборудования (например, частей специализированных IC) или в виде программного обеспечения, выполняющегося на особом цифровом сигнальном процессоре или универсальном процессоре и т.д. Продукт памяти может быть, например, портативной памятью, например, диском blu-ray или модулем твердотельной памяти, а также, например, памятью на внешнем сервере, с которого видео или изображение может загружаться в удаленное место использования видео или изображения.

Специалисту в данной области техники будет понятно из нашего представления, какие компоненты могут быть необязательными усовершенствованиями и могут быть реализованы совместно с другими компонентами, и как (необязательные) этапы способов соответствуют соответствующим средствам устройств, и наоборот. Слово ʺустройствоʺ в этой заявке используется в самом широком смысле, а именно, как группа средств, позволяющих достигать конкретной цели, и поэтому может, например, быть (малой схемной частью) IC, или специальным приспособлением (например, приспособлением с дисплеем), или частью сетевой системы, и т.д. ʺКонфигурацияʺ также подлежит использованию в самом широком смысле, поэтому она может содержать, помимо прочего, единое устройство, часть устройства, совокупность (частей) взаимодействующих устройств, и т.д.

Понятие "компьютерный программный продукт" следует понимать как охватывающее любую физическую реализацию совокупности команд, позволяющих универсальному или специального назначения процессору, после последовательности этапов загрузки (которая может включать в себя промежуточные этапы преобразования, например, перевод на промежуточный язык, и окончательный язык процессора) для ввода команд в процессор, и для выполнения любой из характеристических функций изобретения. В частности, компьютерный программный продукт может быть реализован как данные на носителе, например, диске или ленте, данные, присутствующие в памяти, данные, передаваемые через сетевое соединение, проводное или беспроводное, или программный код на бумаге. Помимо программного кода, характеристические данные, необходимые для программы, также можно реализовать в виде компьютерного программного продукта.

Некоторые из этапов, необходимых для выполнения способа, могут уже присутствовать в функциональных возможностях процессора вместо описанных в компьютерном программном продукте, например, этапы ввода и вывода данных.

Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, но не ограничивают изобретение. Когда специалист в данной области техники может легко реализовать картирование представленных примеров в другие участки формулы изобретения, мы для краткости не раскрыли полностью все эти варианты. Помимо комбинаций элементов изобретения, скомбинированных в формуле изобретения, возможны другие комбинации элементов. Любую комбинацию элементов можно реализовать в едином специальном элементе.

Любая ссылочная позиция в скобках в формуле изобретения не призвана ограничивать формулу изобретения. Слово ʺсодержащийʺ не исключает наличия элементов или аспектов, не перечисленных в формуле изобретения. Употребление названия элемента в единственном числе не исключает наличия множества таких элементов.

1. Устройство (201) цветового преобразования для вычисления результирующих цветов (R2, G2, B2) пикселей выходного изображения (IM_MDR), которое настраивается для дисплея с пиковой светлотой (PB_D) дисплея, начиная с входных цветов (R,G,B) пикселей входного изображения (Im_in), имеющего максимальный код сигнала яркости, соответствующий пиковой светлоте (PB_IM1) первого изображения, которая отличается от пиковой светлоты (PB_D) дисплея, отличающееся тем, что устройство цветового преобразования содержит:

- блок (4201, 102; 2501) определения цветового преобразования, выполненный с возможностью определения цветового преобразования (TMF) из данных (MET_1) спецификации цветовой обработки, содержащих по меньшей мере одну функцию (CC) картирования яркости, принятую через вход (116) метаданных, причем данные спецификации цветовой обработки указывают, как яркости пикселей входного изображения (Im_in) должны преобразовываться в яркости пикселей второго изображения (Im_RHDR), имеющего соответствующую его максимальному коду сигнала яркости пиковую светлоту (PB_IM2) второго изображения, которая отличается от пиковой светлоты (PB_D) дисплея и пиковой светлоты (PB_IM1) первого изображения, благодаря чему частное от деления пиковой светлоты первого изображения на пиковую светлоту второго изображения либо больше 2, либо меньше 1/2;

во-первых, установления в заранее определенном направлении (DIR), которое ортогонально диагонали, представляющей функцию тождественного преобразования яркостей входного изображения, заранее установленной метрике (1850, METR) для определения положений пиковых светлот дисплеев и положению (M_PB_D) на той метрике, которое соответствует значению пиковой светлоты (PB_D) дисплея, причем метрика начинается в положении диагонали, представляющей функцию тождественного преобразования;

во-вторых, установления второго цветового преобразования (1803; F_M) для определения по меньшей мере яркостей результирующих цветов (R2, G2, B2) пикселей выходного изображения (IM_MDR), причем второе цветовое преобразование основано на цветовом преобразовании (TMF) и положении (M_PB_D);

и, в-третьих, определения результирующего общего мультипликативного коэффициента (gt; Ls) на основе второго цветового преобразования (1803; F_M); и

при этом устройство (201) цветового преобразования дополнительно содержит

и причем две внешние точки (PBEH, PBE) метрики соответствуют пиковой светлоте (PB_H) принятого входного изображения (im_in), соответственно, посредством функций цветового преобразования совместно кодированного изображения другой пиковой светлоты (PB_L), которое можно реконструировать из этого изображения путем применения к нему принятых в метаданных функций цветового преобразования, содержащих по меньшей мере одну функцию (CC) картирования тона, и при этом устройство вычисляет выходное изображение (IM_MDR) для дисплея с пиковой светлотой (PB_D) дисплея, попадающего в этот диапазон пиковых светлот (из PB_L в PB_H).

2. Устройство (201) цветового преобразования по п. 1, причем метрика основана на логарифмическом представлении пиковых светлот дисплеев.

3. Устройство (201) цветового преобразования по любому из предыдущих пунктов, причем метрика задается в перцепционно униформизированном цветовом представлении, например представлении сигнала яркости, которое можно получить путем применения функции Y=log10(1+(rho(PB)-1)*степень(L;1/2,4))/log10(rho(PB), где Y - перцепционно униформизированное значение сигнала яркости, L - яркость, PB - постоянная пиковой светлоты и rho - параметр формы кривой, определенный уравнением rho(PB)=1+32*степень(PB/10000; 1/(2,4)).

4. Устройство (201) цветового преобразования по любому из предыдущих пунктов, причем блок (200) определения масштабного коэффициента дополнительно выполнен с возможностью получения параметра (gpr; gpm) настройки из вторых данных (MET_2) спецификации цветовой обработки, которые были предварительно определены во время создания входного изображения (Im_in), и выполнен с возможностью вычисления результирующего общего мультипликативного коэффициента (gtu), соответствующего другому положению на метрике, чем положение пиковой светлоты (PB_D) дисплея, причем другое положение основано на значении параметра настройки.

5. Устройство (201) цветового преобразования по любому из предыдущих пунктов, причем блок (200) определения масштабного коэффициента выполнен с возможностью определения другого положения путем применения монотонной функции, дающей на выходе нормализованное положение на метрике как функцию по меньшей мере одного входного параметра (gpr), причем монотонная функция может определяться устройством цветового преобразования самостоятельно или на основе метаданных предписания, предписывающих какая форма функции подлежит использованию, которые были предварительно определены во время создания входного изображения (Im_in).

6. Устройство (201) цветового преобразования по любому из предыдущих пунктов, причем масштабирующий умножитель (114) перемножает три нелинейные цветовые компоненты, которые задаются как степенная функция их соответствующих линейных цветовых компонент, например цветовых компонент Y'CbCr.

7. Устройство (201) цветового преобразования по любому из предыдущих пунктов, содержащее блок (1110) анализа изображения, выполненный с возможностью анализа цветов объектов во входном изображении (Im_in) и определения из него значения по меньшей мере одного из параметров, управляющих вычислением выходного изображения (IM_MDR), например параметра (gpm) настройки, или направления (DIR), или формы монотонной функции, дающей на выходе нормализованное положение на метрике, подлежащей использованию при вычислении результирующего общего мультипликативного коэффициента (gt).

8. Устройство (201) цветового преобразования по любому из предыдущих пунктов, содержащее блок (3710) определения величины отсечения, выполненный с возможностью определения минимальной величины жесткого отсечения до пиковой светлоты (PB_D) дисплея для поддиапазона наиболее светлых яркостей входного изображения (Im_in), причем вычисление результирующего общего мультипликативного коэффициента (gt) определяется для яркостей входного изображения в поддиапазоне для картирования входной яркости в пиковую светлоту (PB_D) дисплея.

9. Устройство (201) цветового преобразования по любому из предыдущих пунктов, причем вычисление результирующего общего мультипликативного коэффициента (gt) основано на функции (Fcrs) грубого картирования яркости и функции (CC) точного картирования яркости, отличающееся тем, что первая оптимальная для дисплея функция грубого картирования (FCrs_opt) определяется на основе по меньшей мере пиковой светлоты (PB_D) дисплея для определения оптимальных поддиапазонов яркостей, соответствующих фактической ситуации рендеризации на дисплее, и это грубое картирование применяется к входному изображению, давая грубые сигналы яркости (Y'CG), и затем функция точного картирования оптимизируется на основе функции (CC) точного картирования яркости и по меньшей мере пиковой светлоты (PB_D) дисплея и эта функция точного картирования применяется к грубым сигналам яркости.

10. Устройство (201) цветового преобразования по п. 9, причем грубое и точное картирование яркостей, соответствующих пиковой светлоте дисплея, определяются вдоль метрики (1850) в другом направлении, причем грубое картирование предпочтительно осуществляется по диагонали, а точное картирование предпочтительно осуществляется по вертикали.

11. Устройство (201) цветового преобразования по любому из предыдущих пунктов, содержащее блок (3702) оценивания уровня черного для установления оценки уровня черного дисплея, причем вычисление результирующего общего мультипликативного коэффициента (gt) зависит от уровня черного.

12. Устройство (201) цветового преобразования по п. 11, причем сначала функция картирования яркости устанавливается согласно опорной ситуации наблюдения с фиксированным уровнем освещения и затем эта функция регулируется для значения уровня черного, причем из этой отрегулированной функции вычисляется результирующий общий мультипликативный коэффициент (gt).

13. Декодер изображения HDR, содержащий устройство (201) цветового преобразования по любому из предыдущих пунктов.

14. Способ вычисления результирующих цветов (R2, G2, B2) пикселей выходного изображения (IM_MDR), которое настраивается для дисплея с пиковой светлотой (PB_D) дисплея, начиная с входных цветов (R,G,B) пикселей входного изображения (Im_in), имеющего максимальный код сигнала яркости, соответствующий пиковой светлоте (PB_IM1) первого изображения, которая отличается от пиковой светлоты (PB_D) дисплея, отличающийся тем, что способ содержит этапы:

- определяют цветовое преобразование (TMF) из данных (MET_1) спецификации цветовой обработки, содержащих по меньшей мере одну функцию (CC) картирования яркости, принятую через вход (116) метаданных, причем данные (MET_1) спецификации цветовой обработки указывают, как яркости пикселей входного изображения (Im_in) должны преобразовываться в яркости пикселей второго изображения (Im_RHDR), имеющего соответствующую его максимальному коду сигнала яркости пиковую светлоту (PB_IM2) второго изображения, которая отличается от пиковой светлоты (PB_D) дисплея и пиковой светлоты (PB_IM1) первого изображения, благодаря чему частное от деления пиковой светлоты первого изображения на пиковую светлоту второго изображения либо больше 2, либо меньше 1/2;

- определяют результирующий общий мультипликативный коэффициент (gt; Ls) посредством:

a) установления в заранее определенном направлении (DIR), которое ортогонально диагонали, представляющей функцию тождественного преобразования яркостей входного изображения, заранее установленной метрике (1850, METR) и положению (M_PB_D) на той метрике, которое соответствует значению пиковой светлоты (PB_D) дисплея, причем метрика начинается в положении диагонали между осями входной и выходной яркости,

b) установления второго цветового преобразования (1803; F_M) для определения по меньшей мере яркостей результирующих цветов (R2, G2, B2) пикселей выходного изображения (IM_MDR), причем второе цветовое преобразование основано на цветовом преобразовании (TMF) и положении (M_PB_D), и

c) вычисления результирующего общего мультипликативного коэффициента (gt; Ls) на основе второго цветового преобразования (1803; F_M); и

- умножают каждую из трех цветовых компонент цветового представления входных цветов на результирующий общий мультипликативный коэффициент (gt) для получения результирующих цветов (R2, G2, B2);

и причем две внешние точки (PBEH, PBE) метрики соответствуют пиковой светлоте (PB_H) принятого входного изображения (im_in), соответственно, посредством функций цветового преобразования совместно кодированного изображения другой пиковой светлоты (PB_L), которое можно реконструировать из этого изображения путем применения к нему принятых в метаданных функций цветового преобразования, содержащих по меньшей мере одну функцию (CC) картирования тона, и при этом способ вычисляет выходное изображение (IM_MDR) для дисплея с пиковой светлотой (PB_D) дисплея, попадающего в этот диапазон пиковых светлот (из PB_L в PB_H).

15. Способ по п. 14, причем метрика основана на логарифмическом представлении пиковых светлот дисплеев.

16. Способ по п. 14, причем вычисление положения (M_PB_D) зависит от вычисления масштабного коэффициента (SS), равного ((B-1)/(B+1))/((A-1)/(A+1)), где A - выходное значение заранее определенной логарифмической функции, форма которой определяется пиковой светлотой второго изображения, когда в качестве входа используется относительная яркость, которая равна значению пиковой светлоты первого изображения, деленному на пиковую светлоту второго изображения, и причем B представляет собой выходное значение заранее определенной логарифмической функции, форма которой определяется пиковой светлотой дисплея, когда в качестве входа используется относительная яркость, которая равна значению пиковой светлоты первого изображения, деленному на пиковую светлоту дисплея.

17. Способ по п. 14, причем второе положение (M_PB_D2) определяется для по меньшей мере некоторых входных яркостей, которое не равно положению (M_PB_D).

18. Память компьютерной программы, содержащая код, который при выполнении применяет все этапы по любому из предыдущих пунктов на способ или соответствующие этапы способа по любому из предыдущих пунктов на устройство.

Изобретение относится к кодированию и декодированию, которые позволяют получать двухмерные данные изображения точки обзора. Техническим результатом является обеспечение возможности получать двухмерные данные изображения и данные изображения глубины точек обзора, соответствующих способу выработки заданного отображаемого изображения, независимо от точек обзора после захвата изображения.

Способ и устройство декодирования изображения на основе интрапредсказания в системе кодирования изображения // 2721160

Изобретение относится к способу и устройству декодирования изображения в соответствии с интрапредсказанием в системе кодирования изображения. Техническим результатом является обеспечение высокоэффективного сжатия изображения для эффективной передачи, хранения и воспроизведения информации изображений высокого разрешения и высокого качества.

Способ и устройство для компенсации движения с предсказанием // 2721004

Изобретение относится к обработке видео и, в частности, к интерполяции дробной выборки при компенсации движения. Техническим результатом является обеспечение эффективной компенсации движения для межкадрового предсказания, которая имеет низкую сложность и высокую точность.

Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы // 2720975

Изобретение относится к области кодирования и декодирования изображений. Технический результат заключается в повышении точности кодирования и декодирования изображений.

Детерминированное ремультиплексирование для одночастотных сетей цифрового телевизионного вещания // 2720705

Изобретение относится к ремультиплексированию транспортных потоков для регионов одночастотной сети (SFN) в сетях цифрового телевизионного вещания (DVB). Изобретение позволяет использовать общий канал спутниковой связи для распределения транспортных потоков между конечными пользователями и между регионами SFN в наземной сети, что позволяет снизить расходы на распределение.

Устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений // 2720702

Изобретение относится к области прогнозирующего кодирования и декодирования изображений. Техническим результатом является подавление шума прогнозированных сигналов.

Способ и устройство для кодирования или декодирования изображения с предсказанием информации движения между уровнями в соответствии со схемой сжатия информации движения // 2720648

Изобретение относится к области масштабируемого кодирования и декодирования изображений. Технический результат заключается в повышении точности кодирования и декодирования изображений.

Устройство обработки изображения и способ // 2720605

Группа изобретений относится к области обработки изображений. Техническим результатом является обеспечение выполнения процесса декодирования в надлежащий период времени.

Устройство и способ кодирования изображения, устройство и способ декодирования изображения и носители данных // 2720560

Изобретение относится к области вычислительной техники. Технический результат заключается в повышении эффективности кодирования.

Концепция потока видеоданных // 2720534

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении низкой сквозной задержки.

Устройство и способ улучшения обмена данными изображения на основе нелинейности восприятия яркости между разными возможностями отображения // 2711102

Изобретение относится к вычислительной технике. Технический результат − визуализация изображения на устройствах отображения конечных пользователей с меньшим количеством визуально заметных ошибок.