Способ и устройство для кодирования видео в битовый поток, несущий основанные на области параметры постобработки в сообщении вложения sei

Изобретение относится к области кодирования и декодирования видео. Технический результат заключается в улучшении качества изображения. Способ для кодирования видео содержит этапы, на которых: кодируют (301), по меньшей мере, одну картинку упомянутого видео в битовый поток; кодируют (302), по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, при этом этап, на котором кодируют упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, содержит этапы, на которых: кодируют (303), по меньшей мере, один набор параметров, представляющих собой местоположение области в упомянутой картинке; кодируют (304), по меньшей мере, одно сообщение Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения кодирует информацию обработки для обработки пикселей, которые содержатся в упомянутой области упомянутой картинки. 7 н. и 5 з.п. ф-лы, 7 ил., 4 табл.

 

1. Область техники, к которой относится изобретение

Раскрываются способ и устройство для кодирования видео в битовый поток. Дополнительно раскрываются соответствующий способ и устройство декодирования.

2. Предпосылки создания изобретения

На стадии создания контента видео или непосредственно перед стадией кодирования видео генерируются метаданные. Такие метаданные передаются по всей цепочке значения видео для того, чтобы поддерживать процессы пост-декодирования, как правило, в приемниках, таких как телевизор (TV) или Телевизионная Абонентская Приставка (STB). Например, такие метаданные могут содержать параметры, которые должны быть применены приемником или средством рендеринга к воссозданным картинкам видео для того, чтобы улучшать качество изображения, или восприятие видео для пользователя, или чтобы адаптировать рендеринг видео в соответствии с возможностями приемника.

Стандарты SMPTE определяют такие метаданные, например, SMPTE ST 2086 для статических метаданных, SMPTE ST 2094 для зависимых от контента или динамических метаданных для использования в среде производства. В частности, стандарт ST 2094 определяет метаданные, которые могут быть применены из расчета на окна обработки или область интереса (ROI).

Такие метаданные требуется переносить наряду с кодированными битовыми потоками видеопоследовательности во время стадии распространения видео для того, чтобы быть использованными процессом пост-декодирования, который выполняется, например, во внешних конверторах или средствах рендеринга.

Сообщения Дополнительной Информации Улучшения (SEI) были указаны в стандартах H.26x. Такие сообщения позволяют нести метаданные по кодированному битовому потоку видеопоследовательности.

Например, некоторые сообщения SEI могут нести параметры постобработки для Повторного Отображения Цвета, или пост-фильтрации, и т.д.

Тем не менее, такие сообщения SEI несут параметры постобработки, которые должны быть применены к всей воссозданной картинке, т.е., к всем пикселям картинки.

Отсутствует сигнализация или механизм, обеспечивающие обработку окон/ROI, как определено в ST 2094.

Одним решением будет перенос через другое средство координат окна обработки, ассоциированных с каждым сообщением SEI обработки. Тем не менее, это умножает число носителей метаданных и увеличивает риск потери или плохой обработки метаданных (неправильное сочетание/упорядочение или неправильная ассоциация окон обработки с метаданными обработки).

Таким образом существует потребность в способе кодирования/декодирования, выполненном с возможностью применения сообщений SEI обработки локально к изображению.

3. Сущность изобретения

В соответствии с аспектом настоящих принципов, раскрывается способ для кодирования видео, причем способ, содержащий этапы, на которых:

- кодируют, по меньшей мере, одну картинку упомянутого видео в битовый поток,

- кодируют, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, при этом этап, на котором кодируют упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, содержит этапы, на которых:

- кодируют, по меньшей мере, один набор параметров, представляющих собой местоположение области в упомянутой картинке,

- кодируют, по меньшей мере, одно сообщение Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения кодирует информацию обработки, например, метаданные, для обработки пикселей, которые содержатся в упомянутой области упомянутой картинки.

Настоящее раскрытие позволяет переносить по кодированному битовому потоку видеопоследовательности основанную на области информацию для постобработки картинки видео. Таким образом, могут быть повторно использованы существующие сообщения SEI стандарта H.26x, которые несут информацию постобработки. Вследствие этого, не требуется повторно определять сообщения SEI постобработки. Преимущественно, настоящее раскрытие предоставляет новую функциональность для существующих сообщений SEI постобработки посредством добавления обработки окна к таким сообщениям SEI. Параметры обработки окна являются последовательно ассоциированными внутри того же самого механизма переноса информации.

Раскрывается устройство для кодирования видео, которое содержит:

- средство для кодирования, по меньшей мере, одной картинки упомянутого видео в битовом потоке,

- средство для кодирования, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения, при этом упомянутое средство для кодирования упомянутого, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения содержит:

- средство для кодирования, по меньшей мере, одного параметра, представляющего собой местоположение области в упомянутой картинке,

- средство для кодирования, по меньшей мере, одного сообщения Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения кодирует информацию обработки для обработки пикселей, которые содержатся в упомянутой области упомянутой картинки.

В варианте, раскрывается устройство для кодирования видео, которое содержит интерфейс связи, выполненный с возможностью доступа к, по меньшей мере, одной картинке видео и, по меньшей мере, один процессор, выполненный с возможностью:

- кодирования, по меньшей мере, одной картинки, к которой осуществлен доступ, в битовый поток,

- кодирования, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения, при этом кодирование упомянутого, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения, содержит:

- кодирование, по меньшей мере, одного параметра, представляющего собой местоположение области в упомянутой картинке,

- кодирование, по меньшей мере, одного сообщения Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения кодирует информацию обработки для обработки пикселей, которые содержатся в упомянутой области упомянутой картинки.

В соответствии с одним вариантом осуществления, кодирование, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения, содержит дополнительно кодирование параметра, указывающего число областей в упомянутой картинке, к которым применяется упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения. Такой вариант осуществления позволяет определять несколько областей или окон обработки картинки, к которым должно применятся сообщение SEI, которое содержится в сообщении вложения SEI. Вследствие этого, оптимизируется использование полосы пропускания.

В соответствии с другим вариантом осуществления настоящего принципа, кодирование, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения содержит кодирование параметра, указывающего число сообщений Дополнительной Информации Улучшения. Такой вариант осуществления позволяет охватить несколько сообщений SEI постобработки в одном сообщении вложения SEI, которое определено для одной или более областей картинки. Вследствие этого, он сокращает необходимость в переносе нескольких сообщений SEI с идентичным намерением или с одним и тем же типом полезной нагрузки, и он дополнительно предоставляет неявное упорядочение для операций постобработки в случае перекрытия нескольких окон обработки.

В соответствии с аспектом настоящего принципа, раскрывается способ для декодирования битового потока, представляющего собой кодированное видео, причем способ для декодирования, содержащий этапы, на которых:

- декодируют, по меньшей мере, одну картинку упомянутого видео из упомянутого битового потока, производя декодированную картинку,

- декодируют, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, при этом этап, на котором декодируют, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, содержит этапы, на которых:

- декодируют, по меньшей мере, один набор параметров, представляющих собой местоположение области в упомянутой декодированной картинке,

- декодируют, по меньшей мере, одно сообщение Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения содержит информацию обработки для обработки пикселей, которые содержатся в упомянутой области упомянутой декодированной картинки.

Раскрывается устройство для декодирования битового потока, представляющего собой кодированное видео, которое содержит:

- средство для декодирования, по меньшей мере, одной картинки упомянутого видео из упомянутого битового потока, чтобы получить декодированную картинку,

- средство для декодирования, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения, при этом упомянутое средство для декодирования упомянутого, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения, содержит:

- средство для декодирования, по меньшей мере, одного параметра, представляющего собой местоположение области в упомянутой декодированной картинке,

- средство для декодирования, по меньшей мере, одного сообщения Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения содержит информацию обработки для обработки пикселей, которые содержатся в упомянутой области упомянутой декодированной картинки.

В варианте, раскрывается устройство обработки, которое содержит интерфейс связи, выполненный с возможностью осуществления доступа к, по меньшей мере, потоку и, по меньшей мере, один процессор, выполненный с возможностью:

- декодирования, по меньшей мере, одной картинки упомянутого видео из упомянутого битового потока, к которому осуществлен доступ, чтобы получить декодированную картинку,

- декодирования, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения, при этом декодирование упомянутого, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения, содержит:

- декодирования, по меньшей мере, одного параметра, представляющего собой местоположение области в упомянутой декодированной картинке,

- декодирования, по меньшей мере, одного сообщения Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения содержит информацию обработки для обработки пикселей, которые содержатся в упомянутой области упомянутой декодированной картинки.

В соответствии с одним вариантом осуществления, декодирование, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения содержит дополнительное декодирование параметра, указывающего число областей в упомянутой картинке, к которым применяется упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения.

В соответствии с другим вариантом осуществления настоящих принципов, декодирование, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения содержит дополнительное декодирование параметра, указывающего число сообщений Дополнительной Информации Улучшения.

Настоящий вариант осуществления также предоставляет машиночитаемый запоминающий носитель информации с записанными на нем инструкциями для кодирования видео в соответствии с любым из вариантов осуществления, описываемых в раскрытии.

Настоящий вариант осуществления также предоставляет машиночитаемый запоминающий носитель информации с хранящимися на нем инструкциями для декодирования видео в соответствии с любым из вариантов осуществления, описываемых в раскрытии.

Также раскрывается битовый поток, представляющий собой кодированное видео, который содержит:

- кодированные данные, представляющие собой одну картинку упомянутого видео,

- по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения содержит:

- по меньшей мере, один параметр, представляющий собой местоположение области в упомянутой картинке,

- по меньшей мере, одно сообщение Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения кодирует информацию обработки для обработки пикселей, которые содержатся в упомянутой области упомянутой картинки.

Раскрывается не временный читаемый процессором носитель информации с хранящимся на нем битовым потоком, при этом битовый поток содержит:

- кодированные данные, представляющие собой одну картинку упомянутого видео,

- по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения содержит:

- по меньшей мере, один параметр, представляющий собой местоположение области в упомянутой картинке,

- по меньшей мере, одно сообщение Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения кодирует информацию обработки для обработки пикселей, которые содержатся в упомянутой области упомянутой картинки.

В соответствии с одной реализацией, разные этапы способа для кодирования видео или декодирования видео, как раскрывается здесь выше, реализуются посредством одной или более программ программного обеспечения или программ модуля программного обеспечения, содержащих инструкции программного обеспечения, предназначенные для исполнения посредством процессора данных у устройства для кодирования/декодирования видео, причем эти инструкции программного обеспечения разработаны чтобы предписывать исполнение разных этапов способов в соответствии с настоящими принципами.

Также раскрывается компьютерная программа, которая выполнена с возможностью исполнения посредством компьютера или посредством процессора данных, причем данная программа, содержащая инструкции, чтобы предписывать исполнение этапов способа для кодирования видео или этапов способа для декодирования видео, как упомянуто здесь выше.

Данная программа может использовать любой какой бы то ни было язык программирования, и быть в форме исходного кода, объектного кода или промежуточного кода между исходным кодом и объектным кодом, такого как в частично компилированной форме или любой другой какой бы то ни было требуемой форме.

Носитель информации может быть любым каким бы то ни было объектом или устройством, выполненным с возможностью хранения программы. Например, носитель может содержать запоминающее средство, такое как ROM, например, CD ROM или ROM микроэлектронной схемы или вновь магнитное записывающее средство, например, гибкий диск или накопитель на жестком диске.

Вновь, носитель информации может быть передаваемым носителем, таким как электрический или оптический сигнал, который может быть перенесен через электрический или оптический кабель, посредством радиосвязи или с помощью других средств. Программа в соответствии с настоящими принципами может быть в частности выгружена в сеть типа Интернет.

В качестве альтернативы, носитель информации может быть интегральной микросхемой, в которую включена программа, причем схемой, выполненной с возможностью исполнения или использования при исполнении рассматриваемых способов.

В соответствии с одним вариантом осуществления, способы/устройства могут быть реализованы с помощью средств компонентов программного и/или аппаратного обеспечения. В связи с этим, понятие «модуль» или «блок» могут соответствовать в данном документе в равной степени компоненту программного обеспечения и компоненту аппаратного обеспечения или набору компонентов аппаратного и программного обеспечения.

Компонент программного обеспечения соответствует одной или более компьютерным программам, одной или более подпрограммам программы или в более общем смысле к любому элементу программы или фрагменту программного обеспечения, выполненному с возможностью реализации функции или набора функций как описывается здесь ниже для рассматриваемого модуля. Такой компонент программного обеспечения исполняется посредством процессора данных физического объекта (терминала, сервера, и т.д.) и выполнен с возможностью осуществления доступа к ресурсам аппаратного обеспечения данного физического объекта (памятям, записывающим средствам, шинам связи, электронным платам ввода/вывода, интерфейсам пользователя, и т.д.).

Подобным образом, компонент аппаратного обеспечения соответствует любому элементу блока аппаратного обеспечения, выполненному с возможностью реализации функции или набора функций, как описывается здесь ниже для рассматриваемого модуля. Это может быть программируемым компонентом аппаратного обеспечения или компонентом с интегрированным процессором для исполнения программного обеспечения, например, интегральной микросхемой, интеллектуальной картой, картой памяти, электронной платой для исполнения встроенного программного обеспечения, и т.д.

4. Краткое описание чертежей

Фигура 1 иллюстрирует примерную систему для кодирования и декодирования битового потока, представляющего собой видео и несущего основанные на области параметры постобработки в сообщении вложения SEI, в соответствии с вариантом осуществления настоящего принципа.

Фигура 2A иллюстрирует структурную схему для примерного кодера для кодирования картинки из видео в кодированные видеоданные,

Фигура 2B иллюстрирует примерную единицу доступа для кодированной картинки в соответствии с принципом единицы NAL,

Фигура 2C иллюстрирует структурную схему для примерного декодера для декодирования картинки из видео из кодированных видеоданных,

Фигура 3 иллюстрирует блок-схему примерного способа для кодирования видео в соответствии с вариантом осуществления.

Фигура 4 иллюстрирует блок-схему примерного способа для декодирования видео в соответствии с вариантом осуществления.

Фигура 5 иллюстрирует примерный кодер, который может быть использован в одном варианте осуществления.

Фигура 6 иллюстрирует примерный декодер, который может быть использован в одном варианте осуществления,

Фигура 7 иллюстрирует примерные окна обработки, определенные в картинке, в которых должна быть применена постобработка.

5. Описание вариантов осуществления

Фигура 1 иллюстрирует примерную систему (110) для кодирования видео в битовый поток, несущий основанные на области параметры обработки в сообщении вложения SEI и примерную систему (109) для декодирования упомянутого соответствующего битового потока, в соответствии с вариантом осуществления настоящего принципа.

Фигура 1 содержит модуль 100 создания видео, выполненный с возможностью создания видеоконтента. Модуль создания видео может быть платформой создания, содержащей, например, камеру для захвата видеоконтента прямого эфира и интерфейс для того, чтобы позволять производителю или оператору цветокоррекции оперировать захваченным контентом прямого эфира и генерировать информацию, например, метаданные, ассоциированные с видеоконтентом. Такая информация позволяет улучшать качество изображения или лучше представлять художественный замысел Творческой Группы, например, посредством изменения шкалы цветов для картинок видео.

Например, может потребоваться адаптировать качество рендеринга переданного видео в соответствии с возможностями приемника. Например, картинка HDR (Высокий Динамический Диапазон) может не поддерживаться дисплеем SDR (Стандартный Динамический Диапазон), или интерфейсами SDR, такими как HDMI (Интерфейс для Мультимедиа Высокой Четкости). В данном случае, средство рендеринга или оборудование вышерасположенное по отношению к средству рендеринга (например, STB, проигрыватель Bluray) может обрабатывать картинку принятого видео, чтобы адаптировать картинки к характеристикам дисплея или к форматам, которые поддерживает дисплей. Для того, чтобы сохранить художественный замысел создателя контента на стадии рендеринга, желательно управлять такой обработкой.

Управление такой обработкой может осуществляться создателем контента посредством генерирования информации/метаданных постобработки для картинок видео. В нижеследующем слово «информация» может быть использовано вместо «метаданных». Для этого, модуль 100 создания видео содержит модуль 101 генерирования метаданных, который выводит такие метаданные (MD) постобработки в соответствии с вводом создателя контента в интерфейс модуля создания видео.

В качестве примера, фигура 7 показывает картинку, в которой оператор цветокоррекции определил две области R1 и R2, для которых должна применяться постобработка. Например, оператор цветокоррекции сначала определяет параметры P1 обработки (или изменения шкалы цветов), которые должны быть применены к области R1 для того, чтобы акцентировать восприятие пользователя на области R1. Затем, оператор цветокоррекции определяет параметры P2 обработки, которые должны быть применены к области R2 для того, чтобы не позволить пользователю обращать его внимание на область R2. На данной фигуре, области являются прямоугольными. Тем не менее, настоящие принципы также применяются к непрямоугольным областям, таким как эллипс, круг, или любые другие параметрические формы.

Изменение шкалы цветов картинки (видео) является процессом изменения/улучшения цветов картинки (или видео). Обычно, изменение шкалы цветов картинки включает изменение объема цвета (цветового пространства и/или динамического диапазона) или изменение цветовой палитры по отношению к данной картинке. Таким образом, две разные с измененной шкалой цвета версии одной и той же картинки являются версиями данной картинки, значения которой представлены в разных объемах цвета (или цветовой палитре) или версиями картинки чей, по меньшей мере, один из их цветов был изменен/улучшен в соответствии с отличными шкалами цвета. Это может включать взаимодействия пользователя от оператора цветокоррекции, например. Оператор цветокоррекции управляет значениями цвета первой с измененной шкалой цветов версии захваченной картинки, посредством тонкой настройки/подстройки некоторых значений цвета для того, чтобы ввести художественный замысел с возможно локальными изменениями (регулировка локальных характеристик сигнала).

Параметры управления, определенные посредством оператора цветокоррекции, затем представляются посредством набора параметров P1 для области R1 и P2 для области R2. Такие наборы параметров P1 и P2 определяют метаданные постобработки для применения перед рендерингом. В соответствии с вариантом осуществления, метаданные постобработки применяются к, по меньшей мере, одной области картинки видеоконтента. Набор параметров MD таким образом содержит координаты, позволяющие определить местоположение области (R1, R2) в картинке и параметры (P1, P2), определяющие этапы постобработки для применения к области.

Возвращаясь к фигуре 1, модуль 100 создания видео производит видеоконтент в форме последовательности картинок (PIC) и набора метаданных (MD) в качестве входных данных кодеру 102 видео.

Такой кодер 102 видео выполняет кодирование картинок PIC видео в битовый поток и кодирование набора метаданных MD в упомянутый битовый поток в соответствии с вариантом осуществления настоящего принципа. Кодер 102 видео выполняет кодирование картинок PIC в соответствии с любыми стандартами кодирования видео, такими как H.266, HEVC/H.265, AVC/H.264 или любая собственная система кодирования видео.

Классически, кодер 102 видео может включать в себя несколько модулей для основанного на блоках кодирования видео, как иллюстрируется на фигуре 2A. Картинка PIC, которая должна быть закодирована, вводится в кодер 102. Кодер 102 содержит блок выбора режима для выбора режима кодирования для блока картинки, которая должна быть закодирована, например, на основании оптимизации скорости/искажение, причем такой блок выбора режима, содержащий:

- модуль оценки движения, для оценки движения между одним текущим блоком картинки, которая должна быть закодирована и опорными картинками,

- модуль компенсации движения для предсказания текущего блока, используя оцененное движение,

- модуль интра предсказания для пространственного предсказания текущего блока.

Блок выбора режима производит блоки предсказания PRED и соответствующие элементы синтаксиса, которые должны быть закодированы в битовый поток для выполнения точно такого же предсказания блока на декодере.

Остаточные блоки RES затем получаются из блоков картинки, которая должна быть закодирована, и блоков предсказания PRED. Остаточные блоки RES преобразуются посредством модуля обработки преобразования и квантуются посредством модуля квантования, производящего квантованные остаточные коэффициенты преобразования COEF.

Элементы синтаксиса и квантованные остаточные коэффициенты преобразования COEF затем вводятся в модуль энтропийного кодирования, чтобы произвести кодированные видеоданные.

Квантованные остаточные коэффициенты преобразования COEF обрабатываются посредством модуля обратного квантования и модуля обратного преобразования для воссоздания остаточных блоков RES'. Блоки предсказания PRED складываются с воссозданными остаточными блоками RES' для воссоздания блоков, формирующих воссозданную текущую картинку REC. Воссозданная текущая картинка REC затем добавляется в память опорного кадра для использования позже в качестве опорной картинки для кодирования последующих картинок видеоконтента.

Возвращаясь к фигуре 1, в соответствии с вариантом осуществления, кодер 102 также содержит модуль 108 генерирования потока, выполненный с возможностью производства закодированного битового потока STR, содержащего кодированные видеоданные и набор метаданных MD.

Для того, чтобы отображать кодированные видеоданные в транспортных слоях, большая часть стандартов кодирования видео используют принцип Единицы Слоя Абстракции Сети (NALU). В соответствии с данным принципом, кодированные видеоданные организуются в последовательности единиц данных, именуемых единицами NAL, которые формируются в единицы доступа.

Как иллюстрируется на фигуре 2B, единица доступа AU содержит набор из одной или более единиц NAL, которые сообща представляют собой картинки, которые соответствуют одному и тому же времени вывода. Одна или более единицы NAL в единице доступа содержат набор из одной или более единиц (23,24) слоя кодирования видео (VCL) NAL, которые сообща составляют картинки, которые соответствуют одному и тому же времени вывода, и нуля или более единиц не VCL NAL (т.е., единицы NAL, которые не являются единицами VCL NAL).

Единицы VCL NAL несут сегменты слайса кодированных видеоданных. Единицы не-VCL NAL, как правило, содержат информацию управления.

Одним типом единицы не-VCL NAL, который может присутствовать в единице доступа, является единица Дополнительной Информации Улучшения (SEI) NAL, которая содержит дополнительные данные, которые могут улучшать применимость, но в целом не являются необходимыми для, декодированного видеосигнала. Сообщения SEI могут содержать разнообразные типы метаданных, ассоциированных с кодированными видеоданными, которые могут предоставлять информацию, ассоциированную с, например, хронометражем вывода картинки, демонстрацией, интерпретацией цветового пространства, и/или упаковкой кадра.

Возвращаясь к фигуре 1, модуль 108 генерирования потока организует для одной картинки видеоконтента, кодированные видеоданные, соответствующие картинке PIC в единицах VCL NAL у единиц доступа и кодирует набор метаданных MD в единице SEI NAL, именуемой ниже сообщением SEI вложения окна обработки.

В одном варианте осуществления настоящего раскрытия, такое сообщение SEI вложения окна обработки имеет следующую структуру, как иллюстрируется посредством Таблицы 1, в которой семантика элементов синтаксиса задается следующим образом.

processing_window_nesting( payloadSize } {	Дескриптор
pw_id	ue(v)
pw_rect_left_offset	se(v)
pw_rect_right_offset	se(v)
pw_rect_top_offset	se(v)
pw_rect_bottom_offset	se(v)
while(!byte_aligned())
pw_nesting_zero_bit /* равен 0*/	u(1)
sei_message()
}

Таблица 1

pw_id содержит идентифицирующее число, которое может быть использовано, чтобы идентифицировать назначение одного или более окна обработки. Значение pw_id должно находиться в диапазоне от 0 до 232-2, включительно.

Значения pw_id от 0 до 255 и от 512 до 231-1 могут быть использованы как определено заявкой. Значения pw_id от 256 до 511 и от 231 до 232-2 являются зарезервированными для использования в будущем посредством ITU-T | ISO/IEC. Декодеры, сталкивающиеся со значением pw_id в диапазоне от 256 до 511, включительно, или в диапазоне от 231 до 232-2, включительно, должны игнорировать его.

pw_rect_left_offset, pw_rect_right_offset, pw_rect_top_offset, и pw_rect_bottom_offset, указывают выборки картинок в наборе метаданных, исходя из прямоугольной области, указываемой в координатах картинки. Когда не присутствуют, значения pw_rect_left_offset, pw_rect_right_offset, pw_rect_top_offset, и pw_rect_bottom_offset подразумеваются равными 0.

Окно обработки указывается для формата цветности 4:4:4. Оно содержит выборки цвета, т.е., пиксели с горизонтальными координатами картинки от pw_rect_left_offset до pic_width_in_luma_samples - (pw_rect_right_offset+1), и вертикальными координатами картинки от pw_rect_top_offset до pic_height_in_luma_samples - (pw_rect_bottom_offset+1), включительно, где pic_width_in_luma_samples соответствует числу пикселей составляющей яркости у картинки в соответствии с горизонтальной осью, и pic_height_in_luma_samples соответствует числу пикселей составляющей яркости картинки в соответствии с вертикальной осью.

Значение (pw_rect_left_offset+pw_rect_right_offset) должно быть меньше pic_width_in_luma_samples, и значение (pw_rect_top_offset+pw_rect_bottom_offset) должно быть меньше чем pic_height_in_luma_samples.

pw_nesting_zero_bit должно быть равно 0.

В случае, когда область не является прямоугольной, тогда параметры, позволяющие определить местоположение области в картинке могут быть отличными от pw_rect_left_offset, pw_rect_right_offset, pw_rect_top_offset, и pw_rect_bottom_offset. В качестве примера, применительно к кругу, позиция его центра и его радиус являются параметрами, позволяющими определить его местоположение в картинке.

Структура синтаксиса «sei_message()» соответствует сообщению SEI, содержащему информацию улучшения, т.е., параметры постобработки, которые должны быть применены к пикселям, которые содержатся в прямоугольной области, определяемой координатами картинки, заданными в Таблице 1. В соответствии с вариантом осуществления, иллюстрируемым Таблицей 1, только одно сообщение SEI должно быть применено к области, которая определяется в сообщении SEI вложения окна обработки. Сообщение SEI, которое должно применяться к области, является сообщением, которое вкладывается в сообщение SEI вложения окна обработки.

В соответствии с другими вариантами осуществления, сообщение вложения окна обработки может содержать параметр, указывающий число областей в текущей картинке, к которым применяется сообщение SEI, и/или параметр, указывающий номер сообщения SEI, которое должно быть применено к области.

Другой вариант осуществления структуры сообщения SEI вложения окна обработки иллюстрируется в Таблице 2. В таблице 2, зависимость между окном и особым сообщением SEI, более точно ассоциация области с особым сообщением SEI, может быть указана в семантике или на уровне приложения. Ассоциация «sei_message()» с областями также может быть указана с помощью дополнительной таблицы ассоциации.

processing_window_nesting( payloadSize ){	Дескриптор
pw_id	ue(v)
pw_rect_cnt_minus1	ue(v)
for( i=0;i<=pw_rect_cnt_minus1;i++ ){
pw_rect_left_offset[i]	se(v)
pw_rect_right_offset[i]	se(v)
pw_rect_top_offset[i]	se(v)
pw_rect_bottom_offset[i]	se(v)
}
while( !byte_aligned() )
pw_nesting_zero_bit /* равен 0 */	u(1)
pw_sei_cnt_minus1	ue(v)
for( i=0;i<=pw_sei_cnt_minus1;i++ )
sei_message()
}

Таблица 2

Дополнительная семантика (сверх предыдущего варианта осуществления) является следующей:

pw_rect_cnt_minus1 плюс 1 указывает номер окна обработки (т.е., области) в i-ом вложенном sei_message(). Значение pw_rect_cnt_minus1 должно находиться в диапазоне от 0 до 15, включительно.

pw_rect_left_offset[i], pw_rect_right_offset[i], pw_rect_top_offset[i], и pw_rect_bottom_offset[i], указывают выборки картинок в i-ом наборе метаданных, исходя из прямоугольной области, указанной в координатах картинки. Когда не присутствуют, значения pw_rect_left_offset[i], pw_rect_right_offset[i], pw_rect_top_offset[i], и pw_rect_bottom_offset[i] подразумеваются равными 0.

Окно обработки указывается для формата цветности 4:4:4. Оно содержит выборки цвета с горизонтальными координатами картинки от pw_rect_left_offset[i] до pic_width_in_luma_samples - (pw_rect_right_offset[i]+1), и вертикальными координатами картинки от pw_rect_top_offset[i] до pic_height_in_luma_samples - (pw_rect_bottom_offset[i]+1), включительно.

Значение (pw_rect_left_offset[i]+pw_rect_right_offset[i]) должно быть меньше pic_width_in_luma_samples, и значение (pw_rect_top_offset[i]+pw_rect_bottom_offset[i]) должно быть меньше чем pic_height_in_luma_samples.

pw_sei_cnt_minus1 плюс 1 указывает число структур сообщения SEI, которое содержится в сообщении вложения окна обработки.

Отмечается, что sei_message() может быть ограничено, чтобы быть точно таким же (т.е., точно таким же payloadType), если вызывается в итерационном цикле.

Другой вариант осуществления структуры сообщения SEI вложения окна обработки иллюстрируется в Таблице 3A или 3B. В Таблице 3A, сообщение SEI (sei_message()) определяется из расчета на область, тогда как в таблице 3B определяется единое сообщение SEI, которое применяется к всем определенным областям.

processing_window_nesting( payloadSize ){	Дескриптор
pw_id	ue(v)
pw_sei_cnt_minus1	ue(v)
for( i=0;i<=pw_sei_cnt_minus1;i++ ){
pw_rect_left_offset[i]	se(v)
pw_rect_right_offset[i]	se(v)
pw_rect_top_offset[i]	se(v)
pw_rect_bottom_offset[i]	se(v)
while( !byte_aligned() )
pw_nesting_zero_bit /* равен 0 */	u(1)
sei_message()
}
}

Таблица 3A

processing_window_nesting( payloadSize ){	Дескриптор
pw_id	ue(v)
pw_sei_cnt_minus1	ue(v)
for( i=0;i<=pw_sei_cnt_minus1;i++ ){
pw_rect_left_offset[i]	se(v)
pw_rect_right_offset[i]	se(v)
pw_rect_top_offset[i]	se(v)
pw_rect_bottom_offset[i]	se(v)
while( !byte_aligned() )
pw_nesting_zero_bit /* равен 0 */	u(1)
sei_message()
}

Таблица 3B

Семантика для данного текущего варианта осуществления является точно такой же, как для предыдущих вариантов осуществления, описанных выше.

Модуль 108 генерирования потока кодирует набор метаданных MD посредством кодирования всех элементов синтаксиса в соответствии с любым одним из вариантов осуществления, описанных здесь выше в Таблицах 1-3. Элементы синтаксиса могут быть закодированы посредством энтропийного кодера, такого как энтропийный кодер с фигуры 2A, например.

Модуль 108 генерирования потока с фигуры 1 может работать, когда все или некоторое число картинок PIC у видеоконтента (соответствующие Группе Картинок, т.е., GOP), были закодированы посредством кодера 102, или после кодирования каждой картинки, например, применительно к контенту прямого эфира. Модуль 108 генерирования потока затем доставляет закодированный битовый поток STR передатчику 103 для передачи такого битового потока.

Передатчик 103 принимает закодированный битовый поток STR и передает закодированный битовый поток в одном или более выходных сигналах SIG. Типичные передатчики выполняют функции, такие как, например, одно или более из обеспечения кодирования с исправлением ошибок, перемежения данных в сигнале, придания случайности энергии в сигнале, и модуляции сигнала в одной или более несущих, используя модулятор (не показано). Передатчик 103 может включать в себя, или взаимодействовать с, антенну (не показано). Кроме того, реализации передатчика 103 могут быть ограничены модулятором. Передатчик 103 может передавать выходной сигнал через разнообразие сред, такие как спутниковую, кабельную, телефонной линии, или наземное вещание. Выходной сигнал может быть передан через Интернет или некоторую другую сеть. Система, показанная на фигуре 1, также может быть коммуникативно связана с запоминающим блоком (не показано). В одной реализации, запоминающий блок связан с кодером 102, и сохраняет закодированный битовый поток от кодера 102. В другом варианте осуществления, запоминающий блок связан с передатчиком 103, и сохраняет битовый поток от передатчика 103. Запоминающий блок может, в разных реализациях, быть одним или более из стандартного DVD, диска Blu-Ray, накопителя на жестком диске, или некоторого другого запоминающего устройства.

Один или более сигнал SIG затем принимаются системой 109 декодирования. Такая система 109 декодирования может быть, например, сотовым телефоном, компьютером, телевизионной абонентской приставкой, телевизором, проигрывателем оптического диска, или другим устройством, которое принимает закодированное видео и предоставляет, например, декодированный видеосигнал для демонстрации (демонстрации пользователю, например), для обработки, или для хранения.

Система 109 декодирования выполнена с возможностью приема и обработки информации данных. Система или устройство приема 109 включает в себя приемник 104 для приема закодированного сигнала SIG.

Приемник 104 может быть, например, выполнен с возможностью приема сигнала программы с множеством битовых потоков, представляющих собой закодированные картинки. Типичные приемники выполняют функции такие как, например, одно или более из приема модулированного и закодированного сигнала данных, демодулирования сигнала данных из одной или более несущих, используя демодулятор (не показано), устранение случайности энергии в сигнале, устранение перемежения данных в сигнале, и декодирование с исправлением ошибки сигнала. Приемник 104 может включать в себя, или взаимодействовать с, антенну (не показано). Реализации приемника 104 могут быть ограничены демодулятором.

Приемник 104 затем доставляет закодированный битовый поток STR декодеру 105 видео. Декодер 105 видео содержит анализатор потока (не показан), выполненный с возможностью анализа битового потока STR, чтобы извлекать единицу доступа AU, соответствующую картинке, чтобы декодировать. Анализатор потока также выполнен с возможностью извлечения из AU кодированных видеоданных из единиц VCL NAL у единицы доступа и единиц SEI NAL. Элементы синтаксиса сообщения SEI вложения окна обработки декодируются в соответствии с синтаксисом, который использовался на стадии кодирования. Например, элементы синтаксиса декодируются посредством энтропийного декодера с фигуры 2C. Декодирование сообщения SEI вложения окна обработки позволяет получить набор метаданных MD постобработки.

Декодирование сообщения SEI окна обработки может быть выполнено посредством самого анализатора потока или посредством постпроцессора, выполненного с возможностью применения этапов постобработки, определенных в сообщении. Набор метаданных MD содержит координаты (левое смещение, правое смещение, верхнее смещение и нижнее смещение) позволяющие определить местоположение области в картинке, к которой применяется постобработка и параметры, определяющие этапы постобработки для применения к области. Набор метаданных MD может содержать несколько областей, к которым применяется одна и та же постобработка и/или несколько областей, к которым применяется разная постобработка.

Кодированные видеоданные затем пропускаются к модулям декодирования видео у декодера 105 видео. Декодер 105 видео может содержать модули декодирования видео, такие как иллюстрируемые фигурой 2C.

Как иллюстрируется на фигуре 2C, кодированные видеоданные пропускаются к модулю энтропийного декодирования, который выполняет энтропийное декодирование и доставляет квантованные коэффициенты COEF модулю обратного квантования и элементы синтаксиса модулю предсказания.

Квантованные коэффициенты COEF обратно квантуются посредством модуля обратного квантования и обратно преобразуются посредством модуля обратного преобразования, производя данные остаточных блоков RES'. Модуль предсказания строит блоки предсказания PRED в соответствии с элементом синтаксиса и используя модуль компенсации движения, если текущий блок был интер-предсказан, или модуль интра предсказания, если текущий блок был предсказан пространственным образом. Воссозданная картинка D_PIC получается посредством сложения блоков предсказания PRED и остаточных блоков RES'. Воссозданная картинка D_PIC добавляется в память опорного кадра для использования позже в качестве опорного кадра.

Воссозданная картинка D_PIC затем выводится декодером 105 видео.

Возвращаясь к фигуре 1, воссозданная картинка D_PIC, выведенная декодером 105 видео, вводится в постпроцессор 106 с набором метаданных MD. В некоторых вариантах осуществления, устройство 105 декодера может содержать абонентскую телевизионную приставку.

Постпроцессор 106 применяет параметры постобработки, определенные в наборе метаданных MD, к области, которая определяется координатами, указанными в наборе метаданных MD. В качестве примера, фигура 7 иллюстрирует две области R1 и R2 воссозданной картинки D_PIC, к которым постобработка P1, и P2 должны быть применены, соответственно. Например, первый набор параметров P1, определяющий операцию изменения шкалы цветов или обработки для области R1 был закодирован в сообщении SEI, вложенном в сообщение SEI окна обработки, а второй набор параметров P2, определяющий другую операцию изменения шкалы цветов или обработки для области R2, был закодирован в другом сообщении SEI, вложенном в сообщение SEI окна обработки. Такой пример может быть закодирован в одном сообщении SEI вложения окна обработки, используя синтаксис, как иллюстрируется таблицей 2 или 3, или в двух отдельных сообщениях SEI вложения окна обработки, используя синтаксис, как иллюстрируется таблицей 1.

В примере фигуры 7, постпроцессор 106 применяет параметры P1 постобработки к пикселям картинки D_PIC, которые содержатся в области R1, и параметры P2 постобработки к пикселям D_PIC, которые содержатся в области R2.

Постпроцессор 106 затем выводит обработанную картинку P-PIC на средство 107 рендеринга.

В некоторых вариантах осуществления, постпроцессор 106 может содержаться в средстве 107 рендеринга, или в устройстве 105 декодера.

Таким образом, средство 107 рендеринга может быть, например, экраном телевизора, монитором компьютера, компьютером (для хранения, обработки, или демонстрации), или некоторым другим устройством хранения, обработки, или демонстрации.

Средство 107 рендеринга может быть воплощено в том же самом устройстве, что и декодер 105 и постпроцессор 106.

Один вариант осуществления настоящего раскрытия относится к способу для кодирования видео. Фигура 3 иллюстрирует блок-схему такого способа для кодирования видео в соответствии с вариантом осуществления раскрытия.

Способ кодирования видео начинается на этапе 300. На этапе 301, картинка видео кодируется в битовый поток. Например, может быть использовано устройство кодирования для кодирования картинки, как описано со ссылкой на фигуру 2A. На этапе 302, кодируется, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения. Такое сообщение вложения SEI также именуется сообщением SEI окна обработки в настоящем раскрытии. Этап 302 содержит суб-этап 303 в виде кодирования, по меньшей мере, одного набора параметров, представляющих собой местоположение области в упомянутой картинке. Например, такой набор параметров может быть координатами области R1 с фигуры 7, которые определяются посредством левого смещения от левой границы картинки, правого смещения, определенного от правой границы картинки, верхнего смещения, определенного от верхней границы картинки, и нижнего смещения, определенного от нижней границы картинки. Такие координаты позволяют определить прямоугольную область R1 в картинке. Вследствие этого, может быть легко определено местоположение пикселей из области R1 во время постобработки.

Этап 302 также содержит суб-этап 304 в виде кодирования, по меньшей мере, одного сообщения Дополнительной Информации Улучшения (SEI). Полезная нагрузка такого сообщения SEI кодирует метаданные обработки для обработки пикселей, которые содержатся в упомянутой области картинки. Синтаксис и параметры для кодирования в таком сообщении SEI зависят от типа обработки, для применения к областям. Преимущество настоящего раскрытия состоит в обеспечении повторного использования существующего сообщения SEI. Вследствие этого, синтаксис и кодирование такого сообщения SEI дополнительно здесь не описываются. Примеры таких сообщений SEI раскрываются в определении стандарта, такого как AVC/H.264 или HEVC/ITU-T H.265 Высокоэффективное Кодирование Видео. Такие сообщения SEI определяются в Приложении E документа ITU-T H.265 от апреля 2015г. Сообщения tone_mapping_info() раздела D2.15, post_filter_hint() раздела D2.14 и colour_remapping_info() раздела D2.32 являются примерами таких сообщений SEI, которые могут быть вложены в SEI вложения.

Этапы 301 и 302 выполняются для каждой картинки видеоконтента, которая должна быть закодирована. Этап 302 может быть необходим только для некоторых картинок видеоконтента, в зависимости от того, были ли сгенерированы метаданные для одной картинки или нет во время стадии создания.

Способ кодирования видео затем заканчивается на этапе 305.

В соответствии с другим вариантом осуществления, этап 302 дополнительно содержит суб-этап 306 (не показано), выполняющий кодирование параметров, указывающих число R областей в упомянутой картинке, к которым применяется упомянутое, по меньшей мере, одно сообщение SEI. В данном варианте осуществления, R областей в упомянутой картинке должны быть подвергнуты постобработке и должны быть закодированы координаты каждой из этих R областей.

Вследствие этого, когда такое число больше 1, суб-этап 303 повторяется до тех пор, пока не будут закодированы координаты каждой из R областей. Такой вариант осуществления иллюстрируется в Таблице 2 или 3.

В соответствии с другим вариантом осуществления, этап 302 дополнительно содержит суб-этап 307, выполняющий кодирование параметра, указывающего число N сообщений SEI постобработки. В данном варианте осуществления, N сообщений SEI, т.е., N наборов параметров постобработки должно быть закодировано в сообщении вложения SEI. Вследствие этого, когда такое число больше 1, суб-этап 304 повторяется до тех пор, пока не будет закодировано число сообщений SEI равное N. Такой вариант осуществления иллюстрируется в Таблице 2.

Один вариант осуществления настоящего раскрытия относится к способу для декодирования видео. Фигура 4 иллюстрирует блок-схему такого способа для декодирования видео в соответствии с одним вариантом осуществления раскрытия.

Способ декодирования видео начинается на этапе 400. На этапе 401, картинка видео декодируется из битового потока, производя декодированную картинку. Например, может быть использовано устройство декодирования для декодирования картинки как описано со ссылкой на фигуру 2C. На этапе 402, декодируется, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения. Такое сообщение вложения SEI также именуется сообщением SEI окна обработки в настоящем раскрытии. Этап 402 содержит суб-этап 403 в виде декодирования, по меньшей мере, одного набора параметров, представляющих собой местоположение области в упомянутой картинке. Например, такой набор параметров может быть координатами области R1 с фигуры 7, которые определяются посредством левого смещения от левой границы картинки, правого смещения, определенного от правой границы картинки, верхнего смещения, определенного от верхней границы картинки, и нижнего смещения, определенного от нижней границы картинки. Такие координаты позволяют определить прямоугольную область R1 в картинке. И, следовательно, может быть легко определено местоположение пикселей из области R1 во время постобработки.

Этап 402 также содержит суб-этап 404 в виде декодирования, по меньшей мере, одного сообщения Дополнительной Информации Улучшения (SEI). Полезная нагрузка такого сообщения SEI содержит метаданные обработки для обработки пикселей, которые содержатся в упомянутой области картинки.

Этапы 401 и 402 выполняются для каждой картинки видеоконтента, которая должна быть декодирована. Этап 402 может быть необходим только когда присутствует, по меньшей мере, одна Единица SEI NAL, содержащая сообщение вложения SEI у сообщения вложения окна обработки в единице доступа, соответствующей текущей картинке. Если такая единица SEI NAL не присутствует в единице доступа, это означает, что не были переданы метаданные основанной на области обработки с кодированными видеоданными. Затем способ декодирования видео заканчивается на этапе 405.

В соответствии с другим вариантом осуществления, этап 402 дополнительно содержит суб-этап 406 (не показано), выполняющий декодирование параметра, указывающего число R областей в упомянутой картинке, к которым применяется упомянутое, по меньшей мере, одно сообщение SEI. В данном варианте осуществления, R областей в упомянутой картинке должны быть подвергнуты постобработке и должны быть декодированы координаты каждой из этих R областей.

Вследствие этого, когда такое число больше 1, суб-этап 403 повторяется до тех пор, пока не будут декодированы координаты каждой из R областей. Такой вариант осуществления иллюстрируется в Таблице 2 или 3.

В соответствии с другим вариантом осуществления, этап 402 дополнительно содержит суб-этап 407, выполняющий декодирование параметра, указывающего число N сообщений SEI. В данном варианте осуществления, N сообщений SEI, т.е., N наборов параметров постобработки должно быть декодировано в сообщении вложения SEI. Вследствие этого, когда такое число больше 1, суб-этап 404 повторяется до тех пор, пока не будет декодировано число сообщений SEI равное N. Такой вариант осуществления иллюстрируется в Таблице 2.

Фигура 5 иллюстрирует упрощенную структуру устройства (КОДЕР) для кодирования видео в соответствии с вариантом осуществления. Такое устройство для кодирования видео выполнено с возможностью реализации способа для кодирования видео в соответствии с настоящими принципами, которые были описаны здесь выше со ссылкой на фигуру 1 или 3. Устройство кодера с фигуры 5 может быть в качестве примера кодером 102, как описано на фигуре 1.

В примере, показанном на фигуре 5, устройство кодера содержит блок обработки PROC, оборудованный, например, процессором и который приводится в действие посредством компьютерной программы PG, хранящейся в памяти MEM и реализующей способ для кодирования видео в соответствии с настоящими принципами.

Устройство кодера КОДЕР выполнено с возможностью:

- кодирования, по меньшей мере, одной картинки упомянутого видео в битовый поток,

- кодирования, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения, при этом при кодировании упомянутого, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения, кодер дополнительно выполнен с возможностью:

- кодирования, по меньшей мере, одного набора параметров, представляющих собой местоположение области в упомянутой картинке,

- кодирования, по меньшей мере, одного сообщения Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения кодирует метаданные обработки для обработки пикселей, которые содержатся в упомянутой области упомянутой картинки.

При инициализации, инструкции кода компьютерной программы PG, например, загружаются в RAM (не показано) и затем исполняются посредством процессора блока обработки PROC. Процессор блока обработки PROC реализует этапы способов для кодирования видео, который был описан здесь выше, в соответствии с инструкциями компьютерной программы PG.

Опционально, устройство кодера КОДЕР содержит блок связи COM, чтобы передавать закодированный битовый поток декодеру.

Устройство кодера КОДЕР также содержит интерфейс для приема картинки, которая должна быть закодирована, набора параметров, представляющих собой местоположение области в упомянутой картинке, и метаданных обработки, которые должны быть закодированы.

Фигура 6 иллюстрирует упрощенную структуру устройства (ДЕКОДЕРА) для декодирования видео в соответствии с вариантом осуществления. Такое устройство для декодирования видео выполнено с возможностью реализации способа для декодирования видео в соответствии с настоящими принципами, которые были описаны здесь выше со ссылкой на фигуру 1 или 4. Устройство декодера с фигуры 6 может быть в качестве примера декодером 105, как описано на фигуре 1.

В примере, показанном на фигуре 5, устройство декодера содержит блок обработки PROC оборудованный, например, процессором и который приводится в действие компьютерной программой PG, хранящейся в памяти MEM и реализующей способ для декодирования видео в соответствии с настоящими принципами.

Устройство декодера ДЕКОДЕР выполнено с возможностью:

- декодирования, по меньшей мере, одной картинки упомянутого видео из упомянутого битового потока, производя декодированную картинку,

- декодирования, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения, при этом при декодировании упомянутого, по меньшей мере, одного сообщения вложения Дополнительной Информации Улучшения, декодер дополнительно выполнен с возможностью:

- декодирования, по меньшей мере, одного набора параметров, представляющих собой местоположение области в упомянутой декодированной картинке,

- декодирования, по меньшей мере, одного сообщения Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение Дополнительной Информации Улучшения содержит метаданные обработки для обработки пикселей, которые содержатся в упомянутой области упомянутой декодированной картинки.

При инициализации, инструкции кода компьютерной программы PG, например, загружаются в RAM (не показано) и затем исполняются посредством процессора у блока обработки PROC. Процессор блока обработки PROC реализует этапы способов для декодирования видео, который был описан здесь выше, в соответствии с инструкциями компьютерной программы PG.

Опционально, устройство декодера ДЕКОДЕР содержит интерфейс, выполненный с возможностью осуществления связи с постпроцессором с тем, чтобы передавать декодированные картинки, декодированный набор параметров, представляющих собой местоположение области в упомянутой декодированной картинке, и декодированные метаданные обработки, для применения к пикселям упомянутой области в упомянутой декодированной картинке.

1. Способ для кодирования видео, содержащий этапы, на которых:

- кодируют (301), по меньшей мере, одну картинку упомянутого видео в битовый поток,

- кодируют (302) сообщение вложения Дополнительной Информации Улучшения, при этом этап, на котором кодируют упомянутое сообщение вложения Дополнительной Информации Улучшения, содержит этапы, на которых:

- кодируют (303) параметр, указывающий число областей в упомянутой картинке;

- кодируют (303), для каждой из упомянутых областей, по меньшей мере, один параметр, представляющий собой местоположение упомянутой области в упомянутой картинке;

- кодируют (304) параметр, указывающий число сообщений Дополнительной Информации Улучшения, вложенных в упомянутое сообщение вложения Дополнительной Информации Улучшения;

- кодируют (304), для каждого сообщения Дополнительной Информации Улучшения, вложенного в упомянутое сообщение вложения Дополнительной Информации Улучшения, информацию обработки;

- кодируют (304) информацию, представляющую собой ассоциацию по меньшей мере одной области с, по меньшей мере, одним сообщением Дополнительной Информации Улучшения, вложенным в упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения.

2. Способ по п. 1, в котором информация, представляющая собой ассоциацию по меньшей мере одной области с, по меньшей мере, одним сообщением Дополнительной Информации Улучшения, вложенным в упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, является таблицей ассоциаций.

3. Способ для декодирования битового потока, представляющего собой кодированное видео, содержащий этапы, на которых:

- декодируют (401), по меньшей мере, одну картинку упомянутого видео из упомянутого битового потока,

- декодируют (402) сообщение вложения Дополнительной Информации Улучшения, при этом этап, на котором декодируют упомянутое сообщение вложения Дополнительной Информации Улучшения, содержит этапы, на которых:

- декодируют (403) параметр, указывающий число областей в упомянутой картинке;

- декодируют (403), для каждой из упомянутых областей, по меньшей мере, один параметр, представляющий собой местоположение упомянутой области в упомянутой картинке;

- декодируют (404) параметр, указывающий число сообщений Дополнительной Информации Улучшения, вложенных в упомянутое сообщение вложения Дополнительной Информации Улучшения;

- декодируют (304), для каждого сообщения Дополнительной Информации Улучшения, вложенного в упомянутое сообщение вложения Дополнительной Информации Улучшения, информацию обработки;

- декодируют (304) информацию, представляющую собой ассоциацию по меньшей мере одной области с, по меньшей мере, одним сообщением Дополнительной Информации Улучшения, вложенным в упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения.

4. Способ по п. 3, в котором информация, представляющая собой ассоциацию по меньшей мере одной области с, по меньшей мере, одним сообщением Дополнительной Информации Улучшения, вложенным в упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, является таблицей ассоциаций.

5. Устройство для кодирования видео, содержащее:

- средство для кодирования, по меньшей мере, одной картинки упомянутого видео в битовый поток,

- средство для кодирования сообщения вложения Дополнительной Информации Улучшения, при этом упомянутое средство для кодирования упомянутого сообщения вложения Дополнительной Информации Улучшения, содержит:

- средство для кодирования параметра, указывающего число областей в упомянутой картинке;

- средство для кодирования, для каждой из упомянутых областей, по меньшей мере, одного параметра, представляющего собой местоположение упомянутой области в упомянутой картинке;

- средство для кодирования параметра, указывающего число сообщений Дополнительной Информации Улучшения, вложенных в упомянутое сообщение вложения Дополнительной Информации Улучшения;

- средство для кодирования, для каждого сообщения Дополнительной Информации Улучшения, вложенного в упомянутое сообщение вложения Дополнительной Информации Улучшения, информации обработки;

- средство для кодирования информации, представляющей собой ассоциацию по меньшей мере одной области с, по меньшей мере, одним сообщением Дополнительной Информации Улучшения, вложенным в упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения.

6. Устройство по п. 5, в котором информация, представляющая собой ассоциацию по меньшей мере одной области с, по меньшей мере, одним сообщением Дополнительной Информации Улучшения, вложенным в упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, является таблицей ассоциаций.

7. Устройство для декодирования битового потока, представляющего собой кодированное видео, содержащее:

- средство для декодирования, по меньшей мере, одной картинки упомянутого видео из упомянутого битового потока,

- средство для декодирования сообщения вложения Дополнительной Информации Улучшения, при этом упомянутое средство для декодирования упомянутого сообщения вложения Дополнительной Информации Улучшения, содержит:

- средство для декодирования параметра, указывающего число областей в упомянутой картинке;

- средство для декодирования, для каждой из упомянутых областей, по меньшей мере, одного параметра, представляющего собой местоположение упомянутой области в упомянутой картинке;

- средство для декодирования параметра, указывающего число сообщений Дополнительной Информации Улучшения, вложенных в упомянутое сообщение вложения Дополнительной Информации Улучшения;

- средство для декодирования, для каждого сообщения Дополнительной Информации Улучшения, вложенного в упомянутое сообщение вложения Дополнительной Информации Улучшения, информации обработки;

- средство для декодирования информации, представляющей собой ассоциацию по меньшей мере одной области с, по меньшей мере, одним сообщением Дополнительной Информации Улучшения, вложенным в упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения.

8. Устройство по п. 7, в котором информация, представляющая собой ассоциацию по меньшей мере одной области с, по меньшей мере, одним сообщением Дополнительной Информации Улучшения, вложенным в упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, является таблицей ассоциаций.

9. Машиночитаемый запоминающий носитель информации, содержащий хранящиеся на нем инструкции кода программного обеспечения для выполнения способа в соответствии с п. 1 или 2, когда инструкции кода программного обеспечения исполняются посредством процессора.

10. Машиночитаемый запоминающий носитель информации, содержащий хранящиеся на нем инструкции кода программного обеспечения для выполнения способа в соответствии с п. 3 или 4, когда инструкции кода программного обеспечения исполняются посредством процессора.

11. Постоянный читаемый процессором носитель информации, содержащий хранящийся на нем битовый поток, при этом битовый поток содержит:

- кодированные данные, представляющие собой одну картинку упомянутого видео,

- по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, при этом упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения содержит:

- параметр, указывающий число областей в упомянутой картинке;

- для каждой из упомянутых областей, по меньшей мере, один параметр, представляющий собой местоположение упомянутой области в упомянутой картинке;

- параметр, указывающий число сообщений Дополнительной Информации Улучшения, вложенных в упомянутое сообщение вложения Дополнительной Информации Улучшения;

- для каждого сообщения Дополнительной Информации Улучшения, вложенного в упомянутое сообщение вложения Дополнительной Информации Улучшения, информацию обработки;

- информацию, представляющую собой ассоциацию по меньшей мере одной области с, по меньшей мере, одним сообщением Дополнительной Информации Улучшения, вложенным в упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения.

12. Постоянный читаемый процессором носитель информации по п. 11, в котором информация, представляющая собой ассоциацию по меньшей мере одной области с, по меньшей мере, одним сообщением Дополнительной Информации Улучшения, вложенным в упомянутое, по меньшей мере, одно сообщение вложения Дополнительной Информации Улучшения, является таблицей ассоциаций.