Размер элемента мозаичного изображения при кодировании видео

Изобретение относится к видеокодированию. Технический результат заключается в уменьшении объема внутрикристаллической памяти за счет ограничения минимальной ширины элемента мозаичного изображения. Видеокодер, выполненный с возможностью кодирования видеопоследовательности, содержит модуль разделения, выполненный с возможностью разделения видеопоследовательности на элементы мозаичного изображения, при этом размер элемента мозаичного изображения больше, чем предварительно определенный минимальный размер элемента мозаичного изображения, и по меньшей мере один модуль кодирования, выполненный с возможностью кодирования элементов мозаичного изображения. 5 н. и 10 з.п. ф-лы, 6 ил.

 

Область техники, к которой относится изобретение

Настоящая заявка относится к видеокодеру, способу в видеокодере, видеодекодеру, способу в видеодекодере и считываемому компьютером носителю.

Уровень техники

Высокоэффективное кодирование видео (HEVC) является проектом стандарта сжатия видео и преемником H.264/MPEG-4 AVC (усовершенствованного кодирования видео). HEVC разрабатывается совместно экспертной группой по движущимся изображениям (MPEG) ISO/IEC и экспертной группой по кодированию видео (VCEG) ITU-T как часть 2 ISO/IEC 23008-2 MPEG-H и ITU-T H.HEVC.

Основной частью слоя кодирования в предыдущих стандартах был макроблок, содержащий блок 16×16 элементов дискретизации яркости, и в обычном случае с цветовой дискретизацией 4:2:0, два соответствующих блока 8×8 элементов дискретизации цветности, в то время как аналогичная структура в HEVC является единицей дерева кодирования (CTU), которая имеет размер, выбираемый кодером, и может быть больше, чем традиционный макроблок. CTU состоит из блока дерева кодирования яркости (СТВ) и соответствующих СТВ цветности и элементов синтаксиса. Размер L×L СТВ яркости может быть выбран как L=16, 32 или 64 элементов дискретизации, причем большие размеры обычно обеспечивают лучшее сжатие. HEVC затем поддерживает разделение СТВ на меньшие блоки с использованием структуры дерева и сигнализации типа дерева квадрантов.

Синтаксис дерева квадрантов CTU задает размер и позиции ее блоков кодирования (CB) яркости и цветности. Корень дерева квадрантов ассоциируется с CTU. Следовательно, размер СТВ яркости является наибольшим поддерживаемым размером для СВ яркости. Разбиение CTU на СВ яркости и цветности сигнализируется совместно. Один СВ яркости и обычно два СВ цветности, вместе с ассоциированным синтаксисом, формируют единицу кодирования (CU). СТВ может содержать только одну CU или может быть разбит для формирования множественных CU, и каждая CU имеет ассоциированное разделение на единицы предсказания (PU) и дерево единиц преобразования (TU).

Решение о том, кодировать ли область изображения с использованием предсказания между изображениями или внутри изображения, принимается на уровне CU. Структура разделения единицы предсказания (PU) имеет свой корень на уровне CU. В зависимости от решения относительно основного типа предсказания, СВ яркости и цветности затем могут быть дополнительно разбиты по размеру и предсказаны из блоков предсказания (РВ) яркости и цветности. HEVC поддерживает переменные размеры РВ от элементов дискретизации 64×64 до 4×4.

Ниже по тексту, где ссылка делается на единицу кодирования (CU), она может относиться к блоку кодирования (СВ) либо яркости, либо цветности, либо даже и того, и другого. Единица кодирования HEVC аналогична макроблоку, используемому в других стандартах кодирования видео.

Стандарт кодирования видео Н.264 определяет так называемые профили и уровни. Профиль является поднабором инструментов кодирования, заданных в стандарте, который обычно предназначается для конкретного набора приложений. В Н.264 имеются несколько профилей, такие как базовый профиль (предназначенный для мобильных приложений и приложений проведения конференций), главный профиль (предназначенный для телевидения) и высокий профиль (предназначенный для кодирования высокого разрешения видео). Может быть непрактичным требовать от декодера реализовать возможности декодирования для декодирования всех возможных комбинаций размеров изображения и скоростей передачи в битах в рамках выбранного профиля. По этой причине в Н.264 заданы “уровни”. Уровни накладывают ограничения на значения элементов синтаксиса, разрешенных в профиле, таких как скорость передачи в битах и размеры изображения.

Отдельно в стандарт высокоэффективного кодирования видео (HEVC) недавно был принят инструмент, называемый «элементы мозаичного изображения». Этот инструмент изменяет порядок декодирования наибольших единиц кодирования (LCU, альтернативно, наибольших блоков дерева (LTB), или единиц дерева кодирования (CTU)). Элементы мозаичного изображения могут быть истолкованы как области изображения, определенные набором вертикальных и/или горизонтальных линий, делящих изображение на прямоугольники. Эти прямоугольники являются элементами мозаичного изображения. LCU декодируются в порядке растрового сканирования внутри каждого элемента мозаичного изображения, а элементы мозаичного изображения декодируются в порядке растрового сканирования внутри изображения. По сравнению с обычным порядком декодирования растрового сканирования, элементы мозаичного изображения влияют на доступность соседних единиц кодирования (или блоков дерева) для предсказания и могут включать в себя или не включать в себя перенастройку любого энтропийного кодирования.

Фигура 1 показывает пример разделения элемента мозаичного изображения с использованием трех столбцов, отделенных границами 110 столбца, и трех рядов, отделенных границами 120 ряда. Фигура 1 показывает множество LCU 100, первые 41 из которых пронумерованы.

Фигура 2 показывает пример разделения элемента мозаичного изображения с использованием трех столбцов, отделенных границами 210 столбца, и одного ряда. Столбцы разделены на слайсы границей 230 слайса. Фиг. 2 показывает множество LCU 200, первые 14 из которых пронумерованы.

Каждый элемент мозаичного изображения содержит целое число LCU. LCU обрабатываются в порядке растрового сканирования в каждом элементе мозаичного изображения, а сами элементы мозаичного изображения обрабатываются в порядке растрового сканирования в изображении. Границы слайса вводятся кодером.

Разделение изображения на слайсы, как часть процесса кодирования известно, как отрицательно влияющее на эффективность кодирования, в частности, когда слайсы задуманы как независимо декодируемые. Однако многие приложения и реализации в настоящее время требуют разделения изображения. Например:

- Параллельная обработка: некоторые реализации, такие как те, которые исполняются в современных многоядерных CPU, разделяют исходное изображение на слайсы и отправляют каждый слайс в отдельное ядро для параллельного кодирования. Высококачественное кодирование в реальном времени видео высокого разрешения (например, 1280×720 и больше) не было бы возможно в настоящее время в многоядерном CPU общего назначения без разделения и параллельного кодирования. Кроме того, чтобы сократить затратное совместное использование информации между ядрами во время процесса кодирования/декодирования, обычно выгодно, чтобы слайсы кодировались независимо.

- Согласование размера MTU: при транспортировке кодированного битового потока в IP-сети пакеты подчиняются размеру максимальной единицы передачи (MTU). Если пакет содержит значительно меньше битов, чем размер MTU, тогда неэффективное использование битов заголовка пакета может существенно влиять на эффективность кодирования. Однако, если пакет содержит больше битов, чем размер MTU, сеть будет фрагментировать пакет. Кроме того, потерянный фрагмент пакета дает в результате проблему устойчивости к ошибкам, поскольку весь пакет является невосстановимым, если потерян один фрагмент. Один способ, чтобы избежать фрагментации пакета, состоит в разделении изображения на один или более слайсов, помещении каждого слайса в отдельный пакет, в то же время, удостоверяясь, что каждый пакет меньше, чем размер MCU.

- Устойчивость к ошибкам: некоторые приложения разделяют изображения на независимо декодируемые слайсы и применяют неодинаковые методы защиты от ошибок, чтобы защищать слайсы, считающиеся более важными.

Одним важным аспектом при рассмотрении практической реализации кодирования видео в аппаратном обеспечении является число каналов обращения к памяти. Для того чтобы уменьшить число выполняемых доступов считывания и записи к памяти, в Н.264 используется декодирование порядка макроблоков. В этом случае блок восстанавливается, затем применяется деблокирование (удаление блочности) для внутренних границ блока, а затем применяется деблокирование к границам с уже восстановленными блоками. После всего этого блок записывается обратно в память. Однако деблокирование не может быть применено к границам с блоками, которые еще не были восстановлены. Вследствие этого, пиксели, которые еще не обработаны деблокирующим фильтром (удаления блочности), сохраняются в буферной памяти, иногда упоминаемой как буфер линий. Поскольку макроблоки обрабатываются в порядке растрового сканирования, пиксели в граничной области на правой границе макроблока должны храниться в памяти до тех пор, пока не будет восстановлен следующий макроблок справа, и не может быть применено деблокирование. Однако для нижней границы макроблока информация о восстановленных пикселях должна храниться в буферной памяти до тех пор, пока не будет восстановлен и обработан макроблок в следующем ряду.

Если, например, деблокирующий фильтр на границах макроблока использует четыре пикселя с каждой стороны границы, тогда четыре линии пикселей вдоль нижней границы должны храниться до тех пор, пока не будет восстановлен следующий ряд макроблоков. В этом случае объем требуемой буферной памяти равен 4 линиям ширины изображения. Необходимая буферная память может равняться значительному объему памяти, в частности для видео высокого разрешения, что означает более высокие стоимости аппаратного обеспечения для декодера (поскольку буферная память находится на кристалле и, таким образом, является существенно более дорогой, чем память вне кристалла).

В данном документе, термин «граничный слой» используется для обозначения количества пикселей, которые должны быть сохранены в процессе деблокирования, как описано выше по тексту. Граничный слой блока содержит множество пикселей, значения которых используются деблокирующим фильтром во время декодирования последующего блока.

В HEVC проблема с требованиями к буферу линий становится еще более важной, поскольку стандарт HEVC имеет целью разрешения, более высокие, чем текущее определение высокого разрешения (1920 на 1080 пикселей). Кроме того, HEVC также имеет внутриконтурные (in-loop) фильтры, отличные от деблокирующего фильтра, например адаптивное к элементу дискретизации смещение (SAO) и адаптивный контурный фильтр (ALF). Эти контурные фильтры применяются поверх деблокирующего фильтра и вносят дополнительное увеличение требуемого размера буфера линий, поскольку пиксели на нижней границе LCU (наибольшей единицы кодирования) еще не были обработаны деблокированием и, вследствие этого, не могут использоваться в качестве ввода в SAO и ALF. Вследствие этого, буфер линий для декодера HEVC должен имеет больше линий, чем Н.264, что вместе с большей шириной изображения требует обеспечения намного большей внутрикристальной памяти для буферов линий.

«Working Draft 4 of High-Efficiency Video Coding», JCTVC-F803, Italy, July 2011 дает общее описание стандарта HEVC, в настоящее время еще находящегося в разработке.

Arild Fuldseth, Michael Horowitz, Shilin Xu, Andrew Segall, Mingua Zhou, “Tiles” («элементы мозаичного изображения»), JCTVC-F335, Italy, July 2011 предоставляет описание методики кодирования, упоминаемой как «элементы мозаичного изображения».

Сущность изобретения

Концепция, введенная в данный документ, состоит в ограничении минимального размера элемента мозаичного изображения для уровней HEVC видео. Дополнительная память линий может требоваться для столбцов, ближайших к правой границе элемента мозаичного изображения. То есть, может быть дополнительная граничная область из некоторого числа столбцов пикселей на правой границе элемента мозаичного изображения. (Значения пикселей этих столбцов должны храниться до тех пор, пока элемент мозаичного изображения справа, не будет декодирован (но не деблокирован), поскольку значения пикселей с каждой стороны границы требуются, для того чтобы правильно деблокировать границу). Однако доступ к этой дополнительной памяти линий должен осуществляться только один раз для каждого элемента мозаичного изображения и, таким образом, она может содержаться в памяти вне кристалла декодера и считываться, по мере необходимости, без значительного увеличения числа каналов обращения к памяти. Это подход мог бы вызывать задержку, если ширина элемента мозаичного изображения является слишком малой, но эта проблема может быть преодолена с помощью наложения ограничения на минимальную ширину элемента мозаичного изображения.

Дополнительная концепция, введенная в данный документ, состоит в ограничении максимального размера элемента мозаичного изображения для уровней HEVC видео. Она будет ограничивать объем внутрикристальной памяти, которая требуется для внутриконтурной фильтрации (а также для внутреннего (intra-) предсказания), что означает, что закодированный поток видео может быть декодирован декодером, имеющим буфер линий меньшей емкости и, следовательно, более низкую стоимость производства.

Таким образом, предоставлен видеокодер, выполненный с возможностью кодирования видеопоследовательности, причем видеокодер содержит модуль разделения, и по меньшей мере один модуль кодирования. Модуль разделения выполнен с возможностью разделения видеопоследовательности на элементы мозаичного изображения, при этом размер элемента мозаичного изображения больше, чем предварительно определенный минимальный размер элемента мозаичного изображения. По меньшей мере один модуль кодирования выполнен с возможностью кодирования элементов мозаичного изображения.

Кодер может быть выполнен с возможностью оптимизации кодирования для конкретного видеодекодера, причем конкретный декодер выполнен с возможностью сохранения правой границы элемента мозаичного изображения в памяти вне кристалла. Установка минимального размера элемента мозаичного изображения накладывает верхнюю границу на частоту, с которой должен быть осуществлен доступ к памяти вне кристалла. Это сокращает влияние какой-либо задержки, вызываемой осуществлением доступа к памяти вне кристалла.

Размер элемента мозаичного изображения может быть по меньшей мере одним из: высоты элемента мозаичного изображения, ширины элемента мозаичного изображения и периметра элемента мозаичного изображения.

Дополнительно предоставлен способ в видеокодере, причем способ содержит разделение видеопоследовательности на элементы мозаичного изображения, при этом размер элемента мозаичного изображения больше, чем предварительно определенный минимальный размер элемента мозаичного изображения. Способ дополнительно содержит кодирование элементов мозаичного изображения.

Дополнительно предоставлен видеодекодер, выполненный с возможностью декодирования закодированной видеопоследовательности, причем видеопоследовательность закодирована в элементах мозаичного изображения, причем видеодекодер содержит единицу кодирования и деблокирующий фильтр. Модуль декодирования единиц кодирования выполнен с возможностью декодирования единиц кодирования изображений в закодированной видеопоследовательности. Деблокирующий фильтр выполнен с возможностью сглаживания границ между единицами кодирования, при этом деблокирующий фильтр осуществляет доступ к правой границе элемента мозаичного изображения, сохраненной в памяти вне кристалла.

Дополнительно предоставлен способ в видеодекодере, причем видеодекодер выполнен с возможностью декодирования закодированной видеопоследовательности, причем видеопоследовательность закодирована в элементах мозаичного изображения. Способ содержит декодирование единиц кодирования изображений в закодированной видеопоследовательности. Способ дополнительно содержит сглаживание границ между единицами кодирования с использованием деблокирующего фильтра, при этом деблокирующий фильтр осуществляет доступ к правой границе элемента мозаичного изображения, сохраненной в памяти вне кристалла.

Также предоставлен считываемый компьютером носитель, переносящий инструкции, которые при исполнении компьютерной логикой побуждают упомянутую компьютерную логику выполнять любой из способов, определенных в данном документе.

Краткое описание чертежей

Способ и устройство для ограничения размера элемента мозаичного изображения при кодировании видео теперь будут описаны, только в качестве примера, со ссылкой на сопровождающие чертежи, на которых:

Фигура 1 показывает первый пример разделения элемента мозаичного изображения;

Фигура 2 показывает второй пример разделения элемента мозаичного изображения;

Фигура 3 показывает видеокодер;

Фигура 4 показывает видеодекодер;

Фигура 5 иллюстрирует способ кодирования видеопоследовательности; и

Фигура 6 иллюстрирует способ декодирования видеопоследовательности.

Подробное описание изобретения

Как понятно из Фигур 1 и 2, если декодирование и фильтрация выполняются в порядке элементов мозаичного изображения, тогда только значения пикселей в граничной области элемента мозаичного изображения должны сохраняться во внутрикристальной памяти. Это представляет противоположность декодированию и фильтрации изображения без элементов мозаичного изображения, посредством чего граничная область линий полной ширины изображения должна сохраняться в линейном буфере. Следовательно, требуется меньшая буферная память, когда используются элементы мозаичного изображения. Способ и устройство, описанные в данном документе, таким образом, делают элементы мозаичного изображения обязательными для некоторых профилей и уровней, а также накладывают ограничение на максимальную ширину элемента мозаичного изображения.

В некоторых вариантах осуществления некоторая дополнительная память линий могла бы требоваться для столбцов, ближайших к правой границе элемента мозаичного изображения. То есть, может быть дополнительная граничная область из некоторого числа столбцов пикселей на правой границе элемента мозаичного изображения. Однако доступ к этой дополнительной памяти линий должен осуществляться только один раз для каждого элемента мозаичного изображения и, таким образом, она может содержаться в памяти вне кристалла декодера и считываться, по мере необходимости, без существенного увеличения числа каналов обращения к памяти. Это подход мог бы вызывать задержку, если ширина элемента мозаичного изображения является слишком малой, но этой проблеме можно противодействовать с помощью наложения дополнительного ограничения на минимальную ширину элемента мозаичного изображения.

Наличие нескольких элементов мозаичного изображения вертикально (как на Фигуре 1), также требует загрузку внутрикристальной памяти, более часто, при переключении обратно между рядами элементов мозаичного изображения. Следовательно, ограничение на минимальный размер элемента мозаичного изображения по вертикали также может быть наложено, чтобы противодействовать любой задержке, создаваемой этим.

Размер наибольшей единицы кодирования определяется площадью элемента мозаичного изображения, которая равна tile_width*tile_height (ширина элемента мозаичного изображения*высота элемента мозаичного изображения). Размер элемента мозаичного изображения может быть ограничен с помощью наложения ограничения на число LCU в элементе мозаичного изображения. Минимальное и максимальное значения для числа LCU могли бы задаваться для каждого уровня кодирования.

Другая альтернатива состоит в ограничении значения суммы tile_width+tile_height (ширина элемента мозаичного изображения*высота элемента мозаичного изображения), поскольку она определяет размер внутрикристальной памяти, требуемый в декодере. Следовательно, также можно ограничить значение суммы tile_width+tile_height максимальным или минимальным значениями (или, как минимальным, так и максимальным значениями).

Ограничения на размер элемента мозаичного изображения могут быть выражены по высоте числом LCU, по ширине числом LCU или числом LCU в элементе мозаичного изображения (tile_width_in_LCU*tile_height_in_LCU). Эти ограничения также могут быть выражены в пикселях.

В первом варианте осуществления ограничение maximum_tile_width (максимальная ширина элемента мозаичного изображения) применяется к каждому уровню (или для поднабора уровней).

Во втором варианте осуществления ограничение maximum_tile_height (максимальная высота элемента мозаичного изображения) применяется к каждому уровню (или для поднабора уровней).

В третьем варианте осуществления ограничение minimum_tile_width (минимальная ширина элемента мозаичного изображения) применяется к каждому уровню (или для поднабора уровней).

В четвертом варианте осуществления ограничение minimum_tile_height (минимальная высота элемента мозаичного изображения) применяется к каждому уровню (или для поднабора уровней).

В пятом варианте осуществления ограничение maximum_tile_width и maximum_tile_height применяется к каждому уровню (или для поднабора уровней).

В шестом варианте осуществления ограничение minimum_tile_width и minimum_tile_height применяется к каждому уровню (или для поднабора уровней).

В седьмом варианте осуществления ограничение максимума tile_width*tile_height применяется к каждому уровню (или для поднабора уровней).

В восьмом варианте осуществления ограничение минимума tile_width*tile_height применяется к каждому уровню (или для поднабора уровней).

В девятом варианте осуществления ограничение максимума tile_width*tile_height и минимума tile_width*tile_height применяется к каждому уровню (или для поднабора уровней).

В десятом варианте осуществления ограничение максимума tile_width+tile_height применяется к каждому уровню (или для поднабора уровней).

В одиннадцатом варианте осуществления ограничение минимума tile_width+tile_height применяется к каждому уровню (или для поднабора уровней).

В двенадцатом варианте осуществления ограничение максимума tile_width+tile_height и минимума tile_width+tile_height применяется к каждому уровню (или для поднабора уровней).

Фигура 3 показывает видеокодер 300. Видеокодер содержит модуль 310 разделения и модуль 320 кодирования. Модуль 310 разделения принимает видеопоследовательность и разделяет изображения видеопоследовательности на элементы мозаичного изображения. Элементы мозаичного изображения кодируются модулем 320 кодирования, и закодированные модули выводятся из кодера 300.

Фигура 4 показывает видеодекодер 400. Видеодекодер 400 содержит модуль 410 декодирования единиц кодирования и деблокирующий фильтр 420. Модуль 410 декодирования единиц кодирования принимает вывод кодера, который может быть передан из кодера декодеру с помощью любой сети связи. Модуль 410 декодирования единиц кодирования декодирует единицы кодирования каждого изображения видеопоследовательности как часть процесса декодирования видео. Декодированные единицы кодирования пропускаются через деблокирующий фильтр 420, который сглаживает края единиц кодирования, удаляя любые артефакты кодирования, которые могли быть введены во время процесса кодирования. Выводом деблокирующего фильтра является видеопоследовательность, которая может быть выведена на устройство отображения.

Фигура 5 иллюстрирует способ кодирования видеопоследовательности. Способ содержит разделение 510 видеопоследовательности на элементы мозаичного изображения. Элементы мозаичного изображения затем кодируются 520 с использованием основанной на блоках схемы кодирования. По меньшей мере одной размерностью элемента мозаичного изображения управляют, как описано в данном документе, чтобы способствовать оптимальному декодированию в декодере.

Фиг. 6 иллюстрирует способ декодирования видеопоследовательности. Способ содержит декодирование 610 единиц кодирования из закодированной видеопоследовательности. Способ дополнительно содержит применение 620 деблокирующего фильтра к единицам кодирования, чтобы сгладить любые артефакты кодирования. Декодер будет включать в себя средство для временного сохранения значений пикселей для граничных областей предшествующих элементов мозаичного изображения, таким образом, что они могут быть использованы для операции сглаживания на краях декодируемого в текущий момент элемента мозаичного изображения.

Способы и устройства, раскрытые в данном документе позволяют уменьшить объем внутрикристальной памяти, необходимый для буфера линий в видеодекодере. Это делает кодер менее дорогим и более легким для реализации.

Специалист в данной области техники поймет, что точный порядок и содержание действий, выполняемых в способе, описанном в данном документе, могут быть изменены в соответствии с требованиями конкретного набора параметров исполнения. Таким образом, порядок, в котором описаны и/или заявлены действия, не должен быть истолкован как строгое ограничение относительно порядка, в котором действия должны быть выполнены.

Кроме того, несмотря на то, что примеры были приведены в контексте конкретных стандартов кодирования видео, эти примеры не должны подразумеваться как ограничение стандартов кодирования видео, к которым могут быть применены раскрытые способ и устройство. Например, несмотря на то, что специфические примеры были приведены в контексте HEVC, принципы, раскрытые в данном документе, также могут быть применены к любой системе Н.264, другой системе кодирования видео и, конечно, любой системе кодирования видео, которая использует буфер линий.

ДОПОЛНЕНИЕ

Предоставлен видеокодер, выполненный с возможностью кодирования видеопоследовательности, причем видеокодер содержит: модуль разделения, выполненный с возможностью разделения видеопоследовательности на элементы мозаичного изображения, при этом размер элемента мозаичного изображения меньше, чем предварительно определенный максимальный размер элемента мозаичного изображения; и по меньшей мере один модуль кодирования, выполненный с возможностью кодирования элементов мозаичного изображения.

Кодер может быть выполнен с возможностью оптимизации кодирования для конкретного видеодекодера. Предварительно определенный максимальный размер элемента мозаичного изображения может быть определен таким образом, что деблокирующий фильтр в конкретном видеодекодере имеет достаточную буферную память для сохранения значений пикселей для граничного слоя элемента мозаичного изображения, имеющего максимальный размер элемента мозаичного изображения.

Максимальный размер элемента мозаичного изображения может зависеть от уровня качества кодирования.

Модуль разделения может быть дополнительно выполнен с возможностью определения ширины изображения видеопоследовательности и разделения видеопоследовательности на элементы мозаичного изображения, если ширина изображения превышает предварительно определенный максимальный размер элементов мозаичного изображения.

Размер элемента мозаичного изображения может быть больше, чем минимальный размер элемента мозаичного изображения.

Размер элемента мозаичного изображения может быть по меньшей мере одним из: высоты элемента мозаичного изображения, ширины элемента мозаичного изображения, площади элемента мозаичного изображения и периметра элемента мозаичного изображения.

Дополнительно предоставлен способ в видеокодере, причем способ содержит: разделение видеопоследовательности на элементы мозаичного изображения, при этом размер элемента мозаичного изображения меньше чем предварительно определенный максимальный размер элемента мозаичного изображения; и кодирование элементов мозаичного изображения.

Способ может дополнительно содержать оптимизацию кодирования для конкретного видеодекодера, посредством чего предварительно определенный максимальный размер элемента мозаичного изображения может быть определен таким образом, что деблокирующий фильтр в конкретном видеодекодере имеет достаточную буферную память для сохранения значений пикселей для граничного слоя элемента мозаичного изображения, имеющего максимальный размер элемента мозаичного изображения.

Дополнительно предоставлен видеодекодер, выполненный с возможностью декодирования закодированной видеопоследовательности, причем видеопоследовательность закодирована в элементах мозаичного изображения, причем видеодекодер содержит: модуль декодирования единиц кодирования, выполненный с возможностью декодирования единиц кодирования изображений в закодированной видеопоследовательности; и деблокирующий фильтр, выполненный с возможностью сглаживания границ между единицами кодирования, при этом деблокирующий фильтр содержит достаточную буферную память для сохранения значений пикселей для граничного слоя элемента мозаичного изображения.

Граничный слой элемента мозаичного изображения содержит множество пикселей, значения которых используются деблокирующим фильтром во время декодирования последующего элемента мозаичного изображения.

Видеодекодер может быть выполнен с возможностью приема закодированной видеопоследовательности, причем закодированная видеопоследовательность разделена на элементы мозаичного изображения и закодирована с использованием размера элемента мозаичного изображения, подходящего для видеодекодера.

Дополнительно предоставлен способ в видеодекодере, причем видеодекодер выполнен с возможностью декодирования закодированной видеопоследовательности, причем видеопоследовательность закодирована в элементах мозаичного изображения, причем способ содержит: декодирование единиц кодирования изображений в закодированной видеопоследовательности и сглаживание границ между единицами кодирования с использованием деблокирующего фильтра, при этом деблокирующий фильтр содержит достаточную буферную память для сохранения значений пикселей для граничного слоя элемента мозаичного изображения.

Дополнительно предоставлен считываемый компьютером носитель, переносящий инструкции, которые при исполнении компьютерной логикой побуждают упомянутую компьютерную логику выполнять любой из способов, определенных в данном документе.

1. Видеокодер, выполненный с возможностью кодирования видеопоследовательности, причем видеокодер содержит:
модуль разделения, выполненный с возможностью разделения видеопоследовательности на элементы мозаичного изображения, при этом размер элемента мозаичного изображения больше, чем предварительно определенный минимальный размер элемента мозаичного изображения; и,
по меньшей мере один модуль кодирования, выполненный с возможностью кодирования элементов мозаичного изображения.

2. Видеокодер по п. 1, при этом кодер выполнен с возможностью оптимизации кодирования для конкретного видеодекодера, причем конкретный декодер выполнен с возможностью сохранения правой границы элемента мозаичного изображения в памяти вне кристалла.

3. Видеокодер по п. 1 или 2, в котором минимальный размер элемента мозаичного изображения зависит от профиля кодирования и/или уровня кодирования.

4. Видеокодер по п. 1 или 2, в котором размер элемента мозаичного изображения также меньше чем максимальный размер элемента мозаичного изображения.

5. Видеокодер по п. 1 или 2, в котором модуль разделения дополнительно выполнен с возможностью определения ширины изображения видеопоследовательности и разделения видеопоследовательности на элементы мозаичного изображения, если ширина изображения превышает предварительно определенный максимальный размер элементов мозаичного изображения.

6. Видеокодер по п. 1, в котором размер элемента мозаичного изображения является по меньшей мере одним из: высоты элемента мозаичного изображения, ширины элемента мозаичного изображения, площади элемента мозаичного изображения и периметра элемента мозаичного изображения.

7. Способ кодирования в видеокодере, причем способ содержит этапы, на которых:
разделяют видеопоследовательность на элементы мозаичного изображения, при этом размер элемента мозаичного изображения больше, чем предварительно определенный минимальный размер элемента мозаичного изображения; и
кодируют элементы мозаичного изображения.

8. Способ по п. 7, причем способ дополнительно содержит этапы, на которых:
оптимизируют кодирование для конкретного видеодекодера, причем конкретный декодер выполнен с возможностью сохранения правой границы элемента мозаичного изображения в памяти вне кристалла.

9. Видеодекодер, выполненный с возможностью декодирования закодированной видеопоследовательности, причем видеопоследовательность закодирована в элементах мозаичного изображения, причем видеодекодер содержит:
модуль декодирования единиц кодирования, выполненный с возможностью декодирования единиц кодирования изображений в закодированной видеопоследовательности; и
деблокирующий фильтр, выполненный с возможностью сглаживания границ между единицами кодирования, при этом деблокирующий фильтр осуществляет доступ к правой границе элемента мозаичного изображения, сохраненной в памяти вне кристалла.

10. Видеодекодер по п. 9, в котором граничный слой элемента мозаичного изображения содержит множество пикселей, значения которых используются деблокирующим фильтром во время декодирования последующего элемента мозаичного изображения.

11. Видеодекодер по п. 9, при этом видеодекодер выполнен с возможностью приема закодированной видеопоследовательности, причем закодированная видеопоследовательность разделена на элементы мозаичного изображения и закодирована с использованием размера элемента мозаичного изображения, подходящего для видеодекодера.

12. Способ декодирования в видеодекодере, причем видеодекодер выполнен с возможностью декодирования закодированной видеопоследовательности, причем видеопоследовательность закодирована в элементах мозаичного изображения, причем способ содержит этапы, на которых:
декодируют единицы кодирования изображений в закодированной видеопоследовательности; и
сглаживают границы между единицами кодирования с использованием деблокирующего фильтра, при этом деблокирующий фильтр осуществляет доступ к правой границе элемента мозаичного изображения, сохраненной в памяти вне кристалла.

13. Способ по п. 12, в котором доступ к памяти вне кристалла осуществляют один раз для каждого элемента мозаичного изображения.

14. Способ по п. 12 или 13, в котором минимальный размер элемента мозаичного изображения выбирают в зависимости от ожидаемой временной задержки, чтобы осуществлять доступ к памяти вне кристалла.

15. Считываемый компьютером носитель, переносящий инструкции, которые при исполнении компьютерной логикой побуждают упомянутую компьютерную логику выполнять любой из способов по пп. 7, 8, 12, 13 и 14.



 

Похожие патенты:

Изобретение относится к области кодирования/декодирования движущихся объектов. Технический результат - повышение эффективности кодирования за счет добавления кандидатов с информацией о движении со слиянием в список кандидатов с информацией о движении со слиянием в порядке близости к целевому блоку предсказания, что позволяет предотвратить назначение большого индекса слияния блоку, располагающемуся близко к целевому блоку предсказания.

Изобретение относится к способу внутреннего предсказания видео, который предполагает замену смежного пиксела, недоступного в ограниченном режиме внутреннего предсказания, в котором ограничивается использование смежного пиксела, и использование замененного смежного пиксела в качестве опорного пиксела.

Изобретение относится к области обработки изображений, в частности к созданию изображений с расширенным динамическим диапазоном (HDR) из изображений с суженным динамическим диапазоном (LDR), и касается объединения информации с расширенным динамическим диапазоном с 3D информацией.

Изобретение относится к кодированию и декодированию видео для стандарта высокоэффективного видеокодирования (HEVC). Техническим результатом является сокращение задержки при кодировании и декодировании видео.

Изобретение относится к видеокодированию, в частности к применению фильтра удаления блочности для стандарта высокоэффективного кодирования видео (HEVC). Техническим результатом является повышение визуального качества видео.

Изобретение относится к технологиям кодирования/декодирования видеоданных. Техническим результатом является повышение эффективности кодирования/декодирования видеоданных за счет упрощения инициализации набора опорных изображений.

Изобретение относится к технологиям кодирования видеоданных. Техническим результатом является повышение качества кодированного видео без превышения буфера за счет обеспечения подобия кодированного размера кадра после квантования предыдущим размерам кодированного кадра.

Изобретение относится к области обработки видеоизображений и, в частности, к способу кодирования/декодирования матрицы квантования в изображении. Техническим результатом является обеспечение высокоэффективного кодирования/декодирования матриц квантования посредством горизонтального/вертикального сканирования при кодировании матриц квантования.

Изобретение относится к способу предоставления компенсационных смещений для набора восстановленных выборок изображения. Техническим результатом является уменьшение пространственных и временных избыточностей в видеопотоках.

Группа изобретений относится к способам и устройствам для кодирования или декодирования последовательности цифровых изображений. Техническим результатом является повышение качества изображения.

Изобретение относится к области кодирования видеоданных. Технический результат - обеспечение увеличения эффективности кодирования видео. Способ декодирования видеоданных содержит этапы, на которых получают только один раз из закодированного битового потока и для любого компонента ракурса первого ракурса, включающего в себя любой компонент ракурса, который используется в качестве точки произвольного доступа, и любой компонент ракурса, который не используется в качестве точки произвольного доступа, информацию опорных ракурсов, применимую к любому компоненту ракурса первого ракурса; для декодирования первого компонента ракурса в элементе доступа и в первом ракурсе включают одно или несколько потенциальных опорных изображений в список опорных изображений, причем одно или несколько потенциальных опорных изображений содержат компоненты ракурса в элементе доступа и в опорных ракурсах, указанных информацией опорных ракурсов, причем количество потенциальных опорных изображений равно количеству опорных ракурсов; и декодируют первый компонент ракурса на основе одного или нескольких потенциальных опорных изображений в списке опорных изображений. 8 н. и 52 з.п. ф-лы, 18 табл., 12 ил.

Изобретение относится к технологиям кодирования/декодирования видеоданных. Техническим результатом является уменьшение числа битов, сформированных при кодировании. Предложен способ декодирования видео. Способ включает в себя этап, на котором получают битовые строки, соответствующие информации уровня текущих коэффициентов преобразования, посредством выполнения арифметического декодирования над потоком битов на основе контекстной модели. Далее, согласно способу, определяют текущий параметр преобразования в двоичную форму, посредством замены на новый или поддержания предыдущего параметра преобразования в двоичную форму на основе результата сравнения, которое сравнивает предварительно определенное критическое значение, полученное на основе предыдущего параметра преобразования в двоичную форму, с размером предыдущего коэффициента преобразования. 3 н.п. ф-лы, 2 табл., 27 ил.

Цифровой фильтр обработки изображений, устройство генерирования изображения, устройство генерирования супер гибридного изображения, способ генерирования изображения, способ создания цифрового фильтра, способ генерирования супер гибридного изображения, способ изготовления печатного средства информации, способ изготовления электронного носителя информации и программа, и устройство генерирования вертикального панорамирования буквенного ряда, способ генерирования вертикального панорамирования буквенного ряда, способ изготовления печатного средства информации, способ изготовления электронного носителя информации и программа // 2589401
Изобретение относится к обработке изображений. Техническим результатом является уменьшение количества ошибок и повышение структурной устойчивости цифрового фильтра для обработки изображения без применения срезания. Цифровой фильтр для обработки изображений содержит блок декомпозиции и восстанавливающий блок. Блок декомпозиции получает сигналы поддиапазонов посредством выполнения декомпозиции с переменным разрешением данных изображения, используя пинвил фреймлет в широком смысле, что представляет собой набор аппроксимирующего фильтра без какой-либо ориентации и множество детальных фильтров с соответствующими ориентациями. Восстанавливающий блок получает данные восстановленного изображения посредством восстановления изображения путем суммирования сигналов поддиапазонов и генерирует данные восстановленного изображения ослаблением или усилением сигнала поддиапазона, соответствующего одному из фильтров, которые имеют заранее определенные частотные характеристики и/или заранее определенную ориентацию среди фильтров. 19 н. и 27 з.п. ф-лы, 92 ил., 13 табл.

Изобретение относится к вычислительной технике. Технический результат заключается в уменьшении вычислительной сложности кодирования и декодирования. Способ извлечения, по меньшей мере, одного предиктора информации движения для кодирования или декодирования части изображения посредством компенсации движения относительно, по меньшей мере, одной части опорного изображения, в котором предоставляют для обработки, по меньшей мере, два различные, первый и второй, поднабора предикторов информации движения первого набора предикторов информации движения, причем первый поднабор содержит, по меньшей мере, один временной предиктор информации движения, и второй поднабор содержит, по меньшей мере, один пространственный предиктор информации движения и исключает временные предикторы информации движения; обрабатывают первый и второй поднаборы предикторов информации движения для получения окончательного набора предикторов информации движения, применимых для предсказания упомянутой части изображения из части опорного изображения; при этом обработка второго поднабора содержит удаление копии из числа предикторов информации движения второго поднабора. 7 н. и 39 з.п. ф-лы, 13 ил., 1 табл.

Изобретение относится к области обработки изображений, в частности к способу обнаружения движущегося объекта, например космических обломков, исходя из захваченных изображений. Техническим результатом является повышение точности обнаружения движущихся объектов или кандидатов на него с использованием способа наложения посредством меньшего количества обработок операций. Предложен способ обнаружения движущегося объекта, в котором этап обработки наложения состоит из: деления захваченных изображений на p групп, каждая из которых включает в себя m последовательных изображений, и применения для каждой группы способа наложения к этим m изображениям. Впоследствии для каждой группы в этом способе выделяется кандидат на космические обломки на основе значения оценки для обнаружения космических обломков, которое получают исходя из значений пиксела в идентичных пиксельных позициях, перекрывающих друг друга по всем m изображениям, совмещенным друг с другом. После этого в этом способе на основе совпадения или близости с точки зрения направления перемещения и скорости движения принимается решение относительно того, выбирать ли выделенный кандидат на космические обломки в каждой группе в качестве окончательного кандидата на космические обломки. 8 з.п. ф-лы, 7 ил.

Изобретение относится к области декодирования видеоданных. Технический результат - обеспечение повышения эффективности кодирования информации о движении. Способ декодирования видеоданных при однонаправленном предсказании содержит этапы, на которых: получают индекс опорного изображения и вектор движения текущего элемента предсказания; генерируют блок предсказания текущего элемента предсказания с использованием индекса опорного изображения и вектора движения; генерируют квантованный блок посредством обратного сканирования составляющих квантованных коэффициентов; генерируют преобразованный блок посредством обратного квантования квантованного блока с использованием параметра квантования; генерируют остаточный блок посредством обратного преобразования преобразованного блока; и генерируют восстановленные пиксели с использованием блока предсказания и остаточного блока; при этом пиксели предсказания блока предсказания генерируют с использованием интерполирующего фильтра, выбираемого на основе вектора движения; при этом параметр квантования получают с использованием разностного параметра квантования и предиктора параметра квантования. 6 з.п. ф-лы, 1 табл., 15 ил.

Изобретение относится к технологиям кодирования/декодирования изображений расширенного динамического диапазона (HDR). Техническим результатом является повышение эффективности кодирования/декодирования изображений с расширенным динамическим диапазоном, за счет представления LDR изображения внутри HDR изображения в одном кадре. Предложен блок кодирования изображений, выполненный с возможностью кодирования изображения расширенного динамического диапазона. Блок кодирования изображений содержит селектор LDR, селектор HDR, блок кодового отображения. Селектор LDR осуществляет идентификацию низкого динамического диапазона яркостей (R_Norml_LDR) или соответствующего диапазона значений кодов сигнала яркости (R_LDR) в пределах полного диапазона яркостей (Range_HDR), охватываемого изображением расширенного динамического диапазона. HDR селектор осуществляет выбор по меньшей мере одного дополняющего диапазона (R_above) в пределах полного диапазона яркостей (Range_HDR), включающего в себя, главным образом, яркости, не охватываемые яркостями низкого динамического диапазона (R_Norml_LDR). 6 н. и 9 з.п. ф-лы, 7 ил.

Изобретение относится к области кодирования и декодирования видеоданных. Технический результат - обеспечение эффективного генерирования списка кандидатов, за счет чего происходит снижение количества битов, необходимого для представления информации движения единицы прогнозирования. Способ декодирования видеоданных содержит этапы, на которых для каждой единицы (PU) прогнозирования во множестве PU, принадлежащих текущей единице (CU) кодирования видеоданных: генерируют список кандидатов для PU, при этом генерирование списка кандидатов для PU использует только исходные положения вне текущей CU, причем список кандидатов для PU включает в себя один или более пространственных кандидатов, причем исходные положения включают в себя по меньшей мере одно из: исходное положение выше текущей CU, исходное положение выше и справа текущей CU, исходное положение выше и слева текущей CU, исходное положение слева текущей CU и исходное положение ниже и слева текущей CU; определяют, по меньшей мере, частично на основании информации движения, указанной выбранным кандидатом в списке кандидатов для PU, информацию движения PU; и генерируют, по меньшей мере, частично на основании опорного блока, указанного информацией движения PU, прогностический видеоблок для PU. 8 н. и 64 з.п. ф-лы, 30 ил.

Изобретение относится к видео декодированию, и в частности, к устройству определения набора опорных картинок (RPS), который используются в предсказывающем декодировании текущей картинки (изображения). Техническим результатом является повышение эффективности видео декодирования. Указанный технический результат достигается тем, что устройство видео декодирования получает из битового потока количество наборов опорных картинок, включенных в часть битового потока, относящуюся к набору параметров последовательности, определяет, равен ли индекс текущего набора опорных картинок равен упомянутому количеству наборов опорных картинок, когда индекс текущего набора опорных картинок равен количеству наборов опорных картинок, получает из битового потока информацию дельты о разности между индексом текущего набора опорных картинок и индексом набора-кандидата опорных картинок, определяет индекс набора-кандидата опорных картинок на основании упомянутой информации дельты, и определяет текущий набор опорных картинок на основании индекса набора-кандидата опорных картинок. 4 з.п. ф-лы, 15 ил.

Изобретение относится к способу и устройству кодирования/декодирования изображений для кодирования со сжатием видеосигнала с использованием компенсации движения. Техническим результатом является повышение эффективности кодирования/декодирования информации разделения, когда экран делится на различные блоки. Предложен способ кодирования изображений при котором разделяют сигнал (120) входного изображения на единицы обработки и кодируют разделенное изображение для генерации кодовой последовательности (140), причем способ кодирования изображений включает в себя этапы, на которых определяют шаблон разделения для иерархического разделения сигнала (120) входного изображения по порядку, начиная с наибольшей единицы из единиц обработки; генерируют информацию (131) разделения, указывающую шаблон разделения; и кодируют информацию (131) разделения, причем информация (131) разделения включает в себя информацию максимальной используемой глубины иерархии (used_max_depth), указывающую максимальную используемую глубину иерархии, которая представляет собой глубину иерархии самой глубокой единицы обработки из единиц обработки, включенных в шаблон разделения. 4 н. и 8 з.п. ф-лы, 59 ил.
Наверх