Способ и устройство обработки изображения

Изобретение относится к вычислительной технике. Технический результат заключается в уменьшении нагрузки кодирования и декодирования. Устройство обработки изображения содержит блок установки управляющей информации, выполненный с возможностью установки управляющей информации для управления тем, использовать ли вектор основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса при обработке предсказания движения во время кодирования многоракурсного изображения; блок обработки межкадрового предсказания движения (IVMP), выполненный с возможностью осуществления IVMP обработки для установки вектора основного ракурса в качестве кандидата для вектора предсказания текущего блока зависимого ракурса, когда вектор основного ракурса установлен для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с управляющей информацией, установленной блоком установки управляющей информации; блок генерирования списка для генерирования списка кандидатов для вектора предсказания текущего блока и добавления кандидата в список, когда имеется кандидат, сгенерированный блоком IVMP обработки, и включающий в себя вектор основного ракурса; и блок передачи для передачи управляющей информации, установленной блоком установки управляющей информации. 4 н. и 16 з.п. ф-лы, 19 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству обработки изображения и, в частности, к способу и устройству обработки изображений, способному уменьшить нагрузку кодирования и декодирования.

Уровень техники

В последнее время, устройство, соответствующее схеме Экспертной группы по вопросам движущегося изображения (MPEG) и т.п., в которой информация изображения обрабатывается в цифровой формате, где информация изображения сжимается посредством ортогонального преобразования, например, с применением дискретного косинусного преобразования и т.п., и выполняется компенсация движения с использованием избыточности относящейся к информации изображения, получило широко распространение как в области распространения информации посредством вещательных станций и т.п., так и для обеспечения приема информации в обычных домашних условиях с целью высокоэффективной передачи и накопления информации.

В частности, MPEG2 (Международная организация по стандартизации (180)/Международная электротехническая комиссия (IEC) 13818-2) была определена в качестве схемы кодирования изображения общего назначения и в настоящее время широко используется в разнообразных приложениях, включающие в себя профессиональное и бытовое использование как стандарт, охватывающий как изображения с чересстрочной разверткой, так и изображения с построчной разверткой, а также изображения со стандартной четкостью и изображения с высоким разрешением. При использовании MPEG2 схемы сжатия, например, в случае использования изображений с чересстрочной разверткой стандартного разрешения, имеющей 720×480 пикселей, при выделении количество кода (битовая скорость) от 4 до 8 Мбит, и в случае использования изображений с чересстрочной разверткой с высоким разрешением, имеющей 1920×1088 пикселей, при выделении количества кода (битовая скорость) от 18 до 22 Мбит, что может обеспечить высокую степень сжатия и удовлетворительное качество изображения.

MPEG2, в основном, предназначен кодирования изображения высокого качества, которое обеспечивается при вещании, но не совместим со схемой кодирования с низкой величиной кода (битовой скорости), то есть, с более высокой степенью сжатия, чем MPEG1. С распространением мобильных терминалов, спрос на применение такой схемы кодирования, как ожидается, увеличится в будущем, и с этой целью, было осуществлена унификация MPEG4 схем кодирования. Спецификация схем кодирования изображения был утверждена в качестве международного стандарта ISO/IEC 14496-2 в декабре 1998 года.

Кроме того, в последнее время выполняется работа Международным союзом по электросвязи сектором стандартизации по электросвязи (ITU-T) Q6/16 Экспертной группой по видеокодированию (VCEG) по стандартизации H.26L кодирования изображений при осуществлении видеоконференций. H.26L включает в себя больший объем вычислений кодирования и декодирования по сравнению с существующими схемами кодирования, такими как MPEG2 и MPEG4, но обеспечивают высокую эффективность кодирования. Кроме того, в рамках использования MPEG4, функция, которая не поддерживается H.26L, была введена на основе H.26L и Объединенная команда по усовершенствованию кодирования видеосигнала выполнила работу по стандартизации для реализации более высокой эффективности кодирования.

В соответствии с графиком выполнения работы по стандартизации, стандарт, названный как Н.264 и MPEG- 4 Part 10 (Усовершенствованное кодирование видеосигнала (AVC)), стал международным стандартом в марте 2003 года.

Тем не менее, был выявлен недостаток, который заключался в том, что установка макроблока 16 пикселей × 16 пикселей не является оптимальным для большого кадра изображения, указанного как сверхвысокая четкость (UHD; 4000 пикселей × 2000 пикселей), где может использоваться схема кодирования нового поколения.

Соответственно, в настоящее время Объединенная команда по усовершенствованию кодирования видеосигнала (JCTVC), которая является совместной организацией по стандартизации ITU-T и ISO/IEC, выполняет работу по стандартизации схемы кодирования, которая названа как стандарт высокоэффективного кодирования видеосигнала (HEVC), с целью дальнейшего повышения эффективности кодирования по сравнению с H.264/AVC. Что касается стандарта HEVC, то проект стандарта, рассматриваемый техническим комитетом, который является спецификацией начальной версии проекта, был опубликован в феврале 2012 года (например, см. непатентный документ 1).

Между тем, в существующем стандарте кодирования многоракурсного изображения, используется межкадровое предсказание движения (IVMP) для установки вектора движения или вектора параллакса (MV) основного ракурса, как кандидата для вектора предсказания (PMV) зависимого ракурса. При такой IVMP обработке, путем выбора вектора движения или вектора параллакса (MV) блока на смещенной позиции на величину параллакса, можно получить более точное предсказание вектора (PMV).

IVMP технологий является инструментом для выполнения обработки IVMP и добавляет вектор, закодированный в ином ракурсе, как один кандидат для предсказания вектора текущего блока. Вектор-кандидат, полученный путем обработки IVMP, добавляется к нулевому индексу списка кандидатов вектора предсказания, генерируемого в режиме усовершенствованного MV предсказания (AMVP) (упоминается как AMVP список).

Тем не менее, IVMP технологий обеспечивает высокую пропускную способность и, таким образом, были рассмотрены способы выполнения кодирования без использования инструмента для снижения нагрузки (например, смотрите непатентный документ 2).

Список ссылок

Патентный документ

Непатентная Литература

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "Высокоэффективное видеокодирование (HEVC) текст спецификации версия 6", JCTVC - Н1003 ver 20, 2012. 2.17

Непатентный документ 2: Yoshiya Yamamoto, Tomohiro Dcai, Tadashi Uchiumi," 3D -CE5.h, относящийся к: упрощение AMVP", JCT2-A0014, Объединенная команда по усовершенствованию кодирования 3D видеосигнала ITU-T SG 16 WP 3 и ISO / IEC JTC 1 / SC 29 / WG 11 1-е заседание: Стокгольм, SE, 16-20 июля 2012.

Раскрытие изобретения

Задачи, решаемые с помощью изобретения

Тем не менее, даже в способе, указанном в непатентном документе 2, межкадровое предсказание движения (IVMP) выполняется во время декодирования и, таким образом, нагрузка декодирования возрастает, что является недостатком.

Настоящее изобретение было сделано с учетом такой ситуации и направлено на уменьшение нагрузки кодирования и декодирования.

Решение задачи

В соответствии с аспектом настоящего изобретения, предлагается устройство обработки изображений, включающее в себя блок установки управляющей информации, выполненный с возможностью установки управляющей информации для управления процессом использования вектора основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса в предсказании движения во время кодирования многоракурсного изображения, блок обработки межкадрового предсказания движения (IVMP), выполненный с возможностью выполнять IVMP обработку для установки вектора основного ракурса, в качестве кандидата для предсказания вектора текущего блока зависимого ракурса, когда вектор основного ракурса установлен для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с управляющей информацией, установленной блоком установки управляющей информации, блок генерирования списка, выполненный с возможностью генерирования списка кандидатов для вектора предсказания текущего блока, и, когда есть кандидат, сгенерированный. IVMP блоком обработки, и включающий в себя вектор основного ракурса, добавления кандидата в список, и блок передачи, выполненный с возможностью передачи управляющей информации, установленной блоком установки управляющей информации.

Можно дополнительно использовать блок установки режима недоступности, выполненный с возможностью установки вектора основного ракурса как недоступного в качестве вектора предсказания зависимого ракурса, когда вектор основного ракурса установлен, как не использующийся в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с управляющей информацией, установленной блоком установки управляющей информации.

Можно дополнительно использовать блок установки значения, выполненный с возможностью установки заданного значения вместо кандидата, включающего в себя вектор основного ракурса в списке, когда вектор основного ракурса установлен, как не использующийся в качестве кандидата для вектора предсказания зависимого ракурса, согласно управляющей информации, установленной блоком установки управляющей информации.

Когда текущий вектор текущего блока является вектором движения, блок установки значения может установить репрезентативное значение вектора движения вместо кандидата, включающего в себя вектор основного ракурса, в списке.

Когда текущий вектор текущего блока является вектором параллакса, блок установки значения может установить репрезентативное значение вектора параллакса вместо кандидата, включающего в себя вектор основного ракурса, в списке.

Блок передачи может дополнительно передавать заданное значение, установленное блоком установки значения.

Блок установки управляющей информации может установить управляющую информацию для каждого заранее определенного блока данных, и блок передачи может передавать управляющую информацию в информации, соответствующей заранее определенному блоку данных.

Блок установки управляющей информации может установить управляющую информацию для каждой последовательности или каждого среза, и блок передачи может передавать управляющую информацию в наборе параметров последовательности или в заголовке среза.

Блок установки управляющей информации может установить управляющую информацию для каждого из множества уровней иерархически упорядоченных блоков данных, и блок передачи может передавать управляющую информацию в информации, соответствующей определенным иерархически упорядоченных уровням, для которых была установлена управляющая информация.

Блок установки управляющей информации может установить управляющую информацию для каждой последовательности и каждого среза, и блок передачи может передавать управляющую информацию в наборе параметров последовательности и заголовке среза.

В соответствии с аспектом настоящего изобретения, предложен способ обработки изображения в способе обработки информации устройства обработки информации, при этом способ обработки изображения включает в себя этапы, на которых устанавливают с помощью устройства обработки информации управляющую информацию для управления использованием вектора основного ракурса в качестве кандидата вектора предсказания зависимого ракурса при предсказании движения во время выполнения кодирования многоракурсного изображения, выполняют посредством устройства обработки информации межкадровое предсказание движения (IVMP) для установки вектора основного ракурса в качестве кандидата для вектора предсказания текущего блока зависимого ракурса, когда установлен вектор основного ракурса для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с установленной управляющей информацией, генерируют посредством устройства обработки информации список кандидатов для вектора предсказания текущего блока и, когда есть кандидат, включающий в себя вектор основного ракурса, добавляют кандидата в список и передают посредством устройства обработки информации набор управляющей информации.

В соответствии с другим аспектом настоящего изобретения, предлагается устройство обработки изображений, включающее в себя блок получения управляющей информации, выполненный с возможностью получения управляющей информации для управления процессом использования вектора основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса при предсказании движения во время декодирования многоракурсного изображения, блок обработки межракурсного предсказания движения (IVMP), выполненный с возможностью выполнения IVMP обработки для установки вектора основного ракурса в качестве кандидата для предсказания вектора текущего блока зависимого ракурса, когда вектор основного ракурса установлен для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с управляющей информацией, полученной блоком получения управляющей информации, и блок генерирования списка, выполненный с возможностью генерирования списка кандидатов для вектора предсказания текущего блока, и, когда есть кандидат, сгенерированный IVMP блоком обработки, и включающий в себя вектор основного ракурса, добавления кандидата в список.

Можно дополнительно использовать блок установки режима недоступности, выполненный с возможностью установки вектора основного ракурса как недоступного в качестве вектора предсказания зависимого ракурса, когда вектор основного ракурса установлен, как не использующийся в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с управляющей информацией, полученной блоком получения управляющей информации.

Можно дополнительно использовать блок установки значения, вьшолненньгй с возможностью установки заданного значения вместо кандидата, включающего в себя вектор основного ракурса в списке, когда вектор основного ракурса установлен, как не использующийся в качестве кандидата для вектора предсказания зависимого ракурса, согласно управляющей информации, полученной блоком получения управляющей информации.

Когда текущий вектор текущего блока является вектор движения, блок установки значения может' установить репрезентативное значение вектора движения вместо кандидата, включающего в себя вектор основного ракурса, в списке.

Когда текущий вектор текущего блока является вектором параллакса, блок установки значения может установить репрезентативное значение вектора параллакса вместо кандидата, включающего в себя вектор основного ракурса, в списке.

Блок получения управляющей информацией может дополнительно получать заранее заданную величину, и блок установки значения может устанавливать заданное значение, полученное блоком получения управляющей информации, в списке.

Блок получения управляющей информацией может получить набор управляющей информации для каждого заранее определенного блока данных и передаваемого в информации, соответствующей блоку данных.

Блок получения управляющей информацией может получить набор управляющей информации для каждого из множества уровней иерархически установленных блоков данных и переданных в информации, соответствующей определенным иерархическим уровням, для которых была установлена управляющая информация.

В соответствии с другим аспектом настоящего изобретения, предлагается способ обработки изображений устройства обработки изображения, при этом способ обработки изображения включает в себя этапы, на которых: получают управляющую информацию посредством устройства обработки изображения для управления процессом использования вектора основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса при предсказании движения во время декодирования многоракурсного изображения, выполнение посредством устройства обработки изображения межракурсного предсказания движения (IVMP) для установки вектора основного ракурса в качестве кандидата для предсказания вектора текущего блока зависимого ракурса, когда вектор основного ракурса установлен для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с полученной управляющей информацией, и генерируют посредством устройства обработки изображения список кандидатов для вектора предсказания текущего блока и, когда есть кандидат, включающий в себя вектор основного ракурса, добавляют кандидата в список.

В соответствии с аспектом настоящего изобретения, в предсказании движения во время кодирования многоракурсного изображения, устанавливается управляющая информация для управления процессом использования вектора основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса. Когда вектор основного ракурса установлен, для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с установленной управляющей информацией, выполняется межракурсного предсказание движения (IVMP) для установки вектора основного ракурса в качестве кандидата для вектора предсказания текущего блока зависимого ракурса для генерирования списка кандидатов вектора предсказания текущего блока и, когда есть кандидат, включающий в себя вектор основного ракурса, кандидат добавляется к списку, и установленная управляющая информация передается.

В соответствии с другим аспектом настоящего изобретения, при предсказании движения во время декодирования многоракурсного изображения, получается управляющая информация для управления процессом использования вектора основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса. Когда вектор основного ракурса установлен, для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с установленной управляющей информацией, то выполняется IVMP процесс для установки вектора основного ракурса в качестве кандидата для вектора предсказания текущего блока зависимого ракурса для генерирования списка кандидатов вектора предсказания текущего блока и, когда есть кандидат, включающий в себя вектор основного ракурса, кандидат добавляется к списку. Полезные эффекты изобретения

В соответствии с настоящим изобретением, изображение может быть обработано. В частности, можно уменьшить нагрузку кодирования и декодирования.

Краткое описание чертежей

Фиг. 1 представляет собой диаграмму, иллюстрирующую примеры списка развитого предсказания вектора движения (AMVP).

Фиг. 2 является диаграммой, иллюстрирующей другие примеры AMVP списка.

Фиг. 3 представляет собой блок-схему, показывающую пример основной конфигурации устройства кодирования изображения.

Фиг. 4 показывает диаграмму, иллюстрирующую пример синтаксиса.

Фиг. 5 представляет собой блок-схему алгоритма, иллюстрирующую пример последовательности выполнения операций обработки кодирования.

Фиг. 6 представляет собой блок-схему алгоритма, иллюстрирующую пример последовательности выполнения операций генерирования AMVP списка.

Фиг. 7 представляет собой блок-схему алгоритма, который является продолжением последовательности выполнения операций, показанной на фиг. 6, иллюстрирующую пример последовательности выполнения операций генерирования AMVP списка.

Фиг. 8 является блок-схемой, показывающей пример основной конфигурации устройства декодирования изображения.

Фиг. 9 представляет собой блок-схему алгоритма, иллюстрирующую пример последовательности выполнения процесса декодирования.

Фиг. 10 показывает схему, иллюстрирующую пример синтаксиса.

Фиг. 11 показывает схему, иллюстрирующую пример синтаксиса.

Фиг. 12 показывает схему, иллюстрирующую пример синтаксиса.

Фиг. 13 является блок-схемой алгоритма, иллюстрирующую еще один пример последовательности выполнения процесса генерирования AMVP списка.

Фиг. 14 является блок-схемой алгоритма, которая иллюстрирует пример продолжения выполнения процесса генерирования AMVP списка, показанного на фиг. 13.

Фиг. 15 является блок-схемой, показывающей пример основной конфигурации компьютера.

Фиг. 16 показывает блок-схему примера схематичной конфигурации телевизора.

Фиг. 17 показывает блок-схему примера схематичной конфигурации мобильного телефона.

Фиг. 18 показывает блок-схему примера схематичной конфигурации устройства записи/воспроизведения.

Фиг. 19 показывает блок-схему примера схематичной конфигурации устройства захвата изображения устройства.

Осуществление изобретения

Далее приводится описание режимов (здесь и далее обозначены как варианты осуществления) для осуществления настоящего изобретения. Описание будет представлено в следующем порядке.

1. Первый вариант осуществления (устройство кодирования изображения)

2. Второй вариант осуществления (устройство декодирования изображения)

3. Третий вариант осуществления (другой пример развитого предсказания вектора движения (AMVP) при генерировании списка)

4. Четвертый вариант осуществления (компьютер)

5. Пятый вариант осуществления (пример применения)

1. Первый вариант осуществления

Межракурсное предсказание движения

При кодировании изображения, например, используя Усовершенствованное кодирование видеосигнала (AVC), высокоэффективное видеокодирование (HEVC) и т.п., предсказание движения выполняется с помощью корреляции временного направления (между кадрами).

Как блок обработки такого процесса предсказания, блоки иерархической структуры, такие как макроблок и суб-макроблок, определены в AVC, тогда как блок кодирования (CU) определен в HEVC.

CU также называется блоком кодового дерева (СТВ) и является частичной областью изображения в блоке изображения и играет ту же роль, что и макроблок в AVC. Последний имеет фиксированный размер 16×16 пикселей, в то время как размер предшествующего не является фиксированным и, таким образом, определяется в информации сжатия изображения в каждой последовательности.

Например, в наборе параметров последовательности (SPS), включенных в состав выходных кодированных данных, определяются максимальный размер (самый большой блок кодирования (LCU)) и наименьший размер (наименьший блок кодирования (SCU)) CU.

Каждый LCU можно разделить на CUs меньшего размера путем установки флага разбивки на 1, только в том случае, если размер CUs не меньше размера SCU. Когда значение split_flag равно "1", CU, имеющий размер 2N×2N, делится на CUs, имеющие размер N×N, который на один уровень ниже в иерархии.

Дополнительно, CU делится на блоки предсказания (PUs), которые являются областями (частичные области изображения в блоке изображения), служащие в качестве блоков обработки для внутрикадрового или межкадрового предсказания, и также делится на блоки (TUs) преобразования, которые являются областями (частичные области изображения в блоке изображения), служащие в качестве блоков обработки для ортогонального преобразования. В настоящее время, в HEVC, можно использовать 16×16 и 32×32 ортогональные преобразования в дополнение к 4×4 и 8×8 ортогональным преобразованиям.

В случае схемы кодирования определенных CUs и выполнения различных видов обработки в блоках CUs, как в упомянутом выше HEVC, макроблок в AVC может рассматриваться, как соответствующий LCU. Однако так как CUs имеют иерархическую структуру, размер LCU на самом высоком уровне в иерархической структуре, как правило, устанавливается большим, чем размер макроблока AVC, например, 128×128 пикселей.

Отныне, "область" включает в себя все (или может включать в себя любую) области, описанные выше (например, макроблок, суб-макроблок, LCU, CU,SCU, PU, TU и т.п.). Излишне говорить, что область может включать в себя блоки отличные от описанных выше, и блоки, которые недоступны в соответствии с описанием соответственно исключены.

Между тем, в существующей схеме кодирования, такой как HEVC, предсказание движения выполняется посредством одного из режимов предсказания. Как режимы предсказания, могут быть использованы режим объединения и ÀMVP режим для вычисления дельта-вектора между текущим блоком и вектором предсказания, и кодирования дельта-вектора.

Кроме того, в режиме ÀMVP векторы в пространстве или во времени, окружающие блоки, стали кандидатами вектора предсказания (PMV), но при кодировании многоракурсного изображения дополнительно выполняется межкадровое предсказание движения (IVMP) для установки вектора движения или вектора (MV) параллакса основного ракурса в качестве кандидата для вектора (PMV) предсказания зависимого ракурса. При такой обработке IVMP, путем выбора вектора движения или вектора (MV) параллакса блока на смещенной на величину параллакса позиции, можно получить более точный вектор (PMV) предсказания.

Инструмент IVMP является инструментом для выполнения обработки IVMP и добавляет вектор, закодированной в ином ракурсе, как один кандидат для вектора предсказания текущего блока. Кандидат вектор, полученный путем обработки IVMP, добавляется к нулевому индексу списка кандидатов (именуемой как ÀMVP список) вектора предсказания, генерируемый в режиме ÀMVP. Впоследствии, векторы и т.п., пространственно прилегающих блоков текущего блока (например, вектор блока, прилегающего слева от текущего блока), и окружающих блоков текущего блока по времени (например, совмещенный блок в другом изображении того же ракурса, что и текущий блок) добавляются к списку ÀMVP в качестве кандидатов.

Кроме того, длины и направления двух векторов, имеющие индексы 0 и 1 списка ÀMVP, сравниваются, и когда длины и направления идентичны, то выполняется сокращенная обработка для выбора одного из двух векторов.

Тем не менее, применение технологии IVMP требует наличия высокой пропускной способности. Таким образом, желательно не использовать технологию IVMP с тем, чтобы уменьшить нагрузку кодирования и декодирования, когда нет необходимости для определения IVMP кандидата вектора.

Фиг.1 представляет собой диаграмму, показывающую пример конфигурации ÀMVP списка. Когда IVMP не доступно, то следующие векторы перемещаются вверх. Другими словами, как показано на фиг. 1А, вектор блока, расположенного слева от текущего блока (пространственно слева), установлен на вектор индекса = 0, вектор блока, расположенного выше текущего блока (пространственно выше), установлен на вектор индекса = 1 и вектор совмещенного блока в другом изображении одного и того же ракурса текущего блока (с временного предсказания вектора движения (TMVP)) устанавливается на вектор индекса = 2.

С другой стороны, когда IVMP доступен, как показано в позиции на фиг. 1B, кандидат вектор, полученный путем обработки IVMP (из IVMP), установлен на вектор индекса = 0, вектор блока, расположенного слева от текущего блока (пространственно слева), установлен на вектор индекса = 1, вектор блока, расположенного выше текущего блока (пространственно выше), устанавливается на вектор индекса = 2, и вектор совмещенного блока в другом изображении того же ракурса текущего блока (Из TMVP) установлен на вектор индекса = 3.

В этом случае, выполняется сокращенная обработка с использованием векторов, имеющие индексы 0 и 1, для сравнения длин и направлений двух векторов. Когда длины и направления одинаковы, как показано на фиг. 1C, то кандидат вектор, полученный путем обработки IVMP (из IVMP), удаляется из списка, и следующие векторы перемещается вверх.

Как описано выше, вектор, указанный индексом = 1, изменяется в зависимости от ситуации. По этой причине, для того, чтобы не вызвать несоответствие в ÀMVP списках на стороне кодирования и стороне декодирования, необходимо генерировать ÀMVP списки в той же последовательности во время кодирования и во время декодирования. Другими словами, в момент кодирования и во время декодирования необходимо использовать IVMP технологию независимо от того, установлен или нет вектор, полученный путем обработки IVMP, как кандидат. Таким образом, существует недостаток, который заключается в том, что нагрузка кодирования и декодирования возрастает.

Соответственно, в непатентном документе 2 предложен способ выполнения кодирования без использования IVMP технологии для уменьшения нагрузки кодирования и декодирования.

В этом способе, вектор, полученный путем обработки IVMP, установлен на индекс = 0 из списка ÀMVP. Даже тогда, когда вектор, полученный путем обработки IVMP, отсутствует, нулевой вектор установлен на индекс = 0, вместо недоступности. Таким образом, нет никакой необходимости в определении наличия IVMP.

Кроме того, кандидат вектор, полученный путем переработки IVMP, исключается из целей для сокращенной обработки кандидатов векторов для ÀMVP. Другими словами, выполняется сокращенная обработка с использованием индекса = 1 и индекс = 2 списка ÀMVP.

В частности, когда IVMP не доступно, как показано на фиг. 2A, нулевой вектор установлен на вектор индекса = 0. Таким образом, индекс = 1 указывает на тот же вектор в любое время.

С другой стороны, когда IVMP доступно, как показано в позиции на фиг. 2B, кандидат вектор, полученный путем обработки IVMP, установлен на вектор индекса = 0. В это время, осуществляется сокращенная обработка с использованием вектора индекса = 1 и вектора индекса = 2 и, таким образом, вектор, указанный индексом = 1, не зависит от величины IVMP вектора.

Таким образом, путем установки ÀMVP списка, как описано выше, вектор, указанный индексом = 1, совпадает с тем во время декодирования, даже если IVMP игнорируется во время кодирования. Другими словами, путем установки ÀMVP индекса на 1 или больше и выполнением кодирования, можно пропустить обработку IVMP во время кодирования.

Тем не менее, даже в случае использования способа, указанного в непатентном документе 2, IVMP технология используется во время декодирования. Другими словами, поскольку сторона декодирования (сторона декодера) не знает о том, что ÀMVP индексы = 1 или более, как правило, передаются, то необходимо создать вектор-кандидат с использованием IVMP технологии, соответствующий индексу = 0. По этой причине, существует недостаток, который заключается в том, что нагрузка декодирования возрастает.

Кроме того, хотя ÀMVP индексы могут быть переданы посредством небольшого количества кода в порядке возрастания, начиная с 0, то необходимо передавать ÀMVP индексы от 1 или более, так что кодирование может быть выполнено без обработки IVMP. По этой причине, существует недостаток, который заключается в том, что эффективность кодирования излишне ухудшается.

Соответственно, чтобы снизить нагрузку декодирования, а также нагрузку кодирования, и также для предотвращения снижения эффективности кодирования, управляющая информация для управления использования IVMP технологии, передается посредством синтаксиса высокого уровня.

В качестве управляющей информации, например, IVMP использует флаг inter_view_mvp_enable_flag для управления использования или нет IVMP технологии. Например, когда флаг использования IVMP равен 1, то как сторона кодирования (кодер), так и сторона декодирования (декодер) используют IVMP технологию, и когда флаг использования IVMP равен 0, то ни сторона кодирования (кодер), ни сторона декодирования (декодер) не используют IVMP технологию. Например, когда флаг использования IVMP равен 0, то IVMP векторы-кандидаты, как правило, установлены как недоступные.

Флаг использования IVMP устанавливается, например, командой пользователя или тому подобное в произвольный момент времени до кодирования и декодирования (по меньшей мере, до предсказания движения). Синтаксис высокого уровня представляет собой, например, SPS, заголовок среза и тому подобное.

Таким образом, путем установки флага использования IVMP на 0, можно пропустить обработку IVMP не только при кодировании, но и при декодировании. Таким образом, можно снизить нагрузку декодирования, а также нагрузку кодирования.

Кроме того, поскольку список ÀMVP создается на основе значения флага использования IVMP на стороне декодирования (декодер), даже тогда, когда ÀMVP индекс не установлен на 1 или больше на стороне кодирования (кодера), то ÀMVP списки на стороне кодирования (кодер) и на стороне декодирования (декодер) совпадают. Таким образом, нет необходимости устанавливать ÀMVP индекс на 1 или больше и передавать ÀMVP индекс, что может не допустить ненужное ухудшение эффективности кодирования.

Устройство кодирования изображения

Фиг. 3 представляет собой блок-схему, показывающую пример основной конфигурации устройства кодирования изображения, которое представляет собой устройство обработки изображения.

Устройство 100 кодирования изображения, показанное на фиг. 3, кодирует данные изображения, используя процесс предсказания, как и в схеме кодирования, например, AVC, HEVC или тому подобное. Тем не менее, устройство 100 кодирования изображения кодирует многоракурсное изображение, которое содержит множество ракурсов.

Как показано на фиг. 3, устройство 100 кодирования изображения включает в себя блок 101 аналого-цифрового (A/D) преобразования, буфер 102 реконфигурации экрана, блок 103 вычисления, блок 104 ортогонального преобразования, блок 105 квантования, блок 106 обратимого кодирования и буфер 107 накопления. Кроме того, устройство 100 кодирования изображения включает в себя блок 108 обратного квантования, блок 109 обратного ортогонального преобразования, блок 110 вычисления, контурный фильтр 111, буфер 112 декодированных изображений, блок 114 внутрикадрового предсказания, блок 115 компенсации и предсказания движения, блок 116 выбора предсказанного изображения и кодер 121 основного ракурса.

Блок 101 аналого-цифрового (A/D) преобразования выполняет A/D преобразование входных данных изображения, поставляет данные изображения (цифровые данные) после преобразования в буфер 102 реконфигурации экрана и сохраняет данные изображения. Буфер 102 реконфигурации экрана реконфигурирует кадры сохраненного изображения, соответствующие порядку отображения в порядок кадров кодирования в соответствии с группой кадров (GOP), и поставляет изображение, в котором порядок кадров был реконфигурирован, в блок 103 вычисления вместе с идентификатором (ID) ракурса и отсчета порядка кадров (РОС).

Кроме того, буфер 102 реконфигурации экрана поставляет изображение, в котором порядок кадров был изменен, в блок 114 внутрикадрового предсказания и блок 115 компенсации и предсказания движения вместе с ID ракурса и РОС изображения. Здесь ID ракурса является информацией для идентификации ракурса, и РОС представляет собой информацию для идентификации времени.

Блок 103 вычисления вычитает предсказанное изображение, поступающее от блока 114 внутрикадрового предсказания или блока компенсации и предсказания движения через блок 116 выбора предсказанного изображения, из изображения, считываемого с буфера 102 реконфигурации экрана, и поставляет разностную информацию между предсказанным изображением и изображением в блок 104 ортогонального преобразования.

Например, в случае изображения, на котором выполняется внутрикадровое кодирование, которое кодирует, используя внутрикадровое предсказание (внутрикадровое предсказание), блок 103 вычисления вычитает предсказанное изображение, поставленное из блока 114 внутрикадрового предсказания, из изображения, считанного из буфера 102 реконфигурации экрана. Также, например, в случае изображения, на котором выполняется межкадровое кодирование, которое кодирует, используя межкадровое предсказание (межкадровое предсказание), блок 103 вычисления вычитает предсказанное изображение, поставленное из блока 115 компенсации и предсказания движения, из изображения, считанного из буфера 102 реконфигурации экрана.

Блок 104 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва, разностной информации, поставленной из блока 103 вычисления. Способ ортогонального преобразования является произвольным. Блок 104 ортогонального преобразования поставляет коэффициент преобразования ортогонального преобразования в блок 105 квантования.

Блок 105 квантования квантует коэффициент преобразования, поставленный из блока 104 ортогонального преобразования. Блок 105 квантования устанавливает параметр квантования на основе информации, относящейся к целевому значению количества кода, и выполняет квантование. Способ квантования является произвольным. Блок 105 квантования поставляет квантованный коэффициент преобразования в блок 106 обратимого кодирования.

Блок 106 обратимого кодирования кодирует коэффициент преобразования, квантованный в блоке 105 квантования, с использованием произвольной схемы кодирования. Кроме того, блок 106 обратимого кодирования получает информацию внутрикадрового предсказания, включающую в себя информацию, указывающую режим внутрикадрового предсказания и т.п. из блока 114 внутрикадрового предсказания, и получает информации межкадрового предсказания, включающую в себя информацию, указывающую режим межкадрового предсказания, информацию вектора движения параллакса и т.п. их блока 115 компенсации и предсказания движения. Кроме того, блок 106 обратимого кодирования получает коэффициент фильтра, используемый в контурном фильтре 111 и тому подобное.

Блок 106 обратимого кодирования кодирует эти различные виды информации, используя произвольную схему кодирования, и устанавливает (мультиплексирует) информацию в виде части информации заголовка закодированных данных. Блок 106 обратимого кодирования поставляет кодированные данные, полученные в результате кодирования, в буфер 107 накопления и аккумулирует кодированные данные.

В качестве схемы кодирования блока 106 обратимого кодирования может использоваться, например, кодирование с переменной длиной, арифметическое кодирование или т.п. Может применяться кодирование с переменной длиной, например, контекстно-зависимое адаптивное кодирование с переменной длинной кодового слова (CAVLC), как определено в схеме H.264/AVC или т.п. В качестве арифметического кодирования, например, может применяться контекстно-зависимое адаптивное бинарное арифметическое кодирование (САВАС) или т.п.

Буфер 107 накопления временно удерживает кодированные данные, поставленные из блока 106 обратимого кодирования. Буфер 107 накопления выводит удерживаемые кодированные данные, например, в устройство записи (носитель записи), в тракт передачи или т.п. на последующем этапе обработки, что не показано на чертеже, в виде битового потока в заданный момент времени. Другими словами, различные виды кодированной информации поставляются на сторону декодирования.

Коэффициент преобразования, квантованный блоком 105 квантования, также поставляется в блок 108 обратного квантования. Блок 108 обратного квантования выполняет обратное квантование квантованного коэффициента преобразования с использованием способа, соответствующий выполненному квантованию посредством блока 105 квантования. Способ обратного квантования может быть любым способом, который соответствует обработке квантования, посредством блоком 105 квантования. Блок 108 обратного квантования поставляет полученный коэффициент преобразования в блок 109 обратного ортогонального преобразования.

Блок 109 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента преобразования, поставленного из блока 108 обратного квантования, с использованием способа, соответствующего ортогональному преобразованию с помощью блока 104 ортогонального преобразования. Способ обратного ортогонального преобразования может быть любым способом, который соответствует ортогональному преобразованию с помощью блока 104 ортогонального преобразования. Выходной сигнал, который подвергается обратному ортогональному преобразованию (локально восстановленная разностная информация), поставляется в блок 110 вычисления.

Блок 110 вычисления получает локально реконфигурированное изображение (далее упоминается как реконфигурированное изображение) посредством добавления изображения предсказания, поставленного из блока 114 внутрикадрового предсказания или блока 115 компенсации и предсказания движения через блок 116 выбора предсказанного изображения, к результату обратного ортогонального преобразования, поставленного из блока 109 обратного ортогонального преобразования, то есть, локально восстановленной разностной информации. Реконфигурированное изображение поставляется на контурный фильтр 111.

Контурный фильтр 111 включает в себя фильтр устранения блочности, адаптивный контурный фильтр и т.п., и соответствующим образом выполняет фильтрацию декодированного изображения, поставленного из блока 110 вычисления. Например, контурный фильтр 111 удаляет артефакты блочности декодированного изображения посредством выполнения фильтрации по удалению артефактов блочности декодированного изображения. Кроме того, например, контурный фильтр 111 выполняет процесс фильтрации посредством контурного фильтра результата обработки фильтром устранения блочности (декодированного изображения из которого артефакты блочности были удалены), используя фильтр Винера, тем самым улучшая качество изображения.

Кроме того, контурный фильтр 111 может выполнять произвольную фильтрацию декодированного изображения. Кроме того, контурный фильтр 111 может предоставлять информацию, такую как коэффициент фильтра, используемый при фильтрации и т.п., в блок 106 обратимого кодирования в соответствии с необходимостью, и вызвать информацию, которая должна быть закодирована.

Контурный фильтр 111 поставляет результат обработки фильтром (далее обозначается как декодированное изображение) в буфер 112 декодированных изображений. Кроме того, контурный фильтр 111 подает реконфигурированное изображение, поставленное их блока 110 вычисления, в блоке 114 внутрикадрового предсказания.

Буфер 112 декодированного изображения хранит каждое декодированное изображение, поставленное из контурного фильтра 111. Кроме того, буфер 112 декодированного изображения хранит ID ракурса и РОС изображения.

В заданный момент времени или на основании внешнего запроса, например, блока 115 компенсации и предсказания движения или тому подобное, буфер 112 декодированных изображений поставляет хранимое декодированное изображение (и ID ракурса и РОС изображения) в блок 115 компенсации и предсказания движения.

Когда изображения соседних областях (вокруг блоков), расположенные вокруг целевой области обработки (текущий блок), получаются из контурного фильтра 111, блок 114 внутрикадрового предсказания выполняет внутрикадровое предсказание, генерируя изображение предсказания, в основном, с помощью блоков предсказания (PUs), как блоки обработки. Блок 114 внутрикадрового предсказания выполняет внутрикадровое предсказание в. нескольких режимах (режимы внутрикадрового предсказания), полученные заранее.

Блок 114 внутрикадрового предсказания генерирует изображения предсказания во всех режимах внутрикадрового предсказания, выступающие в качестве кандидатов, оценивает значения функции стоимости соответствующих изображений предсказания с использованием входного изображения, поставленного из буфера 102 реконфигурации экрана, и выбирает оптимальный режим. После выбора оптимального режима предсказания, блок 114 внутрикадрового предсказания поставляет изображение предсказания, генерируемое в оптимальном режиме, в блок 116 выбора предсказываемого изображения.

Кроме того, блок 114 внутрикадрового предсказания соответственно поставляет информацию внутрикадрового предсказания, включающую в себя информацию, относящуюся к внутрикадровому предсказанию, например, информацию об оптимальном режиме предсказания и т.п., в блок 106 обратимого кодирования и вызывает информацию внутрикадрового предсказания кодирования.

Кодер 121 основного ракурса кодирует основной ракурс многоракурсного изображения. Кодер 121 основного ракурса поставляет декодированное изображение основного ракурса в буфер 112 декодированного изображения и обеспечивает сохранение декодированного изображения. В буфере 112 декодированного изображения дополнительно хранятся декодированное изображение дополнительного ракурса, поставленное из контурного фильтра 111.

Кодер 121 основного ракурса поставляет информацию движения основного ракурса в блок 115 компенсации и предсказания движения.

Блок 115 компенсации и предсказания движения выполняет межкадровое предсказание (предсказание движения и предсказание параллакса) с использованием декодированного изображения, полученного из буфера 112 декодированного изображения, и информации движения основного ракурса, полученной из кодера 121 основного ракурса.

Блок 115 компенсации и предсказания движения выполняет процесс компенсации в соответствии с обнаруженным вектором (вектор движения или вектор параллакса) и генерирует изображение предсказания (информация межкадрового предсказания изображения). Блок 115 компенсации и предсказания движения выполняет межкадровое предсказание (внешнее предсказание) во множестве режимов (режимы межкадрового предсказания), полученные заранее.

Блок 115 компенсации и предсказания движения генерирует изображения предсказания во всех режимах межкадрового предсказания, выступающей в качестве кандидатов, оценивает значения функции стоимости соответствующих изображений предсказания и выбирает оптимальный режим. После выбора оптимального режима предсказания, блок 115 компенсации и предсказания движения подает изображение предсказания, генерируемое в оптимальном режиме, в блок 116 выбора предсказываемого изображения.

Кроме того, блок 115 компенсации и предсказания движения поставляет информацию межкадрового предсказания, включающую в себя информацию, относящуюся к межкадровому предсказанию, например, об оптимальном режиме межкадрового предсказания и т.п., в блок 106 обратимого кодирования и вызывает информацию межкадрового предсказания кодирования.

Блок 116 выбора предсказанного изображения выбирает источник поставки предсказанного изображения, подаваемого на блок 103 вычисления и блок 110 вычисления. Например, в случае внутрикадрового кодирования, блок 116 выбора предсказанного изображения выбирает блок 114 внутрикадрового предсказания в качестве источника поставки изображения предсказания, и поставляет изображение предсказания, поставленное из блока 114 внутрикадрового предсказания на блок 103 вычисления и блок 110 вычисления. Кроме того, например, в случае межкадрового кодирования, блок 116 выбора изображения предсказания выбирает блок 115 компенсации и предсказания движения в качестве источника поставки изображения предсказания, и поставляет изображение предсказания, поставленное из блока 115 компенсации и предсказания движения, в блок 103 вычисления и блок 110 вычисления.

Управление процессом IVMP обработки

Как описано выше, режим ÀMVP получают, как один режим межкадрового предсказания. В режиме ÀMVP, как описано выше, устройство 100 кодирования изображения устанавливает флаг использования IVMP в качестве управляющей информации для управления использованием IVMP технологии, выполняет обработку в режиме ÀMVP, на основании наличия флага использования IVMP и передает флаг использования IVMP на сторону декодирования.

Блок 106 обратимого кодирования устанавливает флаг использования IVMP. Флаг использования IVMP может быть установлен на основании произвольной информации. Например, блок 106 обратимого кодирования устанавливает флаг использования IVMP на основании информации, поставленной извне, например, в виде команды пользователя или тому подобное.

Блок 106 обратимого кодирования может управлять процессом использования IVMP технологии для каждого произвольного блока данных. Другими словами, блок 106 обратимого кодирования может установить флаг использования IVMP для каждого произвольного блока данных. Кроме того, блок 106 обратимого кодирования может управлять процессом использования IVMP технологии для каждого из множества уровней иерархически расположенных блоков данных. Другими словами, блок 106 обратимого кодирования может установить эти флаги использования IVMP для множества уровней иерархически расположенных блоков данных.

Блок 106 обратимого кодирования поставляет информацию флага использования IVMP в буфер 107 накопления и обеспечивает передачу информации флага использования IVMP на сторону декодирования (декодер). Блок 106 обратимого кодирования включает в себя флаг использования IVMP, например, битовый поток кодированных данных, который устройство 100 кодирования изображений сгенерирован с помощью процесса кодирования изображения, и обеспечивает передачу флага использования IVMP на сторону декодирования.

В это время, блок 106 обратимого кодирования может передавать флаг использования IVMP, который установлен для каждого заранее определенного блока данных в информации, соответствующей блоку данных. На фиг. 4 показан пример синтаксиса SPS. Например, в примере, показанном на фиг. 4, блок 106 обратимого кодирования может установить флаг использования IVMP для каждой последовательности, который включает в себя информацию флага использования IVMP sps_inter_view_mvp_enable_flag в SPS, и вызвать передачу флага использования IVMP.

В этом случае, при обработке в режиме ÀMVP блок 115 компенсации и предсказания движения получает флаг использования IVMP sps_inter_view_mvp_enable_flag SPS последовательности, включающей в себя текущий блок, который является целью обработки, из блока 106 обратимого кодирования и управляет выполнением процесса IVMP текущего блока, который является целью обработки на основании стоимости флага использования IVMP sps_inter_view_mvp_enable_flag.

Другими словами, когда значение флага IVMP использования sps_inter_view mvp_enable_flag равно 1, блок 115 компенсации и предсказания управляет процессом IVMP и выполняет обработку IVMP. Когда есть кандидат вектор, полученный путем обработки IVMP, блок 115 компенсации и предсказания движения добавляет вектор-кандидат к вектору индекса = 0 из списка ÀMVP. Кроме того, когда нет кандидата вектора, блок 115 компенсации и предсказания движения выполняет поиск векторов в пространстве вокруг блоков и временно прилегающих блоков текущего блока без добавления вектора-кандидата, полученного в результате обработки IVMP, к списку ÀMVP.

С другой стороны, когда значение флага использования IVMP sps_inter_view_mvp_enable_flag равно 0, то блок 115 компенсации и предсказания движения устанавливает вектор из IVMP как недоступный, без применения IVMP технологии, то есть, без выполнения обработки IVMP. Другими словами, блок 115 компенсации и предсказания движения выполняет поиск векторов пространственно окружающих блоков и временно прилегающих блоков текущего блока без добавления вектора-кандидата, полученного в результате обработки IVMP, к ÀMVP списку.

Таким образом, путем передачи флага использования IVMP можно управлять процессом обработки IVMP на основании значения флага использования IVMP как на стороне кодирования, так и на стороне декодирования. Таким образом, путем установки флага использования IVMP на 0, устройство 100 кодирования изображения может генерировать ÀMVP список не только на стороне кодирования, но также и на стороне декодирования без применения IVMP технологии (пропуск обработки IVMP). Другими словами, устройство 100 кодирования изображения может не только снизить нагрузку кодирования, но также и нагрузку декодирования.

Кроме того, без установки индекса ÀMVP на 1 или более и передачи индекса ÀMVP можно управлять процессом IVMP обработки таким же образом, как на стороне кодирования, так и на стороне декодирования, на основании флага использования IVMP и, таким образом, устройство 100 кодирования изображения может улучшить эффективность кодирования.

На фиг. 4B показан пример синтаксиса заголовка среза. Например, как показано на примере фиг. 4B, когда флаг использования IVMP sps_inter_view_mvp_enable_flag, установленный для каждой последовательности, равен 1, то блок 106 обратимого кодирования может дополнительно установить флаг использования IVMP pic_inter_view_mvp_enable_flag для каждого среза, и включает в себя флаг использования IVMP, установленный для каждого среза в заголовке среза slice_header, и вызвать передачу флага использования IVMP.

В этом случае, при обработке в режиме ÀMVP, блок 115 компенсации и предсказания движения получает флаг использования IVMP sps_inter_view_mvp_enable_flag SPS последовательности, включающий в себя текущий блок, который является целью обработки, и флаг использования IVMP pic_inter_view_mvp_enable_flag в заголовке среза slice_header среза, включающий в себя текущий блок, из блока 106 обратимого кодирования, и управляет процессом обработки IVMP текущего блока на основе значений флагов использования IVMP sps_inter_view_mvp_enable_flag и pic_inter_view_mvp_enable_flag.

Таким образом, путем установки флага использования IVMP для множества уровней иерархически расположенных блоков данных, устройство 100 кодирования изображения может управлять процессом обработки IVMP более адаптивно.

На фиг. 4 было показано, что флаг использования IVMP установлен для каждой последовательности и каждого среза, но флаг использования IVMP может быть установлен только для каждого среза. В этом случае, флаг использования IVMP хранится только в заголовке среза.

Как описано выше, флаг использования IVMP может быть установлен для каждого произвольного блока данных. Таким образом, флаг использования IVMP может быть установлен для каждого блока данных, за исключением последовательности и среза, как показано на фиг. 4. Например, флаг использования IVMP может быть установлен для каждого изображения и каждого блока (LCU, CU, PU, TU или т.п.). Кроме того, в случае, в котором флаги использования IVMP установлены для множества иерархических уровней, не ограничивается примерами фиг. 4. Например, флаг использования IVMP может быть установлен для каждой последовательности и для каждого изображения. Кроме того, например, флаг использования IVMP может быть установлен для каждой последовательности, каждого изображения и каждого среза.

Как было описано выше, флаг использования IVMP включен в состав информации, соответствующей блоку, но флаг использования IVMP может храниться на произвольной позиции в битовом потоке. Например, флаг использования IVMP, установленный для каждого среза, может быть сохранен в SPS интегрированным способом. Тем не менее, в этом случае, необходимо указать, какая часть данных соответствует каждому флагу использования IVMP.

Как было описано выше, управление осуществляется с помощью IVMP технологии, когда флаг использования IVMP равен 1, и не используется IVMP технология, когда флаг использования IVMP равен 0, но значение флага использования IVMP в качестве управляющей информации для выполнения процесса обработка IVMP может быть произвольным. Например, управление может быть реализовано с помощью IVMP технологии, когда флаг использования IVMP равен 0, и не использовать IVMP технологию, когда флаг использования IVMP равен 1. Излишне говорить, что управляющая информация может быть информацией множества битов.

Последовательность выполнения операций кодирования

Далее будет описана последовательность выполнения операций кодирования, выполняемая описанным ранее устройством 100 кодирования изображения. Во-первых, со ссылкой на блок-схему алгоритма на фиг. 5, будет описан пример последовательность выполнения операций кодирования.

При начале процесса кодирования на этапе S101, блок 106 обратимого кодирования устанавливает флаг использования IVMP на основании, например, команды пользователя или тому подобное.

На этапе S102, блок 101 A/D преобразования выполняет A/D преобразование входного изображения. На этапе S103, буфер 102 реконфигурации экрана хранит A/D преобразованное. изображение и выполняет реконфигурацию порядка отображения соответствующих изображений в порядок кодирования.

На этапе S104 блок 114 внутрикадрового предсказания выполняет процесс внутрикадрового предсказания. На этапе S105 блок 115 компенсации и предсказания движения выполняет процесс межкадрового предсказания движения. На этапе S106, блок 116 выбора предсказанного изображения выбирает либо предсказанное изображение, генерируемое посредством внутрикадрового предсказания, либо предсказанное изображение, генерируемое посредством межкадрового предсказания.

На этапе S107, блок 103 вычисления вычисляет разность между реконфигурированным изображением при обработке на этапе S103, и предсказанным изображением, выбранным при обработке на этапе S106 (генерирует разностное изображение). Сгенерированное разностное изображение имеет пониженное количество данных по сравнению с исходным изображением. Таким образом, по сравнению со случаем кодирования изображения, можно сжимать объем данных.

На этапе S108, блок 104 ортогонального преобразования выполняет ортогональное преобразование разностного изображения, генерируемого на этапе S107. В частности, выполняется ортогональное преобразование, например, дискретное косинусное преобразование, Карунена-Лоэва преобразование или тому подобное, и вырабатывается коэффициент ортогонального преобразования. На этапе S109, блок 105 квантования квантует коэффициент ортогонального преобразования, полученный на этапе S108.

Квантованное разностное изображение на этапе S109 является локально декодированным. То есть, на этапе S110 блок 108 обратного квантования выполняет обратное квантование коэффициента ортогонального преобразования, сгенерированного и квантованного на этапе S109 (также называемый как коэффициент квантования) в соответствии с характеристикой, соответствующей характеристике блок 105 квантования. На этапе S111 блок 109 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента ортогонального преобразования, полученного на - этапе S110, в соответствии с характеристикой, соответствующей характеристике блока 105 квантования. Таким образом, разностное изображение восстанавливается.

На этапе S112 блок 110 вычисления добавляет предсказанное изображение, выбранное на этапе S106, к разностному изображению, сгенерированному на этапе S111, и генерирует декодированное изображение (реконфигурированное изображение), которое было локально декодировано. На этапе S113 контурный фильтр 111 соответственно выполняет обработку контурным фильтром, включающий в себя фильтр устранения блочности, адаптивный контурный фильтр и тому подобное реконфигурированного изображения, полученного при обработке этапе S112, и генерирует декодированное изображение.

На этапе S114 буфер 112 декодированного изображения сохраняет декодированное изображение, сгенерированное на этапе S113.

На этапе S115, блок 106 обратимого кодирования кодирует коэффициент ортогонального преобразования, квантованный в обработке на этапе S109. Другими словами, выполняется обратимое кодирование, такое как кодирование с переменной длиной, арифметическое кодирование или тому подобное разностного изображения. Кроме того, блок 106 обратимого кодирования кодирует информацию, относящуюся к предсказанию, информацию, относящуюся к квантованию, информацию, относящуюся к обработке фильтра и тому подобное, и добавляет кодированную информацию в поток битов.

Кроме того, блок 106 обратимого кодирования хранит флаг использования IVMP, установленный на этапе S101 на заданной позиции, например, SPS, заголовке среза и тому подобное.

На этапе S116 буфер 107 накопления аккумулирует битовый поток, полученный при обработке на этапе S115. Кодированные данные, накопленные в буфере 107 накопления, соответствующим образом считываются и передаются на сторону декодирования по тракту передачи или посредством носителя записи.

На этапе S117 блок 105 квантования управляет скоростью выполнения операции квантования на основании количества кода (объема генерируемого кода) закодированных данных, накопленных в буфере 107 накопления на этапе S116, с тем, чтобы не допустить переполнение или не заполнение буфера.

Когда процесс обработки на этапе S117 заканчивается, то процесс кодирования завершен.

Последовательность выполнения операций генерирования ÀMVP списка

Далее будет приведено описание выполнение последовательности операций генерирования ÀMVP списка, выполненной при осуществлении операций межкадрового предсказания движения, выполняемого на этапе S105 на фиг. 5, со ссылкой на блок-схемы алгоритмов, показанные на фиг. 6 и фиг. 7.

Когда процесс генерирования ÀMVP списка запускается на этапе S131, блок 115 компенсации и предсказания движения ссылается к флагу использования IVMP, установленного посредством блока 106 обратимого кодирования.

На этапе S132 блок 115 компенсации и предсказания движения определяет, необходимо или нет использовать IVMP технологию на основании значения флага использования IVMP, указанного на этапе S131. Например, когда значение флага использования IVMP равно 1, то определяется факт применения IVMP технологии, и процесс переходит к этапу S133.

На этапе S133 блок 115 компенсации и предсказания движения выполняет IVMP обработку с использованием IVMP технологии, и получает вектор-кандидат в соответствии с IVMP.

На этапе S134 блок 115 компенсации и предсказания движения определяет, существует или нет вектор-кандидат, полученный при обработке на этапе S133 с использованием IVMP.

Когда определено, что существует вектор-кандидат, то процесс переходит к этапу S135. На этапе S135 блок 115 компенсации и предсказания движения добавляет вектор-кандидат, полученный на этапе S133, к индексу = 0 из ÀMVP списка.

Когда процесс на этапе S135 заканчивается, то процесс переходит к этапу S137. Кроме того, когда определено на этапе S134 отсутствие вектора-кандидата, то процесс переходит к этапу S137.

Например, когда значение флага использования IVMP равно 0, и это определено на этапе S132, то процесс переходит к этапу S136. На этапе S136 блок 115 компенсации и предсказания движения устанавливает вектор из IVMP как недоступный. Когда процесс обработки на этапе S136 заканчивается, то процесс переходит к этапу S137.

На этапе S137 блок 115 компенсации и предсказания движения получает вектор-кандидат из блока на левой позиции в пространстве (пространственно слева).

На этапе S138 блок 115 компенсации и предсказания движения определяет, существует или нет вектор-кандидат блока слева в пространстве.

Когда определено, что существует вектор-кандидат, то процесс переходит к этапу S139. На этапе S139 блок 115 компенсации и предсказания движения добавляет вектор-кандидат в ÀMVP список.

Когда процесс обработки на этапе S139 заканчивается, то процесс переходит к этапу S140. Кроме того, когда определено на этапе S138 отсутствие вектора-кандидата блока в левом положении в пространстве, то процесс переходит к этапу S140. На этапе S140 блок 115 компенсации и предсказания движения получает вектор-кандидат от блока в верхнем положении в пространстве (пространственно сверху).

Когда процесс обработки на этапе S140 заканчивается, то процесс переходит к этапу S151 на фиг. 7.

На этапе S151 на фиг. 7 блок 115 компенсации и предсказания движения определяет, существует или нет вектор-кандидат блока в верхнем положении в пространстве.

Когда определено, что существует вектор-кандидат, то процесс переходит к этапу S152. На этапе S152 блок 115 компенсации и предсказания движения добавляет вектор-кандидат в ÀMVP список.

Когда процесс обработки на этапе S152 заканчивается, то процесс переходит к этапу S153. На этапе S153 блок 115 компенсации и предсказания движения определяет, является ли число элементов в списке три.

Когда количество элементов в списке три, то процесс переходит к этапу S154. На этапе S154 блок 115 компенсации и предсказания движения выполняет сокращенную обработку векторов в левом положении и в правильном положении.

Когда процесс обработки на этапе S154 заканчивается, то процесс переходит к этапу S155. Кроме того, когда определено на этапе S153, что число элементов в списке не равно трем, то процесс переходит к этапу S155. Кроме того, когда определено на этапе S151, что нет вектора-кандидата блока в верхнем положении в пространстве, то процесс переходит к этапу S155.

На этапе S155 блок 115 компенсации и предсказания движения выполняет TMVP обработку данных с использованием вектора совмещенного блока в другом изображении того же ракурса, что и текущего блока в качестве кандидата, и получает вектор-кандидат (Из TMVP) из TMVP.

На этапе S156 блок 115 компенсации и предсказания движения определяет, существует или нет вектор-кандидат TMVP.

Когда определено, что существует вектор-кандидат, то процесс переходит к этапу S157. На этапе S157 блок 115 компенсации и предсказания движения блок 115 добавляет вектор-кандидат в ÀMVP список.

Когда процесс обработки на этапе S157 завершен, то процесс генерирования ÀMVP списка закончен. Кроме того, когда определено на этапе S156, что нет вектора-кандидата, то процесс генерирования ÀMVP списка закончен.

Блок 115 компенсации и предсказания движения выполняет поиск вектора предсказания, используя ÀMVP список, сгенерированный как описано выше. Таким образом, блок 115 компенсации и предсказания движения может управлять процессом обработки IVMP соответствии со значением флага использования IVMP. Другими словами, выполнение каждой обработки, как описано выше, устройство 100 кодирования изображения может уменьшить не только нагрузку кодирования, но также нагрузку декодирования, и может также улучшить эффективность кодирования.

2. Второй вариант осуществления

Устройство декодирования изображения

Далее будет приведено описание стороны декодирования (декодер). Фиг. 8 является блок-схемой, показывающей пример основной конфигурации устройства декодирования изображения, которое представляет собой устройство обработки изображений. Устройство 300 декодирования изображения, показанное на фиг. 8, представляет собой устройство, соответствующее устройству 100 кодирования изображения, показанное на фиг. 3. Другими словами, устройство 300 декодирования изображения декодирует кодированные данные (битовый поток), которые устройство 100 кодирования изображения генерирует путем кодирования многоракурсного изображения с использованием способа декодирования, соответствующий способу кодирования устройства 100 кодирования изображения, и получает декодированное многоракурсное изображение.

Как показано на фиг. 8, устройство 300 декодирования изображения включает в себя буфер 301 накопления, блок 302 обратимого декодирования, блок 303 обратного квантования, блок 304 обратного ортогонального преобразования, блок 305 вычисления, контурный фильтр 306, буфер 307 реконфигурации экрана и блок 308 D/A преобразования. Кроме того, устройство 300 декодирования изображения включает в себя буфер 309 декодированного изображения, блок 311 внутрикадрового предсказания, блок 312 компенсации движения и блок 313 выбора.

Дополнительно, устройство 300 декодирования изображения включает в себя декодер 321 основного ракурса.

Буфер 301 накопления аккумулирует полученные кодированные данные и передает кодированные данные в блок 302 обратимого декодирования в заданный момент времени. Блок 302 обратимого декодирования декодирует информацию, которая была закодирована с помощью блока 106 обратимого кодирования, показанного на фиг. 3, и поставленную буфером 301 накопления, используя схему, соответствующую схеме кодирования блока 106 обратимого кодирования. Блок 302 обратимого декодирования поставляет данные квантованного коэффициента разностного изображения, полученного путем декодирования, в блок 303 обратного квантования.

Кроме того, со ссылкой на информацию, относящуюся к оптимальному режиму предсказания, полученную путем декодирования кодированных данных, блок 302 обратимого декодирования определяет, был ли выбран режим внутрикадрового предсказания или режим межкадрового предсказания в качестве оптимального режима предсказания. На основании результата определения блок 302 обратимого декодирования поставляет информацию о режиме оптимального предсказания в блок 311 внутрикадрового предсказания или блок 312 компенсации движения. Другими словами, например, когда режим внутрикадрового предсказания был выбран в качестве оптимального режима предсказания в устройстве 100 кодирования изображения, информация внутрикадрового предсказания и т.п., которая является информацией, относящейся к режиму оптимального предсказания, поступает в блок 311 внутрикадрового предсказания. Кроме того, например, когда был выбран режим межкадрового предсказания в качестве оптимального режима предсказания в устройстве 100 кодирования изображения, информации межкадрового предсказания и т.п., которая является информацией, относящейся к режиму оптимального предсказания, поступает на блок 312 предсказания движения.

Блок 303 обратного квантования выполняет обратное квантование данных квантованного коэффициента, который был получен с помощью декодирования блоком 302 обратимого декодирования, с использованием схемы, соответствующей схеме квантования блока 105 квантования, показанного на фиг. 3, и поставляет полученные данные коэффициента в блок 304 обратного ортогонального преобразования. Блок 304 обратного ортогонального преобразования выполняет обратное ортогональное преобразование на основании данных коэффициента, передаваемых из блока 303 обратного квантования с использованием схемы, соответствующей схеме ортогонального преобразования блока 104 ортогонального преобразования, показанного на фиг. 3. Посредством выполнения обратного ортогонального преобразования, блок 304 обратного ортогонального преобразования получает разностное изображение, соответствующее разностному изображению, которое не было подвержено ортогональному преобразованию в устройстве 100 кодирования изображения.

Разностное изображение, полученное с помощью обратного ортогонального преобразования, подается на блок 305 вычисления. Кроме того, изображение предсказания подается в блок 305 вычисления из блока 311 внутрикадрового предсказания или из блока 312 компенсации движения через блок 313 выбора.

Блок 305 вычисления складывает разностное изображение и предсказанное изображение и получает реконфигурированное изображение, соответствующее изображению, из которого изображение предсказания не было вычтено блоком 103 вычисления устройства 100 кодирования изображения. Блок 305 вычисления поставляет реконфигурированное изображение в контурный фильтр 306.

Контурный фильтр 306 соответственно выполняет обработку посредством контурного фильтра, включающая в себя процесс устранения артефактов блочности, адаптивную фильтрацию и т.п. поставленного реконфигурированного изображения, и генерирует декодированное изображение. Например, контурный фильтр 306 удаляет артефакты блочности путем выполнения процесса фильтрации для уменьшения блочности реконфигурированного изображения. Кроме того, например, контурный фильтр 306 выполняет процесс фильтрации результата обработки фильтром устранения блочности (реконфигурированного изображения, из которого были удалены артефакты блочности), используя фильтр Винера, тем самым улучшая качество изображения.

Тип процесса фильтрации, выполняемый контурным фильтром 306, является произвольным, и может быть выполнен иной процесс фильтрации, чем описанный выше. Кроме того, контурный фильтр 306 может выполнять фильтрацию с использованием коэффициента фильтра, поставленный из устройства 100 кодирования изображения, как показано на фиг. 3.

Контурный фильтр 306 поставляет декодированное изображение, которое является результатом процесса обработки с помощью фильтра, в буфер 307 реконфигурации экрана и буфер 309 декодированного изображения. Кроме того, контурный фильтр 306 поставляет выходной сигнал блока 305 вычисления (реконфигурированное изображение) в блок 311 внутрикадрового предсказания без выполнения фильтрации. Например, блок 311 внутрикадрового предсказания использует значения пикселей, включенных в состав изображения в качестве значений пикселей окружающих пикселей.

Буфер 307 реконфигурации экрана реконфигурирует поставленное декодированное изображение. Другими словами, порядок кадров, реконфигурированный кодирования буфером 102 реконфигурации экрана, показанного на фиг. 3, реконфигурируется в оригинальный порядок отображения. Блок 308 D/A преобразования выполняет D/A преобразование декодированного изображения, поставленного из буфера 307 реконфигурации экрана, выводит D/A преобразованное декодированное изображение на дисплей, не показан на чертеже, и обеспечивает отображение D/A преобразованное декодированное изображение.

Буфер 309 декодированного изображения хранит поставленное декодированное изображение (и ID ракурса и РОС изображения). Кроме того, буфер 309 декодированного изображения поставляет хранимое декодированное изображение (а также ID ракурса и РОС изображения) в блок 312 компенсации движения в заданный момент времени или на основании внешнего запроса, например, блока 311 внутрикадрового предсказания, блок 312 компенсации движения и тому подобное.

Блок 311 внутрикадрового предсказания выполняет в основном ту же обработку, что и блок 114 внутрикадрового предсказания, показанный на фиг. 3. Тем не менее, блок 311 внутрикадрового предсказания выполняет внутреннее предсказание только в области, где предсказанное изображение было сгенерировано путем внутрикадрового предсказания в момент кодирования. Для каждой области блоков обработки предсказания, блок 311 внутрикадрового предсказания поставляет сгенерированное изображение предсказания в блок 305 вычисления через блок 313 выбора.

Блок 312 компенсации движения выполняет компенсацию движения на основе информации межкадрового предсказания, поставленного из блока 302 обратимого декодирования, и генерирует изображение предсказания. На основе информации межкадрового предсказания, поставленной из блока 302 обратимого декодирования, блок 312 компенсации движения выполняет компенсацию параллакса движения только на области, на которой было выполнено межкадровое предсказание в момент кодирования. Для каждой области блоков обработки предсказания, блок 312 компенсации движения поставляет сгенерированное изображение предсказания в блок 305 вычисления через блок 313 выбора.

Блок 313 выбора поставляет изображение предсказания, подаваемое из блока 311 внутрикадрового предсказания или изображение предсказания, подаваемого из блока 312 компенсации движения, в блок 305 вычисления.

Декодер 321 основного ракурса кодирует основной ракурс. Декодер 321 основного ракурса поставляет декодированное изображение основного ракурса в буфер 309 декодированного изображения, и обеспечивает сохранение декодированного изображения. В буфере 309 декодированного изображения декодированное изображение дополнительного ракурса, подаваемое из контурного фильтра 306, дополнительно сохраняется.

Кроме того, декодер 321 основного ракурса поставляет информацию о движении основного ракурса в блок 312 компенсации движения. Блок 312 компенсации движения генерирует вектор предсказания со ссылкой на блок в направлении просмотра, используя декодированное изображение, полученное из буфера 309 декодированного изображения, и информацию движения основного ракурса, полученную из декодера 321 основного ракурса.

Управление IVMP процессом обработки

Устройство 300 декодирования изображения получает флаг использования IVMP, поставленный из устройства 100 кодирования изображения, в качестве управляющей информации для управления использованием IVMP технологии, и выполняет обработку в ÀMVP режиме на основании значения флага использования IVMP, как и в случае кодирования.

Блок 302 обратимого декодирования получает флаг использования IVMP, поставленный из устройства 100 кодирования изображения. Например, блок 302 обратимого декодирования ссылается на заданную позицию, например, SPS, заголовок среза и т.п., и получает флаг использования IVMP, хранимый на данной позиции. Блок 302 обратимого декодирования поставляет полученный флаг использования IVMP в блок 312 компенсации движения.

Во время генерирования ÀMVP списка в процессе межкадрового предсказания декодирования, блока 312 компенсации движения управляет процессом обработки IVMP (использование IVMP технологии) для текущего блока, который является целью обработки, на основе значения поставленного флага использования IVMP.

Таким образом, блок 312 компенсации движения может управлять процессом IVMP обработки (использование IVMP технологии), как и в случае кодирования. в устройстве 100 кодирования изображения. Другими словами, блок 312 компенсации движения может генерировать ÀMVP список, который является таким же, как ÀMVP список, генерируемый блоком 115 компенсации движения.

Таким образом, устройство 300 декодирования изображения может пропустить IVMP обработку, как и в устройстве 100 кодирования изображения и может снизить нагрузку декодирования. Кроме того, устройство 300 декодирования изображения может правильно декодировать поток битов, поставленный из устройства 100 кодирования изображения. Другими словами, нет необходимости устанавливать индекс ÀMVP на 1 или больше и передавать ÀMVP индекс. Таким образом, устройство 300 декодирования изображения может не допустить уменьшение эффективности кодирования.

Последовательность выполнения операций декодирования

Далее будет приведено описание примера последовательности выполнения операций декодирования, выполняемого описанным ранее устройством 300 декодирования изображения, со ссылкой на блок-схему алгоритма на фиг. 9.

Когда процесс декодирования начинается на этапе S301, блок 302 обратимого декодирования получает принятый битовый поток через буфер 301 накопления, и получает флаг использования IVMP, сохраненный на заданной позиции, например, SPS, заголовок среза или т.п., в битовом потоке.

На этапе S302 буфер 301 накопления накапливает принятый поток битов. На этапе S303 блок 302 обратимого декодирования декодирует поток битов (кодированная информация разностного изображения), поставленный из буфера 301 накопления. В это время, различные виды информации, кроме информации разностного изображения, включенные в состав битового потока, например, информация внутрикадрового предсказания, информация межкадрового предсказания или тому подобное, также декодируется.

На этапе S304 блок 303 обратного квантования выполняет обратное квантование квантованного коэффициента ортогонального преобразования, полученного на этапе S303. На этапе S305 блок 304 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента ортогонального преобразования, который был подвергнут обратному квантованию на этапе S304.

На этапе S306 блок 311 внутрикадрового предсказания или блок 312 компенсации движения выполняет процесс предсказания с использованием предоставленной информации. На этапе S307 блок 305 вычисления добавляет предсказанное изображение, сгенерированное на этапе S306, к информации разностного изображения, полученного с помощью обратного ортогонального преобразования на этапе S305. Таким образом, генерируется реконфигурированное изображение.

На этапе S308 контурный фильтр 306 соответственно выполняет процесс фильтрации устранения блочности, адаптивной фильтрации и тому подобное реконфигурированного изображения, полученного на этапе S307.

На этапе S309 буфер 307 реконфигурации экрана реконфигурирует декодированное изображение, сгенерированного при выполнении процесса фильтрации на этапе S308. Другими словами, порядок кадров, реконфигурированный кодирования буфером 102 реконфигурации экрана устройства 100 кодирования изображения, реконфигурируется в исходный порядок отображения.

На этапе S310 блок 308 D/A преобразования выполняет D/A преобразование декодированного изображения, чей порядок кадров был изменен. Декодированное изображение выводится на дисплей, что не показано на чертеже, и отображается.

На этапе S311 буфер 309 декодированного изображения хранит декодированное изображение, полученное с помощью фильтрации на этапе S307. Декодированное изображение используется в качестве опорного изображения в процессе межкадрового предсказания.

Когда процесс на этапе S311 заканчивается, то процесс декодирования завершается.

При выполнении предсказания (в частности, ÀMVP режима межкадрового предсказания) на этапе S306 процесса кодирования, описанного выше, выполняется процесс генерирования ÀMVP списка. Процесс генерирования ÀMVP списка выполняется таким же образом, как и процесс генерирования ÀMVP списка в устройстве 100 кодирования изображения, который был описан со ссылкой на блок-схемы алгоритмов на фиг. 6 и фиг. 7 в первом варианте осуществления. Таким образом, описание, которое было сделано выше, с использованием блок-схемы алгоритмов на фиг. 6 и фиг. 7, также может быть применено к процессу генерирования ÀMVP списка устройство 300 декодирования изображения, и описание процесса генерирования ÀMVP списка устройства 300 декодирования изображения будет опущено.

Посредством выполнения каждого процесса обработки, как описано выше, устройство 300 декодирования изображения может снизить нагрузку декодирования, и также может обеспечить улучшение эффективности кодирования.

3. Третий вариант осуществления

Еще один пример управления IVMP

Как было описано выше, что, когда флаг использования IVMP равен 0, то вектор-кандидат IVMP устанавливается как недоступный в любое время, но процесс управления IVMP не ограничивается этим примером. Например, когда флаг использования IVMP равен 0, заданное значение может быть добавлено к ÀMVP списку (в качестве вектора-кандидата) вместо вектора-кандидата IVMP.

Заданное значение может быть установлено на произвольное значение и может быть установлено, например, репрезентативное значение вектора движения или вектора параллакса. В качестве репрезентативного значения может быть использовано произвольное значение. Например, может быть использован глобальный вектор движения или глобальный вектор параллакса, который может использоваться глобальным (в заданных блоках, например, последовательностях, изображениях, LCUs, CUs или тому подобное) репрезентативным вектором. Кроме того, может быть использовано значение, вычисленное с помощью заданной операции, например, в среднем на изображение или тому подобное.

Блок 106 обратимого кодирования передает заданное значение с флагом использования IVMP на сторону декодирования, таким образом, чтобы сторона декодирования могла генерировать ÀMVP список, используя то же значение. На фиг. 10 показан пример синтаксиса SPS. Например, как показано на фиг. 10, когда значение флага использования IVMP sps_inter_view_mvp_enable flag равно 0, то блок 106 обратимого кодирования включает в себя не только флаг использования IVMP sps_inter_view_mvp_enable_flag, но и также глобальные векторы движения global_motion_vector_x и global_motion_vector_y и глобальные вектора параллакса global inter view vector x и global_inter_view_vector_y как заданное значение, описанное выше в SPS, тем самым обеспечивая передачу флага использования IVMP sps_inter_view_mvp_enable_flag, глобальных векторов движения global_motion_vector_x и global_motion_vector_y и глобальных векторов параллакса global_inter_view_vector_x и global_inter_view_vector_y.

В этом случае, блок 115 компенсации и предсказания движения устанавливает глобальные векторы движения global_motion_vector_x и global_motion_vector_y или глобальные векторы параллакса global_inter_view_vector_x и global_inter_view_vector_y вместо IVMP вектора-кандидата индекса = 0 ÀMVP списка. Поскольку в процессе предсказания движения выясняется, является ли вектор текущего блока вектором движения или вектором параллакса, блок 115 компенсации и предсказания движения устанавливает глобальный вектор из тех же видов как вектор текущего блока на индекс = 0 ÀMVP списка.

В устройстве 300 декодирования изображения блок 302 обратимого декодирования получает глобальные векторы движения global_motion_vector_x и global_motion_vector_y и глобальные векторы параллакса global_inter_view_vector_x и global_inter_view_vector_y вместе с флагом использования IVMP из SPS.

Блок 312 компенсации движения устанавливает глобальные векторы движения global_motion_vector_x и global_motion_vector_y или глобальные векторы параллакса global_inter_view_vector_x и global_inter_view_vector_y вместо IVMP вектора-кандидата на индекс = 0 ÀMVP списка. Как описано выше, поскольку в процессе предсказания движения выясняется, является ли вектор текущего блока вектором движения или вектором параллакса во время кодирования, блок 312 компенсации движения устанавливает глобальный вектор одних и тех же видов, как вектор текущего блока на индекс = 0 ÀMVP списка.

Как описано выше, даже в этом случае можно управлять процессом IVMP таким же образом, как в устройстве 100 кодирования изображения, так и в устройстве 300 декодирования изображения.

Передача заданной величины, которая установлена вместо вектора-кандидата IVMP, как описано выше, может быть выполнена в информации на произвольном иерархическом уровне. Например, когда флаг использования IVMP передается в SPS и в заголовке среза заданная величина может быть передана в SPS, как показано на фиг. 10. В этом случае, флаг использования IVMP pic_ inter_view_mvp_enable_flag передается в заголовке среза, в то время как заданная величина не передается, как показано на фиг. 10B.

Кроме того, в примере, показанном на фиг. 11, заданная величина, которая устанавливается вместо вектора-кандидата IVMP, может быть передана в заголовке среза. В этом случае, флаг использования IVMP sps_inter_view_mvp_enable_flag передается в заголовке среза, но заданная величина не передается, как показано на фиг. 11. Вместо этого, как показано на фиг. 11B, когда флаг использования IVMP pic_inter_view_mvp_enable_flag равен 0, заданная величина передается в заголовке среза.

Дополнительно, в качестве примера, показанного на фиг. 12, заданная величина, которая устанавливается вместо вектора-кандидата IVMP, может передаваться во множестве иерархических уровней. Например, заранее определенная величина может быть передана как в SPS, так и в заголовке среза. В этом случае, как показано на фиг. 12, когда флаг использования IVMP sps_inter_view_mvp_enable_flag равен 0, заданная величина передается в SPS. Кроме того, как показано в позиции В на фиг. 12, когда флаг использования IVMP pic_inter_view_mvp_enable_flag равен 0, то заданная величина также передается в заголовке среза.

Таким образом, даже когда процесс обработки IVMP управляется для каждой последовательности или процесс обработки IVMP управляется для каждого среза, то можно установить заданную величину вместо вектора-кандидата IVMP и передавать заданную величину.

Излишне говорить, что заданная величина может быть передана с использованием способа, отличного от описанного выше. Например, управляющая информация, которая указывает на использование IVMP технологии, может включать в себя и часть информации о заданной величине, которая передается и может быть использована вместо флага использования IVMP.

Кроме того, блоки последовательности и блоки среза были описаны выше в качестве примеров, но блоки данных для управления являются произвольны, как и в случае первого варианта осуществления и второго варианта осуществления.

В процессе выполнения кодирования осуществляется установка заданной величины, как описано выше, ходе выполнения процесса обработки на этапе S101, как показано на фиг. 5.

Последовательность выполнения операций генерирования ÀMVP списка

Далее будет описан пример последовательность выполнения операций генерирования ÀMVP списка с использованием заранее заданной величины, установленной, как описано выше, со ссылкой на блок-схемы алгоритмов на фиг. 13 и фиг. 14. Как описано в первом варианте осуществления и втором варианте осуществления, выполняется процесс генерирования ÀMVP списка таким же образом, как в устройстве 100 кодирования изображения и в устройстве 300 декодирования изображения. Случай, в котором процесс генерирования ÀMVP списка выполняется в устройстве 100 кодирования изображения будет описан ниже.

Когда процесс генерирования ÀMVP списка запускается на этапе S431, блок 115 компенсации и предсказания движения ссылается на флаг использования IVMP, установленного блоком 106 обратимого кодирования.

На этапе S432 блок 115 компенсации и предсказания движения определяет, использовать или нет IVMP технологию на основании величины флага использования IVMP, указанная на этапе S431. Например, когда величина флага использования IVMP равна 1 и определяется факт использования IVMP технологии, то процесс переходит к этапу S433.

На этапе S433 блок 115 компенсации и предсказания движения выполняет процесс IVMP обработки с использованием IVMP технологии, и получает вектор-кандидат в соответствии с IVMP.

На этапе S434 блок 115 компенсации и предсказания движения определяет, существует или нет вектор-кандидат, полученный при обработке на этапе S433, из IVMP.

Когда определено, что существует вектор-кандидат, то процесс переходит на этап S435. На этапе S435 блок 115 компенсации и предсказания движения добавляет вектор-кандидат, полученный при обработке на этапе S433 к индексу = 0 ÀMVP списка.

Когда заканчивается процесс обработки на этапе S435, то процесс переходит к этапу S439. Кроме того, когда определено, на этапе S434, что нет вектора-кандидата, то процесс переходит к этапу S439.

Когда определено на этапе S432, что величина флага использования IVMP равна 0, и определяется факт не использования IVMP технологии, то процесс переходит к этапу S436. На этапе S436 блок 115 компенсации и предсказания движения определяет, является ли текущий вектор, который является вектором текущего блока, вектором движения.

Когда определено, что текущий вектор является вектором движения, то процесс переходит к этапу S437. На этапе S437 блок 115 компенсации и предсказания движения устанавливает репрезентативное значение вектора движения в ÀMVP списке. Когда процесс обработки на этапе S437 закончен, то процесс переходит к этапу S439.

Когда определено на этапе S436, что текущий вектор представляет собой вектор параллакса, то процесс переходит к этапу S438. На этапе S438 блок 115 компенсации и предсказания движения устанавливает репрезентативное значения вектора параллакса в ÀMVP списке. Когда процесс обработки на этапе S438 закончен, то процесс переходит к этапу S439.

Обработка на этапах с S439 по S442 выполняется таким же образом, как при обработке на этапах с S137 по S140, как показано на фиг. 6, соответственно. Кроме того, обработка на этапах с S451 по S457 на фиг. 14 выполнена таким же образом, как обработка на этапах с S151 по S157 на фиг. 7, соответственно.

Блок 115 компенсации и предсказания движения выполняет поиск вектора предсказания, используя ÀMVP список, сгенерированный как описано выше. Таким образом, бок 115 компенсации и предсказания движения может управлять процессом обработки IVMP в соответствии со значением флага использования IVMP. Другими словами, посредством выполнения каждого этапа процесса обработки, как описано выше, устройство 100 кодирования изображения может уменьшить не только нагрузку кодирования, но также нагрузку декодирования, и может также улучшить эффективность кодирования.

Способ управления процессом обработки IVMP был описано выше, но, например, управление использования вектора пространственно окружающего блока и управление использования вектора TMVP может быть осуществлено совместно. Другими словами, управление использованием каждого вектора может быть выполнено на одной части управляющей информации (далее, например, обозначена как общая управляющая информация). В этом случае, на основании общей управляющей информации, устройство 100 кодирования изображения и устройство 300 декодирования изображения могут управлять процессом установки каждого вектора IVMP, вектора пространственно окружающего блока и вектором TMVP как вектор-кандидат. Таким образом, более адаптивное управление становится возможным. Кроме того, за счет интеграции управляющей информации, переданный со стороны кодирования на сторону декодирования, с общей управляющей информацией, можно повысить эффективность кодирования по сравнению со случаем отдельного управления соответствующими типами векторов.

Кроме того, данная технология может быть применена к устройству кодирования изображения и устройству декодирования изображения, которые используются во время приема информации об изображении (битовый поток), сжатого с помощью ортогонального преобразования, например, дискретного косинусного преобразования и т.п., и компенсации движения, например, по схеме Экспертной группы по вопросам движущегося изображения (MPEG), Н.26х или тому подобное, по сетевой среде, такой как спутниковое вещание, кабельное телевидение, Интернет или мобильный телефон. Кроме того, данная технология может быть применена к устройству кодирования изображения и устройству декодирования изображения, используемые во время выполнения обработки информации на носителях данных, таких как оптические диски, магнитные диски и флэш-память. Кроме того, данная технология также может применяться в устройстве для предсказания и компенсации движения, которое включено в состав этого устройства кодирования изображения и устройства декодирования изображения.

4. Четвертый вариант осуществления

Компьютер

Ряд процессов, описанных выше, могут быть выполнены посредством аппаратных средств, но также могут быть выполнены с помощью программного обеспечения. Когда последовательность процессов выполняется с помощью программного обеспечения, программа, которая формирует такое программное обеспечение, устанавливается на компьютер. Здесь выражение "компьютер" включает в себя компьютер, в котором встроены специализированные аппаратные средства, и персональный компьютер общего назначения или тому подобное, которые могут выполнять различные функции, когда установлены различные программы.

На фиг. 15 показаны центральный процессор (CPU) 701 компьютера 700, который выполняет различные процессы обработки информации в соответствии с программой, сохраненной на постоянном запоминающем устройстве (ROM) 702 или программой, загруженной из блока 713 хранения в оперативное запоминающее устройство (RAM) 703. В RAM 703 соответствующим образом хранятся данные, которые необходимы для выполнения различных процессов посредством CPU 701.

CPU 701, ROM 702 и RAM 703 взаимно соединены через шину 704. Интерфейс 710 ввода-вывода (I/O) также подключен к шине 704.

Входной блок 711, который включает в себя клавиатуру, мышь и т.п., выходной блок 712, который включает в себя дисплей, состоящий из электронно-лучевой трубки (CTR), жидкокристаллического дисплея (LCD) и динамика, блок 713 хранения, который конфигурируется с помощью жесткого диска, и блок 714 связи, который конфигурируется с помощью модема, соединены с интерфейсом 710 ввода/вывода. Блок 714 связи предназначен для осуществления коммуникации посредством сети, включающей в себя интернет.

Надлежащим образом установлены привод 715, который соединен с интерфейсом 710 ввода/вывода при необходимости, съемный носитель 721, таком как магнитный диск, оптический диск, магнитооптический диск, оптический или полупроводниковое запоминающее устройство, и компьютерная программа, которая считывается со съемного носителя 721, установлена на запоминающем устройстве 713 при необходимости.

В случае, когда описанная выше последовательность процесса обработки выполняется на основании программного обеспечения, программа включается в состав программы, которая устанавливается по сети или с помощью носителя записи.

Носитель записи, который включает в себя этот тип программы, не только формируется съемным носителем 721, который поставляется отдельно от основного корпуса устройства, как показано на фиг. 15, для обеспечения пользователя с программой, но также формируется посредством ROM 702, в котором программа записывается и который предоставляется пользователю в состоянии, в котором он встроен заранее в основной корпус устройства, жесткий диск установлен в запоминающем устройстве 713 или тому подобное. Съемный носитель 111 образован магнитным диском (в том числе гибким диском), на котором записана программа, оптическим диском (в том числе на компакт-диске (CD-ROM) и цифровом универсальном диске (DVD)), магнитооптическим диском (в том числе мини-диском (MD)), полупроводниковым запоминающим устройством или тому подобное.

Следует отметить, что программа, выполняемая компьютером, может быть программой, которая обрабатывается во временной последовательности, в соответствии с последовательностью, описанной в данном описании, или программой, которая будет обрабатываться параллельно или в назначенное время, например, при вызове.

Следует также отметить, что в данном описании этапы, описывающие программу, которая хранится на носителе записи, включают в себя не только процесс, выполняемый во временной последовательности, в соответствии с последовательностью, показанной в ней, но также процесс выполняется параллельно или по отдельности, не обязательно выполняются в указанном порядке.

Дополнительно, в настоящем изобретении система может быть рассмотрена как набор из множества сконфигурированных элементов (таких как устройства или модули (части)), и не следует принимать во внимание факт нахождения или отсутствия всех сконфигурированных элементов в одном корпусе. Таким образом, система может представлять собой множество устройств, находящиеся в отдельных корпусах и соединены через сеть или множество модулей внутри одного корпуса.

Дополнительно, элемент, описанный выше как одно устройство (или процессор), может быть разделен, чтобы быть выполненным в виде множества устройств (или процессоров). Напротив, элементы, описанные выше в виде множества устройств (процессоров), могут быть сконфигурированы вместе как единое устройство (или процессор). Дополнительно, элемент, отличный от описанных выше, может быть добавлен к каждому устройству (или блоку обработки). Более того, часть элемента данного устройства (или процессора) может быть включена в элемент другого устройства (или другого блока обработки) при условии, что конфигурация или функционирование системы в целом, по существу, аналогичны.

Предпочтительные варианты осуществления настоящего изобретения были описаны выше со ссылкой на прилагаемые чертежи, в то время как настоящее изобретение не ограничивается приведенными выше примерами, конечно. Специалист в данной области техники может найти различные изменения и модификации в пределах объема прилагаемой формулы изобретения, и следует понимать, что они будут, естественно, находится в пределах технического объема настоящего изобретения.

Например, настоящее изобретение может принять конфигурацию облачных вычислений, которые обрабатываются путем выделения и подключения одной функции множеством устройств через сеть.

Дополнительно, каждый этап, описанный вышеуказанными блок-схемами алгоритмов, может быть выполнен с помощью одного устройства или путем выделения множества устройств.

Кроме того, в случае, когда множество процессов, включаются в состав одного этапа, множество процессов, включенных в состав этого одного этапа, может быть выполнено с помощью одного устройства или путем выделения множества устройств.

5. Пример применения

Устройство кодирования изображения и устройство декодирования изображения в соответствии с вариантом осуществления, описанным выше, могут быть применены в различных электронных приборах, таких как передатчик и приемник для спутникового вещания, кабельного вещания, таких как кабельное телевидение, передача информации по сети интернет, передачу информации на терминалы через сотовые коммуникации и т.п., устройство записи, которое записывает изображения на носитель информации, такой как оптический диск, магнитный диск или флэш-память, устройства воспроизведения, которое воспроизводит изображение с такого носителя, и тому подобное. Будут описаны четыре примера применения.

Первый пример применения: телевизионный приемник

Фиг. 16 представляет собой схему, иллюстрирующую пример схематичной конфигурации телевизионного устройства с применением вышеупомянутого варианта осуществления. Телевизионное устройство 900 включает в себя антенну 901, тюнер 902, демультиплексор 903, декодер 904, блок 905 обработки видеосигнала, устройство 906 отображения, устройство 907 обработки аудио, динамик 908, внешний интерфейс 909, блок 910 управления, пользовательский интерфейс 911 и шину 912.

Тюнер 902 извлекает сигнал требуемого канала из широковещательного сигнала, принимаемого через антенну 901, и демодулирует извлеченный сигнал. Тюнер 902 затем выводит кодированный битовый поток, полученный путем демодуляции, в демультиплексор 903. То есть, тюнер 902 выступает в качестве блока передачи принятого кодированного потока, в котором кодируется изображение, в телевизионном устройстве 900.

Демультиплексор 903 разделяет видеопоток и аудио поток в программе для просмотра из кодированного битового потока и выдает каждый из изолированных потоков в декодер 904. Демультиплексор 903 извлекает вспомогательные данные, такие как (электронный гид программы) EPG из кодированного битового потока и передает извлеченные данные в блок 910 управления. Здесь, демультиплексор 903 может декодировать кодированный битовый поток, когда он скремблирован.

Декодер 904 декодирует видеопоток и аудио поток, которые вводятся в демультиплексор 903. Декодер 904 затем выводит видеоданные, генерируемые в процессе декодирования, в блок 905 обработки видеосигнала. Кроме того, декодер 904 выводит звуковые данные, генерируемые процесс декодирования, в блок 907 обработки звукового сигнала.

Блок 905 обработки видеосигналов воспроизводит видеоданные, поступившие из декодера 904, и отображает видео на дисплее 906. Блок 905 обработки видеосигнала может также отображать экран приложений, поставленный через сеть, на устройстве 906 отображения. Блок 905 обработки видеосигнала может дополнительно выполнять дополнительный процесс обработки, например, снижение уровня шума видеоданных в соответствии с настройками. Кроме того, блок 905 обработки видеосигнала может генерировать изображение GUI (графический интерфейс пользователя), такие как меню, кнопки или курсор и накладывать формируемое изображение на выходное изображение.

Устройство 906 отображения приводится в действие управляющим сигналом, поставленным из блока 905 обработки видеосигнала, и отображает видео или изображение на видеоэкране устройства отображения (например, жидкокристаллический дисплей, плазменный дисплей или OELD (органический электролюминесцентный дисплей)).

Блок 907 обработки аудио сигнала выполняет процесс воспроизведения, такой как D/A преобразование и усиление аудио данных, поступивших из декодера 904, и выводит звук через динамик 908. Блок 907 обработки аудио сигнала также может выполнять дополнительный процесс, например, снижение уровня шума в звуковых сигналах.

Внешний интерфейс 909 представляет собой интерфейс, который соединяет телевизионное устройство 900 с внешним устройством или сетью. Например, декодер 904 может декодировать видеопоток или аудио поток, полученный через внешний интерфейс 909. Это означает, что внешний интерфейс 909 также играет определенную роль в качестве блока передачи принимаемого кодированного потока, в котором кодируется изображение, в телевизионном устройстве 900.

Блок 910 управления включает в себя процессор, такой как блок обработки (CPU) и память, такую как ROM и RAM. Память хранит программу, исполняемую процессором, программные данные, данные EPG и данные, полученные через сеть. Программа сохраняется в памяти для чтения с помощью процессора при включении телевизионного устройства 900, и исполняется, например. При выполнении программы, процессор управляет работой телевизионного устройства 900 в соответствии с управляющим сигналом, который поступает из пользовательского интерфейса 911, например.

Пользовательский интерфейс 911 подключен к блоку 910 управления. Пользовательский интерфейс 911 включает в себя кнопку и переключатель для пользователя для управления телевизионным устройством 900, а также приемную часть, которая принимает сигнал дистанционного управления, например. Пользовательский интерфейс 911 обнаруживает операцию пользователя через эти компоненты, генерирует сигнал операции и выводит сгенерированный сигнал операции на блок 910 управления.

Шина 912 взаимно соединяет тюнер 902, демультиплексор 903, декодер 904, блок 905 обработки видеосигнала, блок 907 обработки звукового сигнала, внешний интерфейс 909 и блок 910 управления.

В телевизионном устройстве 900, которое имеет такую конфигурацию, декодер 904 имеет функцию устройства декодирования изображения в соответствии с описанным выше вариантом осуществления. Соответственно, во время декодирования изображения в телевизионном устройстве 900 можно не допустить ухудшения эффективности кодирования и снижение нагрузки.

Второй пример применения: мобильный телефон

Фиг. 17 представляет собой схему, иллюстрирующую пример схематичной конфигурации мобильного телефона, применяющий вышеупомянутый вариант осуществления. Мобильный телефон 920 включает в себя антенну 921, блок 922 связи, аудиокодек 923, динамик 924, микрофон 925, блок 926 камеры, блок 927 обработки изображения, блок 928 демультиплексирования, блок 929 записи/воспроизведения, устройство 930 отображения, блок 931 управления, операционный блок 932 и шину 933.

Антенна 921 соединена с блоком 922 связи. Громкоговоритель 924 и микрофон 925 соединены с аудиокодеком 923. Операционный блок 932 соединен с блоком 931 управления. Шина 933 взаимно соединяет блок 922 связи, аудиокодек 923, блок 926 камеры, блок 927 обработки изображения, блок 928 демультиплексирования, блок 929 записи/воспроизведения, устройство 930 отображения и блок 931 управления.

Мобильный телефон 920 выполняет такую операцию, как передача/прием звукового сигнала, передача/прием сообщений электронной почты или данных изображения, визуализацию изображения или запись данных в различных режимах работы, включающие в себя режим аудио вызова, режим передачи данных, режим фотографирования и режим видеотелефона.

В режиме аудио вызовов, аналоговый аудио сигнал, генерируемый микрофоном 925, подается в аудиокодек 923. Аудиокодек 923 затем преобразует аналоговый аудио сигнал в аудиоданные, выполняет A/D преобразование преобразованных звуковых данных и сжимает данные. Аудиокодек 923 затем выводит сжатые аудиоданные в блок 922 связи. Блок 922 связи кодирует и модулирует звуковые данные, чтобы генерировать сигнал передачи. Устройство 922 связи затем передает сформированный сигнал передачи на базовую станцию (не показана) через антенну 921. Кроме того, блок 922 связи усиливает радиосигнал, принятый через антенну 921, преобразует частоту сигнала и получает приемный сигнал. Блок 922 связи после демодуляции декодирует сигнал приема для создания звуковых данных и выводит сгенерированные аудиоданные в аудиокодек 923. Аудиокодек 923 распаковывает звуковые данные, выполняет D/A преобразование данных и генерирует аналоговый аудио сигнал. Аудиокодек 923 затем выводит звук путем подачи сформированного звукового сигнала на громкоговоритель 924.

В режиме передачи данных, например, блок 931 управления генерирует данные символов, которые формируют сообщение электронной почты, в соответствии с операцией пользователя через операционный блок 932. Блок 931 управления дополнительно отображает символ на дисплее 930. Кроме того, блок 931 управления генерирует данные электронной почты в соответствии с командой передачи от пользователя через операционный блок 932, и выводит сгенерированные данные электронной почты на блок 922 связи. Блок 922 связи кодирует и модулирует данные электронные почты для генерирования сигнала передачи. Затем блок 922 связи передает сгенерированный сигнал передачи на базовую станцию (не показана) через антенну 921. Блок 922 связи дополнительно усиливает радиосигнал, принятый через антенну 921, преобразует частоту сигнала и получает приемный сигнал. Блок 922 связи после демодуляции и декодирования сигнала приема, восстанавливает данные электронной почты и выводит восстановленные данные электронной почты на блок 931 управления. Блок 931 управления отображает содержание сообщения электронной почте на дисплее 930, а также сохраняет данные электронной почты на носителе блока 929 записи/воспроизведения.

Блок 929 записи/воспроизведения включает в себя произвольный носитель данных, который может быть считан и на который может быть записана информация. Например, носитель данных может быть встроенным носителем данных, таим как RAM или флэш-память, или может быть внешним носителем информации, таким как жесткий диск, магнитный диск, магнитооптический диск, оптический диск, USB (незанятое пространство битовой карты) память или карта памяти.

В режиме фотографирования, например, блок 926 камеры захватывает изображение объекта, формирует данные изображения и выводит сформированные данные в блок 927 обработки изображения. Блок 927 обработки изображения кодирует входные данные изображения, поступившие из блока 926 камеры, и сохраняет кодированный поток на носителе хранения блока 929 записи/воспроизведения.

В режиме видеотелефона, например, блок 928 демультиплексирования мультиплексирует видеопоток, закодированный блоком 927 обработки изображений и аудио поток, поступивший из аудиокодека 923, и выводит мультиплексированный поток в блок 922 связи. Блок 922 связи кодирует и модулирует поток, чтобы генерировать сигнал передачи. Блок 922 связи затем передает сформированный сигнал передачи на базовую станцию (не показана) через антенну 921. Кроме того, блок 922 связи усиливает радиосигнал, принятый через антенну 921, преобразовывает частоту сигнала и получает принятый сигнал. Сигнал передачи и сигнал приема может включать в себя закодированный поток битов. Затем блок 922 связи демодулирует и декодирует сигнал приема, чтобы восстановить поток, и выводит восстановленный поток в блок 928 демультиплексирования. Блок 928 демультиплексирования разделяет видеопоток и аудио поток из входного потока и выдает поток видео и аудио поток на блок 927 обработки изображений и аудиокодек 923, соответственно. Блок 927 обработки изображения декодирует видеопоток для генерации видеоданных. Видеоданные затем подаются на дисплей 930, который отображает последовательность изображений. Аудио кодек 923 распаковывает и выполняет D/A преобразование на звуковом потоке для генерации аналогового аудио сигнала. Аудиокодек 923 затем передает сгенерированный звуковой сигнал в громкоговоритель 924 для вывода звука.

Блок 927 обработки изображения в мобильном телефоне 920, сконфигурированный вышеупомянутым образом, имеет функцию устройства кодирования изображения и устройства декодирования изображения в соответствии с вышеупомянутым вариантом осуществления. Соответственно, в момент кодирования и декодирования изображений в мобильном телефоне 920, возможно снизить нагрузку и предотвратить ухудшение эффективности кодирования.

Третий пример применения: блок записи/воспроизведения

Фиг. 18 представляет собой схему, иллюстрирующую пример схематичной конфигурации устройства записи/воспроизведения с применением вышеупомянутого варианта осуществления. Устройство 940 записи/воспроизведения кодирует аудиоданные и видеоданные принятой широковещательной программы и записывает данные на носителе записи, например. Устройство 940 записи/воспроизведения может также кодировать аудиоданные и видеоданные, полученные от другого устройства и записывать данные на носитель записи, например. В ответ на команды пользователя, например, устройство 940 записи/воспроизведения воспроизводит данные, записанные на носителе записи, на мониторе и посредством громкоговорителя. Устройство 940 записи/воспроизведения в это время декодирует звуковые данные и видеоданные.

Устройство 940 записи/воспроизведения включает в себя тюнер 941, внешний интерфейс 942, кодер 943, HDD (жесткий диск) 944, драйвер 945, селектор 946, декодер 947, OSD (дисплей) 948, блок 949 управления и пользовательский интерфейс 950.

Тюнер 94.1 извлекает сигнал требуемого канала из вещательного сигнала, принятого антенной (не показана), и демодулирует извлеченный сигнал. Тюнер 941 затем выводит кодированный битовый поток, полученный путем демодуляции, на селектор 946. То есть, тюнер 941 используется в качестве блока передачи в устройстве 940 записи/воспроизведения.

Внешний интерфейс 942 представляет собой интерфейс, который соединяет устройство 940 записи/воспроизведения с внешним устройством или сетью. Внешний интерфейс 942 может быть, например, интерфейсом IEEE 1394, сетевым интерфейсом, интерфейсом USB или интерфейсом флэш-памяти. Видеоданные и аудиоданные, принятые через внешний интерфейс 942, вводятся в кодер 943, например. То есть, внешний интерфейс 942 используется в качестве блока передачи в устройстве 940 записи/воспроизведения.

Кодер 943 кодирует видеоданные и аудио данные, когда видеоданные и аудио данные, поступающие из внешнего интерфейса 942, не кодируются. Кодер 943 затем выводит кодированный битовый поток в селектор 946.

HDD 944 записывает на внутренний жесткий диск кодированный битовый поток, в котором контент данных, такой как видео и аудио, сжимается, различные программы и другие данные. HDD 944 считывает эти данные с жесткого диска при воспроизведении видео и аудио.

Драйвер 945 записывает и считывает данные на/с носителя записи, который установлен в дисководе. Носитель записи, установленный на драйвере 945, может быть, например, DVD диском (например, DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R или DVD+RW) или Blu-Ray (зарегистрированный товарный знак) диском.

Селектор 946 выбирает закодированный поток битов, поступивший из тюнера 941 или кодера 943 при записи видео и аудио, и выводит выбранный кодированный битовый поток на HDD 944 или драйвер 945. При воспроизведении видео и аудио, с другой стороны, селектор 946 выводит кодированный битовый входной поток с HDD 944 или дисковода 945 в декодер 947.

Декодер 947 декодирует закодированный поток битов для генерации видеоданных и аудиоданных. Декодер 904 затем выходит сгенерированные видеоданные на OSD 948 и сгенерированные аудиоданные на внешний динамик.

OSD 948 воспроизводит видеоданные, поступившие из декодера 947, и отображает видео. OSD 948 может также наложить изображение графического интерфейса, такое как меню, кнопки или курсор на отображаемое видео.

Блок 949 управления включает в себя процессор, такой как CPU и память, такую как RAM и ROM. Память хранит программу, исполняемую процессором, а также данные программы. Программа, хранящаяся в памяти, считывается CPU при включении устройства 940 записи/воспроизведения и выполняется, например. При выполнении программы, процессор управляет работой устройства 940 записи/воспроизведения в соответствии с операционным сигналом, который поступает из пользовательского интерфейса 950, например.

Пользовательский интерфейс 950 подключен к блоку 949 управления. Пользовательский интерфейс 950 включает в себя кнопку и переключатель для пользователя, чтобы обеспечить управление устройством 940 записи/воспроизведения, а также приемную часть, которая принимает сигнал дистанционного управления, например. Пользовательский интерфейс 950 обнаруживает операцию пользователя через эти компоненты, генерирует сигнал операции, и выводит сгенерированный операционный сигнал на блок 949 управления.

Кодер 943 в устройстве 940 записи/воспроизведения, которое сконфигурировано вышеупомянутым образом, имеет функцию устройства кодирования изображения в соответствии с вышеупомянутым вариантом осуществления. С другой стороны, декодер 947 имеет функцию устройства декодирования изображения в соответствии с вышеупомянутым вариантом осуществления. Соответственно, в момент кодирования и декодирования изображения в устройстве 940 записи/воспроизведения можно снизить нагрузку и предотвратить ухудшение эффективности кодирования.

Четвертый пример применения: устройство захвата изображения

Фиг. 19 показывает пример схематичной конфигурации устройства захвата изображения с применением вышеупомянутого варианта осуществления. Устройство 960 захвата изображения формирует изображение объекта, генерирует изображение, кодирует данные изображения и записывает данные на носителе записи.

Устройство 960 захвата изображения включает в себя оптический блок 961, блок 962 формирования изображения, блок 963 обработки сигнала, блок 964 обработки изображений, дисплей 965, внешний интерфейс 966, память 967, медиа-диск 968, OSD 969, блок 970 управления, пользовательский интерфейс 971 и шину 972.

Оптический блок 961 соединен с блоком 962 формирования изображения. Блок 962 формирования изображения соединен с блоком 963 обработки сигнала. Дисплей 965 соединен с блоком 964 обработки изображений. Пользовательский интерфейс 971 соединен с блоком 970 управления. Шина 972 взаимно соединяет блок 964 обработки изображений, внешний интерфейс 966, память 967, медиа-диск 968, OSD 969 и блок 970 управления.

Оптический блок 961 включает в себя фокусирующие линзы и механизм диафрагмы. Оптический блок 961 формирует оптическое изображение объекта на поверхности формирования изображения блока 962 формирования изображения. Блок 962 формирования изображения включает в себя датчик изображения, такой как CCD (прибор с зарядовой связью) или CMOS (комплементарный металл-оксид-полупроводник) и выполняет фотоэлектрическое преобразование оптического изображения, сформированного на поверхности формирования изображения, в сигнал изображения в виде электрического сигнала. После этого, блок 962 формирования изображения выходит сигнал изображения в блок 963 обработки сигнала.

Блок 963 обработки сигнала выполняет различные процессы обработки сигнала с камеры, такие как коррекция излома характеристики, гамма-коррекцию и коррекции цвета сигнала изображения, поступившего из блока 962 формирования изображения. Блок 963 обработки сигнала выходит обработанные данные изображения в блок 964 обработки изображения.

Блок 964 обработки изображения кодирует входные данные изображения, поступившие из блока 963 обработки сигнала, и генерирует закодированные данные. Блок 964 обработки изображения затем выходит сгенерированные кодированные данные на внешний интерфейс 966 или дисковод 968. Блок 964 обработки изображения также декодирует кодированные данные, поступившие из внешнего интерфейса 966 или дисковода 968, для формирования данных изображения. Блок 964 обработки изображения затем выходит данные изображения на дисплей 965. Кроме того, блок 964 обработки изображения может выводить на дисплей 965 данные изображения из устройства 963 обработки сигнала для отображения изображения. Кроме того, блок 964 обработки изображения может накладывать отображения данных, полученные из OSD 969, на изображение, которое выводится на дисплей 965.

OSD 969 генерирует изображение GUI, такое как меню, кнопки или курсор, и выводит сгенерированное изображение в блок 964 обработки изображений.

Внешний интерфейс 966 выполнен в виде USB вход/выход терминала, например. Внешний интерфейс 966 соединяет устройство 960 захвата изображения с принтером при печати изображения, например. Кроме того, при необходимости, диск соединяется с внешним интерфейсом 966. Съемный носитель, такой как магнитный диск или оптический диск, устанавливается на привод, например, так, что программа считывается со съемного носителя, может быть установлен в устройстве 960 захвата изображения. Внешний интерфейс 966 может быть также выполнен в виде сетевого интерфейса, который подключен к сети, такой как LAN или интернет. То есть, внешний интерфейс 966 используется в качестве блока передачи в устройстве 960 захвата изображения.

Носитель записи, установленный в дисковод 968, может быть произвольным, съемный носитель предназначен для чтения и записи и представляет собой, например, магнитный диск, магнитооптический диск, оптический диск или полупроводниковое запоминающее устройство. Кроме того, носитель может быть установлен на дисковод 968, и выполнен в виде стационарного блока хранения, такого как встроенный жесткий диск или SSD (твердотельный накопитель), например.

Блок 970 управления включает в себя процессор, такой как CPU и память, такую как RAM и ROM. Память хранит программу, исполняемую процессором, а также данные программы. Программа, хранимая в памяти, считывается процессором при пуске устройства 960 формирования изображения, и затем выполняется. При выполнении программы, процессор управляет работой устройства 960 формирования изображения в соответствии с операционным сигналом, который поступает из пользовательского интерфейса 971, например.

Пользовательский интерфейс 971 подключен к блоку 970 управления. Пользовательский интерфейс 971 включает в себя кнопку и переключатель для пользователя, чтобы управлять устройством 960 формирования изображений, например. Пользовательский интерфейс 971 обнаруживает операцию пользователя через эти компоненты, генерирует сигнал операции и выводит сгенерированный сигнал операции на блок 970 управления.

Блок 964 обработки изображения в устройстве 960 захвата изображения, сконфигурированного вышеупомянутым образом, имеет функцию устройства 10 кодирования изображения устройством и устройства 60 декодирования изображения в соответствии с вышеупомянутым вариантом осуществления. Соответственно, в момент кодирования и декодирования изображения в устройстве 960 захвата изображения можно снизить нагрузку и предотвратить ухудшение эффективности кодирования.

Данное описание является примером, в котором различные фрагменты информации, такие как флаг использования IVMP и репрезентативное значения вектора, мультиплексируются в заголовке кодированного потока и передаются со стороны кодирования на сторону декодирования. Способ передачи этих фрагментов информации, однако, не ограничивается таким примером. Например, эти фрагменты информации могут быть переданы или записаны в виде отдельных данных, ассоциированных с кодированным битовым потоком, без мультиплексирования кодированного битового потока. Здесь термин "ассоциация" означает, чтобы изображение может быть включено в состав битового потока (может быть частью изображения, такой как срез или блок) и информацию, соответствующую текущему изображению, чтобы установить связь при декодировании. А именно, эта информация может быть передана по другому тракту передачи, чем изображение (или битовый поток). Информация также может быть записана на другом носителе записи (или другой области записи на том же носителе записи) из изображения (или битового потока). Кроме того, информация и изображение (или битовый поток) могут быть ассоциированы друг с другом с помощью любого блока, такого как множества кадров, одного кадра или части в пределах кадра.

Предпочтительные варианты осуществления настоящего изобретения были описаны выше со ссылкой на прилагаемые чертежи, в то время как настоящее изобретение не ограничивается приведенными выше примерами, конечно. Специалист в данной области техники может найти различные изменения и модификации в пределах объема прилагаемой формулы изобретения, и следует понимать, что они будут, естественно, находится в пределах технического объема настоящего изобретения.

Кроме того, настоящее изобретение также может быть выполнено, как показано ниже.

(1) Устройство обработки изображения включающее в себя:

блок установки управляющей информации, выполненный с возможностью установки управляющей информации для управления использовать ли вектор основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса в обработке предсказания движения во время кодирования многоракурсного изображения;

блок обработки межкадрового предсказания движения (IVMP), выполненный с возможностью осуществления IVMP обработки для установки вектора основного ракурса в качестве кандидата для вектора предсказания текущего блока зависимого ракурса, когда вектор основного ракурса установлен для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с управляющей информацией, установленной блоком установки управляющей информации;

блок генерирования списка, выполненный с возможностью генерирования списка кандидатов для вектора предсказания текущего блока и добавления кандидата в список, когда имеется кандидат, сгенерированный блоком IVMP обработки, включающий в себя вектор основного ракурса; и

блок передачи, выполненный с возможностью передачи управляющей информации, установленной блоком установки управляющей информации.

(2) Устройство обработки изображения по (1) дополнительно включающее в себя:

блок установки режима недоступности, выполненный с возможностью установки вектора основного ракурса в качестве недоступного в качестве вектора предсказания зависимого ракурса, когда вектор основного ракурса установлен в качестве неиспользуемого кандидата для вектора предсказания зависимого ракурса, согласно управляющей информации, установленной блоком установки управляющей информации.

(3) Устройство обработки изображения по (1) или (2) дополнительно включающее в себя:

блок установки значения, выполненный с возможностью установки заданного значения вместо кандидата, включающего в себя вектор основного ракурса, в список, когда вектор основного ракурса установлен в качестве неиспользуемого в качестве кандидата для вектора предсказания зависимого ракурса, согласно управляющей информации, установленной блоком установки управляющей информации.

(4) Устройство обработки изображения по (3), в котором

когда текущий вектор текущего блока является вектором движения, блок установки значения выполнен с возможностью установки репрезентативного значения вектора движения вместо кандидата, включающего в себя вектор основного ракурса, в список.

(5) Устройство обработки изображения по (3) или (4), в котором

когда текущий вектор текущего блока является вектором параллакса, блок установки значения выполнен с возможностью установки репрезентативного значения вектора параллакса вместо кандидата, включающего в себя вектор основного ракурса, в список.

(6) Устройство обработки изображения по любому из (3) - (5), в котором

блок передачи дополнительно выполнен с возможностью передачи заданного значения, установленного блоком установки значения.

(7) Устройство обработки изображения по любому из (1) - (6), в котором

блок установки управляющей информации выполнен с возможностью установки управляющей информации для каждого заранее определенного блока данных, а

блок передачи выполнен с возможностью передачи управляющей информации в информации, соответствующей заранее определенному блоку данных.

(8) Устройство обработки изображения по (7), в котором

блок установки управляющей информации выполнен с возможностью установки управляющей информации для каждой последовательности или каждого среза, а

блок передачи выполнен с возможностью передачи управляющей информации в наборе параметров последовательности или в заголовке среза.

(9) Устройство обработки изображения по любому из (1) - (8), в котором

блок установки управляющей информации выполнен с возможностью установки управляющей информации для каждого из множества уровней иерархически установленных блоков данных, а

блок передачи выполнен с возможностью передачи управляющей информации в информации, соответствующей соответственным иерархическим уровням, для которых установлена управляющая информация.

(10) Устройство обработки изображения по (9), в котором

блок установки управляющей информации выполнен с возможностью установки управляющей информации для каждой последовательности и каждого среза, а

блок передачи выполнен с возможностью передачи управляющей информации в наборе параметров последовательности и в заголовке среза.

(11) Способ обработки изображения в способе обработки информации устройства обработки информации, содержащий этапы, на которых:

устанавливают с помощью устройства обработки информации, управляющую информацию для управления использованием вектора основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса при обработке предсказания движения во время кодирования многоракурсного изображения;

осуществляют с помощью устройства обработки информации, процесса межкадрового предсказания движения (IVMP) для установки вектора основного ракурса в качестве кандидата для вектора предсказания текущего блока зависимого ракурса, когда вектор основного ракурса установлен для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с установленной управляющей информации;

генерируют с помощью устройства обработки информации, список кандидатов для вектора предсказания текущего блока и добавляют кандидата в список, когда есть кандидат, включающий в себя вектор основного ракурса; и

передают с помощью устройства обработки информации, установленную управляющую информацию.

(12) Устройство обработки изображений включающее в себя:

блок получения управляющей информации, выполненный с возможностью получения управляющей информации для управления использованием вектора основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса в предсказании движения во время декодирования многоракурсного изображения;

блок обработки межкадрового предсказания движения (IVMP), выполненный с возможностью осуществления IVMP обработки для установки вектора основного ракурса в качестве кандидата для вектора предсказания текущего блока зависимого ракурса, когда вектор основного ракурса установлен для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с управляющей информацией, полученной блоком получения управляющей информации;

блок генерирования списка, выполненный с возможностью генерирования списка кандидатов для вектора предсказания текущего блока и добавления кандидата в список, когда имеется кандидат, сгенерированный блоком IVMP обработки, включающий в себя вектор основного ракурса.

(13) Устройство обработки изображения по (12) дополнительно включающее в себя:

блок установки режима недоступности, выполненный с возможностью установки вектора основного ракурса в качестве недоступного в качестве вектора предсказания зависимого ракурса, когда вектор основного ракурса установлен в качестве неиспользуемого в качестве кандидата для вектора предсказания зависимого ракурса, согласно управляющей информации, полученной блоком получения управляющей информации.

(14) Устройство обработки изображения по (12) или (13) дополнительно включающее в себя:

блок установки значения, выполненный с возможностью установки заданного значения вместо кандидата, включающего в себя вектор основного ракурса, в список, когда вектор основного ракурса установлен в качестве неиспользуемого в качестве кандидата для вектора предсказания зависимого ракурса, согласно управляющей информации, полученной блоком получения управляющей информации.

(15) Устройство обработки изображения по (14), в котором

когда текущий вектор текущего блока является вектором движения, блок установки значения выполнен с возможностью установки репрезентативного значения вектора движения вместо кандидата, включающего в себя вектор основного ракурса, в список.

(16) Устройство обработки изображения по (14) или (15), в котором

когда текущий вектор текущего блока является вектором параллакса, блок установки значения выполнен с возможностью установки репрезентативного значения вектора параллакса вместо кандидата, включающего в себя вектор основного ракурса, в список.

(17) Устройство обработки изображения по любому из (14) - (16), в котором

блок получения управляющей информации дополнительно выполнен с возможностью получения заданного значения, а

блок установки значения выполнен с возможностью установки заданного значения, полученного блоком получения управляющей информации, в список.

(18) Устройство обработки изображения по любому из (12) - (17), в котором

блок получения управляющей информации выполнен с возможностью получения управляющей информации, установленной для каждого заранее определенного блока данных, и переданной информации, соответствующей блоку данных.

(19) Устройство обработки изображения по любому из (12) - (18), в котором блок получения управляющей информации выполнен с возможностью получения

управляющей информации, установленной для каждого из множества уровней иерархически расположенных блоков данных, и переданных в информации, соответствующей соответственным иерархическим уровням, для которых установлена управляющая информация.

(20) Способ обработки изображения устройства обработки изображения, содержащий этапы, на которых:

получают с помощью устройства обработки изображения управляющую информацию для управления использованием вектора основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса при обработке предсказания движения во время декодирования многоракурсного изображения;

осуществляют с помощью устройства обработки изображения процесс межкадрового предсказания движения (IVMP) для установки вектора основного ракурса в качестве кандидата для вектора предсказания текущего блока зависимого ракурса, когда вектор основного ракурса установлен для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с полученной управляющей информации; и

генерируют с помощью устройства обработки изображения, список кандидатов для вектора предсказания текущего блока и добавляют кандидата в список, когда имеется кандидат, включающий в себя вектор основного ракурса.

Перечень ссылочных позиций

100 устройство кодирования изображения

106 блок обратимого кодирования

115 блок компенсации и предсказания движения

300 устройство декодирования изображения

302 блок обратимого декодирования

312 блок компенсации движения

1. Устройство обработки изображения, содержащее:

блок установки управляющей информации, выполненный с возможностью установки управляющей информации для управления тем, использовать ли вектор основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса при обработке предсказания движения во время кодирования многоракурсного изображения;

блок обработки межкадрового предсказания движения (IVMP), выполненный с возможностью осуществления IVMP обработки для установки вектора основного ракурса в качестве кандидата для вектора предсказания текущего блока зависимого ракурса, когда вектор основного ракурса установлен для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с управляющей информацией, установленной блоком установки управляющей информации;

блок генерирования списка, выполненный с возможностью генерирования списка кандидатов для вектора предсказания текущего блока и добавления кандидата в список, когда имеется кандидат, сгенерированный блоком IVMP обработки, и включающий в себя вектор основного ракурса; и

блок передачи, выполненный с возможностью передачи управляющей информации, установленной блоком установки управляющей информации.

2. Устройство обработки изображения по п. 1, дополнительно содержащее:

блок установки режима недоступности, выполненный с возможностью установки вектора основного ракурса в качестве недоступного в качестве вектора предсказания зависимого ракурса, когда вектор основного ракурса установлен в качестве неиспользуемого в качестве кандидата для вектора предсказания зависимого ракурса, согласно управляющей информации, установленной блоком установки управляющей информации.

3. Устройство обработки изображения по п. 1, дополнительно содержащее:

блок установки значения, выполненный с возможностью установки заданного значения вместо кандидата, включающего в себя вектор основного ракурса, в список, когда вектор основного ракурса установлен в качестве неиспользуемого в качестве кандидата для вектора предсказания зависимого ракурса, согласно управляющей информации, установленной блоком установки управляющей информации.

4. Устройство обработки изображения по п. 3, в котором

когда текущий вектор текущего блока является вектором движения, блок установки значения выполнен с возможностью установки репрезентативного значения вектора движения вместо кандидата, включающего в себя вектор основного ракурса, в список.

5. Устройство обработки изображения по п. 3, в котором

когда текущий вектор текущего блока является вектором параллакса, блок установки значения выполнен с возможностью установки репрезентативного значения вектора параллакса вместо кандидата, включающего в себя вектор основного ракурса, в список.

6. Устройство обработки изображения по п. 3, в котором

блок передачи дополнительно выполнен с возможностью передачи заданного значения, установленного блоком установки значения.

7. Устройство обработки изображения по п. 1, в котором

блок установки управляющей информации выполнен с возможностью установки управляющей информации для каждого заданного блока данных, а

блок передачи выполнен с возможностью передачи управляющей информации в информации, соответствующей заданному блоку данных.

8. Устройство обработки изображения по п. 7, в котором

блок установки управляющей информации выполнен с возможностью установки управляющей информации для каждой последовательности или каждого среза, а

блок передачи выполнен с возможностью передачи управляющей информации в наборе параметров последовательности или в заголовке среза.

9. Устройство обработки изображения по п. 1, в котором

блок установки управляющей информации выполнен с возможностью установки управляющей информации для каждого из множества уровней иерархически установленных блоков данных, а

блок передачи выполнен с возможностью передачи управляющей информации в информации, соответствующей соответственным иерархическим уровням, для которых установлена управляющая информация.

10. Устройство обработки изображения по п. 9, в котором

блок установки управляющей информации выполнен с возможностью установки управляющей информации для каждой последовательности и каждого среза, а

блок передачи выполнен с возможностью передачи управляющей информации в наборе параметров последовательности и в заголовке среза.

11. Способ обработки изображения в способе обработки информации устройства обработки информации, содержащий этапы, на которых:

устанавливают с помощью устройства обработки информации управляющую информацию для управления тем, использовать ли вектор основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса в предсказании движения во время кодирования многоракурсного изображения;

осуществляют с помощью устройства обработки информации процесс межкадрового предсказания движения (IVMP) для установки вектора основного ракурса в качестве кандидата для вектора предсказания текущего блока зависимого ракурса, когда вектор основного ракурса установлен для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с установленной управляющей информацией;

генерируют с помощью устройства обработки информации список кандидатов для вектора предсказания текущего блока и добавляют кандидатов в список, когда имеется кандидат, включающий в себя вектор основного ракурса; и

передают с помощью устройства обработки информации установленную управляющую информацию.

12. Устройство обработки изображения, содержащее:

блок получения управляющей информации, выполненный с возможностью получения управляющей информации для управления тем, использовать ли вектор основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса при обработке предсказания движения во время декодирования многоракурсного изображения;

блок обработки межкадрового предсказания движения (IVMP), выполненный с возможностью осуществления IVMP обработки для установки вектора основного ракурса в качестве кандидата для вектора предсказания текущего блока зависимого ракурса, когда вектор основного ракурса установлен для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с управляющей информацией, полученной блоком получения управляющей информации; и

блок генерирования списка, выполненный с возможностью генерирования списка кандидатов для вектора предсказания текущего блока и добавления кандидата в список, когда имеется кандидат, сгенерированный блоком IVMP обработки, включающий в себя вектор основного ракурса.

13. Устройство обработки изображения по п. 12, дополнительно содержащее:

блок установки режима недоступности, выполненный с возможностью установки вектора основного ракурса в качестве недоступного в качестве вектора предсказания зависимого ракурса, когда вектор основного ракурса установлен в качестве неиспользуемого в качестве кандидата для вектора предсказания зависимого ракурса, согласно управляющей информации, полученной блоком получения управляющей информации.

14. Устройство обработки изображения по п. 12, дополнительно содержащее:

блок установки значения, выполненный с возможностью установки заданного значения вместо кандидата, включающего в себя вектор основного ракурса, в список, когда вектор основного ракурса установлен в качестве неиспользуемого в качестве кандидата для вектора предсказания зависимого ракурса, согласно управляющей информации, полученной блоком получения управляющей информации.

15. Устройство обработки изображения по п. 14, в котором

когда текущий вектор текущего блока является вектором движения, блок установки значения выполнен с возможностью установки репрезентативного значения вектора движения вместо кандидата, включающего в себя вектор основного ракурса, в список.

16. Устройство обработки изображения по п. 14, в котором

когда текущий вектор текущего блока является вектором параллакса, блок установки значения выполнен с возможностью установки репрезентативного значения вектора параллакса вместо кандидата, включающего в себя вектор основного ракурса, в список.

17. Устройство обработки изображения по п. 14, в котором

блок получения управляющей информации дополнительно выполнен с возможностью получения заданного значения, а

блок установки значения выполнен с возможностью установки заданного значения, полученного блоком получения управляющей информации, в список.

18. Устройство обработки изображения по п. 12, в котором

блок получения управляющей информации выполнен с возможностью получения управляющей информации, установленной для каждого заранее определенного блока данных, и переданной в информации, соответствующей блоку данных.

19. Устройство обработки изображения по п. 12, в котором

блок получения управляющей информации выполнен с возможностью получения управляющей информации, установленной для каждого из множества уровней иерархически расположенных блоков данных, и переданной в информации, соответствующей соответственным иерархическим уровням, для которых установлена управляющая информация.

20. Способ обработки изображения устройства обработки изображения, содержащий этапы, на которых:

получают с помощью устройства обработки изображения управляющую информацию для управления тем, использовать ли вектор основного ракурса в качестве кандидата для вектора предсказания зависимого ракурса при обработке предсказания движения во время декодирования многоракурсного изображения;

осуществляют с помощью устройства обработки изображения процесс межкадрового предсказания движения (IVMP) для установки вектора основного ракурса в качестве кандидата для вектора предсказания текущего блока зависимого ракурса, когда вектор основного ракурса установлен для использования в качестве кандидата для вектора предсказания зависимого ракурса в соответствии с полученной управляющей информацией; и

генерируют с помощью устройства обработки изображения список кандидатов для вектора предсказания текущего блока и добавляют кандидата в список, когда имеется кандидат, включающий в себя вектор основного ракурса.



 

Похожие патенты:

Изобретение относится к области вещания программ телевидения в соответствии с версией стандарта наземного телевизионного вещания DVB-T2. Техническим результатом является компактное представление данных вещания программ цифрового телевидения при их передаче через сети, возможность непосредственной передачи данных через сети IP без дополнительных преобразований и упрощение инфраструктуры передачи контента.

Изобретение относится к вычислительной технике. Технический результат заключается в сокращении информации о режиме предсказания для формирования сигнала внутрикадрового предсказания в пиксельном представлении.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности сжатия изображения за счет выполнения внутрикадрового предсказания в различных направлениях.

Изобретение относится к области видеокодирования. Техническим результатом является эффективное интер-предсказание при видеокодировании.

Изобретение относится к технологиям кодирования/декодирования видеоданных. Техническим результатом является повышение эффективности обработки изображения, посредством оптимизации корреляции вектора движения между уровнями изображения.

Изобретение относится к области декодирования видео. Технический результат – обеспечение регулировки битовой глубины и предотвращение переполнения выходных данных.

Группа изобретений относится к средствам синхронизации хода воспроизведения мультимедиа. Технический результат – обеспечение возможности синхронизации воспроизведения мультимедийного контента.

Изобретение относится к области поиска и распределения видеоконтента, а именно к поиску и совместному использованию видеоконтента, относящегося к автодорожным ситуациям.

Изобретение относится к видеодекодированию и, в частности, к устройству для отделения номера кадра и/или счетчика очередности изображения (POC) для мультивидового видеокодирования и видеодекодирования (MVC).

Изобретение относится к кодированию цифровых мультимедийных данных с преобразованием. Техническим результатом является обеспечение гибкого квантования по различным измерениям кодированных цифровых мультимедийных данных.

Изобретение относится к области компьютерной техники, в частности к системам автономной навигации транспортных средств и робототехники, системам структурирования и индексирования изображений и видеоданных. Технический результат заключается в расширении арсенала технических средств предварительной обработки потоковых видеоданных. Технический результат достигается за счет определения меры регулярности каждой полученной области изображения, где мера регулярности находит отношение числа пикселей, у которых есть только 2 перехода между «0» и «1» (первая группа) к числу остальных пикселей этой группы (2 группа) на основе анализа окрестности каждого пикселя путем оценки интегрального характера, где под анализом окрестности каждого пикселя подразумевается анализ 8 соседних значений пикселей путем сравнения их со значением центрального пикселя, которое взято в качестве порога, при этом пиксели, которые имеют значения больше, чем центральный пиксель, принимают значения «1», те которые имеют значения меньше, чем центральный пиксель, принимают значение «0», а под оценкой интегрального характера подразумевается использование интегральных картинок от бинарных масок принадлежности пикселей к одной из двух групп. 3 н. и 5 з.п. ф-лы, 6 ил., 1 табл.

Изобретение относится к устройству прогнозирующего кодирования/декодирования изображений. Техническим результатом является подавление шума прогнозированных сигналов. Предложенные при прогнозирующем кодировании изображений один или более наборов информации движения извлекаются из нескольких фрагментов информации движения, сохраненной в средстве записи информации движения. Каждый из одного или более наборов информации включает в себя два фрагмента информации движения, в которых любые из составляющих элементов отличаются по значению. Прогнозированный сигнал целевой области в изображении формируется посредством компенсации движения с использованием двух фрагментов информации движения в наборе информации движения, выбранном из одного или более наборов информации движения. Два фрагмента информации движения в выбранном наборе информации движения сохраняются в средстве записи информации движения и используются для формирования прогнозированного сигнала другой области. 2 н. и 2 з.п. ф-лы, 17 ил.

Изобретение относится к электронному путеводителю по медиаконтенту. Техническим результатом является расширение арсенала средств. Предложен к электронному путеводителю по медиаконтенту, содержащему интерфейс данных, выполненный с возможностью приема данных информации о контенте из множества источников медиаконтента, генератор графического интерфейса, выполненный с возможностью генерации графического пользовательского интерфейса для отображения информации об источниках медиаконтента и элементах медиаконтента, интерфейс пользовательского ввода, выполненный с возможностью приема пользовательских вводов, и контроллер хранения и воспроизведения медийных материалов. Генератор графического интерфейса выполнен с возможностью генерации представления источников медиаконтента, содержащих по меньшей мере один реальный источник медиаконтента и по меньшей мере один виртуальный источник медиаконтента. Генератор графического интерфейса дополнительно выполнен с возможностью генерации представления множества элементов медиаконтента по меньшей мере одного реального источника медиаконтента и представления множества элементов медиаконтента по меньшей мере одного виртуального источника медиаконтента. Генератор графического интерфейса дополнительно выполнен с возможностью реагировать на отдельный пользовательский ввод, который определяет по меньшей мере одну тему, и генерировать тематически ориентированное представление информации об элементе медиаконтента и соответствующий тематически ориентированный виртуальный медиаисточник согласно отдельному пользовательскому вводу. 14 з.п. ф-лы, 48 ил.

Изобретение относится к способу предоставления пользователю информации широковещательных программ и, по меньшей мере, одной из информаци предыстории просмотра и информации записи и к устройству отображения, например "интеллектуальному" телевизору (смарт-ТВ). Техническим результатом является возможность пользователю легко находить и воспроизводить контент через интеллектуальный телевизор. Предложен способ предоставления информации, выполняемый посредством устройства отображения, включающий: прием, по меньшей мере, одного фрагмента информации широковещательных программ; получение, по меньшей мере, одной из информации предыстории просмотра, которая связана, по меньшей мере, с одним фрагментом контента, который просмотрен до предварительно определенного момента времени, и информации записи, которая связана, по меньшей мере, с одним фрагментом контента, который записан до предварительно определенного момента времени; и отображение, по меньшей мере, одного фрагмента информации широковещательных программ из, по меньшей мере, одного фрагмента информации широковещательных программ, который соответствует предварительно определенному моменту времени, в первой области устройства отображения на основе предварительно определенного момента времени, и отображение, по меньшей мере, одной из информации предыстории просмотра и информации записи во второй области устройства отображения на основе предварительно определенного момента времени. 2 н. и 13 з.п. ф-лы, 24 ил.

Изобретение относится к средствам для соединения первой сети связи, содержащей по меньшей мере один терминал, со второй сетью связи. Технический результат заключается в снижении потребления ресурсов сети. Обнаруживают использование одноадресного соединения, предназначенного для передачи мультимедийного контента из исходного сервера в указанный терминал по указанному одноадресному соединению через данный шлюз. Осуществляют поиск правила переадресации соединения в соответствии с информацией, передаваемой между исходным сервером и указанным терминалом в процессе использования одноадресного соединения. Устанавливают многоадресное соединение, предназначенное для получения шлюзом мультимедийного контента и используемого, если найдено правило переадресации. Принимают мультимедийный контент в форме потока в соответствии с многоадресным соединением. Передают в указанный терминал мультимедийный контент в форме потока в соответствии с одноадресным соединением. 4 н. и 7 з.п. ф-лы, 6 ил.

Изобретение относится к области декодирования видеоданных. Технический результат – повышение эффективности декодирования видеоданных посредством выбора различных фильтров согласно положению пикселей предсказания. Способ декодирования видеоданных содержит этапы, на которых: получают индекс опорного изображения и вектор движения текущего элемента предсказания; генерируют блок предсказания текущего элемента предсказания с использованием индекса опорного изображения и вектора движения; генерируют квантованный блок посредством обратного сканирования составляющих квантованных коэффициентов; генерируют преобразованный блок посредством обратного квантования квантованного блока с использованием параметра квантования; генерируют остаточный блок посредством обратного преобразования преобразованного блока; и генерируют восстановленные пиксели с использованием блока предсказания и остаточного блока, при этом пиксели предсказания блока предсказания генерируют с использованием интерполирующего фильтра, выбираемого на основе вектора движения, при этом параметр квантования получают с использованием разностного параметра квантования и предиктора параметра квантования. 6 з.п. ф-лы, 15 ил., 1 табл.

Изобретение относится к области декодирования видеоданных. Технический результат – повышение эффективности декодирования видеоданных посредством выбора различных фильтров согласно положению пикселей предсказания. Способ декодирования видеоданных содержит этапы, на которых: получают индекс опорного изображения и вектор движения текущего элемента предсказания; генерируют блок предсказания текущего элемента предсказания с использованием индекса опорного изображения и вектора движения; генерируют квантованный блок посредством обратного сканирования составляющих квантованных коэффициентов; генерируют преобразованный блок посредством обратного квантования квантованного блока с использованием параметра квантования; генерируют остаточный блок посредством обратного преобразования преобразованного блока; и генерируют восстановленные пиксели с использованием блока предсказания и остаточного блока, при этом пиксели предсказания блока предсказания генерируют с использованием интерполирующего фильтра, выбираемого на основе вектора движения, при этом параметр квантования получают с использованием разностного параметра квантования и предиктора параметра квантования. 7 з.п. ф-лы, 15 ил., 1 табл.

Изобретение относится к области декодирования видеоданных. Технический результат – повышение эффективности декодирования видеоданных посредством выбора различных фильтров согласно положению пикселей предсказания. Способ декодирования видеоданных содержит этапы, на которых: получают индекс опорного изображения и вектор движения текущего элемента предсказания; генерируют блок предсказания текущего элемента предсказания с использованием индекса опорного изображения и вектора движения; генерируют квантованный блок посредством обратного сканирования составляющих квантованных коэффициентов; генерируют преобразованный блок посредством обратного квантования квантованного блока с использованием параметра квантования; генерируют остаточный блок посредством обратного преобразования преобразованного блока и генерируют восстановленные пиксели с использованием блока предсказания и остаточного блока, при этом пиксели предсказания блока предсказания генерируют с использованием интерполирующего фильтра, выбираемого на основе вектора движения, при этом параметр квантования получают с использованием разностного параметра квантования и предиктора параметра квантования. 6 з.п. ф-лы, 15 ил., 1 табл.

Изобретение относится к области декодирования видеоданных. Технический результат – повышение эффективности декодирования видеоданных посредством выбора различных фильтров согласно положению пикселей предсказания. Способ декодирования видеоданных содержит этапы, на которых: получают индекс опорного изображения и вектор движения текущего элемента предсказания; генерируют блок предсказания текущего элемента предсказания с использованием индекса опорного изображения и вектора движения; генерируют квантованный блок посредством обратного сканирования составляющих квантованных коэффициентов; генерируют преобразованный блок посредством обратного квантования квантованного блока с использованием параметра квантования; генерируют остаточный блок посредством обратного преобразования преобразованного блока; и генерируют восстановленные пиксели с использованием блока предсказания и остаточного блока, при этом пиксели предсказания блока предсказания генерируют с использованием интерполирующего фильтра, выбираемого на основе вектора движения, при этом параметр квантования получают с использованием разностного параметра квантования и предиктора параметра квантования. 7 з.п. ф-лы, 15 ил., 1 табл.

В соответствии с вариантом осуществления, способ включает в себя прием электронными средствами описания представления воспроизводимого материала (MPD) из сети. MPD описывает мультимедийный контент, который включает в себя альтернативные представления множества типов воспроизводимого материала, и MPD включает в себя информацию, указывающую, как кодируются альтернативные представления. Способ также включает в себя выбор одного из множества альтернативных представлений для, по меньшей мере, одного из множества типов воспроизводимого материала на основании информации, включенной в MPD, запрашивание выбранного одного из множества альтернативных представлений пофрагментно, и прием электронными средствами фрагмента воспроизводимых данных. 4 н. и 31 з.п. ф-лы, 4 ил.
Наверх