Способ масштабируемого кодирования видео, устройство масштабируемого кодирования видео, программа масштабируемого кодирования видео и машиночитаемый носитель записи, сохраняющий программу

Изобретение относится к способу и устройству масштабируемого видеокодирования. Техническим результатом является уменьшение вариантов поиска режима прогнозирования верхнего слоя с использованием корреляций оптимальных режимов прогнозирования между слоями. Указанный технический результат достигается тем, что доля выпадений комбинаций оптимальных режимов прогнозирования, которые должны выбираться для пространственно соответствующих блоков верхнего слоя и нижнего слоя, определяют на основе оптимального режима прогнозирования, который был выбран при традиционном кодировании, и создают таблицу соответствия, которая описывает взаимосвязи между ними. Комбинации выбранных оптимальных режимов прогнозирования в таблице соответствия сужаются на основе значения доли выпадений, чтобы создавать информацию соответствия для режимов прогнозирования, которая описывает комбинации суженных оптимальных режимов прогнозирования. При кодировании блока верхнего слоя вариант поиска режима прогнозирования, поиск которого должен выполняться при кодировании, определяется посредством обращения к информации соответствия для режимов прогнозирования с использованием в качестве ключа оптимального режима прогнозирования, выбранного при кодировании пространственно соответствующего блока нижнего слоя. 5 н. и 2 з.п. ф-лы, 14 ил., 1 табл.

 

Область техники

Настоящее изобретение относится к способу и устройству масштабируемого кодирования видео, которые масштабируемым образом кодируют видео, а также к программе масштабируемого кодирования видео, которая используется для того, чтобы реализовывать этот способ масштабируемого кодирования видео, и к машиночитаемому носителю записи, сохраняющему программу. В частности, настоящее изобретение относится к способу и устройству масштабируемого кодирования видео, которые достигают сокращения времени кодирования, а также к программе масштабируемого кодирования видео, которая используется для того, чтобы реализовывать этот способ масштабируемого кодирования видео, и к машиночитаемому носителю записи, в котором эта программа сохраняется.

Данная заявка притязает на приоритет патентной заявки (Япония) номер 2008-271513, зарегистрированной 22 октября 2008 года, содержимое которой содержится в данном документе по ссылке.

Уровень техники

В последние годы разработаны различные дисплейные терминалы и сетевые окружения. Вследствие этого JVT (Объединенная группа по видеостандартам) выполняет исследование системы кодирования на основе SVC (масштабируемого кодирования видео), которая предоставляет масштабируемость пространства/времени/SNR (отношения "сигнал-шум") для AVC (усовершенствованного кодирования видео) (см., например, непатентный документ 1).

В SVC используются три способа прогнозирования, а именно, взаимное прогнозирование, внутреннее прогнозирование и межслойное прогнозирование, и выполняется устранение избыточности, вставляемой между временем, пространством и слоями. Примеры режимов прогнозирования, достижимых через SVC, приведены ниже.

Взаимное прогнозирование

- режим пропуска (Skip)

- прямой режим (Direct)

- режим прогнозирования движения с размером блока 16×16 (P16×16)

- режим прогнозирования движения с размером блока 16×8 (P16×8)

- режим прогнозирования движения с размером блока 8×16 (P8×16)

- режим прогнозирования движения с размером блока 8×8 (P8×8)

Внутреннее прогнозирование

- режим внутреннего прогнозирования с размером блока 16×16 (I16×16)

- режим внутреннего прогнозирования с размером блока 8×8 (I8×8)

- режим внутреннего прогнозирования с размером блока 4×4 (I4×4)

Межслойное прогнозирование

- режим BLSkip (BLSkip)

- режим IntraBL (IntraBL)

Когда выполняется P8×8, каждый блок 8×8 может быть дополнительно разделен на размеры блоков 8×4, 4×4 и 4×4. В SVC один из этих вариантов для поиска режима прогнозирования (вариантов поиска режима прогнозирования) выбирается в качестве оптимального режима прогнозирования в каждом макроблоке.

Пример способа, используемого для того, чтобы определять оптимальный режим прогнозирования, приведен ниже.

В JSVM (объединенная модель масштабируемого видео: см., например, непатентный документ 2), которая продвигается JVT как опорный SVC-кодер, затраты на кодирование, которые формируются из бита кодирования и искажения при кодировании, вычисляются в каждом режиме прогнозирования, и режим прогнозирования, имеющий наименьшие затраты на кодирование из всех вышеуказанных режимов прогнозирования, определяется как оптимальный режим прогнозирования.

Кроме того, в патентном документе 1, приведенном ниже, векторы создаются посредством экстраполяции или интерполяции векторов движения на основе опорных кадров при кодировании настоящих кадров, и координаты каждого пиксела в макроблоках, которые перемещены в результате этого, затем определяются, и число раз, когда пикселы совпадают, подсчитывается для каждого пиксела. Затем, варианты поиска режима прогнозирования сужаются в соответствии с размером значения количественного показателя, который вычисляется из подсчитанного числа для каждого пиксела в рамках целевых макроблоков кодирования. Способом, используемым для этого сужения, является способ, который предложен для того, чтобы повышать скорость поиска режима прогнозирования H.264/AVC, тем не менее, он также может применяться в SVC, которое является механизмом для поиска режима прогнозирования, идентичного поиску режима прогнозирования в H.264/AVC.

Кроме того, в патентном документе 2, приведенном ниже, чтобы позволять выполнять внутрикадровое кодирование на высокой скорости, например, девять экранных ошибок прогнозирования определяются в блоке, в котором внутрикадровое кодирование должно выполняться с использованием пикселных значений смежных блоков кодирования, и, на основе этих ошибок прогнозирования, режим прогнозирования определяется для этого блока. Затем, режим прогнозирования для этого блока определяется с использованием экранного режима прогнозирования смежного блока, который уже кодирован, и когда эти два режима прогнозирования совпадают, режим прогнозирования выбирается при таких условиях. Если, тем не менее, эти два режима прогнозирования не совпадают, выбирается режим прогнозирования, имеющий более низкие затраты на кодирование.

Документы предшествующего уровня техники

Непатентный документ 1. T. Wiegand, G. Sullivan, J. Reichel, H. Schwarz и M. Wien: "Joint Draft ITU-T Rec. H.264-ISO/IEC 14496-10/ Amd.3 Scalable video coding, "ISO/IEC JTC1/SC29/WG11 и ITU-T SG16 Q.6, JVT-X201, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX201.zip

Непатентный документ 2. J. Reichel, H. Schwarz и M. Wien: "Joint Scalable Video Model JSVM-11", ISO/IEC JTC1/SC29/WG11 и ITU-T SG16 Q.6, JVT-X202, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX202.zip

Патентный документ 1. Не прошедшая экспертизу заявка на патент (Япония), первая публикация (JP-A) № 2006-033451

Патентный документ 2. Не прошедшая экспертизу заявка на патент (Япония), первая публикация (JP-A) № 2005-184241

Сущность изобретения

Проблемы, разрешаемые изобретением

В JSVM-способе определения оптимального режима прогнозирования, описанном в непатентном документе 2, поскольку отсутствует сужение вариантов поиска режима прогнозирования, может достигаться превосходная производительность кодирования. С другой стороны, в этом способе определения, огромное количество времени требуется для того, чтобы выполнять поиск режима прогнозирования. А именно, в этом способе определения, продолжительное время тратится впустую, поскольку выполняется поиск всех режимов прогнозирования даже для режимов прогнозирования, которые, очевидно, имеют низкую вероятность выбора, если рассматриваются характеристики изображений в рамках макроблоков (например, режимов прогнозирования во внутреннем режиме в статических областях).

Кроме того, поскольку сужение вариантов поиска режима прогнозирования в патентном документе 1 является способом определения того, выполнять или нет прогнозирование во внутреннем режиме, оно не оказывает влияние на сокращение поисков режима взаимного прогнозирования, которые требуют более длительного времени вычисления по сравнению с поисками режима внутреннего прогнозирования. А именно, существенный простор для улучшения остается в отношении поисков режима взаимного прогнозирования.

Кроме того, поскольку сужение вариантов поиска режима прогнозирования согласно патентному документу 2 является только сужением для внутреннего прогнозирования, аналогично сужению вариантов поиска режима прогнозирования согласно патентному документу 2, отсутствует влияние на сокращение поисков режима взаимного прогнозирования. А именно, существенный простор для улучшения остается в отношении поисков режима взаимного прогнозирования.

Настоящее изобретение создано с учетом вышеописанных обстоятельств, и его цель заключается в том, чтобы предоставлять новую технологию масштабируемого кодирования видео, которая, при масштабируемом кодировании видео, которое достигает масштабируемости посредством многослойной структуры, сужает варианты поиска режима прогнозирования верхнего слоя с использованием корреляций оптимальных режимов прогнозирования между слоями, чтобы достигать повышения скорости.

Средство решения проблемы

При масштабируемом кодировании видео, в котором масштабируемость достигается посредством многослойной структуры, чтобы достигать повышения скорости поиска режима прогнозирования, устройство масштабируемого кодирования видео настоящего изобретения включает в себя: (1) модуль создания, который, на основе информации об оптимальном режиме прогнозирования, который выбран при масштабируемом кодировании, выполняемом без наложения ограничений на использование режимов прогнозирования, заданных как возможные для использования, определяет доли выпадений комбинаций оптимальных режимов прогнозирования, которые должны выбираться для пространственно соответствующих блоков верхнего слоя и нижнего слоя, и создает таблицу соответствия, которая описывает взаимосвязи между комбинациями выбранного оптимального режима прогнозирования и оптимального режима прогнозирования, который должен выбираться, и долями выпадений; (2) модуль обнаружения, который, при кодировании блока верхнего слоя, обнаруживает информацию об оптимальном режиме прогнозирования, выбранном при кодировании пространственно соответствующего блока нижнего слоя; (3) модуль определения, который, на основе информации о выбранном оптимальном режиме прогнозирования, обнаруженной посредством модуля обнаружения, и на основе информации о долях выпадений, описанной в таблице соответствия, извлекает эффективную комбинацию из числа комбинаций, описанных в таблице соответствия, и определяет оптимальный режим прогнозирования верхнего слоя, содержащийся в извлеченной эффективной комбинации, в качестве варианта поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя; и (4) модуль управления, который осуществляет управление так, что масштабируемое кодирование, в котором ограничения налагаются на использование режимов прогнозирования, выполняемых с использованием таблицы соответствия, и масштабируемое кодирование, в котором ограничения не налагаются на использование режимов прогнозирования, выполняемых без использования таблицы соответствия, повторяются попеременно.

В такой структуре, как описано выше, посредством обращения к таблице соответствия с использованием в качестве ключа информации об оптимальных режимах прогнозирования, которые обнаружены посредством модуля обнаружения, модуль определения указывает доли выпадений, ассоциированные с этими оптимальными режимами прогнозирования. Затем, предпочтительно для модуля определения либо извлекать комбинацию оптимальных режимов прогнозирования, имеющих доли выпадений, показывающие значение, превышающее предварительно определенное пороговое значение из числа этих указанных долей выпадений, либо извлекать комбинацию оптимальных режимов прогнозирования, имеющих доли выпадений, показывающие наибольшее значение из числа этих указанных долей выпадений, либо извлекать комбинацию оптимальных режимов прогнозирования, имеющих предварительно определенное число долей выпадений, которые выбираются последовательно из доли выпадений, имеющей наибольшее значение из числа этих указанных долей выпадений. Модуль определения затем определяет оптимальный режим прогнозирования верхнего слоя, содержащийся в извлеченной комбинации оптимальных режимов прогнозирования, в качестве варианта поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя.

Кроме того, чтобы осуществлять обработку эффективного определения посредством модуля определения, предпочтительно для устройства масштабируемого кодирования видео настоящего изобретения извлекать заранее комбинацию эффективных оптимальных режимов прогнозирования посредством сужения комбинаций оптимальных режимов прогнозирования, описанных в таблице соответствия, на основе значений долей выпадений, описанных в таблице соответствия, и создавать информацию соответствия для режимов прогнозирования, которая описывает комбинации извлеченных эффективных оптимальных режимов прогнозирования.

В этом случае, при масштабируемом кодировании видео, в котором масштабируемость достигается посредством многослойной структуры, чтобы достигать повышения скорости поиска режима прогнозирования, устройство масштабируемого кодирования видео настоящего изобретения включает в себя: (1) модуль создания таблиц соответствия, который, на основе информации об оптимальном режиме прогнозирования, который выбран при масштабируемом кодировании, выполняемом без наложения ограничений на использование режимов прогнозирования, заданных как возможные для использования, определяет доли выпадений комбинаций оптимальных режимов прогнозирования, которые должны выбираться для пространственно соответствующих блоков верхнего слоя и нижнего слоя, и создает таблицу соответствия, которая описывает взаимосвязи между комбинациями выбранного оптимального режима прогнозирования и оптимального режима прогнозирования, который должен выбираться, и долями выпадений; (2) модуль создания информации соответствия для режимов прогнозирования, который, на основе значений долей выпадений, извлекает комбинацию эффективных оптимальных режимов прогнозирования посредством сужения комбинаций выбранных оптимальных режимов прогнозирования, описанных в таблице соответствия, и оптимального режима прогнозирования, который должен выбираться, и создает информацию соответствия для режимов прогнозирования, которая описывает комбинации извлеченных эффективных оптимальных режимов прогнозирования; (3) модуль обнаружения, который, при кодировании блока верхнего слоя, обнаруживает информацию об оптимальном режиме прогнозирования, выбранном при кодировании пространственно соответствующего блока нижнего слоя; (4) модуль определения, который, посредством обращения к информации соответствия для режимов прогнозирования с использованием в качестве ключа информации о выбранном оптимальном режиме прогнозирования, обнаруженной посредством модуля обнаружения, определяется вариант поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя; и (5) модуль управления, который осуществляет управление так, что масштабируемое кодирование, в котором ограничения налагаются на использование режимов прогнозирования, выполняемых с использованием таблицы соответствия, и масштабируемое кодирование, в котором ограничения не налагаются на использование режимов прогнозирования, выполняемых без использования таблицы соответствия, повторяются попеременно.

Когда эта структура используется, модуль создания информации соответствия для режимов прогнозирования может либо: создавать информацию соответствия для режимов прогнозирования посредством извлечения, в качестве эффективной комбинации, комбинации оптимальных режимов прогнозирования, имеющей долю выпадений, показывающую значение, которое превышает предварительно определенное пороговое значение; или, альтернативно, создавать информацию соответствия для режимов прогнозирования посредством извлечения, в качестве эффективной комбинации, комбинации оптимальных режимов прогнозирования, имеющей долю выпадений, показывающую наибольшее значение, из числа комбинаций оптимальных режимов прогнозирования, имеющих идентичный оптимальный режим прогнозирования на нижнем слое; или создавать информацию соответствия для режимов прогнозирования посредством извлечения, в качестве эффективной комбинации, комбинации предварительно определенного числа оптимальных режимов прогнозирования, выбранных последовательно из доли выпадений, показывающей наибольшее значение.

Способ масштабируемого кодирования видео настоящего изобретения, который реализуется как результат работы каждого из вышеуказанных модулей обработки, также может быть реализован посредством компьютерной программы. Эта компьютерная программа предоставляет возможность реализации настоящего изобретения посредством записи на подходящий машиночитаемый носитель записи или посредством предоставлении через сеть, или посредством установки на компьютер и управления посредством модуля управления, такого как CPU, когда настоящее изобретение должно быть реализовано.

Преимущества изобретения

В настоящем изобретении, при масштабируемом кодировании видео, которое достигает масштабируемости посредством многослойной структуры, поскольку можно сужать варианты поиска режима прогнозирования верхнего слоя с использованием корреляций оптимальных режимов прогнозирования между слоями, уменьшение времени кодирования может достигаться.

Кроме того, в настоящем изобретении, когда уменьшение времени кодирования достигается посредством сужения вариантов поиска режима прогнозирования, поскольку это сужение выполняется на основе соответствующих взаимосвязей оптимальных режимов прогнозирования между слоями в уже кодированных кадрах, можно исключать риск пропуска вариантов поиска оптимального режима прогнозирования вследствие этого сужения. Соответственно, можно подавлять снижение производительности кодирования, которое может, возможно, возникать в результате сужения вариантов поиска режима прогнозирования.

Краткое описание чертежей

Фиг.1 является пояснительным видом, показывающим примеры кадров, предназначенных для кодирования, и кадров, предназначенных для создания таблицы степеней соответствий режимов прогнозирования.

Фиг.2 является блок-схемой последовательности операций способа, показывающей обобщенную последовательность операций обработки кодирования видео согласно варианту осуществления настоящего изобретения.

Фиг.3 является таблицей степеней соответствий режимов прогнозирования согласно варианту осуществления настоящего изобретения.

Фиг.4 является таблицей, показывающей результаты, когда варианты поиска режима прогнозирования сужаются в варианте осуществления настоящего изобретения.

Фиг.5 является таблицей, показывающей результаты, когда варианты поиска режима прогнозирования сужаются в варианте осуществления настоящего изобретения.

Фиг.6 является блок-схемой последовательности операций способа, показывающей обработку масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

Фиг.7 является блок-схемой последовательности операций способа, показывающей пример обработки для того, чтобы определять варианты поиска режима прогнозирования, которая выполняется в обработке масштабируемого кодирования видео, показанной на Фиг.6.

Фиг.8 является блок-схемой последовательности операций способа, показывающей другой пример обработки, чтобы определять варианты поиска режима прогнозирования, которая выполняется в обработке масштабируемого кодирования видео, показанной на Фиг.6.

Фиг.9 является блок-схемой, показывающей устройство масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

Фиг.10 является блок-схемой, показывающей пример модуля определения вариантов поиска режима прогнозирования в устройстве масштабируемого кодирования видео, показанном на Фиг.9.

Фиг.11 является блок-схемой, показывающей другой пример модуля определения вариантов поиска режима прогнозирования в устройстве масштабируемого кодирования видео, показанном на Фиг.9.

Фиг.12 является пояснительным видом, показывающим кадр вычисления соответствия и кадр высокоскоростного выбора режима в эксперименте, который выполнен, чтобы проверять эффективность варианта осуществления настоящего изобретения.

Фиг.13 является графиком, показывающим экспериментальные результаты эксперимента, который выполнен, чтобы проверять эффективность варианта осуществления настоящего изобретения.

Фиг.14 является графиком, показывающим экспериментальные результаты эксперимента, который выполнен, чтобы проверять эффективность варианта осуществления настоящего изобретения.

Осуществление изобретения

[1] Основная идея вариантов осуществления настоящего изобретения

В варианте осуществления настоящего изобретения, при масштабируемом кодировании видео, которое достигает масштабируемости посредством многослойной структуры, повышение скорости, на которой выполняется поиск режима прогнозирования, достигается посредством двух процессов, а именно:

(i) посредством создания таблицы степеней соответствий режимов прогнозирования (т.е. таблицы, описывающей корреляции оптимальных режимов прогнозирования между слоями); и

(ii) посредством сужения вариантов поиска режима прогнозирования с использованием этой таблицы степеней соответствий режимов прогнозирования.

В дальнейшем в этом документе, описание продолжается в соответствии с примером, показанным на Фиг.1. А именно, предполагается, что как слой L, так и слой L-1 кодируются с использованием IBBBP-упорядоченной B-структуры. Стрелки на схеме показывают опорное назначение прогнозирования. Целевой слой кодирования рассматривается как L, целевой кадр кодирования рассматривается как B2b, и кадр, предназначенный для создания таблицы степеней соответствий режимов прогнозирования, рассматривается как B2a. Кроме того, кадр слоя L-1 в идентичной синхронизации с B2b рассматривается как B'2b, и кадр слоя L-1 в идентичной синхронизации B2a рассматривается как B'2a. Кодирование выполняется последовательно от наименьшего временного уровня, и, в рамках одного временного уровня, кодирование выполняется последовательно от кадра, имеющего самое раннее время. Слои кодируются в этой последовательности от наименьшего уровня.

Далее, относительно блок-схемы последовательности операций способа, показанной на Фиг.2, описывается обобщенная последовательность операций обработки настоящего варианта осуществления.

В настоящем варианте осуществления, когда масштабируемое кодирование выполняется для видео, как показано в блок-схеме последовательности операций способа на Фиг.2, переменная n задается равной 1 на этапе S101, и выполняется определение в отношении того, все или нет кадры кодированы, на следующем этапе S102. Если определено, что все кадры кодированы, процедура завершается.

Если, тем не менее, в соответствии с обработкой определения этапа S102, определяется то, что не все кадры кодированы, процедура переходит к этапу S103, на котором один необработанный кадр выбирается в соответствии с последовательностью от начального кадра. На следующем этапе S104, выбранный кадр кодируется посредством осуществления прогноза без наложения ограничений на использование режимов прогнозирования, которые заданы как возможные для использования, а именно, посредством осуществления прогноза с использованием всех применимых режимов прогнозирования.

Затем, на этапе S105, значение переменной n увеличивается на единицу. На следующем этапе S106, выполняется определение в отношении того, превышает или нет значение переменной n предварительно определенное пороговое значение N1 (при этом N1 является целым числом, равным 1 или больше). Если определено, что значение переменной n не превышает пороговое значение N1, процедура возвращается к обработке этапа S102, и кодирование кадров продолжается без наложения ограничений на использование режимов прогнозирования, которые заданы как допущенные к использованию.

Если, тем не менее, в обработке определения этапа S106, определяется то, что значение переменной n превышает пороговое значение N1, процедура переходит к этапу S107, и создается таблица степеней соответствий режимов прогнозирования. Таблица степеней соответствий режимов прогнозирования имеет такую структуру данных, как описано ниже, и является таблицей, которая описывает корреляции (т.е. доли выпадений) оптимальных режимов прогнозирования между слоями.

Затем, на этапе S108, переменная n задается равной 1, и, на следующем этапе S109, выполняется определение в отношении того, все или нет кадры кодированы. Если определено, что все кадры кодированы, процедура завершается.

Если, тем не менее, на этапе S109 определяется то, что не все кадры кодированы, процедура переходит к этапу S110. На этапе S110, один необработанный кадр выбирается в соответствии с последовательностью от начального кадра. На следующем этапе S111, выбранный кадр кодируется посредством осуществления прогноза при одновременном сужении вариантов поиска режима прогнозирования с использованием таблицы степеней соответствий режимов прогнозирования.

Затем, на этапе S112, значение переменной n увеличивается на единицу. На следующем этапе S113, выполняется определение в отношении того, превышает или нет значение переменной n предварительно определенное пороговое значение N2 (при этом N1 является целым числом, равным 1 или больше). Если определено, что значение переменной n не превышает пороговое значение N2, процедура возвращается к обработке этапа S109, и кодирование кадров продолжается при одновременном сужении вариантов поиска режима прогнозирования с использованием таблицы степеней соответствий режимов прогнозирования.

Если, тем не менее, на этапе S113, определяется то, что значение переменной n превышает пороговое значение N2, то определяется необходимость обновлять таблицу степеней соответствий режимов прогнозирования, и процедура возвращается к этапу S101. Соответственно, обработка этапов S101-S113 продолжается в то время, когда таблица степеней соответствий режимов прогнозирования обновляется.

Таким образом, в настоящем варианте осуществления, когда масштабируемое кодирование выполняется для видео, после того как N1-тый кадр кодирован, на основе результатов этого кодирования создается таблица степеней соответствий режимов прогнозирования, которая описывает корреляции (т.е. доли выпадений) оптимальных режимов прогнозирования между слоями. Затем, процедура переходит к кодированию последующего N2-того кадра, и обработка повторяется, чтобы кодировать N2-тый кадр при одновременном сужении вариантов поиска режима прогнозирования с использованием созданной таблицы степеней соответствий режимов прогнозирования.

(i) Создание таблицы степеней соответствий режимов прогнозирования

Далее описывается обработка создания таблицы степеней соответствий режимов прогнозирования, выполняемая на этапе S107.

В результате обработки этапа S104, для кадра B2a, созданного посредством таблицы степеней соответствий режимов прогнозирования, и кадра B'2a непосредственно под ним, показанных на Фиг.1, кодирование уже завершено, и оптимальные режимы прогнозирования уже выбраны. Когда кадры B2a и B'2a кодируются, информация о выбранном оптимальном режиме прогнозирования сохраняется в буфере. На основе этой информации оптимального режима прогнозирования, которая сохраняется в буфере, анализируется взаимосвязь соответствия между оптимальным режимом прогнозирования для макроблока (в дальнейшем в этом документе, сокращенно как MB) кадра B2a и субмакроблока (в дальнейшем в этом документе, сокращенно как SMB) пространственно соответствующего кадра B'2a.

В частности, таблица степеней соответствий режимов прогнозирования, имеющая такую структуру данных, как показана на Фиг.3 создается между B2a и B'2a. Числовые значения, показанные на Фиг.3 показывают отношение (т.е. долю выпадений), при котором, когда оптимальным режимом прогнозирования, выбранным в каждом SMB (размер 8×8) кадра B'2a, является i, оптимальный режим j прогнозирования выбирается в MB кадра B2a. Например, если P16×16 выбирается в SMB кадра B'2a, то в MB кадра B2a, который пространственно соответствует SMB, в котором выбран P16×16, это показывает то, что выбирается режим пропуска 32,3%.

Здесь, способом, используемым для того, чтобы выбирать оптимальный режим прогнозирования в кадрах B2a и B'2a, может быть JSVM-способ, описанный в непатентном документе 2, или способ, в котором варианты поиска режима прогнозирования сужаются, к примеру, способ, описанный в патентном документе 1.

Кроме того, в этом примере, целевой кадр таблицы степеней соответствий режимов прогнозирования рассматривается как один кадр (т.е. B2a), который уже кодирован и имеет временной уровень, идентичный временному уровню целевого кадра, который должен кодироваться, тем не менее, это не ограничено означенным. Также можно выбирать в качестве целевого кадр, который уже кодирован и имеет другой временной уровень (например, B1). Кроме того, также можно выбирать в качестве целевых множество кадров (например, B1 и B2a) и вычислять степень соответствий с использованием суммы этого множества кадров. А именно, при условии, что кодирование кадров уже завершено в целевом слое кодирования и в слое непосредственно под ним, то они могут быть целевыми кадрами, которые должны создаваться посредством таблицы степеней соответствий режимов прогнозирования.

(ii) Сужение вариантов поиска режима прогнозирования с использованием таблицы степеней соответствий режимов прогнозирования

Далее, приводится описание обработки, чтобы сужать варианты поиска режима прогнозирования с использованием таблицы степеней соответствий режимов прогнозирования, описанной на этапе S111.

Варианты поиска режима прогнозирования сужаются в каждом MB целевого кадра B2b кодирования в соответствии со значениями степеней соответствий режимов прогнозирования в таблице степеней соответствий режимов прогнозирования, созданной на этапе S107. Числовые значения в таблице степеней соответствий режимов прогнозирования показывают вероятность нахождения оптимального режима прогнозирования в конкретном целевом макроблоке кодирования.

Далее подробнее описывается обработка для того, чтобы сужать варианты поиска режима прогнозирования. В описании, приведенном ниже, целевой макроблок кодирования кадра B2b записан как MBL, при этом субмакроблок кадра B'2b слоя L-1, который находится пространственно в положении, идентичном положению этого MBL, записан как SMBL-1.

При сужении вариантов поиска режима прогнозирования макроблока MBL, во-первых, считывается информация об оптимальном режиме прогнозирования субмакроблока SMBL-1. Затем, таблица степеней соответствий режимов прогнозирования сопоставляется с оптимальным режимом прогнозирования SMBL-1, и собираются сведения по вероятности (т.е. доли выпадений) того, что каждый режим прогнозирования в целевом макроблоке MBL кодирования является оптимальным режимом прогнозирования. Затем, на основе этой вероятности оптимальности режима прогнозирования, варианты поиска режима прогнозирования сужаются. Два примера этого сужения приведены ниже.

(a) Процедура сужения 1

Процедура сужения 1 является процедурой для сужения вариантов поиска режима прогнозирования с использованием пороговых значений для сужения вариантов поиска режима прогнозирования.

В этой процедуре сужения 1, пороговое значение t% для сужения вариантов поиска режима прогнозирования предоставляется, и режимы прогнозирования, которые меньше этого порогового значения t%, исключаются из вариантов поиска. Значение порогового значения t предоставляется извне. Примером способа, используемого для того, чтобы определять это значение, является способ, в котором значение, которое ограничивает снижение производительности кодирования рамками допустимого диапазона, определяется посредством многократного выполнения обработки кодирования.

Здесь, если используется способ, в котором вероятность (т.е. степень соответствий) того, что каждый режим прогнозирования в MBL является оптимальным режимом прогнозирования, считывается из таблицы степеней соответствий режимов прогнозирования в момент времени, когда информация об оптимальном режиме прогнозирования для SMBL-1 обнаружена, и сравнивается с пороговым значением для сужения вариантов поиска режима прогнозирования, то требуемая обработка сравнения становится чрезвычайно сложной.

Следовательно, обработка порогового значения выполняется заранее на степенях соответствий таблицы степеней соответствий режимов прогнозирования с использованием пороговых значений сужения вариантов поиска режима прогнозирования так, что степени соответствий таблицы соответствия режимов прогнозирования преобразуются в двоичную форму.

Результаты сужения вариантов поиска режима прогнозирования, когда пороговое значение для сужения вариантов поиска режима прогнозирования задано равным 5% в таблице степеней соответствий режимов прогнозирования, показанной на Фиг.3, показаны на Фиг.4. На Фиг.4, ○ представляет варианты поиска, а x представляет режимы прогнозирования, исключенные из вариантов поиска.

(b) Процедура сужения 2

Процедура сужения 2 является процедурой, в которой только режимы прогнозирования, в которых степень соответствий режимов прогнозирования является максимальной, задаются в качестве вариантов поиска.

Режимы прогнозирования, в которых степень соответствий режимов прогнозирования является максимальной, задаются в качестве вариантов поиска. В этом случае, варианты поиска обычно должны сужаться до одного режима прогнозирования, тем не менее, когда имеется множество вариантов поиска режима прогнозирования, которые предоставляют максимальное значение, они все задаются в качестве вариантов поиска.

Здесь, если используется способ, в котором вероятность (т.е. степень соответствий) того, что каждый режим прогнозирования в MBL является оптимальным режимом прогнозирования, считывается из таблицы степеней соответствий режимов прогнозирования в момент времени, когда информация об оптимальном режиме прогнозирования для SMBL-1 обнаружена, и степень соответствий, имеющая максимальное значение из их числа, указывается, то требуемая обработка указания становится чрезвычайно сложной.

Следовательно, указывается степень соответствий, имеющая максимальное значение, которое содержится в степенях соответствий таблицы соответствия режимов прогнозирования, и степень соответствий таблицы соответствия режимов прогнозирования преобразуется в двоичную форму.

Результаты сужения, когда режим прогнозирования, имеющий максимальное значение в таблице степеней соответствий режимов прогнозирования, показанной на Фиг.3, задан в качестве варианта поиска режима прогнозирования, показаны на Фиг.5. На Фиг.5, ○ представляет варианты поиска, а x представляет режимы прогнозирования, исключенные из вариантов поиска.

В дальнейшем в этом документе, настоящее изобретение описывается подробнее в соответствии с вариантами осуществления.

Фиг.6-8 являются блок-схемами последовательности операций способа, показывающими обработку масштабируемого кодирования видео, выполняемую посредством настоящего варианта осуществления.

Фиг.6 является блок-схемой последовательности операций способа, показывающей полную обработку масштабируемого кодирования видео, выполняемую посредством настоящего варианта осуществления. Фиг.7 и Фиг.8 являются блок-схемами последовательности операций способа, показывающими пример и другой пример подробностей обработки, выполняемой на этапе S201 блок-схемы последовательности операций способа, показанной на Фиг.6.

Далее, обработка масштабируемого кодирования видео, выполняемая посредством настоящего варианта осуществления, описывается подробно в соответствии с этими блок-схемами последовательности операций способа.

Обработка кодирования настоящего варианта осуществления является обработкой для улучшающих слоев, и обработка немасштабируемого однослойного кодирования применяется к базовому слою. Примером обработки однослойного кодирования является обработка кодирования части базового слоя опорного SVC-кодера JVSM, упомянутого в непатентном документе 2.

Далее описывается обработка этапов S201-S206, выполняемая в блок-схеме последовательности операций способа, показанной на Фиг.6.

На этапе S201, считываются начальные значения вариантов поиска режима прогнозирования, поиск которых должен выполняться в целевом макроблоке (MB) кодирования, и варианты поиска для режима прогнозирования, поиск которых должен выполняться в конечном счете в целевом MB кодирования, определяются и сохраняются в регистре. Эта обработка описывается подробно ниже в отношении Фиг.7 и Фиг.8.

На этапе S202, информация о вариантах поиска режима прогнозирования, которая сохранена как результат обработки этапа S201, считывается из регистра, и выполняется поиск каждого варианта поиска режима прогнозирования. Один оптимальный режим прогнозирования, который должен использоваться для кодирования, затем определяется, и информация об этом режиме хранится в регистре. Одним примером способа решения оптимального режима прогнозирования является способ, который выполняется в JSVM, в котором режим прогнозирования, в котором минимизируются затраты на кодирование, которые выражаются посредством линейной суммы бита кодирования и искажения при кодировании, рассматривается как оптимальный режим прогнозирования.

На этапе S203, информация об оптимальном режиме прогнозирования в целевом MB кодирования считывается из регистра, и выполняется компенсация движения в этом оптимальном режиме прогнозирования. Остаточный сигнал прогнозирования затем создается и сохраняется в буфере.

На этапе S204, остаточный сигнал прогнозирования считывается из буфера, и этот остаточный сигнал прогнозирования затем кодируется, и результирующие кодированные данные сохраняются в буфере. Одним примером этой обработки является последовательность обработки DCT, квантования и кодирования переменной длины в опорном SVC-кодере JSVM, упомянутым в непатентном документе 2.

На этапе S205, обработка определения выполняется для того, чтобы определять то, завершено или нет кодирование всего MB. Если кодирование всего MB завершено, обработка кодирования завершается, и кодированные данные каждого MB, а также другая необходимая информация заголовка считываются из буфера и выводятся как конечные кодированные данные. Если кодирование всего MB не завершено, процедура переходит к этапу S206.

На этапе S206, обработка переходит к следующему целевому MB кодирования, и выполняется обработка этапа S201.

Далее, пример конкретной обработки, выполняемой на этапе S201, описывается с использованием блок-схемы последовательности операций способа, показанной на Фиг.7, которая включает в себя этапы S301-S306.

На этапе S301, считывается информация, которая указывает то, является или нет MB, предназначенный для кодирования, MB, предназначенным для сужения вариантов поиска режима прогнозирования, который является целью настоящего варианта осуществления. Если MB, предназначенный для кодирования, является MB, предназначенным для сужения вариантов поиска режима прогнозирования, процедура переходит к обработке этапа S302. Если MB, предназначенный для кодирования, не является MB, предназначенным для сужения вариантов поиска режима прогнозирования, начальное значение варианта поиска режима прогнозирования выводится как конечный вариант поиска режима прогнозирования.

На этапе S302, информация, указывающая уже кодированные кадры, которые предназначены для вычисления таблицы степеней соответствий режимов прогнозирования, считывается извне, и информация режима прогнозирования об указанных кадрах сохраняется в регистре.

На этапе S303, считывается информация режима прогнозирования (т.е. информация об оптимальном режиме прогнозирования, используемом при кодировании) в кадрах, которые предназначены для вычисления таблицы степеней соответствий режимов прогнозирования, и степени соответствий (т.е. доли выпадений) оптимальных режимов прогнозирования слоя, предназначенного для кодирования, и слоя непосредственно под ним вычисляются и сохраняются в регистре как таблица степеней соответствий режимов прогнозирования. Такая таблица степеней соответствий режимов прогнозирования, как показано на Фиг.3, создается и сохраняется в регистре.

На этапе S304, считывается таблица степеней соответствий режимов прогнозирования, и эта таблица затем сохраняется в буфере.

На этапе S305, считывается пороговое значение сужения вариантов поиска режима прогнозирования и затем сохраняется в регистре.

На этапе S306, таблица степеней соответствий режимов прогнозирования считывается из буфера, и пороговые значения сужения вариантов поиска режима прогнозирования также считываются из регистра. Только те режимы прогнозирования, в которых степень соответствий (т.е. доля выпадений) равна или превышает пороговое значение сужения вариантов поиска режима прогнозирования, заданы как варианты поиска режима прогнозирования, и информация о них сохраняется в регистре. Когда выполняются эти настройки и операции сохранения, выбираются, задаются и сохраняются только те варианты поиска режима прогнозирования, которые ассоциированы с оптимальным режимом прогнозирования, полученным при кодировании базового слоя.

Таким образом, в блок-схеме последовательности операций способа, показанной на Фиг.6, на основе таблицы степеней соответствий режимов прогнозирования, имеющей такую структуру данных, как показано на Фиг.3, выполняется обработка для того, чтобы сужать варианты поиска режима прогнозирования в таком формате, как показано на Фиг.4.

Далее, другой пример конкретной обработки, выполняемой на этапе S201, описывается с использованием блок-схемы последовательности операций способа, показанной на Фиг.8, которая включает в себя этапы S401-S405.

На этапе S401, считывается информация, которая указывает то, является или нет MB, предназначенный для кодирования, MB, предназначенным для сужения вариантов поиска режима прогнозирования, который является целью настоящего варианта осуществления. Если MB, предназначенный для кодирования, является MB, предназначенным для сужения вариантов поиска режима прогнозирования, процедура переходит к обработке этапа S402. Если MB, предназначенный для кодирования, не является MB, предназначенным для сужения вариантов поиска режима прогнозирования, начальное значение варианта поиска режима прогнозирования выводится как конечный вариант поиска режима прогнозирования.

На этапе S402, информация, указывающая уже кодированные кадры, которые предназначены для вычисления таблицы степеней соответствий режимов прогнозирования, считывается извне, и информация режима прогнозирования об указанных кадрах сохраняется в регистре.

На этапе S403, считывается информация режима прогнозирования (т.е. информация об оптимальном режиме прогнозирования, используемом при кодировании) в кадрах, которые предназначены для вычисления таблицы степеней соответствий режимов прогнозирования. Затем, степени соответствий (т.е. доли выпадений) оптимальных режимов прогнозирования слоя, предназначенного для кодирования, и слоя непосредственно под ним вычисляются и сохраняются в регистре как таблица степеней соответствий режимов прогнозирования. А именно, такая таблица степеней соответствий режимов прогнозирования, как показано на Фиг.3, создается и сохраняется в регистре.

На этапе S404, считывается таблица степеней соответствий режимов прогнозирования, и эта таблица затем сохраняется в буфере.

На этапе S405, таблица степеней соответствий режимов прогнозирования считывается из буфера, и только режим прогнозирования, имеющий максимальную степень соответствий (т.е. долю выпадений), задается как вариант поиска режима прогнозирования, и информация об этом сохраняется в регистре. Здесь, когда выполняются эти настройки и операции сохранения, выбираются, задаются и сохраняются только те варианты поиска режима прогнозирования, которые ассоциированы с оптимальным режимом прогнозирования, полученным при кодировании базового слоя.

Таким образом, в блок-схеме последовательности операций способа, показанной на Фиг.6, на основе таблицы степеней соответствий режимов прогнозирования, имеющей такую структуру данных, как показано на Фиг.3, выполняется обработка для того, чтобы сужать варианты поиска режима прогнозирования в таком формате, как показано на Фиг.5.

Фиг.9-11 показывают структуру устройства масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

Фиг.9 показывает полную структуру устройства масштабируемого кодирования видео настоящего варианта осуществления. Фиг.10 и Фиг.11 показывают пример и другой пример подробной структуры модуля 102 определения вариантов поиска режима прогнозирования, показанного на Фиг.9.

Далее, устройство масштабируемого кодирования видео настоящего варианта осуществления описывается подробно в отношении этих структурных схем устройства.

Устройство масштабируемого кодирования видео настоящего варианта осуществления является устройством обработки для улучшающих слоев, и обработка немасштабируемого однослойного кодирования применяется к базовому слою. Примером обработки однослойного кодирования является обработка кодирования части базового слоя опорного SVC-кодера JVSM, упомянутого в непатентном документе 2.

Во-первых, полная структура устройства масштабируемого кодирования видео описывается со ссылкой на Фиг.9.

Модуль 101 хранения начальных значений вариантов поиска режима прогнозирования считывает начальные значения вариантов поиска режима прогнозирования и выводит их в регистр.

Модуль 102 определения вариантов поиска режима прогнозирования считывает начальные значения для вариантов поиска режима прогнозирования и определяет варианты поиска режима прогнозирования, поиск которых в конечном счете должен выполняться. Затем, модуль 102 определения вариантов поиска режима прогнозирования выводит в регистр информацию о вариантах поиска режима прогнозирования, которая в конечном счете определена, и обработка переходит к модулю 103 определения оптимальных режимов прогнозирования. Подробная структура этого модуля обработки описывается ниже с использованием Фиг.10 и Фиг.11.

Модуль 103 определения оптимальных режимов прогнозирования считывает варианты поиска режима прогнозирования из регистра и выполняет поиск каждого варианта поиска режима прогнозирования. Затем, модуль 103 определения оптимальных режимов прогнозирования определяет один оптимальный режим прогнозирования, который должен использоваться для кодирования, и выводит информацию об этом режиме в модуль 104 хранения оптимальных режимов прогнозирования. Одним примером способа решения оптимального режима прогнозирования является способ, который выполняется в JSVM, в котором режим прогнозирования, в котором затраты на кодирование, которые выражаются посредством линейной суммы бита кодирования и искажения при кодировании, минимизируются, рассматривается как оптимальный режим прогнозирования.

Модуль 105 создания остаточных сигналов прогнозирования считывает оптимальный режим прогнозирования в целевом MB кодирования из модуля 104 хранения оптимальных режимов прогнозирования и выполняет компенсацию движения в этом оптимальном режиме прогнозирования. Он затем создает остаточный сигнал прогнозирования и выводит его в буфер.

Модуль 106 кодирования остаточных сигналов прогнозирования затем считывает остаточный сигнал прогнозирования в MB, предназначенном для кодирования, из буфера и выполняет кодирование для этого остаточного сигнала прогнозирования. Кодированные данные затем выводятся в буфер. Одним примером этой обработки является последовательность обработки DCT, квантования и кодирования переменной длины опорного SVC-кодера JSVM, упомянутого в непатентном документе 2.

Модуль 107 определения полного завершения кодирования MB выполняет обработку определения, чтобы определять то, завершено или нет кодирование всего MB. Если кодирование всего MB завершено, обработка кодирования завершается, и конечные кодированные данные выводятся. Если кодирование всего MB не завершено, процедура переходит к обработке модуля 108 обновления целевых MB кодирования.

Модуль 108 обновления целевых MB кодирования переходит к обработке следующего MB, предназначенного для кодирования, и выполняется обработка модуля 102 определения вариантов поиска режима прогнозирования.

Далее, пример подробной структуры модуля 102 определения вариантов поиска режима прогнозирования описывается со ссылкой на Фиг.10.

Модуль 201 хранения информации указания целевых MB сужения вариантов поиска режима прогнозирования считывает информацию, указывающую то, должен или нет MB подвергаться сужению вариантов поиска режима прогнозирования, и выводит эту информацию в регистр.

Модуль 202 определения целевых MB сужения вариантов поиска режима прогнозирования считывает информацию, указывающую MB, которые должны подвергаться сужению вариантов поиска режима прогнозирования, из модуля 201 хранения информации указания целевых MB сужения вариантов поиска режима прогнозирования, и выполняет обработку определения, чтобы определять то, является или нет MB, предназначенный для кодирования, MB, который должен сужаться. Если MB, предназначенный для кодирования, является MB, который должен сужаться, процедура переходит к обработке модуля 206 создания таблиц степеней соответствий режимов прогнозирования. Если MB, предназначенный для кодирования, не является MB, который должен сужаться, то начальное значение варианта поиска режима прогнозирования определяется как конечный вариант поиска режима прогнозирования и выводится.

Модуль 203 хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования считывает информацию, указывающую кадры, которые уже кодированы и предназначены для вычисления степени соответствий режимов прогнозирования, и выводит ее в регистр.

Модуль 204 хранения оптимальных режимов прогнозирования улучшающего слоя для целевых кадров считывает информацию оптимального режима прогнозирования слоя, предназначенного для кодирования, для кадров, которые предназначены для вычисления степени соответствий режимов прогнозирования, которые указываются посредством информации указания, считанной из модуля 203 хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования, и выводит ее в регистр.

Модуль 205 хранения для оптимальных режимов прогнозирования для слоя непосредственно под целевым кадром считывает информацию оптимального режима прогнозирования слоя непосредственно под слоем, предназначенным для кодирования, для кадров, которые предназначены для вычисления степени соответствий режимов прогнозирования, которые указываются посредством информации указания, считанной из модуля 203 хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования, и выводит ее в регистр.

Модуль 206 создания таблиц степеней соответствий режимов прогнозирования считывает из модуля 204 хранения оптимальных режимов прогнозирования улучшающего слоя для целевых кадров информацию оптимального режима прогнозирования в слое, предназначенном для кодирования кадра, предназначенного для вычисления степени соответствий режимов прогнозирования. Кроме того, модуль 206 создания таблиц степеней соответствий режимов прогнозирования также считывает информацию оптимального режима прогнозирования слоя непосредственно под слоем, предназначенным для кодирования кадров, которые предназначены для вычисления степени соответствий режимов прогнозирования, из модуля 205 хранения для оптимальных режимов прогнозирования для слоя непосредственно под целевым кадром, и вычисляет степени соответствий (т.е. доли выпадений) оптимальных режимов прогнозирования между соответствующими макроблоками и субмакроблоками и выводит результаты в модуль 207 хранения таблиц степеней соответствий режимов прогнозирования как таблицу степеней соответствий режимов прогнозирования.

Модуль 208 хранения пороговых значений сужения вариантов поиска режима прогнозирования считывает пороговые значения для сужения вариантов поиска режима прогнозирования и выводит их в регистр.

Модуль 209 сравнения пороговых значений таблицы степеней соответствий режимов прогнозирования считывает таблицы степеней соответствий режимов прогнозирования из модуля 207 хранения таблиц степеней соответствий режимов прогнозирования и также считывает пороговые значения для сужения вариантов поиска режима прогнозирования из модуля 208 хранения пороговых значений сужения вариантов поиска режима прогнозирования. Затем, модуль 209 сравнения пороговых значений таблицы степеней соответствий режимов прогнозирования анализирует вероятность выпадения оптимального режима прогнозирования MB, предназначенного для кодирования, который ассоциирован с оптимальным режимом прогнозирования SMB непосредственно под ним, и затем задает только режимы прогнозирования, вероятность выпадения которых равна или превышает пороговое значение сужения вариантов поиска режима прогнозирования, в качестве вариантов поиска режима прогнозирования и выводит их.

Таким образом, в структуре устройства, показанной на Фиг.10, на основе таблицы степеней соответствий режимов прогнозирования, имеющей такую структуру данных, как показано на Фиг.3, выполняется обработка для того, чтобы сужать варианты поиска режима прогнозирования в таком формате, как показано на Фиг.4.

Далее, другой пример подробной структуры модуля 102 определения вариантов поиска режима прогнозирования описывается со ссылкой на Фиг.11.

Модуль 301 хранения информации указания целевых MB сужения вариантов поиска режима прогнозирования считывает информацию, указывающую то, должен или нет MB подвергаться сужению вариантов поиска режима прогнозирования, и выводит эту информацию в регистр.

Модуль 302 определения целевых MB сужения вариантов поиска режима прогнозирования считывает информацию, указывающую MB, которые должны подвергаться сужению вариантов поиска режима прогнозирования, из модуля 301 хранения информации указания целевых MB сужения вариантов поиска режима прогнозирования, и выполняет обработку определения, чтобы определять то, является или нет MB, предназначенный для кодирования, MB, который должен сужаться. Если MB, предназначенный для кодирования, является MB, который должен сужаться, процедура переходит к обработке модуля 306 создания таблиц степеней соответствий режимов прогнозирования. Если MB, предназначенный для кодирования, не является MB, который должен сужаться, то начальное значение варианта поиска режима прогнозирования определяется как конечный вариант поиска режима прогнозирования и выводится.

Модуль 303 хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования считывает информацию, указывающую кадры, которые уже кодированы и предназначены для вычисления степени соответствий режимов прогнозирования, и выводит ее в регистр.

Модуль 304 хранения оптимальных режимов прогнозирования улучшающего слоя для целевых кадров считывает информацию оптимального режима прогнозирования слоя, предназначенного для кодирования, для кадров, которые предназначены для вычисления степени соответствий режимов прогнозирования, которые указываются посредством информации указания, считанной из модуля 303 хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования, и выводит ее в регистр.

Модуль 305 хранения для оптимальных режимов прогнозирования для слоя непосредственно под целевым кадром считывает информацию оптимального режима прогнозирования слоя непосредственно под слоем, предназначенным для кодирования, для кадров, которые предназначены для вычисления степени соответствий режимов прогнозирования, которые указываются посредством информации указания, считанной из модуля 303 хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования, и выводит ее в регистр.

Модуль 306 создания таблиц степеней соответствий режимов прогнозирования считывает из модуля 304 хранения оптимальных режимов прогнозирования улучшающего слоя для целевых кадров информацию оптимального режима прогнозирования в слое, предназначенном для кодирования кадра, предназначенного для вычисления степени соответствий режимов прогнозирования. Кроме того, модуль 306 создания таблиц степеней соответствий режимов прогнозирования также считывает информацию оптимального режима прогнозирования слоя непосредственно под слоем, предназначенным для кодирования кадров, которые предназначены для вычисления степени соответствий режимов прогнозирования, из модуля 305 хранения для оптимальных режимов прогнозирования для слоя непосредственно под целевым кадром. Затем, модуль 306 создания таблиц степеней соответствий режимов прогнозирования вычисляет степени соответствий (т.е. доли выпадений) оптимальных режимов прогнозирования между соответствующими макроблоками и субмакроблоками и выводит результаты в модуль 307 хранения таблиц степеней соответствий режимов прогнозирования как таблицу степеней соответствий режимов прогнозирования.

Модуль 308 анализа режима прогнозирования на предмет максимальной доли выпадений считывает таблицы степеней соответствий режимов прогнозирования из модуля 207 хранения таблиц степеней соответствий режимов прогнозирования и анализирует вероятность выпадения оптимального режима прогнозирования MB, предназначенного для кодирования, для оптимального режима прогнозирования SMB непосредственно под ним, и затем задает режим прогнозирования, вероятность выпадения которого является максимальной, как конечный вариант поиска режима прогнозирования и выводит его.

Таким образом, в структуре устройства, показанной на Фиг.11, на основе таблицы степеней соответствий режимов прогнозирования, имеющей такую структуру данных, как показано на Фиг.3, выполняется обработка для того, чтобы сужать варианты поиска режима прогнозирования в таком формате, как показано на Фиг.5.

Далее описываются результаты эксперимента, который выполнен, чтобы проверять эффективность настоящего изобретения.

Этот эксперимент выполнен посредством установки настоящего варианта осуществления в JSVM 9.12.2 и последующего сравнения JSVM с настоящим вариантом осуществления. Используемыми изображениями являются тестовые изображения SVC "Город" и "Футбол", имеющие размер 704×576, и "Пешеход" и "Станция", имеющие размер 1920×1024. Изображения, имеющие вышеуказанные разрешения, введены в улучшающий слой, при этом изображения, имеющие разрешения в числе пикселов по вертикали и горизонтали, равные половине от приведенных выше, введены в базовый слой. Число кадров кодированного изображения составляет 129, и четыре QP (параметра квантования), а именно, 22, 27, 32 и 37, протестированы с использованием одинаковых значений на обоих слоях. Структурой GOP (группы изображений) является IBBBP-иерархическая структура B-изображений, и I вводится каждые 16 кадров. Как показано на Фиг.12, два кадра, принадлежащие наименьшему временному уровню, использованы, соответственно, для кадра вычисления степени соответствий уровней и кадра высокоскоростного выбора режима. CPU Xeon 3,16 ГГц использован для измерения времени кодирования.

Результаты экспериментов по степени увеличения битового кодирования и степени уменьшения времени кодирования показаны в таблице 1.

Таблица 1
Степень уменьшения времени кодирования Степень увеличения битового кодирования
Город 22,97% 0,62%
Футбол 21,63% 0,80%
Пешеход 18,80% 0,77%
Станция 21,46% 0,11%

Здесь, степень увеличения битового кодирования создана посредством выполнения кусочно-кубической эрмитовой полиномиальной интерполяции на аппроксимирующей кривой между четырьмя нанесенными точками для бита кодирования и PSNR (пикового отношения "сигнал-шум") в каждом QP, и среднее дифференциальное значение величин кода в общих сегментах этих двух сравниваемых наборов данных задано в качестве релевантной степени увеличения. Кроме того, степень уменьшения времени кодирования является средним значением в каждом QP.

Характеристики кодирования для кодирования изображений "Пешеход" и "Станция" показаны на Фиг.13, и изменения во времени кодирования при кодировании "Пешеход" показаны на Фиг.14.

Из результатов эксперимента, приведенных выше, подтверждено то, что независимо от разрешения или изображений, можно достигать степени уменьшения времени кодирования приблизительно в 20%, при этом степень увеличения битового кодирования поддерживается менее 1%.

Изобретение не ограничено вышеописанным вариантом осуществления. Например, в вышеописанном варианте осуществления описывается пример, в котором настоящее изобретение применяется к упорядоченной многослойной структуре, сформированной посредством базового слоя и улучшающего слоя, тем не менее, варианты применения настоящего изобретения не ограничены этим типом упорядоченной многослойной структуры.

Промышленная применимость

Настоящее изобретение может применяться к масштабируемому кодированию движущихся изображений, которое достигает масштабируемости посредством использования многослойной структуры, и можно сокращать время кодирования посредством применения настоящего изобретения.Номера ссылок

101 - модуль хранения начальных значений вариантов поиска режима прогнозирования

102 - модуль определения вариантов поиска режима прогнозирования

103 - модуль определения оптимальных режимов прогнозирования

104 - модуль определения оптимальных режимов прогнозирования

105 - модуль создания остаточных сигналов прогнозирования

106 - модуль кодирования остаточных сигналов прогнозирования

107 - модуль определения полного завершения кодирования MB

108 - модуль обновления целевых MB кодирования

201 - модуль хранения информации указания целевых MB сужения вариантов поиска режима прогнозирования

202 - модуль определения целевых MB сужения вариантов поиска режима прогнозирования

203 - модуль хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования

204 - модуль хранения оптимальных режимов прогнозирования улучшающего слоя для целевых кадров

205 - модуль хранения для оптимального режима прогнозирования для слоя непосредственно под целевым кадром

206 - модуль создания таблиц степеней соответствий режимов прогнозирования

207 - модуль хранения таблиц степеней соответствий режимов прогнозирования

208 - модуль хранения пороговых значений сужения вариантов поиска режима прогнозирования

209 - модуль сравнения пороговых значений таблицы степеней соответствий режимов прогнозирования

301 - модуль хранения информации указания целевых MB сужения вариантов поиска режима прогнозирования

302 - модуль определения целевых MB сужения вариантов поиска режима прогнозирования

303 - модуль хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования

304 - модуль хранения оптимальных режимов прогнозирования улучшающего слоя для целевых кадров

305 - модуль хранения для оптимального режима прогнозирования для слоя непосредственно под целевым кадром

306 - модуль создания таблиц степеней соответствий режимов прогнозирования

307 - модуль хранения таблиц степеней соответствий режимов прогнозирования

308 - модуль анализа режима прогнозирования на предмет максимальной доли выпадений

1. Способ масштабируемого кодирования видео для масштабируемого кодирования видео, содержащий:
- этап, на котором, на основе информации об оптимальном режиме прогнозирования, который был выбран при масштабируемом кодировании, выполняемом без наложения ограничений на использование режимов прогнозирования, заданных как возможные для использования, определяются доли корреляции комбинаций оптимальных режимов прогнозирования между уровнями, которые должны выбираться для пространственно соответствующих блоков верхнего слоя и нижнего слоя, и создается таблица соответствия, которая описывает взаимосвязи между комбинациями выбранного оптимального режима прогнозирования и оптимального режима прогнозирования, который должен выбираться, и упомянутые доли корреляции, причем таблица соответствия сохраняет доли соответствия для всех комбинаций режимов внутреннего прогнозирования, режимов взаимного прогнозирования и режимов межслойного прогнозирования, используемых как для выбранного оптимального режима прогнозирования, так и для оптимального режима прогнозирования, который должен выбираться;
- этап, на котором, при кодировании блока верхнего слоя, обнаруживается информация об оптимальном режиме прогнозирования, выбранном при кодировании пространственно соответствующего блока нижнего слоя; и
- этап, на котором, на основе информации о выбранном оптимальном режиме прогнозирования, обнаруженной на этапе обнаружения, и на основе информации о долях корреляции, описанной в таблице соответствия, извлекается эффективная комбинация из числа комбинаций, описанных в таблице соответствия, и оптимальный режим прогнозирования верхнего слоя, содержащийся в извлеченной эффективной комбинации, определяется в качестве варианта поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя.

2. Способ масштабируемого кодирования видео для масштабируемого кодирования видео, содержащий:
- этап, на котором, на основе информации об оптимальном режиме прогнозирования, который был выбран при масштабируемом кодировании, выполняемом без наложения ограничений на использование режимов прогнозирования, заданных как возможные для использования, определяются доли корреляции комбинаций оптимальных режимов прогнозирования между уровнями, которые должны выбираться для пространственно соответствующих блоков верхнего слоя и нижнего слоя, и создается таблица соответствия, которая описывает взаимосвязи между комбинациями выбранного оптимального режима прогнозирования и оптимального режима прогнозирования, который должен выбираться, и упомянутые доли корреляции, причем таблица соответствия хранит доли соответствия для всех комбинаций режимов внутреннего прогнозирования, режимов взаимного прогнозирования и режимов межслойного прогнозирования, используемых как для выбранного оптимального режима прогнозирования, так и для оптимального режима прогнозирования, который должен выбираться;
- этап, на котором, на основе значений долей корреляции, извлекается комбинация эффективных оптимальных режимов прогнозирования, посредством сужения комбинаций выбранных оптимальных режимов прогнозирования, описанных в таблице соответствия, и оптимального режима прогнозирования, который должен выбираться, и создается информация соответствия для режимов прогнозирования, которая описывает комбинации извлеченных эффективных оптимальных режимов прогнозирования;
- этап, на котором, при кодировании блока верхнего слоя, обнаруживается информация об оптимальном режиме прогнозирования, выбранном при кодировании пространственно соответствующего блока нижнего слоя; и
- этап, на котором, посредством обращения к информации соответствия для режимов прогнозирования с использованием, в качестве ключа, информации о выбранном оптимальном режиме прогнозирования, обнаруженной на этапе обнаружения, определяется вариант поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя.

3. Способ масштабируемого кодирования видео по п.2, в котором:
- на этапе создания информации соответствия для режимов прогнозирования, комбинация, имеющая долю корреляции, показывающую значение, которое превышает предварительно определенное пороговое значение, извлекается в качестве эффективной комбинации.

4. Способ масштабируемого кодирования видео по п.2, в котором:
- на этапе создания информации соответствия для режимов прогнозирования, комбинация, имеющая долю корреляции, показывающую наибольшее значение из числа комбинаций оптимальных режимов прогнозирования, имеющих идентичные оптимальные режимы прогнозирования на нижнем слое, извлекается в качестве эффективной комбинации, или, альтернативно, комбинация предварительно определенного числа оптимальных режимов прогнозирования, выбранных последовательно исходя из доли корреляции, показывающей наибольшее значение, извлекается в качестве эффективной комбинации.

5. Устройство масштабируемого кодирования видео, которое масштабируемым образом кодирует видео, содержащее:
- модуль создания, который, на основе информации об оптимальном режиме прогнозирования, который был выбран при масштабируемом кодировании, выполняемом без наложения ограничений на использование режимов прогнозирования, заданных как возможные для использования, определяет доли корреляции комбинаций оптимальных режимов прогнозирования между уровнями, которые должны выбираться для пространственно соответствующих блоков верхнего слоя и нижнего слоя, и создает таблицу соответствия, которая описывает взаимосвязи между комбинациями выбранного оптимального режима прогнозирования и оптимального режима прогнозирования, который должен выбираться, и упомянутые доли корреляции, причем таблица соответствия хранит доли соответствия для всех комбинаций режимов внутреннего прогнозирования, режимов взаимного прогнозирования и режимов межслойного прогнозирования, используемых как для выбранного оптимального режима прогнозирования, так и для оптимального режима прогнозирования, который должен выбираться;
- модуль обнаружения, который, при кодировании блока верхнего слоя, обнаруживает информацию об оптимальном режиме прогнозирования, выбранном при кодировании пространственно соответствующего блока нижнего слоя; и
- модуль определения, который, на основе информации о выбранном оптимальном режиме прогнозирования, обнаруженной посредством модуля обнаружения, и на основе информации о долях корреляции, описанной в таблице соответствия, извлекает эффективную комбинацию из числа комбинаций, описанных в таблице соответствия, и определяет оптимальный режим прогнозирования верхнего слоя, содержащийся в извлеченной эффективной комбинации, в качестве варианта поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя.

6. Устройство масштабируемого кодирования видео, которое масштабируемым образом кодирует видео, содержащее:
- модуль создания таблиц соответствия, который, на основе информации об оптимальном режиме прогнозирования, который был выбран при масштабируемом кодировании, выполняемом без наложения ограничений на использование режимов прогнозирования, заданных как возможные для использования, определяет доли корреляции комбинаций оптимальных режимов прогнозирования между уровнями, которые должны выбираться для пространственно соответствующих блоков верхнего слоя и нижнего слоя, и создает таблицу соответствия, которая описывает взаимосвязи между комбинациями выбранного оптимального режима прогнозирования и оптимального режима прогнозирования, который должен выбираться, и упомянутые доли корреляции, причем таблица соответствия хранит доли соответствия для всех комбинаций режимов внутреннего прогнозирования, режимов взаимного прогнозирования и режимов межслойного прогнозирования, используемых как для выбранного оптимального режима прогнозирования, так и для оптимального режима прогнозирования, который должен выбираться;
- модуль создания информации соответствия для режимов прогнозирования, который, на основе значений долей корреляции, извлекает комбинацию эффективных оптимальных режимов прогнозирования посредством сужения комбинаций выбранных оптимальных режимов прогнозирования, описанных в таблице соответствия, и оптимального режима прогнозирования, который должен выбираться, и создает информацию соответствия для режимов прогнозирования, которая описывает комбинации извлеченных эффективных оптимальных режимов прогнозирования;
- модуль обнаружения, который, при кодировании блока верхнего слоя, обнаруживает информацию об оптимальном режиме прогнозирования, выбранном при кодировании пространственно соответствующего блока нижнего слоя; и
- модуль определения, который, посредством обращения к информации соответствия для режимов прогнозирования с использованием, в качестве ключа, информации о выбранном оптимальном режиме прогнозирования, обнаруженной посредством модуля обнаружения, определяет вариант поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя.

7. Машиночитаемый носитель записи, который сохраняет программу масштабируемого кодирования видео, которая используется для того, чтобы выполнять на компьютере способ масштабируемого кодирования видео, описанный в любом из пп.1-4.



 

Похожие патенты:

Изобретение относится к области видеокомпрессии, в частности к области поиска векторов перемещений блоков изображения и способу кодирования векторов перемещений.

Изобретение относится к устройству кодирования видео и устройству декодирования видео. .

Изобретение относится к области обработки цифровых сигналов, и в частности, к цифровому сжатию многоракурсного видео, сопровождаемого дополнительными данными о глубине сцены.

Изобретение относится к кодированию и декодированию видеосигнала с использованием взвешенного предсказания. .

Изобретение относится к устройству/способу обработки изображения и устройству кодирования изображений, которые выполнены с возможностью улучшения качества изображения.

Изобретение относится к способам декодирования изображений многовидового видео и устройствам декодирования изображений, которые декодируют многовидовое видео. .

Изобретение относится к системам кодирования/декодирования видео для кодирования видеоизображений. .

Изобретение относится к устройству кодирования изображения и, в частности, к дополнению размера генерируемого кода до целевого размера кода, заданного для одной картинки, без выполнения внутреннего управления с обратной связью.

Изобретение относится к кодеру/декодеру цифрового сигнала изображения, цифрового сигнала изображения в соответствующем формате сигнала цветности. .

Группа изобретений относится к кодированию и декодированию изображений с использованием процедуры генерации прогнозируемого значения пикселя. Техническим результатом является повышение эффективности кодирования и декодирования и дополнительно сокращение релевантного объема кода. Технический результат достигается за счет реализации автоматического компьютерного формирования процедуры прогнозирования, которая надлежащим образом применяется к входному изображению. Для достижения технического результата реализовано устройство кодирования изображений для кодирования изображения с использованием прогнозируемого значения пикселя, сгенерированного посредством заранее определенной процедуры генерации прогнозируемого значения, которая прогнозирует значение целевого пикселя кодирования с использованием ранее декодированного пикселя. Процедура генерации прогнозируемого значения, имеющая стоимость наилучшей оценки, выбирается из процедур генерации прогнозируемого значения в качестве родителей и потомков, где суммарное информационное наполнение для представления древовидной структуры и объем кода, оцененный прогнозируемым значением пикселя, полученным посредством древовидной структуры, используется в качестве стоимости оценки. Окончательная процедура генерации прогнозируемого значения формируется путем повторения релевантной операции. 4 н. и 8 з.п. ф-лы, 14 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности кодирования. Способ локальной коррекции изменения яркости и контрастности опорного кадра для кодирования многоракурсной видеопоследовательности, в котором: получают значения пикселей текущего кодируемого блока, принадлежащего кодируемому кадру, и значения пикселей опорного блока, принадлежащего опорному кадру; получают восстановленные значения пикселей, соседних по отношению к текущему блоку кодируемого кадра, и значения пикселей, соседних по отношению к опорному блоку опорного кадра; определяют числовые соотношения между значениями пикселей опорного блока и значениями пикселей, соседних по отношению к опорному блоку, и соотношения между восстановленными значениями пикселей, соседних по отношению к текущему кодируемому блоку, и значениями пикселей, соседних по отношению к опорному блоку; на основе найденных на предыдущем шаге числовых соотношений определяют параметры коррекции яркости и контрастности для коррекции различия в яркости и контрастности для опорного блока в сравнении с текущим кодируемым блоком; выполняют коррекцию различия в яркости и контрастности для опорного блока, используя найденные параметры коррекции. 3 н. и 10 з.п. ф-лы, 10 ил.

Изобретение относится к кодированию и декодированию и, в частности, к кодированию и декодированию остаточного блока. Способ кодирования остаточного блока включает в себя этапы, на которых генерируют блок предсказания для текущего блока; генерируют остаточный блок на основании разности между блоком предсказания и остаточным блоком; генерируют остаточный блок преобразования путем преобразования остаточного блока в частотную область; разделяют остаточный блок преобразования на элементы полосы частот; и кодируют флаги эффективных коэффициентов, указывающие элементы полосы частот, в которых существуют ненулевые эффективные коэффициенты преобразования. Технический результат - эффективное кодирование и декодирование остаточного блока. 2 н. и 13 з.п. ф-лы, 1 табл., 36 ил.

Изобретение относится к области видеокодирования, в частности к оценке и компенсации движения в динамических изображениях. Техническим результатом способа является улучшение визуального качества восстановленного видеоряда. Указанный технический результат достигается тем, что каждый кадр разбивается на блоки шестиугольной формы. Блоки группируются в три слоя. Для каждого блока осуществляется поиск вектора перемещения по определенному для слоя шаблону поиска. Предварительно область поиска смещается на прогнозный вектор, рассчитанный по векторам соседних блоков с предыдущих слоев, для которых вектор перемещения уже найден. Для подсчета нормы отклонения используется специальная весовая маска, учитывающая шестиугольную форму блока. 4 ил.

Изобретение относится к способу и устройству обработки изображения, в частности к кодированию движущихся изображений. Техническим результатом является генерирование прогнозируемого изображения с высокой точностью без увеличения процессорной нагрузки. Указанный технический результат достигается тем, что из опорного кадра выделяют изображение, составленное из макроблоков размером 16×16 пикселов, при этом к каждому макроблоку присоединена полоса шириной «а» пикселов, служащая областью полей, в качестве изображения с компенсацией движения и рассматривают его в качестве входного изображения для процесса фильтрации. Величину «а» определяют в соответствии с числом отводов фильтра с конечной импульсной характеристикой (КИХ). Процесс фильтрации выполняют с использованием изображения с компенсацией движения в качестве входного изображения и передают на выход прогнозируемое изображение размером 16×16 пикселов в качестве выходного изображения процесса фильтрации. Прогнозируемое изображение добавляют в сумматоре к выходному изображению схемы обратного ортогонального преобразования и используют результат суммирования в качестве макроблока, составляющего декодированный кадр. 2 н. и 4 з.п. ф-лы, 46 ил.

Изобретение относится к цифровому кодированию видео изображения и, более конкретно, к кодированию с использованием различных режимов предсказания. Техническим результатом является выполнение предсказания из большего количества различных углов и улучшение эффективности предсказания. Указанный технический результат достигается тем, что секция (13) определения набора предсказания выбирает набор предсказания из группы наборов предсказания, включающей в себя множество наборов предсказания, имеющих различные комбинации режимов предсказания, соответствующих различным направлениям предсказания. Дополнительно, секция (11) определения режима предсказания выбирает режим предсказания из набора предсказания, выбранного таким образом. Секция (4) статистического кодирования кодирует набор предсказания, таким образом выбранный, режим предсказания, таким образом выбранный, и остаточные данные между входным изображением и предсказанным изображением, сформированным на основе набора предсказания и режима предсказания. 4 н. и 6 з.п. ф-лы, 37 табл., 73 ил.

Изобретение относится к кодированию/декодированию многоракурсных изображений. Техническим результатом является эффективное кодирование для многоракурсных изображений, при котором происходит генерация локализованного несовпадения освещения и цвета между камерами и также обеспечивается сокращение объема кода. Предложено сначала получать информацию о глубине для объекта, сфотографированного в области, подвергаемой обработке, далее определяют группу элементов изображения в уже закодированной области и задают ее как группу элементов изображения, взятых в качестве образцов. Затем генерируют изображение с синтезированием ракурса для элементов изображения, включенных в состав группы элементов изображения, взятых в качестве образцов, и эту область подвергают обработке и производят оценку параметров коррекции для коррекции несовпадений по освещению и цвету в группе элементов изображения, взятых в качестве образцов из изображения с синтезированием ракурса и из декодированного изображения. Затем генерируют предсказанное изображение путем коррекции изображения с синтезированием ракурса для области, подвергаемой обработке, с использованием оцененных параметров коррекции. 6 н. и 4 з.п. ф-лы, 9 ил.

Изобретение относится к кодеру/декодеру движущегося цветного изображения в формате, например, 4:2:0 и 4:2:2. Техническим результатом является повышение оптимальности кодирования движущегося изображения. Предложен кодер изображения, содержащий блок генерации прогнозируемого изображения, который генерирует прогнозируемое изображение согласно режимам прогнозирования; блок принятия решения относительно режима прогнозирования, который оценивает эффективность прогнозирования прогнозируемого изображения из блока генерации прогнозируемого изображения, для принятия решения относительно заранее определенного режима прогнозирования; и блок кодирования, который подвергает выходной сигнал блока принятия решения относительно режима прогнозирования кодированию с переменной длиной слова. Блок принятия решения на основании заранее определенного сигнала управления принимает решение, какой из общего режима прогнозирования и отдельного режима прогнозирования используется для соответствующих цветовых компонентов входного сигнала изображения, и мультиплексирует информацию о сигнале управления в битовый поток, мультиплексирует, когда используется общий режим прогнозирования, информацию общего режима прогнозирования и мультиплексирует, когда общий режим прогнозирования не используется, информацию режима прогнозирования для каждого из цветовых компонентов. 8 н.п. ф-лы, 86 ил.
Наверх