Способ декодирования видеосигнала

Изобретение относится к способу кодирования/декодирования видеосигнала. Техническим результатом является обеспечение эффективного декодирования видеосигнала. Указанный технический результат достигается тем, что способ декодирования видеосигнала, основанный на масштабируемости с точной детализацией (FGS), включает в себя получение информации идентификации изображения, указывающей эталонное изображение текущего блока, и декодирование текущего блока с использованием эталонного изображения. Эталонное изображение базового уровня и соответствующее ему эталонное изображение уровня повышенного качества имеют одинаковую информацию идентификации изображения, при этом информация идентификации изображения включает по меньшей мере одну из информации номера кадра, указывающую порядок декодирования, информации номера изображения для идентификации изображения и информации ссылочного индекса. Поэтому можно минимизировать проблему, которая при осуществлении процедуры декодирования видеосигнала обусловлена ошибкой передачи. 2 н. и 2 з.п. ф-лы, 9 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу кодирования видеосигнала.

Предшествующий уровень техники

Среда связи в настоящее время претерпевает изменения в связи с развитием широкополосной сети с конвергенцией (ШСК, BcN) для предоставления такой услуги, как комплексная проводная и беспроводная сеть, комбинация широковещательной сети и сети связи или конвергенция согласно Internet-протоколу (IP-конвергенция) с помощью сети, соответствующей Internet-протоколу (IP-сети). Такая тенденция к изменению сети связи в будущем ускорится. Ввиду изменения среды связи, оконечные устройства (терминалы), используемые во множестве сред связи, претерпевают разнообразные изменения, и при этом также изменяются возможности обработки, которыми обладают оконечные устройства. Соответственно, чтобы обеспечить видеосигналы, оптимизированные для различных сред связи и различных оконечных устройств, следует сформировать множество видеосигналов, выдаваемых в оконечные устройства. Чтобы выдавать оптимизированные видеосигналы в оконечные устройства, один источник видеосигналов должен предусматривать множество комбинаций переменных, таких, как количество передаваемых кадров в секунду, разрешение и количество битов на пиксель и т.д. Это ложится тяжким бременем на провайдеров информационного содержания (контента).

Ввиду вышеизложенного, провайдеры информационного содержания кодируют исходный видеосигнал, получая сжатые с высоким расходом битов (битрейтом) видеоданные, декодируют сжатые видеоданные в исходный видеосигнал, когда от оконечного устройства принимается запрос на видеоинформацию, и кодируют исходные данные, получая видеоданные, подходящие для способности оконечного устройства к обработке видеоинформации, перед выдачей видеоданных в оконечное устройство. Однако при таком транскодировании (при такой комбинации декодирования и кодирования) необходимо осуществлять процессы кодирования, декодирования и кодирования, и поэтому происходит временная задержка при выдаче видеосигнала в оконечное устройство. Следовательно, дополнительно требуется устройство, обладающее сложными аппаратными средствами и алгоритмами.

Чтобы решить такую проблему, предложено масштабируемое видеокодирование (МВК, SVC). Этот способ может обеспечить представление видеосигналов путем кодирования видеосигналов в последовательность изображений с наивысшим качеством изображения и декодирования только части (частичной последовательности изображений, выбираемых в прерываемом режиме из общей последовательности кадров) последовательности изображений. Последовательность изображений, кодируемых посредством МВК, может уменьшить размер видеоинформации за счет использования пространственной масштабируемости или снижения качества изображения за счет использования масштабируемости по отношению «сигнал - шум» (ОСШ, SNR) с низким битрейтом. При этом последовательность изображений, имеющих малый экранный размер и/или малое количество кадров в секунду, называется базовым уровнем, а последовательность изображений, имеющих большой экранный размер и/или большое количество кадров в секунду, называется уровнем повышенного качества или улучшенным уровнем.

Хотя можно представить видеосигналы при низком качестве изображения путем приема и обработки части последовательности изображений, закодированных масштабируемым способом, как описано выше, качество изображения значительно ухудшается, поскольку снижается битрейт. Одно решение этой проблемы заключается в обеспечении вспомогательной последовательности изображений, имеющих низкие битрейты, например, последовательности изображений, которые имеют малый экранный размер и/или малое количество кадров в секунду. Эта вспомогательная последовательность изображений называется уровнем повышенного качества (улучшенным уровнем).

При этом МВК, если часть потока битов уровня повышенного качества утрачивается при декодировании конкретного изображения, включающего в себя уровень повышенного качества, которое кодируется и передается, то декодер декодирует это изображение, используя такой частично утраченный поток битов уровня повышенного качества. Соответственно, качества изображений исходных видеосигналов отличаются друг от друга. В частности, когда изображение, страдающее вышеописанной проблемой, является эталонным изображением, необходимым для декодирования других изображений, а также ключевым изображением, эта проблема усугубляется.

Краткое изложение сущности изобретения

Соответственно, настоящее изобретение посвящено способу декодирования видеосигнала, который, по существу, снимает одну или несколько проблем, возникающих из-за ограничений и недостатков соответствующего предшествующего уровня техники.

Задачей настоящего изобретения, предлагаемого для решения проблемы, является разработка способа декодирования, позволяющего минимизировать проблему, которая при осуществлении процедуры декодирования видеосигнала обусловлена ошибкой передачи.

Другой задачей настоящего изобретения, предлагаемого для решения проблемы, является разработка способа управления буфером декодированных изображений в соответствии со способом декодирования, позволяющим минимизировать проблему, которая при осуществлении процедуры декодирования видеосигнала обусловлена ошибкой передачи.

Задачу настоящего изобретения можно решить путем разработки способа декодирования видеосигнала на основе масштабируемости с точной детализацией (МсТД, FGS), заключающегося в том, что получают информацию идентификации изображения, указывающую эталонное изображение текущего блока, и декодируют текущий блок с использованием эталонного изображения, при этом эталонное изображение базового уровня и соответствующее ему эталонное изображение уровня повышенного качества имеют одинаковую информацию идентификации изображения.

Перечень фигур чертежей

Прилагаемые чертежи, которые предусмотрены для обеспечения лучшего понимания изобретения, иллюстрируют конкретные варианты осуществления изобретения и вместе с описанием служат для пояснения принципа изобретения.

На чертежах:

на фиг.1 представлена условная блок-схема системы масштабируемого кодирования видеоинформации, к которой применяется настоящее изобретение;

на фиг.2 представлен вид, иллюстрирующий структуру изображений, используемых в способе декодирования, и способ управления буфером декодированных изображений в соответствии с вариантом осуществления настоящего изобретения;

на фиг.3 представлена блок-схема последовательности операций, иллюстрирующая способ декодирования видеосигнала в соответствии с вариантом осуществления настоящего изобретения;

на фиг.4 представлена блок-схема последовательности операций, иллюстрирующая способ декодирования видеосигнала в соответствии с другим вариантом осуществления настоящего изобретения;

на фиг.5 представлен вид, иллюстрирующий структуру буфера декодированных изображений в соответствии с вариантом осуществления настоящего изобретения;

на фиг.6а-6b представлены виды, иллюстрирующие переупорядочение ссылочных номеров эталонного изображения в соответствии с вариантом осуществления настоящего изобретения;

на фиг.7 представлен вид, иллюстрирующий буферизуемые содержания буфера декодированных изображений, соответствующие кодовым номерам управляющей операции управления памятью (ММСО); и

на фиг.8 представлен вид, иллюстрирующий структуру буфера декодированных изображений в соответствии с другим вариантом осуществления настоящего изобретения.

Наилучший способ осуществления изобретения

Теперь перейдем к подробному рассмотрению предпочтительных вариантов осуществления настоящего изобретения, которые проиллюстрированы на прилагаемых чертежах. Везде, где это возможно, одинаковые позиции будут употребляться на всех чертежах для обозначения одинаковых или сходных деталей.

Кроме того, хотя термины, употребляемые в настоящем изобретении, выбраны из общеизвестных и общеупотребительных терминов, некоторые из терминов, упоминаемых в описании настоящего изобретения, выбраны заявителем по своему усмотрению, а их подробные смысловые содержания приведены в соответствующих частях излагаемого здесь описания. Кроме того, необходимо понять, что настоящее изобретение не просто буквально описывается употребляемыми терминами, а соответствует смысловому содержанию каждого термина, заложенному в нем.

На фиг.1 представлена условная блок-схема системы масштабируемого кодирования видеоинформации, к которой применяется настоящее изобретение.

Система масштабируемого кодирования видеоинформации включает в себя кодер 2 и декодер 10. Кодер 2 включает в себя кодер 4 базового уровня (BE), кодер 6 уровня повышенного качества (EE) и мультиплексор 8 (Mux). Декодер 10 включает в себя демультиплексор 12 (deMux), декодер 14 базового уровня (BD) и декодер 16 уровня повышенного качества (ED). Кодер 4 базового уровня сжимает входной видеосигнал X(n) и генерирует поток битов базового уровня. Кодер 6 уровня повышенного качества сжимает входной видеосигнал X(n) и генерирует поток битов уровня повышенного качества с использованием входного видеосигнала X(n) и информации, генерируемой кодером 4 базового уровня, а мультиплексор 8 генерирует масштабируемый поток битов с использованием потока битов базового уровня и потока битов уровня повышенного качества. Сгенерированный масштабируемый поток битов передается в декодер 10 по некоторому каналу, а переданный масштабируемый поток битов разделяется на поток битов уровня повышенного качества и поток битов базового уровня демультиплексором 12 декодера 10. Декодер 14 базового уровня принимает поток битов базового уровня и декодирует этот поток битов базового уровня с получением выходного видеосигнала Xb(n), а декодер 16 уровня повышенного качества принимает поток битов уровня повышенного качества и декодирует этот поток битов уровня повышенного качества с получением выходного видеосигнала Xe(n). Выходной видеосигнал Xb(n) имеет меньшее разрешение и более низкое качество изображения, чем выходной видеосигнал Xe(n).

На фиг.2 представлен вид, иллюстрирующий структуру изображений, используемых в способе декодирования, и способ управления буфером декодированных изображений в соответствии с вариантом осуществления настоящего изобретения.

В структуре изображений формируется группа изображения (ГИ, GOP) иерархической структуры В-изображений, а изображения, которые составляют ГИ, подразделяются на ключевое изображение и неключевое изображение. Одно изображение состоит из эталонного изображения QB базового уровня и эталонного изображения QE уровня повышенного качества. Ключевое изображение представляет собой изображение, имеющее низший временной уровень, а неключевое изображение представляет собой изображения за исключением ключевого изображения.

В этой структуре в текущем изображении возможно использование, по меньшей мере, одно изображение из изображений, имеющих временные уровни, которые ниже чем временной уровень текущего изображения, или равны ему, в качестве эталонного изображения. Например, когда первое изображение 22 является I-изображением, кодированным внутренним предсказанием, первое изображение 22 кодируется без эталонного изображения, второе изображение 24 кодируется с использованием первого изображения 22 в качестве эталонного изображения, третье изображение 26 кодируется с использованием первого и второго изображений 22 и 24 в качестве эталонных изображений, четвертые изображения 28 и 30 кодируются с использованием первого и третьего изображений 22 и 26 или второго и третьего изображений 24 и 26 в качестве эталонных изображений, пятые изображения 32, 34, 36 и 38 кодируются с использованием первого и четвертого изображений 22 и 28, третьего и четвертого изображений 26 и 28 или второго и четвертого изображений 24 и 30 в качестве эталонных изображений. Изображения кодируются в следующем порядке: первое изображение 22, второе изображение 24, третье изображение 26, четвертые изображения 28 и 30 и пятые изображения 32, 34, 36 и 38. Первое и второе изображения 22 и 24 являются ключевыми изображениями, а изображения с третьего по пятые - 26, 28, 30, 32, 34, 36 и 38 - являются неключевыми изображениями. Ключевое изображение включает в себя эталонное изображение базового уровня и эталонное изображение уровня повышенного качества и представлено в виде первого изображения 22 и второго изображения 24 на фиг.2. Когда неключевое изображение используется в качестве эталонного изображения, имеется в виду эталонное изображение уровня повышенного качества неключевого изображения. Эталонное изображение уровня повышенного качества неключевого изображения указывает, что эталонное изображение базового уровня не ключевого изображения уже восстановлено, и представлено пунктирной линией в качестве изображений с третьего по пятые - 26, 28, 30, 32, 34, 36 и 38, показанных на фиг.2.

На фиг.3 представлена блок-схема последовательности операций, иллюстрирующая способ декодирования видеосигнала в соответствии с вариантом осуществления настоящего изобретения;

Во-первых, декодер принимает кодированный видеосигнал по некоторому каналу. Из этого видеосигнала получают (Э310) информацию идентификации изображения, указывающую эталонное изображение текущего блока. Информация идентификации изображения может быть, например, информацией ссылочного индекса или информацией номера изображения, присущей эталонному изображению. Текущий блок можно декодировать (Э320) с использованием эталонного изображения. Эталонное изображение базового уровня и соответствующее ему эталонное изображение уровня повышенного качества могут иметь одинаковую информацию идентификации изображения. Информация идентификации изображения может быть информацией ссылочного индекса или информацией номера изображения, присущей эталонному изображению. Эталонное изображение уровня повышенного качества может иметь более высокое качество изображения, чем эталонное изображение базового уровня.

Когда изображение, включающее в себя текущий блок, является ключевым изображением, эталонное изображение текущего блока может быть эталонным изображением базового уровня или соответствующим ему эталонным изображением уровня повышенного качества. Эталонное изображение текущего блока может быть получено из списка эталонных изображений на основе информации идентификации. Текущий блок можно декодировать с использованием полученного эталонного изображения. Даже в этом случае, эталонное изображение базового уровня и соответствующее ему эталонное изображение уровня повышенного качества могут иметь одинаковую информацию идентификации изображения. Эталонное изображение уровня повышенного качества может иметь более высокое качество изображения, чем эталонное изображение базового уровня.

Например, когда текущее изображение, показанное на фиг.2, является вторым изображением 24, а также является P-изображением, эталонное изображение второго изображения 24 является первым изображением 22, а второе изображение 24 является ключевым изображением. Соответственно, второе изображение 24, которое является текущим изображением, можно декодировать, обращаясь к эталонному изображению базового уровня или эталонному изображению уровня повышенного качества первого изображения 22. При этом эталонное изображение базового уровня и эталонное изображение уровня повышенного качества могут иметь одинаковую информацию идентификации изображения, а эта информация идентификации изображения может быть информацией ссылочного индекса или информацией номера изображения, присущего эталонному изображению. В другом примере, когда текущее изображение является четвертым изображением 28, эталонное изображение четвертого изображения 24 является первым и третьим изображениями 22 и 26, а четвертое изображение 28 соответствует неключевому изображению. В этом случае эталонное изображение четвертого изображения 28 включает в себя эталонное изображение базового уровня первого изображения 22, эталонное изображение уровня повышенного качества первого изображения 22 или эталонное изображение уровня повышенного качества третьего изображения 26. Эталонное изображение уровня повышенного качества третьего изображения 26 указывает, что эталонное изображение базового уровня третьего изображения 26 уже восстановлено.

На фиг.4 представлена блок-схема последовательности операций, иллюстрирующая способ декодирования видеосигнала в соответствии с другим вариантом осуществления настоящего изобретения.

Во-первых, первое эталонное изображение может быть получено (Э410) из списка эталонных изображений. Здесь первое эталонное изображение связано с информацией идентификации изображения, а эта информация идентификации изображения может быть информацией ссылочного индекса или информацией номера изображения, присущей эталонному изображению. Например, первое эталонное изображение в списке эталонных изображений можно получить с использованием информации ссылочного индекса. Текущий блок можно декодировать (Э420) с использованием полученного первого эталонного изображения. При этом первое эталонное изображение и соответствующее ему второе эталонное изображение могут иметь одинаковую информацию идентификации изображения, и первое эталонное изображение и второе эталонное изображение отличаются друг от друга другой информацией идентификации. Например, эталонное изображение 40 базового уровня и эталонное изображение 42 уровня повышенного качества, имеющие одинаковую информацию идентификации изображения, можно сделать отличающимися друг от друга за счет маркировки эталонного изображения 40 базового уровня как «базового представления», осуществляемой в процессе маркировки декодированных эталонных изображений. Первое эталонное изображение может принадлежать базовому уровню, а второе эталонное изображение может принадлежать уровню повышенного качества. Уровень повышенного качества может иметь качество изображения выше, чем качество изображения базового уровня. Когда изображение, включающее в себя текущий блок, является ключевым изображением, эталонное изображение текущего блока может быть первым эталонным изображением или соответствующим ему вторым эталонным изображением. Текущий блок можно декодировать с использованием полученного опорного изображения.

Как показано на фиг.3 и 4, когда эталонное изображение является первым изображением 22 или вторым изображением 24, которое является ключевым изображением, можно обеспечить эталонное изображение базового уровня или эталонное изображение уровня повышенного качества для текущего изображения. В альтернативном варианте, можно обеспечить первое эталонное изображение или второе эталонное изображение для текущего изображения. Соответственно, эталонное изображение можно хранить в буфере декодированных изображений. В соответствии со способом декодирования видеосигнала согласно настоящему изобретению, способ назначения ссылочного номера эталонному изображению в буфере декодированных изображений или способ буферизации буфера декодированных изображений, такой как способ исключения эталонного изображения, следует охарактеризовать заново. Способ буферизации буфера декодированных изображений в соответствии с настоящим изобретением будет описан подробно со ссылками на фиг. 5 и 6.

Во-первых, в варианте осуществления настоящего изобретения, когда эталонное изображение является ключевым изображением, можно назначить одинаковый номер идентификации изображения эталонному изображению базового уровня и эталонному изображению уровня повышенного качества эталонного изображения, хранимого в буфере декодированных изображений. Когда эталонное изображение является неключевым изображением, поскольку эталонное изображение уровня повышенного качества эталонного изображения хранится в буфере декодированных изображений, один номер идентификации изображения можно назначить эталонному изображению уровня повышенного качества эталонного изображения. То есть, когда эталонное изображение является ключевым изображением, эталонное изображение базового уровня и эталонное изображение уровня повышенного качества эталонного изображения можно обрабатывать как виртуальное изображение. В данном случае, назначаемая информация идентификации изображения включает в себя информацию номера изображения или информацию ссылочного индекса, а информация номера изображения включает в себя долговременный номер эталонного изображения.

На фиг.5 представлен вид, иллюстрирующий структуру буфера декодированных изображений в соответствии с вариантом осуществления настоящего изобретения.

Когда первое изображение 22, которое является ключевым изображением, а также эталонным изображением, как показано на фиг.2, декодируется и сохраняется в буфере декодированных изображений, эталонное изображение 40 базового уровня и эталонное изображение 42 уровня повышенного качества, которые составляют первое изображение 22, сохраняются с номером «0» изображения. Во втором изображении 24, которое является ключевым изображением, а также эталонным изображением, аналогичным первому изображению 22, эталонное изображение 44 базового уровня и эталонное изображение 46 уровня повышенного качества, которые составляют первое изображение 22, сохраняются с номером «1» изображения. В третьем изображении 26, которое является неключевым изображением, а также эталонным изображением, эталонное изображение 48 уровня повышенного качества эталонного изображения 26 сохраняется с номером «2» изображения. Пятые изображения 32, 34, 36 и 38 не сохраняются в буфере декодированных изображений, за исключением случая, когда изображение не отображается непосредственно после декодирования, потому что пятые изображения являются не эталонными изображениями.

При этом, когда текущее изображение является ключевым изображением и ссылается на эталонное изображение, имеющее номер «0» изображения, поскольку эталонное изображение 40 базового уровня и эталонное изображение 42 уровня повышенного качества эталонного изображения 22 имеют одинаковую информацию идентификации изображения, представляющую собой номер «0» изображения, эталонное изображение 40 базового уровня и эталонное изображение 42 уровня повышенного качества, имеющие номер «0» изображения, должны отличаться друг от друга. Соответственно, в настоящем изобретении можно использовать другую информацию идентификации. Например, эталонное изображение 40 базового уровня и эталонное изображение 42 уровня повышенного качества, имеющие номер «0» изображения, отличаются друг от друга за счет маркировки эталонного изображения 40 базового уровня как «базового представления», осуществляемой в процессе маркировки декодированных эталонных изображений.

В другом варианте осуществления, информация идентификации изображения, характерная для изображений, хранимых в буфере декодированных изображений, изменяется в зависимости от того, какое изображение декодируется в буфере декодированных изображений. Следовательно, первое эталонное изображение в списке эталонных изображений можно получить из списка эталонных изображений, а текущий блок можно декодировать с использованием этого первого эталонного изображения. При этом первое эталонное изображение и соответствующее ему второе эталонное изображение имеют одинаковую информацию идентификации изображения, и эти первое эталонное изображение и второе эталонное изображение могут отличаться друг от друга другой информацией идентификации. Например, первое эталонное изображение и второе эталонное изображение, имеющие одинаковый номер изображения, можно сделать отличающимися друг от друга за счет маркировки первого эталонного изображения или второго эталонного изображения как «базового представления», осуществляемой в процессе маркировки декодированных эталонных изображений. Первое эталонное изображение может принадлежать базовому уровню, а второе эталонное изображение может принадлежать уровню повышенного качества. В этом случае, первое эталонное изображение и второе эталонное изображение можно сделать отличающимися друг от друга за счет маркировки первого эталонного изображения как «базового представления».

В другом варианте осуществления настоящего изобретения список эталонных изображений можно инициализировать с использованием эталонного изображения при декодировании текущего блока с использованием эталонного изображения, как описано со ссылками на фиг.3 и 4. Инициализированный список эталонных изображений можно переупорядочить. Когда список эталонных изображений переупорядочен, эталонное изображение можно получать из переупорядоченного списка эталонных изображений Переупорядочение списка эталонных изображений будет описано со ссылками на фиг.6а и 6b.

На фиг.6а-6b представлены виды, иллюстрирующие переупорядочение ссылочных номеров эталонного изображения в соответствии с вариантом осуществления настоящего изобретения.

Переупорядочение ссылочных номеров эталонного представляет команду переназначения наименьшего ссылочного номера изображению, имеющему наибольшую корреляцию с текущим изображением в списке эталонных изображений, и эффективного управления эталонным изображением, когда изображения, близкие во временном отношении к текущему изображению, обладают меньшей корреляцией с текущим изображением, чем корреляция изображения, которое удалено во временном отношении от текущего изображения, при декодировании текущего изображения. Переупорядочение ссылочных номеров будет описано подробно со ссылками на фиг.6а и 6b.

На фиг.6а показана структура изображений в состоянии, где первое, второе, третье и четвертое изображения 22, 24, 26, 28 и 30 декодированы и сохранены в буфере декодированных изображений. Когда желательно декодировать пятое изображение 34, составляется список 0 эталонных изображений, содержащий изображения, хранимые в буфере декодированных изображений, как показано на фиг.6b. Изображениям даются ссылочные номера при циклическом сдвиге списка 0 эталонных изображений от пятого изображения 34 в направлении против часовой стрелки, и изображениям даются ссылочные номера при циклическом сдвиге списка 1 эталонных изображений от пятого изображения 34 в направлении по часовой стрелке. Вместе с тем, когда первое изображение 22, которое удалено во временном отношении от пятого изображения 34, обладает большей корреляцией с текущим изображением, чем корреляция четвертого изображения 28, которое оказывается близким во временном отношении к текущему изображению, в списке 0 эталонных изображений ссылочный номер 0 переназначается первому изображению 22, а ссылочный номер 1 переназначается четвертому изображению 28, что и приводит к переупорядочению списка эталонных изображений. Когда второе изображение 24, которое удалено во временном отношении от пятого изображения 34, обладает большей корреляцией с текущим изображением, чем корреляция четвертого изображения 30, которое оказывается близким во временном отношении к текущему изображению, в списке 1 эталонных изображений ссылочный номер 1 переназначается второму изображению 24, а ссылочный номер 2 переназначается четвертому изображению 30, что и приводит к переупорядочению списка эталонных изображений.

В одном варианте осуществления настоящего изобретения, как описано выше, при переупорядочении ссылочных номеров, когда эталонное изображение является ключевым изображением, эталонное изображение базового уровня и эталонное изображение уровня повышенного качества обрабатываются как одно изображение, которому переназначается ссылочный номер, а когда эталонное изображение является неключевым изображением, переназначается ссылочный номер, назначенный эталонному изображению уровня повышенного качества, что и приводит к переупорядочению списка эталонных изображений.

В качестве другого варианта осуществления настоящего изобретения, при инициализации списка эталонных изображений используется тот же способ, что и при переупорядочении ссылочных номеров. Например, получают информацию идентификации изображения, указывающую эталонное изображение текущего блока, и считывают эталонное изображение, хранимое в буфере эталонных изображений, на основе полученной информации идентификации изображения. Текущий блок декодируют с использованием считываемого эталонного изображения. Эталонное изображение базового уровня и соответствующее эталонное изображение уровня повышенного качества могут иметь одинаковую информацию идентификации изображения, а эта информация идентификации изображения включает в себя информацию ссылочного индекса или информацию номера изображения, присущую эталонному изображению. Когда эталонное изображение является ключевым изображением, эталонное изображение базового уровня и соответствующее эталонное изображение уровня повышенного качества обрабатываются как одно изображение, которому может быть назначен ссылочный номер. Когда эталонное изображение является неключевым изображением, ссылочный номер может быть назначен эталонному изображению уровня повышенного качества. Даже когда эталонное изображение больше не должно быть эталонным и стирается из буфера декодированных изображений с использованием способа скользящего окна, если эталонное изображение является ключевым изображением, то эталонное изображение базового уровня и соответствующее эталонное изображение уровня повышенного качества обрабатываются как одно изображение, и эталонное изображение может быть стерто из буфера. Если эталонное изображение является неключевым изображением, то эталонное изображение уровня повышенного качества может быть стерто из буфера. В этом случае изображение стирают с использованием способа «первым пришел - первым обслужен» (FIFO), называемого также способом простой очереди, при этом первым стирается то изображение, которое первым сохранено в буфере.

В качестве другого варианта осуществления настоящего изобретения будет описан способ управления буфером декодированных изображений с использованием управляющей операции управления памятью (именуемой далее «ММСО»). Когда ММСО осуществляют над текущим изображением в рамках процедуры декодирования текущего изображения, проводится управление буфером декодированных изображений в соответствии с ММСО. Как показано на фиг.5, в случае, когда текущее изображение является ключевым изображением, оба эталонных изображения - 52 базового уровня и 54 уровня повышенного качества - эталонного изображения 50 в буфере декодированных изображений подвергаются управляющей операции 56 управления памятью (например, воздействию команды перемещения эталонного изображения из краткосрочной памяти в долговременную память). Когда текущее изображение является неключевым изображением, эталонное изображение базового уровня и эталонное изображение уровня повышенного качества эталонного изображения 58 в буфере декодированных изображений подвергаются управляющей операции 60 управления памятью. Теперь, со ссылками на фиг.7, будет описано содержание управления, соответствующее значению, назначенному ММСО.

На фиг.7 представлен вид, иллюстрирующий содержание управления буфером декодированных изображений, соответствующее кодовым номерам ММСО.

Во-первых, когда кодовый номер ММСО равен 0, это указывает, что управление памятью завершено. Когда кодовый номер ММСО равен 1, это указывает, что кратковременное эталонное изображение маркировано не эталонным изображением. Когда кодовый номер ММСО равен 2, это указывает, что кратковременное эталонное изображение маркировано не эталонным изображением. Когда кодовый номер ММСО равен 3, это указывает, что кратковременное эталонное изображение маркировано не долговременным эталонным изображением и перемещено в долговременную память. Когда кодовый номер ММСО равен 4, это указывает, что принято решение о размере долговременной памяти. Когда кодовый номер ММСО равен 5, это указывает, что все эталонные изображения маркированы не эталонным изображением и все содержимое буфера сброшено. Когда кодовый номер ММСО равен 6, это указывает, что текущее изображение маркировано долговременным эталонным изображением и перемещено в долговременную память.

Операция, соответствующая кодовому номеру ММСО, осуществляется как относительно эталонного изображения базового уровня, так и относительно эталонного изображения уровня повышенного качества, когда текущее изображение является ключевым изображением, и осуществляется относительно эталонного изображения уровня повышенного качества эталонного изображения, когда текущее изображение является неключевым изображением. То есть, когда для эталонного изображения базового уровня и эталонного изображения уровня повышенного качества задается одинаковый номер идентификации изображения, переупорядочение ссылочного номера, инициализацию списка эталонных изображений, стирание эталонного изображения и управление буфером с использованием ММСО можно проводить в блоке изображения, имеющем тот же номер идентификации изображения. Номер идентификации изображения включает в себя информацию ссылочного индекса или информацию номера изображения, присущую эталонному изображению.

В другом варианте осуществления настоящего изобретения, информация идентификации изображения назначается в блоке изображения, хранимого в буфере декодированных изображений, независимо от того, является эталонное изображение ключевым изображением или неключевым изображением. То есть, даже когда эталонное изображение является ключевым изображением, эталонному изображению базового уровня и эталонному изображению уровня повышенного качества эталонного изображения назначаются разные информации идентификации изображения. Когда эталонное изображение является неключевым изображением, эталонное изображение базового уровня и эталонное изображение уровня повышенного качества сохраняются в буфере декодированных изображений, и поэтому один элемент информации идентификации изображения назначается эталонному изображению уровня повышенного качества.

На фиг.8 представлен вид, иллюстрирующий структуру буфера декодированных изображений в соответствии с другим вариантом осуществления настоящего изобретения.

Когда первое изображение 22 (показанное на фиг.2), которое является ключевым изображением, а также эталонным изображением, декодируется и сохраняется в буфере декодированных изображений, номер 0 изображения назначается эталонному изображению 40 базового уровня первого изображения 22, а номер 1 изображения назначается эталонному изображению 42 уровня повышенного качества первого изображения 22. Во втором изображении 24, которое является ключевым изображением, а также эталонным изображением, аналогичным первому изображению 22, номер 2 изображения назначается эталонному изображению 44 базового уровня второго изображения 24, а номер 3 изображения назначается эталонному изображению 46 уровня повышенного качества второго изображения 24. В третьем изображении 26, которое является неключевым изображением, а также эталонным изображением, поскольку эталонное изображение уровня повышенного качества сохраняется в буфере декодированных изображений, номер 4 изображения назначается эталонному изображению 48 уровня повышенного качества. Поскольку пятые изображения 32, 34, 36 и 38 являются неэталонным изображением, пятые изображения не сохраняются в буфере декодированных изображений, за исключением случая, когда пятые изображения не отображаются непосредственно после декодирования.

В другом варианте осуществления настоящего изобретения, при переупорядочении ссылочных номеров, когда текущее изображение является ключевым изображением, ссылочный номер переназначается только эталонному изображению базового уровня, а когда текущее изображение является неключевым изображением, ссылочный номер переназначается только эталонному изображению уровня повышенного качества.

В другом варианте осуществления настоящего изобретения, при инициализации списка эталонных изображений и буферизации буфера с использованием ММСО, если текущее изображение является ключевым изображением, то и эталонное изображение базового уровня, и эталонное изображение уровня повышенного качества подвергаются инициализации и операции управления памятью с использованием ММСО даже тогда, когда ссылочные номера этих изображений оказываются разными, а если текущее изображение является неключевым изображением, то эталонное изображение уровня повышенного качества эталонного изображения подвергается инициализации и операции управления памятью с использованием ММСО.

Как показано на фиг.8, например, команда 62 ММСО, по которой эталонное изображение 50 перемещается из кратковременной памяти в долговременную память, получается на основании текущего изображения. Когда текущее изображение является ключевым изображением, из кратковременной памяти в долговременную память перемещаются и эталонное изображение базового уровня, и эталонное изображение уровня повышенного качества, а когда текущее изображение является неключевым изображением, эталонное изображение 58 уровня повышенного качества эталонного изображения подвергается воздействию команды 64 ММСО.

Когда ссылка на эталонное изображение больше не требуется, вследствие чего оно стирается из буфера декодированных изображений способом скользящего окна, если текущее изображение является ключевым изображением, то эталонное изображение базового уровня и эталонное изображение уровня повышенного качества стираются из буфера даже тогда, когда ссылочные номера этих изображений оказываются разными. Вместе с тем, если текущее изображение является неключевым изображением, то эталонное изображение уровня повышенного качества эталонного изображения стирается из буфера. В этом случае изображение стирается с использованием способа «первым пришел - первым обслужен» (FIFO), при этом первым стирается то изображение, которое первым сохранено в буфере.

Для специалистов в данной области техники будет очевидно, что в рамках объема притязаний изобретения можно осуществить различные модификации и изменения настоящего изобретения. Поэтому предполагается, что настоящее изобретение охватывает модификации и изменения этого изобретения при условии, что они находятся в рамках притязаний прилагаемой формулы изобретения и ее эквивалентов.

Промышленная применимость

Как описано выше, в соответствии с настоящим изобретением, когда декодируется ключевое изображение, эталонное изображение базового уровня или эталонное изображение уровня повышенного качества эталонного изображения выдаются в качестве эталонного изображения, а когда декодируется неключевое изображение, эталонное изображение уровня повышенного качества эталонного изображения выдается в качестве эталонного изображения. Поэтому можно минимизировать проблему, которая при осуществлении процедуры декодирования видеосигнала обусловлена ошибкой передачи. Когда видеосигнал декодируют с использованием вышеописанного способа декодирования, появляется возможность эффективного декодирования видеосигнала с использованием нового способа буферизации буфера декодированных изображений, который оптимизируется с помощью способа декодирования.

1. Способ декодирования видеосигнала в видеодекодере, содержащий: декодирование уровня базового качества; декодирование уровня повышенного качества на основе уровня базового качества; и маркировку изображения уровня базового качества и изображения уровня повышенного качества как эталонного изображения, при этом как изображение уровня базового качества, так и изображение уровня повышенного качества имеют одинаковую информацию идентификации изображения, и на этапе маркировки изображение уровня базового качества маркируется как другая информация представления, при этом информация идентификации изображения включает в себя по меньшей мере одну из информации номера кадра, указывающей порядок декодирования, информации номера изображения для идентификации изображения и информации ссылочного индекса.

2. Способ по п.1, в котором как изображение уровня базового качества, так и изображение уровня повышенного качества, которые имеют одинаковую информацию идентификации изображения, имеют наименьшее временное разрешение.

3. Способ по п.1, в котором изображение уровня повышенного качества имеет пониженный размер шага дискретизации по сравнению с изображением уровня базового качества.

4. Устройство для декодирования видеосигнала, содержащее: декодер базового уровня, декодирующий уровень базового качества; декодер повышенного уровня, декодирующий уровень повышенного качества на основе уровня базового качества, и маркирующий изображение уровня базового качества и изображение уровня повышенного качества как эталонное изображение, при этом как изображение уровня базового качества, так и изображение уровня повышенного качества имеют одинаковую информацию идентификации изображения, и изображение уровня базового качества маркируется как другая информация представления, при этом информация идентификации изображения включает в себя по меньшей мере одну из информации номера кадра, указывающей порядок декодирования, информации номера изображения для идентификации изображения и информации ссылочного индекса.



 

Похожие патенты:

Изобретение относится к сетевым технологиям связи, в частности к способу и устройству управления воспроизведением видео- и аудиоданных. Техническим результатом является снижение прерывистости воспроизведения видео- и аудиоданных.

Изобретение относится к области систем обработки данных, которые улучшают способность пользователей манипулировать аудио- и видеоносителями. Технический результат заключается в уменьшении времени ожидании отклика веб-страницы.

Предложены способ предоставления услуги «видео по запросу» (VOD) с помощью плеера диска Blu-ray и машиночитаемый носитель с программой для осуществления такого способа.

Изобретение относится к передаче изменяющегося видеоконтента в сеансе терминального сервера. Техническим результатом является повышение эффективности передачи и снижение объема данных, формирующих видеоконтент.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении оптимальности кодирования сигнала движущегося изображения.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении компенсации движения с высокой точностью.

Изобретение относится к вычислительной технике. Технический результат заключается в уменьшении объема служебной информации в области сжатия многоракурсных видеопоследовательностей с картами глубин.

Изобретение относится к вычислительной технике. Технический результат заключается в формировании прогнозируемого изображения с высокой точностью без увеличения процессорной нагрузки.

Изобретение относится к способу моделирования информации кодирования видеосигнала для компрессии (сжатия) информации кодирования или декомпрессии (восстановления) сжатой информации масштабируемым видеокодеком (SVC).

Изобретение относится к области систем обработки данных. Техническим результатом является сокращение времени ожидания при исполнении видеоигр или приложений.

Изобретение относится к медиаданным с множеством изображений и, в частности, к генерированию и обработке таких медиаданных с множеством изображений (Multi-View Video). Техническим результатом является более эффективная обработки медиаданных с множеством изображений, например, в связи с избирательным удалением, рендерингом и/или применением защиты медиаданных с множеством изображений. Указанный технический результат достигается тем, что генерируются медиаданные с множеством изображений посредством предоставления закодированных медиаданных, представляющих множественные медиа изображения медиаконтента. Каждое из медиа изображений связывается со структурным идентификатором приоритета, указывающим взаимоотношения кодирования медиаданных относительно медиаданных, по меньшей мере, одного другого медиа изображения. Определяется идентификатор приоритета контента для, предпочтительно, каждого медиа изображения. Идентификатор приоритета контента, в отличие от структурного идентификатора приоритета, указывает уровень значимости рендеринга медиаданных медиа изображения. 5 н. и 16 з.п. ф-лы, 14 ил., 3 табл.

Изобретение относится к области систем обработки данных, которые улучшают способность пользователей манипулировать аудио- и видеоносителями и подключаться к ним. Техническим результатом является обеспечение малого времени ожидания для множества клиентских устройств при исполнении твич видеоигр или приложений реального времени на серверах в центре службы хостинга. Способ потоковой передачи интерактивного видео включает в себя исполнение твич видеоигр или приложений реального времени на серверах в центре службы хостинга, формирование, посредством центра службы хостинга, сжатых потоков интерактивного видео в результате исполнения твич видеоигр или приложений реального времени и передачу сжатых множественных копий через выходной интерфейс Интернет-трафика центра службы хостинга одного конкретного из сжатых потоков интерактивного видео множеству клиентских устройств. При этом один конкретный из сжатых потоков интерактивного видео сжат с наихудшим временем ожидания сигнала туда и обратно от управляющего ввода пользователя, для отображения ответа на управляющий ввод пользователя на клиентском устройстве, в 90 мс на расстояние передачи до 2414 км. 2 н. и 7 з.п. ф-лы, 40 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении возможности прямой и обратной декорреляции цифровых видеоизображений при сжатии, восстановлении и передаче по каналам связи с минимальной вычислительной сложностью. Способ формирования целочисленных ортогональных декоррелирующих матриц заданных размеров для прямого и обратного декоррелирующего преобразования видеоизображений включает выбор порождающей матрицы, последующее формирование матриц заданного размера и их запоминание, причем в качестве порождающей матрицы выбирают целочисленную ортогональную матрицу Адамара размером 2×2, а при формировании матриц заданного размера последовательно до получения требуемой матрицы формируют матрицы размерами, на единицу большими предыдущей, причем знаки всех элементов первой строки текущей матрицы меняют на противоположные, при этом слева от верхней строки полученной матрицы вводят новый целочисленный элемент, значение которого равно количеству расположенных в его же строке справа от него элементов, причем над верхней строкой полученной матрицы вводят новую строку, размер которой на единицу превышает размер строки исходной матрицы и все элементы которой имеют единичные значения, при этом недостающие элементы формируемой матрицы представляют в виде нулей. 2 н.п. ф-лы, 1 ил., 2 прил.

Изобретение относится к вычислительной технике, а именно к устройству и способу декодирования изображений. Техническим результатом является повышение эффективности декодирования информации. Устройство декодирования изображений принимает кодированный с прогнозированием поток битов, который создается посредством разделения каждого кадра сигнала движущегося изображения на опорные блоки заданного размера. Устройство осуществляет декодирование потока битов для получения сигнала движущихся изображений. Устройство содержит модуль декодирования для декодирования потока битов для получения информации, указывающей заданный размер. Устройство также работает в режиме прогнозирования движения и определяет вектор движения для каждого из опорных блоков или для каждого из единичных блоков прогнозирования движения, определенных как блоки, получаемые иерархическим разделением опорных блоков. Режим прогнозирования движения определяет процедуру прогнозирования движения для единичных блоков прогнозирования движения. 2 н.п. ф-лы, 26 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении эффективного качества прогноза. Способ кодирования последовательности изображений содержит стадию кодирования, по меньшей мере, одного блока текущего изображения последовательности, осуществляя прогноз, связывающий указанный блок, по меньшей мере, с одним соответствующим блоком в опорном изображении, причем указанный прогноз содержит следующие стадии, по меньшей мере, для одного данного блока текущего изображения или опорного изображения: определение множества векторов управления для блока, причем каждый из указанных векторов управления определяют с учетом движения указанного блока и, по меньшей мере, одного флажка соединения, представляющего движение между указанным блоком и, по меньшей мере, одним соседним блоком в указанных опорном и текущем изображениях; по меньшей мере, одно разбиение блока на подблоки; определение множества векторов управления для подблоков; определение величины прогноза, по меньшей мере, для одной точки текущего изображения. Кроме того, способ содержит стадию вставки в сигнал, представляющий последовательность, информации о восстановлении векторов управления для данного блока. 8 н. и 5 з.п. ф-лы, 15 ил.

Изобретение относится к области передачи кодированных видео данных для усовершенствования многовидового видеокодирования (MVC) в системах MPEG-2 (Экспертная группа по движущимся изображениям). Техническим результатом является обеспечение возможности устройству приема, после приема потока транспортного уровня, содержащего множество подпотоков битов, каждый из которых имеет непоследовательные виды, переупорядочивать виды в подпотоках битов таким образом, что транспортный поток упорядочивается должным образом, то есть в возрастающем порядке с точки зрения порядковых индексов видов, так что декодер может должным образом декодировать кадры каждого из видов. Указанный технический результат достигается тем, что устройство содержит видеокодер, который кодирует множество видов сцены, мультиплексор, который формирует структуру данных для сигнализации, что соответствующий поток битов стандарта MPEG-2 содержит первый вид сцены, ассоциированный с первым порядковым индексом вида, и второй вид сцены, ассоциированный со вторым порядковым индексом вида, причем первый порядковый индекс вида и второй порядковый индекс вида являются непоследовательными, и выходной интерфейс для вывода структуры данных. 4 н. и 28 з.п. ф-лы, 7 табл., 8 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в сжатии без визуальных потерь. Способ сжатия изображений, программируемый в контроллере устройства, в котором разбивают изображение на один или более блоков; и применяют гамма-преобразование к каждому пикселю изображения для выработки данных с одинаковым числом битов; вычисляют значения предсказания для каждого пикселя в каждом блоке из одного или более блоков с использованием множества режимов предсказания; применяют квантование к каждому пикселю каждого блока из одного или более блоков с использованием множества чисел квантования; вычисляют дифференциальную импульсно-кодовую модуляцию (ДИКМ) для выработки остатков квантованных значений для каждого из множества чисел квантования, при этом число битов, вырабатываемых для каждого блока из одного или более блоков, равно бюджету битов; вычисляют импульсно-кодовую модуляцию (ИКМ), включающую в себя сдвиг каждого значения пикселя на фиксированное число битов; выбирают для каждого блока из указанного одного или более блоков ДИКМ с числом квантования, при котором достигается наилучшая точность кодирования; выбирают способ кодирования из ДИКМ с указанным числом квантования и ИКМ; и вырабатывают битовый поток, содержащий данные, кодированные выбранным способом кодирования. 3 н. и 11 з.п. ф-лы, 17 ил.

Изобретение относится к области техники обработки и сжатия цифрового файла, в частности, типа изображения, видео и/или аудио. Техническим результатом является обеспечение высокого качества и меньшего сжатия цифрового файла. Указанный технический результат достигается тем, что предложен способ обработки цифрового файла типа изображений, видео и/или аудио, который содержит фазу для размещения в строку на каждый цветовой слой и/или на каждый аудиоканал цифровых данных любого файла аудио, изображения и видео, фазу сжатия, использующую алгоритм, в котором каждое сжатое значение VCn положения N получается посредством вычитания из значения Vn этого же положения N исходного файла предварительно определенного количества последовательных сжатых значений (VCn-1, VCn-2, …), вычисленных предварительно, и фазу восстановления, использующую алгоритм, в котором каждое восстановленное значение VDn положения N получается посредством добавления к значению VCn этого же положения сжатого файла предварительно определенного количества последовательных сжатых значений (VCn-1 VCn-2, …). 6 з.п. ф-лы, 7 ил.

Изобретение относится к декодирующему устройству данных высококачественного изображения. Техническим результатом является декодирование данных последовательных изображений, закодированных в верхнем уровне, и данных чересстрочных изображений, закодированных в нижнем уровне. Предложено декодирующее устройство, содержащее: первый блок декодирования, выполненный с возможностью декодирования вторых кодированных данных и генерирования прогнозной картинки; блок обработки дискретизации с повышенной частотой, выполненный с возможностью дискретизации с повышенной частотой первых прогнозных данных изображения, сгенерированных первым блоком декодирования, для генерирования первых данных прогнозного изображения, дискретизированных с повышенной частотой; второй блок обработки дискретизации с повышенной частотой, выполненный с возможностью дискретизации с повышенной частотой данных прогнозного изображения, сгенерированных первым блоком декодирования, для генерирования вторых данных прогнозного изображения, дискретизированных с повышенной частотой; блок выбора, выполненный с возможностью выбора первых данных прогнозного изображения или вторых данных прогнозного изображения, согласно данным флага в качестве данных прогнозного изображения, для прогнозирования данных последовательных изображений, и второй блок декодирования, выполненный с возможностью декодирования первых кодированных данных, с использованием данных прогнозного изображения, выбранных блоком выбора. 2 н.п. ф-лы, 22 ил., 2 табл.

Изобретение относится к технологии телевидения по протоколу Интернета и, в частности, к телевизионной приставке, системе и способу для осуществления записи и воспроизведения IPTV. Техническим результатом является обеспечение возможности записи и воспроизведения канала IPTV, что позволяет пользователю просматривать программы других каналов одновременно с записью программы передаваемого в данное время канала. Указанный технический результат достигается тем, что телевизионная приставка выполнена с возможностью хранения информации о каналах и адресах воспроизведения каналов, загружаемой с сервера электронной программы телепередач (EPG); при приеме команды пользователя на запись канала и/или переключение канала, получения соответствующего адреса воспроизведения согласно каналу, выбранному пользователем, и получения мультимедийного потока программы канала, соответствующего адресу воспроизведения, с мультимедийного сервера для записи или воспроизведения; и когда пользователю необходимо одновременно выполнить запись и воспроизведение в одной и той же процедуре, телевизионная приставка переключает запись в фоновый режим и устанавливает воспроизведение в режим просмотра. 3 н. и 7 з.п. ф-лы, 3 ил.
Наверх