Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности декодирования блоков изображения. Реализуемый компьютером способ энтропийного декодирования блоков в кодированном изображении содержит прием потока, представляющего по меньшей мере одно кодированное изображение; идентификацию из потока предопределенного множества групп блоков; обеспечение каждой группы блоков первому модулю декодирования; и обработку первым модулем декодирования первого блока в заданной группе блоков, при этом обработка первого блока содержит: определение, что первый блок является первым в порядке блоков в заданной группе блоков; извлечение первого набора данных вероятности из буфера, если первый блок является первым в порядке блоков в заданной группе блоков, причем первый набор данных вероятности содержит первый набор вероятностей появления символов, связанных с блоком, который расположен в непосредственной близости к первому блоку, и который принадлежит другой группе блоков, которая отличается от заданной группы блоков в предопределенном множестве групп блоков; энтропийное декодирование первого блока на основе первого набора данных вероятности; и обработку первым модулем декодирования второго блока в заданной группе блоков. 4 з.п. ф-лы, 12 ил.

 

Область техники, к которой относится изобретение

Изобретение относится, в основном, к области обработки изображения и, конкретнее, к способу кодирования и декодирования цифровых изображений и последовательностей цифровых изображений.

Изобретение, таким образом, может быть, главным образом, применено к способу кодирования видеосигналов, применяемого в находящихся в обращении кодерах изображения (MPEG, Н.264 и т.д.) или в появляющихся кодерах изображения (ITU-T/VCEG (Н.265) или ISO/MPEG (HVC)).

Уровень техники

Современные кодеры видеосигнала (MPEG, Н264, и т.п.) используют блочное представление видеопоследовательности. Изображения нарезаются на макроблоки, каждый макроблок в свою очередь нарезается на блоки и каждый блок или макроблок кодируется с внутренним или внешним предсказанием изображения. Таким образом, определенные изображения кодируются пространственным предсказанием (внутреннее предсказание), в то время как другие изображения кодируются временным предсказанием (внешнее предсказание) по отношению к одному или более кодируемому/декодируемому опорному изображению, при помощи компенсации движения, известному специалистам в данной области техники. Более того, для каждого блока может быть закодирован остаточный блок, соответствующий оригинальному блоку, уменьшенному предсказанием. Коэффициенты данного блока квантуются после факультативной трансформации и затем кодируются энтропийным кодером.

Внутреннее и внешнее предсказание требует наличия определенных блоков, которые ранее были закодированы и декодированы, чтобы использоваться либо декодером, либо кодером для предсказания текущего блока. Пример схемного решения такого кодирования с предсказанием представлен на фиг.1A, в котором изображение IN нарезано на блоки, текущий блок MBi такого изображения подвержен кодированию с предсказанием по отношению к заданному количеству трех блоков MBr1, MBr2 и MBr3, ранее кодированных и декодированных, как обозначено заштрихованными стрелками. Вышеупомянутые три блока конкретнее содержат блок MBr1, находящийся непосредственно слева от текущего блока MBi, и два блока MBr2 и MBr3, находящиеся соответственно непосредственно выше и выше справа от текущего блока MBi.

Наиболее интересен здесь энтропийный кодер. Энтропийный кодер кодирует информацию в порядке поступления. Обычно построчное прохождение блоков осуществляется растровым типом, как показано на фиг.1A, на основе PRS, начиная с блока, находящегося верху слева изображения. Для каждого блока различные элементы информации, необходимые для представления блока (тип блока, вид предсказания, остаточные коэффициенты и т.п.), направляются последовательно в энтропийный кодер.

Эффективный арифметический кодер разумной сложности уже известен, так называемый «CABAC» (Контекстно-зависимый адаптивный бинарный арифметический кодер), используемый в стандарте сжатия AVC (также известный как ISO-MPEG4 part 10 и ITU-TH.264).

Энтропийный кодер осуществляет реализацию различных концепций:

- арифметическое кодирование: кодер, такой как описан вначале в документе J. Rissanenand G.G. Langdon Jr. "Universalmodelingandcoding" IEEETrans. Inform. Theory, vol.IT-27, pp.12-23, Jan. 1981, использует кодирование символа, вероятность возникновения данного символа;

- адаптацию к контексту: это влечет за собой адаптацию вероятности возникновения символов, подлежащих кодированию. С одной стороны, осуществляется получение информации по ходу работы. С другой стороны, согласно состоянию ранее кодированной информации для кодирования используется определенное содержание. Каждое содержание соответствует присущей вероятности возникновения символа. Например, содержание соответствует типу кодированного символа (представление коэффициента остатка, сообщение вида кодирования и т.п.) согласно заданной конфигурации или состоянию соседства (например, количество «внутренних» видов, выбранных из соседнего окружения, и т.п.);

- бинаризацию: символы, подлежащие кодированию, преобразовываются в форму строки битов. Соответственно эти различные биты успешно отправлены в бинарный энтропийный кодер.

Таким образом, данный энтропийный кодер осуществляет реализацию для каждого используемого контекста системы получения информации о вероятностях по ходу работы по отношению к ранее кодированным символам для рассмотренного содержания. Данный способ получения информации основывается на порядке кодирования данных символов. Обычно изображение проходится согласно порядку по типу «развертка растра», описанному выше.

Во время кодирования данного символа b, который может быть равен 0 или 1, информация о вероятности Pi возникновения данного символа обновляется для текущего блока MBi согласно следующему выражению:

где α является заданной величиной, например, 0,95 и Pi-1 является вероятностью возникновения символа, вычисленной во время последнего возникновения данного символа.

Схематический пример такого энтропийного кодирования представлен на фиг.1A, где текущий блок MBi изображения IN подвергается энтропийному кодированию. Когда энтропийное кодирование блока MBi начинается, используются вероятности возникновения символа, которые были получены после кодирования ранее кодированного и декодированного блока, который непосредственно предшествовал текущему блоку MBi согласно вышеописанному порядку построчного прохождения блоков по типу «развертка растра». Такой способ получения информации, основанный на поблочной зависимости, показан на фиг.1A для определенных блоков только ради ясности понимания стрелками, изображенными тонкими линиями.

Недостатком такого типа энтропийного кодирования является то, что во время кодирования символа, находящегося в начале ряда, использованные вероятности соответствуют, главным образом, тем, которые выявлены для символов, находящихся в конце предыдущего ряда, при использовании прохождения блоков по типу «развертка растра». Сейчас, в связи с возможностью наличия пространственной вариации вероятностей символов (например, для символов, относящихся к элементу информации перемещения, и элемент перемещения, находящийся в правой части изображения, может отличаться от наблюдаемого в левой части, и, следовательно, аналогично для локальных вероятностей, возникающих из этого) может наблюдаться отсутствие локальных соответствий вероятностей, что вызывает снижение эффективности кодирования.

Документ «Annex A: CDCMVideoCodecDecoderSpecification», который доступен на сайте http://wftp3.itu.int/av-arch/jctvc-site/2010 04 ADresden/JCTVC-A114-AnnexA.doc (8 февраля 2011), описывает способ кодирования, который смягчает вышеописанный недостаток. Способ кодирования, описанный в вышеупомянутом документе, содержит, как показано на фиг.1B:

- этап нарезки изображения IN на множество блоков,

- этап кодирования с предсказанием текущего блока MBi данного изображения по отношению к заданному количеству трех блоков MBr1, MBr2 и MBr3, ранее кодированных и декодированных, как это показано заштрихованными стрелками. Вышеупомянутые три блока специфически содержат блок MBr1, находящийся непосредственно слева от текущего блока MBi, и два блока MBr2 и MBr3, находящиеся соответственно непосредственно выше и выше справа от текущего блока MBi,

- этап энтропийного кодирования блоков изображения IN, согласно которому каждый блок использует вероятности возникновения символа, вычисленные соответственно для кодированного и декодированного блока, который находится непосредственно выше текущего блока и для кодированного и декодированного блока, который находится непосредственно слева от текущего блока, когда данные блоки доступны. Данный способ использования вероятностей возникновения символа частично показан на фиг.1B, с целью упрощения демонстрации последнего, стрелками, изображенными тонкими линиями.

Преимущество такого энтропийного кодирования заключается в том, что здесь используются вероятности, появившиеся из ближнего окружения текущего блока, таким образом, предоставляя возможность увеличить качество кодирования. Более того, используемая технология кодирования предоставляет возможность осуществления параллельного кодирования заданного количества парных соседствующих подсовокупностей блоков. В примере, показанном на фиг.1B, три подсовокупности SE1, SE2, SE3 кодируются параллельно, каждая подсовокупность состоит в данном примере из ряда блоков, показанных штриховой линией. Конечно, такое кодирование требует того, чтобы блоки, находящиеся соответственно выше и выше справа от текущего блока, были в наличии.

Недостатком данного параллельного кодирования является то, что предоставляется доступ к вероятности возникновения символа, вычисленной для блока, находящегося непосредственно выше текущего блока, что вызывает необходимость хранения количества вероятностей, ассоциированных с рядом блоков. Если рассматривается второй ряд блоков SE2, на примере фиг.1B, первый блок данного ряда подвергается энтропийному кодированию с использованием вероятностей возникновения символа, вычисленных для первого блока предыдущего первого ряда SE1. По завершении кодирования первого блока второго ряда, состояние величины V1 вероятности возникновения символа хранится в буферном запоминающем устройстве MT. Второй блок второго ряда SE2 в дальнейшем подвергается энтропийному кодированию с использованием вероятностей возникновения символа, вычисленных на тот же и в тот же момент времени для второго блока первого ряда SE1 и первого блока второго ряда SE2. По завершении кодирования второго блока второго ряда, состояние значения V2 вероятности возникновения хранится в буферном запоминающем устройстве MT. Данная процедура осуществляется до последнего блока второго ряда SE2. Так как количество вероятностей очень велико (существует столько вероятностей, сколько существует комбинаций синтаксических элементов с ассоциированными контекстами), то хранение таких вероятностей более полного ряда очень расточительно с точки зрения использования ресурсов памяти.

Раскрытие изобретения

Одной из целей изобретения является устранение недостатков, описанных выше, которые присущи предыдущему уровню техники.

Для этой цели изобретение относится к способу кодирования по меньшей мере одного изображения, который содержит этапы, на которых:

- выполняют нарезку изображения на множество блоков,

- группируют блоки в заданное количество подсовокупностей блоков,

- выполняют параллельное кодирование каждой упомянутой подсовокупности блоков, при этом

блоки подсовокупности подлежат кодированию согласно заданному последовательному порядку прохождения, причем упомянутый этап кодирования для текущего блока подсовокупности содержит подэтапы, на которых:

- выполняют кодирование с предсказанием текущего блока относительно по меньшей мере одного ранее кодированного и декодированного блока,

- выполняют энтропийное кодирование текущего блока на основании по меньшей мере одной вероятности возникновения символа.

При этом способ согласно изобретению характеризуется тем, что:

- в случае, когда текущий блок является первым блоком для кодирования в указанной подсовокупности, вероятность возникновения символа является той же, что вычислена для кодированного и декодированного заданного блока по меньшей мере одной другой подсовокупности,

- в случае, когда текущий блок является блоком в указанной подсовокупности, отличающимся от первого блока, вероятность возникновения символа является той же, что вычислена по меньшей мере для одного кодируемого и декодированного блока, принадлежащего той же подсовокупности.

Такая конфигурация позволяет хранить в буферном запоминающем устройстве кодера значительно меньшее количество вероятностей возникновения символов, так как энтропийное кодирование текущего блока, за исключением первого блока подсовокупности блоков, больше не обязательно требует использования вероятностей возникновения символа, вычисленных для ранее кодированного и декодированного блока, который находится выше текущего блока в другой подсовокупности.

Такая конфигурация позволяет более того поддерживать существующее качество сжатия, так как энтропийное кодирование текущего блока использует вероятности возникновения символа, вычисленные для другого ранее кодированного и декодированного блока подсовокупности, к которой текущий блок принадлежит, и соответственно информация была получена посредством обновления вероятностей так, что последние находятся в соответствии со статистической информацией видеосигнала.

Основным преимуществом использования вероятностей возникновения символа, вычисленных для первого блока упомянутой другой подсовокупности во время энтропийного кодирования первого блока рассматриваемой подсовокупности блоков, является рациональное использование памяти буферного запоминающего устройства кодера посредством хранения в последнем только обновленных упомянутых вероятностей возникновения символов без учета вероятностей возникновения символа, полученных другими последующими блоками упомянутой другой подсовокупности.

Основным преимуществом использования вероятностей возникновения символа, вычисленных для блока упомянутой другой подсовокупности, отличающегося от первого блока, например второго блока, во время энтропийного кодирования текущего первого блока рассматриваемой подсовокупности блоков, является получение более точной и поэтому более полезной информации о вероятностях возникновения символов, таким образом, улучшая качество сжатия видеосигнала.

В конкретном варианте осуществления кодированный и декодированный блок, принадлежащий той же подсовокупности, что и текущий блок для кодирования, исключая первый блок подсовокупности, является ближайшим смежным к текущему блоку для кодирования.

Такая конфигурация, таким образом, делает возможным хранить просто вероятности возникновения символа, информация о которых получена во время энтропийного кодирования первого блока рассматриваемой подсовокупности, так как в данном конкретном случае учитывается только вероятность возникновения символа, вычисленная для блока, находящегося выше первого текущего блока и принадлежащего другой подсовокупности. В результате данной оптимизации оптимизируются ресурсы памяти кодера.

В другом конкретном варианте осуществления, в случае, когда кодируется блок рассматриваемой подсовокупности с предсказанием, предназначенной для выполнения в отношении заданного количества ранее кодированных и декодированных блоков подсовокупности, за исключением рассматриваемой подсовокупности, параллельное кодирование блоков рассматриваемой подсовокупности осуществляется со сдвигом на заданное количество блоков в отношении подсовокупности блоков непосредственно предшествующих в порядке, в котором осуществляется параллельное кодирование.

Такая конфигурация позволяет достичь для текущей подсовокупности блоков для кодирования синхронизации процесса обработки блоков подсовокупности блоков, предшествующей текущей подсовокупности в порядке, в котором осуществляется параллельное кодирование, таким образом, предоставляя возможность гарантировать наличие блока или блоков предшествующей подсовокупности, которые используются для кодирования текущего блока. Подобным образом, этап верификации наличия данного или тех блоков предшествующей подсовокупности, которые подвергаются параллельному кодированию кодером в предыдущем уровне техники, может быть предпочтительно опущен, таким образом, позволяя ускорить скорость обработки блоков в кодере согласно изобретению.

Соответственно изобретение дополнительно относится к устройству кодирования по меньшей мере одного изображение, содержащему:

- средство для нарезки изображения на множество блоков,

- средство для группирования блоков в заданное количество подсовокупностей блоков,

- средство для параллельного кодирования каждой подсовокупности блоков, при этом блоки указанной подсовокупности подлежат кодированию согласно заданному последовательному порядку прохождения, причем средство для кодирования для текущего блока рассматриваемой подсовокупности содержит:

- субсредство кодирования с предсказанием текущего блока по отношению по меньшей мере к одному ранее кодированному и декодированному блоку,

- субсредство энтропийного кодирования текущего блока на основании по меньшей мере одной вероятности возникновения символа.

При этом указанное устройство кодирования характеризуется тем, что:

- в случае, когда текущий блок является первым блоком, подлежащим кодированию в указанной подсовокупности, субсредство энтропийного кодирования выполнено с возможностью учета при энтропийном кодировании текущего первого блока вероятности возникновения символа, вычисленной для кодированного и декодированного заданного блока по меньшей мере одной другой подсовокупности,

- в случае, когда текущий блок является блоком указанной подсовокупности, отличающимся от первого блока последней, субсредство энтропийного кодирования выполнено с возможностью учета при энтропийном кодировании текущего блока вероятности возникновения символа, вычисленной по меньшей мере для одного кодированного и декодированного блока, принадлежащего той же подсовокупности.

Соответствующим образом изобретение относится к способу декодирования потока, представляющего по меньшей мере одно кодированное изображение, содержащему этапы, на которых:

- выполняют идентификацию в изображении заданного количества подсовокупностей блоков для декодирования,

- выполняют параллельное декодирование участков потока, ассоциированных с каждой подсовокупностью блоков, при этом блоки указанной подсовокупности подлежат декодированию согласно заданному последовательному порядку прохождения, причем этап декодирования для текущего блока указанной подсовокупности содержит подэтапы, на которых:

- выполняют энтропийное декодирование текущего блока на основании по меньшей мере одной вероятности возникновения символа,

- выполняют декодирование с предсказанием текущего блока по отношению по меньшей мере к одному ранее декодированному блоку.

При этом указанный способ декодирования, характеризуется тем, что:

- в случае, когда текущий блок является первым блоком, подлежащим декодированию в указанной подсовокупности, вероятность возникновения символа является той же, что вычислена для декодированного заданного блока по меньшей мере одной другой подсовокупности,

- в случае, когда текущий блок является блоком указанной подсовокупности, отличающимся от первого блока последней, вероятность возникновения символа является той же, что вычислена по меньшей мере для одного декодированного блока, принадлежащего той же подсовокупности.

В конкретном варианте осуществления декодированный блок, принадлежащий той же подсовокупности, что и текущий блок, подлежащий декодированию, за исключением первого блока подсовокупности, является тем, который является ближайшим к текущему блоку, подлежащему декодированию.

В другом варианте осуществления, в случае, когда осуществляется декодирование с предсказанием блока указанной подсовокупности, подлежащее выполнению по отношению к заданному количеству ранее кодированных и декодированных блоков подсовокупности, за исключением указанной подсовокупности, параллельное декодирование блоков указанной подсовокупности осуществляется со сдвигом на заданное количество блоков по отношению к подсовокупности блоков непосредственно предшествующей в порядке, в котором осуществляется параллельное декодирование.

Соответствующим образом изобретение дополнительно относится к устройству декодирования потока, представляющего по меньшей мере одно кодированное изображение, содержащему:

- средство для идентификации в изображении заданного количества подсовокупностей блоков, подлежащих декодированию,

- средство для параллельного декодирования участков потока, ассоциированных с каждой подсовокупностью блоков, при этом блоки указанной подсовокупности подлежат декодированию согласно заданному последовательному порядку прохождения, причем средство декодирования для текущего блока рассматриваемой подсовокупности содержит:

- субсредство для энтропийного декодирования текущего блока на основании по меньшей мере одной вероятности возникновения символа,

- субсредство для декодирования с предсказанием текущего блока по отношению по меньшей мере к одному ранее декодированному блоку.

При этом указанное устройство декодирования характеризуется тем, что:

- в случае, когда текущий блок является первым блоком, подлежащим декодированию в указанной подсовокупности, субсредство энтропийного декодирования выполнено с возможностью учета при энтропийном декодировании первого текущего блока вероятности возникновения символа, вычисленной для декодированного заданного блока по меньшей мере одной другой подсовокупности,

- в случае, когда текущий блок является блоком указанной подсовокупности, отличающимся от первого блока последней, субсредство энтропийного декодирования выполнено с возможностью учета, для энтропийного декодирования текущего блока, вероятности возникновения символа, вычисленной по меньшей мере для одного декодированного блока, принадлежащего той же подсовокупности.

Изобретение также относится к программе для компьютера, содержащей команды для выполнения этапов способа кодирования или декодирования, как описано выше, при выполнении программы на компьютере.

Такая программа может быть написана с использованием любого языка программирования и может иметь вид исходника, может быть объектной программой или быть промежуточным кодом между исходником и объектной программой как в частично компилированном виде, так и в любой иной желаемой форме.

Объектом изобретения также является носитель записи, считываемый с помощью компьютера, который содержит компьютерную программу, содержащую команды, такие как ранее были описаны.

Носитель записи может быть любым модулем или устройством, способным хранить программу. Например, такой носитель может содержать средство памяти, такое как ROM, например CD ROM, или микроэлектронную схему ROM, или иное средство магнитной записи, например дискета (гибкий диск) или жесткий диск.

Более того, такой носитель записи может быть передающим носителем, таким как электрический или оптический сигнал, который может передаваться по электрическому или оптическому кабелю, по радиоканалу или другим средством. Программа согласно изобретению может быть в частности, загружена через интернет.

Альтернативно, такой носитель записи может представлять собой интегрированную схему с загруженной программой, такая схема выполнена с возможностью выполнять рассматриваемый способ или может быть использована для выполнения программы.

Вышеупомянутые кодирующее устройство, способ декодирования, декодирующее устройство и компьютерные программы представляют по меньшей мере те же преимущества, как и представленные способом кодирования согласно изобретению.

Краткое описание чертежей

Другие характеристики и преимущества станут очевидны при прочтении двух предпочтительных вариантов осуществления, описанных со ссылкой на чертежи, а именно:

фиг.1A представляет диаграмму кодирования изображения предшествующего уровня техники согласно первому примеру;

фиг.1B представляет диаграмму кодирования изображения предшествующего уровня техники согласно второму примеру;

фиг.2A показывает основные этапы способа кодирования согласно изобретению;

фиг.2B подробно представляет способ параллельного кодирования, осуществленный в способе кодирования, показанном на фиг.2A;

фиг.3A представляет вариант осуществления устройства кодирования согласно изобретению;

фиг.3B представляет кодирующую ячейку для устройства кодирования, показанного на фиг.3A;

фиг.4A представляет диаграмму кодирования/декодирования изображения согласно первому предпочтительному варианту осуществления;

фиг.4B представляет диаграмму кодирования/декодирования изображения согласно второму предпочтительному варианту осуществления;

фиг.5A показывает основные этапы способа декодирования согласно изобретению;

фиг.5B подробно представляет способ параллельного декодирования, осуществленный в способе декодирования, показанного на фиг.5A;

фиг.6A представляет вариант осуществления устройства декодирования согласно изобретению;

фиг.6B представляет декодирующую ячейку для устройства декодирования, показанного на фиг.6A.

Осуществление изобретения

Осуществление участка кодирования

Далее приводится описание варианта осуществления изобретения, в котором способ кодирования согласно изобретению используется для кодирования последовательности изображений как кодирование бинарного потока, схожего с полученным кодированием, согласно стандарту Н.264/МРЕО-4 AVC. В данном варианте осуществления способ кодирования согласно изобретению является примером, реализованным в программном обеспечении или в аппаратном оборудовании, посредством модификаций исходного кодера в соответствии со стандартом H.264/MPEG-4 AVC. Способ кодирования согласно изобретению представлен в форме алгоритма, содержащего этапы с C1 по С5, показанного на фиг.2A.

Согласно варианту осуществления изобретения способ кодирования согласно изобретению реализован в кодирующем устройстве СО, представленном на фиг.3A.

Со ссылкой на фиг.2A, на первом этапе С1 кодирования осуществляется нарезка изображения IE последовательности изображений, подлежащих кодированию на множество блоков или макроблоков MB, как представлено на фиг.4A или 4B. В представленных примерах упомянутые блоки MB имеют квадратную форму и все имеют одинаковый размер. Как функция размера изображения, которая не обязательно является кратной размеру блоков, последние блоки слева и последние блоки в нижней области могут иметь не квадратную форму. В альтернативном варианте осуществления блоки могут быть, например, прямоугольными и/или быть не выровненными друг с другом.

Каждый блок или макроблок может, кроме того, сам быть разделен на субблоки, которые являются сами по себе подразделяемыми.

Такая нарезка осуществляется модулем РСО разбиения, показанным на фиг.3A, который использует, например, хорошо известный алгоритм разбиения.

Со ссылкой на фиг.2A, на втором этапе С2 кодирования осуществляется группирование вышеупомянутых блоков в заранее заданное количество Р консекутивных подсовокупностей SE1, SE2, …, SEk, …, SEP блоков, предназначенных для параллельного кодирования. В примерах, показанных на фиг.4A и 4B, заранее заданное количество P равно 4 и данные четыре подсовокупности SE1, SE2, SE3, SE4, обозначенные штриховой линией, соответственно состоят из первых четырех рядов блоков изображения IE.

Такое группирование осуществляется вычислительным модулем GRCO, представленным на фиг.3A, при помощи хорошо известного алгоритма per se.

Со ссылкой на фиг.2A, третий этап С3 кодирования состоит из параллельного кодирования каждой из упомянутых подсовокупностей SE1, SE2, SE3 и SE4 блоков, блоки подсовокупности считаются закодированными согласно заданному последовательному упорядочиванию прохождения PS. В данных примерах, представленных на фиг.4A и 4B, блоки текущей подсовокупности SEk (1≤k≤4) кодируются один после другого, слева направо, как показано стрелкой PS.

Такое параллельное кодирование осуществляется кодирующими ячейками UCk (1≤k≤R) в количестве R, где R=4, как показано на фиг.3A, и позволяет существенно ускорить реализацию способа кодирования. До некоторой степени известный кодер СО содержит буферное запоминающее устройство МТ, которое выполнено с возможностью содержать вероятности возникновения символа, как постоянно обновляемые, совместно с кодированием текущих блоков.

Как показано очень подробно на фиг.3B, каждая из кодирующих ячеек USk содержит:

- субячейку для кодирования с предсказанием текущего блока по меньшей мере одного ранее кодированного и декодированного блока, обозначена как SUCPk;

- субячейку для энтропийного кодирования упомянутого текущего блока с использованием по меньшей мере одной вероятности возникновения символа, вычисленной для ранее кодированного и декодированного блока, обозначена как SUCEk.

Субячейка SUCPk для кодирования с предсказанием способна выполнить кодирование с предсказанием текущего блока в соответствии с обычной технологией предсказания, такой как, например, внутреннее предсказание и/или внешнее предсказание.

Субячейка SUCPk энтропийного кодирования является CABAC формой энтропийного кодирования, но модифицированной согласно изобретению, как будет далее описано.

Как вариант, субячейка SUCPk энтропийного кодирования может быть известным кодером кодирования по алгоритму Хаффмана.

В примерах, показанных на фиг.4A и 4B, первая ячейка UC1 кодирует блоки первого ряда SE1 слева на право. Когда подходит очередь последнего блока первого ряда SE1, то процесс переходит к первому блоку (N+1)st ряда, здесь - пятый ряд, т.д. Вторая ячейка UC2 кодирует блоки второго ряда SE2 слева направо. Когда подходит очередь последнего блока второго ряда SE2, то процесс переходит к первому блоку (N+2)nd ряда, здесь - шестой ряд, т.д. Данное прохождение повторяется до тех пор, пока ячейка UC4 заканчивает кодирование блоков четвертого ряда SE4 слева направо. Когда подходит очередь последнего блока первого ряда, то процесс переходит к первому блоку (N+4)th ряда, здесь - восьмой ряд, и так далее и тому подобное до тех пор, пока последний блок изображения IE будет закодирован.

Другие типы прохождения, отличные от того, что был описан выше, конечно, также возможны. Таким образом, возможно нарезать изображение IE на несколько фрагментов изображения и независимо применить данный тип нарезки к каждому фрагменту изображения. Возможно также для каждой кодирующей ячейки обработать невложенные ряды, как ранее было объяснено, но вложенные столбцы. Возможно также прохождение рядов или столбцов в любом направлении.

Со ссылкой на фиг.2A, на четвертом этапе С4 кодирования осуществляется создание N суббитовых потоков Fk (1≤k≤N), представляющих собой обработанные блоки, сжатые каждой из вышеупомянутый кодирующих ячеек, так же, как декодированная версия обработанных блоков каждой подсовокупности SEk. Декодированные обработанные блоки рассмотренной подсовокупности, обозначенные как SED1, SED2, … SEDk, … SEDP могут быть повторно использованы некоторыми из кодирующих ячеек UC1, UC2, … UCk, … UCP, показанные на фиг.3A, в соответствии с механизмом синхронизации, который будет подробно описан ниже.

Со ссылкой на фиг.2A, пятый этап С5 кодирования состоит из создания основного потока F на основе вышеупомянутых вложенных субпотоков Fk. Согласно одному варианту осуществления вложенные субпотоки Fk просто размещены около друг друга с элементом дополнительной информации, предназначенным для указания декодеру местоположения каждого вложенного субпотока Fk в основном потоке F. Последний передается коммуникационной сетью (не показано) в удаленный терминал. Последний содержит декодер DO, показанный на фиг.6A.

Таким образом, как будет далее подробно описано, декодер согласно изобретению имеет возможность выделять вложенные субпотоки Fk из основного потока F и назначать их каждой компоненте декодера. Следует отметить, что такая декомпозиция вложенных субпотоков в основном потоке является независимой от выбора использования множества кодирующих ячеек, функционирующих параллельно, и таким образом, применяя данный подход, возможно просто иметь кодер или просто декодер, который содержит блоки, работающие параллельно.

Такая конфигурация основного потока F реализуется в модуле CF создания потока, как показано на фиг.3A.

Различные конкретные подэтапы изобретения, такие как реализованные во время вышеупомянутого этапа С3 параллельного кодирования в кодирующей ячейке UCk, будут далее описаны со ссылкой на фиг.2B.

В ходе выполнения этапа С31 кодирующая ячейка UCk выбирает в качестве текущего блока первый блок для кодирования текущего ряда SEk, показанного на фиг.4A и 4B.

В ходе выполнения этапа С32 кодирующая ячейка UCk проверяет факт того, что текущий блок является первым блоком (находящийся вверху и слева) изображения IE, которое было нарезано на блоки на вышеупомянутом этапе С1.

Если дело обстоит именно так, то в ходе выполнения этапа С33 вероятности кодирования инициализируются до значений Pinit, ранее заданных в кодере СО, показанном на фиг.3A.

Если дело не обстоит так, то в ходе выполнения этапа С40, который будет описан позже в последующем описании, предпринимается определение наличия необходимых ранее закодированных и декодированных блоков.

В ходе выполнения этапа С34 осуществляется кодирование первого текущего блока МВ1 первого ряда SE1, показанного на фиг.4A или 4B. Такой этап С34 содержит множество подэтапов, начиная от С341 до С348, как далее будет описано.

В ходе выполнения первого подэтапа С341 осуществляется кодирование с предсказанием текущего блока MB1 известными технологиями внутреннего и/или внешнего предсказания, в течение которого блок MB1 предсказан относительно по меньшей мере одного ранее кодированного и декодированного блока.

Само собой разумеется, что другие виды внутреннего предсказания, такие как предложены в стандарте Н.264, также возможны.

Текущий блок MB1 может быть также закодирован с внешним предсказанием, в ходе которого текущий блок предсказан относительно блока, который был образован в результате предыдущего кодирования и декодирования изображения. Другие виды предсказаний, конечно, также возможны. Среди возможных предсказаний для текущего блока оптимальное предсказание выбирается согласно критерию скорости создания информации, как хорошо известно специалистам в данной области техники.

Упомянутый ранее этап кодирования с предсказанием делает возможным создание предсказанного блока MBp1, который является аппроксимацией текущего блока MB1. Информация, относящаяся к данному кодированию с предсказанием, будет впоследствии записана в поток F, переданный в декодер DO. Такая информация содержит главным образом вид предсказания (внутреннее или внешнее) и при необходимости вид внутреннего предсказания, тип разбиения блока или макроблока, если последний был разделен, индекс опорного изображения и вектор перемещения, используемый при кодировании с внешним предсказанием. Данная информация сжимается кодером СО.

В ходе выполнения подэтапа С342 осуществляется изъятие предсказанного блока MBp1 из текущего блока MB1 и создается остаточный блок MBr1.

В ходе выполнения подэтапа С343 осуществляется трансформация остаточного блока MBr1 в соответствии с принятой практикой прямого преобразования, такого как, например, дискретно-косинусное преобразование Фурье четной функции DCT, в преобразованный блок MBt1.

В ходе выполнения подэтапа С344 осуществляется процесс квантования преобразованного блока MBt1 в соответствии с принятой практикой квантования, такой как, например, скалярное квантование. В результате получается блок квантованных коэффициентов MBq1.

В ходе выполнения подэтапа С345 осуществляется энтропийное кодирование блока квантованных коэффициентов MBq1. В предпочтительном варианте осуществления это предусматривает CABAC энтропийное кодирование.

В ходе выполнения подэтапа С346 осуществляется деквантизация блока MBq1 в соответствии с обычной практикой деквантизации, которая представляет собой обратное действие к осуществленному на этапе С344 квантованию. Получается блок деквантованных коэффициентов MBDq1.

В ходе выполнения подэтапа С347 осуществляется обратная трансформация блока деквантованных коэффициентов MBDq1, которые получены посредством обратного действия прямому преобразованию, осуществленному ранее на этапе С343. В результате получается декодированный остаточный блок MBDr1.

В ходе выполнения подэтапа С348 осуществляется создание декодированного блока MBD1 путем добавления предсказанного блока MBp1 декодированному остаточному блоку MBDr1. Необходимо заметить, что последний блок является тем же, что и декодированный блок, полученный в результате использования способа декодирования изображения IE, который будет описан далее в данном описании. Декодированный блок MBD1 является, таким образом, доступным для использования кодирующей ячейкой UC1 или для другой любой кодирующей ячейки, формируя участок заданного количества R кодирующих ячеек.

По завершении вышеупомянутого этапа С34 кодирования субячейка SUCEk энтропийного кодирования, такая как представлена на фиг.3B, содержит все вероятности, такие как прогрессивно обновленные совместно с кодированием первого блока. Такие вероятности соответствуют различным синтаксическим элементам и различным ассоциированным контекстам кодирования.

По окончании вышеупомянутого этапа С34 кодирования выполняется тест, в ходе выполнения этапа С35 устанавливается факт того, что текущий блок является j-м блоком того же ряда, где j является известным заданным значением кодера СО, которое по меньшей мере равно 1.

Если дело обстоит именно так, то в ходе выполнения этапа С36 множество вероятностей, вычисленных для j-го блока, хранится в буферном запоминающем устройстве МТ кодера СО, как показано на фиг.3A, 4A и 4B, емкость упомянутой памяти достаточна для хранения вычисленного количества вероятностей.

В ходе выполнения этапа С37 ячейка UCk проверяет факт того, что текущий блок ряда SEk, который был закодирован, является последним блоком изображения IE.

Если дело обстоит именно так, то на этане С38 способ кодирования заканчивается.

В противном случае, в ходе выполнения этапа С39, осуществляется выборка следующих блоков MBi для кодирования в соответствии с порядком прохождения, показанным стрелкой PS на фиг.4A или 4B.

Если в ходе выполнения этапа С35 текущий блок не является j-м блоком ряда SEk, то выполняется вышеупомянутый этап С37.

В ходе выполнения этапа С40 осуществляется установление наличия ранее закодированных и декодированных блоков, которые необходимы для кодирования текущего блока MBi. Принимая во внимание тот факт, что это влечет за собой параллельное кодирование блоков изображения IE различными кодирующими ячейками UCk, то возможно, что эти блоки не были закодированы и декодированы кодирующей ячейкой, предназначенной для кодирования этих блоков и то, что они, следовательно, пока еще отсутствуют. Упомянутый этап распознавания содержит верификацию того, что заданное количество N′ блоков, находящиеся в предыдущем ряду SEk-1, например, два блока, расположенные соответственно выше и выше справа от текущего блока, в наличии для кодирования текущего блока, то есть, если они уже были закодированы и затем декодированы кодирующей ячейкой UCk-1, предназначенной для их кодирования. Упомянутый этап распознавания содержит верификацию наличия по меньшей мере одного блока, расположенного слева от текущего блока MBi для кодирования. Однако, учитывая порядок прохождения PS, выбранный в варианте осуществления, представленный на фиг.4A или 4B, рассмотрены блоки, которые кодируются один после другого в ряду SEk. Следовательно, кодируемый и декодируемый слева блок всегда в наличии (за исключением первого блока в ряду). В примере, представленном на фиг.4A или 4B, это влечет за собой то, что блок, расположенный непосредственно слева от текущего блока, кодируется. Для этой цели проверяется наличие только двух блоков, расположенных выше и выше справа от текущего блока.

Данный этап проверки замедляет осуществление кодирования, в альтернативном варианте согласно изобретению представленный на фиг.3A генератор синхронизации CLK выполнен с возможностью обеспечить протекание процесса кодирования блоков, так, чтобы гарантировать наличие двух блоков, расположенных соответственно выше и выше справа от текущего блока, без необходимости проверки наличия этих двух блоков. Таким образом, как показано на фиг.4A или 4B, кодирующая ячейка UCk всегда начинает кодировать первый блок со сдвигом на заданное количество N′ (здесь N′=2) кодируемых и декодируемых блоков предыдущего ряда SEk-1, который используется для кодирования текущего блока. С точки зрения программного обеспечения реализация такого генератора синхронизации предоставляет возможность значительно ускорить время обработки, которое необходимо для выполнения процесса обработки блоков изображения IE в кодере СО.

В ходе выполнения этапа С41 осуществляется проверка того, что текущий блок является первым блоком ряда SEk.

Если это так, то в ходе выполнения этапа С42 осуществляется считывание буферного запоминающего устройства МТ, исключительно только вероятностей возникновения символа, вычисленных во время кодирования j-го блока предыдущего ряда SEk-1.

Согласно первому варианту, показанному на фиг.4А, j-й блок является первым блоком предыдущего ряда SEk-1 (j=1). Такое считывание состоит из замены вероятностей CABAC кодера на присутствующие в буферном запоминающем устройстве МТ. Работая таким образом, когда заменяется первыми соответствующими блоками второго, третьего и четвертого рядов SE2. SE3 и SE4, этап считывания обозначен в фиг.4A стрелками, изображенными тонкими линиями.

Согласно второму варианту вышеописанного этапа С42, который проиллюстрирован на фиг.4B, j-й блок является вторым блоком предыдущего ряда SEk-1 (j=2). Такое считывание состоит из замены вероятностей CABAC кодера на присутствующие в буферном запоминающем устройстве МТ. Работая таким образом, когда заменяется первыми соответствующими блоками второго, третьего и четвертого рядов SE2. SE3 и SE4, этап считывания обозначен в фиг.4B стрелками, изображенными пунктирными линиями.

По окончании этапа С42 текущий блок закодирован и затем декодирован итерацией описанных выше этапов с С34 по С38.

Если по окончании вышеупомянутого этапа С41 выясняется, что текущий блок не является первым блоком ряда SEk, то предпочтительно осуществляется считывание вероятностей, возникших из ранее кодированного и декодированного блока, который находится в том же ряду SEk, то есть кодированный и декодированный блок, находящийся непосредственно слева от текущего блока, в представленном примере. Более того, относительно последовательного прохождения считывания PS блоков, находящихся в том же ряду, как показано на фиг.4A или 4B, вероятности возникновения символа присутствуют в CABAC кодере, когда начинается кодирование текущего блока, в точности так же, как присутствуют после кодирования/декодирования предшествующего блока в том же ряду.

Соответственно в ходе реализации этапа С43 осуществляется получение информации о вероятностях возникновения символа для энтропийного кодирования упомянутого текущего блока, которые соответствуют исключительно тем, которые были рассчитаны для упомянутого предшествующего блока в том же ряду, как это показано стрелками, изображенными двойной сплошной линией на фиг.4A или 4B.

По окончании этапа С43 текущий блок закодирован и затем декодирован итерацией описанных выше этапов с С34 по С38.

Осуществление участка декодирования

Далее приводится описание варианта осуществления способа декодирования согласно изобретению, в котором способ декодирования реализован в программном обеспечении или в аппаратном оборудовании, посредством модификаций исходного декодера в соответствии со стандартом H.264/MPEG-4 AVC.

Способ декодирования согласно изобретению представлен в форме алгоритма, содержащего этапы с D1 по D5, показанного на фиг.5A.

Согласно варианту осуществления изобретения способ декодирования согласно изобретению реализован в декодирующем устройстве DO, представленным на фиг.6A.

Со ссылкой на фиг.5A, на первом этапе D1 декодирования осуществляется идентификация в упомянутом потоке FN вложенных субпотоков F1, F2, …, Fk, … FP, содержащих соответственно N подсовокупностей SE1, SE2, …, SEk, … SEP, ранее закодированных блоков или макроблоков MB, как показано на фиг.4A или 4B. С этой целью, каждый субпоток Fk в потоке F ассоциирован с индикатором, который позволяет декодеру DO устанавливать местоположение каждого субпотока Fk в потоке F. В представленном примере, упомянутые блоки MB имеют квадратную форму и все имеют одинаковый размер. Как функция размера изображения, которая не обязательно является кратной размеру блоков, последние блоки слева и последние блоки в нижней части могут иметь не квадратную форму. В альтернативном варианте осуществления блоки могут быть, например, прямоугольными и/или быть не выровненными друг с другом.

Каждый блок или макроблок может, кроме того, сам быть разделен на субблоки, которые являются сами по себе подразделяемыми.

Такая идентификация осуществляется модулем EXDO извлечения потока, показанным на фиг.6A.

В примере, показанном на фиг.4A или 4B, заданное количество равно 4 и четыре подсовокупности SE1, SE2, SE3, SE4 обозначены штриховой линией.

Со ссылкой на фиг.5A, на втором этапе D2 декодирования осуществляется параллельное декодирование каждой из упомянутых подсовокупностей блоков SE1, SE2, SE3 и SE4, блоки подсовокупности считаются закодированными согласно заданному последовательному упорядочиванию прохождения PS. В примере, представленном на фиг.4A или 4B, блоки текущей подсовокупности SEk (1≤k≤4) декодируются один после другого, слева направо, как показано стрелкой PS. По завершении этапа D2 получаются подсовокупности декодированных блоков SED1, SED2, SED3, …, SEDk, …, SEDP.

Такое параллельное декодирование осуществляется декодирующими ячейками UDk (1≤k≤R) в количестве R, где R=4, как показано на фиг.6A, и позволяет существенно ускорить реализацию способа декодирования. До некоторой степени известный декодер DO содержит буферное запоминающее устройство МТ, которое выполнено с возможностью содержать вероятности возникновения символов, таких как постоянное обновление совместно с декодированием текущего блока.

Как показано очень подробно на фиг.6B, каждая из декодирующих ячеек UDk содержит:

- субячейку для энтропийного декодирования упомянутого текущего блока с использованием по меньшей мере одной вероятности возникновения символа, вычисленной по меньшей мере для одного ранее декодированного блока, обозначенного как SUDEk,

- субячейку для декодирования с предсказанием текущего блока в отношении упомянутого декодированного блока, обозначенного как SUDPk.

Субячейка SUDPk для декодирования с предсказанием способна выполнить декодирование с предсказанием текущего блока в соответствии с обычной технологией предсказания, такой как, например, внутреннее предсказание и/или внешнее предсказание.

Субячейка SUDEk энтропийного декодирования является частью САВАС, но модифицированной согласно изобретению, как будет далее описано.

Как вариант, субячейка SUDEk энтропийного декодирования может быть известным декодером для декодирования по алгоритму Хаффмана.

В примерах, показанных на фиг.4A или 4B, первая ячейка UD1 декодирует блоки первого ряда SE1 слева на право. Когда подходит очередь последнего блока первого ряда SE1, то процесс переходит к первому блоку (N+1)st ряда, здесь - пятый ряд, т.д. Вторая ячейка UD2 декодирует блоки второго ряда SE2 слева направо. Когда подходит очередь последнего блока второго ряда SE2, то процесс переходит к первому блоку (N+2)nd ряда, здесь - шестой ряд и т.д. Данное прохождение повторяется до тех пор, пока ячейка UD4 заканчивает декодирование блоков четвертого ряда SE4 слева направо. Когда подходит очередь последнего блока первого ряда, то процесс переходит к первому блоку (N+4)th ряда, здесь - восьмой ряд, и так далее и тому подобное до тех пор, пока последний блок последнего идентифицированного вложенного субпотока будет декодирован.

Другие типы прохождения, отличные от того, что были описаны выше, конечно, также возможны. Например, каждая декодирующая ячейка может обработать невложенные ряды, как было описано выше, но также и вложенные столбцы. Возможно также прохождение рядов или столбцов в любом направлении.

Со ссылкой на фиг.5A, на третьем этапе D3 декодирования осуществляется восстановление изображения, декодированное на основании каждой декодированной подсовокупности SED1, SED2, … SEDk, … SEDP, полученной на этапе D2 декодирования. Точнее говоря, декодированные блоки каждой декодированной подсовокупности SED1, SED2, … SEDk, … SEDP передаются на блок URI восстановления изображения, такой как показан на фиг.6A. В ходе выполнения этапа D3, блок URI записывает декодированные блоки в декодированное изображение, как и когда данные блоки становятся доступными.

В ходе выполнения четвертого этапа D4 декодирования, представленного на фиг.5A, полностью декодированное изображение ID поставляется блоком URI, представленным на фиг.6A.

Различные специфические подэтапы изобретения, такие как реализованные во время вышеупомянутого этапа D2 параллельного декодирования в декодирующей ячейке UDk, будут далее описаны со ссылкой на фиг.5B.

В ходе выполнения этапа D21 декодирующая ячейка UDk выбирает в качестве текущего блока первый блок для декодирования текущего ряда SEk, показанного на фиг.4A или 4B.

В ходе выполнения этапа D22 декодирующая ячейка UDk проверяет факт того, что текущий блок является первым блоком декодируемого изображения, в данном примере первый блок вложенного субпотока F1.

Если дело обстоит именно так, то в ходе выполнения этапа D23 вероятности декодирования инициализируются до значений Pinit, ранее заданных в декодере DO, показанного на фиг.6A.

Если дело не обстоит так, то в ходе выполнения этапа D30, который будет описан позже в последующем описании, предпринимается определение наличия необходимых ранее декодированных блоков.

В ходе выполнения этапа D24 осуществляется декодирование первого текущего блока MB1 первого ряда SE1, показанного на фиг.4A или 4B. Такой этап D24 содержит множество подэтапов, начиная от D241 до D246, как далее будет описано.

В ходе выполнения первого подэтапа D241 осуществляется энтропийное декодирование синтаксических элементов, относящихся к текущему блоку. Точнее говоря, синтаксических элементов относящихся к текущему блоку, декодированных декодирующей ячейкой SUDE1 энтропийного декодирования, как представлено на фиг.6B. Последний декодирует суббитовый поток F1 сжатого файла, создавая синтаксические элементы, и, в тоже время, обновляет вероятности таким образом, чтобы на момент, в который данная субячейка декодирует символ, вероятности возникновения данного символа идентичны тем, которые получены во время кодирования того же символа во время осуществления вышеупомянутого энтропийного кодирования на этапе С345.

В ходе выполнения следующего подэтапа D242 осуществляется декодирование с предсказанием текущего блока МВ1 известными технологиями внутреннего и/или внешнего предсказания, в течение которого блок МВ1 предсказан относительно по меньшей мере одного ранее декодированного блока.

Само собой разумеется, что другие виды внутреннего предсказания, такие как предложены в стандарте Н.264, также возможны.

В ходе выполнения данного этапа декодирование с предсказанием осуществляется при помощи синтаксических элементов, декодированных на предыдущем этапе, и содержит главным образом вид предсказания (внутреннее или внешнее) и при необходимости вид внутреннего предсказания, тип разбиения блока или макроблока, если последний был разделен, индекс опорного изображения и вектор перемещения, используемый в режиме внешнего предсказания.

Упомянутый ранее этап декодирования с предсказанием делает возможным создать предсказанный блок MBp1.

В ходе выполнения следующего подэтапа D243 осуществляется создание квантованного остаточного блока MBp1 при помощи ранее декодированных синтаксических элементов.

В ходе выполнения следующего подэтапа D244 осуществляется деквантизация квантованного остаточного блока MBp1 согласно обычной практике деквантизации, которая является противоположностью квантованию, осуществленной на вышеупомянутом этапе С344, таким образом, создается декодируемый деквантованный блок MBDt1.

В ходе выполнения следующего подэтапа D245 осуществляется обратная трансформация деквантованного блока MBDt1, которая представляет собой обратное действие прямому преобразованию, осуществленному на вышеупомянутом этапе С343. Получается декодированный остаточный блок MBDr1.

В ходе выполнения подэтапа D246 осуществляется создание декодированного блока MBD1 путем добавления предсказанного блока МВр1 декодированному остаточному блоку MBDr1. Декодированный блок MBD1, таким образом, является доступным для использования декодирующей ячейкой UD1 или для другой любой декодирующей ячейки, формируя часть заданного количества N декодирующих ячеек.

По завершении вышеупомянутого этапа D246 декодирования субячейка SUDE1 энтропийного декодирования, такая как представлена на фиг.6B, содержит все вероятности, такие как прогрессивно обновленные совместно с декодированием первого блока. Такие вероятности соответствуют различным синтаксическим элементам и различным ассоциированным контекстам декодирования.

По окончании вышеупомянутого этапа D24 декодирования выполняется тест, в ходе выполнения этапа D25 устанавливается факт того, что текущий блок является j-м блоком того же ряда, где j является известным заданным значением декодера DO, которое по меньшей мере равно 1.

Если дело обстоит именно так, то в ходе выполнения этапа D26, множество вероятностей, вычисленных для j-го блока, хранится в буферном запоминающем устройстве МТ декодера DO, как показано на фиг.6A и 4A или 4B, емкость упомянутой памяти достаточна для хранения вычисленного количества вероятностей.

В ходе выполнения этапа D27 ячейка UDk проверяет факт того, что текущий блок, который был декодирован, является последним блоком последнего субпотока.

Если дело обстоит именно так, то на этапе D28 способ декодирования заканчивается.

В противном случае, в ходе выполнения этапа D29, осуществляется выборка следующего блока MBi для декодирования в соответствии с порядком прохождения, показанным стрелкой PS на фиг.4A или 4B.

Если в ходе выполнения вышеупомянутого этапа D25, текущий блок не является j-м блоком ряда SEDk, то выполняется вышеупомянутый этап D27.

В ходе выполнения этапа D30, который следует за вышеописанным этапом D29, осуществляется установление наличия ранее декодированных блоков, которые необходимы для декодирования текущего блока MBi. Принимая во внимание тот факт, что это влечет за собой параллельное декодирование блоков различными декодирующими ячейками UDk, то возможно, что эти блоки не были декодированы декодирующей ячейкой, предназначенной для декодирования этих блоков и то, что они, следовательно, пока еще отсутствуют. Упомянутый этап распознавания содержит верификацию того, что заданное количество N′ блоков, находящихся в предыдущем ряду SEk-1, например два блока, расположенные соответственно выше и выше справа от текущего блока, в наличии для декодирования текущего блока, то есть, если они уже были декодированы декодирующей ячейкой UDk-1, предназначенной для их декодирования. Упомянутый этап распознавания состоит из верификации наличия по меньшей мере одного блока, расположенного слева от текущего блока для MBi для декодирования. Однако, учитывая порядок прохождения PS, выбранный в варианте осуществления, представленный на фиг.4A или 4B, рассмотрены блоки, декодируемые один после другого в ряду SEk. Следовательно, декодируемый слева блок всегда в наличии (за исключением первого блока в ряду). В примере, представленном на фиг.4A или 4B, это влечет за собой то, что блок, расположенный непосредственно слева от текущего блока, декодируется. Для этой цели проверяется наличие только двух блоков, расположенных выше и выше справа от текущего блока.

Данный этап проверки замедляет осуществление декодирования, в альтернативном варианте согласно изобретению представленный на фиг.6A генератор синхронизации CLK выполнен с возможностью синхронизацию процесса декодирования блоков, так чтобы гарантировать наличие двух блоков, расположенных соответственно выше и выше справа от текущего блока, без необходимости проверки наличия этих двух блоков. Таким образом, как показано на фиг.4A или 4B, декодирующая ячейка UDk всегда начинает декодировать первый блок со сдвигом на заданное количество N′ (здесь N′=2) декодируемых блоков предыдущего ряда SEk-1, который используется для декодирования текущего блока. С точки зрения программного обеспечения, реализация такого генератора синхронизации предоставляет возможность значительно ускорить время обработки, которое необходимо для выполнения процесса обработки блоков каждой подсовокупности SEk в декодере DO.

В ходе выполнения этапа D31 осуществляется проверка того, что текущий блок является первым блоком ряда SEk.

Если это так, то в ходе выполнения этапа D32 осуществляется считывание буферного запоминающего устройства МТ исключительно только вероятностей возникновения символа, вычисленных во время декодирования j-го блока предыдущего ряда SEk-1.

Согласно первому варианту, показанному на фиг.4A, j-й блок является первым блоком предыдущего ряда SEk-1 (j=1). Такое считывание состоит из замены вероятностей CABAC декодера на присутствующие в буферном запоминающем устройстве МТ. Работая таким образом, когда заменяется первыми соответствующими блоками второго, третьего и четвертого рядов SE2, SE3 и SE4, этап считывания обозначен в фиг.4A стрелками, изображенными тонкими линиями.

Согласно второму варианту вышеописанного этапа D32, который проиллюстрирован на фиг.4B, j-й блок является вторым блоком предыдущего ряда SEk-1 (j=2). Такое считывание состоит из замены вероятностей CABAC декодера на присутствующие в буферном запоминающем устройстве MT. Работая таким образом, когда заменяется первыми соответствующими блоками второго, третьего и четвертого рядов SE2, SE3 и SE4, этап считывания обозначен в фиг.4B стрелками, изображенными пунктирными линиями.

По окончании этапа D32 текущий блок декодирован итерацией описанных выше этапов с D24 по D28.

Если по окончании вышеупомянутого этапа D31 выясняется, что текущий блок не является первым блоком ряда SEk, то предпочтительно осуществляется считывание возможностей, возникших из ранее декодированного блока, который находится в том же ряду SEk, то есть, декодированный блок, находящийся непосредственно слева от текущего блока, в представленном примере. Более того, относительно последовательного прохождения считывания PS блоков, находящихся в том же ряду, как показано на фиг.4A или 4B, вероятности возникновения символа присутствуют в CABAC декодере, когда начинается декодирование текущего блока, в точности те же, что присутствуют после декодирования предшествующего блока в том же ряду.

Соответственно, в ходе реализации этапа D33 осуществляется получение информации о вероятностях возникновения символа для энтропийного декодирования упомянутого текущего блока, которые соответствуют исключительно тем, которые были вычислены для упомянутого предшествующего блока в том же ряду, как это показано стрелками, изображенными двойной сплошной линией на фиг.4A или 4B.

По окончании этапа D33 текущий блок декодирован итерацией описанных выше этапов с D24 по D28.

1. Реализуемый компьютером способ энтропийного декодирования блоков в кодированном изображении, содержащий:
прием потока, представляющего по меньшей мере одно кодированное изображение;
идентификацию из потока предопределенного множества групп блоков;
обеспечение каждой группы блоков первому модулю декодирования; и
обработку первым модулем декодирования первого блока в заданной группе блоков, при этом обработка упомянутого первого блока содержит:
определение, что упомянутый первый блок является первым в порядке блоков в заданной группе блоков;
в ответ на определение, что упомянутый первый блок является первым в порядке блоков в заданной группе блоков, извлечение первого набора данных вероятности из буфера, при этом упомянутый первый набор данных вероятности содержит первый набор вероятностей появления символов, связанных с блоком, который расположен в непосредственной близости к упомянутому первому блоку и который принадлежит другой группе блоков, которая отличается от заданной группы блоков в упомянутом предопределенном множестве групп блоков;
энтропийное декодирование упомянутого первого блока на основе упомянутого первого набора данных вероятности;
и обработку первым модулем декодирования второго блока в заданной группе блоков, при этом обработка упомянутого второго блока содержит:
определение, что упомянутый второй блок не является первым в упомянутом порядке блоков в заданной группе блоков;
в ответ на определение, что упомянутый второй блок не является первым в порядке блоков в заданной группе блоков, извлечение второго набора данных вероятности из запоминающего модуля, при этом упомянутый второй набор данных вероятности содержит второй набор вероятностей появления символов, связанных с по меньшей мере одним другим уже декодированным блоком, принадлежащим заданной группе блоков в упомянутом предопределенном множестве групп блоков,
при этом второй набор вероятностей появления символов не связан с блоками, которые не принадлежат заданному подмножеству блоков, и
энтропийное декодирование упомянутого второго блока на основе упомянутого второго набора данных вероятности.

2. Реализуемый компьютером способ по п. 1, при этом каждая группа блоков представляет ряд в кодированном изображении; и
предопределенный блок из первой группы блоков является вторым блоком из первой группы блоков в порядке декодирования.

3. Реализуемый компьютером способ по п. 1, в котором каждая группа блоков представляет ряд в кодированном изображении; и
предопределенный блок из первой группы блоков является первым блоком из первой группы блоков в порядке декодирования.

4. Реализуемый компьютером способ по п. 2, при этом обработка упомянутой первой группы блоков дополнительно содержит:
деквантование набора коэффициентов в каждом блоке упомянутой первой группы блоков для генерирования набора деквантованных коэффициентов; и
обратное преобразование упомянутого набора деквантованных коэффициентов каждого блока.

5. Реализуемый компьютером способ по п. 3, при этом обработка упомянутой первой группы блоков дополнительно содержит:
деквантование набора коэффициентов в каждом блоке упомянутой первой группы блоков для генерирования набора деквантованных коэффициентов; и
обратное преобразование упомянутого набора деквантованных коэффициентов каждого блока.



 

Похожие патенты:

Изобретение относится к области приемников аудиовизуальных программ. Технический результат заключается в обеспечении динамического управления полосой пропускания, используемой во время передачи аудиовизуальных программ для стандартных инфраструктур IPTV, используя протокол управления/перемещения в реальном времени.

Группа изобретений относится к способу и устройствам обмена сигналами о характеристиках, передающими информацию датчика ориентации от мобильных терминалов сетевым серверам.

Изобретение относится к технологиям обработки изображений. Техническим результатом является повышение эффективности обработки данных изображений, за счет генерирования матрицы квантования большего размера, на основе матрицы квантования меньшего размера.

Изобретение относится к технологиям кодирования и декодирования движущихся изображений. Техническим результатом является повышение точности предсказания для блока, являющегося объектом декодирования.

Изобретение относится к области видеокодирования видеоданных, с возможностью сохранения значимой для PPG (фотоплетизмографического изображения) информации. Техническим результатом является сжатие видеоданных с использованием стандартных средств сжатия с потерями и сохранения информации для выделения сигнала PPG после декодирования видеоданных без требования большого объема дополнительных данных.

Изобретение относится к области обработки изображений и, в частности, к способу обнаружения движущегося объекта в захваченных изображениях, например, космических обломков.

Методика для инициализации кодеров и декодеров. Технический результат - эффективное декодирование видео.

Изобретение описывает устройство декодирования изображения. Технический результат - эффективное декодирование изображения.

Изобретение относится к вычислительной технике. Технический результат заключается в снижении непроизводительных издержек на передачу служебной информации, необходимых для передачи параметров квантования в декодер.

Изобретение относится к области обработки изображений для подавления или уменьшения шума во входном изображении. Техническим результатом является обеспечение высокой точности обнаружения множества типов шума во входном изображении и подавления или уменьшения шума. Предложен способ и устройство обработки изображения, где дисплейное устройство извлекает определенную область, включающую целевой пиксель, из входного изображения и определяет, включена ли шумовая граница в определенную область. При положительном ответе дисплейное устройство выполняет фильтрование с использованием фильтра сглаживания для сглаживания целевого пикселя. При отрицательном ответе дисплейное устройство выполняет фильтрование с использованием сохраняющего край фильтра сглаживания для сглаживания целевого пикселя. В этот момент дисплейное устройство определяет, следует ли применять результат процесса сглаживания с использованием сохраняющего край фильтра сглаживания, на основании пиксельных значений в определенной области, результата процесса сглаживания с использованием сохраняющего край фильтра сглаживания и т.п. 2 н. и 10 з.п. ф-лы, 25 ил.

Изобретение относится к системе дистанционного управления для телевизора, пульту дистанционного управления и устройству отображения. Техническим результатом является обеспечение простого и высокоэффективного способа переключения между различными контентами подуровня, который может быть выполнен только при помощи клавиш со стрелками и клавиши «ОК» на пульте дистанционного направления без использования цифровых клавиш ввода. Предложена система дистанционного управления, включающая пульт дистанционного управления и устройство отображения, управляемое пультом дистанционного управления, при этом пульт включает в себя клавиши со стрелками, соответствующие различным направлениям, и клавишу «ОК»; при этом пульт передает сигнал управления направлением при нажатии клавиши со стрелкой и передает сигнал управления «ОК» при нажатии клавиши «ОК». Устройство управления переключается во второе состояние отображения карточного каталога при приеме сигнала управления направлением заданного направления в первом состоянии и переключается в первое состояние отображения контента подуровня, соответствующего выбранной карте, но не отображающего карточный каталог, при приеме сигнала управления «ОК» во втором состоянии. 2 н. и 5 з.п. ф-лы, 20 ил.

Изобретение относится к области обработки изображений и, в частности, к переключению изображения 4K, является стандартом сверхвысокого разрешения для цифрового фильма и компьютерного видео. Предложен способ и устройство переключения изображения, включающие: наложение первой версии разрешения i-го изображения на вторую версию разрешения i-го изображения, отображаемого в текущий момент, причем разрешение первой версии разрешения ниже, чем второй версии разрешения, i≥1, и замену второй версии разрешения i-го изображения второй версией разрешения (i+1)-го изображения, скрытие первой версии разрешения i-го изображения в соответствии с предварительно определенными анимационными эффектами и отображение второй версии разрешения (i+1)-го изображения. Способ переключения изображения достигает цели при решении проблемы в уровне техники, что плавное переключение является недоступным между множеством изображений 4K посредством предварительно определенных анимационных эффектов, таким образом, являясь причиной худшего результата отображения во время переключения и отображения изображений 4K. Плавное переключение второй версии разрешения двух смежных изображений реализовано с помощью анимационного эффекта, генерируемого с помощью первой версии разрешение предыдущего изображения, таким образом, улучшая результат переключения и отображения. 3 н. и 6 з.п. ф-лы, 6 ил.

Изобретение относится к области технологий мультимедийной связи, а более конкретно к видеосвязи. Техническим результатом является создание эффективного способа и устройства видеосвязи. Предложен способ видеосвязи, включающий этапы: получают конфигурационную информацию о целевом терминале при видеосвязи; выбирают соответствующее разрешение камеры в качестве разрешения для захвата видео согласно конфигурационной информации: видео захватывают в соответствии с разрешением для захвата видео; и захваченное видео посылают целевому терминалу. 2 н. и 4 з.п. ф-лы, 1 табл., 6 ил.

Изобретение относится к технологиям кодирования и декодирования видеосигнала. Техническим результатом является повышение разрешения изображений за счет осуществления интерполяции прогнозирования. Предложен способ генерирования модулей прогнозирования для декодирования видеосигнала, причем способ выполняют в отношении видеосигнала форматов 4:2:0 и 4:2:2. Способ включает в себя этап, на котором генерируют модули прогнозирования текущего изображения из одного или более сохраненных изображений, предшествующих текущему изображению, при этом на этапе генерирования. Далее, согласно способу, для видеосигнала формата 4:2:0 получают отсчеты интерполированного модуля прогнозирования с использованием фильтра яркости х4 с 8 отводами, применяемого в вертикальном и горизонтальном направлениях к сохраненному модулю прогнозирования яркости, причем фильтр яркости х4 является фильтром интерполяции, четырехкратно увеличивающим разрешение, и с использованием фильтра цветности х8 с 4 отводами в горизонтальном и вертикальном направлениях к сохраненному модулю прогнозирования цветности, причем фильтр цветности х8 является фильтром интерполяции, восьмикратно увеличивающим разрешение. 6 н. и 4 з.п. ф-лы, 33 ил., 3 табл.

Изобретение относится к вычислительной технике. Технический результат заключается в снижении потребляемой энергии за счет более эффективного доступа к буферу кадров. Реализуемый компьютером способ функционирования контроллера памяти, содержащего модуль сжатия, в котором принимают с помощью модуля сжатия запрос записи от модуля компенсации движения, при этом запрос записи содержит видеоданные и принимается контроллером памяти как напрямую, так и косвенно от указанного модуля компенсации движения; выполняют с помощью модуля сжатия сжатие видеоданных для получения сжатых данных, при этом сжатие видеоданных является прозрачным для модуля компенсации движения; сохраняют с помощью модуля сжатия сжатые данные в одном или более чипах памяти; принимают с помощью модуля распаковки запрос считывания, причем указанный запрос считывания поступает как напрямую, так и косвенно от модуля компенсации движения или устройства отображения; восстанавливают с помощью модуля распаковки сохраненные данные по меньшей мере из одного или более чипов памяти в ответ на запрос считывания; и выполняют с помощью модуля распаковки распаковку сохраненных данных для получения распакованных данных. 4 н. и 17 з.п. ф-лы, 12 ил.

Изобретение относится к технологиям кодирования/декодирования изображений. Техническим результатом является повышение эффективности кодирования изображений. Предложено устройство обработки изображений, содержащее блок генерирования вектора предсказания движения, блок генерирования вектора разности движения. Блок генерирования вектора предсказания движения выполнен с возможностью установки недоступности совмещенного блока, когда тип опорного кадра для текущего блока отличен от типа опорного кадра для совмещенного блока, входящего в состав совмещенного кадра, при кодировании текущего вектора движения текущего блока, используемого при предсказании с использованием корреляции во временном направлении, и генерирования вектора предсказания движения для текущего вектора движения с использованием опорного вектора движения, служащего в качестве опорного при генерировании вектора предсказания движения. Блок генерирования вектора разности движения выполнен с возможностью генерирования вектора разности движения между текущим вектором движения и вектором предсказания движения, генерируемым блоком генерирования вектора предсказания движения. 2 н. и 10 з.п. ф-лы, 99 ил.

Изобретение относится к области обработки цифрового сигнала. Технический результат - снижение пространственных и временных избыточностей в видеопотоках. Способ кодирования содержит получение целевого количества предсказателей информации движения, подлежащих использованию для кодируемого участка изображения, и генерацию набора предсказателей информации движения с использованием полученного целевого количества. Набор генерируется посредством: получения первого набора предсказателей информации движения, каждый из которых связан с участком изображения, имеющим заранее определенное пространственное и/или временное соотношение с кодируемым участком изображения; модификации первого набора предсказателей информации движения путем удаления дублированных предсказателей информации движения для получения сокращенного набора предсказателей информации движения, причем каждый предсказатель информации движения из сокращенного набора отличается от любого другого предсказателя информации движения из сокращенного набора; сравнения первого количества предсказателей информации движения с полученным целевым количеством, и если первое количество меньше целевого количества, получения дополнительного предсказателя информации движения и его добавления в сокращенный набор предсказателей информации движения. 6 н. и 20 з.п. ф-лы, 8 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении качества восстановленного изображения. Устройство декодирования видео содержит приемник, который синтаксически анализирует из битового потока получение информации о способе определения группы пикселей, подлежащих компенсации, и значениях компенсации; блок компенсации полосы, который, если группа пикселей, подлежащих компенсации, определяется в соответствии с полосами на основе информации о способе определения группы пикселей, подлежащих компенсации, применяет значения компенсации в соответствии с пиксельными полосами к одному или более пикселям, соответствующим этим пиксельным полосам в текущем блоке; и блок компенсации уровня граничного значения, который, если группа пикселей, подлежащих компенсации, определяется в соответствии с уровнями граничного значения на основе информации о способе определения группы пикселей, подлежащих компенсации, применяет значения компенсации в соответствии с уровнями граничного значения к одному или более пикселям, соответствующим этим уровням граничного значения в текущем блоке. 22 ил., 2 табл.

Группа изобретений относится к технологиям кодирования/декодирования данных видеоизображений. Техническим результатом является повышение эффективности кодирования/декодирования видео за счет обеспечения внутрикадрового предсказания в планарном режиме, который обеспечивает представление блока с плавным изображением, пиксельные значения которого постепенно изменяются. Предложен способ кодирования видео для предсказания пиксельных значений каждого целевого пикселя в целевом блоке в планарном режиме. Способ содержит этапы, исполняемые процессором видеокодера, включающие в себя вычисление первого значения предсказания каждого целевого пикселя с использованием линейной интерполяции между пиксельным значением пикселя горизонтальной границы в том же самом горизонтальном положении, что и каждый целевой пиксель из множества пикселей горизонтальной границы на верхней стороне целевого блока, и пиксельным значением одного пикселя вертикальной границы из множества пикселей вертикальной границы на левой стороне целевого блока. Далее, согласно способу, вычисляют второе значение предсказания каждого целевого пикселя с использованием линейной интерполяции между пиксельным значением пикселя вертикальной границы в том же самом вертикальном положении, что и каждый целевой пиксель из множества пикселей вертикальной границы, и пиксельным значением одного пикселя горизонтальной границы из множества пикселей горизонтальной границы. 4 н. и 10 з.п. ф-лы, 12 ил.
Наверх