Сокращение числа регулярно-кодированных элементов разрешения для декодирования коэффициентов с использованием порогового значения и параметра райса

Авторы патента:

H04N19/44 - Передача изображений, например телевидение (измерения, испытания G01; системы для оригиналов рукописей например, пишущие телеграфные аппараты, которые рассматриваются в подклассе G08; накопление информации, основанное на относительном перемещении носителя записи и преобразователя G11B; кодирование; декодирование или преобразование кодов вообще H03M; радиовещание или регистрация использования радиосети H04H)

Владельцы патента RU 2793272:

КВЭЛКОММ ИНКОРПОРЕЙТЕД (US)

Изобретение относится к средствам для кодирования видеоданных. Технический результат заключается в повышении эффективности кодирования видеоданных. Определяют пороговое число регулярно-кодированных элементов разрешения для первого прохода декодирования. Для первого набора коэффициентов, выполняют контекстное декодирование элементов разрешения синтаксических элементов группы коэффициентов до тех пор, пока не будет достигнуто пороговое число регулярно-кодированных элементов разрешения. Контекстно-декодированные элементы разрешения синтаксических элементов содержат один или более флагов значимости, один или более флагов уровня четности и один или более первых флагов. Каждый из одного или более флагов значимости указывает то, равен ли абсолютный уровень для соответствующего коэффициента нулю. Каждый из одного или более флагов уровня четности указывает то, является ли абсолютный уровень для соответствующего коэффициента четным или нечетным. Каждый из одного или более первых флагов указывает то, больше ли абсолютный уровень для соответствующего коэффициента двух. 4 н. и 34 з.п. ф-лы, 19 ил.

[0001] Данная заявка притязает на приоритет:

- заявки на патент (США) № 16/704995, поданной 5 декабря 2019 года, которая притязает на приоритет:

- предварительной заявки на патент (США) 62/776379, поданной 6 декабря 2018 года; и

- предварительной заявки на патент (США) 62/787681, поданной 2 января 2019 года;

содержимое каждой из которых настоящим полностью содержится по ссылке.

Область техники, к которой относится изобретение

[0002] Данное раскрытие относится к кодированию видео и декодированию видео.

Уровень техники

[0003] Поддержка цифрового видео может быть включена в широкий диапазон устройств, включающих в себя цифровые телевизионные приемники, системы цифровой прямой широковещательной передачи, беспроводные широковещательные системы, персональные цифровые устройства (PDA), переносные или настольные компьютеры, планшетные компьютеры, устройства для чтения электронных книг, цифровые камеры, цифровые записывающие устройства, цифровые мультимедийные проигрыватели, устройства видеоигр, консоли для видеоигр, сотовые или спутниковые радиотелефоны, так называемые "смартфоны", устройства видеоконференц-связи, устройства потоковой передачи видео и т.п. Цифровые видеоустройства реализуют такие технологии кодирования видео, как технологии кодирования видео, описанные в стандартах, заданных посредством MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, часть 10, усовершенствованное кодирование видео (AVC), стандарта высокоэффективного кодирования видео (HEVC), и стандарта ITU-T H.265/высокоэффективного кодирования видео (HEVC) и расширений таких стандартов. Видеоустройства могут передавать, принимать, кодировать, декодировать и/или сохранять цифровую видеоинформацию более эффективно посредством реализации таких технологий кодирования видео.

[0004] Технологии кодирования видео включают в себя пространственное (внутрикадровое) прогнозирование (предсказание) и/или временное (межкадровое) прогнозирование для того, чтобы уменьшать или удалять избыточность, внутренне присущую в видеопоследовательностях. Для кодирования видео на основе блоков, видеосрез (например, видеокадр или часть видеокадра) может сегментироваться на видеоблоки, которые также могут называться "единицами дерева кодирования (CTU)", "единицами кодирования (CU)" и/или "узлами кодирования". Видеоблоки во внутреннем (I-) срезе (слайсе) кадра кодируются с использованием пространственного прогнозирования относительно опорных выборок (дискретных отсчетов) в соседних блоках в одном и том же кадре. Видеоблоки во взаимно кодированном (P- или B-) срезе кадра могут использовать пространственное прогнозирование относительно опорных выборок в соседних блоках в одном и том же кадре или временное прогнозирование относительно опорных выборок в других опорных кадрах. Кадры могут называться "картинками", и опорные кадры могут называться "опорными картинками".

Сущность изобретения

[0005] Кодирование видео (например, кодирование видео и/или декодирование видео) типично заключает в себе прогнозирование блока видеоданных либо из уже кодированного блока видеоданных в идентичном кадре (например, внутреннее прогнозирование), либо из уже кодированного блока видеоданных в другом кадре (например, взаимное прогнозирование). В некоторых случаях, видеокодер также вычисляет остаточные данные посредством сравнения прогнозирующего блока с исходным блоком. Таким образом, остаточные данные представляют разность между прогнозирующим блоком и исходным блоком видеоданных. Чтобы уменьшать число битов, требуемых для того, чтобы передавать остаточные данные, видеокодер преобразует остаточные данные в коэффициенты преобразования, квантует коэффициенты преобразования и передает преобразованные и квантованные коэффициенты в кодированном потоке битов. Сжатие, достигаемое посредством процессов преобразования и квантования, может выполняться с потерями, что означает то, что процессы преобразования и квантования могут вводить искажение в декодированные видеоданные. Это раскрытие описывает технологии, связанные с кодированием коэффициентов преобразования.

[0006] Способ декодирования видеоданных включает в себя определение порогового числа регулярно-кодированных элементов разрешения (бинов) для первого прохода декодирования; для первого набора коэффициентов, контекстное декодирование элементов разрешения синтаксических элементов группы коэффициентов до тех пор, пока пороговое число регулярно-кодированных элементов разрешения не достигается, при этом контекстно-декодированные элементы разрешения синтаксических элементов содержат один или более флагов значимости, один или более флагов уровня четности и один или более первых флагов, при этом каждый из одного или более флагов значимости указывает то, равен или нет абсолютный уровень для соответствующего коэффициента нулю, каждый из одного или более флагов уровня четности указывает то, является абсолютный уровень для соответствующего коэффициента четным или нечетным, и каждый из одного или более первых флагов указывает то, превышает или нет абсолютный уровень для соответствующего коэффициента 2; определение значений для первого набора коэффициентов единицы преобразования на основе контекстно-декодированных элементов разрешения синтаксических элементов; в ответ на достижение порогового числа регулярно-кодированных элементов разрешения, для второго набора коэффициентов, обходное декодирование дополнительных синтаксических элементов, при этом обходное декодирование дополнительных синтаксических элементов содержит, для коэффициента из второго набора коэффициентов, извлечение значения для параметра Райса; и определение значений для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов, при этом определение значений для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов содержит определение значения для нулевого параметра на основе параметра Райса, при этом значение для нулевого параметра идентифицирует кодированное значение, которое соответствует уровню коэффициентов нуль; прием первого кодированного значения для первого коэффициента из второго набора коэффициентов; и, на основе значения для нулевого параметра и первого кодированного значения для первого коэффициента, определение уровня для первого коэффициента.

[0007] Устройство для декодирования видеоданных включает в себя запоминающее устройство, выполненное с возможностью сохранять видеоданные, и один или более процессоров, реализованных в схеме и выполненных с возможностью определять пороговое число регулярно-кодированных элементов разрешения для первого прохода декодирования; для первого набора коэффициентов, контекстно декодировать элементы разрешения синтаксических элементов группы коэффициентов до тех пор, пока пороговое число регулярно-кодированных элементов разрешения не достигается, при этом контекстно-декодированные элементы разрешения синтаксических элементов содержат один или более флагов значимости, один или более флагов уровня четности и один или более первых флагов, при этом каждый из одного или более флагов значимости указывает то, равен или нет абсолютный уровень для соответствующего коэффициента нулю, каждый из одного или более флагов уровня четности указывает то, является абсолютный уровень для соответствующего коэффициента четным или нечетным, и каждый из одного или более первых флагов указывает то, превышает или нет абсолютный уровень для соответствующего коэффициента 2; определять значения для первого набора коэффициентов единицы преобразования на основе контекстно-декодированных элементов разрешения синтаксических элементов; в ответ на достижение порогового числа регулярно-кодированных элементов разрешения, для второго набора коэффициентов, выполнять обходное декодирование дополнительных синтаксических элементов, при этом для того, чтобы выполнять обходное декодирование дополнительных синтаксических элементов, один или более процессоров выполнены с возможностью извлекать, для коэффициента из второго набора коэффициентов, значение для параметра Райса; и определять значения для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов, при этом для того, чтобы определять значения для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов, один или более процессоров выполнены с возможностью определять значение для нулевого параметра на основе параметра Райса, при этом значение для нулевого параметра идентифицирует кодированное значение, которое соответствует уровню коэффициентов нуль; принимать первое кодированное значение для первого коэффициента из второго набора коэффициентов; на основе значения для нулевого параметра и первого кодированного значения для первого коэффициента, определять уровень для первого коэффициента.

[0008] Согласно одному или более примерам, машиночитаемый носитель данных хранит инструкции, которые, при их исполнении посредством одного или более процессоров инструктируют одному или более процессорам определять пороговое число регулярно-кодированных элементов разрешения для первого прохода декодирования; для первого набора коэффициентов, контекстно декодировать элементы разрешения синтаксических элементов группы коэффициентов до тех пор, пока пороговое число регулярно-кодированных элементов разрешения не достигается, при этом контекстно-декодированные элементы разрешения синтаксических элементов содержат один или более флагов значимости, один или более флагов уровня четности и один или более первых флагов, при этом каждый из одного или более флагов значимости указывает то, равен или нет абсолютный уровень для соответствующего коэффициента нулю, каждый из одного или более флагов уровня четности указывает то, является абсолютный уровень для соответствующего коэффициента четным или нечетным, и каждый из одного или более первых флагов указывает то, превышает или нет абсолютный уровень для соответствующего коэффициента 2; определять значения для первого набора коэффициентов единицы преобразования на основе контекстно-декодированных элементов разрешения синтаксических элементов; в ответ на достижение порогового числа регулярно-кодированных элементов разрешения, для второго набора коэффициентов, выполнять обходное декодирование дополнительных синтаксических элементов, при этом для того, чтобы выполнять обходное декодирование дополнительных синтаксических элементов, инструкции инструктируют одному или более процессорам извлекать, для коэффициента из второго набора коэффициентов, значение для параметра Райса; и определять значения для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов, при этом для того, чтобы определять значения для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов, инструкции инструктируют одному или более процессорам определять значение для нулевого параметра на основе параметра Райса, при этом значение для нулевого параметра идентифицирует кодированное значение, которое соответствует уровню коэффициентов нуль; принимать первое кодированное значение для первого коэффициента из второго набора коэффициентов; и, на основе значения для нулевого параметра и первого кодированного значения для первого коэффициента, определять уровень для первого коэффициента.

[0009] Согласно одному примеру, оборудование для декодирования видеоданных включает в себя средство для определения порогового числа регулярно-кодированных элементов разрешения для первого прохода декодирования; средство для контекстного декодирования, для первого набора коэффициентов, элементов разрешения синтаксических элементов группы коэффициентов до тех пор, пока пороговое число регулярно-кодированных элементов разрешения не достигается, при этом контекстно-декодированные элементы разрешения синтаксических элементов содержат один или более флагов значимости, один или более флагов уровня четности и один или более первых флагов, при этом каждый из одного или более флагов значимости указывает то, равен или нет абсолютный уровень для соответствующего коэффициента нулю, каждый из одного или более флагов уровня четности указывает то, является абсолютный уровень для соответствующего коэффициента четным или нечетным, и каждый из одного или более первых флагов указывает то, превышает или нет абсолютный уровень для соответствующего коэффициента 2; средство для определения значений для первого набора коэффициентов единицы преобразования на основе контекстно-декодированных элементов разрешения синтаксических элементов; средство для обходного декодирования дополнительных синтаксических элементов, для второго набора коэффициентов, в ответ на достижение порогового числа регулярно-кодированных элементов разрешения, при этом средство для обходного декодирования дополнительных синтаксических элементов содержит средство для извлечения, для коэффициента из второго набора коэффициентов, значения для параметра Райса; и средство для определения значений для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов, при этом средство для определения значений для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов содержит средство для определения значения для нулевого параметра на основе параметра Райса, при этом значение для нулевого параметра идентифицирует кодированное значение, которое соответствует уровню коэффициентов нуль; средство для приема первого кодированного значения для первого коэффициента из второго набора коэффициентов; и средство для определения уровня для первого коэффициента на основе значения для нулевого параметра и первого кодированного значения для первого коэффициента.

[0010] Подробности одного или более примеров изложены на прилагаемых чертежах и в нижеприведенном описании. Другие признаки, цели и преимущества должны становиться очевидными из описания, чертежей и формулы изобретения.

Краткое описание чертежей

[0011] Фиг. 1 является блок-схемой, иллюстрирующей примерную систему кодирования и декодирования видео, которая может выполнять технологии этого раскрытия.

[0012] Фиг. 2A и 2B являются концептуальными схемами, иллюстрирующими примерную структуру в виде дерева квадрантов и двоичного дерева (QTBT) и соответствующую единицу дерева кодирования (CTU).

[0013] Фиг. 3 показывает примерный порядок для синтаксических элементов, представляющих значения абсолютного уровня для коэффициентов в группе для кодирования (CG).

[0014] Фиг. 4 показывает иллюстрацию эталона, используемого для выбора вероятностных моделей.

[0015] Фиг. 5 показывает пример перемеженного Gt2-флага в первом проходе после Par-флага.

[0016] Фиг. 6 показывает пример перемеженного Gt2-флага в первом проходе после Gt1-флага.

[0017] Фиг. 7 показывает пример частичного кодирования последнего коэффициента, при котором предел по регулярно-кодированным элементам разрешения достигается для SIG-Gt1-Par-Gt2-кодирования в первом проходе кодирования.

[0018] Фиг. 8 показывает пример частичного кодирования последнего коэффициента, при котором предел по регулярно-кодированным элементам разрешения достигается для SIG-Gt1-Gt2-Par-кодирования в первом проходе кодирования.

[0019] Фиг. 9 является блок-схемой, иллюстрирующей примерный видеокодер, который может выполнять технологии этого раскрытия.

[0020] Фиг. 10 является блок-схемой, иллюстрирующей примерный видеодекодер, который может выполнять технологии этого раскрытия.

[0021] Фиг. 11A и 11B являются концептуальными схемами, иллюстрирующими процесс обновления диапазона при двоичном арифметическом кодировании.

[0022] Фиг. 12 является концептуальной схемой, иллюстрирующей процесс вывода при двоичном арифметическом кодировании.

[0023] Фиг. 13 является блок-схемой, иллюстрирующей кодер по технологии контекстно-адаптивного двоичного арифметического кодирования (CABAC) в видеокодере.

[0024] Фиг. 14 является блок-схемой, иллюстрирующей CABAC-кодер в видеодекодере.

[0025] Фиг. 15 является блок-схемой последовательности операций способа, иллюстрирующей примерную работу видеокодера.

[0026] Фиг. 16 является блок-схемой последовательности операций способа, иллюстрирующей примерную работу видеодекодера.

[0027] Фиг. 17 является блок-схемой последовательности операций способа, иллюстрирующей примерную работу видеодекодера.

Осуществление изобретения

[0028] Кодирование видео (например, кодирование видео и/или декодирование видео) типично заключает в себе прогнозирование блока видеоданных либо из уже кодированного блока видеоданных в идентичном кадре (например, внутреннее прогнозирование), либо из уже кодированного блока видеоданных в другом кадре (например, взаимное прогнозирование). В некоторых случаях, видеокодер также вычисляет остаточные данные посредством сравнения прогнозирующего блока с исходным блоком. Таким образом, остаточные данные представляют разность между прогнозирующим блоком и исходным блоком видеоданных. Чтобы уменьшать число битов, требуемых для того, чтобы передавать остаточные данные, видеокодер преобразует и квантует остаточные данные и передает преобразованные и квантованные остаточные данные в кодированном потоке битов. Сжатие, достигаемое посредством процессов преобразования и квантования, может выполняться с потерями, что означает то, что процессы преобразования и квантования могут вводить искажение в декодированные видеоданные.

[0029] Видеодекодер декодирует и суммирует остаточные данные с прогнозирующим блоком, чтобы формировать восстановленный видеоблок, который совпадает с исходным видеоблоком более тесно, чем только прогнозирующий блок. Вследствие потерь, введенных посредством преобразования и квантования остаточных данных, восстановленный блок может иметь искажение или артефакты. Один общий тип артефакта или искажения называется "блочностью", когда границы блоков, используемых для того, чтобы кодировать видеоданные, являются видимыми.

[0030] Чтобы дополнительно повышать качество декодированного видео, видеодекодер может выполнять одну или более операций фильтрации для восстановленных видеоблоков. Примеры этих операций фильтрации включают в себя фильтрацию для удаления блочности, фильтрацию на основе дискретизированного адаптивного смещения (SAO) и адаптивную контурную фильтрацию (ALF). Параметры для этих операций фильтрации либо могут определяться посредством видеокодера и явно передаваться в кодированном потоке видеобитов, либо могут неявно определяться посредством видеодекодера без необходимости явно передачи параметров в кодированном потоке видеобитов.

[0031] Как представлено выше, видеокодер преобразует остаточные данные для того, чтобы формировать коэффициенты преобразования. Эти коэффициенты преобразования дополнительно могут квантоваться. В этом раскрытии, термин "коэффициент преобразования" или "коэффициент", может означать квантованный коэффициент преобразования или неквантованный коэффициент преобразования. Это раскрытие описывает технологии для передачи в служебных сигналах значений коэффициентов преобразования, например, квантованных коэффициентов преобразования, из видеокодера в видеодекодер. Более конкретно, это раскрытие описывает технологии, связанные с процессом энтропийного декодирования, который преобразует двоичное представление битов в последовательность недвоичных квантованных коэффициентов преобразования. Соответствующий процесс энтропийного кодирования, который, в общем, представляет собой обратным процессом по отношению к энтропийному декодированию, также описывается в этом раскрытии.

[0032] В одном примере, это раскрытие описывает технологии для определения параметра Райса, используемого для того, чтобы задавать коды, например, коды Голомба-Райса или экспоненциальные коды Голомба, для кодирования оставшихся абсолютных значений уровней коэффициентов для блока коэффициентов, причем контекстно-адаптивное двоичное арифметическое кодирование (CABAC) используется для того, чтобы кодировать другие индикаторы относительно значимых коэффициентов, такие как уровни коэффициентов, большие 1, и уровни коэффициентов, большие 2. Уровни коэффициентов могут представлять собой уровни коэффициентов преобразования в случае кодирования с потерями, или уровни коэффициентов, для которых не применяется преобразование (т.е. остаточные пиксельные значения), в случае кодирования без потерь или кодирования с потерями в режиме пропуска преобразования. Как подробнее поясняется ниже, уровень коэффициентов может составлять либо абсолютное значение для уровня коэффициентов, либо оставшийся уровень для уровня коэффициентов.

[0033] Параметр Райса является настраиваемым значением, используемым для того, чтобы выбирать набор кодовых слов из семейства кодов Голомба, например, кодов Голомба-Райса или экспоненциальных кодов Голомба. Коды, заданные посредством параметра Райса, могут использоваться для того, чтобы кодировать оставшееся абсолютное значение уровня коэффициентов, по меньшей мере, для одного коэффициента в единице преобразования (TU) или в группе коэффициентов (CG), т.е. в блоке коэффициентов. Каждая из CG может представлять собой блок преобразования 4×4 или субблок 4×4 блока преобразования видеоданных. CG могут включать в себя коэффициенты преобразования в случае кодирования с потерями или коэффициенты, для которых не применяется преобразование, в случае кодирования без потерь или кодирования с потерями в режиме пропуска преобразования.

[0034] Это раскрытие дополнительно описывает технологии для определения значения для нулевого параметра на основе параметра Райса. Нулевой параметр представляет значение потока битов, которое соответствует уровню коэффициентов нуль. Если вероятность равенства уровня коэффициентов нулю является относительно низкой, то более длинное кодовое слово или значение потока битов может назначаться уровню коэффициентов нуль таким образом, что более короткие кодовые слова могут использоваться для ненулевых значений. Технологии этого раскрытия могут улучшать сжатие видео посредством улучшения выбора нулевых параметров таким образом, что биты могут экономиться при кодировании уровней коэффициентов.

[0035] Технологии этого раскрытия могут применяться к любым из существующих видеокодеков, таким как стандарт высокоэффективного кодирования видео (HEVC), либо могут предлагаться в качестве перспективного инструментального средства кодирования для новых стандартов кодирования видео, таких как стандарт универсального кодирования видео (VVC), разрабатываемый в данный момент, или для других будущих стандартов кодирования видео.

[0036] Фиг. 1 является блок-схемой, иллюстрирующей примерную систему 100 кодирования и декодирования видео, которая может выполнять технологии этого раскрытия. Технологии этого раскрытия, в общем, направлены на кодирование (кодирование и/или декодирование) видеоданных. В общем, видеоданные включают в себя любые данные для обработки видео. Таким образом, видеоданные могут включать в себя необработанное некодированное видео, кодированное видео, декодированное (например, восстановленное) видео и видеометаданные, такие как служебные данные.

[0037] Как показано на фиг. 1, система 100 включает в себя исходное устройство 102, которое предоставляет кодированные видеоданные, которые должны декодироваться и отображаться посредством целевого устройства 116, в этом примере. В частности, исходное устройство 102 предоставляет видеоданные в целевое устройство 116 через машиночитаемый носитель 110. Исходное устройство 102 и целевое устройство 116 могут содержать любые из широкого диапазона устройств, включающих в себя настольные компьютеры, ноутбуки (т.е. переносные компьютеры), планшетные компьютеры, абонентские приставки, телефонные трубки, к примеру, смартфоны, телевизионные приемники, камеры, устройства отображения, цифровые мультимедийные проигрыватели, консоли для видеоигр, устройство потоковой передачи видео и т.п. В некоторых случаях, исходное устройство 102 и целевое устройство 116 могут оснащаться возможностями беспроводной связи и в силу этого могут называться "устройствами беспроводной связи".

[0038] В примере по фиг. 1, исходное устройство 102 включает в себя видеоисточник 104, запоминающее устройство 106, видеокодер 200 и интерфейс 108 вывода. Целевое устройство 116 включает в себя интерфейс 122 ввода, видеодекодер 300, запоминающее устройство 120 и устройство 118 отображения. В соответствии с этим раскрытием, видеокодер 200 исходного устройства 102 и видеодекодер 300 целевого устройства 116 могут быть выполнены с возможностью применять технологии для кодирования коэффициентов, описанные в данном документе. Таким образом, исходное устройство 102 представляет пример устройства кодирования видео, в то время как целевое устройство 116 представляет пример устройства декодирования видео. В других примерах, исходное устройство и целевое устройство могут включать в себя другие компоненты или компоновки. Например, исходное устройство 102 может принимать видеоданные из внешнего видеоисточника, такого как внешняя камера. Аналогично, целевое устройство 116 может взаимодействовать с внешним устройством отображения вместо включения в себя интегрированного устройства отображения.

[0039] Система 100, как показано на фиг. 1, представляет собой просто один пример. В общем, любое устройство кодирования и/или декодирования цифрового видео может выполнять технологии для кодирования коэффициентов, описанные в данном документе. Исходное устройство 102 и целевое устройство 116 представляют собой просто примеры таких устройств кодирования, в которых исходное устройство 102 формирует кодированные видеоданные для передачи в целевое устройство 116. Это раскрытие обозначает устройство "кодирования" в качестве устройства, которое выполняет кодирование (кодирование и/или декодирование) данных. Таким образом, видеокодер 200 и видеодекодер 300 представляют примеры устройств кодирования, в частности, видеокодера и видеодекодера, соответственно. В некоторых примерах, исходное устройство 102 и целевое устройство 116 могут работать практически симметрично таким образом, что каждое из исходного устройства 102 и целевого устройства 116 включает в себя компоненты кодирования и декодирования видео. Следовательно, система 100 может поддерживать одностороннюю и двухстороннюю передачу видео между исходным устройством 102 и целевым устройством 116, к примеру, для потоковой передачи видео, воспроизведения видео, широковещательной передачи видео или видеотелефонии.

[0040] В общем, видеоисточник 104 представляет источник видеоданных (т.е. необработанных некодированных видеоданных) и предоставляет последовательную серию изображений (также называемых "кадрами") видеоданных в видеокодер 200, который кодирует данные для кадров. Видеоисточник 104 исходного устройства 102 может включать в себя устройство видеозахвата, такое как видеокамера, видеоархив, содержащий ранее захваченное необработанное видео, и/или интерфейс прямой видеотрансляции, чтобы принимать видео от поставщика видеосодержимого. В качестве дополнительной альтернативы, видеоисточник 104 может формировать данные компьютерной графики в качестве исходного видео либо комбинацию передаваемого вживую видео, архивного видео и машиногенерируемого видео. В каждом случае, видеокодер 200 кодирует захваченные, предварительно захваченные или машиногенерируемые видеоданные. Видеокодер 200 может перекомпоновывать кадры из порядка приема (иногда называемого "порядком отображения") в порядок кодирования для кодирования. Видеокодер 200 может формировать поток битов, включающий в себя кодированные видеоданные. Исходное устройство 102 затем может выводить кодированные видеоданные через интерфейс 108 вывода на машиночитаемый носитель 110 для приема и/или извлечения, например, посредством интерфейса 122 ввода целевого устройства 116.

[0041] Запоминающее устройство 106 исходного устройства 102 и запоминающее устройство 120 целевого устройства 116 представляют запоминающие устройства общего назначения. В некоторых примерах, запоминающие устройства 106, 120 могут сохранять необработанные видеоданные, например, необработанное видео из видеоисточника 104 и необработанные декодированные видеоданные из видеодекодера 300. Дополнительно или альтернативно, запоминающие устройства 106, 120 могут хранить программные инструкции, выполняемые, например, посредством видеокодера 200 и видеодекодера 300, соответственно. Хотя запоминающее устройство 106 и запоминающее устройство 120 показаны отдельно от видеокодера 200 и видеодекодера 300 в этом примере, следует понимать, что видеокодер 200 и видеодекодер 300 также могут включать в себя внутренние запоминающие устройства для функционально аналогичных или эквивалентных целей. Кроме того, запоминающие устройства 106, 120 могут сохранять кодированные видеоданные, например, выводимые из видеокодера 200 и вводимые в видеодекодер 300. В некоторых примерах, части запоминающих устройств 106, 120 могут выделяться в качестве одного или более видеобуферов, например, чтобы сохранять необработанные, декодированные и/или кодированные видеоданные.

[0042] Машиночитаемый носитель 110 может представлять любой тип носителя или устройства, допускающего транспортировку кодированных видеоданных из исходного устройства 102 в целевое устройство 116. В одном примере, машиночитаемый носитель 110 представляет среду связи, чтобы обеспечивать возможность исходному устройству 102 передавать кодированные видеоданные непосредственно в целевое устройство 116 в реальном времени, например, через радиочастотную сеть или компьютерную сеть. Интерфейс 108 вывода может модулировать передаваемый сигнал, включающий в себя кодированные видеоданные, и интерфейс 122 ввода может демодулировать принимаемый сигнал передачи, согласно стандарту связи, такому как протокол беспроводной связи. Среда связи может содержать любую беспроводную или проводную среду связи, такую как радиочастотный (RF) спектр либо одна или более физических линий передачи. Среда связи может формировать часть сети с коммутацией пакетов, такой как локальная вычислительная сеть, глобальная вычислительная сеть либо глобальная сеть, такая как Интернет. Среда связи может включать в себя маршрутизаторы, коммутаторы, базовые станции или любое другое оборудование, которое может быть полезным для того, чтобы упрощать передачу из исходного устройства 102 в целевое устройство 116.

[0043] В некоторых примерах, исходное устройство 102 может выводить кодированные данные из интерфейса 108 вывода в устройство 112 хранения данных. Аналогично, целевое устройство 116 может осуществлять доступ к кодированным данным из устройства 112 хранения данных через интерфейс 122 ввода. Устройство 112 хранения данных может включать в себя любые из множества распределенных или локально доступных носителей данных, таких как жесткий диск, Blu-Ray-диски, DVD, CD-ROM, флэш-память, энергозависимое или энергонезависимое запоминающее устройство либо любые другие подходящие цифровые носители данных для сохранения кодированных видеоданных.

[0044] В некоторых примерах, исходное устройство 102 может выводить кодированные видеоданные на файловый сервер 114 или другое промежуточное устройство хранения данных, которое может сохранять кодированное видео, сформированное посредством исходного устройства 102. Целевое устройство 116 может осуществлять доступ к сохраненным видеоданным из файлового сервера 114 через потоковую передачу или загрузку. Файловый сервер 114 может представлять собой любой тип серверного устройства, допускающего сохранение кодированных видеоданных и передачу этих кодированных видеоданных в целевое устройство 116. Файловый сервер 114 может представлять веб-сервер (например, для веб-узла), сервер по протоколу передачи файлов (FTP), сетевое устройство доставки контента или устройство по протоколу системы хранения данных с подключением по сети (NAS). Целевое устройство 116 может осуществлять доступ к кодированным видеоданным из файлового сервера 114 через любое стандартное соединение для передачи данных, включающее в себя Интернет-соединение. Оно может включать в себя беспроводной канал (например, Wi-Fi-соединение), проводное соединение (например, цифровую абонентскую линию (DSL), кабельный модем и т.д.) либо комбинацию означенного, которая является подходящей для осуществления доступа к кодированным видеоданным, сохраненным на файловом сервере 114. Файловый сервер 114 и интерфейс 122 ввода могут быть выполнены с возможностью работать согласно протоколу потоковой передачи, протоколу передачи на основе загрузки либо комбинации вышеозначенного.

[0045] Интерфейс 108 вывода и интерфейс 122 ввода могут представлять беспроводные передающие устройства/приемные устройства, модемы, проводные сетевые компоненты (например, Ethernet-карты), компоненты беспроводной связи, которые работают согласно любым из множества IEEE 802.11-стандартов, либо другие физические компоненты. В примерах, в которых интерфейс 108 вывода и интерфейс 122 ввода содержат беспроводные компоненты, интерфейс 108 вывода и интерфейс 122 ввода могут быть выполнены с возможностью передавать данные, к примеру, кодированные видеоданные, согласно стандарту сотовой связи, такому как 4G, 4G LTE (стандарт долгосрочного развития), усовершенствованный стандарт LTE, 5G и т.п. В некоторых примерах, в которых интерфейс 108 вывода содержит беспроводное передающее устройство, интерфейс 108 вывода и интерфейс 122 ввода могут быть выполнены с возможностью передавать данные, к примеру, кодированные видеоданные, согласно другим стандартам беспроводной связи, таким как IEEE 802.11-спецификация, IEEE 802.15-спецификация (например, ZigBee™), стандарт Bluetooth™ и т.п. В некоторых примерах, исходное устройство 102 и/или целевое устройство 116 могут включать в себя соответствующие внутримикросхемные (SoC) устройства. Например, исходное устройство 102 может включать в себя SoC-устройство, чтобы выполнять функциональность, приписываемую видеокодеру 200 и/или интерфейсу 108 вывода, и целевое устройство 116 может включать в себя SoC-устройство, чтобы выполнять функциональность, приписываемую видеодекодеру 300 и/или интерфейсу 122 ввода.

[0046] Технологии этого раскрытия могут применяться к кодированию видео в поддержку любых из множества мультимедийных вариантов применения, таких как телевизионные широковещательные передачи по радиоинтерфейсу, кабельные телевизионные передачи, спутниковые телевизионные передачи, потоковые передачи видео по Интернету, такие как динамическая адаптивная потоковая передача по HTTP (DASH), цифровое видео, которое кодируется на носитель данных, декодирование цифрового видео, сохраненного на носителе данных, или другие варианты применения.

[0047] Интерфейс 122 ввода целевого устройства 116 принимает кодированный поток видеобитов из машиночитаемого носителя 110 (например, среды связи, устройства 112 хранения данных, файлового сервера 114 и т.п.). Кодированный поток видеобитов может включать в себя служебную информацию, заданную посредством видеокодера 200, которая также используется посредством видеодекодера 300, такую как синтаксические элементы, имеющие значения, которые описывают характеристики и/или обработку видеоблоков либо других кодированных единиц (например, срезов, кадров, групп кадров, последовательностей и т.п.). Устройство 118 отображения отображает декодированные кадры декодированных видеоданных пользователю. Устройство 118 отображения может представлять любое из множества устройств отображения, таких как дисплей на электронно-лучевой трубке (CRT), жидкокристаллический дисплей (LCD), плазменный дисплей, дисплей на органических светодиодах (OLED) или другой тип устройства отображения.

[0048] Хотя не показано на фиг. 1, в некоторых примерах, видеокодер 200 и видеодекодер 300 могут быть интегрированы с аудиокодером и/или аудиодекодером и могут включать в себя соответствующие модули мультиплексора-демультиплексора либо другие аппаратные средства и программное обеспечение для того, чтобы обрабатывать мультимедийные потоки, включающие в себя как аудио, так и видео в общем потоке данных. Если применимо, модули мультиплексора-демультиплексора могут соответствовать протоколу мультиплексора ITU H.223 или другим протоколам, таким как протокол пользовательских дейтаграмм (UDP).

[0049] Видеокодер 200 и видеодекодер 300 могут реализовываться как любая из множества надлежащих схем кодера и/или декодера, к примеру, как один или более микропроцессоров, процессоров цифровых сигналов (DSP), специализированных интегральных схем (ASIC), программируемых пользователем вентильных матриц (FPGA), как дискретная логика, программное обеспечение, аппаратные средства, микропрограммное обеспечение либо как любые комбинации вышеозначенного. Когда технологии реализуются частично в программном обеспечении, устройство может сохранять инструкции для программного обеспечения на подходящем энергонезависимом машиночитаемом носителе и выполнять инструкции в аппаратных средствах с использованием одного или более процессоров, чтобы осуществлять технологии этого раскрытия. Каждый из видеокодера 200 и видеодекодера 300 может быть включен в один или более кодеров или декодеров, любой из которых может быть интегрирован как часть комбинированного кодера/декодера (кодека) в соответствующем устройстве. Устройство, включающее в себя видеокодер 200 и/или видеодекодер 300, может содержать интегральную схему, микропроцессор и/или устройство беспроводной связи, такое как сотовый телефон.

[0050] Видеокодер 200 и видеодекодер 300 могут работать согласно стандарту кодирования видео, такому как ITU-T H.265, также называемому "стандартом высокоэффективного кодирования видео (HEVC)", либо его расширениям, таким как расширения кодирования многовидового видео и/или масштабируемого кодирования видео. Альтернативно, видеокодер 200 и видеодекодер 300 могут работать согласно другим собственным или отраслевым стандартам, таким как стандарт объединенной исследовательской группы тестовой модели (JEM) или ITU-T H.266, также называемый "универсальным кодированием видео (VVC)". Последний проект VVC-стандарта описывается в работе авторов Bross и др. "Versatile Video Coding (Draft 6)", Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 15 конференция: Гетеборг, Швеция, 3-12 июля 2019 года, JVET-O2001-vE (далее "VVC-проект 6"). Тем не менее, технологии этого раскрытия не ограничены каким-либо конкретным стандартом кодирования.

[0051] В общем, видеокодер 200 и видеодекодер 300 могут выполнять кодирование кадров на основе блоков. Термин "блок", в общем, означает структуру, включающую в себя данные, которые должны обрабатываться (например, кодироваться, декодироваться или иным образом использоваться в процессе кодирования и/или декодирования). Например, блок может включать в себя двумерную матрицу выборок данных яркости и/или цветности. В общем, видеокодер 200 и видеодекодер 300 могут кодировать видеоданные, представленные в YUV- (например, Y, Cb, Cr) формате. Таким образом, вместо кодирования данных красного цвета, зеленого цвета и синего цвета (RGB) для выборок кадра, видеокодер 200 и видеодекодер 300 могут кодировать компоненты яркости и цветности, при этом компоненты цветности могут включать в себя компоненты цветности оттенков красного цвета и оттенков синего цвета. В некоторых примерах, видеокодер 200 преобразует принимаемые RGB-отформатированные данные в YUV-представление до кодирования, и видеодекодер 300 преобразует YUV-представление в RGB-формат. Альтернативно, модули предварительной и постобработки (не показаны) могут выполнять эти преобразования.

[0052] Это раскрытие, в общем, может означать кодирование (например, кодирование и декодирование) кадров, которое включает в себя процесс кодирования или декодирования данных кадра. Аналогично, это раскрытие может означать кодирование блоков кадра, которое включает в себя процесс кодирования или декодирования данных для блоков, например, прогнозное кодирование и/или остаточное кодирование. Кодированный поток видеобитов, в общем, включает в себя последовательность значений для синтаксических элементов, представляющих решения по кодированию (например, режимы кодирования) и сегментацию кадров на блоки. Таким образом, ссылки на кодирование кадра или блока, в общем, должны пониматься как кодирование значений для синтаксических элементов, формирующих кадр или блок.

[0053] HEVC задает различные блоки, включающие в себя единицы кодирования (CU), единицы прогнозирования (PU) и единицы преобразования (TU). Согласно HEVC, видеокодер (к примеру, видеокодер 200) сегментирует единицу дерева кодирования (CTU) на CU согласно структуре в виде дерева квадрантов. Таким образом, видеокодер сегментируют CTU и CU на четыре равных неперекрывающихся квадрата, и каждый узел дерева квадрантов имеет либо нуль, либо четыре дочерних узла. Узлы без дочерних узлов могут называться "узлами-листьями", и CU таких узлов-листьев могут включать в себя одну или более PU и/или одну или более TU. Видеокодер дополнительно может сегментировать PU и TU. Например, в HEVC, остаточное дерево квадрантов (RQT) представляет сегментацию TU. В HEVC, PU представляют данные взаимного прогнозирования, в то время как TU представляют остаточные данные. CU, которые внутренне прогнозируются, включают в себя информацию внутреннего прогнозирования, такую как индикатор внутреннего режима.

[0054] В качестве другого примера, видеокодер 200 и видеодекодер 300 могут быть выполнены с возможностью работать согласно JEM или VVC. Согласно JEM или VVC, видеокодер (к примеру, видеокодер 200) сегментирует кадр на множество единиц дерева кодирования (CTU). Видеокодер 200 может сегментировать CTU согласно древовидной структуре, такой как структура в виде дерева квадрантов и двоичного дерева (QTBT) или структура в виде многотипного дерева (MTT). QTBT-структура удаляет понятия нескольких типов сегментации, такие как разделение между CU, PU и TU HEVC. QTBT-структура включает в себя два уровня: первый уровень, сегментированный согласно сегментации на дерево квадрантов, и второй уровень, сегментированный согласно сегментации на двоичное дерево. Корневой узел QTBT-структуры соответствует CTU. Узлы-листья двоичных деревьев соответствуют единицам кодирования (CU).

[0055] В MTT-структуре сегментации, блоки могут сегментироваться с использованием сегмента дерева квадрантов (QT), сегмента двоичного дерева (BT) и одного или более типов сегментов троичного дерева (TT) (также называемого "третичным деревом (TT)). Сегмент троичного или третичного дерева представляет собой сегмент, в котором блок разбивается на три субблока. В некоторых примерах, сегмент троичного или третичного дерева разделяет блок на три субблока без разделения исходного блока по центру. Типы сегментации в MTT (например, QT, BT и TT) могут быть симметричными или асимметричными.

[0056] В некоторых примерах, видеокодер 200 и видеодекодер 300 могут использовать одну QTBT- или MTT-структуру для того, чтобы представлять каждый из компонентов яркости и цветности, в то время как в других примерах, видеокодер 200 и видеодекодер 300 могут использовать две или более QTBT- или MTT-структур, к примеру, одну QTBT/MTT-структуру для компонента яркости и другую QTBT/MTT-структуру для обоих компонентов цветности (либо две QTBT/MTT-структуры для соответствующих компонентов цветности).

[0057] Видеокодер 200 и видеодекодер 300 могут быть выполнены с возможностью использовать сегментацию на дерево квадрантов согласно HEVC, QTBT-сегментации, MTT-сегментации либо другим структурам сегментации. Для целей пояснения, описание технологий этого раскрытия представляется относительно QTBT-сегментации. Тем не менее, следует понимать, что технологии этого раскрытия также могут применяться к видеокодерам, выполненным с возможностью использовать также сегментацию на дерево квадрантов или другие типы сегментации.

[0058] Блоки (например, CTU или CU) могут группироваться различными способами в кадр. В качестве одного примера, кирпич может означать прямоугольную область CTU-строк в конкретной плитке в кадре. Плитка может представлять собой прямоугольную область CTU в конкретном столбце плиток и конкретной строке плиток в кадре. Столбец плиток означает прямоугольную область CTU, имеющих высоту, равную высоте кадра, и ширину, указываемую посредством синтаксических элементов (например, в наборе параметров кадра). Строка плиток означает прямоугольную область CTU, указывающих высоту посредством синтаксических элементов (например, в наборе параметров кадра), и ширину, равную ширине кадра.

[0059] В некоторых примерах, плитка может сегментироваться на несколько кирпичей, каждый из которых может включать в себя одну или более CTU-строк внутри плитки. Плитка, которая не сегментируется на несколько кирпичей, также может называться "кирпичом". Тем не менее, кирпич, который представляет собой истинный поднабор плитки, может не называться "плиткой".

[0060] Кирпичи в кадре также могут размещаться в срезе. Срез может представлять собой целое число кирпичей кадра, которые могут содержаться исключительно в одной единице слоя абстрагирования от сети (NAL). В некоторых примерах, срез включает в себя либо определенное число полных плиток, либо только жесткую последовательность полных кирпичей одной плитки.

[0061] Это раскрытие может использовать "N×N" и "N на N" взаимозаменяемо, чтобы ссылаться на размеры в выборках блока (к примеру, CU или другого видеоблока) с точки зрения размеров по вертикали и горизонтали, например, на выборки 16×16 или выборки 16 на 16. В общем, CU 16×16 должна иметь 16 пикселов в вертикальном направлении (y=16) и 16 пикселов в горизонтальном направлении (x=16). Аналогично, CU NxN, в общем, имеет N выборок в вертикальном направлении и N выборок в горизонтальном направлении, при этом N представляет неотрицательное целочисленное значение. Выборки в CU могут размещаться в строках и столбцах. Кроме того, CU не обязательно должны иметь идентичное число выборок в горизонтальном направлении и в вертикальном направлении. Например, CU могут содержать NxM выборок, причем M не обязательно равно N.

[0062] Видеокодер 200 кодирует видеоданные для CU, представляющих информацию прогнозирования и/или остаточную информацию и другую информацию. Информация прогнозирования указывает то, как CU должна прогнозироваться, чтобы формировать прогнозный блок для CU. Остаточная информация, в общем, представляет последовательные выборочные разности между выборками CU до кодирования и прогнозным блоком.

[0063] Чтобы прогнозировать CU, видеокодер 200, в общем, может формировать прогнозный блок для CU через взаимное прогнозирование или внутреннее прогнозирование. Взаимное прогнозирование, в общем, означает прогнозирование CU из данных ранее кодированного кадра, тогда как внутреннее прогнозирование, в общем, означает прогнозирование CU из ранее кодированных данных идентичного кадра. Чтобы выполнять взаимное прогнозирование, видеокодер 200 может формировать прогнозный блок с использованием одного или более векторов движения. Видеокодер 200, в общем, может выполнять поиск движения для того, чтобы идентифицировать опорный блок, который тесно совпадает с CU, например, с точки зрения разностей между CU и опорным блоком. Видеокодер 200 может вычислять разностный показатель с использованием суммы абсолютных разностей (SAD), суммы квадратов разности (SSD), средней абсолютной разности (MAD), среднеквадратических разностей (MSD) или других таких вычислений разности, чтобы определять то, совпадает или нет опорный блок тесно с текущей CU. В некоторых примерах, видеокодер 200 может прогнозировать текущую CU с использованием однонаправленного прогнозирования или двунаправленного прогнозирования.

[0064] Некоторые примеры JEM и VVC также предоставляют аффинный режим компенсации движения, который может считаться режимом взаимного прогнозирования. В аффинном режиме компенсации движения, видеокодер 200 может определять два или более векторов движения, которые представляют непоступательное движение в пространстве, такое как увеличение или уменьшение масштаба, вращение, перспективное движение или другие типы нерегулярного движения.

[0065] Чтобы выполнять внутреннее прогнозирование, видеокодер 200 может выбирать режим внутреннего прогнозирования для того, чтобы формировать прогнозный блок. Некоторые примеры JEM и VVC предоставляют шестьдесят семь режимов внутреннего прогнозирования, включающих в себя различные направленные режимы, а также планарный режим и DC-режим. В общем, видеокодер 200 выбирает режим внутреннего прогнозирования, который описывает соседние выборки относительно текущего блока (например, блока CU), из которых можно прогнозировать выборки текущего блока. Такие выборки, в общем, могут находиться выше, выше и слева или слева от текущего блока в идентичном кадре с текущим блоком, при условии, что видеокодер 200 кодирует CTU и CU в порядке растрового сканирования (слева направо, сверху вниз).

[0066] Видеокодер 200 кодирует данные, представляющие режим прогнозирования для текущего блока. Например, для режимов взаимного прогнозирования, видеокодер 200 может кодировать данные, представляющие то, какой из различных доступных режимов взаимного прогнозирования используется, а также информацию движения для соответствующего режима. Для однонаправленного или двунаправленного взаимного прогнозирования, например, видеокодер 200 может кодировать векторы движения с использованием усовершенствованного прогнозирования векторов движения (AMVP) или режима объединения. Видеокодер 200 может использовать аналогичные режимы для того, чтобы кодировать векторы движения для аффинного режима компенсации движения.

[0067] После прогнозирования, такого как внутреннее прогнозирование или взаимное прогнозирование блока, видеокодер 200 может вычислять остаточные данные для блока. Остаточные данные, такие как остаточный блок, представляют выборку посредством выборочных разностей между блоком и прогнозным блоком для блока, сформированных с использованием соответствующего режима прогнозирования. Видеокодер 200 может применять одно или более преобразований к остаточному блоку, чтобы формировать преобразованные данные в области преобразования вместо выборочной области. Например, видеокодер 200 может применять дискретное косинусное преобразование (DCT), целочисленное преобразование, вейвлет-преобразование или концептуально аналогичное преобразование к остаточным видеоданным. Дополнительно, видеокодер 200 может применять вторичное преобразование после первого преобразования, такое как зависимое от режима неразделимое вторичное преобразование (MDNSST), зависимое от сигнала преобразование, преобразование Карунена-Лоэва (KLT) и т.п. Видеокодер 200 формирует коэффициенты преобразования после применения одного или более преобразований.

[0068] Как отмечено выше, после преобразований для того, чтобы формировать коэффициенты преобразования, видеокодер 200 может выполнять квантование коэффициентов преобразования. Квантование, в общем, означает процесс, в котором коэффициенты преобразования квантуются, чтобы, возможно, уменьшать объем данных, используемых для того, чтобы представлять коэффициенты преобразования, обеспечивая дополнительное сжатие. Посредством выполнения процесса квантования, видеокодер 200 может уменьшать битовую глубину, ассоциированную с некоторыми или всеми коэффициентами преобразования. Например, видеокодер 200 может округлять n-битовое значение в меньшую сторону до m-битового значения во время квантования, где n превышает m. В некоторых примерах, чтобы выполнять квантование, видеокодер 200 может выполнять побитовый сдвиг вправо значения, которое должно квантоваться.

[0069] После квантования, видеокодер 200 может сканировать коэффициенты преобразования, формирующие одномерный вектор, из двумерной матрицы, включающей в себя квантованные коэффициенты преобразования. Сканирование может проектироваться с возможностью размещать коэффициенты преобразования с более высокой энергией (и в силу этого с более низкой частотой) в начале вектора и размещать коэффициенты преобразования с более низкой энергией (и в силу этого с более высокой частотой) в конце вектора. В некоторых примерах, видеокодер 200 может использовать предварительно заданный порядок сканирования для того, чтобы сканировать квантованные коэффициенты преобразования, чтобы формировать преобразованный в последовательную форму вектор, и затем энтропийно кодировать квантованные коэффициенты преобразования вектора. В других примерах, видеокодер 200 может выполнять адаптивное сканирование. После сканирования квантованных коэффициентов преобразования, чтобы формировать одномерный вектор, видеокодер 200 может энтропийно кодировать одномерный вектор, например, согласно контекстно-адаптивному двоичному арифметическому кодированию (CABAC). Видеокодер 200 также может энтропийно кодировать другие синтаксические элементы, описывающие метаданные, ассоциированные с кодированными видеоданными, для использования посредством видеодекодера 300 при декодировании видеоданных.

[0070] Чтобы выполнять CABAC, видеокодер 200 может назначать контекст в контекстной модели символу, который должен передаваться. Контекст может быть связан, например, с тем, являются соседние значения символа нулевыми или нет. Определение вероятности может быть основано на контексте, назначаемом символу.

[0071] Видеокодер 200 дополнительно может формировать синтаксические данные, к примеру, синтаксические данные на основе блоков, синтаксические данные на основе кадров и синтаксические данные на основе последовательностей, в видеодекодер 300, например, в заголовке кадра, заголовке блока, заголовке среза, либо другие синтаксические данные, к примеру, набор параметров последовательности (SPS), набор параметров кадра (PPS) или набор параметров видео (VPS). Видеодекодер 300 аналогично может декодировать такие синтаксические данные для того, чтобы определять то, как декодировать соответствующие видеоданные.

[0072] Таким образом, видеокодер 200 может формировать поток битов, включающий в себя кодированные видеоданные, например, синтаксические элементы, описывающие сегментацию кадра на блоки (например, CU), и информацию прогнозирования и/или остаточную информацию для блоков. В конечном счете, видеодекодер 300 может принимать поток битов и декодировать кодированные видеоданные.

[0073] В общем, видеодекодер 300 выполняет взаимообратный процесс относительно процесса, выполняемого посредством видеокодера 200, чтобы декодировать кодированные видеоданные потока битов. Например, видеодекодер 300 может декодировать значения для синтаксических элементов потока битов с использованием CABAC способом, практически аналогичным, хотя и взаимообратным, относительно процесса CABAC-кодирования видеокодера 200. Синтаксические элементы могут задавать сегментацию информации кадра на CTU и сегментацию каждой CTU согласно соответствующей структуре сегментации, такой как QTBT-структура, чтобы задавать CU CTU. Синтаксические элементы дополнительно могут задавать информацию прогнозирования и остаточную информацию для блоков (например, CU) видеоданных.

[0074] Остаточная информация может представляться, например, посредством квантованных коэффициентов преобразования. Видеодекодер 300 может обратно квантовать и обратно преобразовывать квантованные коэффициенты преобразования блока, чтобы воспроизводить остаточный блок для блока. Видеодекодер 300 использует сообщаемый режим прогнозирования (внутреннее или взаимное прогнозирование) и связанную информацию прогнозирования (например, информацию движения для взаимного прогнозирования), чтобы формировать прогнозный блок для блока. Видеодекодер 300 затем может комбинировать прогнозный блок и остаточный блок (на основе каждой выборки), чтобы воспроизводить исходный блок. Видеодекодер 300 может выполнять дополнительную обработку, такую как выполнение процесса удаления блочности, чтобы уменьшать визуальные артефакты вдоль границ блока.

[0075] Это раскрытие, в общем, может относиться к "сигнализированию" определенной информации, такой как синтаксические элементы. Термин "сигнализация", в общем, может означать передачу значений для синтаксических элементов и/или других данных, используемых для того, чтобы декодировать кодированных видеоданные. Таким образом, видеокодер 200 может сигнализировать значения для синтаксических элементов в потоке битов. В общем, сигнализация означает формирование значения в потоке битов. Как отмечено выше, исходное устройство 102 может транспортировать поток битов в целевое устройство 116 практически в реальном времени или не в реальном времени, к примеру, что может происходить при сохранении синтаксических элементов в устройство 112 хранения данных для последующего извлечения посредством целевого устройства 116.

[0076] Фиг. 2A и 2B является концептуальной схемой, иллюстрирующей примерную структуру 130 в виде дерева квадрантов и двоичного дерева (QTBT) и соответствующую единицу 132 дерева кодирования (CTU). Сплошные линии представляют разбиение на дерево квадрантов, и пунктирные линии указывают разбиение на двоичное дерево. В каждом разбитом (т.е. не листе) узле двоичного дерева, один флаг передается для указания того, какой тип разбиения (т.е. горизонтальное или вертикальное) используется, где 0 указывает горизонтальное разбиение, и 1 указывает вертикальное разбиение в этом примере. Для разбиения на дерево квадрантов, нет необходимости указывать тип разбиения, поскольку узлы дерева квадрантов разбивают блок горизонтально и вертикально на 4 субблока с равным размером. Соответственно, видеокодер 200 может кодировать, и видеодекодер 300 может декодировать синтаксические элементы (к примеру, информацию разбиения) для древовидного уровня области QTBT-структуры 130 (т.е. сплошные линии) и синтаксические элементы (к примеру, информацию разбиения) для древовидного уровня прогнозирования QTBT-структуры 130 (т.е. пунктирные линии). Видеокодер 200 может кодировать, и видеодекодер 300 может декодировать видеоданные, такие как данные прогнозирования и преобразования, для CU, представленных посредством терминальных узлов-листьев QTBT-структуры 130.

[0077] В общем, CTU 132 по фиг. 2B может быть ассоциирована с параметрами, задающими размеры блоков, соответствующих узлам QTBT-структуры 130 на первом и втором уровнях. Эти параметры могут включать в себя CTU-размер (представляющий размер CTU 132 в выборках), минимальный размер дерева квадрантов (MinQTSize, представляющий минимальный разрешенный размер узлов-листьев дерева квадрантов), максимальный размер двоичного дерева (MaxBTSize, представляющий максимальный разрешенный размер корневых узлов двоичного дерева), максимальную глубину двоичного дерева (MaxBTDepth, представляющий максимальную разрешенную глубину двоичного дерева) и минимальный размер двоичного дерева (MinBTSize, представляющий минимальный разрешенный размер узлов-листьев двоичного дерева).

[0078] Корневой узел QTBT-структуры, соответствующей CTU, может иметь четыре дочерних узла на первом уровне QTBT-структуры, каждый из которых может сегментироваться согласно сегментации на дерево квадрантов. Таким образом, узлы первого уровня либо представляют собой узлы-листья (имеющие дочерние узлы), либо имеют четыре дочерних узла. Пример QTBT-структуры 130 представляет такие узлы как включающие в себя родительский узел и дочерний узлы, имеющие сплошные линии для ветвей. Если узлы первого уровня не превышают максимальный разрешенный размер корневых узлов двоичного дерева (MaxBTSize), то узлы дополнительно могут сегментироваться посредством соответствующих двоичных деревьев. Разбиение на двоичное дерево одного узла может обрабатываться с помощью итераций до тех пор, пока узлы, получающиеся в результате разбиения, не достигают минимального разрешенного размера узлов-листьев двоичного дерева (MinBTSize) или максимальной разрешенной глубины двоичного дерева (MaxBTDepth). Пример QTBT-структуры 130 представляет такие узлы как имеющие пунктирные линии для ветвей. Узел-лист двоичного дерева называется "единицей кодирования (CU)", которая используется для прогнозирования (например, внутрикадрового или межкадрового прогнозирования) и преобразования, без дальнейшей сегментации. Как пояснено выше, CU также могут называться "видеоблоками" или "блоками".

[0079] В одном примере QTBT-структуры сегментации, CTU-размер задается как 128×128 (выборки сигнала яркости и две соответствующих выборки сигнала цветности 64×64), MinQTSize задается как 16×16, MaxBTSize задается как 64×64, MinBTSize (для ширины и высоты) задается как 4, и MaxBTDepth задается как 4. Сегментация на дерево квадрантов применяется к CTU сначала, чтобы формировать узлы-листья дерева квадрантов. Узлы-листья дерева квадрантов могут иметь размер от 16×16 (т.е. MinQTSize) до 128×128 (т.е. CTU-размера). Если узел-лист дерева квадрантов представляет собой 128×128, то он не должен дополнительно разбиваться посредством двоичного дерева, поскольку размер превышает MaxBTSize (т.е. 64×64, в этом примере). В противном случае, узел-лист дерева квадрантов дополнительно сегментируется посредством двоичного дерева. Следовательно, узел-лист дерева квадрантов также представляет собой корневой узел для двоичного дерева и имеет глубину двоичного дерева как 0. Когда глубина двоичного дерева достигает MaxBTDepth (4, в этом примере), дополнительное разбиение не разрешается. Когда узел двоичного дерева имеет ширину, равную MinBTSize (4, в этом примере), это подразумевает то, что дополнительное горизонтальное разбиение не разрешается. Аналогично, узел двоичного дерева, имеющий высоту, равную MinBTSize, подразумевает то, что дополнительное вертикальное разбиение не разрешается для этого узла двоичного дерева. Как отмечено выше, узлы-листья двоичного дерева называются "CU" и дополнительно обрабатываются согласно прогнозированию и преобразованию без дополнительной сегментации.

[0080] Квантование с решетчатым кодированием (TCQ) предложено в работе авторов H. Schwarz, T. Nguyen, D. Marpe, T. Wiegand, M. Karczewicz, M. Coban, J. Dong, "CE7: Transform coefficient coding with reduced number of regular-coded bins (tests 7.1.3a, 7.1.3b)", JVET document JVET-L0274, Макао, Китай, октябрь 2018 года (далее JVET-L0274). В технологиях JVET-L0274, два скалярных квантователя переключаемо используются для квантования/деквантования. Скалярный квантователь, используемый для текущего коэффициента преобразования/квантованного коэффициента, определяется посредством четности (младшего бита) квантованного коэффициента, который предшествует текущему коэффициенту преобразования/квантованному коэффициенту в порядке сканирования.

[0081] Схема кодирования коэффициентов вместе с TCQ также предложена в JVET-L0274, в силу которой выбор контекста для декодирования квантованного коэффициента зависит от используемого квантователя. В частности, флаг значимости (SIG) коэффициента, указывающий то является коэффициент нулевым или ненулевым, имеет три набора контекстных моделей, и набор, выбранный для конкретного SIG, зависит от квантователя, используемого для ассоциированного коэффициента. Следовательно, при начале декодирования SIG текущего коэффициента, энтропийный декодер должен знать четность коэффициента в предыдущей позиции сканирования, которая определяет квантователь для текущего коэффициента и в силу этого контекстный набор для SIG того коэффициента.

[0082] TU разделяется на неперекрывающиеся субблоки, называемые "группами для кодирования (CG)", размер которых обычно составляет 4×4. Процесс декодирования, описанный в данном документе, иногда может описываться относительно CG 4×4, но может легко распространяться на любые другие CG-размеры. Технологии этого раскрытия и в силу этого описание, включенное в данный документ, главным образом относятся к процессам кодирования и декодирования для абсолютного уровня коэффициента в CG. Другая информация, ассоциированная с CG, такая как знаки, может кодироваться или декодироваться способом, описанным в JVET-L0274, но также может кодироваться и декодироваться с использованием альтернативных технологий.

[0083] Видеокодер 200 и видеодекодер 300 могут быть выполнены с возможностью обрабатывать синтаксические элементы в потоках битов. Например, следующие синтаксические элементы могут использоваться для того, чтобы представлять значение абсолютного уровня (absLevel) для коэффициента.

- sig_coeff_flag: Этот флаг равен 0, если absLevel равен 0; иначе, флаг равен 1.

- abs_level_gt1_flag: Флаг присутствует в потоке битов, если sig_coeff_flag равен 1. Он равен 1, если absLevel превышает 1; иначе, флаг равен 0.

- par_level_flag: Флаг присутствует в потоке битов, если rem_abs_gt1_flag равен 1. Он равен 0, если absLevel является нечетным числом, и равен 1, если absLevel является четным числом.

- abs_level_gt3_flag: Флаг присутствует в потоке битов, если abs_level_gt1_flag равен 1. Он равен 1, если absLevel превышает 3; иначе, флаг равен 0.

- abs_remainder: Этот синтаксический элемент присутствует в потоке битов, если abs_level_gt3_flag равен 1. Он представляет собой оставшееся абсолютное значение уровня коэффициентов преобразования, который кодируется с помощью кода Голомба-Райса.

- abs_level: Он представляет собой абсолютное значение уровня коэффициентов преобразования, который кодируется с помощью кода Голомба-Райса.

[0084] Ниже, синтаксические элементы sig_coeff_flag, par_level_flag, abs_level_gt1_flag, abs_level_gt3_flag, abs_remainder и abs_level обозначаются как SIG, Par, Gt1, Gt2, remLevel, absLevel, соответственно, для простоты описания.

[0085] Видеокодер 200 и видеодекодер 300 могут быть выполнены с возможностью задавать любые из вышеуказанных синтаксических элементов, которые не извлекаются посредством синтаксического анализа из потока битов, равными значению по умолчанию, к примеру, 0. С учетом значений первого из пяти синтаксических элементов, значение для абсолютного уровня коэффициента может вычисляться следующим образом:

absoluteLevel=SIG+Gt1+Par+(Gt2<<1)+(remLevel<<1) (1)

[0086] Альтернативно, если коэффициент кодируется полностью в режиме обходного кодирования, то absoluteLevel может непосредственно кодироваться в качестве abs_level.

[0087] Фиг. 3 показывает примерный порядок для синтаксических элементов, представляющих absoluteLevel в CG, как указано в JVET-L0274. Также могут использоваться другие технологии. Как можно видеть, все пять синтаксических элементов получаются посредством синтаксического анализа из потока битов, когда absLevel превышает 4.

[0088] В примере по фиг. 3, видеодекодер 300 сканирует позиции в CG максимум в четырех проходах. В первом проходе 136, видеодекодер 300 получает, посредством синтаксического анализа, значения для SIG, Par и Gt1. Только после ненулевых SIG предусмотрены соответствующие Gt1 и Par. Таким образом, если видеодекодер 300 определяет то, что SIG имеет значение нуль, что означает то, что уровень коэффициентов равен нулю, то видеодекодер 300 не принимает экземпляры Gt1 и Par для того коэффициента. После первого прохода 136, значение для частичного absoluteLevel, обозначаемое в качестве absLevel1, для каждой позиции, может восстанавливаться, как показано в уравнении (2).

absLevel1=SIG+Par+Gt1 (2)

[0089] В некоторых реализациях, видеодекодер 300 может быть выполнен с возможностью получать, посредством синтаксического анализа, максимум 28 регулярно-кодированных элементов разрешения в первом проходе 136 для субблоков 4×4 и максимум 6 регулярно-кодированных элементов разрешения для субблоков 2×2. Пределы для числа регулярно-кодированных элементов разрешения могут принудительно активироваться в группах элементов разрешения SIG, Gt1, Par, что означает то, что каждая группа элементов разрешения SIG, Gt1 и Par кодируется в качестве набора, и то, что переключение на обходное кодирование в середине набора не разрешается.

[0090] Если имеется, по меньшей мере, один ненулевой Gt1 в первом проходе, то видеодекодер 300 может быть выполнен с возможностью выполнять сканирование во втором проходе 138. Во втором проходе 138, видеодекодер 300 получает, посредством синтаксического анализа, Gt2 для позиций с ненулевыми Gt1. Элементы разрешения в первом проходе 136 и вторых проходах 138 могут регулярно кодироваться, что означает то, что распределение вероятностей элемента разрешения моделируется посредством выбранной контекстной модели. Если имеется, по меньшей мере, один ненулевой Gt2 во втором проходе 138, то видеодекодер 300 сканирует третий проход 140. в ходе третьего прохода 140, видеодекодер 300 получает, посредством синтаксического анализа, remLevel позиций с ненулевыми Gt2. RemLevel не является двоичным, и видеодекодер 300 может выполнять обходное кодирование элементов разрешения преобразованной в двоичную форму версии rem, что означает то, что элементы разрешения предположительно равномерно распределяются, и выбор контекста не требуется.

[0091] В четвертом проходе 142, видеодекодер 300 сканирует все оставшиеся коэффициенты, не представленные частично с регулярно-кодированными элементами разрешения в предыдущих трех проходах. Уровни коэффициентов дополнительного прохода 142 кодируются в качестве абсолютных значений с использованием элементов разрешения после обходного кодирования.

[0092] Видеокодер 200 и видеодекодер 300 могут выполнять контекстное моделирование. Контекстное моделирование, используемое в JVET-L0274, также кратко представлено здесь, наряду с модификациями, предложенными посредством этого раскрытия. Контекстное моделирование, подробнее поясненное ниже, в общем, означает выбор вероятностных моделей, также называемых "контекстами", для элемента разрешения, подлежащего декодированию. В JVET-L0274, синтаксические элементы SIG, Par, Gt1 и Gt2 кодируются с использованием контекстного моделирования. Выбор контекста зависит от значений absLevel1s в локальном окружении, обозначаемом в качестве N. Фиг. 4 иллюстрирует эталон используемого окружения. При этом позиции внутри эталона, но за пределами текущей TU могут исключаться из N.

[0093] Фиг. 4 показывает иллюстрацию эталона, используемого для выбора вероятностных моделей. Квадрат, помеченный с помощью "X", указывает текущую позицию сканирования, и квадраты, помеченные с помощью "Y", представляют используемое локальное окружение.

[0094] Для текущей позиции (см. квадрат с X на фиг. 4), видеодекодер 300 определяет индексы контекстов своих SIG, Par, Gt1 и Gt2, обозначаемые в качестве ctxIdxSIG, ctxIdxPar, ctxIdxGt1 и ctxIdxGt2. Чтобы определять индексы контекстов, видеодекодер 300 может сначала определять три переменные: numSIG, sumAbs1 и d. Переменная numSIG представляет число ненулевых SIG в N, которое выражается посредством нижеприведенного уравнения (3).

(3)

[0095] Переменная sumAbs1 представляет сумму absLevel1 в N, который выражается посредством нижеприведенного уравнения (4):

(4)

[0096] Переменная d представляет диагональный показатель текущей позиции в TU, как выражается посредством нижеприведенного уравнения (5):

d=x+y (5),

где x и y представляют координаты текущей позиции в TU.

[0097] С учетом sumAbs1 и d, видеодекодер 300 определяет индекс контекста для декодирования SIG следующим образом:

- Для сигнала яркости, ctxIdxSIG определяется посредством уравнения (6):

ctxIdxSIG=18*max(0, state-1)+min(sumAbs1, 5)+(d < 2 ? 12 : (d<5? 6 : 0)) (6)

- Для сигнала цветности, ctxIdxSIG определяется посредством уравнения (7):

ctxIdxSIG=12*max(0, state-1)+min(sumAbs1, 5)+(d<2 ? 6 : 0)) (7)

[0098] В уравнениях (6) и (7), переменная state представляет текущее состояние машины состояний, заданной в JVET-L0274.

[0099] При условии sumSIG, sumAbs1 и d, видеодекодер 300 определяет индекс контекста для декодирования Par следующим образом:

- Если текущая позиция сканирования равна позиции последнего ненулевого коэффициента, ctxIdxPar равен 0.

- Иначе:

-o Для сигнала яркости, ctxIdxPar определяется посредством уравнения (8):

ctxIdxPar=1+min(sumAbs1-numSIG, 4)+(d==0 ? 15 : (d<3 ? 10 : (d<10 ? 5 : 0))) (8)

-o Для сигнала цветности, ctxIdxPar определяется посредством (9):

ctxIdxPar=1+min(sumAbs1-numSIG, 4)+(d==0? 5 : 0) (9)

ctxIdxGt1 и ctxIdxGt2 задаются равными значению ctxIdxPar.

[0100] Видеокодер 200 и видеодекодер 300 могут быть выполнены с возможностью выполнять кодирование RemLevel. Видеодекодер 300 извлекает параметр Райса (ricePar) для кодирования недвоичного синтаксического элемента remRemainder (remLevel) и absLevel следующим образом:

- В начале каждого субблока ricePar задается равным 0;

- После кодирования синтаксического элемента remainder, параметр Райса (ricePar) модифицируется следующим образом:

Если ricePar меньше 3, и последнее кодированное значение remainder превышает ((3<<ricePar)-1), ricePar постепенно увеличивается на 1.

[0101] Для кодирования недвоичного синтаксического элемента absLevel, представляющего абсолютные индексы квантования, которые полностью подвергаются обходному кодированию, следующее применимо:

- Сумма sumAbs абсолютных значений в локальном эталоне определяется.

- Переменные ricePar и posZero определяются посредством табличного поиска согласно:

ricePar=riceParTable[min(31, sumAbs)]

posZero=posZeroTable[max(0, state-1)][min(31, sumAbs)],

где переменная state представляет состояние для зависимого квантования (она равна 0, когда зависимое квантование деактивируется), и таблицы riceParTable[] и posZeroTable[][] задаются следующим образом:

riceParTable[32]={

0,0,0,0,0,0,0,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2,2,2,2,2,3,3,3,3

};

posZeroTable[3][32]={

{0,0,0,0,0,1,2,2,2,2,2,2,4,4,4,4,4,4,4,4,4,4,4,8,8,8,8,8,8,8,8,8},

{1,1,1,1,2,3,4,4,4,6,6,6,8,8,8,8,8,8,12,12,12,12,12,12,12,12,16,16,16,16,16,16},

{1,1,2,2,2,3,4,4,4,6,6,6,8,8,8,8,8,8,12,12,12,12,12,12,12,16,16,16,16,16,16,16}

};

- Промежуточная переменная codeValue извлекается следующим образом:

-o Если absLevel равен 0, codeValue задается равным posZero;

-o Иначе, если absLevel меньше или равен posZero, codeValue задается равным absLevel-1;

-o Иначе (absLevel превышает posZero), codeValue задается равным absLevel.

- Значение codeValue кодируется с использованием кода Голомба-Райса с параметром Райса ricePar.

[0102] Видеокодер 200 и видеодекодер 300 могут быть выполнены с возможностью выполнять восстановление absoluteLevel. Восстановление absoluteLevel может быть идентичным восстановлению в JVET-L0274, что пояснено выше относительно синтаксических элементов в потоке битов.

[0103] Видеокодер 200 и видеодекодер 300 могут быть выполнены с возможностью кодировать Gt2-флаги перемеженным способом. В некоторых примерах, вместо описанной схемы, в которой в первом проходе кодируются SIG-, Gt1-, Par-флаги, а во втором проходе кодируются Gt2-флаги, Gt2-флаги могут быть включены в первый проход после Par-флага или после Gt1-флага, как показано на нижеприведенных чертежах, уменьшая проходы кодирования до 3 с 4.

[0104] Фиг. 5 показывает пример перемеженного Gt2-флага в первом проходе после Par-флага. Относительно фиг. 5 видеодекодер 300 может определять значение для absLevel1 идентично вышеописанному относительно фиг. 3, но порядок, в котором принимаются различные синтаксические элементы, изменяется. Например, на фиг. 5, видеодекодер 300 определяет значения для Gt2 в качестве части первого прохода 162, а не в качестве части второго прохода (например, второго прохода 138 на фиг. 3). Таким образом, на фиг. 5, первый проход 136 и второй проход 138 по фиг. 3 эффективно комбинируются в один проход (первый проход 162), и третий проход 140 и четвертый проход 142 по фиг. 3 становятся вторым проходом 164 и третьим проходом 166 по фиг. 5, соответственно. Таким образом, в примере по фиг. 5, только три прохода требуются для того, чтобы передавать все синтаксические элементы.

[0105] Фиг. 6 показывает пример перемеженного Gt2-флага в первом проходе после Gt1-флага. В этом случае, absLevel1 может вычисляться следующим образом:

absLevel1=SIG+Par+Gt1+(Gt2<<1)

и может использоваться при извлечении контекста в формулах, введенных выше относительно контекстного моделирования. Относительно фиг. 6 видеодекодер 300 может определять значение для absLevel1 идентично вышеописанному относительно фиг. 3, но порядок, в котором принимаются различные синтаксические элементы, изменяется. Например, на фиг. 6, видеодекодер 300 определяет значения для Gt2 в качестве части первого прохода 172, а не в качестве части второго прохода (например, второго прохода 138 на фиг. 3). Таким образом, на фиг. 6, первый проход 136 и второй проход 138 по фиг. 3 эффективно комбинируются в один проход (первый проход 172), и третий проход 140 и четвертый проход 142 по фиг. 3 становятся вторым проходом 174 и третьим проходом 176 по фиг. 6, соответственно. Таким образом, в примере по фиг. 6, только три прохода требуются для того, чтобы передавать все синтаксические элементы. На фиг. 6, синтаксические элементы первого прохода 172 сканируются в порядке, отличающемся от порядка для синтаксических элементов первого прохода 162 на фиг. 5, но другие проходы, в общем, являются идентичными.

[0106] Видеокодер 200 и видеодекодер 300 могут быть выполнены с возможностью использовать частичное представление последних регулярно-кодированных на основе элементов разрешения коэффициентов, при этом значения для некоторых коэффициентов могут частично передаваться с использованием регулярно-кодированных элементов разрешения со значением остатка, передаваемым с использованием обходного кодирования. В схеме кодирования, описанной в JVET-L0274, последний регулярно-кодированный на основе элементов разрешения коэффициент, при котором достигается бюджет по регулярно-кодированным элементам разрешения для первого прохода кодирования (например, коэффициент K на фиг. 3), элементы разрешения SIG, Gt1, Par, кодируются в качестве регулярно-кодированных элементов разрешения. Регулярное кодирование на основе элементов разрешения не завершается в середине SIG-Gt1-Par-группы. Аналогично для SIG-Gt1-Par-Gt2-группы или SIG-Gt1-Gt2-Par-группы (например, фиг. 5 и 6), кодирование для SIG-, Gt1-, Par-, Gt2-флагов коэффициента K проводится в регулярном режиме. Это раскрытие предлагает технологии для нарушения этого ограничения посредством разрешения возможного завершения регулярно-кодированных элементов разрешения после кодирования SIG- и Gt1-флагов, как показано на фиг. 7 и 8.

[0107] Фиг. 7 показывает пример частичного кодирования последнего коэффициента, при котором предел по регулярно-кодированным элементам разрешения достигается для SIG-Gt1-Par-Gt2-кодирования в первом проходе 182 кодирования. В примере по фиг. 7, видеодекодер 300 сканирует третий проход 186, который включает в себя как значения remLevel, так и значения absLevel. Значение для remLevel представляет значение остатка между фактическим значением для коэффициента и частичным значением, определенным из первого прохода 182 и второго прохода 184. Значение для absLevel, в отличие от этого, представляет абсолютное значение значения коэффициента.

[0108] Фиг. 8 показывает пример частичного кодирования последнего коэффициента, при котором предел по регулярно-кодированным элементам разрешения достигается для SIG-Gt1-Gt2-Par-кодирования в первом проходе 192 кодирования. На фиг. 8, синтаксические элементы первого прохода 192 сканируются в порядке, отличающемся от порядка для синтаксических элементов первого прохода 182 на фиг. 7. Второй проход 194 и третий проход 196, в общем, являются идентичными второму проходу 184 и третьему проходу 186 на фиг. 7.

[0109] В примерах по фиг. 7 и 8, оставшийся уровень коэффициента K кодируется в качестве remLevelFull, который подвергается обходному кодированию в третьем проходе 186/196 наряду со значениями для absLevel, которые подвергаются обходному кодированию. Значение для коэффициента представляется как:

absoluteLevel=SIG+Gt1+remLevelFull,

или:

absoluteLevel=SIG+remLevelFull.

[0110] В других примерах, регулярное кодирование элементов разрешения может завершаться после кодирования Par- и Gt2-флагов или наоборот. В этом случае, оставшийся уровень последнего коэффициента должен кодироваться в качестве половины оставшегося уровня, т.е.:

absoluteLevel=SIG+GT1+Par+(remLevel<<1),

или:

absoluteLevel=SIG+GT1+(GT2<<1)+(remLevel<<1).

[0111] Общее число регулярно-кодированных элементов разрешения может указываться в качестве общего числа, которое налагается на перемеженные SIG-, Gt1-, Gt2- и Par-флаги.

[0112] Видеокодер 200 и видеодекодер 300 могут быть выполнены с возможностью выполнять кодирование по оставшимся уровням. Кодирование remLevel во втором проходе кодирования может быть идентичным тому, что описывается выше относительно кодирования RemLevel. Видеодекодер 300 может выполнять обновление и извлечение параметра Райса до конца коэффициента K-1, при этом коэффициент K-1 представляет предпоследний регулярно-кодированный коэффициент перед последним регулярно-кодированным коэффициентом (коэффициентом K). Видеодекодер 300 может декодировать коэффициент K-1 с использованием полностью регулярного кодирования и может декодировать коэффициент K полностью с использованием регулярного кодирования либо с использованием комбинации регулярного кодирования и обходного кодирования. Для кодирования remLevelFull коэффициента K, видеодекодер 300 может обновлять параметр Райса следующим образом:

riceParBypass=2xricePar+lastCodedGt2Flag,

riceParBypass=riceParBypass==1? riceParBypass-1: riceParBypass,

где ricePar является ricePar, используемым для кодирования remLevel во втором проходе, и lastCodedGt2Flag является значением последнего кодированного Gt2-флага в первом проходе кодирования. Альтернативно, может использоваться значение для ricePar, которое равно 2xricePar, либо может использоваться ricePar, который совпадает с оптимальным кодированием оставшегося уровня для коэффициента K.

[0113] В некоторых примерах, для кодирования remLevelFull коэффициента K, видеодекодер 300 может обновлять параметр Райса следующим образом:

1-riceParBypass=min(ricePar>0? ricePar+1: lastCodedGt2Flag, 3)

2-riceParBypass=min(2*ricePar+lastCodedGt2Flag, 3)

3-riceParBypass=min(2*ricePar, 3)

[0114] Для остальной части значений absLevel для коэффициентов, которые полностью кодируются с использованием обходного кодирования, видеодекодер 300 может обновлять riceParBypass следующим образом. До кодирования коэффициента после обходного кодирования, видеодекодер 300 обновляет riceParBypass следующим образом:

if(riceParBypass<3 && absoluteLevelPrevCoeff>((3<<riceParBypass)-1){riceParBypass++;}

[0115] Аналогично способу, которым ricePar обновляется для кодирования remLevel, за исключением полного абсолютного значения предыдущего кодированного коэффициента (коэффициента K), используется для пороговой проверки вместо remLevel.

[0116] Видеодекодер 300 может извлекать параметр posZero для определения уровня absLevel согласно любому множеству различных технологий. В одном примере, видеодекодер 300 может извлекать параметр posZero для определения уровня absLevel с использованием таблицы поиска следующим образом:

posZero=posZeroTableBypass[max(0, state-1)][riceParBypass]

posZeroTableBypass[3][4]={{1, 2, 4, 8},{3, 6, 12, 16},{4, 6, 12, 16}};

[0117] Видеодекодер 300 может извлекать промежуточную переменную codeValue, которая должна кодироваться следующим образом:

-o Если absLevel или remLevelFull равен 0, codeValue задается равным posZero;

-o Иначе, если absLevel или remLevelFull меньше или равен posZero, codeValue задается равным absLevel-1 или remLevelFull-1, соответственно.

-o Иначе (absLevel или remLevelFull превышает posZero), codeValue задается равным absLevel или remLevelFull, соответственно.

[0118] Видеодекодер 300 может кодировать значение codeValue с использованием кода Голомба-Райса с параметром riceParBypass Райса.

[0119] Фиг. 9 является блок-схемой, иллюстрирующей примерный видеокодер 200, который может выполнять технологии этого раскрытия. Фиг. 9 предоставляется для целей пояснения и не должен считаться ограничением технологий, проиллюстрированных и описанных в общих чертах в этом раскрытии. Для целей пояснения, это раскрытие описывает видеокодер 200 в контексте стандартов кодирования видео, таких как стандарт HEVC-кодирования видео и разрабатываемый стандарт кодирования видео H.266. Тем не менее, технологии этого раскрытия не ограничены этими стандартами кодирования видео и являются, в общем, применимыми к кодированию и декодированию видео.

[0120] В примере по фиг. 9, видеокодер 200 включает в себя запоминающее устройство 230 видеоданных, модуль 202 выбора режима, модуль 204 формирования остатков, модуль 206 обработки преобразования, модуль 208 квантования, модуль 210 обратного квантования, модуль 212 обработки обратного преобразования, модуль 214 восстановления, модуль 216 фильтрации, буфер 218 декодированных кадров (DPB) и модуль 220 энтропийного кодирования.

[0121] Запоминающее устройство 230 видеоданных может сохранять видеоданные, которые должны кодироваться посредством компонентов видеокодера 200. Видеокодер 200 может принимать видеоданные, сохраненные в запоминающем устройстве 230 видеоданных, например, из видеоисточника 104 (фиг. 1). DPB 218 может выступать в качестве запоминающего устройства опорных кадров, которое сохраняет опорные видеоданные для использования при прогнозировании последующих видеоданных посредством видеокодера 200. Запоминающее устройство 230 видеоданных и DPB 218 могут формироваться посредством любых из множества запоминающих устройств, к примеру, как динамическое оперативное запоминающее устройство (DRAM), включающее в себя синхронное DRAM (SDRAM), магниторезистивное RAM (MRAM), резистивное RAM (RRAM) или другие типы запоминающих устройств. Запоминающее устройство 230 видеоданных и DPB 218 могут предоставляться посредством идентичного запоминающего устройства или отдельных запоминающих устройств. В различных примерах, запоминающее устройство 230 видеоданных может быть внутримикросхемным с другими компонентами видеокодера 200, как проиллюстрировано, или внемикросхемным относительно этих компонентов.

[0122] В этом раскрытии, ссылка на запоминающее устройство 230 видеоданных не должна интерпретироваться как ограниченная запоминающим устройством, внутренним для видеокодера 200, если не описывается конкретно в таком качестве, или запоминающим устройством, внешним для видеокодера 200, если не описывается конкретно в таком качестве. Наоборот, ссылка на запоминающее устройство 230 видеоданных должна пониматься как опорное запоминающее устройство, которое сохраняет видеоданные, которые видеокодер 200 принимает для кодирования (например, видеоданные для текущего блока, который должен кодироваться). Запоминающее устройство 106 по фиг. 1 также может предоставлять временное хранение выводов из различных модулей видеокодера 200.

[0123] Различные модули по фиг. 9 проиллюстрированы для того, чтобы помогать в понимании операций, выполняемых посредством видеокодера 200. Модули могут реализовываться как фиксированные функциональные схемы, программируемые схемы либо комбинация вышеозначенного. Фиксированные функциональные схемы означают схемы, которые предоставляют конкретную функциональность и предварительно установлены в отношении операций, которые могут выполняться. Программируемые схемы означают схемы, которые могут программироваться с возможностью выполнять различные задачи и предоставлять гибкую функциональность в операциях, которые могут выполняться. Например, программируемые схемы могут выполнять программное обеспечение или микропрограммное обеспечение, которое инструктирует программируемым схемам работать способом, заданным посредством инструкций программного обеспечения или микропрограммного обеспечения. Фиксированные функциональные схемы могут выполнять программные инструкции (например, чтобы принимать параметры или выводить параметры), но типы операций, которые выполняют фиксированные функциональные схемы, в общем, являются неизменными. В некоторых примерах, один или более модулей могут представлять собой различные схемные блоки (фиксированные функциональные или программируемые), и в некоторых примерах, один или более модулей могут представлять собой интегральные схемы.

[0124] Видеокодер 200 может включать в себя арифметико-логические устройства (ALU), элементарные функциональные модули (EFU), цифровые схемы, аналоговые схемы и/или программируемые ядра, сформированные из программируемых схем. В примерах, в которых операции видеокодера 200 выполняются с использованием программного обеспечения, выполняемого посредством программируемых схем, запоминающее устройство 106 (фиг. 1) может хранить объектный код программного обеспечения, которое видеокодер 200 принимает и выполняет, или другое запоминающее устройство в видеокодере 200 (не показано) может хранить такие инструкции.

[0125] Запоминающее устройство 230 видеоданных выполнено с возможностью сохранять принимаемые видеоданные. Видеокодер 200 может извлекать кадр видеоданных из запоминающего устройства 230 видеоданных и предоставлять видеоданные в модуль 204 формирования остатков и модуль 202 выбора режима. Видеоданные в запоминающем устройстве 230 видеоданных могут представлять собой необработанные видеоданные, которые должны кодироваться.

[0126] Модуль 202 выбора режима включает в себя модуль 222 оценки движения, модуль 224 компенсации движения и модуль 226 внутреннего прогнозирования. Модуль 202 выбора режима может включать в себя дополнительные функциональные модули, чтобы выполнять прогнозирование видео в соответствии с другими режимами прогнозирования. В качестве примера, модуль 202 выбора режима может включать в себя модуль палитровой обработки, модуль внутриблочного копирования (который может представлять собой часть модуля 222 оценки движения и/или модуля 224 компенсации движения), модуль аффинной обработки, модуль обработки на основе линейной модели (LM) и т.п.

[0127] Модуль 202 выбора режима, в общем, координирует несколько проходов кодирования, чтобы тестировать комбинации параметров кодирования и результирующих значений искажения в зависимости от скорости передачи для таких комбинаций. Параметры кодирования могут включать в себя сегментацию CTU на CU, режимы прогнозирования для CU, типы преобразования для остаточных данных CU, параметры квантования для остаточных данных CU и т.д. Модуль 202 выбора режима в конечном счете может выбирать комбинацию параметров кодирования, имеющих значения искажения в зависимости от скорости передачи, которые лучше других тестированных комбинаций.

[0128] Видеокодер 200 может сегментировать кадр, извлеченный из запоминающего устройства 230 видеоданных, на последовательность CTU и инкапсулировать одну или более CTU в срезе. Модуль 202 выбора режима может сегментировать CTU кадра в соответствии с древовидной структурой, такой как QTBT-структура или структура в виде дерева квадрантов HEVC, описанного выше. Как описано выше, видеокодер 200 может формировать одну или более CU из сегментации CTU согласно древовидной структуре. Такая CU также, в общем, может называться "видеоблоком" или "блоком".

[0129] В общем, модуль 202 выбора режима также управляет своими компонентами (например, модулем 222 оценки движения, модулем 224 компенсации движения и модулем 226 внутреннего прогнозирования) таким образом, чтобы формировать прогнозный блок для текущего блока (например, текущей CU либо, в HEVC, перекрывающейся части PU и TU). Для взаимного прогнозирования текущего блока, модуль 222 оценки движения может выполнять поиск движения для того, чтобы идентифицировать один или более тесно совпадающих опорных блоков в одном или более опорных кадрах (например, в одном или более ранее кодированных кадрах, сохраненных в DPB 218). В частности, модуль 222 оценки движения может вычислять значение, представляющее то, насколько аналогичным является потенциальный опорный блок относительно текущего блока, например, согласно сумме абсолютных разностей (SAD), сумме квадратов разности (SSD), средней абсолютной разности (MAD), среднеквадратическим разностям (MSD) и т.п. Модуль 222 оценки движения, в общем, может выполнять эти вычисления с использованием последовательных выборочных разностей между текущим блоком и рассматриваемым опорным блоком. Модуль 222 оценки движения может идентифицировать опорный блок, имеющий наименьшее значение, получающееся в результате этих вычислений, указывающее опорный блок, который наиболее тесно совпадает с текущим блоком.

[0130] Модуль 222 оценки движения может формировать один или более векторов движения (MV), которые задают позиции опорных блоков в опорных кадрах относительно позиции текущего блока в текущем кадре. Модуль 222 оценки движения затем может предоставлять векторы движения в модуль 224 компенсации движения. Например, для однонаправленного взаимного прогнозирования, модуль 222 оценки движения может предоставлять один вектор движения, тогда как для двунаправленного взаимного прогнозирования, модуль 222 оценки движения может предоставлять два вектора движения. Модуль 224 компенсации движения затем может формировать прогнозный блок с использованием векторов движения. Например, модуль 224 компенсации движения может извлекать данные опорного блока с использованием вектора движения. В качестве другого примера, если вектор движения имеет точность в дробную часть выборки, модуль 224 компенсации движения может интерполировать значения для прогнозного блока согласно одному или более интерполяционным фильтрам. Кроме того, для двунаправленного взаимного прогнозирования, модуль 224 компенсации движения может извлекать данные для двух опорных блоков, идентифицированных посредством соответствующих векторов движения, и комбинировать извлеченные данные, например, посредством последовательного выборочного усреднения или усреднения со взвешиванием.

[0131] В качестве другого примера, для внутреннего прогнозирующего кодирования или внутреннего прогнозирующего кодирования, модуль 226 внутреннего прогнозирования может формировать прогнозный блок из выборок, соседних с текущим блоком. Например, для направленных режимов, модуль 226 внутреннего прогнозирования, в общем, может математически комбинировать значения соседних выборок и заполнять эти вычисленные значения в заданном направлении для текущего блока, чтобы формировать прогнозный блок. В качестве другого примера, для DC-режима, модуль 226 внутреннего прогнозирования может вычислять среднее соседних выборок по отношению к текущему блоку и формировать прогнозный блок, который включает в себя это результирующее среднее для каждой выборки прогнозного блока.

[0132] Модуль 202 выбора режима предоставляет прогнозный блок в модуль 204 формирования остатков. Модуль 204 формирования остатков принимает необработанную некодированную версию текущего блока из запоминающего устройства 230 видеоданных и прогнозный блок из модуля 202 выбора режима. Модуль 204 формирования остатков вычисляет последовательные выборочные разности между текущим блоком и прогнозным блоком. Результирующие последовательные выборочные разности задают остаточный блок для текущего блока. В некоторых примерах, модуль 204 формирования остатков также может определять разности между выборочными значениями в остаточном блоке, чтобы формировать остаточный блок с использованием остаточной дифференциальной импульсно-кодовой модуляции (RDPCM). В некоторых примерах, модуль 204 формирования остатков может формироваться с использованием одной или более схем вычитателя, которые выполняют двоичное вычитание.

[0133] В примерах, в которых модуль 202 выбора режима сегментирует CU на PU, каждая PU может быть ассоциирована с единицей прогнозирования сигналов яркости и соответствующими единицами прогнозирования сигналов цветности. Видеокодер 200 и видеодекодер 300 могут поддерживать PU, имеющие различные размеры. Как указано выше, размер CU может означать размер блока кодирования сигналов яркости CU, и размер PU может означать размер единицы прогнозирования сигналов яркости PU. При условии, что размер конкретной CU составляет 2Nx2N, видеокодер 200 может поддерживать PU-размеры в 2Nx2N или NxN для внутреннего прогнозирования и симметричные PU-размеры в 2Nx2N, 2NxN, Nx2N, NxN или аналогичные для взаимного прогнозирования. Видеокодер 20 и видеодекодер 30 также могут поддерживать асимметричное сегментирование для PU-размеров в 2NxnU, 2NxnD, nLx2N и nRx2N для взаимного прогнозирования.

[0134] В примерах, в которых модуль выбора режима дополнительно не сегментирует CU на PU, каждая CU может быть ассоциирована с блоком кодирования сигналов яркости и соответствующими блоками кодирования сигналов цветности. Как описано выше, размер CU может означать размер блока кодирования сигналов яркости CU. Видеокодер 200 и видеодекодер 300 могут поддерживать CU-размеры в 2Nx2N, 2NxN или Nx2N.

[0135] Для других технологий кодирования видео, таких как кодирование в режиме внутриблочного копирования, кодирование в аффинном режиме и кодирование в режиме на основе линейной модели (LM), в качестве нескольких примеров, модуль 202 выбора режима, через соответствующие модули, ассоциированные с технологиями кодирования, формирует прогнозный блок для кодируемого текущего блока. В некоторых примерах, таких как кодирование в палитровом режиме, модуль 202 выбора режима может не формировать прогнозный блок и вместо этого формировать синтаксические элементы, которые указывают способ, которым следует восстанавливать блок на основе выбранной палитры. В таких режимах, модуль 202 выбора режима может предоставлять эти синтаксические элементы в модуль 220 энтропийного кодирования для кодирования.

[0136] Как описано выше, модуль 204 формирования остатков принимает видеоданные для текущего блока и соответствующего прогнозного блока. Модуль 204 формирования остатков затем формирует остаточный блок для текущего блока. Чтобы формировать остаточный блок, модуль 204 формирования остатков вычисляет последовательные выборочные разности между прогнозным блоком и текущим блоком.

[0137] Модуль 206 обработки преобразования применяет одно или более преобразований к остаточному блоку, чтобы формировать блок коэффициентов преобразования (называется в данном документе "блоком коэффициентов преобразования"). Модуль 206 обработки преобразования может применять различные преобразования к остаточному блоку, чтобы формировать блок коэффициентов преобразования. Например, модуль 206 обработки преобразования может применять дискретное косинусное преобразование (DCT), направленное преобразование, преобразование Карунена-Лоэва (KLT) или концептуально аналогичное преобразование к остаточному блоку. В некоторых примерах, модуль 206 обработки преобразования может выполнять несколько преобразований для остаточного блока, например, первичное преобразование и вторичное преобразование, такое как вращательное преобразование. В некоторых примерах, модуль 206 обработки преобразования не применяет преобразования к остаточному блоку.

[0138] Модуль 208 квантования может квантовать коэффициенты преобразования в блоке коэффициентов преобразования, чтобы формировать блок квантованных коэффициентов преобразования. Модуль 208 квантования может квантовать коэффициенты преобразования блока коэффициентов преобразования согласно значению параметра квантования (QP), ассоциированному с текущим блоком. Видеокодер 200 (например, через модуль 202 выбора режима) может регулировать степень квантования, применяемую к блокам коэффициентов, ассоциированным с текущим блоком, посредством регулирования QP-значения, ассоциированного с CU. Квантование может вводить потери информации, и в силу этого квантованные коэффициенты преобразования могут иметь меньшую точность, чем исходные коэффициенты преобразования, сформированные посредством модуля 206 обработки преобразования.

[0139] Модуль 210 обратного квантования и модуль 212 обработки обратного преобразования могут применять обратное квантование и обратные преобразования к блоку квантованных коэффициентов преобразования, соответственно, для того чтобы восстанавливать остаточный блок из блока коэффициентов преобразования. Модуль 214 восстановления может формировать восстановленный блок, соответствующий текущему блоку (хотя потенциально с определенной степенью искажения) на основе восстановленного остаточного блока и прогнозного блока, сформированного посредством модуля 202 выбора режима. Например, модуль 214 восстановления может суммировать выборки восстановленного остаточного блока с соответствующими выборками из прогнозного блока, сформированного посредством модуля 202 выбора режима, чтобы формировать восстановленный блок.

[0140] Модуль 216 фильтрации может выполнять одну или более операций фильтрации для восстановленных блоков. Например, модуль 216 фильтрации может выполнять операции удаления блочности, чтобы уменьшать артефакты блочности вдоль краев CU. Операции модуля 216 фильтрации могут пропускаться в некоторых примерах.

[0141] Видеокодер 200 сохраняет восстановленные блоки в DPB 218. Например, в примерах, в которых операции модуля 216 фильтрации выполняются, модуль 214 восстановления может сохранять восстановленные блоки в DPB 218. В примерах, в которых операции модуля 216 фильтрации выполняются, модуль 216 фильтрации может сохранять фильтрованные восстановленные блоки в DPB 218. Модуль 222 оценки движения и модуль 224 компенсации движения могут извлекать опорный кадр из DPB 218, сформированного из восстановленных (и потенциально фильтрованных) блоков для того, чтобы взаимно прогнозировать блоки последующих кодированных кадров. Помимо этого, модуль 226 внутреннего прогнозирования может использовать восстановленные блоки в DPB 218 текущего кадра, чтобы внутренне прогнозировать другие блоки в текущем кадре.

[0142] В общем, модуль 220 энтропийного кодирования может энтропийно кодировать синтаксические элементы, принимаемые из других функциональных компонентов видеокодера 200, включающие в себя синтаксические элементы, описанные выше для кодирования коэффициентов. Например, модуль 220 энтропийного кодирования может энтропийно кодировать блоки квантованных коэффициентов преобразования из модуля 208 квантования. В качестве другого примера, модуль 220 энтропийного кодирования может энтропийно кодировать синтаксические элементы прогнозирования (например, информацию движения для взаимного прогнозирования или информацию внутреннего режима для внутреннего прогнозирования) из модуля 202 выбора режима. Модуль 220 энтропийного кодирования может выполнять одну или более операций энтропийного кодирования для синтаксических элементов, которые представляют собой другой пример видеоданных, чтобы формировать энтропийно кодированные данные. Например, модуль 220 энтропийного кодирования может выполнять операцию контекстно-адаптивного кодирования переменной длины (CAVLC), CABAC-операцию, операцию кодирования переменно-переменной (V2V) длины, операцию синтаксического контекстно-адаптивного двоичного арифметического кодирования (SBAC), операцию энтропийного кодирования на основе сегментирования на интервалы вероятности (PIPE), операцию экспоненциального кодирования кодом Голомба или другой тип операции энтропийного кодирования для данных. В некоторых примерах, модуль 220 энтропийного кодирования может работать в обходном режиме, в котором синтаксические элементы не подвергаются энтропийному кодированию.

[0143] Видеокодер 200 может выводить поток битов, который включает в себя энтропийно кодированные синтаксические элементы, требуемые для того, чтобы восстанавливать блоки среза или кадра. В частности, модуль 220 энтропийного кодирования может выводить поток битов.

[0144] Операции, описанные выше, описываются относительно блока. Такое описание должно пониматься как операции для блока кодирования сигналов яркости и/или блоков кодирования сигналов цветности. Как описано выше, в некоторых примерах, блок кодирования сигналов яркости и блоки кодирования сигналов цветности представляют собой компоненты сигнала яркости и сигнала цветности CU. В некоторых примерах, блок кодирования сигналов яркости и блоки кодирования сигналов цветности представляют собой компоненты сигнала яркости и сигнала цветности PU.

[0145] В некоторых примерах, операции, выполняемые относительно блока кодирования сигналов яркости, не должны повторяться для блоков кодирования сигналов цветности. В качестве одного примера, операции для того, чтобы идентифицировать вектор движения (MV) и опорный кадр для блока кодирования сигналов яркости, не должны повторяться для идентификации MV и опорного кадра для блоков сигналов цветности. Наоборот, MV для блока кодирования сигналов яркости может масштабироваться с возможностью определять MV для блоков сигналов цветности, и опорный кадр может быть идентичным. В качестве другого примера, процесс внутреннего прогнозирования может быть идентичным для блоков кодирования сигналов яркости и блоков кодирования сигналов цветности.

[0146] Видеокодер 200 представляет пример устройства, выполненного с возможностью кодировать видеоданные, включающего в себя запоминающее устройство, выполненное с возможностью сохранять видеоданные, и один или более модулей обработки, реализованных в схеме и выполненных с возможностью кодировать коэффициенты, как описано в этом раскрытии.

[0147] Фиг. 10 является блок-схемой, иллюстрирующей примерный видеодекодер 300, который может выполнять технологии этого раскрытия. Фиг. 10 предоставляется для целей пояснения и не является ограничением технологий, проиллюстрированных и описанных в общих чертах в этом раскрытии. Для целей пояснения, это раскрытие описывает видеодекодер 300, описанный согласно технологиям JEM и HEVC. Тем не менее технологии этого раскрытия могут выполняться посредством устройств кодирования видео, которые сконфигурированы для других стандартов кодирования видео.

[0148] В примере по фиг. 10, видеодекодер 300 включает в себя буферное запоминающее устройство 320 кодированных кадров (CPB), модуль 302 энтропийного декодирования, модуль 304 обработки прогнозирования, модуль 306 обратного квантования, модуль 308 обработки обратного преобразования, модуль 310 восстановления, модуль 312 фильтрации и буфер 314 декодированных кадров (DPB). Модуль 304 обработки прогнозирования включает в себя модуль 316 компенсации движения и модуль 318 внутреннего прогнозирования. Модуль 304 обработки прогнозирования может включать в себя модули суммирования, чтобы выполнять прогнозирование в соответствии с другими режимами прогнозирования. В качестве примера, модуль 304 обработки прогнозирования может включать в себя модуль палитровой обработки, модуль внутриблочного копирования (который может составлять часть модуля 316 компенсации движения), модуль аффинной обработки, модуль обработки на основе линейной модели (LM) и т.п. В других примерах, видеодекодер 300 может включать в себя большее, меньшее число или другие функциональные компоненты.

[0149] Запоминающее CPB-устройство 320 может сохранять видеоданные, такие как кодированный поток видеобитов, который должен декодироваться посредством компонентов видеодекодера 300. Видеоданные, сохраненные в запоминающем CPB-устройстве 320, могут получаться, например, из машиночитаемого носителя 110 (фиг. 1). Запоминающее CPB-устройство 320 может включать в себя CPB, который сохраняет кодированные видеоданные (например, синтаксические элементы) из кодированного потока видеобитов. Кроме того, запоминающее CPB-устройство 320 может сохранять видеоданные, отличные от синтаксических элементов кодированного кадра, такие как временные данные, представляющие выводы из различных модулей видеодекодера 300. DPB 314, в общем, сохраняет декодированные кадры, которые видеодекодер 300 может выводить и/или использовать в качестве опорных видеоданных при декодировании последующих данных или кадров кодированного потока видеобитов. Запоминающее CPB-устройство 320 и DPB 314 могут формироваться посредством любого из множества запоминающих устройств, к примеру, как динамическое оперативное запоминающее устройство (DRAM), включающее в себя синхронное DRAM (SDRAM), магниторезистивное RAM (MRAM), резистивное RAM (RRAM) или другие типы запоминающих устройств. Запоминающее CPB-устройство 320 и DPB 314 могут предоставляться посредством идентичного запоминающего устройства или отдельных запоминающих устройств. В различных примерах, запоминающее CPB-устройство 320 может быть внутримикросхемным с другими компонентами видеодекодера 300 или внемикросхемным относительно этих компонентов.

[0150] Дополнительно или альтернативно, в некоторых примерах, видеодекодер 300 может извлекать кодированные видеоданные из запоминающего устройства 120 (фиг. 1). Таким образом, запоминающее устройство 120 может сохранять данные, как пояснено выше для запоминающего CPB-устройства 320. Аналогично, запоминающее устройство 120 может хранить инструкции, которые должны исполняться посредством видеодекодера 300, когда часть или вся функциональность видеодекодера 300 реализуется в программном обеспечении для выполнения посредством схемы обработки видеодекодера 300.

[0151] Различные модули, показанные на фиг. 10, проиллюстрированы для того, чтобы помогать в понимании операций, выполняемых посредством видеодекодера 300. Модули могут реализовываться как фиксированные функциональные схемы, программируемые схемы либо комбинация вышеозначенного. Аналогично фиг. 9, фиксированные функциональные схемы означают схемы, которые предоставляют конкретную функциональность и предварительно установлены в отношении операций, которые могут выполняться. Программируемые схемы означают схемы, которые могут программироваться с возможностью выполнять различные задачи и предоставлять гибкую функциональность в операциях, которые могут выполняться. Например, программируемые схемы могут выполнять программное обеспечение или микропрограммное обеспечение, которое инструктирует программируемым схемам работать способом, заданным посредством инструкций программного обеспечения или микропрограммного обеспечения. Фиксированные функциональные схемы могут выполнять программные инструкции (например, чтобы принимать параметры или выводить параметры), но типы операций, которые выполняют фиксированные функциональные схемы, в общем, являются неизменными. В некоторых примерах, один или более модулей могут представлять собой различные схемные блоки (фиксированные функциональные или программируемые), и в некоторых примерах, один или более модулей могут представлять собой интегральные схемы.

[0152] Видеодекодер 300 может включать в себя ALU, EFU, цифровые схемы, аналоговые схемы и/или программируемые ядра, сформированные из программируемых схем. В примерах, в которых операции видеодекодера 300 выполняются посредством программного обеспечения, выполняющегося в программируемых схемах, внутримикросхемное или внемикросхемное запоминающее устройство может хранить инструкции (например, объектный код) программного обеспечения, которые принимает и выполняет видеодекодер 300.

[0153] Модуль 302 энтропийного декодирования может принимать кодированные видеоданные из CPB и энтропийно декодировать видеоданные для того, чтобы воспроизводить синтаксические элементы, включающие в себя синтаксические элементы, описанные выше для кодирования коэффициентов. Модуль 304 обработки прогнозирования, модуль 306 обратного квантования, модуль 308 обработки обратного преобразования, модуль 310 восстановления и модуль 312 фильтрации могут формировать декодированные видеоданные на основе синтаксических элементов, извлеченных из потока битов.

[0154] В общем, видеодекодер 300 восстанавливает кадр на поблочной основе. Видеодекодер 300 может выполнять операцию восстановления для каждого блока отдельно (причем блок, в данный момент восстанавливаемый, т.е. декодируемый, может называться "текущим блоком").

[0155] Модуль 302 энтропийного декодирования может энтропийно декодировать синтаксические элементы, задающие квантованные коэффициенты преобразования блока квантованных коэффициентов преобразования, а также информацию преобразования, такую как параметр квантования (QP) и/или индикатор(ы) режима преобразования. Модуль 306 обратного квантования может использовать QP, ассоциированный с блоком квантованных коэффициентов преобразования, чтобы определять степень квантования и, аналогично, степень обратного квантования для модуля 306 обратного квантования, которая должна применяться. Модуль 306 обратного квантования, например, может выполнять операцию побитового сдвига влево, чтобы обратно квантовать квантованные коэффициенты преобразования. Модуль 306 обратного квантования в силу этого может формировать блок коэффициентов преобразования, включающий в себя коэффициенты преобразования.

[0156] После того, как модуль 306 обратного квантования формирует блок коэффициентов преобразования, модуль 308 обработки обратного преобразования может применять одно или более обратных преобразований к блоку коэффициентов преобразования, чтобы формировать остаточный блок, ассоциированный с текущим блоком. Например, модуль 308 обработки обратного преобразования может применять обратное DCT, обратное целочисленное преобразование, обратное преобразование Карунена-Лоэва (KLT), обратное вращательное преобразование, обратное направленное преобразование или другое обратное преобразование к блоку коэффициентов.

[0157] Кроме того, модуль 304 обработки прогнозирования формирует прогнозный блок согласно синтаксическим элементам с информацией прогнозирования, которые энтропийно декодированы посредством модуля 302 энтропийного декодирования. Например, если синтаксические элементы с информацией прогнозирования указывают то, что текущий блок взаимно прогнозируется, модуль 316 компенсации движения может формировать прогнозный блок. В этом случае, синтаксические элементы с информацией прогнозирования могут указывать опорный кадр в DPB 314, из которого можно извлекать опорный блок, а также вектор движения, идентифицирующий местоположение опорного блока в опорном кадре относительно местоположения текущего блока в текущем кадре. Модуль 316 компенсации движения, в общем, может выполнять процесс взаимного прогнозирования таким способом, который является практически аналогичным способу, описанному относительно модуля 224 компенсации движения (фиг. 9).

[0158] В качестве другого примера, если синтаксические элементы с информацией прогнозирования указывают то, что текущий блок внутренне прогнозируется, модуль 318 внутреннего прогнозирования может формировать прогнозный блок согласно режиму внутреннего прогнозирования, указываемому посредством синтаксических элементов с информацией прогнозирования. С другой стороны, модуль 318 внутреннего прогнозирования, в общем, может выполнять процесс внутреннего прогнозирования таким способом, который является практически аналогичным способу, описанному относительно модуля 226 внутреннего прогнозирования (фиг. 9). Модуль 318 внутреннего прогнозирования может извлекать данные соседних выборок по отношению к текущему блоку из DPB 314.

[0159] Модуль 310 восстановления может восстанавливать текущий блок с использованием прогнозного блока и остаточного блока. Например, модуль 310 восстановления может суммировать выборки остаточного блока с соответствующими выборками прогнозного блока, чтобы восстанавливать текущий блок.

[0160] Модуль 312 фильтрации может выполнять одну или более операций фильтрации для восстановленных блоков. Например, модуль 312 фильтрации может выполнять операции удаления блочности, чтобы уменьшать артефакты блочности вдоль краев восстановленных блоков. Операции модуля 312 фильтрации не обязательно выполняются во всех примерах.

[0161] Видеодекодер 300 может сохранять восстановленные блоки в DPB 314. Как пояснено выше, DPB 314 может предоставлять ссылочную информацию, такую как выборки текущего кадра для внутреннего прогнозирования и ранее декодированных кадров для последующей компенсации движения, в модуль 304 обработки прогнозирования. Кроме того, видеодекодер 300 может выводить декодированные кадры из DPB для последующего представления на устройстве отображения, таком как устройство 118 отображения по фиг. 1.

[0162] Таким образом, видеодекодер 300 представляет пример устройства декодирования видео, включающего в себя запоминающее устройство, выполненное с возможностью сохранять видеоданные, и один или более модулей обработки, реализованных в схеме и выполненных с возможностью декодировать коэффициенты, как описано в этом раскрытии.

[0163] Фиг. 11A и 11B показывают примеры CABAC-процесса в элементе n разрешения. В примере 400 по фиг. 11A, в элементе n разрешения диапазон в элементе 2 разрешения включает в себя RangeMPS и RangeLPS, заданные посредством вероятности наименее вероятного символа (LPS) (p_σ) с учетом определенного контекстного состояния (σ). Пример 400 показывает обновление диапазона в элементе n+1 разрешения, когда значение элемента n разрешения равно наиболее вероятному символу (MPS). В этом примере, низкий уровень остается идентичным, но значение диапазона в элементе n+1 разрешения уменьшается до значения RangeMPS в элементе n разрешения. Пример 402 по фиг. 11B показывает обновление диапазона в элементе n+1 разрешения, когда значение элемента n разрешения не равно MPS (т.е. равно LPS). В этом примере, низкий уровень перемещается к более низкому значению диапазона RangeLPS в элементе n разрешения. Помимо этого, значение диапазона в элементе n+1 разрешения уменьшается до значения RangeLPS в элементе n разрешения.

[0164] В одном примере процесса HEVC-кодирования видео, диапазон выражается с помощью 9 битов, а низкий уровень с помощью 10 битов. Предусмотрен процесс ренормализации для того, чтобы поддерживать значения диапазона и низкого уровня с достаточной точностью. Ренормализация возникает каждый раз, когда диапазон меньше 256. Следовательно, диапазон всегда равен или выше 256 после ренормализации. В зависимости от значений диапазона и низкого уровня, двоичный арифметический кодер (BAC) выводит в поток битов 0 или 1 либо обновляет внутреннюю переменную (называемую "BO: с незавершенными битами"), с поддержкой будущих выводов. Фиг. 12 показывает примеры BAC-вывода в зависимости от диапазона. Например, 1 выводится в поток битов, когда диапазон и низкий уровень составляют выше определенного порогового значения (например, 512). 0 выводится в поток битов, когда диапазон и низкий уровень составляют ниже определенного порогового значения (например, 512). Ничего не выводится в поток битов, когда диапазон и низкий уровень составляют между определенными пороговыми значениями. Вместо этого, BO-значение может постепенно увеличиваться, и следующий элемент разрешения кодируется.

[0165] В контекстной CABAC-модели H.264/AVC и в некоторых примерах HEVC, предусмотрено 128 состояний. Предусмотрено 64 возможных LPS-вероятности (обозначаемых посредством состояния σ), которые могут составлять от 0 до 63. Каждый MPS может быть равен нулю или единице. В связи с этим, 128 состояний представляют собой 64 вероятности состояний, умноженные на 2 возможных значения для MPS (0 или 1). Следовательно, состояние может индексироваться с помощью 7 битов.

[0166] Чтобы уменьшать объем вычислений для извлечения LPS-диапазонов (rangeLPS_σ), результаты для всех случаев могут предварительно вычисляться и сохраняться в качестве аппроксимаций в таблице поиска. Следовательно, LPS-диапазон может получаться вообще без умножения посредством использования простого табличного поиска. Исключение умножения может быть важным для некоторых устройств или приложений, поскольку эта операция может вызывать значимую задержку во многих аппаратных архитектурах.

[0167] 4-столбцовая предварительно вычисленная таблица LPS-диапазонов может использоваться вместо умножения. Диапазон разделяется на четыре сегмента. Индекс сегмента может извлекаться посредством вопроса (диапазон>>6)&3. Фактически, индекс сегмента извлекается посредством сдвига и отбрасывания битов из фактического диапазона. Следующая таблица 1 показывает возможные диапазоны и их соответствующие индексы.

Таблица 1. Индекс диапазонов

Диапазон	256-319	320-383	384-447	448-511
(диапазон>>6) & 3	0	1	2	3

[0168] Таблица LPS-диапазонов в таком случае имеет 64 записи (по одной для каждого вероятностного состояния), умноженные на 4 (по одному для каждого индекса диапазона). Каждая запись представляет собой LPS диапазона, т.е. значение умножения диапазона на LPS-вероятность. Пример части этой таблицы показывается в следующей таблице 2. Таблица 2 иллюстрирует вероятностные состояния 9-12. В одном предложении по HEVC, вероятностные состояния могут колебаться от 0-63.

Таблица 2. RangeLPS

Вероятностное состояние (σ)	RangeLPS
	Индекс 0	Индекс 1	Индекс 2	Индекс 3
...	...	...	...	...
9	90	110	130	150
10	85	104	123	142
11	81	99	117	135
12	77	94	111	128
...	...	...	...	...

[0169] В каждом сегменте (т.е. при каждом значении диапазона), LPS-диапазон каждого вероятностного состояния σ предварительно задается. Другими словами, LPS-диапазон вероятностного состояния σ квантуется в четыре значения (т.е. по одному значению для каждого индекса диапазонов). Конкретный LPS-диапазон, используемый в данной точке, зависит от того, какому сегменту принадлежит диапазон. Число возможных LPS-диапазонов, используемых в таблице, представляет собой компромисс между числом столбцов таблицы (т.е. числом возможных значений LPS-диапазона) и точностью LPS-диапазона. Вообще говоря, большее количество столбцов приводит к меньшим ошибкам квантования значений LPS-диапазона, но также и увеличивает потребность в большем объеме запоминающего устройства для того, чтобы сохранять таблицу. Меньшее количество столбцов увеличивает ошибки квантования, но также и уменьшает объем запоминающего устройства, требуемый для того, чтобы сохранять таблицу.

[0170] Как описано выше, каждое вероятностное LPS-состояние имеет соответствующую вероятность. Вероятность p для каждого состояния извлекается следующим образом:

p_σ=α*p_{σ -1},

где состояние σ составляет от 0 до 63. Константа α представляет величину изменения вероятности между каждым контекстным состоянием. В одном примере, α=0,9493, либо, более точно, α=(0,01875/0,5)^1/63. Вероятность в состоянии σ=0 равна 0,5 (т.е. p₀=1/2). Таким образом, в контекстном состоянии 0, LPS и MPS являются одинаково вероятными. Вероятность в каждом последовательном состоянии извлекается посредством умножения предыдущего состояния на α. В связи с этим, вероятность появления LPS в контекстном состоянии α=1 составляет p₀*0,9493 (0,5*0,9493=0,47465). В связи с этим, по мере того, как индекс состояния α увеличивается, вероятность появления LPS понижается.

[0171] CABAC является адаптивным, поскольку вероятностные состояния обновляются таким образом, что они соответствуют статистике по сигналам (т.е. значениям ранее кодированных элементов разрешения). Процесс обновления заключается в следующем. Для данного вероятностного состояния, обновление зависит от индекса состояния и значения кодированного символа, идентифицированного в качестве LPS или в качестве MPS. Как результат процесса обновления, извлекается новое вероятностное состояние, которое состоит из потенциально модифицированной оценки LPS-вероятности и, при необходимости, модифицированного MPS-значения.

[0172] В случае значения элемента разрешения, равного MPS, данный индекс состояния может постепенно увеличиваться на 1. Это актуально для всех состояний кроме тех случаев, когда MPS возникает при индексе 62 состояния, при котором LPS-вероятность уже является минимальной (или эквивалентно, максимальная MPS-вероятность достигается). В этом случае, индекс 62 состояния остается фиксированным до тех пор, пока LPS не наблюдается либо значение последнего элемента разрешения не кодируется (состояние 63 используется для частного случая значения последнего элемента разрешения). Когда LPS возникает, индекс состояния изменяется посредством постепенного уменьшения индекса состояния на определенную величину, как показано в нижеприведенном уравнении. Это правило, в общем, применяется к каждому возникновению LPS со следующим исключением. При условии, что LPS кодирован в состоянии с индексом σ=0, что соответствует равновероятному случаю, индекс состояния остается фиксированным, но MPS-значение должно переключаться таким образом, что значение LPS и MPS должно меняться местами. Во всех остальных случаях, независимо от того, какой символ кодирован, MPS-значение не должно изменяться. Извлечение правил перехода для LPS-вероятности основано на следующем отношении между данной LPS-вероятностью p_old и ее обновленным дубликатом p_new:

p_new=max(α p_old, p₆₂), если возникает MPS

p_new=(1-α)+α p_old, если возникает LPS

[0173] Относительно практической реализации процесса оценки вероятности в CABAC важно отметить, что все правила перехода могут быть реализованы посредством самое большее двух таблиц, имеющих 63 записи 6-битовых целочисленных значений без знака. В некоторых примерах, переходы состояния могут определяться с помощью одной таблицы TransIdxLPS, которая определяет, для данного индекса σ состояния, новый обновленный индекс TransIdxLPS[σ] состояния в случае, если наблюдается LPS. MPS-обусловленные переходы могут получаться посредством простого (насыщенного) приращения индекса состояния на фиксированное значение в 1, что приводит к обновленному индексу min(σ+1, 62) состояния. Нижеприведенная таблица 3 представляет собой пример частичной таблицы TransIdxLPS.

Таблица 3. TransIdxLPS

Вероятностное состояние (σ)	Новое состояние TransIdxLPS[σ]
...	...
9	6
10	8
11	8
12	8
...	...

[0174] Технологии, описанные выше относительно фиг. 11A, 11B и 12, представляют просто одну примерную реализацию CABAC. Следует понимать, что технологии этого раскрытия не ограничены только этой описанной реализацией CABAC. Например, в устаревших BAC-подходах (например, в BAC-подходе, используемому в H.264/AVC), таблицы RangeLPS и TransIdxLPS настроены для видео низкого разрешения (т.е. для видео в общем промежуточном формате (CIF) и в четверть-CIF-формате (QCIF)). В HEVC- и будущих кодеках, таких как VVC, большой объем видеоконтента имеет высокую четкость (HD) и, в некоторых случаях, более чем HD. Видеоконтент, который имеет HD- или более чем HD-разрешение, имеет тенденцию иметь статистику, отличную от статистики 10-летних QCIF-последовательностей, используемых для того, чтобы разрабатывать H.264/AVC. В связи с этим, таблицы RangeLPS и TransIdxLPS из H.264/AVC могут вызывать адаптацию между состояниями таким способом, который слишком является быстрым. Таким образом, переходы между вероятностными состояниями, в частности, когда LPS возникает, могут быть слишком большими для более плавного контента более высокого разрешения HD-видео. Таким образом, вероятностные модели, используемые согласно традиционным технологиям, могут не быть настолько точными для HD- и сверхHD-контента. Помимо этого, поскольку HD-видеоконтент включает в себя больший диапазон пиксельных значений, таблицы H.264/AVC не включают в себя достаточное количество записей для того, чтобы учитывать более экстремальные значения, которые могут присутствовать в HD-контенте.

[0175] В связи с этим, для HEVC и для будущих стандартов кодирования, таких как VVC, таблицы RangeLPS и TransIdxLPS могут модифицироваться с возможностью учитывать характеристики этого нового контента. В частности, BAC-процессы для HEVC и будущих стандартов кодирования могут использовать таблицы, которые предоставляют возможность более медленного процесса адаптации и могут учитывать более крайние случаи (т.е. скошенные вероятности). Таким образом, в качестве одного примера, таблицы RangeLPS и TransIdxLPS могут модифицироваться с возможностью достигать этих целей за счет включения большего числа вероятностных состояний и диапазонов, чем используются в BAC для H.264/AVC или HEVC.

[0176] Фиг. 13 является блок-схемой примерного модуля 220 энтропийного кодирования, который может быть выполнен с возможностью выполнять CABAC в соответствии с технологиями этого раскрытия. Синтаксический элемент 418 вводится в модуль 220 энтропийного кодирования. Если синтаксический элемент уже представляет собой двоичный синтаксический элемент (т.е. синтаксический элемент, который имеет только значение нуль и единицу), этап преобразования в двоичную форму может пропускаться. Если синтаксический элемент представляет собой недвоичный синтаксический элемент (например, синтаксический элемент, представленный посредством нескольких битов, к примеру, уровней коэффициентов преобразования), недвоичный синтаксический элемент преобразуется в двоичную форму посредством модуля 420 преобразования в двоичную форму. Модуль 420 преобразования в двоичную форму выполняет преобразование недвоичного синтаксического элемента в последовательность двоичных решений. Эти двоичные решения зачастую называются "элементами разрешения". Например, для уровней коэффициентов преобразования, значение уровня может разбиваться на последовательные элементы разрешения, причем каждый элемент разрешения указывает то, превышает или нет абсолютное значение уровня коэффициентов некоторое значение. Например, элемент 0 разрешения (иногда называемый "флагом значимости") указывает то, превышает абсолютное значение уровня коэффициентов преобразования 0 или нет. Элемент 1 разрешения указывает то, превышает абсолютное значение уровня коэффициентов преобразования 1 или нет и т.д., Уникальное преобразование может разрабатываться для каждого недвоичного синтаксического элемента.

[0177] Каждый элемент разрешения, сформированный посредством модуля 420 преобразования в двоичную форму, подается в сторону двоичного арифметического кодирования модуля 220 энтропийного кодирования. Таким образом, для предварительно определенного набора недвоичных синтаксических элементов, каждый тип элемента разрешения (например, элемента 0 разрешения) кодируется перед типом следующего элемента разрешения (например, элемента 1 разрешения). Кодирование может выполняться в регулярном режиме или в обходном режиме. В обходном режиме, механизм 426 обходного кодирования выполняет арифметическое кодирование с использованием фиксированной вероятностной модели, например, с использованием кодирования кодом Голомба-Райса или экспоненциальным кодом Голомба. Обходной режим в общем, используется для более прогнозируемых синтаксических элементов.

[0178] Кодирование в регулярном режиме заключает в себе выполнение CABAC. CABAC в регулярном режиме служит для кодирования значений элементов разрешения, при котором вероятность значения элемента разрешения является прогнозируемой, с учетом значений ранее кодированных элементов разрешения. Вероятность равенства LPS элемента разрешения определяется посредством модуля 422 контекстного моделирования. Модуль 422 контекстного моделирования выводит значение элемента разрешения и контекстную модель (например, вероятностное состояние σ). Контекстная модель может представлять собой начальную контекстную модель для последовательности элементов разрешения или может определяться на основе кодированных значений ранее кодированных элементов разрешения. Как описано выше, модуль контекстного моделирования может обновлять состояние на основе того, представляет собой ранее кодированный элемент разрешения MPS или LPS.

[0179] После того, как контекстная модель и вероятностное состояние σ определяются посредством модуля 422 контекстного моделирования, механизм 424 регулярного кодирования выполняет BAC для значения элемента разрешения. Согласно технологиям этого раскрытия, механизм 424 регулярного кодирования выполняет BAC с использованием таблицы 430 TransIdxLPS, которая включает в себя более 64 вероятностных состояний σ. В одном примере, число вероятностных состояний равно 128. TransIdxLPS используется для того, чтобы определять то, какое вероятностное состояние используется для следующего элемента разрешения (элемента n+1 разрешения), когда предыдущий элемент разрешения (элемент n разрешения) представляет собой LPS. Механизм 424 регулярного кодирования также может использовать таблицу 128 RangeLPS для того, чтобы определять значение диапазона для LPS с учетом конкретного вероятностного состояния σ. Тем не менее, согласно технологиям этого раскрытия, вместо использования всех возможных вероятностных состояний σ таблицы 430 TransIdxLPS, индексы σ вероятностных состояний преобразуются в сгруппированные индексы для использования в таблице RangeLPS. Таким образом, каждый индекс в таблице 428 RangeLPS может представлять два или более из общего числа вероятностных состояний. Преобразование индекса σ вероятностного состояния в сгруппированные индексы может быть линейным (например, посредством деления на два) либо может быть нелинейным (например, как логарифмическая функция или таблица преобразования).

[0180] В других примерах раскрытия, разность между последовательными вероятностными состояниями может задаваться меньшей посредством задания параметра α таким образом, что он больше 0,9493. В одном примере, α=0,9689. В другом примере раскрытия, наибольшая вероятность (p₀) появления LPS может задаваться ниже 0,5. В одном примере, p₀ может быть равна 0,493.

[0181] В соответствии с одной или более технологиями этого раскрытия, в отличие от использования идентичного значения переменной, используемой для того, чтобы обновлять вероятностное состояние в процессе двоичного арифметического кодирования (например, одного или более из размера окна кодирования со взвешиванием, коэффициента (α) масштабирования и скорости обновления вероятности), модуль 220 энтропийного кодирования может использовать различные значения переменной для различных контекстных моделей и/или различных синтаксических элементов. Например, модуль 220 энтропийного кодирования может определять, для контекстной модели из множества контекстных моделей, значение переменной, используемой для того, чтобы обновлять вероятностное состояние в процессе двоичного арифметического кодирования, и обновлять вероятностное состояние на основе определенного значения.

[0182] Фиг. 14 является блок-схемой примерного модуля 302 энтропийного декодирования, который может быть выполнен с возможностью выполнять CABAC в соответствии с технологиями этого раскрытия. Модуль 302 энтропийного декодирования по фиг. 14 выполняет CABAC обратным способом по отношению к способу для модуля 220 энтропийного кодирования, описанного на фиг. 13. Кодированные биты из потока 448 битов вводятся в модуль 302 энтропийного декодирования. Кодированные биты подаются в модуль 450 контекстного моделирования или в механизм 452 обходного декодирования на основе того, кодированные биты энтропийно кодированы с использованием обходного режима или регулярного режима. Если кодированные биты кодированы в обходном режиме, механизм 452 обходного декодирования, например, может использовать декодирование кодом Голомба-Райса или экспоненциальным кодом Голомба для того, чтобы извлекать двоичные синтаксические элементы или элементы разрешения недвоичных синтаксических элементов.

[0183] Если кодированные биты кодированы в регулярном режиме, модуль 450 контекстного моделирования может определять вероятностную модель для кодированных битов, и механизм 454 регулярного декодирования может декодировать кодированные биты для того, чтобы формировать элементы разрешения недвоичных синтаксических элементов (либо непосредственно синтаксические элементы, если двоичные). После того, как контекстная модель и вероятностное состояние σ определяются посредством модуля 450 контекстного моделирования, механизм 454 регулярного декодирования выполняет BAC для значения элемента разрешения. Согласно технологиям этого раскрытия, механизм 454 регулярного декодирования выполняет BAC с использованием таблицы 458 TransIdxLPS, которая включает в себя более 64 вероятностных состояний σ. В одном примере, число вероятностных состояний равно 128, хотя другие числа вероятностных состояний могут задаваться в соответствии с технологиями этого раскрытия. Таблица 458 TransIdxLPS используется для того, чтобы определять то, какое вероятностное состояние используется для следующего элемента разрешения (элемента n+1 разрешения), когда предыдущий элемент разрешения (элемент n разрешения) представляет собой LPS. Механизм 454 регулярного декодирования также может использовать таблицу 456 RangeLPS для того, чтобы определять значение диапазона для LPS с учетом конкретного вероятностного состояния σ. Тем не менее, согласно технологиям этого раскрытия, вместо использования всех возможных вероятностных состояний σ таблицы 458 TransIdxLPS, индексы σ вероятностных состояний преобразуются в сгруппированные индексы для использования в таблице 456 RangeLPS. Таким образом, каждый индекс в таблице 456 RangeLPS может представлять два или более из общего числа вероятностных состояний. Преобразование индекса σ вероятностного состояния в сгруппированные индексы может быть линейным (например, посредством деления на два) либо может быть нелинейным (например, как логарифмическая функция или таблица преобразования).

[0184] В других примерах раскрытия, разность между последовательными вероятностными состояниями может задаваться меньшей посредством задания параметра α таким образом, что он больше 0,9493. В одном примере, α=0,9689. В другом примере раскрытия, наибольшая вероятность (p₀) появления LPS может задаваться ниже 0,5. В одном примере, p₀ может быть равна 0,493.

[0185] После того, как элементы разрешения декодируются посредством механизма 454 регулярного декодирования, модуль 460 обратного преобразования в двоичную форму может выполнять обратное преобразование для того, чтобы преобразовывать элементы разрешения обратно в значения недвоичных синтаксических элементов.

[0186] Фиг. 15 является блок-схемой последовательности операций способа, иллюстрирующей примерную работу видеокодера для кодирования текущего блока видеоданных. Текущий блок может включать в себя текущую CU. Хотя описывается относительно видеокодера 200 (фиг. 1 и 9), следует понимать, что другие устройства могут быть выполнены с возможностью выполнять работу, аналогичную работе по фиг. 15.

[0187] В этом примере, видеокодер 200 первоначально прогнозирует текущий блок (550). Например, видеокодер 200 может формировать блок прогнозирования для текущего блока. Видеокодер 200 затем может вычислять остаточный блок для текущего блока (552). Чтобы вычислять остаточный блок, видеокодер 200 может вычислять разность между исходным, некодированным блоком и блоком прогнозирования для текущего блока. Видеокодер 200 затем может преобразовывать и квантовать коэффициенты остаточного блока (554). Затем видеокодер 200 может сканировать квантованные коэффициенты преобразования остаточного блока (556). В ходе сканирования или после сканирования, видеокодер 200 может энтропийно кодировать коэффициенты (558). Например, видеокодер 200 может кодировать коэффициенты с использованием CAVLC или CABAC. Видеокодер 200 затем может выводить энтропийно кодированные данные блока (560).

[0188] Фиг. 16 является блок-схемой последовательности операций способа, иллюстрирующей примерную работу видеодекодера для декодирования текущего блока видеоданных. Текущий блок может включать в себя текущую CU. Хотя описывается относительно видеодекодера 300 (фиг. 1 и 3), следует понимать, что другие устройства могут быть выполнены с возможностью выполнять работу, аналогичную работе по фиг. 16.

[0189] Видеодекодер 300 может принимать энтропийно кодированные данные для текущего блока, к примеру, энтропийно кодированную информацию прогнозирования и энтропийно кодированные данные для коэффициентов остаточного блока, соответствующего текущему блоку (570). Видеодекодер 300 может энтропийно декодировать энтропийно кодированные данные для того, чтобы определять информацию прогнозирования для текущего блока и воспроизводить коэффициенты остаточного блока (572). Видеодекодер 300 может прогнозировать текущий блок (574), например, с использованием режима внутреннего или взаимного прогнозирования, как указано посредством информации прогнозирования для текущего блока, чтобы вычислять блок прогнозирования для текущего блока. Видеодекодер 300 затем может обратно сканировать воспроизведенные коэффициенты (576), чтобы создавать блок квантованных коэффициентов преобразования. Видеодекодер 300 затем может обратно квантовать и обратно преобразовывать коэффициенты для того, чтобы формировать остаточный блок (578). Видеодекодер 300 может, в конечном счете, декодировать текущий блок посредством комбинирования блока прогнозирования и остаточного блока (580).

[0190] Фиг. 17 является блок-схемой последовательности операций способа, иллюстрирующей примерную работу видеодекодера для декодирования значений коэффициентов. Хотя описывается относительно видеодекодера 300 (фиг. 1 и 10), следует понимать, что другие устройства могут быть выполнены с возможностью выполнять работу, аналогичную работе по фиг. 17.

[0191] Видеодекодер 300 определяет пороговое число регулярно-кодированных элементов разрешения для первого прохода декодирования (602).

[0192] Для первого набора коэффициентов, видеодекодер 300 контекстно декодирует синтаксические элементы группы коэффициентов до тех пор, пока пороговое число регулярно-кодированных элементов разрешения не достигается (604). Контекстно-декодированные элементы разрешения синтаксических элементов, например, могут включать в себя один или более флагов значимости, один или более флагов уровня четности и один или более первых флагов, как описано выше. Каждый из одного или более флагов значимости может указывать то, равен или нет абсолютный уровень для коэффициента нулю, и каждый из одного или более флагов уровня четности может указывать то, имеет коэффициент абсолютный уровень, который является четным или нечетным. Каждый из одного или более первых флагов может указывать то, имеет или нет коэффициент абсолютный уровень, который превышает 2.

[0193] Чтобы контекстно декодировать синтаксические элементы группы коэффициентов, видеодекодер 300 может выполнять контекстно-адаптивное двоичное арифметическое декодирование, чтобы декодировать синтаксические элементы группы коэффициентов. В других примерах, чтобы контекстно декодировать синтаксические элементы группы коэффициентов до тех пор, пока пороговое число регулярно-кодированных элементов разрешения не достигается, видеодекодер 300 может определять то, что пороговое число регулярно-кодированных элементов разрешения достигнуто при кодировании синтаксического элемента для коэффициента из первого набора коэффициентов, и контекстно декодировать один или более оставшихся синтаксических элементов для коэффициента из первого набора коэффициентов.

[0194] Видеодекодер 300 определяет значения для первого набора коэффициентов единицы преобразования на основе контекстно-декодированных элементов разрешения синтаксических элементов (606). В ответ на достижение порогового числа регулярно-кодированных элементов разрешения, для второго набора коэффициентов, видеодекодер 300 выполняет обходное декодирование дополнительных синтаксических элементов (608). Чтобы выполнять обходное декодирование дополнительных синтаксических элементов, видеодекодер 300, для коэффициента из второго набора коэффициентов, может извлекать значение для параметра Райса.

[0195] Видеодекодер 300 определяет значения для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов (610). Чтобы определять значения для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов, видеодекодер 300 определяет значение для нулевого параметра на основе параметра Райса (612). Чтобы определять значение для нулевого параметра на основе параметра Райса, видеодекодер 300, например, может определять значение для нулевого параметра на основе параметра Райса и также на основе текущего состояния машины состояний. Как описано выше, значение для нулевого параметра идентифицирует кодированное значение, которое соответствует уровню коэффициентов нуль. Видеодекодер 300, например, может определять значение для параметра Райса из таблицы поиска или некоторым другим способом.

[0196] Чтобы определять значения для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов, видеодекодер 300 также принимает первое кодированное значение для первого коэффициента из второго набора коэффициентов (614) и, на основе значения для нулевого параметра и первого кодированного значения для первого коэффициента, определяет уровень для первого коэффициента (616). Уровень для первого коэффициента, например, может представлять собой оставшийся уровень или абсолютный уровень.

[0197] В ответ на то, что значение для нулевого параметра равно первому кодированному значению, видеодекодер 300 может определять то, что уровень для первого коэффициента равен нулю. В ответ на то, что первое кодированное значение больше значения для нулевого параметра, видеодекодер 300 может определять то, что уровень для первого коэффициента равен первому кодированному значению. В других случаях, в ответ на то, что первое кодированное значение меньше значения для нулевого параметра, видеодекодер 300 может определять то, что уровень для первого коэффициента равен первому кодированному значению плюс единица.

[0198] Видеодекодер 300 также может определять декодированный блок преобразования на основе значений для первого набора коэффициентов и значений для второго набора коэффициентов; суммировать декодированный блок преобразования с блоком прогнозирования, чтобы определять восстановленный блок; выполнять одну или более операций фильтрации для восстановленного блока, чтобы определять декодированный блок видеоданных; и выводить декодированный кадр видеоданных, которые включают в себя декодированный блок видеоданных.

[0199] Следует признавать то, что в зависимости от примера, определенные этапы или события любой из технологий, описанных в данном документе, могут выполняться в другой последовательности, могут добавляться, объединяться или вообще исключаться (например, не все описанные этапы или события требуются для практической реализации технологий). Кроме того, в определенных примерах, этапы или события могут выполняться одновременно, например, посредством многопоточной обработки, обработки прерывания или посредством нескольких процессоров, а не последовательно.

[0200] В одном или более примерах, описанные функции могут быть реализованы в аппаратных средствах, программном обеспечении, микропрограммном обеспечении или в любой комбинации вышеозначенного. При реализации в программном обеспечении, функции могут сохраняться или передаваться, в качестве одной или более инструкций или кода, по машиночитаемому носителю и выполняться посредством аппаратного модуля обработки. Машиночитаемые носители могут включать в себя машиночитаемые носители данных, которые соответствуют материальному носителю, такие как носители данных, или среды связи, включающие в себя любой носитель, который упрощает перенос компьютерной программы из одного места в другое, например, согласно протоколу связи. Таким образом, машиночитаемые носители, в общем, могут соответствовать (1) материальному машиночитаемому носителю данных, который является энергонезависимым, или (2) среде связи, такой как сигнал или несущая. Носители данных могут представлять собой любые доступные носители, к которым может осуществляться доступ посредством одного или более компьютеров или одного или более процессоров, с тем чтобы извлекать инструкции, код и/или структуры данных для реализации технологий, описанных в этом раскрытии. Компьютерный программный продукт может включать в себя машиночитаемый носитель.

[0201] В качестве примера, а не ограничения, эти машиночитаемые носители данных могут включать в себя одно или более из RAM, ROM, EEPROM, CD-ROM или другого устройства хранения данных на оптических дисках, устройства хранения данных на магнитных дисках или других магнитных устройств хранения данных, флэш-памяти либо любого другого носителя, который может использоваться для того, чтобы хранить требуемый программный код в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера. Кроме того, любое соединение корректно называть машиночитаемым носителем. Например, если инструкции передаются из веб-узла, сервера или другого удаленного источника с помощью коаксиального кабеля, оптоволоконного кабеля, "витой пары", цифровой абонентской линии (DSL), или беспроводных технологий, таких как инфракрасные, радиопередающие и микроволновые среды, то коаксиальный кабель, оптоволоконный кабель, "витая пара", DSL или беспроводные технологии, такие как инфракрасные, радиопередающие и микроволновые среды, включаются в определение носителя. Тем не менее, следует понимать, что машиночитаемые носители данных и носители данных не включают в себя соединения, несущие, сигналы или другие энергозависимые носители, а вместо этого направлены на энергонезависимые материальные носители данных. Диск при использовании в данном документе включает в себя компакт-диск (CD), лазерный диск, оптический диск, универсальный цифровой диск (DVD), гибкий диск и диск Blu-Ray, при этом диски обычно воспроизводят данные магнитным способом, и диски обычно воспроизводят данные оптически с помощью лазеров. Комбинации вышеперечисленного также следует включать в число машиночитаемых носителей.

[0202] Инструкции могут выполняться посредством одного или более процессоров, к примеру, одного или более микропроцессоров общего назначения, ASIC, FPGA либо других эквивалентных интегрированных или дискретных логических схем. Соответственно, термин "процессор" при использовании в данном документе может означать любую вышеуказанную структуру или другую структуру, подходящую для реализации технологий, описанных в данном документе. Помимо этого, в некоторых аспектах функциональность, описанная в данном документе, может предоставляться в рамках специализированных аппаратных и/или программных модулей, выполненных с возможностью кодирования или декодирования либо встроенных в комбинированный кодек. Кроме того, технологии могут полностью реализовываться в одной или более схемах или логических элементах.

[0203] Технологии этого раскрытия могут реализовываться в широком спектре устройств или оборудования, в том числе в беспроводном переносном телефоне, в интегральной схеме (IC), или в наборе IC (к примеру, в наборе микросхем). Различные компоненты, модули или блоки описываются в этом раскрытии для того, чтобы подчеркивать функциональные аспекты устройств, выполненных с возможностью осуществлять раскрытые технологии, но необязательно требуют реализации посредством различных аппаратных модулей. Наоборот, как описано выше, различные модули могут комбинироваться в аппаратный модуль кодека или предоставляться посредством набора взаимодействующих аппаратных модулей, включающих в себя один или более процессоров, как описано выше, в сочетании с надлежащим программным обеспечением и/или микропрограммным обеспечением.

[0204] Выше описаны различные примеры. Эти и другие примеры находятся в пределах объема прилагаемой формулы изобретения.

1. Способ декодирования видеоданных, содержащий этапы, на которых:

определяют пороговое число регулярно-кодированных элементов разрешения для первого прохода декодирования;

для первого набора коэффициентов, выполняют контекстное декодирование элементов разрешения синтаксических элементов группы коэффициентов до тех пор, пока не будет достигнуто пороговое число регулярно-кодированных элементов разрешения, при этом контекстно-декодированные элементы разрешения синтаксических элементов содержат один или более флагов значимости, один или более флагов уровня четности и один или более первых флагов, причем каждый из одного или более флагов значимости указывает то, равен ли абсолютный уровень для соответствующего коэффициента нулю, каждый из одного или более флагов уровня четности указывает то, является ли абсолютный уровень для соответствующего коэффициента четным или нечетным, и каждый из одного или более первых флагов указывает то, больше ли абсолютный уровень для соответствующего коэффициента двух;

определяют значения для первого набора коэффициентов единицы преобразования на основе контекстно-декодированных элементов разрешения синтаксических элементов;

в ответ на достижение порогового числа регулярно-кодированных элементов разрешения, для второго набора коэффициентов, выполняют обходное декодирование дополнительных синтаксических элементов, при этом обходное декодирование дополнительных синтаксических элементов содержит, для коэффициента из второго набора коэффициентов, получение значения для параметра Райса; и

определяют значения для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов, при этом определение значений для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов содержит этапы, на которых:

определяют значение для нулевого параметра на основе параметра Райса, при этом значение для нулевого параметра идентифицирует кодированное значение, которое соответствует уровню коэффициентов нуль;

принимают первое кодированное значение для первого коэффициента из второго набора коэффициентов; и

на основе значения для нулевого параметра и первого кодированного значения для первого коэффициента, определяют уровень для первого коэффициента.

2. Способ по п.1, в котором уровень для первого коэффициента содержит оставшийся уровень.

3. Способ по п.1, в котором уровень для первого коэффициента содержит абсолютный уровень.

4. Способ по п.1, в котором при упомянутом определении значения для нулевого параметра на основе параметра Райса значение для нулевого параметра определяют на основе параметра Райса и на основе текущего состояния машины состояний.

5. Способ по п.1, дополнительно содержащий этап, на котором: в ответ на то, что значение для нулевого параметра равно первому кодированному значению, определяют, что уровень для первого коэффициента равен нулю.

6. Способ по п.1, дополнительно содержащий этап, на котором: в ответ на то, что первое кодированное значение больше значения для нулевого параметра, определяют, что уровень для первого коэффициента равен первому кодированному значению.

7. Способ по п.1, дополнительно содержащий этап, на котором: в ответ на то, что первое кодированное значение меньше значения для нулевого параметра, определяют, что уровень для первого коэффициента равен первому кодированному значению плюс единица.

8. Способ по п.1, дополнительно содержащий этап, на котором определяют значение для параметра Райса из таблицы поиска.

9. Способ по п.1, в котором контекстное декодирование синтаксических элементов группы коэффициентов содержит выполнение контекстно-адаптивного двоичного арифметического декодирования, чтобы декодировать синтаксические элементы группы коэффициентов.

10. Способ по п.1, в котором контекстное декодирование синтаксических элементов группы коэффициентов до тех пор, пока не будет достигнуто пороговое число регулярно-кодированных элементов разрешения, содержит этапы, на которых:

определяют, что пороговое число регулярно-кодированных элементов разрешения достигнуто при кодировании синтаксического элемента для коэффициента из первого набора коэффициентов;

выполняют контекстное декодирование одного или более оставшихся синтаксических элементов для коэффициента из первого набора коэффициентов.

11. Способ по п.1, дополнительно содержащий этапы, на которых:

определяют декодированный блок преобразования на основе значений для первого набора коэффициентов и значений для второго набора коэффициентов;

суммируют декодированный блок преобразования с блоком прогнозирования, чтобы определить восстановленный блок;

выполняют одну или более операций фильтрации в отношении восстановленного блока, чтобы определить декодированный блок видеоданных; и

выводят декодированный кадр видеоданных, которые включают в себя декодированный блок видеоданных.

12. Устройство для декодирования видеоданных, содержащее:

запоминающее устройство, приспособленное для хранения видеоданных; и

один или более процессоров, реализованных в схемах и выполненных с возможностью:

- определять пороговое число регулярно-кодированных элементов разрешения для первого прохода декодирования;

- для первого набора коэффициентов, выполнять контекстное декодирование элементов разрешения синтаксических элементов группы коэффициентов до тех пор, пока не будет достигнуто пороговое число регулярно-кодированных элементов разрешения, при этом контекстно-декодированные элементы разрешения синтаксических элементов содержат один или более флагов значимости, один или более флагов уровня четности и один или более первых флагов, причем каждый из одного или более флагов значимости указывает то, равен ли абсолютный уровень для соответствующего коэффициента нулю, каждый из одного или более флагов уровня четности указывает то, является ли абсолютный уровень для соответствующего коэффициента четным или нечетным, и каждый из одного или более первых флагов указывает то, больше ли абсолютный уровень для соответствующего коэффициента двух;

- определять значения для первого набора коэффициентов единицы преобразования на основе контекстно-декодированных элементов разрешения синтаксических элементов;

- в ответ на достижение порогового числа регулярно-кодированных элементов разрешения, для второго набора коэффициентов, выполнять обходное декодирование дополнительных синтаксических элементов, при этом для выполнения обходного декодирования дополнительных синтаксических элементов один или более процессоров выполнены с возможностью получать, для коэффициента из второго набора коэффициентов, значение для параметра Райса; и

- определять значения для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов, при этом для определения значений для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов один или более процессоров выполнены с возможностью:

определять значение для нулевого параметра на основе параметра Райса, при этом значение для нулевого параметра идентифицирует кодированное значение, которое соответствует уровню коэффициентов нуль;

принимать первое кодированное значение для первого коэффициента из второго набора коэффициентов;

на основе значения для нулевого параметра и первого кодированного значения для первого коэффициента, определять уровень для первого коэффициента.

13. Устройство по п.12, при этом уровень для первого коэффициента содержит оставшийся уровень.

14. Устройство по п.12, при этом уровень для первого коэффициента содержит абсолютный уровень.

15. Устройство по п.12, в котором для определения значения для нулевого параметра на основе параметра Райса один или более процессоров выполнены с возможностью определять значение для нулевого параметра на основе параметра Райса и на основе текущего состояния машины состояний.

16. Устройство по п.12, в котором один или более процессоров дополнительно выполнены с возможностью: в ответ на то, что значение для нулевого параметра равно первому кодированному значению, определять, что уровень для первого коэффициента равен нулю.

17. Устройство по п.12, в котором один или более процессоров дополнительно выполнены с возможностью: в ответ на то, что первое кодированное значение больше значения для нулевого параметра, определять, что уровень для первого коэффициента равен первому кодированному значению.

18. Устройство по п.12, в котором один или более процессоров дополнительно выполнены с возможностью: в ответ на то, что первое кодированное значение меньше значения для нулевого параметра, определять, что уровень для первого коэффициента равен первому кодированному значению плюс единица.

19. Устройство по п.12, в котором один или более процессоров дополнительно выполнены с возможностью определять значение для параметра Райса из таблицы поиска.

20. Устройство по п.12, в котором для контекстного декодирования синтаксических элементов группы коэффициентов один или более процессоров выполнены с возможностью выполнять контекстно-адаптивное двоичное арифметическое декодирование, чтобы декодировать синтаксические элементы группы коэффициентов.

21. Устройство по п.12, в котором для контекстного декодирования синтаксических элементов группы коэффициентов до тех пор, пока не будет достигнуто пороговое число регулярно-кодированных элементов разрешения, один или более процессоров выполнены с возможностью:

определять, что пороговое число регулярно-кодированных элементов разрешения достигнуто при кодировании синтаксического элемента для коэффициента из первого набора коэффициентов;

выполнять контекстное декодирование одного или более оставшихся синтаксических элементов для коэффициента из первого набора коэффициентов.

22. Устройство по п.12, в котором один или более процессоров дополнительно выполнены с возможностью:

определять декодированный блок преобразования на основе значений для первого набора коэффициентов и значений для второго набора коэффициентов;

суммировать декодированный блок преобразования с блоком прогнозирования, чтобы определить восстановленный блок;

выполнять одну или более операций фильтрации в отношении восстановленного блока, чтобы определить декодированный блок видеоданных; и

выводить декодированный кадр видеоданных, которые включают в себя декодированный блок видеоданных.

23. Устройство по п.12, при этом устройство содержит устройство беспроводной связи, дополнительно содержащее приемник, выполненный с возможностью принимать кодированные видеоданные.

24. Устройство по п.23, при этом устройство беспроводной связи содержит телефонную трубку, причем приемник выполнен с возможностью демодулировать, согласно стандарту беспроводной связи, сигнал, содержащий кодированные видеоданные.

25. Устройство по п.12, дополнительно содержащее дисплей, выполненный с возможностью отображать декодированные видеоданные.

26. Устройство по п.12, при этом устройство содержит одно или более из камеры, компьютера, мобильного устройства, широковещательного приемного устройства и абонентской приставки.

27. Машиночитаемый носитель данных, хранящий инструкции, которые при их исполнении одним или более процессорами предписывают одному или более процессорам:

определять пороговое число регулярно-кодированных элементов разрешения для первого прохода декодирования;

для первого набора коэффициентов, выполнять контекстное декодирование элементов разрешения синтаксических элементов группы коэффициентов до тех пор, пока не будет достигнуто пороговое число регулярно-кодированных элементов разрешения, при этом контекстно-декодированные элементы разрешения синтаксических элементов содержат один или более флагов значимости, один или более флагов уровня четности и один или более первых флагов, причем каждый из одного или более флагов значимости указывает то, равен ли абсолютный уровень для соответствующего коэффициента нулю, каждый из одного или более флагов уровня четности указывает то, является ли абсолютный уровень для соответствующего коэффициента четным или нечетным, и каждый из одного или более первых флагов указывает то, больше ли абсолютный уровень для соответствующего коэффициента двух;

определять значения для первого набора коэффициентов единицы преобразования на основе контекстно-декодированных элементов разрешения синтаксических элементов;

в ответ на достижение порогового числа регулярно-кодированных элементов разрешения, для второго набора коэффициентов, выполнять обходное декодирование дополнительных синтаксических элементов, при этом для выполнения обходного декодирования дополнительных синтаксических элементов инструкции предписывают одному или более процессорам получать, для коэффициента из второго набора коэффициентов, значение для параметра Райса; и

определять значения для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов, при этом для определения значений для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов инструкции предписывают одному или более процессорам:

принимать первое кодированное значение для первого коэффициента из второго набора коэффициентов;

28. Машиночитаемый носитель данных по п.27, при этом уровень для первого коэффициента содержит оставшийся уровень.

29. Машиночитаемый носитель данных по п.27, при этом уровень для первого коэффициента содержит абсолютный уровень.

30. Машиночитаемый носитель данных по п.27, в котором для определения значения для нулевого параметра на основе параметра Райса инструкции предписывают одному или более процессорам определять значение для нулевого параметра на основе параметра Райса и на основе текущего состояния машины состояний.

31. Машиночитаемый носитель данных по п.27, в котором инструкции дополнительно предписывают одному или более процессорам: в ответ на то, что значение для нулевого параметра равно первому кодированному значению, определять, что уровень для первого коэффициента равен нулю.

32. Машиночитаемый носитель данных по п.27, в котором инструкции дополнительно предписывают одному или более процессорам: в ответ на то, что первое кодированное значение больше значения для нулевого параметра, определять, что уровень для первого коэффициента равен первому кодированному значению.

33. Машиночитаемый носитель данных по п.27, в котором инструкции дополнительно предписывают одному или более процессорам: в ответ на то, что первое кодированное значение меньше значения для нулевого параметра, определять, что уровень для первого коэффициента равен первому кодированному значению плюс единица.

34. Машиночитаемый носитель данных по п.27, в котором инструкции дополнительно предписывают одному или более процессорам определять значение для параметра Райса из таблицы поиска.

35. Машиночитаемый носитель данных по п.27, в котором для контекстного декодирования синтаксических элементов группы коэффициентов инструкции предписывают одному или более процессорам выполнять контекстно-адаптивное двоичное арифметическое декодирование, чтобы декодировать синтаксические элементы группы коэффициентов.

36. Машиночитаемый носитель данных по п.27, в котором для контекстного декодирования синтаксических элементов группы коэффициентов до тех пор, пока не будет достигнуто пороговое число регулярно-кодированных элементов разрешения, инструкции предписывают одному или более процессорам:

37. Машиночитаемый носитель данных по п.27, в котором инструкции дополнительно предписывают одному или более процессорам:

выводить декодированный кадр видеоданных, которые включают в себя декодированный блок видеоданных.

38. Устройство для декодирования видеоданных, содержащее:

средство для определения порогового числа регулярно-кодированных элементов разрешения для первого прохода декодирования;

средство для контекстного декодирования, для первого набора коэффициентов, элементов разрешения синтаксических элементов группы коэффициентов до тех пор, пока не будет достигнуто пороговое число регулярно-кодированных элементов разрешения, при этом контекстно-декодированные элементы разрешения синтаксических элементов содержат один или более флагов значимости, один или более флагов уровня четности и один или более первых флагов, при этом каждый из одного или более флагов значимости указывает то, равен ли абсолютный уровень для соответствующего коэффициента нулю, каждый из одного или более флагов уровня четности указывает то, является ли абсолютный уровень для соответствующего коэффициента четным или нечетным, и каждый из одного или более первых флагов указывает то, больше ли абсолютный уровень для соответствующего коэффициента двух;

средство для определения значений для первого набора коэффициентов единицы преобразования на основе контекстно-декодированных элементов разрешения синтаксических элементов;

средство для обходного декодирования дополнительных синтаксических элементов, для второго набора коэффициентов, в ответ на достижение порогового числа регулярно-кодированных элементов разрешения, при этом средство для обходного декодирования дополнительных синтаксических элементов содержит средство для получения, для коэффициента из второго набора коэффициентов, значения для параметра Райса; и

средство для определения значений для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов, при этом средство для определения значений для второго набора коэффициентов единицы преобразования на основе дополнительных синтаксических элементов содержит:

средство для определения значения для нулевого параметра на основе параметра Райса, при этом значение для нулевого параметра идентифицирует кодированное значение, которое соответствует уровню коэффициентов нуль;

средство для приема первого кодированного значения для первого коэффициента из второго набора коэффициентов; и

средство для определения уровня для первого коэффициента на основе значения для нулевого параметра и первого кодированного значения для первого коэффициента.

Изобретение относится к канальному кодированию. Технический результат заключается в повышении скорости передачи данных и повышении надежности передачи режима кодирования.

Способ адаптивного обновления блоков недоступных опорных кадров с использованием явной и неявной сигнализации // 2792865

Изобретение относится к области сжатия видео, в частности, направлено на создание способа адаптивного обновления блоков для недоступного опорного изображения. Технический результат заключается в повышении эффективности кодирования видео.

Способ обработки изображений и мобильный терминал // 2792413

Изобретение относится к области захвата и обработки изображений, а в частности, к мобильному терминалу связи, выполненному с возможностью захвата и обработки изображений. Техническим результатом является захват изображений с большим полем зрения без потери детализации.

Способ и устройство обработки видеосигнала // 2792225

Изобретение относится к способам и устройствам обработки видеосигнала. Техническим результатом является повышение эффективности кодирования/декодирования изображений.

Кодирование информации относительно набора ядер преобразования // 2792223

Изобретение относится к технологии кодирования изображений, а более конкретно к кодированию информации относительно набора ядер преобразования. Техническим результатом является повышение эффективности сжатия изображений/видео.

Способ и устройство обработки видеосигнала // 2792221

Изобретение относится к способу и устройству обработки видеосигнала. Техническим результатом является эффективное выполнение межкадрового предсказания в отношении целевого блока кодирования/декодирования при кодировании/декодировании видеосигнала.

Способ кодирования/декодирования видеосигналов и устройство для этого // 2792219

Изобретение относится к области обработки видеосигналов стандарта высокоэффективного кодирования видео (HEVC). Техническим результатом является выполнение эффективности преобразования видеосигнала пространственной области в сигнал частотной области наряду с технологией предсказания с большей точностью.

Кодер видео, декодер видео и соответствующие способы // 2792176

Изобретение относится к средствам для кодирования и декодирования изображений. Технический результат заключается в повышении эффективности кодирования изображений за счет обеспечения гибкого механизма разбиения на тайлы для поддержки изображения с множеством разрешений.

Способ и устройство кодирования/декодирования остаточных коэффициентов // 2792110

Изобретение относится к средствам для кодирования видеосигнала. Технический результат заключается в повышении эффективности кодирования остаточных блоков.

Способ и устройство для кодирования облака точек // 2792020

Изобретение относится к области кодирования облака точек. Технический результат заключается в обеспечении возможности сжатия облака точек без потерь.