Контекстно-адаптивная регулировка пропускной способности при управлении скоростью передачи видеосигнала
Изобретение относится к сжатию мультимедийных данных. Техническим результатом является адаптивное изменение значения параметра квантования (QP) и обеспечение улучшенного визуального кодирования в схемах переменного битрейта (VBR), в то же время, поддерживая достаточное соблюдение заданного битрейта, чтобы являться применимыми в кодировании с постоянным битрейтом (CBR). Указанный результат достигается тем, что способ обработки принятых мультимедийных данных содержит: определение первого значения QP, факультативно основанное на изначально предоставленной пропускной способности; кодирование первой части мультимедийных данных с определенным первым значением QP; определение экспоненциально взвешенного скользящего среднего значения QP для долгосрочной статистической характеристики (LTQP); определение временной пропускной способности на основании первого значения QP и значения LTQP; определение следующего значения QP на основании, по меньшей мере частично, временной пропускной способности; и кодирование следующей части мультимедийных данных со следующим значением QP, причем следующая часть по времени принимается после первой части. 8 н. и 30 з.п. ф-лы, 8 ил.
Притязание на приоритет
Настоящая заявка на патент притязает на приоритет по предварительной заявке № 60/660,881, озаглавленной «СПОСОБ И УСТРОЙСТВО ДЛЯ КОНТЕКСТНО-АДАПТИВНОГО РЕГУЛИРОВАНИЯ ПРОПУСКНОЙ СПОСОБНОСТИ В УПРАВЛЕНИИ СКОРОСТЬЮ ПЕРЕДАЧИ ВИДЕОСИГНАЛА», поданной 10 марта 2005 года, и права на которую принадлежат заявителю настоящей заявки и таким образом явно включенной сюда в качестве ссылки.
Ссылка на одновременно рассматриваемую заявку на патент
Настоящая заявка на патент относится к одновременно рассматриваемым патентным заявкам США, озаглавленным «Управление скоростью при квазипостоянном качестве с упреждением», поданным одновременно, права на которые принадлежат заявителю настоящей заявки и явно включенным сюда в качестве ссылки.
УРОВЕНЬ ТЕХНИКИ
Область техники
Настоящее изобретение относится, в общем, к мультимедийным данным и более конкретно к сжатию мультимедийных данных.
Уровень техники
Вследствие взрывоподобного роста и большого успеха Интернета и беспроводных средств связи, а также увеличивающегося спроса на мультимедийные услуги, потоковая передача средств информация по Интернету и мобильным\беспроводным каналам привлекла огромное внимание. В неоднородных сетях по Интернет-протоколу (IP) видео предоставляется сервером и может быть получено в потоковом режиме одним или более клиентом. Проводные соединения включают в себя коммутируемую телефонную линию, цифровую сеть с интегрированными услугами (ISDN), кабельный доступ, протоколы цифровых абонентских линий (собирательно именуемые xDSL), оптоволокно, локальные сети (LAN), территориально-распределенные сети (WAN) и другие. Режим передачи может быть или одноадресным, или многоадресным.
Подобной неоднородной IP сетью является мобильная/беспроводная система связи. Транспортировка мультимедийного содержимого по мобильным/беспроводным каналам является очень непростой, потому что эти каналы часто сильно ослаблены вследствие многолучевого затухания, экранирования, межсимвольной интерференции и шумовых помех. Некоторые другие причины, такие как мобильность и конкурирующий трафик, также вызывают изменения пропускной способности и потери. Шум в канале и количество обслуживаемых пользователей определяют изменяющееся во времени качество среды канала.
Цифровой видеосигнал обычно сжимают для эффективного хранения и/или передачи. Существует много стандартов сжатия видеосигнала.
Одной проблемой, свойственной сжатию видеосигнала, является компромисс между пропускной способностью (бит в секунду) и визуальным качеством. Различные меры, такие как отношение пикового сигнала к шуму (PSNR), могут быть использованы, чтобы оценивать визуальное качество. Будет понятно, что с постоянной частотой кадров биты, используемые для кодирования видеокадров, будут прямо пропорциональны битрейту или пропускной способности для видеосигнала и что эти термины (биты и пропускная способность), хотя технически не являются тем же самым, часто используются взаимозаменяемо в данной области техники, и правильное толкование может быть определено из контекста.
Пропускная способность, необходимая для относительно хорошего визуального качества, будет изменяться в зависимости от сложности кодируемого видеосигнала. Например, относительно статичная съемка, такая как съемка диктора, может быть закодирована с относительно высоким визуальным качеством с относительно низкой пропускной способностью. Напротив, относительно динамичная съемка, такая как съемка панорамирования спортсменов в спортивном сюжете, может потреблять относительно большую величину пропускной способности для того же визуального качества.
Во многих передающих или вещательных применениях пропускная способность для отдельного канала или группы каналов ограничена. Существуют различные формы управления скоростью передачи для применений с постоянным битрейтом. Существующие методики ориентируются на поддержание битрейта как можно ближе к заданному битрейту, который может ограничивать адаптивность параметра квантования (QP), выбранного для кадров изменяющейся сложности кодирования, которая может затем подвергнуть риску визуальное качество, связанное с закодированным видеосигналом.
Следовательно, в этой области техники существует потребность в методиках управления скоростью передачи, которые могут поддерживать постоянный битрейт для передающей среды и помимо этого предусматривать степень совместимости с переменным битрейтом для относительно хорошего визуального качества для удовлетворения зрителя.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Варианты осуществления, раскрытые здесь, обращают внимание на вышеизложенные потребности, предусматривая регулировку до заданного битрейта на основании, по меньшей мере, статистических данных значений параметра квантования (QP), использованных в кодирование кадров, предшествующих кадру, который будет закодирован.
Один аспект - способ обработки принятых мультимедийных данных, где способ включает в себя: определение первого значения параметра квантования (QP), которое будет использовано для кодирования; кодирование первой части мультимедийных данных с определенным первым значением QP; определение временной пропускной способности на основании первого значения QP; и повторное определение первого значения QP, которое будет использовано для кодирования второй части мультимедийных данных на основании, по меньшей мере, частично, временной пропускной способности, упомянутая вторая часть, по времени принимаемая после первой части.
Один аспект - устройство для обработки принятых мультимедийных данных, где устройство включает в себя: средство для определения первого значения параметра квантования (QP), которое будет использовано для кодирования; средство для кодирования первой части мультимедийных данных с определенным первым значением QP; средство для определения временной пропускной способности на основании первого значения QP; и средство для повторного определения первого значения QP, которое будет использовано для кодирования второй части мультимедийных данных на основании, по меньшей мере, частично, временной пропускной способности, упомянутая вторая часть, по времени принимаемая после первой части.
Один аспект - устройство для обработки принятых мультимедийных данных, где устройство включает в себя: кодер, сконфигурированный для определения первого значения параметра квантования (QP), которое будет использовано для кодирования; где кодер дополнительно сконфигурирован кодировать первую часть мультимедийных данных с определенным первым значением QP; и процессор, сконфигурированный определять временную пропускную способность на основании первого значения QP, в котором кодер сконфигурирован повторно определять первое значение QP, которое будет использовано для кодирования второй части мультимедийных данных на основании, по меньшей мере, частично, временной пропускной способности, упомянутая вторая часть, по времени принимаемая после первой части.
Один аспект - компьютерный программный продукт, воплощенный в материальной среде, с инструкциями для обработки принятых мультимедийных данных, где компьютерный программный продукт включает в себя: модуль с инструкциями для определения первого значения параметра квантования (QP), которое будет использовано для кодирования; модуль с инструкциями для кодирования первой части мультимедийных данных с определенным первым значением QP; модуль с инструкциями для определения временной пропускной способности на основании первого значения QP; и модуль с инструкциями для повторного определения первого значения QP, которое будет использовано для кодирования второй части мультимедийных данных на основании, по меньшей мере, частично, временной пропускной способности, упомянутая вторая часть, по времени принимаемая после первой части.
Один аспект - способ регулировки битрейта для процесса кодирования мультимедиа, где способ включает в себя: получение предшествующего значения параметра квантования (QP), которое было использовано, чтобы закодировать объект; определение долгосрочной статистической характеристики предшествующих значений QP; и определение корректированного битрейта для кодируемого объекта, по меньшей мере, частично, на основании предшествующего значения QP и долгосрочной статистической характеристики.
Один аспект - устройство для регулировки битрейта для процесса кодирования мультимедиа, где устройство включает в себя: средство для определения долгосрочной статистической характеристики предшествующих значений параметра квантования (QP) и средство для определения корректированного битрейта для объекта, который будет закодирован, по меньшей мере, частично, на основании предшествующего значения QP и долгосрочной статистики, где предшествующее значение QP было использовано, чтобы закодировать объект.
Один аспект - устройство для регулировки битрейта для процесса кодирования мультимедиа, где устройство включает в себя: статистический генератор, сконфигурированный определять долгосрочную статистическую характеристику предшествующих значений QP; схему регулировки, сконфигурированную получать предшествующее значение параметра квантования (QP), которое было использовано, чтобы закодировать объект, где схема регулировки дополнительно сконфигурирована определять корректированный битрейт для объекта, который будет закодирован, по меньшей мере, частично, на основании предшествующего значения QP и долгосрочной статистической характеристики.
Один аспект - компьютерный программный продукт, воплощенный в материальной среде с инструкциями для регулировки битрейта для процесса кодирования мультимедиа, где компьютерный программный продукт включает в себя: модуль с инструкциями для получения предшествующего значения параметра квантования (QP), которое было использовано, чтобы закодировать объект; модуль с инструкциями для определения долгосрочной статистической характеристики предшествующих значений QP; и модуль с инструкциями для определения корректированного битрейта для кодируемого объекта, по меньшей мере, частично, на основании предшествующего значения QP и долгосрочной статистической характеристики.
Один аспект - способ кодирования видеосигнала видеоканала, где способ включает в себя: получение заданного битрейта для кодирования видеосигнала множества видеокадров видеоканала, в котором множество видеокадров предназначены для первого временного интервала; кодирование первого кадра видеоканала, в котором первый кадр кодируется с первым значением параметра квантования (QP) и с временным распределением бита; обновление скользящего среднего параметра квантования первым значением параметра квантования (QP); вычисление распределения бита для второго кадра, непосредственно следующего за первым кадром, для видеоканала, где вычисление распределения бита для второго кадра адаптивно регулируется на основании, по меньшей мере, первого параметра квантования (QP) и скользящего среднего; и кодировании второго кадра, используя вычисленное распределение бита.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг.1 иллюстрирует график «чистой» системы постоянного битрейта (CBR) со временем по горизонтальной оси и битрейтом по вертикальной оси;
Фиг.2 иллюстрирует график кусочно CBR системы со временем по горизонтальной оси и битрейтом по вертикальной оси;
Фиг.3 - системная диаграмма, иллюстрирующая образец процессора для генерирования корректированного битрейта;
Фиг.4 - блок-схема, иллюстрирующая в общих чертах процесс корректировки заданного битрейта для кодирования; и
Фиг.5 - блок-схема, иллюстрирующая в общих чертах процесс корректировки заданного битрейта для кодирования;
Фиг.6 - блок-схема, иллюстрирующая в общих чертах способ обработки принятых мультимедийных данных;
Фиг.7 - системная диаграмма, иллюстрирующая образец устройства для обработки принятых мультимедийных данных;
Фиг.8 - системная диаграмма, иллюстрирующая образец устройства для регулировки битрейта для процесса кодирования мультимедиа.
ПОДРОБНОЕ ОПИСАНИЕ
Способы и устройство кодируют мультимедиа на заданном битрейте и помимо этого позволяют изменение параметра квантования (QP), чтобы кодировать видеосигнал изменяющейся сложности с относительно однородным визуальным качеством. Мультимедийные данные могут включать в себя визуальные данные, аудиоданные или комбинацию визуальных данных и аудиоданных. Это позволяет изменять QP для относительно хорошего визуального качества, в то же время, поддерживая заданный битрейт для применимости во многих задачах постоянного битрейта (CBR), таких как в передающих и вещательных задачах.
Традиционные методики управления битрейтом жертвуют визуальным качеством ради управления битрейтом. Например, глава 10 опытной модели (TM5) от организации MPEG <http://www.mpeg.org/MSSG/tm5/Chl0/Chl0.html> научно описывает управление QP для поддерживания уровней занятости буфера для жесткого контроля битрейта. Хотя это позволяет конечным данным быть предоставленными по CBR средам, визуальное качество ухудшается.
В стандартных системах буфера данных временно хранят поступающие данные. В течение относительно коротких периодов времени буфер данных позволяет системе использовать данные на скорости, отличной от той, с которой они предоставляются. Это позволяет некоторому изменению в битрейте быть приемлемым в CBR системах, а также позволяет некоторую устойчивость к изменениям в передающей среде. Такие передающие среды могут включать в себя, например, спутниковое телевидение, такое как DirectTV®, цифровые кабельные сети, территориально-распределенные компьютерные сети, Интернет, беспроводные сети, оптические сети, сети сотовой связи и тому подобное. В случае беспроводных систем связи передаточная среда может включать в себя, например, часть системы связи многостанционного доступа с кодовым разделением каналов (CDMA или CDMA2000), или поочередно может быть системой множественного доступа с разделением частот (FDMA), системой коллективного доступа с ортогональным разделением частот (OFDMA), системой многостанционного доступа с временным разделением каналов (TDMA), такой как GSM/GPRS (пакетная радиосвязь общего назначения)/EDGE (среда GSM с повышенным битрейтом) или TETRA (наземное транкинговое радио) мобильная телефонная технология для индустрии обслуживания, широкополосным многостанционным доступом с кодовым разделением каналов (WCDMA), системой высокоскоростной передачи данных (1xEV-DO или 1xEV-DO Gold Multicast), или, в общем, любой системой беспроводной связи, использующей комбинацию методик. Раскрытые методики используют для своих целей изменение в битрейте, допускаемое буфером данных, и регулируют битрейт в контексте CBR системы, чтобы обеспечивать относительно хорошее визуальное качество.
В CBR системах заданный битрейт является постоянной на протяжении относительно долгого периода времени. Эти временные интервалы могут быть очень большими для некоторых систем и могут быть гораздо короче, как, например, длительностью одна секунда для систем, в которых битрейт постоянен на кусочных интервалах. Например, в системе, где отдельные видеопотоки или каналы мультиплексированы вместе на протяжении периодических интервалов, как, например, на протяжении односекундных интервалов, индивидуальные каналы могут иметь заданный битрейт, который является постоянным на протяжении этих периодических интервалов.
Фиг.1 иллюстрирует график «чистой» системы постоянного битрейта (CBR) со временем по горизонтальной оси и битрейтом по вертикальной оси. Фиг.2 иллюстрирует график кусочно CBR системы со временем по горизонтальной оси и битрейтом по вертикальной оси. Заданные битрейты и примеры фактических битрейтов проиллюстрированы на каждом графике.
Фиг.3 - системная диаграмма, иллюстрирующая образец процессора 300 для генерирования корректированного битрейта. Например, процессор 300 может быть специализированной схемой или может быть осуществлен программным обеспечением или программно-аппаратным обеспечением, исполненным на процессоре, таком как универсальный процессор или цифровой сигнальный процессор. Проиллюстрированный процессор 300 включает в себя статистический генератор 302 долгосрочного параметра квантования (QP) и схему 304 регулировки. Схема 304 регулировки включает в себя первую подсхему 306 регулировки и вторую подсхему 308 регулировки. Процессор 300 может быть использован в автономной системе как схема в кодере или даже воплощен в качестве дополнительного программного модуля в программном обеспечении, исполненном в микропроцессоре или тому подобном. Например, процессор 300 может быть воплощен в видеокодеке и/или аудиокодеке.
В качестве входных данных процессор 300 получает заданный битрейт из источника управления, такого как мультиплексор. Например, заданный битрейт 
может соответствовать заданному битрейту 
для системы с постоянным битрейтом (CBR), как показано на Фиг.1, или выбранным битрейтом для кусочно CBR системы, как показано на Фиг.2.
В качестве других входных данных процессор 300 получает краткосрочный параметр квантования 
от кодера 310. Один или оба, процессор 300 и кодер 310 могут поддерживать связь с хранилищем 320 данных для хранения и извлечения данных, таких как программные данные, переменные, незакодированные мультимедийные данные, закодированные мультимедийные данные и тому подобное. Кодер может соответствовать большому разнообразию кодеров, как, например, в числе прочего, MPEG-2 кодеру, использующему опытную модель 5 (TM5) для управления скоростью передачи. Краткосрочный параметр квантования 
может быть значением параметра квантования (QP), использованного для кадра, который был закодирован непосредственно перед кадром, который будет закодирован кодером 310. Другие относительно краткосрочные статистические характеристики также могут быть использованы.
В качестве выходных данных процессор 300 генерирует корректированный битрейт 
который кодер 310 использует в качестве управления заданным битрейтом. Процессор 300 корректирует управление заданным битрейтом 
который обычно бы относился к входным данным кодера 310, и предоставляет корректированный битрейт Btemp вместо управления заданным битрейтом. Это обеспечивает кодеру адаптивное управление битрейтом, который является достаточно постоянным для CBR систем, и помимо этого достаточно приспосабливающийся в ответ на изменяющиеся визуальные сложности таким образом, чтобы визуальное качество кодирования являлось относительно постоянным. Например, хотя общий битрейт, используемый, чтобы кодировать мультимедиа, может приближаться к заданному битрейту в постоянном битрейте (CBR), как например "чистое" CBR применение, показанное на Фиг.1, или применение с кусочно постоянным битрейтом, показанное на Фиг.2, заданный битрейт является регулируемым, чтобы позволять выполнение кодирования с квазипостоянным качеством.
Статистический генератор 302 долгосрочного параметра квантования (QP) генерирует долгосрочную статистическую характеристику на основании статистических данных краткосрочных значений QP QPI,P, таких как самые последние значения QP, использованные кодером 310. Могут быть сгенерированы одна или более различные долгосрочные статистические характеристики. Например, может быть использовано экспоненциально взвешенное скользящее среднее (EWMA). Уравнение 1, ниже, предоставляет оператор присваивания для такого EWMA.
В уравнении 1 LTQP обозначает долгосрочное экспоненциально взвешенное скользящее среднее, α обозначает сглаживающую постоянную и 
обозначает краткосрочное значение QP, такое как самое последнее значение QP, использованное кодером 310. LTQP слева от стрелочки обозначает вычисляемое значение. LTQP справа от стрелочки обозначает значение предыдущего вычисления LTQP.Преимуществом способа EWMA яляется то, что для вычисления не нужны статистические данные большого количества предшествующих значений QP. Разнообразные методики могут быть применены за начальное значение экспоненциально взвешенного скользящего среднего LTQP.Например, предшествующее значение может быть использовано в качестве отправной точки, может быть использовано простое скользящее среднее, может быть использовано стандартное значение, такое как ожидаемое значение для LTQP и тому подобное. Пример подходящего значения для сглаживающей константы 
является 0.3 для системы, работающей на 50 кадрах в секунду. Другие подходящие значения будут легко определены специалистом среднего уровня в данной области техники.
Другие методики также могут применяться для генерирования долгосрочной статистической характеристики. Также может быть использовано простое скользящее среднее. Неравно-взвешенное скользящее среднее тоже может быть использовано. Также может быть использовано срединное значение. Также могут быть использованы комбинации вышеприведенных. Другие методики будут легко определены специалистом среднего уровня в данной области техники.
Краткосрочная статистическая характеристика 
и долгосрочная статистическая характеристика LTQP предоставляются в качестве входных данных в первую подсхему 306 регулировки. Эти значения используются, чтобы взвешивать корректированный битрейт 
на основании краткосрочных и долгосрочных значениий QP, чтобы генерировать отрегулированный битрейт B1. Например, первая подсхема 306 регулировки может выполнять вычисление, отображенное в уравнение 2.
Экспоненциальная регулировка проиллюстрирована в уравнении 2. Экспоненциальная регулировка обеспечивает относительно большие изменения в отрегулированном битрейте B1 для относительно больших разниц значений QP между краткосрочной статистической характеристикой и долгосрочной статистической характеристикой. Однако могут быть использованы другие регулировки, отличные от экспоненциальной, включающие в себя, в числе прочего, другие нелинейные регулировки или даже линейные регулировки. Кроме того, вместо того, чтобы вычислять формулу, могут быть использованы справочные таблицы или подобное, чтобы извлекать коэффициенты регулировки.
Возвращаясь теперь к уравнению 2, в качестве начального условия перед кодированием или перед работой первой подсхемы 306 регулировки значению корректированного битрейта 
может быть установлено начальное значение, равное значению заданного битрейта 
Краткосрочной статистической характеристике 
и долгосрочной статистической характеристике LTQP могут быть установлены начальные значения, равные стандартным значениям, таким как ожидаемые значения. Значение переменной А может изменяться в очень широком диапазоне в зависимости от требуемого отклонения. В одном примере, значение, равное 40, было определено как эффективное для А.Другие подходящие значения будут легко определены специалистом среднего уровня в данной области техники.
Отрегулированный битрейт B1 предоставляется в качестве входных данных во вторую подсхему 308 регулировки. Например, вторая подсхема 308 регулировки может вычислять значение корректированного битрейта 
согласно уравнению 3.
Экспоненциальная регулировка проиллюстрирована в уравнении 3. Экспоненциальная регулировка обеспечивает относительно большие изменения для корректированного битрейта 
для относительно больших отклонений между отрегулированным битрейтом B1 и заданным битрейтом 
Однако могут быть использованы другие регулировки, отличные от экспоненциальной, включающие в себя, в числе прочего, другие нелинейные регулировки или даже линейные регулировки. Кроме того, вместо того, чтобы вычислять формулу, могут быть использованы справочные таблицы и подобное, чтобы извлекать коэффициенты регулировки для корректированного битрейта. Кроме того, перед предоставлением корректированного битрейта 
в кодер 310 корректированный битрейт 
может быть ограничен, например, пределами системы для минимальных и максимальных значений скорости кодирования. Значение γвлияет на затухание, связанное с экспоненциальной регулировкой. Значение γможет изменяться в широком диапазоне и в одном примере значение γ,равное 1/48, было найдено эффективным. Другие применимые значения γбудут легко определены специалистом среднего уровня в данной области техники и могут зависеть от ограничений системы, таких как размеры буфера. Кроме того, там, где системные буферы являются относительно большими, для γ могут быть использованы меньшие значения А, которые допускают большее отклонение от заданного битрейта 
Конечный корректированный битрейт предоставляется в качестве входных данных в кодер 310, который кодирует видеокадры, используя корректированный битрейт в качестве заданного битрейта. В одном примере кодер 310 может следовать главе 10 опытной модели 5 (TM5) от организации MPEG <http://>, чтобы вычислить параметр квантования (QP), чтобы использовать для кодирования кадра с заданным корректированным битрейтом 
. Также следует заметить, что QP, использованный кодером 310, может также быть изменен в кодере 310 посредством, например, ограничения размера изменения, относительно предшествующего использованного значения, уровней занятости виртуального буфера и тому подобное.
Фиг.4 - блок-схема, иллюстрирующая в общих чертах процесс корректировки заданного битрейта для кодирования. Квалифицированному практику будет понятно, что проиллюстрированный процесс может быть модифицирован различными способами. Например, в другом варианте осуществления различные части проиллюстрированного процесса могут быть комбинированы, могут быть переставлены в альтернативном порядке, могут быть убраны и так далее.
Проиллюстрированный процесс получает в состоянии 410 параметр квантования QP из кодера, такого как кодер 310. Например, значение QP самого последнего закодированного кадра может быть использовано в качестве краткосрочной статистической характеристики 
значений QP.
Процесс продвигается, чтобы определить в состоянии 420 долгосрочную статистическую характеристику LTQP из предшествующих значений QP. Например, экспоненциально взвешенное скользящее среднее может быть вычислено, как описано ранее в связи с уравнением 1. Как описано ранее в связи с Фиг.3, другие типы вычислений могут быть использованы для генерирования долгосрочной статистической характеристики LTQP.
В состоянии 430 заданный битрейт корректируется, по меньшей мере частично, на основании значения, связанном с долгосрочной статистикой LTQP.Например, корректированный битрейт может быть сгенерирован посредством применения уравнений 2 и 3, которые были описаны ранее в связи с Фиг.3. Средство процессора, как, например, процессор 300 по Фиг.3, выполняет определение и корректирующие действия состояний 420 и 430. Средство кодера, такое как кодер 310, проиллюстрированный на Фиг.3, может затем использовать корректированный битрейт для улучшенного кодирования видеосигнала с квазипостоянным битрейтом.
Фиг.5 - блок-схема, иллюстрирующая в общих чертах процесс корректировки заданного битрейта для кодирования. Квалифицированному практику будет понятно, что проиллюстрированный процесс может быть модифицирован различными способами, не выходя за пределы существа и объема изобретения. Например, в другом варианте осуществления различные части проиллюстрированного процесса могут быть комбинированы, могут быть переставлены в альтернативном порядке, могут быть убраны и так далее.
Проиллюстрированный процесс получает в состоянии 510 заданный битрейт 
от, например, системного контроллера битрейта, такого как мультиплексор для многочисленных видеопотоков. Заданный битрейт может быть постоянным значением, как типично для систем постоянного битрейта (CBR), или может быть изменяющимся значением, как можно встретить в кусочно постоянных CBR системах.
Процесс продвигается, чтобы получить в состоянии 520 значение для параметра квантования QP из кодера, такого как кодер 310. Это значение может быть использовано в качестве краткосрочного значения QP 
В состоянии 530 битрейт регулируется для кодирования, используя регулировку на основании долгосрочной статистической характеристики QP. Примером такой регулировки является экспоненциальная регулировка, описанная ранее в связи с уравнением 2. На Фиг.3 соответствующий корректированный битрейт был описан в связи с отрегулированным битрейтом B1.
В состоянии 540 отрегулированный битрейт B1 затем корректируется до корректированного битрейта 
на основании заданного битрейта 
Это направляет регулировку или корректировку битрейта обратно к требуемому заданному битрейту 
для выполнения постоянного битрейта (CBR) на протяжении достаточно широких интервалов. Пример такой корректировки был описан ранее в связи с уравнением 3. В одном необязательном аспекте, один или оба, отрегулированные битрейты B1 или корректированный битрейт 
регулируются на основании контекста мультимедийных данных, которые будут закодированы. Например, контекстом может быть сложность кодирования, такая как, например, визуальная сложность.
Фиг.6 - блок-схема, иллюстрирующая в общих чертах способ обработки принятых мультимедийных данных. Квалифицированному практику будет понятно, что проиллюстрированный способ может быть модифицирован различными путями. Например, в другом варианте осуществления различные части проиллюстрированного способа могут быть комбинированы, могут быть переставлены в альтернативном порядке, могут быть убраны и так далее.
Способ начинается с определения 610 значения QP, которое будет использовано для кодирования объекта, такого как кадр или макроблок. Изначально пропускная способность, выбранная для кодирования, может быть предоставлена, например, мультиплексором. Затем способ может приступать к кодированию 620 объекта, используя определенное значение QP. Потом способ может определять 630 временную пропускную способность для использования в последующем кодировании. Эта временная пропускная способность может основываться, по меньшей мере частично, на определенном значении QP, предшествующих значениях QP и тому подобное. Процесс может возвращаться, чтобы определять 610 новое значение QP, которое будет использовано для кодирования последующего объекта, и может повторяться, как требуется для дополнительных объектов.
Фиг.7 - системная диаграмма, иллюстрирующая образец устройства для обработки принятых мультимедийных данных. Квалифицированному практику будет понятно, что проиллюстрированное устройство может быть модифицировано различными способами. Например, детали могут быть отдельными, могут быть комбинированы, могут быть осуществлены программно-аппаратным обеспечением, исполняемым универсальным процессором, или цифровым процессором сигналов, или подобным. Устройство содержит определитель 710 QP, кодер 720 и определитель 730 временной пропускной способности.
Определитель 710 QP определяет значение QP, которое будет использовано для кодирования, и предоставляет значение QP в кодер 720 для кодирования и в определитель 730 временной пропускной способности для определения временной пропускной способности на основании, по меньшей мере, значения QP. Временная пропускная способность затем предоставляется определителем 730 временной пропускной способности в определитель 710 и используется для генерирования последующего значения QP.
Фиг.8 - системная диаграмма, иллюстрирующая образец устройства для регулировки битрейта для процесса кодирования мультимедиа. Квалифицированному практику будет понятно, что проиллюстрированное устройство может быть модифицировано различными способами. Например, детали могут быть отдельными, могут быть комбинированы, могут быть выполнены программно-аппаратным обеспечением, исполняемым универсальным процессором, или цифровым процессором сигналов, или подобным. Устройство содержит определитель 810 долгосрочной статистической характеристики и определитель 820 корректированного битрейта.
Определитель 810 долгосрочной статистической характеристики получает предшествующее значение QP, которое было использовано кодером для кодирования объекта, такого как макроблок или кадр. Например, определитель долгосрочной статистической характеристики может вычислять экспоненциально взвешенное скользящее среднее предшествующих значений QP. Предшествующее значение QP и статистическая характеристика, такая как взвешенное среднее из определителя долгосрочной статистической характеристики, предоставляются в определитель 820 корректированного битрейта, который определяет корректированный битрейт, который будет использован в кодировании последующего объекта. Например, битрейт может быть скорректирован из предоставленного битрейта, чтобы позволять достаточное изменение в битрейте, чтобы позволять выполнение квазипостоянного качества кодирования, и помимо этого поддерживать управление кодированием, близким к заданному битрейту, так, чтобы закодированные мультимедийные данные являлись совместимыми с системами постоянного битрейта.
Специалисты в данной области техники поняли бы, что информация и сигналы могут быть представлены, используя любую из множества различных технологий и методик. Например, данные, инструкции, команды, информация, сигналы, биты, символы и микросхемы, которые могут упоминаться на всем протяжении вышеизложенного описания, могут быть представлены электрическим напряжением, электрическими токами, электромагнитными волнами, магнитными полями или частицами, оптическими полями или частицами или любой комбинацией этого.
Специалисты среднего уровня, кроме того, поняли бы, что различные иллюстративные логические блоки, модули и шаги алгоритма, описанные в связи с примерами, раскрытыми здесь, могут быть осуществлены в качестве электронной аппаратуры, программно-аппаратного обеспечения, компьютерного программного обеспечения, промежуточного программного обеспечения, микрокода или комбинации этого. Чтобы ясно проиллюстрировать эту взаимозаменяемость аппаратных и программных средств, различные иллюстративные компоненты, блоки, модули, схемы и шаги были описаны выше в общих чертах, исходя из их функциональных возможностей. Осуществление такой функциональности в качестве аппаратных средств или программного обеспечения зависит от конкретного применения и проектных ограничений, наложенных на систему в целом. Квалифицированные специалисты могут осуществлять описанную функциональность различными способами для каждого конкретного применения, но выборы таких вариантов осуществления не следует толковать как вызывающие выход за пределы существа и объема раскрытых способов.
Различные иллюстративные логические блоки, модули и схемы, описанные в связи с вариантами осуществления, раскрытыми здесь, могут быть осуществлены или выполнены универсальным процессором, цифровым процессором сигналов (DSP), специализированной интегральной схемой (ASIC), вентильной матрицей с эксплуатационным программированием (FPGA) или другим программируемым логическим устройством, логическим элементом на дискретных компонентах или транзисторной логикой, дискретными аппаратными компонентами или любой комбинаций этого, спроектированными выполнять описанные здесь функции. Универсальным процессором может быть микропроцессор, но в качестве альтернативы процессор может быть любым традиционным процессором, контроллером, микроконтроллером или конечным автоматом. Процессор может также быть осуществлен как комбинация вычислительных устройств, т.е. комбинацией DSP и микропроцессора, множеством микропроцессоров, одним или более микропроцессором в соединении с ядром DSP или любой другой такой конфигурацией.
Способ или алгоритм, описанный здесь в связи с раскрытыми вариантами осуществления, может быть воплощен напрямую в аппаратных средствах, в программном модуле, исполняемом процессором или в комбинации этих двух. Программный модуль может находиться в оперативной памяти, флэш-памяти, постоянной памяти, стираемой программируемой постоянной памяти, электронно-стираемой перепрограммируемой постоянной памяти, регистрах, на съемном диске, на компакт-диске или любой другой запоминающей среде, известной в данной области техники. Образец запоминающей среды присоединен к процессору, такой процессор может считывать информацию из и записывать информацию в запоминающую среду. В качестве альтернативы запоминающая среда может являться неотъемлемой часть процессора. Процессор и запоминающая среда могут находиться на ASIC. ASIC может находиться в пользовательском терминале. В качестве альтернативы процессор и запоминающая среда могут находиться как дискретные компоненты в пользовательском терминале.
Предыдущее описание раскрытых вариантов осуществления предоставлено, чтобы дать возможность специалисту в данной области техники изготовлять или использовать настоящее изобретение. Различные модификации этих вариантов осуществления будут легко очевидны для специалистов в данной области техники, и основополагающие принципы, определенные здесь, могут быть применены к другим образцам, и могут быть добавлены дополнительные элементы. Например, один или комбинация элементов процессора 300 могут быть комбинированы и/или переставлены без влияния на операции процессора. Один или комбинация процессора 300, кодера 310 и хранилища 320 данных могут также быть комбинированы и/или переставлены в некоторых вариантах осуществления. Аналогично один или комбинация определителя 710 QP, кодера 720 и определителя 730 временной пропускной способности могут быть комбинированы и/или переставлены. Определитель 810 долгосрочной статистической характеристики и определитель 820 корректированного битрейта могут быть комбинированы или переставлены.
Таким образом, настоящее изобретение не предназначено быть ограниченным показанными здесь вариантами осуществления, но должно являться согласованным с самым широким объемом, соответствующим принципам и признакам новизны, раскрытыми здесь.
1. Способ обработки принятых мультимедийных данных, содержащий:
определение первого значения параметра квантования (QP), факультативно основанное на изначально предоставленной пропускной способности;
кодирование первой части мультимедийных данных с определенным первым значением QP;
определение экспоненциально взвешенного скользящего среднего значения QP для долгосрочной статистической характеристики (LTQP);
определение временной пропускной способности на основании первого значения QP и значения LTQP;
определение следующего значения QP на основании, по меньшей мере частично, временной пропускной способности; и
кодирование следующей части мультимедийных данных со следующим значением QP, причем следующая часть по времени принимается после первой части.
2. Способ по п.1 дополнительно содержащий: определение второго значения на основании ранее использованного первого значения QP, и, по меньшей мере, одного другого ранее использованного первого значения QP.
3. Способ по п.2, в котором определение временной пропускной способности содержит: определение временной пропускной способности на основании, по меньшей мере частично, первого значения QP и второго значения.
4. Способ по п.2, дополнительно содержащий определение временной пропускной способности на основании, по меньшей мере частично, значения QP, второго значения и заданной пропускной способности.
5. Способ по п.2, дополнительно содержащий: увеличение временной пропускной способности, если первое значение QP выше, чем второе значение; и уменьшение временной пропускной способности, если первое значение QP ниже, чем второе значение.
6. Способ по п.1, в котором первая и вторая часть мультимедийных данных в указанном порядке соответствуют первому и второму видеокадрам.
7. Способ по п.1 дополнительно содержащий получение, по меньшей мере, кусочно постоянной заданной пропускной способности, и корректировку временной пропускной способности на основании, по меньшей мере частично, сложности мультимедийных данных, которые будут закодированы, причем указанная сложность основана на сложности кодирования кадров.
8. Способ по п.1, дополнительно содержащий определение временной пропускной способности, по меньшей мере частично, на основании контекста мультимедийных данных, которые будут закодированы.
9. Способ по п.8, в котором контекст содержит сложность мультимедийных данных.
10. Устройство для обработки принятых мультимедийных данных, причем устройство содержит:
средство для определения первого значения параметра квантования (QP), факультативно основанное на изначально предоставленной пропускной способности;
средство для кодирования первой части мультимедийных данных с определенным первым значением QP;
средство для определения экспоненциально взвешенного скользящего среднего значения QP для долгосрочной статистической характеристики (LTQP);
средство для определения временной пропускной способности на основании первого значения QP и значения LTQP;
средство для определения следующего значения QP, на основании, по меньшей мере частично, временной пропускной способности; и
средство для кодирования следующей части мультимедийных данных со следующим значением QP, причем следующая часть по времени принимается после первой части.
11. Устройство по п.10, дополнительно содержащее средство для определения второго значения на основании ранее использованного первого значения QP и, по меньшей мере, одного другого ранее использованного первого значения QP.
12. Устройство по п.11, в котором средство определения дополнительно выполнено с возможностью определять временную пропускную способность на основании, по меньшей мере частично, первого значения QP и второго значения.
13. Устройство по п.11, в котором средство определения дополнительно выполнено с возможностью определять временную пропускную способность на основании, по меньшей мере частично, значения QP, второго значения и заданной пропускной способности.
14. Устройство по п.11, дополнительно содержащее: средство для увеличения временной пропускной способности, если первое значение QP выше, чем второе значение; и средство для уменьшения временной пропускной способности, если первое значение QP ниже, чем второе значение.
15. Устройство по п.10, в котором первая и вторая часть мультимедийных данных в указанном порядке соответствуют первому и второму видеокадрам.
16. Устройство для обработки принятых мультимедийных данных, причем устройство содержит:
кодер, выполненный с обеспечением возможности определения первого значения параметра квантования (QP), факультативно основанного на изначально предоставленной пропускной способности;
причем кодер дополнительно выполнен с возможностью кодировать первую часть мультимедийных данных с определенным первым значением QP; и
процессор, выполненный с обеспечением возможности определения экспоненциально взвешенного скользящего среднего значения QP для долгосрочной статистической характеристики (LTQP) и определения временной пропускной способности на основании по меньшей мере первого значения QP и значения LTQP;
причем кодер выполнен с обеспечением возможности определения следующего значения QP на основании, по меньшей мере частично, временной пропускной способности, и для кодирования следующей части мультимедийных данных со следующим значением QP, причем следующая часть по времени принимается после первой части.
17. Устройство по п.16, в котором процессор дополнительно выполнен с обеспечением возможности определения второго значения на основании ранее использованного первого значения QP и, по меньшей мере, одного другого ранее использованного первого значения QP.
18. Устройство по п.17, в котором процессор дополнительно выполнен с обеспечением возможности определения временной пропускной способности на основании, по меньшей мере частично, первого значения QP и второго значения.
19. Устройство по п.17, в котором процессор дополнительно выполнен с обеспечением возможности определения временной пропускной способности на основании, по меньшей мере частично, значения QP, второго значения и заданной пропускной способности.
20. Устройство по п.17, в котором процессор дополнительно выполнен с обеспечением возможности: увеличения временной пропускной способности, если первое значение QP выше, чем второе значение; и уменьшения временной пропускной способности, если первое значение QP ниже, чем второе значение.
21. Устройство по п.16, в котором первая и вторая часть мультимедийных данных в указанном порядке соответствуют первому и второму видеокадрам.
22. Устройство по п.16, дополнительно содержащее получение заданной пропускной способности от мультиплексора.
23. Машиночитаемый носитель, на котором хранится компьютерная программа, содержащая инструкции для обработки принятых мультимедийных данных в соответствии со способом по любому из пп.1-9.
24. Способ регулировки битрейта для процесса кодирования мультимедиа, причем способ содержит:
получение предшествующего значения параметра квантования (QP), которое было использовано, чтобы закодировать объект;
определение экспоненциально взвешенного скользящего среднего значения QP для долгосрочной статистической характеристики (LTQP); и
определение корректированного битрейта для объекта, который будет закодирован, по меньшей мере частично, на основании предшествующего значения QP и долгосрочного значения LTQP.
25. Способ по п.24, дополнительно содержащий экспоненциальную регулировку корректированного битрейта, используя предшествующее значение QP и значение LTQP.
26. Способ по п.24, дополнительно содержащий использование заданного битрейта для регулировки корректированного битрейта.
27. Способ по п.24, дополнительно содержащий предоставление корректированного битрейта в кодер в качестве заданного битрейта для объекта, который будет закодирован.
28. Способ по п.24, дополнительно содержащий определение временной пропускной способности, по меньшей мере частично, на основании контекста мультимедийных данных, которые будут закодированы.
29. Способ по п.28, в котором контекст содержит сложность мультимедийных данных.
30. Устройство для регулировки битрейта для процесса кодирования мультимедиа, причем устройство содержит:
средство для определения предшествующего значения параметра квантования (QP), которое было использовано, чтобы закодировать объект; средство для определения экспоненциально взвешенного скользящего среднего значения QP для долгосрочной статистической характеристики (LTQP); и
средство для определения корректированного битрейта для объекта, который будет закодирован, по меньшей мере частично, на основании предшествующего значения QP и долгосрочного значения LTQP.
31. Устройство по п.30, в котором средство для определения корректированного битрейта выполнено с возможностью экспоненциально регулировать корректированный битрейт, используя предшествующее значение QP и значение LTQP.
32. Устройство по п.30, дополнительно содержащее средство для использования заданного битрейта, чтобы регулировать корректированный битрейт.
33. Устройство по п.30, дополнительно содержащее средство для предоставления корректированного битрейта в кодер в качестве заданного битрейта для объекта, который будет закодирован.
34. Устройство для регулировки битрейта для процесса кодирования мультимедиа, причем устройство содержит:
статистический генератор, выполненный с возможностью определять экспоненциально взвешенное скользящее среднее значение QP для долгосрочной статистической характеристики (LTQP);
схему регулировки, выполненную с возможностью получать предшествующее значение параметра квантования (QP), которое было использовано, чтобы закодировать объект, причем схема регулировки дополнительно выполнена с возможностью определять корректированный битрейт для объекта, который будет закодирован, по меньшей мере частично, на основании предшествующего значения QP и значения LTQP.
35. Устройство по п.34, в котором схема регулировки сконфигурирована экспоненциально регулировать корректированный битрейт, используя предшествующее значение QP и значение LTQP.
36. Устройство по п.34, в котором схема регулировки дополнительно выполнена с возможностью регулировать корректированный битрейт принимая во внимание заданный битрейт.
37. Устройство по п.34, дополнительно содержащее мультиплексор, выполненный с возможностью предоставлять заданный битрейт в схему регулировки.
38. Машиночитаемый носитель, на котором хранится компьютерная программа, содержащая инструкции для регулировки битрейта для процесса кодирования мультимедиа в соответствии со способом по любому из пп.24-29.
