Масштабируемое кодирование объектов мультимедиа

Изобретение относится к кодированию объектов мультимедиа. Техническим результатом является разработка усовершенствованного и эффективного способа/системы кодирования объектов мультимедиа. Способ кодирования объекта мультимедиа, содержит следующие этапы: кодируют объект мультимедиа для получения битового потока и добавляют информацию о качестве к битовому потоку, при этом информация о качестве указывает качество объекта мультимедиа в отношении заданной позиции или в отношении заданной части битового потока, причем информация о качестве обеспечивается в тэгах качества, упомянутый тэг качества обеспечивает значение тэга качества, а значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усечен в точке, относящейся к тэгу качества. 13 н. и 6 з.п. ф-лы, 2 ил.

 

Изобретение касается кодирования объектов мультимедиа.

Масштабируемое сжатие, например мелкомодульное масштабируемое сжатие объектов, таких как объекты мультимедиа, имеет полезную особенность, заключающуюся в том, что кодированный битовый поток может быть усечен в заданной точке, а оставшийся поток все еще может быть декодирован (хотя и с более низким качеством объекта). Стандарт такого масштабируемого кодирования, то есть Мелкомодульной Масштабируемостью MPEG-4, (MPEG-4 FGS) в настоящее время определен, см. ISO/IEC 14496-2/ AMD 4, документ ISO/IEC JTC1/SC29/WG11 N3315, март 2000 (далее называемый N3315), он включен в настоящее описание путем ссылки. Усовершенствованный способ масштабируемого кодирования описан в Заявке на Европейский патент 00201037.9, поданной 23.03.2000 (наш исх. PHNL000153), без публикации до выдачи патента; эта заявка также включена в настоящее описание путем ссылки.

Возможность такого масштабируемого битового потока значительно упрощает конструкцию системы за счет того, что практически устраняется необходимость в способе управления буфером, когда выполняется адаптация кодированного битового потока к определенной заданной скорости передачи в битах или размеру памяти. А конкретно, один и тот же один битовый поток одновременно обслуживает различные каналы с различными пропускными способностями без перекодирования исходных данных. Следовательно, значительно упрощается адаптация в реальном времени к изменению пропускной способности каналов (в применении к Интернет или каналам беспроводной связи).

До мелкомодульного масштабирования уже существовали некоторые формы ограниченного масштабирования. В них битовый поток состоял из нескольких больших уровней, то есть базового уровня и, например, одного или двух усовершенствованных уровней. Такая масштабируемость определена, например, в стандарте JPEG (иерархическое кодирование), а также в стандарте MPEG2 (SNR масштабирование, пространственное масштабирование, временное масштабирование).

Задача изобретения заключается в создании улучшенного кодирования. Для этого согласно изобретению обеспечиваются: кодирование объекта мультимедиа для получения битового потока, управление битовым потоком, передача битового потока, прием битового потока, мультиплексор или сетевой узел, (масштабируемый) битовый поток, представляющий объект мультимедиа, среда для хранения информации, компьютерная программа и сигнал, несущий компьютерную программу, - как это определено в независимых пунктах формулы изобретения. Предпочтительные варианты определены в зависимых пунктах формулы изобретения.

Согласно первому аспекту изобретения объект мультимедиа кодируется для получения битового потока и к битовому потоку добавляется информация о качестве, эта информация о качестве указывает на качество объекта в отношении заданной позиции (или заданной части) в битовом потоке. За счет добавления к битовому потоку информации о качестве может быть оптимизировано совместное запоминание и передача множества кодированных объектов, при этом легко может учитываться качество объекта. Этот аспект изобретения основан на том представлении, что легко определить скорость передачи сжатого объекта, но другой важный параметр, мера качества, например, искажение, так легко не определяется. В действительности искажение может быть точно получено только во время кодирования, когда все еще доступна полная исходная информация. Согласно этому аспекту изобретения синтаксис битового потока улучшается путем добавления информации о качестве (искажении). Это может быть выполнено без увеличения или при незначительном увеличении скорости передачи в битах, и диапазон применения этого аспекта изобретения распространяется на несколько схем кодирования. Объект мультимедиа может быть аудио- и/или видеообъектом или любым другим воспроизводимым объектом, для которого уместно говорить о качестве. Объектом мультимедиа может быть также изображение или последовательность изображений, такая как программа.

Предпочтительно кодирование представляет собой масштабируемое кодирование (кодирование с масштабированием) и получающийся в результате битовый поток является масштабируемым битовым потоком. Информация о качестве особенно благоприятна для схем с масштабируемым кодированием, потому что эти битовые потоки являются подходящими для усечения. Для множества применений, где усекаются масштабируемые битовые потоки, важно иметь указатель качества битового потока, получающегося после усечения, что легко обеспечивается с помощью информации о качестве, включенной в масштабируемый битовый поток.

Предпочтительно информация о качестве представляет качество воспроизведения объекта. Тогда легко определяется информация о качестве воспроизведения объекта в зависимости от числа бит. Для количественного выражения качества предпочтительно используются значения отношения сигнала к шуму (SNR) или отношение пика сигнала к шуму (PSNR).

В то время как кодированный поток одного объекта может быть оптимально усечен просто путем "подгонки" его к имеющейся ширине полосы частот или имеющейся памяти, этот способ не подходит, когда имеют дело одновременно с множеством объектов. Для оптимального выделения некоторой ширины полосы или объема памяти для множества одновременно кодируемых объектов требуется знать для каждого кодируемого объекта дифференциальную "кривую скорость-искажение". Несмотря на то, что эта кривая относительно легко получается во время кодирования объекта (когда доступен оригинал), получить ее (путем оценки) позднее не просто, когда имеется только усеченная версия кодированного битового потока. Для оценки качества в более позднее время требуется подробная информация о способе сжатия, а также по меньшей мере частичное декодирование кодированного битового потока.

В практически реализуемом варианте изобретения теги качества, добавленные к масштабируемому битовому потоку, представляют качество воспроизведения кодированного объекта, когда битовый поток усечен в точке, относящейся к заданному тегу. Хотя добавление информации о качестве может потребовать определенных непроизводительных затрат, эти затраты могут быть сохранены низкими. Важное достоинство заключается в том, что информация о качестве позволяет легко оптимально усекать битовые потоки совместно для множества объектов. Такая проблема множественного усечения возникает, например, в гибкой памяти, описанной в Заявке на Европейский патент 00200890.2, поданной 13.03.2000 (наш исх. PHNL000110), заявка до выдачи патента не публикуется, эта заявка включена в настоящее описание путем ссылки. Другое применение - это мультиплексор или сетевой узел, в котором выходная ширина полосы временно меньше, чем входная ширина полосы и, следовательно, требуется усечение входящих масштабируемо сжимаемых битовых потоков.

Когда выполняется сжатие, то входные данные обычно сжимаются во множество блоков (таких как, например, части блоков DCT - дискретное косинусное преобразование, части частотных полос преобразованного с мелкой рябью изображения или уровней). Каждая кодированная часть обычно содержит некоторые заголовки с различными параметрами или тегами. В предпочтительном варианте выполнения изобретения в такой заголовок добавляется параметр, указывающий качество объекта, когда он усекается сразу после (или в альтернативном варианте, непосредственно перед) текущей части кодированных данных. Один пример параметра качества - это добавление числа, касающегося среднеквадратичной ошибки (или PSNR или SNR) воспроизведения; это число может также представлять визуально взвешенное (P)SNR. Тип (или множество типов) указания качества может быть стандартизирован, так чтобы все кодеры использовали одни и те же или ограниченное число различных указателей качества. Качество также могло бы быть относительным (например, выраженное в процентах), так чтобы кодеру не пришлось бы описывать меру качества. Тогда относительное качество могло бы быть заключено в диапазоне от 0 до 100% по определенной шкале для каждого индивидуального объекта, с дополнительным параметром шкала/вес для каждого объекта, чтобы обеспечить отличающиеся весовые коэффициенты для различных объектов.

Теги качества могут быть размещены приблизительно на равных расстояниях (выраженных в числе бит) по всему кодированному потоку или они могут использоваться более часто, когда быстро изменяется скорость передачи в битах в зависимости от кривой качества. Когда кодированный битовый поток должен быть усечен, тогда качество для каждой точки усечения, не соответствующей месту тега, может быть аппроксимировано путем интерполяции (линейной или более сложной) значений тега качества.

В варианте осуществления изобретения информация о качестве добавляется к кодированному битовому потоку MPEG-4 FGS, используя тег, который уже был определен в стандарте, см. вышеупомянутую ссылку N3315. При этом способе информация о качестве может быть добавлена без изменения предложенного стандарта, что является огромным достоинством.

Для декодированных объектов мультимедиа информация о качестве может быть использована для адаптивной пост-обработки или для алгоритмов обработки масштабируемых видео (сигналов) и т.д., для методов немасштабируемого сжатия. Например, для постобработки MPEG-сжатого видео (сигнала) информация о качестве может помочь определить "интенсивность" или величину или тип (блокирующий искажения/зацикливающее преобразование) требующейся постобработки. Для алгоритмов обработки масштабируемого видео (сигнала) информация о качестве может помочь лучше оценить число циклов CPU (центрального процессорного блока), требующихся для достижения определенного требуемого уровня качества обработки, используя определенный выбранный алгоритм обработки видео.

Информация о качестве может быть добавлена как дополнительная информация к битовому потоку, т.е. не включена в сам битовый поток.

Для зашифрованных битовых потоков выгодно, чтобы информация о качестве была незашифрованной. Тогда качество заданной части битового потока (например, уровня) может быть определено в декодере без расшифровки битового потока.

Информация о качестве также выгодно может применяться в тех приложениях, где кодирование источника и канальное кодирование осуществляются не в одно и то же время или не в одном и том же месте. Тогда информация о качестве используется при канальном кодировании, например для определения коэффициентов защиты.

В способе согласно настоящему изобретению масштабируемый битовый поток включает в себя более одного уровня качества и при этом к каждому из упомянутых уровней качества битового потока добавляют информацию о качестве.

Раскрыт также способ управления, по меньшей мере, одним битовым потоком, представляющим объект мультимедиа, в котором к битовому потоку добавлена информация о качестве, причем информация о качестве указывает на качество объекта мультимедиа в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержат значение тэга качества, а упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества, при этом способ содержит этапы: прием, по меньшей мере, одного битового потока, выделение из битового потока информации о качестве, транс-кодирование или усечение упомянутого, по меньшей мере, одного битового потока в случае, если текущая комбинация скорости передачи в битах и качества упомянутого, по меньшей мере, одного принятого битового потока достигает требуемой комбинации скорости передачи в битах и качества упомянутого, по меньшей мере, одного битового потока, обеспечение, по меньшей мере, одного битового потока, имеющего требуемую комбинацию скорости передачи в битах и качества.

Представлен также способ передачи, по меньшей мере, одного объекта мультимедиа, содержащий этапы: кодирование объекта мультимедиа для получения битового потока, добавление к битовому потоку информации о качестве, при этом информация о качестве указывает качество объекта мультимедиа в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества, и передачу битового потока, к которому добавлена информация о качестве.

В способе приема, по меньшей мере, одного битового потока, представляющего объект мультимедиа, в котором к битовому потоку добавлена информация о качестве, причем информация о качестве указывает на качество объекта мультимедиа в отношении заданной позиции или заданной части в битовом потоке, информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества, имеются этапы: прием, по меньшей мере, одного битового потока, выделение из битового потока информации о качестве, транс-кодирование или усечение упомянутого, по меньшей мере, одного битового потока в случае, если текущая комбинация скорости передачи в битах и качества этого, по меньшей мере, одного принятого битового потока достигает требуемой комбинации скорости передачи в битах и качества упомянутого, по меньшей мере, одного битового потока, обеспечение, по меньшей мере, одного битового потока, имеющего требуемую комбинацию скорости передачи в битах и качества, декодирование, по меньшей мере, одного битового потока, имеющего требуемую комбинацию скорости передачи в битах и качества.

Раскрыт также способ приема, по меньшей мере, одного битового потока, представляющего объект мультимедиа, в котором к битовому потоку добавлена информация о качестве, причем информация о качестве указывает на качество объекта в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества, при этом способ содержит этапы: принимают по меньшей мере один битовый поток, извлекают из битового потока информацию о качестве; декодируют битовый поток для получения декодированного объекта мультимедиа; выполняют постобработку декодированного объекта мультимедиа для снижения артефактов в зависимости от извлеченного качества.

Устройство кодирования объекта мультимедиа согласно настоящему изобретению содержит: средство для кодирования объекта для получения битового потока и средство для добавления информации о качестве к битовому потоку, причем информация о качестве указывает на качество объекта мультимедиа в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества.

Раскрыты также передатчик, содержащий упомянутое выше устройство и средство для передачи битового потока с добавленной к нему информацией о качестве.

Предлагается также контроллер для управления, по меньшей мере, одним битовым потоком, представляющим объект мультимедиа, в котором к битовому потоку добавлена информация о качестве, причем информация о качестве указывает на качество объекта в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества, при этом контроллер содержит: средство для приема, по меньшей мере, одного битового потока, средство для извлечения информации о качестве из по меньшей мере одного битового потока, принятого средством для приема, средство для усечения по меньшей мере одного принятого битового потока в случае, если текущая комбинация скорости передачи в битах и качества, указанные информацией о качестве, извлеченной средством для извлечения, по меньшей мере, одного принятого битового потока достигает требуемой комбинации скорости передачи в битах и качества упомянутого, по меньшей мере, одного принятого битового потока, средство для обеспечения, по меньшей мере, одного битового потока, усеченного средством для усечения и имеющего требуемую комбинацию скорости передачи в битах и качества.

Предлагаются также приемник, мультиплексор и сетевой узел, каждый из которых содержит упомянутый контроллер.

Согласно настоящему изобретению раскрыт приемник для приема, по меньшей мере, одного битового потока, представляющего объект мультимедиа, в котором к битовому потоку добавлена информация о качестве, причем информация о качестве указывает качество объекта в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества, причем приемник содержит: средство для приема по меньшей мере одного битового потока, средство для извлечения информации о качестве из по меньшей мере одного битового потока, принятого средством для приема; средство для декодирования по меньшей мере, одного битового потока, принятого средством для приема, для получения декодированного объекта мультимедиа; средство для постобработки объекта мультимедиа для снижения артефактов в зависимости от информации о качестве, извлеченной средством для извлечения.

В настоящей заявке раскрыт сигнал, представляющий битовый поток, представляющий кодированный объект мультимедиа, причем к битовому потоку добавлена информация о качестве, при этом информация о качестве указывает на качество объекта в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества.

Вышеупомянутые и другие аспекты изобретения будут понятны из последующего описания вариантов осуществления изобретения.

На чертежах:

фиг.1 представляет систему согласно варианту изобретения, а

фиг.2 - более предпочтительные варианты выполнения изобретения.

На чертежах показаны только те элементы, которые необходимы для понимания изобретения.

На фиг.1 показана система согласно варианту изобретения, содержащая передатчик 11, имеющий входной блок или блок 110 формирования объекта и кодер 12. Кодер 12 содержит масштабирующий кодер 120 и блок 121 формирования информации о качестве. Масштабирующий кодер 120 кодирует объекты, полученные из входного блока 110, для получения одного или более масштабируемых битовых потоков. Блок 121 формирования информации о качестве извлекает качество объекта из сигналов, полученных из входного блока 110, а также сигналов и/или параметров, обеспечиваемых кодером 120. Информация о качестве из блока 121 формирования подается в блок 120 кодера, который формирует теги информации о качестве и вставляет их в масштабируемый битовый поток. Система также содержит устройство 3 усечения для усечения одного или более масштабируемых битовых потоков и блок 4 управления устройством усечения. Блок 4 управления устройством усечения выделяет информацию о качестве из масштабируемого битового потока, предоставляемого кодером 12, и управляет устройством 3 усечения в зависимости от принятых тегов или информации о качестве. В случае только одного масштабируемого битового потока этот поток усекается, когда достигнуто требующееся качество. Устройство 3 усечения и блок 4 управления вместе могут составлять часть мультиплексора, блока управления скоростью передачи в битах, сетевого узла и т.д. и могут быть в канале, а также в приемнике. Блок 5 альтернативно может быть блоком воспроизведения и/или декодером, например, он может находиться вместе с устройством 3 усечения и блоком 4 управления в приемнике согласно варианту изобретения.

В более предпочтительных применениях, как показано на фиг.2, множество масштабируемых битовых потоков поступает из передатчиков 21, 31, 41, где, по меньшей мере, некоторые из этого множества масштабируемых битовых потоков имеют включенные в них теги качества. Передатчики 21, 31, 41 и их элементы аналогичны передатчику 11, показанному на фиг.1. В зависимости от имеющейся ширины полосы или емкости памяти в канале или среде 15 для хранения информации масштабируемые битовые потоки в большей или меньшей степени усекаются с учетом тегов или информации о качестве, которые находятся в масштабируемых битовых потоках. Такое множественное усечение может быть выполнено с использованием принципа гибкой памяти, описанного в Заявке на Европейский патент 00200890.2, поданной 13.03.2000 (наш исх. PHNL000110), заявка не опубликована до выдачи патента, эта заявка включена в настоящее описание путем ссылки. Мультиплексор 16 объединяет потоки из передатчиков. Устройство 13 усечения и блок 14 управления вместе составляют часть мультиплексора (например, 16), блока управления скоростью передачи в битах, сетевого узла, и т.д. и могут находиться в канале, а также в приемнике. Блок 15 может альтернативно представлять собой блок воспроизведения и/или декодер, например, он находится вместе с устройством 13 усечения и блоком 14 управления в приемнике согласно варианту изобретения.

Ниже приведены некоторые примеры применения MPEG-4 FGS, в которых требуется информация о качестве. Несмотря на то, что нижеприведенное описание относится конкретно к MPEG-4 FGS, специалистам в данной области техники будет понятно, что изобретение может успешно применяться для любой схемы масштабируемого кодирования. С точки зрения применения искажение - это значимый параметр для схемы MPEG-4 FGS. Если информация о искажении недоступна, то применимость FGS (мелкомодульного масштабирования - ММ) ограничена, как это продемонстрировано ниже, где показаны различные применения, для которых требуется эта информация. Согласно варианту изобретения синтаксис ММ битового потока улучшается путем добавления информации о качестве (искажении). Это может быть выполнено без увеличения или с незначительным увеличением скорости передачи в битах и это расширяет диапазон применений для ММ.

Первое применение изобретения - это кодирование для выходного сигнала постоянного качества (следовательно, с переменной скоростью передачи в битах). Это может быть использовано, например, для записи видеоданных с постоянным качеством на носителе данных, что допускает переменную скоростью передачи в битах. Благодаря использованию информации о качестве нет необходимости получать конечный битовый поток во время начального кодирования, он может быть получен позднее с помощью обработки кодированного битового потока.

Продажа одного и того же информационного содержания с различным качеством может быть осуществлена, используя метод масштабируемого (мелкомодульного или многоуровнего) сжатия, такой, как описан выше, сопровождаемый шифрованием одного или более уровней: характерная особенность многих методов масштабируемого сжатия состоит в том, что когда наиболее низкий уровень масштабирования недоступен, то более высокие уровни масштабирования бесполезны, то есть не могут быть использованы для улучшения качества. Когда сжатое масштабированием информационное наполнение зашифровано, то все еще можно его использовать для гибкой памяти, то есть уменьшить величину запоминаемого объема за счет отбрасывания некоторых уровней(я) расширения. Относительно гибкой памяти ссылка дается на упомянутую выше PHNL000110. Для того чтобы решить, насколько велик объем данных, который следует удалить, должна быть в наличии некоторая информация, относящаяся к соответствующей потере качества, поскольку эта информация не может быть больше выведена из уплотненного битового потока без его расшифровки. В рассматриваемом варианте изобретения информация о качестве пересылается в виде незашифрованной информации, например как дополнительная информация. Бизнес-модель продажи одного и того же информационного наполнения при различных уровнях качества тесно связана с гибкой памятью, поскольку в ней одно и то же информационное наполнение хранится при различных многочисленных уровнях качества, используя сжатие с масштабированием. Уровни качества, которые предлагаются для покупки потребителю, предпочтительно непосредственно соответствуют уровням качества, используемым в системе с гибкой памятью. Это предполагает, что когда устройство гибкой памяти хочет понизить качество элемента с определенным информационным наполнением, тогда можно удалить наиболее высокий зашифрованный уровень качества, причем для этого не требуется его расшифровка. Поскольку устройство при этом не расшифровывает никакие данные, то отсутствует опасность нарушения безопасности информации или ее кражи. Для обеспечения безопасности во всей цепочке от владельца информации или провайдера услуг до потребителя эта информация предпочтительно уплотняется (используя метод масштабируемого сжатия) и зашифровывается владельцем информации с требующимися уровнями качества, а затем распределяется в зашифрованном виде в устройстве гибкой, памяти (либо непосредственно передается или загружается или передается не напрямую, а через, например, промежуточную память на оптическом диске).

При применении гибкой памяти пользователь (или устройство, основанное на том, что оно знает о предпочтениях пользователя) может дополнительно выбирать определенный требующийся минимальный уровень качества. Т.е. информация, которая имеется в текущий момент с более высоким уровнем качества, чем минимально требующийся пользователю, может быть "понижена" в качестве, чтобы создать пространство для другой информации, до тех пор пока она не достигнет наиболее низкого уровня, приемлемого для пользователя. Однако когда все еще имеется информация с высоким качеством, то пользователь все еще имеет альтернативу купить информацию более высокого качества. Конечно, пользователь (или устройство) могут также заранее установить различные требующиеся минимальные уровни качества для различных типов информации (спорт, ток-шоу или кинофильмы).

В альтернативном варианте также можно разрешить провайдеру услуг управлять объемом памяти и определять, какие уровни качества следует исключить (в этом случае провайдер услуг сохраняет проводник качества и может осуществлять функции гибкой памяти). Это может быть полезным, например, когда информация провайдером услуг помещается в телеприставку, обладающую функцией памяти (например, жесткий диск). Сначала пользователю может быть предложена информация с высоким качеством. Когда пользователь в пределах определенного времени на смотрит или не покупает эту информацию, тогда уровень качества, хранящийся в телеприставке, может быть понижен, чтобы создать пространство для другой информации.

Данные о качестве также позволяют осуществлять кодирование исходной информации и канальное кодирование в различное время и в различных местах. Это полезно, потому что во время кодирования канальные характеристики могут быть еще не известны. Кроме того, один и тот же кодированный битовый поток может обслуживаться различными каналами с различными параметрами ошибок. И наконец, не тратится объем памяти на непроизводительные потери, связанные с хранением данных по коррекции ошибок. Они могут быть созданы, если потребуется, поскольку поля качества дают требующуюся информацию для добавления к канальному кодированию (используя неравную защиту от ошибок).

Затем, существуют применения, где множество кодированных ММ кадров должно обрабатываться совместно. Это может происходить, например, в перегруженном сетевом узле, где имеется временно ширина полосы меньшая, чем требуется. Тогда этот сетевой узел может использовать информацию о качестве для оптимального усечения битового потока с минимальными потерями качества. Поскольку рассматривается множество объектов, возможно с очень различными кривыми зависимости скорость-искажение, то без информации о качестве нельзя выполнить удовлетворительно такое усечение.

Кроме того, для применений с потоковыми данными информация о качестве может обеспечить для сервера хороший инструмент для выполнения функции управления скоростью передачи во время передачи, а также для установления компромиса между временными улучшениями и улучшениями SNR (ММ в зависимости от ММ-В, см. определения N3315).

В MPEG-4 FGS информация о качестве, которая требуется, фактически представляет собой кривую скорость-искажение для масштабируемого уровня расширения. Поскольку скорость является очевидной, то добавляться должна только информация по искажению. Предлагаются два решения, касающиеся добавления этой информации без модификации или с минимальными модификациями синтаксиса текущего FGS битового потока.

Решение А. Начало битовой плоскости - это хорошая точка для добавления полей качества или информации о качестве, потому что это позволяет легко выводить эту информацию, а также обеспечивает достаточные выборки для точного описания кривой скорость-искажение. "Код качества" был бы подобен текущему fgs-bp-start-code, в котором 5 последних бит указывают ID (идентификатор) битовой плоскости. Вместо ID, битовой плоскости в "эти 5 бит может вводиться информация о качестве. В предпочтительном варианте к синтаксису добавляется какой-либо бит, чтобы указать, содержит ли fgs-bp-start-code ID битовой плоскости или информацию о качестве.

Решение В. В альтернативном варианте для информации о качестве мог бы определяться новый код и вставляться после fgs-bp-start-code. В этом случае тег качества может иметь 8 бит.

Информация, которую мы предлагаем хранить в поле качества, - это искажение после полного декодирования битовой плоскости, следующей за этим полем качества. В этом случае, когда поток усекается внутри битовой плоскости, то приблизительное качество может быть получено путем интерполяции. Это легче, чем экстраполяция, которая потребовалась бы, если поле качества включало информацию о искажении перед декодированием текущей битовой плоскости. Например, пусть Q1 - качество перед декодированием битовой плоскости, a Q2 - качество после ее декодирования (как предполагалось выше, Q2 уже известно декодеру в начале битовой плоскости). Если поток усекается внутри битовой плоскости, следовательно, известно, что истинное качество Q лежит внутри интервала < Q1, Q2 >. Поэтому оно может быть просто аппроксимировано как Q≅(Q1+Q2)/2. Более точное приближение может быть получено, если также учитывать число декодированных DCT блоков. Например, если расширенная информация для текущей битовой плоскости принята для n из N полного числа блоков для какого-либо кадра, тогда истинное качество может быть аппроксимировано как Q≅Q1+(Q2-Q1)·n/N.

В предпочтительном варианте для Решения А первое поле качества для расширенного VOP, т.е. поле для наиболее значимой (MSB) битовой плоскости, включает абсолютное качество (искажение), в то время как дополнительные поля включают улучшения качества (уменьшения искажения) относительно предыдущего качества. Абсолютное качество может использоваться для сравнения различных объектов. Размещение в дополнительных полях данных по улучшению качества позволяет, чтобы эти улучшения были представлены с более высокой точностью, чем в случае использования данных по абсолютному качеству. Это особенно важно, когда для каждого поля имеется только 5 бит.

Для количественного выражения качества предпочтительно используются значения PSNR. Как уже излагалось выше, первое поле качества включает в себя данные по абсолютному качеству. Мы предполагаем использовать 5 бит для того, что дать PSNR после декодирования первой (MSB) битовой плоскости в диапазоне 18-49 дБ с шагом 1 дБ. Этот диапазон охватывает все практически подходящие значения PSNR: когда PSNR выше 49 дБ, то базовый уровень уже включает представление объекта почти без потерь. Величина PSNR меньше 18 дБ означала бы, что базовый уровень обеспечивает крайне низкое качество, которое не очень вероятно. Когда значения выходят за пределы этого диапазона, то они будут ограничиваться либо 18 дБ либо 48 дБ в зависимости от того, попадают ли они выше или ниже разрешенного диапазона.

Тогда следующие поля качества будут включать улучшение качества для полного декодирования последующей битовой плоскости относительно качества после декодирования предыдущей битовой плоскости. Предпочтительно, чтобы задать эти улучшения качества в диапазоне 0-6,2 дБ с шагом 0,2 дБ, используется 5 бит. Поскольку добавляется единственный бит, то это улучшение не может превышать 6,02 дБ, поэтому этот диапазон является достаточным.

Для Решения В, когда для тега качества используется 8 бит, значения качества (и абсолютное и дифференциальное) могли бы быть представлены даже с более мелким модулем. Однако Решение В также позволило бы нам просто использовать только абсолютные (т.е. не дифференциальные) значения качества. Тогда диапазон качества был бы 18-60,5 дБ с шагом 1/6≈0,167 дБ (или 18-49,875 дБ с шагом 0,125 дБ).

Выше описывались различные применения MPEG-4 FGS, в которых требуется информация о качестве. Поскольку эта информация является единственной полностью имеющейся в наличии, когда происходит исходное кодирование, то она добавляется к битовому потоку, чтобы сделать ее доступной для использования в дальнейшем. Это может быть сделано при незначительном увеличении скорости передачи в бит или без увеличения скорости с минимальными модификациями текущего синтаксиса битового потока. Два подробных решения были представлены для добавления значения качества PSNR. Предпочтительным является Решение В, в котором используются значения абсолютного качества.

Изобретение применимо ко всем случаям, когда совместно должны храниться или передаваться множество масштабируемо сжатых объектов мультимедиа и некоторые из этих объектов сжаты с помощью MPEG-4FGS, включенного в изобретение. Конкретные применения - это применения с гибкой памятью, а также каналы передачи и сети, имеющие дело с множеством объектов или пользователей. Когда память, или канал, или сеть должны быть совместно использованы немногими объектами или пользователями, тогда они получают высокое качество. Качество автоматически ухудшается, чтобы приспособиться к большему числу объектов или пользователей. Это может быть сделано эффективно, то есть с низкими издержками благодаря наличию тегов качества согласно вариантам этого изобретения.

Изобретение также может выгодно применяться для приложений, в которых кодирование исходной информации и канальное кодирование не осуществляются в одно и то же время или в одном и том же месте. Тогда теги качества дают требующуюся информацию для добавления при канальном кодировании (неравная защита от ошибок, например, большая защита для частей битового потока, которые представляют более высокое качество, или большая защита для частей битового потока с высоким качеством для ряда битовых коэффициентов).

Изобретение также может выгодно применяться в контексте схем обработки масштабируемых изображений, таких как JPEG2000, см. документ ISO/IEC JTC 1/SC 29/WG 1 N1646 от 16 марта 2000 г., который включен путем ссылки. Информация о качестве может быть удобно включена в JPEG2000, поскольку Метка комментарий и расширений (СМЕ) уже определена (см. стр.51 документа N1646), что допускает неструктурированные данные в заголовке. Информацию о качестве выгодно включать в заданную СМЕ. Например, могут быть включены бинарные данные (Rcme=0). Более того, согласно варианту изобретения для тегов качества определяется отдельный тип Rcme.

Следует заметить, что вышеупомянутые варианты только иллюстрируют, но не ограничивают изобретение, и специалисты в данной области техники смогут создать много альтернативных вариантов, не выходя за рамки объема приложенной формулы изобретения. Любые признаки, заключенные в скобках в формуле изобретения, не должны интерпретироваться как ограничивающие формулу. Слово "содержащий" не исключает наличия других элементов или шагов, помимо перечисленных в пункте формулы. Изобретение может быть реализовано с помощью технического обеспечения, содержащего некоторые особые элементы и с помощью надлежащим образом запрограммированного компьютера. В пунктах формулы, относящихся к устройствам, перечисляются некоторые средства, некоторые из этих средств могут быть реализованы с помощью одного и того же компонента технического обеспечения. Просто факт того, что определенные признаки перечисляются во взаимно различных зависимых пунктах формулы не указывает на то, что комбинация этих признаков не может использоваться для получения выгоды.

1. Способ кодирования объекта мультимедиа, содержащий этапы: кодируют объект мультимедиа для получения битового потока и добавляют информацию о качестве к битовому потоку, при этом информация о качестве указывает качество объекта мультимедиа в отношении заданной позиции или в отношении заданной части битового потока, причем информация о качестве обеспечивается в тэгах качества, упомянутый тэг качества обеспечивает значение тэга качества, а значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усечен в точке, относящейся к тэгу качества.

2. Способ по п.1, в котором этап кодирования представляет собой кодирование с масштабированием для получения масштабируемого битового потока.

3. Способ по п.1, в котором информация о качестве основана на значении отношения сигнал к шуму.

4. Способ по любому из предыдущих пунктов, в котором теги качества добавляют в заданные места в битовом потоке, причем значение тэга качества представляет искажение в воспроизводимом объекте мультимедиа, когда битовый поток усекается сразу после, или альтернативно, непосредственно перед заданным местом в битовом потоке.

5. Способ по п.1, в котором объект мультимедиа кодируется в стандарте кодирования с масштабированием, причем упомянутый стандарт кодирования с масштабированием содержит заранее определенный тэг, и информацию о качестве включают в упомянутый заранее определенный тэг.

6. Способ по п.2, в котором масштабируемый битовый поток включает в себя более одного уровня качества и при этом к каждому из упомянутых уровней качества битового потока добавляют информацию о качестве.

7. Способ по п.1, в котором битовый поток зашифровывают, а информацию о качестве не зашифровывают.

8. Способ управления, по меньшей мере, одним битовым потоком, представляющим объект мультимедиа, в котором к битовому потоку добавлена информация о качестве, причем информация о качестве указывает на качество объекта мультимедиа в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, а упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества, при этом способ содержит этапы: прием, по меньшей мере, одного битового потока, выделение из битового потока информации о качестве, транс-кодирование или усечение упомянутого, по меньшей мере, одного битового потока в случае, если текущая комбинация скорости передачи в битах и качества упомянутого, по меньшей мере, одного принятого битового потока достигает требуемой комбинации скорости передачи в битах и качества упомянутого, по меньшей мере, одного битового потока, обеспечение, по меньшей мере, одного битового потока, имеющего требуемую комбинацию скорости передачи в битах и качества.

9. Способ передачи, по меньшей мере, одного объекта мультимедиа, содержащий этапы: кодирование объекта мультимедиа для получения битового потока, добавление к битовому потоку информации о качестве, при этом информация о качестве указывает качество объекта мультимедиа в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества, и передачу битового потока, к которому добавлена информация о качестве.

10. Способ приема, по меньшей мере, одного битового потока, представляющего объект мультимедиа, в котором к битовому потоку добавлена информация о качестве, причем информация о качестве указывает на качество объекта мультимедиа в отношении заданной позиции или заданной части в битовом потоке, информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества, при этом способ содержит этапы: прием, по меньшей мере, одного битового потока, выделение из битового потока информации о качестве, транс-кодирование или усечение упомянутого, по меньшей мере, одного битового потока в случае, если текущая комбинация скорости передачи в битах и качества этого по меньшей мере одного принятого битового потока достигает требуемой комбинации скорости передачи в битах и качества упомянутого, по меньшей мере, одного битового потока, обеспечение, по меньшей мере, одного битового потока, имеющего требуемую комбинацию скорости передачи в битах и качества, декодирование, по меньшей мере, одного битового потока, имеющего требуемую комбинацию скорости передачи в битах и качества.

11. Способ приема, по меньшей мере, одного битового потока, представляющего объект мультимедиа, в котором к битовому потоку добавлена информация о качестве, причем информация о качестве указывает на качество объекта в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества, при этом способ содержит этапы: принимают по меньшей мере один битовый поток, извлекают из битового потока информацию о качестве; декодируют битовый поток для получения декодированного объекта мультимедиа; выполняют пост-обработку декодированного объекта мультимедиа для снижения артефактов в зависимости от извлеченного качества.

12. Устройство кодирования объекта мультимедиа, содержащее средство для кодирования объекта для получения битового потока и средство для добавления информации о качестве к битовому потоку, причем информация о качестве указывает на качество объекта мультимедиа в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества.

13. Передатчик, содержащий устройство по п.12 и средство для передачи битового потока с добавленной к нему информацией о качестве.

14. Контроллер для управления, по меньшей мере, одним битовым потоком, представляющим объект мультимедиа, в котором к битовому потоку добавлена информация о качестве, причем информация о качестве указывает на качество объекта в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества, при этом контроллер содержит средство для приема, по меньшей мере, одного битового потока, средство для извлечения информации о качестве из по меньшей мере одного битового потока, принятого средством для приема, средство для усечения по меньшей мере одного принятого битового потока в случае, если текущая комбинация скорости передачи в битах и качества, указанные информацией о качестве, извлеченной средством для извлечения, по меньшей мере, одного принятого битового потока достигает требуемой комбинации скорости передачи в битах и качества упомянутого, по меньшей мере, одного принятого битового потока, средство для обеспечения, по меньшей мере, одного битового потока, усеченного средством для усечения и имеющего требуемую комбинацию скорости передачи в битах и качества.

15. Приемник, содержащий контроллер по п.14.

16. Приемник для приема, по меньшей мере, одного битового потока, представляющего объект мультимедиа, в котором к битовому потоку добавлена информация о качестве, причем информация о качестве указывает качество объекта в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества, причем приемник содержит средство для приема по меньшей мере одного битового потока, средство для извлечения информации о качестве из по меньшей мере одного битового потока, принятого средством для приема; средство для декодирования по меньшей мере, одного битового потока, принятого средством для приема, для получения декодированного объекта мультимедиа; средство для пост-обработки объекта мультимедиа для снижения артефактов в зависимости от информации о качестве, извлеченной средством для извлечения.

17. Мультиплексор, содержащий контроллер по п.14.

18. Сетевой узел, содержащий контроллер по п.14.

19. Сигнал, представляющий битовый поток, представляющий кодированный объект мультимедиа, причем к битовому потоку добавлена информация о качестве, при этом информация о качестве указывает на качество объекта в отношении заданной позиции или заданной части в битовом потоке, при этом информация о качестве обеспечивается в тэгах качества, тэг качества содержит значение тэга качества, упомянутое значение тэга качества характеризует искажение в воспроизводимом кодированном объекте мультимедиа, когда битовый поток усекается в точке, относящейся к тэгу качества.

Приоритет по пунктам:

11.10.2000 - п.2;

12.10.2000 - пп.1, 3-7, 9-19;

04.10.2001 - п.8.