Процессор данных и транспорт данных пользовательского управления на устройства декодирования и воспроизведения аудио

Авторы патента:

ДЕЛА Штефан (DE)

ШРАЙНЕР Штефан (DE)

ПЛОГСТИС Ян (DE)

ФУКС Харальд (DE)

ФЮГ Зимоне (DE)

H04N21/439 - Передача изображений, например телевидение (измерения, испытания G01; системы для оригиналов рукописей например, пишущие телеграфные аппараты, которые рассматриваются в подклассе G08; накопление информации, основанное на относительном перемещении носителя записи и преобразователя G11B; кодирование; декодирование или преобразование кодов вообще H03M; радиовещание или регистрация использования радиосети H04H)

G10L19/00 - Техника анализа-синтеза речи для уменьшения избыточности, например в вокодерах ; кодирование или декодирование речи

Владельцы патента RU 2653858:

ФРАУНХОФЕР-ГЕЗЕЛЛЬШАФТ ЦУР ФЕРДЕРУНГ ДЕР АНГЕВАНДТЕН ФОРШУНГ Е.Ф. (DE)

Изобретение относится к обработке аудиоданных в установках домашней бытовой электроники. Технический результат заключается в повышении эффективности обработки аудиоданных. Предложен процессор аудиоданных, содержащий: интерфейс приемника для приема кодированных аудиоданных и метаданных, связанных с кодированными аудиоданными; анализатор метаданных для анализа метаданных, чтобы определять возможности манипулирования аудиоданными; интерфейс взаимодействия для приема вводимых данных взаимодействия и для формирования исходя из вводимых данных взаимодействия, данных управления взаимодействием, связанных с возможностью манипулирования аудиоданными; и генератор потока данных для получения данных управления взаимодействием и кодированных аудиоданных и метаданных и для формирования выходного потока данных, выходной поток данных содержит кодированные аудиоданные по меньшей мере часть метаданных и данные управления взаимодействием. 3 н. и 12 з.п. ф-лы, 8 табл., 9 ил.

Настоящее изобретение имеет отношение к процессору аудиоданных по п.1, способу для обработки аудиоданных по п.14 и компьютерной программе по п.15 для выполнения способа обработки аудиоданных.

В установках домашней бытовой электроники (CE) функциональность разнесена по нескольким устройствам, соединенным через стандартизированные интерфейсы. Кроме того, (высокого качества) оборудование часто встроено не только в единственное устройство, но и сложные отдельные устройства (если рассмотреть телевизионную абонентскую приставку, ТВ-приемник, AVR-приемник (приемник-аудио-видео)) являются доступными. Эти устройства осуществляют связь через стандартизированные интерфейсы (такой как HDMI (интерфейс мультимедиа высокой четкости)).

Тогда как первое устройство извлекает требуемые потоки и предлагает все интерфейсы пользователю, второе устройство часто выполняет декодирование в ʺрежиме ведомогоʺ без какого-либо пользовательского интерфейса. Когда дело доходит до взаимодействия пользователя и управления декодером, является существенным передача этой пользовательской информации от устройства #1 к устройству #2 в этом сценарии.

Например, как показано на Фиг. 9, телевизионную программу часто принимает первое устройство, такое как телевизионная абонентская приставка, которое выбирает надлежащий канал передачи и извлекает соответствующие элементарные потоки, содержащие требуемое кодированное содержание. Эти извлеченные потоки могут подаваться на второе устройство, такое как приемник аудио-видео, для воспроизведения. Передача между этими двумя устройствами может выполняться путем либо осуществления передачи декодированного/разуплотненного представления (аудио с импульсно-кодовой модуляцией (PCM)), либо в кодированном представлении, особенно если ограничения полосы пропускания применяют на используемой линии внутренней связи.

Кроме того, если выбор требуемых потоков и/или необязательно взаимодействие пользователя выполняется в устройстве #1 (например, телевизионной абонентской приставке), в большинстве случаев только это устройство предлагает интерфейс управления пользователю. Второе устройство (например, приемник A/V) обеспечивает только интерфейс конфигурации, к которому обычно пользователем осуществляется доступ только один раз при настройке системы, и действует в ʺрежиме ведомогоʺ в периоды нормальной работы.

Современные схемы кодека аудио не только поддерживают кодирование аудиосигналов, но также и обеспечивают средство для интерактивности пользователя, чтобы приспосабливать проигрывание и воспроизведение аудио к предпочтениям слушателя. Поток аудиоданных состоит из ряда кодированных аудиосигналов, например, сигналов каналов или аудиообъектов, и сопутствующей информации метаданных, которая описывает, каким образом эти аудиосигналы формируют аудио сцену, которая воспроизводится на громкоговорителях.

Примерами для аудио (звуковых) объектов являются:

- диалог на различных языках,

- дополнительный диалог подобный аудиосопровождению, или

- музыкальный и с эффектами фон (задний план).

Примерами для информации метаданных являются:

- значение «по умолчанию» уровня громкости каждого сигнала объекта (то есть, несколько громким он должен смешиваться в смешанный сигнал для представления громкоговорителем),

- значение «по умолчанию» пространственной позиции (то есть где он должен воспроизводиться),

- информация, если взаимодействие пользователя разрешено для специфического объекта, или

- информация, каким образом пользователю разрешено взаимодействовать, например, минимальный/максимальный уровни громкости или ограничения на позиции, к которой пользователь может повторно панорамировать объекты.

- классификация и/или описание аудиообъектов

Чтобы выполнить интерактивность пользователя, устройству декодирования/воспроизведения аудио (например, устройству #2) требуется обеспечить дополнительный интерфейс (ввода или взаимодействия) для управляющей информации для требуемого взаимодействия пользователя.

Альтернативно может также требоваться реализовывать пользовательское управление выбором и манипулированием аудиообъектом в устройстве #1 и подавать эти данные на устройство #2, когда декодирование и воспроизведение реализуются в устройстве #2, а не в устройстве #1.

Однако передача таких данных ограничена вследствие факта, что существующие стандартизированные соединения не поддерживают передачу данных пользовательского управления и/или информации устройства воспроизведения.

Альтернативно, выбор потоков и взаимодействие пользователя, как описано выше для устройства #1, и декодирование, как описано выше для устройства #2, могут обрабатываться двумя отдельными функциональными компонентами, содержащимися в том же устройстве и с теми же ограничениями на передачу данных между обоими компонентами, а именно, что доступным является только один интерфейс для кодированных данных и данных взаимодействия пользователя, предпочтительно интерфейс взаимодействия устройства #1, тогда как второй интерфейс для данных взаимодействия пользователя, то есть интерфейс, обычно обеспечиваемый устройством #2, можно опустить. Даже если и устройство #1, и устройство #2 содержатся или реализованы в рамках того же (аппаратно-реализованного) устройства, это ведет к той же ситуации, как описано для случая отдельных устройств #1 и #2.

Чтобы выполнить описанный вариант использования и устранить описанные выше ограничения, предлагается вкладывать данные информации пользовательского управления, или данные взаимодействия в общем, в кодированный поток аудиоданных.

Соответственно, объект настоящего изобретения состоит в усовершенствовании существующих процессоров обработки аудиоданных.

Обычно, первое устройство может быть сконфигурировано в виде процессора аудиоданных, содержащего: интерфейс приемника для приема кодированных аудиоданных и метаданных, связанных с кодированными аудиоданными; (синтаксический) анализатор метаданных для анализа метаданных, чтобы определять возможность манипулирования аудиоданными; интерфейс взаимодействия для приема вводимых данных взаимодействия и для формирования, из вводимых данных взаимодействия, данных управления взаимодействием, связанных с возможностью манипулирования аудиоданными; и генератор потока данных для получения данных управления взаимодействием и кодированных аудиоданных и метаданных и для генерирования потока выходных данных, выходной поток данных содержит кодированные аудиоданные, по меньшей мере, часть метаданных и данные управления взаимодействием, как определено в п.1. Другие предпочтительные варианты осуществления определены во включенных в документ зависимых и дополнительных независимых пунктах формулы изобретения.

Кодированные аудиоданные могут содержать отдельные кодированные аудиообъекты, причем, по меньшей мере, часть метаданных связана с соответствующим аудиообъектом, при этом анализатор метаданных сконфигурирован для анализа соответствующей части для кодированных аудиообъектов, чтобы определить, для, по меньшей мере, аудиообъекта, возможности манипулирования объектом, причем интерфейс взаимодействия сконфигурирован для генерирования, по меньшей мере, для одного кодированного аудиообъекта, данных управления взаимодействием из вводимых данных взаимодействия, связанного, по меньшей мере, с одним кодированным аудиообъектом. Таким образом, аудиообъектами можно легко и непосредственно манипулировать в рамках их соответствующих возможностей манипулирования объектами, сохраненных в метаданных, путем использования соответственных данных управления взаимодействием.

Интерфейс взаимодействия может быть сконфигурирован для представления пользователю возможности манипулирования аудиоданными, выведенной из метаданных анализатором метаданных, и для приема от пользователя пользовательского ввода по конкретному манипулированию данными в возможности манипулирования данными. Это может реализовывать практический способ предоставления пользовательского интерфейса пользователю для осуществления взаимодействия с устройством по изобретению, например, для манипулирования аудиообъектами, предпочтительно внешне от декодера.

Генератор потока данных может быть сконфигурирован для обработки потока данных, содержащего кодированные аудиоданные и метаданные, принятые интерфейсом приемника, без декодирования кодированных аудиоданных, или для копирования кодированных аудиоданных и, по меньшей мере, части метаданных без изменений в выходном потоке данных, причем генератор потока данных сконфигурирован для добавления добавочной части данных, содержащей данные управления взаимодействием, к кодированным аудиоданным и/или метаданным в выходном потоке данных. Это обеспечивает преимущество меньшей сложности, поскольку процессору аудиоданных не требуется декодировать аудиосигналы. Он нуждается только в анализе метаданных и записывает их обратно в часть метаданных кодированного потока аудиоданных.

Генератор потока данных может быть сконфигурирован для формирования в выходном потоке данных данных управления взаимодействием в том же формате, что и метаданные. Таким образом, любые данные управления взаимодействием могут быть полезно интегрированы в выходной поток данных.

Генератор потока данных может быть сконфигурирован для увязки с данными управления взаимодействием идентификатора в выходном потоке данных, идентификатор является отличным от идентификатора, увязанного с метаданными. Преимущество использования другого идентификатора для манипулируемых метаданных состоит в том, что удаленному декодеру может предоставляться возможность идентифицировать взаимодействие из принятого потока манипулируемых данных, принимая при этом исходные (необработанные) данные.

Генератор потока данных может быть сконфигурирован для добавления, к данным управления взаимодействием, данные (цифровой) подписи, указывающие информацию о приложении, устройстве или пользователе, выполняющем взаимодействие, например, манипулирование аудиоданными, или обеспечивающем пользовательский ввод. Посредством транспорта (передачи) исходных и манипулируемых данных является возможной перенастройка метаданных. Подпись в метаданных позволяет отслеживать источник манипулирования.

Анализатор метаданных может быть сконфигурирован для идентификации возможности отключения для одного или нескольких аудиообъектов, представленных кодированными аудиоданными, причем интерфейс взаимодействия сконфигурирован для приема информации отключения для одного или нескольких аудиообъектов, и при этом генератор потока данных сконфигурирован для пометки одного или нескольких аудиообъектов как «отключенный» в данных управления взаимодействием, или для удаления отключенного одного или нескольких аудиообъектов из кодированных аудиоданных, так что выходной поток данных не включает кодированные аудиоданные для отключенного одного или нескольких аудиообъектов. Таким образом, поток данных может быть приспособлен к тем аудиообъектам, которые являются фактически или в текущий момент доступными, так что общий контент данных текущего потока битов может быть уменьшен.

Генератор потока данных может быть сконфигурирован для динамического формирования выходного потока данных, причем в ответ на новый вводимые данные взаимодействия, данные управления взаимодействием обновляются, чтобы соответствовать новому вводимым данным взаимодействия, и при этом генератор потока данных сконфигурирован для включения обновленных данных управления взаимодействием в выходной поток данных. Таким образом, поток данных может посылаться с информацией реального времени. Другими словами, вводимые данные взаимодействия относительно каких-либо конкретных значений аудиообъектов может обновляться и обрабатываться быстро, предпочтительно в реальном времени.

Интерфейс приемника может быть сконфигурирован для приема основного потока аудиоданных, содержащего кодированные аудиоданные и метаданные, связанные с кодированными аудиоданными, и для дополнительного приема необязательных аудиоданных, содержащих необязательный аудиообъект, причем метаданные, связанные с упомянутым необязательным аудиообъектом, содержатся в упомянутом основном потоке аудиоданных. С помощью этой конфигурации процессор аудиоданных может объединить кодированные аудиоданные выбранного необязательного аудиообъекта в основной поток аудиоданных, получая в результате полный выходной поток аудиоданных, формируемый генератором потока данных. Таким образом, необязательные аудиообъекты могут быть дополнительно предоставлены пользователю впоследствии или по запросу.

Анализатор метаданных может быть сконфигурирован для определения возможности манипулирования аудио относительно отсутствующего аудиообъекта, не включенного в кодированные аудиоданные, причем интерфейс взаимодействия сконфигурирован для приема вводимых данных взаимодействия для отсутствующего аудиообъекта, и при этом интерфейс приемника сконфигурирован для запроса аудиоданных относительно отсутствующего аудиообъекта от поставщика аудиоданных или для приема аудиоданных относительно отсутствующего аудиообъекта из другого подпотока, содержащегося в широковещательном потоке, или соединения по межсетевому протоколу. Таким образом, устройство или пользователь могут манипулировать необязательно доступным добавочным аудиообъектом заранее, то есть, тогда как он фактически отсутствует. Добавочный аудиообъект может затем запрашиваться впоследствии через сеть Интернет или другой широковещательный поток.

Генератор потока данных может быть сконфигурирован для назначения, в выходном потоке данных, дополнительного типа пакета данным управления взаимодействием, дополнительный тип пакета является отличным от типов пакетов для кодированных аудиоданных и метаданных, или при этом генератор потока данных сконфигурирован для добавления, в выходной поток данных, данных заполнения в типе пакета данных заполнения, причем количество данных заполнения определяют на основании требования к скорости передачи данных, определенного выходным интерфейсом процессора аудиоданных. Таким образом, только один дополнительный тип пакета требуется назначать для того, чтобы выполнить транспорт манипулируемых метаданных, или данных управления взаимодействием, соответственно. Кроме того, процессор аудиоданных может пожелать добавить добавочные данные заполнения в последующий поток передачи данных, чтобы удовлетворять заданному требованию обычно более высокой скорости передачи данных для этой линии связи. Эти данные заполнения могут не содержать информацию и, считается, что подлежат игнорированию декодером.

Процессор аудиоданных может быть реализован как отдельное устройство, причем интерфейс приемника может образовывать вход в отдельное устройство через проводное или беспроводное соединение, при этом процессор аудиоданных может дополнительно содержать выходной интерфейс, подключенный к генератору потока данных, выходной интерфейс является конфигурируемым для вывода выходного потока данных, причем выходной интерфейс выполняет выход устройства и содержит беспроводной интерфейс или проводной блок соединения. Таким образом, может обеспечиваться простая связность, например в рамках сети.

Настоящее изобретение дополнительно может быть осуществлено посредством способа для обработки аудиоданных, способ содержит: прием кодированных аудиоданных и метаданных, связанных с кодированными аудиоданными; анализ метаданных для определения возможности манипулирования аудиоданными; прием вводимых данных взаимодействия и формирование из вводимых данных взаимодействия, данных управления взаимодействием, связанных с возможностью манипулирования аудиоданными; и получение данных управления взаимодействием и кодированных аудиоданных и метаданных и генерирование выходного потока данных, выходной поток данных содержит кодированные аудиоданные, по меньшей мере, часть метаданных и данные управления взаимодействием.

Настоящее изобретение дополнительно может быть реализовано посредством компьютерной программы для выполнения, при исполнении на компьютере или процессоре, вышеупомянутого способа обработки аудиоданных.

Настоящее изобретение дополнительно может быть реализовано согласно последующим вариантам осуществления:

Возможность манипулирования аудиоданными может выбираться из группы, содержащей, по меньшей мере, одно из выбора объекта, выбора из нескольких языков, выбора необязательных добавочных аудиообъектов, манипулирования объектом, изменения громкости для одного или нескольких объектов, изменения позиции объектов подобно перемещению дополнительного комментария от центрального динамика к правому динамику или произвольной позиции между ними, выбора предварительных установок, вместо выбора и манипулирования каждым объектом отдельно, причем выбирается предварительная установка из метаданных, где предварительная установка является предварительной выборкой объектов, рекомендуемых создателем контента для конкретного приложения или конкретного сценария использования, где предварительная установка содержит комбинацию объектов, например, с данными для различных уровней громкости, позиций и громкости/динамического диапазона сжатия по сравнению с представлением по умолчанию.

Генератор потока данных может быть сконфигурирован для формирования данных управления взаимодействием в виде независимой информации или в виде зависимой информации, причем зависимая информация зависит от метаданных и приводит, если применяется к декодированным аудиоданным, вместе с метаданными к манипулированию данными, заданному вводимыми данными взаимодействия.

Кодированные аудиоданные могут содержать необязательные аудиообъекты, и метаданные могут содержать метаданные для необязательных аудиообъектов, причем интерфейс приемника может быть сконфигурирован, чтобы дополнительно принимать основной поток аудиоданных, имеющий основные аудиоданные, при этом генератор потока данных может быть сконфигурирован для формирования выходного потока данных так, что выходной поток данных дополнительно содержит основные аудиоданные.

Генератор потока данных может быть сконфигурирован для добавления данных защиты от ошибок к выходному потоку данных и назначать дополнительный тип пакета данным защиты от ошибок, при этом генератор потока данных сконфигурирован, чтобы вывести данные защиты от ошибок из кодированных аудиоданных, метаданных или данных управления взаимодействием.

Генератор потока данных может быть сконфигурирован для формирования выходного потока данных в виде потока данных для потоковой передачи или в виде файла на основе контейнера в файловом формате, таком как файловый формат стандарта MPEG-4 ISO.

Кроме того предлагается, что процессор аудиоданных не имеет функциональности для декодирования кодированных аудиоданных.

Процессор аудиоданных может быть реализован в телевизионной абонентской приставке, телевизионном приемнике или записывающем-приемном устройстве аудио/видео.

Процессор аудиоданных может дополнительно содержать выходной интерфейс, чтобы передавать выходной поток данных на последующее устройство через соединение HDMI.

Также может быть обеспечен процессор аудиоданных, то есть интегрирован или реализован, вместе с декодером в рамках того же (аппаратно-реализованного) устройства. Например, процессор аудиоданных и декодер могут обеспечиваться вместе в TV-приемнике, телевизионной абонентской приставке, A/V приемнике или подобном. Процессор аудиоданных и декодер могут осуществлять связь через структуры внутренних шин данных. Такая конфигурация может быть особенно требуемой в телевизионных устройствах, содержащих решения «Система на кристалле» (SoC).

Соответственно или альтернативно, процессор аудиоданных может быть реализован как независимый и отдельный функциональный компонент в том же устройстве, подобно случаю, описанному выше для случая отдельного устройства, с единственным отличием, что выходной интерфейс выполняет выход процессора аудиоданных на соединение, внутреннее к устройству, например, используя внутреннюю шину данных.

Относительно упомянутых выше признаков, процессор аудиоданных согласно изобретению способен обеспечить легкое взаимодействие с устройством или пользователем, тогда как обеспечивая в то же время простую настройку устройства, предпочтительно используя существующие установки.

Кроме того, процессор аудиоданных согласно изобретению обеспечивает решение вышеупомянутой проблемы, вкладывая взаимодействие устройства или взаимодействие пользователя в виде добавочных данных взаимодействия в битовый поток аудио. Путем реализации вышеописанных признаков, реализации декодера могут требовать только одного интерфейса, который воспринимает и кодированные данные представления, и данные управления взаимодействием. Уже существующие соединения могут не требовать реализации новых каналов для управляющей информации, но усилие по реализации перемещается в кодек непосредственно. В сложных настройках дополнительно гарантируется, что информация управления взаимодействием тесно связана с кодированным содержанием и, следовательно, не может потеряться, когда подается через несколько этапов обработки.

Примеры вариантов осуществления согласно настоящему изобретению показаны на чертежах и будут пояснены в последующем, причем:

Фиг.1 показывает процессор аудиоданных согласно настоящему изобретению,

Фиг.2 показывает способ для обработки аудиоданных согласно изобретению,

Фиг.3 показывает пример кодированных аудиоданных и связанных метаданных,

Фиг.4 показывает пример обработки входных и выходных потоков,

Фиг.5 показывает дополнительный пример обработки входных и выходных потоков,

Фиг.6 показывает процессор аудиоданных, обрабатывающий необязательные аудиоданные,

Фиг.7 показывает процессор аудиоданных, реализуемый в отдельном устройстве,

Фиг.8 показывает примерный вариант использования с первым устройством и вторым устройством, и

Фиг.9 показывает примерный сценарий с телевизионной абонентской приставкой и приемником аудио-видео.

В этом документе в целом, и конкретно в последующем описании термин "взаимодействие" используется в смысле взаимодействия пользователем или взаимодействия устройством, а также взаимодействия в общем, то есть, взаимодействия в общем смысле. Другими словами, "взаимодействие" может означать ʺвзаимодействие пользователяʺ или ʺвзаимодействие устройстваʺ, или взаимодействие в общем. В некоторых частях описания термины "пользователь" и "взаимодействие" используются синонимично. Например, пользовательский интерфейс может синонимично использоваться в смысле интерфейса взаимодействия и наоборот.

Кроме того, "пользователь" может быть или пользователем- человеком, или пользователем-машиной, таким как (аппаратно-реализованное) устройство или программно-реализованное устройство.

Кроме того, пользовательский интерфейс может присутствовать как специфическая для устройства предварительно установленная конфигурация, которая, исключительно или в дополнение к пользовательскому вводу, может управлять манипулированием данными.

Фиг. 1 показывает процессор 1 аудиоданных согласно настоящему изобретению. Процессор 1 аудиоданных содержит интерфейс 2 приемника для приема кодированного входного потока 15, который содержит кодированные аудиоданные 3 и метаданные 4. Метаданные 4 связаны с кодированными аудиоданными 3, каковая связь указана стрелкой 110. Например, кодированные аудиоданные 3 могут содержать аудиообъекты, тогда как метаданные 4 могут содержать дополнительную информацию о возможностях манипулирования для упомянутых аудиообъектов.

Процессор 1 аудиоданных дополнительно содержит анализатор 5 метаданных для анализа метаданных 4, чтобы определить возможность манипулирования аудиоданными. Например, регулируемый уровень громкости, регулируемая пространственная позиция или выбираемый язык могут представлять возможность манипулирования аудиоданными для аудиообъекта.

Кроме того, процессор 1 аудиоданных содержит интерфейс 6 взаимодействия для приема вводимых данных 7 взаимодействия. Интерфейс 6 взаимодействия дополнительно сконфигурирован для формирования данных 8управления взаимодействием на основе вводимых данных 7 взаимодействия. Упомянутые данных 8 управления взаимодействием связаны с вышеупомянутой возможностью манипулирования аудиоданными. Например, пользователь может взаимодействовать с устройством путем регулировки громкости или пространственной позиции аудиообъекта, или путем выбора языка через интерфейс 6 взаимодействия. В этом случае интерфейс 6 взаимодействия является пользовательским интерфейсом 6, который может формировать соответствующие данные 8 пользовательского управления, которые связаны с пользовательским выбором.

Дополнительно или альтернативно, интерфейс 6 взаимодействия может быть интерфейсом 6 взаимодействия (специфическим для) устройства. В этом случае, интерфейс 6 взаимодействия устройства конфигурируется для формирования данных 8 управления взаимодействием устройства на основании вводимых данных 7 взаимодействия устройства. Например, устройство, такое как наушники и т.п. может быть соединено с интерфейсом 6 взаимодействия. Соединение между наушниками и интерфейсом 6 взаимодействия, может обнаруживаться посредством аудио процессора и таким образом рассматриваться в качестве вводимых данных 7 взаимодействия. Таким образом, при подключении наушников, интерфейс 6 взаимодействия обеспечивает специфические для наушников данные 8 управления взаимодействием, такие как манипулирования аудио-объектом, например, автоматическое снижение громкости, предварительно выбранный язык или настройка в аппаратной конфигурации.

Другими словами, вместо ручного взаимодействия пользователя, интерфейс 6 взаимодействия автоматически выбирает объекты или настройки на основании обнаружения некоторых устройств. Интерфейс 6 взаимодействия формирует специфические для устройства данные 8 управления взаимодействием.

Процессор 1 аудиоданных дополнительно содержит генератор 9 потока данных. Генератор 9 потока данных получает данные 8 управления взаимодействием, кодированные аудиоданные 3 и метаданные 4. Генератор 9 потока данных сконфигурирован для формирования выходного потока 10 данных, который содержит вышеупомянутые данные 8 управления взаимодействием, кодированные аудиоданные 3 и метаданные 4.

Фиг. 2 показывает соответствующий способ для обработки аудиоданных согласно настоящему изобретению.

На этапе 201 принимают кодированные аудиоданные 3 и связанные метаданные 4.

На этапе 202 метаданные 4 анализируют для определения возможности манипулирования аудиоданными.

На этапе 203 принимают вводимые данные взаимодействия, причем данные управления взаимодействием, связанные с возможностью манипулирования аудиоданными, формируют из упомянутого вводимых данных взаимодействия на этапе 204.

На этапе 205 получают данные управления взаимодействием и кодированные аудиоданные и метаданные, и формируют выходной поток данных, причем упомянутый выходной поток данных содержит кодированные аудиоданные, по меньшей мере, часть метаданных и данные управления взаимодействием.

Со ссылкой на Фиг. 3 кодированные аудиоданные 3 содержат отдельные кодированные аудиообъекты 11, 12. Кроме того, по меньшей мере, часть 13, 14 метаданных 4 относится (указано стрелками 110, 120) к соответствующему аудиообъекту 11, 12. Например, часть ʹMD1ʹ, 13 метаданных 4 связана с соответствующим кодированным аудиообъектом ʹAO1ʹ 11, тогда как часть ʹMD2ʹ 14 метаданных 4 связана с соответствующим кодированным аудиообъектом ʹAO2ʹ 12.

Анализатор 5 метаданных сконфигурирован для анализа соответствующей части 13, 14 относительно кодированных аудиообъектов 11, 12, чтобы определять возможность манипулирования объектом, по меньшей мере, для одного из упомянутых аудиообъектов 11, 12. Другими словами, анализатор 5 метаданных осуществляет анализ метаданных 13, 14 относительно соответственных аудиообъектов 11, 12, чтобы определить возможность манипулирования аудиообъектом для каждого аудиообъекта 11, 12. Например, анализатор 5 метаданных определяет, что аудиообъект ʹAO1ʹ 11 может содержать регулируемый уровень громкости. Анализатор 5 метаданных может представить эту потенциальную регулируемость уровня громкости (возможность манипулирования аудиообъектом) пользователю через пользовательский интерфейс 6.

Пользовательский интерфейс 6 сконфигурирован для формирования, для, по меньшей мере, одного аудиообъекта 11, 12, данных 8 пользовательского управления из пользовательского ввода 7, связанного, по меньшей мере, с одним кодированным аудиообъектом 11, 12. Например, пользователь может пожелать скорректировать уровень громкости аудиообъекта ʹAO1ʹ 11 и таким образом обеспечивает соответственный ввод 7 через пользовательский интерфейс 6. Пользовательский интерфейс 6 формирует соответственные данные 8 пользовательского управления, содержащие информацию, что и насколько пользователь желает скорректировать уровень громкости аудиообъекта ʹAO1ʹ 11.

Соответственно, пользовательский интерфейс 6 конфигурируется для представления пользователю возможности манипулирования аудиообъектом для аудиообъекта 11, 12, выведенной из метаданных 4 анализатором 5 метаданных. Пользовательский интерфейс 6 дополнительно сконфигурирован для приема пользовательского ввода 7 от пользователя относительно конкретного манипулирования данными (например, конкретного уровня громкости или конкретного языка) для возможности манипулирования данными (например, диапазона регулировки уровня громкости или набора доступных языков).

Со ссылкой на Фиг.1 и 9, генератор 9 потока данных сконфигурирован для обработки потока 15 данных, содержащего кодированные аудиоданные 3 и метаданные 4, принятые интерфейсом 2 приемника, без декодирования кодированных аудиоданных 3. Например, при условии, что процессор 1 аудиоданных согласно изобретению реализован в телевизионной абонентской приставке 19, 26, он может пересылать выходной поток 10, 32 данных на внешний приемник 28, 33 аудио-видео, который содержит декодер. В этом случае, выходной поток 10, 32 данных может быть еще кодированным, поскольку декодирование будет выполняться не телевизионной абонентской приставкой 19, 26, а приемником 28, 33 аудио-видео.

Альтернативно, генератор 9 потока данных сконфигурирован для копирования кодированных аудиоданных 3 и метаданных 4 без изменений в выходном потоке 10 данных.

В любом случае генератор 9 потока данных сконфигурирован для добавления добавочной части данных, содержащей данные 8 управления взаимодействием, к кодированным аудиоданным 3 и/или метаданным 4 в выходном потоке 10 данных, как можно видеть на Фиг.4.

Со ссылкой на Фиг.5 генератор 9 потока данных дополнительно сконфигурирован, чтобы объединять два входных потока 15a, 15b в общий выходной поток 10, причем дополнительная часть данных, содержащая данные 8 управления взаимодействием, добавляется к кодированным аудиоданным 3 и/или метаданным 4 в выходном потоке 10 данных.

Предпочтительно, генератор 9 потока данных сконфигурирован для формирования в выходном потоке 10 данных данных 8 управления взаимодействием в том же формате, что и метаданные 4. Таким образом, данные 8 управления взаимодействием могут легко объединяться с доступными метаданными 4.

Если, как упомянуто выше, генератор 9 потока данных копирует метаданные 4, исходные метаданные 4 могут оставаться в выходном потоке 10 в дополнение к каким-либо манипулируемым метаданным, содержащим дополнительные данные 8 управления взаимодействием для соответственных аудиообъектов 11, 12. И исходные и манипулируемые метаданные могут посылаться на декодер 28, 33, чтобы позволять декодеру 28, 33 либо идентифицировать различия как результат взаимодействия (пользователя) и получать всю информацию о значениях по умолчанию, как предназначено создателем контента, либо вычислять результат взаимодействия (пользователя) из исходных метаданных 4 и манипулируемых метаданных 4ʹ (или данных 8 управления взаимодействием).

Кроме того со ссылкой на Фиг.1, генератор 9 потока данных сконфигурирован для динамического формирования выходного потока 10 данных. Каждый раз, когда пользователь или устройство обеспечивает новые вводимые данные 7 взаимодействия в интерфейс 6 взаимодействия, данные 8 управления взаимодействием обновляются соответственно, чтобы соответствовать упомянутым новым вводимым данным 7 взаимодействия. Генератор 9 потока данных включает эти обновленные данные 8 управления взаимодействием в выходной поток 10 данных.

Фиг. 6 показывает процессор 1 аудиоданных согласно изобретению, причем обрабатывается необязательная аудио информация. Как можно видеть, входной поток 15 данных является основным потоком аудиоданных, содержащим кодированные аудиоданные 3 и связанные метаданные 4. Кроме того, интерфейс 2 приемника дополнительно принимает необязательные аудиоданные 16, содержащие необязательный аудиообъект 17.

Однако метаданные, связанные с упомянутым дополнительным необязательным аудиообъектом ʹAOxʹ 17, то есть информация относительно возможностей манипулирования для упомянутого необязательного аудиообъекта ʹAOxʹ 17, содержится в основном потоке 15 аудиоданных. Таким образом, аудиообъект 17 является известным, но не присутствующим и, следовательно, необязательным.

Например, пользователь прослушивает оркестр, содержащий барабаны, струнные и фортепьяно. Духовые инструменты могут включаться по выбору. Если слушатель желает теперь добавить духовой инструмент, он может сделать это добавлением необязательного духового инструмента, например трубы, в качестве необязательного аудиообъекта 17. Поскольку возможности манипулирования для упомянутой трубы уже содержатся в метаданных 4 в основном потоке 15 аудиоданных, пользователь имеет возможность манипулирования добавленной в текущий момент трубой согласно своим желаниям.

Кроме того со ссылкой на Фиг. 6, упомянутый добавочный аудиообъект ʹAOxʹ 17 может быть отсутствующим аудиообъектом, который не включен в кодированные аудиоданные 3 и/или метаданные 4. Таким образом, аудиообъект 17 не является известным и, следовательно, является отсутствующим.

В этом случае, интерфейс 2 приемника конфигурируется для запроса аудиоданных 16, принадлежащих упомянутому отсутствующему аудиообъекту 17, от поставщика аудиоданных 35. Интерфейс 2 приемника также конфигурируется для приема упомянутых аудиоданных 16 из другого подпотока, содержащегося в широковещательном потоке 36. Интерфейс 2 приемника дополнительно конфигурируется для извлечения упомянутых аудиоданных 16 из сети Интернет 37 через соединение по межсетевому протоколу.

Например, пользователь, смотрящий фильм, может выбрать конкретный язык из доступного набора языков, содержащего, например, английский язык, немецкий язык и французский язык. Четвертый язык является известным, но не присутствующим и, следовательно, является отсутствующим. Однако четвертый язык может впоследствии обеспечиваться через сеть Интернет, например.

Снова со ссылкой на Фиг. 4 и 5, входной поток 15 данных и выходной поток 10 данных могут быть обычно доступными в пакетизированной структуре. Например, транспорт аудио MPEG-H поверх последовательных интерфейсов определен синтаксисом транспорта MHAS (см. раздел 13 в N14459 (проект текста документа Комитета ISO/IEC 23008-3) [1]). Этот синтаксис определяют пакетизированным образом.

Следовательно, для выполнения транспорта манипулируемых метаданных 4 или данных 8 управления взаимодействием только один дополнительный тип пакета подлежит назначению для новой управляющей информации.

Кроме того, первое устройство ʹустройство #1ʹ 19, содержащее процессор 1 аудиоданных, может пожелать добавить добавочные данные 18 заполнения в последующий поток передачи 10, чтобы удовлетворять заданному требованию обычно намного более высокой скорости передачи данных для этой линии связи. Эти данные 18 заполнения могут не содержать информацию и, считается, что подлежат игнорированию вторым устройством, которое принимает манипулируемый выходной поток 10. Чтобы выполнить это, может назначаться дополнительный тип пакета данных.

Кроме того, поскольку транспортный уровень входящих потоков на ʹустройство #1ʹ 19 может иметь свою собственную защиту от ошибок, но исходящая линия связи не предлагает такой уровень безопасности, устройство #1 может добавить пакеты данных, содержащие данные контроля по четности. Они могут добавляться к потокам MHAS в виде дополнительного типа пакета.

Кроме того, поскольку транспортный уровень может передавать добавочные данные в виде дополнительной информации, эти пакеты данных также могут быть упакованы в аудиопоток MHAS в виде другого типа пакета. Примером для этих данных являются дескрипторы в транспортном и программном потоке по MPEG-2.

Другим примером для хранения кодированных аудиоданных является разработанный ISO файловый формат mp4. Подобно потоковому формату, для случая файлового формата также возможно считывать, манипулировать и записывать обратно метаданные в файл или сохранять данные пользовательского управления в дополнение к исходным метаданным без изменения данных кодированного аудиосигнала.

Ссылки

[1] ISO N14459 (ISO/IEC 23008-3 Committee Draft Text)

[2] IEC 60958-3: ʺDigital audio interface - Part 3: Consumer applicationsʺ

[3] IEC 61937-11, ʺDigital audio - Interface for non-linear PCM encoded audio bitstreams applying IEC 60958 - Part 11: MPEG-4 AAC and its extensions in LATM/LOAS"

Обращаясь теперь к Фиг.7, процессор 1 аудиоданных реализуется в виде отдельного устройства ʹустройство #1ʹ 19. В упомянутом отдельном устройстве 19, интерфейс 2 приемника образует вход 20 в отдельное устройство 19 через проводное соединение 21 или беспроводное соединение 22.

Процессор 1 аудиоданных дополнительно содержит выходной интерфейс 23, который подключен к генератору 9 потока данных и обеспечивает выход для устройства 19. Кроме того, выходной интерфейс 23 сконфигурирован, чтобы выводить выходной поток 10 данных через беспроводной интерфейс 24 или проводной блок 25 соединения.

Дополнительные способы выполнения изобретения могут быть описаны на примере в сценарии, в котором являются доступными два отдельных устройства. Первое устройство ʹустройство #1ʹ содержит процессор аудиоданных согласно изобретению. Второе устройство ʹустройство #2ʹ принимает обработанные, но все еще кодированные аудиоданные от ʹустройства #1ʹ для декодирования упомянутых аудиоданных.

Как можно видеть на фигурах Фиг. 8 и 9, первое устройство 19, 26 принимает входной поток 15, содержащий кодированные аудиоданные 3 и связанные метаданные 4. Первое устройство 19, 26 считывает информацию метаданных 4 из входящего потока 15 аудиоданных или транспортного потока и оставляет кодированные данные аудиосигнала 3 неизменными. Первое устройство 19, 26 осуществляет анализ метаданных 4 и представляет информацию об объектах на приложение, например, в интерфейсе 6 взаимодействия, включая ограничения на манипулирование объектом, которые являются частью метаданных 4. Из приложения или интерфейса 6 взаимодействия пользователь может выбирать объекты и оперировать ими, чтобы приспособить презентацию аудио к своим персональным предпочтениям:

- Выбор объекта: например, выбрать один из нескольких языков, выбрать необязательные добавочные аудиообъекты, и т.д.

- Манипулирование объектом: например, изменение громкости объектов, изменение позиции объектов подобно перемещению добавочного комментария от центрального динамика к правому динамику или произвольной позиции между ними,

- Выбор предварительных установок: вместо выбора и манипулирования каждым объектом отдельно, пользователь может также выбрать предварительную установку из метаданных. Предварительной установкой является предварительный выбор объектов, рекомендуемых создателем контента для конкретных приложений или сценариев использования. Предварительная установка может содержать комбинацию объектов, например, с различными уровнями громкости, позициями и данными громкости/динамического диапазона сжатия по сравнению с представлением по умолчанию.

На следующем этапе первое устройство 19, 26 сохраняет информацию об интерактивности пользователя (данные 8 управления взаимодействием) в кодированный поток 10, 32 аудиоданных. Первое устройство 19, 26 может записать либо измененные значения, либо величину манипулирования, например, значения смещения и коэффициент умножения, назад в часть 4 метаданных или выделенную часть потока кодированных аудиоданных, так что выход первого устройства 19, 26 является снова действительным кодированным аудио потоком 10, 32.

Первое устройство 19, 26 может использовать другой идентификатор, метку или тип пакета, чтобы инкапсулировать манипулируемые метаданные, или данные 8 пользовательского управления, соответственно. Исходные метаданные 4 могут оставаться в выходном потоке 10, 32 в дополнение к манипулируемым метаданным. Другой идентификатор, метка или тип пакета используются для манипулируемых метаданных или данных 8 управления взаимодействием, соответственно, чтобы давать возможность второму устройству 28, 33 идентифицировать, было ли манипулирование метаданными 4 ранее. Исходные метаданные 4 остаются в потоке 10, 32, чтобы позволять второму устройству 28, 33 либо идентифицировать различия как результат взаимодействия пользователя или устройства и получать всю информацию о значениях по умолчанию, как намечено создателем контента, либо вычислять результат взаимодействия пользователя или устройства из исходных метаданных 4 и манипулируемых метаданных (или данных 8 пользовательского управления).

В виде части манипулируемых метаданных, данные электронной подписи могут вкладываться в метаданные 4. Подпись может содержать информацию о приложении, устройстве или пользователе, который манипулировал метаданными 4.

Аудиообъекты, которые не выбраны пользователем, могут либо помечаться как отключенные в метаданных 4 или данных 8 управления взаимодействием, либо альтернативно часть кодированного аудио этих объектов может удаляться из аудиопотока 10.

Процесс обработки интерактивности пользователя или устройства может быть динамическим, то есть, каждый раз, когда пользователь или устройство изменяет настройки для выбора и манипулирования, первое устройство 19, 26 записывает эти измененные значения назад в часть 4 метаданных кодированного потока 10 аудиоданных.

Также является возможным, что второе устройство 28, 33 дополнительно манипулирует метаданными 4, либо по причине автоматизированного процесса (например, чтобы приспособить аудио сцену к ситуации прослушивания), либо дополнительного интерфейса взаимодействия. В этом случае, второе устройство 28, 33 может записать манипулируемые значения назад в кодированный поток 10 аудиоданных, например, путем перезаписи значений, записанных первым устройством 19, 26.

С возвратом на Фиг. 6, дополнительный способ выполнения изобретения описывается на примере в так называемом Гибридном варианте использования.

Кодированные аудиоданные 3 выбранных необязательных аудиообъектов 17 могут не быть частью основного потока 15 аудиоданных, но могут доставляться с использованием других транспортных каналов. Например, основной поток 15 аудиоданных доставляют на широковещательном канале, тогда как кодированные аудиоданные 3 необязательного аудиообъекта 17 по запросу доставляют по IP соединению 37.

Полные метаданные 4 для всех объектов включают в основной поток 15 аудиоданных, так что вся информация для взаимодействия и выбора объекта является доступной в первом устройстве 19. Следовательно, процесс обработки взаимодействия и сохранения данных 8 управления взаимодействием в потоке 10 являются идентичными случаю, описанному выше.

Если пользователь выбирает объект 17, и кодированные аудиоданные 3 не являются частью основного потока 15 аудиоданных, первое устройство 19 может принимать кодированные аудиоданные 3 этого объекта 17 на информационном соединении, отличном от основного потока 15 аудиоданных, например, другом подпотоке 36 в широковещательном потоке или IP соединении 37.

На следующем этапе, первое устройство 19 объединяет кодированные аудиоданные 3 выбранного объекта 17 в основной аудиопоток 15, имея в результате полный поток 10 аудиоданных для последующей доставки на второе устройство 33.

Кроме того, предлагается возможность транспортировать данные 8 взаимодействия вложенными в совместимый с MPEG-H битовый поток 10.

Как можно видеть на Фиг. 9, усовершенствованные мультимедийные системы часто не интегрируют всю требуемую функциональность в одном единственном устройстве, а предпочтительнее реализуют различные функциональные компоненты в специализированных устройствах, таких как телевизионная абонентская приставка 26, TV-приемник 27 или AVR-приемник 28, например. Эти устройства осуществляют связь через стандартизированные интерфейсы, такие как HDMI.

Однако также является возможным, что, по меньшей мере, процессор и декодер аудиоданных встраивают в одно одиночное устройство. Может быть обеспечен процессор аудиоданных, то есть встроен или реализован, вместе с декодером в рамках того же (аппаратно-реализованного) устройства. Например, процессор и декодер аудиоданных могут обеспечиваться вместе в TV-приемнике, телевизионной абонентской приставке или AV-приемнике или подобном. Процессор аудиоданных и декодер могут осуществлять связь через структуры внутренних шин данных. Такая конфигурация может быть особенно требуемой в телевизионных устройствах, содержащих решения Системы на кристалле (SoC).

Соответственно или альтернативно, процессор аудиоданных может быть реализован как независимый и отдельный функциональный компонент в том же устройстве, подобно случаю, описанному выше для случая двух отдельных устройств, с единственным различием, что выходной интерфейс выполняет выход процессора аудиоданных на соединение, внутреннее по отношению к устройству, например, использующее внутреннюю шину данных.

Один вариант использования для воспроизведения контента по MPEG-H с множеством участвующих устройств является случаем, когда телевизионная программа принимается первым устройством 19, таким как телевизионная абонентская приставка (STB) 26, которое выбирает соответствующий канал передачи и извлекает соответствующие элементарные потоки, содержащие требуемое кодированное содержание. Взаимодействие, то есть, пользовательское управление для выбора аудио элемента и взаимодействия/манипулирования также обычно является реализуемым здесь.

Декодер MPEG-H 31 может находиться не в STB 26, а в приемнике аудио-видео (AVR) 28 вместо этого. Этот пример использования изображен на Фиг. 9.

В этом случае, извлеченные потоки должны подаваться на AVR 28 для воспроизведения; передача между этими двумя устройствами 26, 28 может выполняться либо путем передачи декодированного/ разуплотненного представления (PCM с аудио), либо, особенно если ограничения полосы пропускания применяются на используемой линии внутренней связи, в кодированном представлении.

AVR 28 затем обеспечивает только интерфейс конфигурирования, к которому обычно осуществляет доступ пользователь только один раз при установке системы, и действует в ʺрежиме ведомогоʺ во время нормальной работы.

Поскольку взаимодействие происходит в STB (устройство #1) 26, и декодирование и воспроизведение реализуются в AVR (устройство #2) 28, обязательно наличие способности посылать информацию интерактивности пользователя от STB 26 на AVR 28.

Чтобы выполнить описанный вариант использования и устранить описанные ограничения, предлагается вкладывать данные 8 информации взаимодействия в кодированный поток 10 аудиоданных, как можно видеть на Фиг. 8.

Первое устройство 19 считывает информацию 4 метаданных из mpegh3daConfig() для входящего потока 15 аудиоданных или посредством внеполосной сигнализации, такой как дескрипторы из документа TS MPEG-2. Оно затем анализирует метаданные 4 аудио элемента и представляет информацию об объектах в интерфейсе 6 взаимодействия, включая ограничения на манипулирование объектом, которые являются частью метаданных 4. Из интерфейса 6 взаимодействия пользователь может выбирать и манипулировать аудио элементом, чтобы приспособить представление аудио к своему персональному предпочтению. ʺДанные взаимодействия пользователяʺ описывают выбор объекта и манипулирование им.

На следующем этапе, первое устройство 19 записывает эти данные в поток 32 аудиоданных MHAS, используя новый (тип пакета) MHASPacketType. Выход первого устройства 19 является снова действительным кодированным аудиопотоком 10, 32. Исходные метаданные 4 в mpegh3daConfig() и данные 3 кодированного аудиосигнала не модифицируют.

Присутствие пакета этого MHASPacketType дает возможность второму устройству 28, 33 идентифицировать, что произошло взаимодействие (пользователя). Исходные метаданные 4 остаются в потоке 10, 32, чтобы позволять второму устройству 10, 33 получать всю информацию о значениях по умолчанию, как намечено создателем контента.

Аудио элементы, которые не выбраны пользователем, могут быть либо помечены как отключенные в метаданных 4, либо альтернативно часть 3 кодированного аудиообъектов может быть удалена из аудиопотока 10.

Процесс обработки взаимодействия, то есть, интерактивность либо устройства, либо пользователя может быть динамической, то есть всякий раз, когда пользователь или устройство изменяют настройки для выбора и манипулирования, первое устройство 19, 26 записывает эти измененные значения назад в указанную часть кодированного потока 10 аудиоданных.

MHAS-расширение

Транспорт аудио в MPEG-H поверх последовательных интерфейсов определен синтаксисом транспорта MHAS (см. раздел 13 из N14459 (проект текста документа комитета 23008-3 ISO/IEC) [1]). Этот синтаксис задается пакетизированным образом. Следовательно, для выполнения транспорта данных взаимодействия пользователя только один дополнительный упакованный тип требует назначения для новой управляющей информации:

Таблица 1 - Синтаксис MHASPacketPayload()

Синтаксис	Количество битов	Мнемоника
MHASPacketPayload (MHASPacketType)
{
switch (MHASPacketType) {
case PACTYP_SYNC:
0xA5; /* синхрогруппа */	8	uimsbf
break;
case PACTYP_MPEGH3DACFG:
mpegh3daConfig();
break;
case PACTYP_MPEGH3DAFRAME:
mpegh3daFrame();
break;
case PACTYP_SYNCGAP:
syncSpacingLength=escapedValue(16,24,24);	16,40,64	uimsbf
break;
case PACTYP_MARKER:
for (i=0; i< MHASPacketLength; i++) {
marker_byte(i);	8
}
break;
case PACTYP_USERINTERACTION:
mpegh3daElementInteraction();
break;
}
ByteAlign();
}

Таблица 2 - Значение MHASPacketType

MHASPacketType	Значение
PACTYP_SYNC	0
PACTYP_MPEGH3DACFG	1
PACTYP_MPEGH3DAFRAME	2
/* зарезервировано для ISO использования */	3-6
PACTYP_SYNCGAP	7
PACTYPE_MARKER	8
PACTYP_USERINTERACTION	12
/* зарезервировано для ISO использования */	13-127
/* зарезервировано для использования вне контекста ISO */	128-261
/* зарезервировано для ISO использования */	262-389
/* зарезервировано для использования вне контекста ISO */	390-517
Примечание: специфические для приложения значения MHASPacketType предписаны находиться в пространстве, зарезервированном для использования вне контекста ISO. Они пропускаются декодером, если минимум структуры требуется декодером для пропуска этих расширений.

PACTYP_USERINTERACTION

PACTYP_USERINTERACTION в MHASPacketType может использоваться для подачи данных взаимодействия элемента на декодер.

Для этого типа пакета MHASPacketLabel имеет такое же значение, что и пакет PACTYP_MPEGH3DACFG в MHASPacketType, к которому данные взаимодействия (пользователя) 8 относятся.

Синтаксис

Синтаксический элемент mpegh3daElementInteraction() (см. [2]) из интерфейса для взаимодействия пользователя является повторно используемым для переноса данных 8 взаимодействия (пользователя), вложенных в битовый поток 10.

Ссылки

[1] ISO/IEC JTC1/SC29/WG11 N14459, "Text of ISO/IEC 23008-3/CD, 3D audio"

[2] FhG, ʺNormative Interface for User Interactionʺ, Input to the Meeting of AHG on 3D Audio, DRC and Audio Maintenance, June 2-3, 2014, Paris, France

Кроме того, предложен возможный синтаксис для нормативного интерфейса для интерактивности пользователя.

Предлагается извлекать интерфейс для управления взаимодействием из интерфейса для управления воспроизведением. Синтаксический элемент mpegh3daAudioRendering() затем задает параметры воспроизведения и вновь определенный синтаксический элемент mpegh3daElementInteraction() содержит информацию, которая необходима для взаимодействия (пользователя).

Определение синтаксического элемента mepegh3daElementInteraction()

Синтаксический элемент mpegh3daElementInteraction() обеспечивает интерфейс для любых возможных взаимодействий (пользователя). Определены два режима взаимодействия.

Первый является усовершенствованным режимом взаимодействия, где взаимодействие может сигнализироваться для каждой группы элементов, которая присутствует в аудио сцене. Этот режим дает возможность пользователю свободно выбирать (в рамках ограничений группы переключения), какие группы воспроизводить, и взаимодействовать со всеми из них (в рамках заданных диапазонов и ограничений).

Второй режим является основным режимом взаимодействия, где пользователь может выбрать одну из определенных GroupPresets (из синтаксических элементов mae_AudioSceneInfo(), см. 14.2 в [1]) в качестве предварительной установки. Состояние включена-отключена для групп, на которые имеются ссылки в условиях выбранной GroupPresets, затем задается и не может изменяться пользователем. Пользователь может только изменить состояние включена-отключена других групп и позицию и коэффициент усиления для всех групп согласно определенным допущениям и областям значений (частот/дальностей).

Различают четыре различные модификации элемента:

- Интерактивность включена/отключена (On/Off): Группа элементов включена или отключена (Редакционное замечание: называемое ранее ʺизменение объектаʺ [4]),

- Интерактивность позиции: Позиции группы элементов изменяются (азимут, высота и расстояние, Редакционное замечание: называемое ранее ʺизменение позицииʺ [4])

- Интерактивность коэффициента усиления: Изменяется уровень/усиление группы элементов (Редакционное замечание: называемое ранее ʺизменение коэффициента усиленияʺ [4])

- Интерактивность WIRE: Выход WIRE является произвольный выходом в дополнение к подключенным громкоговорителям. Аудио контент элементов группы направляется на выход WIRE, например, контент для прослушивания с ослабленным слухом или дорожка для дополнительного языка.

Все модификации определены на группе уровня элемента, поскольку группы собирают связанные элементы, которыми следует манипулировать только совместно.

Введена подпись, чтобы сигнализировать, например, в каком устройстве имела место интерактивность.

Таблица 3a Синтаксис mpegh3daElementInteraction()

Синтаксис	Количество битов	Мнемоника
mpegh3daElementInteraction()
{
ei_InteractionSignatureDataLength;	8	uimsbf
if (ei_InteractionSignatureDataLength>0) {
ei_InteractionSignatureDataType;	8	uimsbf
for (c=0; c < bsInteractionSignatureDataLength+1; c++) {
ei_InteractionSignatureData[c];	8	uimsbf
}
}
ElementInteractionData();
}

ei_InteractionSignatureDataLength Это поле задает длину последующей подписи взаимодействия в байтах.

ei_InteractionSignatureDataType Это поле задает тип подписи. Следующие значения являются возможными:

В Таблице 3b показан дополнительный вариант осуществления mpegh3daElementInteraction():

Таблица 3b Синтаксис mpegh3daElementInteraction()

Синтаксис	Количество битов	Мнемоника
mpegh3daElementInteraction()
{
ei_InteractionSignatureDataLength;	8	uimsbf
if (ei_InteractionSignatureDataLength >0) {
ei_InteractionSignatureDataType;	8	uimsbf
for ( c=0; c < bsInteractionSignatureDataLength+1; c++ ) {
ei_InteractionSignatureData [c];	8	uimsbf
}
}
ElementInteractionData();
hasLocalZoomAreaSize;	1	bslbf
if (hasLocalZoomAreaSize) {
LocalZoomAreaSize();
}
}

Таблица 4a Значение ei_InteractionSignatureDataType

значение	смысл
0	Общая строка
1-127	Зарезервировано для ISO использования
128-255	Зарезервировано для использования вне контекста ISO

ei_InteractionSignatureData Это поле содержит подпись, задающую создателя данных взаимодействия.

Дополнительный вариант осуществления ei_InteractionSignatureDataType показан в Таблице 4b:

Таблица 4b Значение ei_InteractionSignatureDataType

значение	смысл
0	Общая строка в коде UTF-8 согласно ISO/IEC 10646
1-127	Зарезервировано для ISO использования
128-255	Зарезервировано для использования вне контекста ISO

ei_InteractionSignatureData Это поле содержит подпись, задающую создателя данных взаимодействия.

hasLocalZoomAreaSize Флаг, который задает, является ли доступной информация о размере локальной области изменения масштаба. Если этот флаг включен, применяется повторное отображение объекта для изменения масштаба.

Таблица 5 Синтаксис ElementInteractionData()

Синтаксис	Количество битов	Мнемоника
ElementInteractionData()
{
ei_interactionMode;	1	bslbf
ei_numGroups; /Канал, Объект, HOA, SAOC/	7	uimsbf
if (ei_interactionMode == 0) {
/* прямое взаимодействие элемента группы=advanced */
ei_GroupInteractivityStatus (ei_numGroups);
} else {
/* взаимодействие GroupPreset=basic */
ei_groupPresetID;	5	uimsbf
ei_GroupInteractivityStatus (ei_numGroups);
}

ei_interactionMode Флаг, который задает, выбран ли усовершенствованный тип взаимодействия или основной режим взаимодействия.

ei_numGroups Это поле содержит число групп в аудио сцене.

ei_groupPresetID Это поле содержит groupPresetID, который задается в аудио сцене. Этот ID отражает предварительно заданный выбор пользователя.

Таблица 6a Синтаксис ei_GroupInteractivityStatus()

Синтаксис	Количество битов	Мнемоника
ei_GroupInteractivityStatus (numGroups)
{
for (grp=0; grp < numGroups; grp++) {
ei_groupID[grp];	7	uimsbf
ei_onOff[grp];	1	bslbf
ei_routeToWIRE[grp];	1	bslbf
if (ei_routeToWIRE[grp] == 1) {
routeToWireID[grp];	4	uimsbf
}
if (ei_onOff[grp] == 1) {
ei_changePosition[grp]; /изменение позиции/	1	bslbf
if (ei_changePosition[grp]) {
ei_azOffset[grp];	8	uimsbf
ei_elOffset[grp];	6	uimsbf
ei_distFact[grp];	4	uimsbf
}
ei_changeGain; /* изменение усиления */	1	bslbf
if (ei_changeGain) {
ei_gain;	7	uimsbf
}
}
}
}

ei_groupID Значение GroupID для текущей группы, для которой описано взаимодействие.

ei_routeToWIRE Это поле, которое задает, следует ли направлять аудио контент группы на выход WIRE.

ei_routeToWireID Идентификатор выхода WIRE, куда следует направлять группу.

ei_onOff Задает состояние включена-отключена текущей группы. В случае если выбран основной режим взаимодействия (взаимодействие в GroupPresets), это значение должно быть идентичным заданному состоянию включена-отключена для группы с идентификатором ei_groupID, если эта группа является частью условий выбранной GroupPreset с ei_groupPrersetID. Для основного режима взаимодействия здесь не разрешается сигнализировать другое состояние включена-отключена. Состояние включена-отключена для всех групп, которые не являются частью условий выбранного GroupPreset, состояние включена-отключена может сигнализироваться произвольно.

ei_changePosition Этот флаг задает, была ли изменена позиция элементов группы.

ei_azOffset Изменение азимута дается в виде смещения. Это поле может принимать значения между AzOffset=-180° и AzOffset=180°:

AzOffset=1,5 ⋅ (ei_azOffset - 128)

AzOffset=min(max (AzOffset,-180), 180);

ei_elOffset Изменение азимута дается в виде смещения. Это поле может принимать значения между ElOffset=-90° и ElOffset=90°:

ElOffset=3 ⋅ (ei_elOffset - 32)

ElOffset=min(max(ElOffset,-90), 90);

ei_distFact Интерактивность расстояния дается в виде коэффициента умножения. Поле может принимать значения между 0 до 15, приводя к значению DistFactor между 0,00025 и 8:

DistFactor=

DistFactor=min(max(DistFactor, 0,00025), 8);

ei_changeGain Этот флаг задает, было ли изменено усиление/уровень для элементов группы.

ei_gain Это поле задает добавочное усиление для элементов, текущей группы. Поле может принимать значения между 0 и 127, представляющими значения усиления между

Gain =-63 дБ и Gain=31 дБ с шагами в 1 дБ,

при

Gain[дБ]=ei_gain - 64

Gain [дБ]=min/max(Gain,-63), 31);

Если ei_gain установлен в 0, то Gain должно быть установлено в минус бесконечность дБ.

В Таблице 6b показан дополнительный вариант осуществления ei_GroupInteractivityStatus():

Таблица 6b Синтаксис ei_GroupInteractivityStatus()

Синтаксис	Количество битов	Мнемоника
ei_GroupInteractivityStatus (numGroups)
{
for (grp=0; grp < numGroups; grp++) {
ei_groupID[grp];	7	uimsbf
ei_onOff[grp];	1	bslbf
ei_routeToWIRE[grp];	1	bslbf
if (ei_routeToWIRE[grp] == 1) {
routeToWireID[grp];	16	uimsbf
}
if (ei_onOff[grp] == 1) {
ei_changePosition[grp];/изменение позиции/	1	bslbf
if (ei_changePosition[grp]) {
ei_azOffset[grp];	8	uimsbf
ei_elOffset[grp];	6	uimsbf
ei_distFact[grp];	4	uimsbf
}
ei_changeGain; /* изменение усиления */	1	bslbf
if (ei_changeGain) {
ei_gain;	7	uimsbf
}
}
}
}

Данные взаимодействия задают согласно полям аудио элемента в метаданных (Metadata Audio Element) (см. 14.2 в [1]). В определении элемента аудио метаданных область значений интерактивности для интерактивности усиления дается в дБ, области значений интерактивности для азимута и высоты даются как минимальное и максимальное значения смещения (с тем же разрешением, как здесь: 1,5° для азимута и 3° для высоты), и области значений для расстояния даются как коэффициенты умножения. Следовательно, интерфейс задается подобным образом.

Для взаимодействия пользователя все возможные изменения (включено/отключено, усиление, позиция, WIRE) для всех групп элементов сигнализируются внутри одного синтаксического элемента ElementInteraction() вместо того, чтобы использовать одно повторение синтаксического элемента для каждого типа взаимодействия и каждой группы или элемента.

Выход WIRE также определен для групп, которые отключают, поскольку только тогда возможно направить дорожки (саундтреки) альтернативного языка на выход WIRE. Возможная нарушенная логика группы переключения должна обрабатываться в декодере.

Тип контента (канал, объект, HOA), который был прежде предложен в [4], здесь удален. Он уже неявно известен согласно groupID, поскольку каждая группа элементов имеет signalGroupType (канал, объект, SAOC, HOA), который задает тип контента сигнала и сигнализируется в синтаксическом элементе Signals3d()).

Основное взаимодействие через GroupPresets

Если установлен режим основного взаимодействия, пользователь может выбрать одну из заданных предустановок GroupPresets (из синтаксического элемента mae_AudioSceneInfo() groupCollection, предложенного в качестве возможной технологи в w14464 [7]).

Условия из выбранной предварительной установки задают состояние включена-отключена указанных групп. Пользователь не должен быть спобным модифицировать состояние «включена-отключена» для этих групп.

Соответствующее поле ei_onOff в синтаксическом элементе ei_GroupInteractivityStatus [2] должно отразить условие в выбранной groupPreset для всех групп, которые указаны в условиях выбранной groupPreset.

Состояние «включена-отключена» всех других групп может быть выбрано пользователем.

Заключение

Этот вклад предлагает определение для интерфейса для взаимодействия пользователя. Обеспечивается определение интерфейса, которое предусматривает два различных режима взаимодействия (основной и усовершенствованный). Предлагается приспособить предложенный интерфейс для CD.

Ссылки

[1] ISO/IEC JTC1/SC29/WG11 N14459, "Text of ISO/IEC 23008-3/CD, 3D audio"

[2] FhG, ʺRendering Interfaces to MPEG-H and Unification of Loudspeaker Signalingʺ, Input to the Meeting of AHG on 3D Audio, DRC and Audio Maintenance, June 2-3, 2014, Paris, France

[3] ISO/IEC JTC1/SC29/WG11 N14463, ʺNormative Interface for Binaural Dataʺ, April 2014, Valencia, Spain

[4] ISO/IEC JTC1/SC29/WG11 M33134, ʺ3D Audio Decoder Interfacesʺ, April 2014, Valencia, Spain (Input from Philips)

[5] ISO/IEC JTC1/SC29/WG11 M31427, ʺThoughts on binaural parameterization of MPEG codecsʺ, October 2013, Geneva, Switzerland (Input from Orange)

[6] ISO/IEC JTC1/SC29/WG11 M30249, ʺBRIR interface format: update and implementationʺ, July 2013, Vienna, Austria (Input from Philips)

[7] ISO/IEC JTC1/SC29/WG11 N14464 ʺCandidate Technologies for 3D Audioʺ

Кроме того, раздел 13 в тексте 23008-3 CD ISO/IEC [1] определяет синтаксис MHAS, подлежащий использованию для инкапсуляции потоков (реального времени) полезной нагрузки 3D аудио по MPEG-H. С помощью этого документа предлагаются дополнительные средства для предоставления возможности надежного использования MHAS в других транспортных системах помимо Транспортного потока по MPEG-2.

Заполнение данными (Filldata)

Некоторыми каналами передачи можно оперировать только на постоянной мгновенной битовой скорости передачи. Для осуществления этого, предложен тип пакета заполнения данных, чтобы иметь способность заполнять поток MHAS до некоторой заданной битовой скорости передачи.

Контроль циклическим избыточным кодом (CRC)

Уровень [2] Транспортного потока в MPEG-2 занимается защитой инкапсулировавшего элементарного потока MHAS. Таким образом, могут идентифицироваться потеря данных или искажение данных в передаче.

С другой стороны, обычные последовательные интерфейсы (например, AES/EBU, S/PDIF, [3], [4], [5]) не обеспечивают достаточной защиты от ошибок. Предложен необязательный тип пакета CRC для предоставления возможности обнаружения ошибок, если MHAS используется на таких интерфейсах.

Инкапсуляция дескриптора

Потоки MHAS используются, чтобы передать кодированное аудио на кодер/декодер транспортного потока MPEG-2 или от такового кодера/декодера. Предлагается передавать связанную информацию дескриптора в дополнительном типе пакета MHAS.

Таблица 7 - Синтаксис MHASPacketPayload()

Синтаксис	Количество битов	Мнемоника
MHASPacketPayload(MHASPacketType)
{
switch (MHASPacketType) {
case PACTYP_SYNC:
0xA5; /* синхрогруппа*/	8	uimsbf
break;
case PACTYP_MPEGH3DACFG:
mpegh3daConfig();
break;
case PACTYP_MPEGH3DAFRAME:
mpegh3daFrame();
break;
case PACTYP_FILLDATA:
for (i=0; i< MHASPacketLength; i++) {
mhas_fill_data_byte(i);	8	bslbf
}
break;
case PACTYP_SYNCGAP:
syncSpacingLength=escapedValue(16,24,24);	16,40,64	uimsbf
break;
case PACTYP_MARKER:
for (i=0; i< MHASPacketLength; i++) {
marker_byte(i);	8
}
break;
case PACTYP_CRC16:
mhasParity16Data;	16	bslbf
break;
case PACTYP_CRC32:
mhasParity32Data;	32	bslbf
break;
case PACTYP_DESCRIPTOR:
for (i=0; i< MHASPacketLength; i++) {
mhas_descriptor_data_byte(i);	8	bslbf
}
break;
}
ByteAlign();
}

Таблица 8a - Значение MHASPacketType

MHASPacketType	Значение
PACTYP_SYNC	0
PACTYP_MPEGH3DACFG	1
PACTYP_MPEGH3DAFRAME	2
/* зарезервировано для ISO использования */	3-5
PACTYPE_FILLDATA	6
PACTYP_SYNCGAP	7
PACTYPE_MARKER	8
PACTYPE_CRC16	9
PACTYPE_CRC32	10
PACTYPE_DESCRIPTOR	11
/* зарезервировано для ISO использования */	13-127
/* зарезервировано для использования вне контекста ISO */	128-261
/* зарезервировано для ISO использования */	262-389
/* зарезервировано для использования вне контекста ISO */	390-517
Примечание: Специфические для приложения значения MHASPacketType предписаны находиться в пространстве, зарезервированном для использования вне контекста ISO. Они пропускаются декодером, если минимум структуры требуется декодером для пропуска этих расширений.

Дополнительный вариант осуществления MHASPacketType показан в Таблице 8b:

Таблица 8b - Значение MHASPacketType

MHASPacketType	Значение
PACTYP_SYNC	6
PACTYP_MPEGH3DACFG	1
PACTYP_MPEGH3DAFRAME	2
/зарезервировано для ISO использования /	3-5
PACTYPE_FILLDATA	0
PACTYP_SYNCGAP	7
PACTYPE_MARKER	8
PACTYPE_CRC16	9
PACTYPE_CRC32	10
PACTYPE_DESCRIPTOR	11
/зарезервировано для ISO использования /	13-127
/* зарезервировано для использования вне контекста ISO */	128-261
/зарезервировано для ISO использования /	262-389
/* зарезервировано для использования вне контекста ISO */	390-517
Примечание: Специфические для приложения значения MHASPacketType предписаны находиться в пространстве, зарезервированном для использования вне контекста ISO. Они пропускаются декодером, если минимум структуры требуется декодером для пропуска этих расширений.

mhasParity16Data - 16-разрядное поле, которое содержит значение CRC, которое выдает нулевой выход для 16 регистров в декодере с полиномом: и начальным состоянием 0xFFFF для сдвигового регистра.

mhasParity32Data - 32-разрядное поле, которое содержит значение CRC, которое выдает нулевой выход для 32 регистров в декодере с полиномом:

и начальном состоянии 0xFFFFFFFF сдвигового регистра.

mhas_fill_data_byte - 8-битовые элементы данных, без ограничений для применения

Произвольный доступ/Маркер немедленного проигрывания

Когда первым байтом marker_byte в полезной нагрузке пакета является ʺ0×02ʺ, следующий пакет типа PACTYP_MPEG3DAFRAME с идентичным MHASPacketLabel кодируется, следуя правилам, заданным в разделе 5.5.5 ʺПредпуск аудиоʺ.

Маркер границы программы

Когда первым байтом marker_byte полезной нагрузки пакета является ʺ0×03ʺ, в этой точке во времени имеет место граница программы, и все последующие пакеты принадлежит новой программе.

PSCTYP_CRC16 и PACTYP_CRC32

PACTYP_CRC16 и PACTYP_CRC32 в MHASPacketType могут использоваться для обнаружения ошибок в предшествующем пакете MHAS при MHASPacketLabel, установленной в то же значение. Это должно непосредственно следовать за пакетом MHAS, к которому относится его значение CRC. Это может быть полезным, когда поток MHAS передается по подверженному ошибкам каналу.

Способ обнаружения ошибок использует одно из порождающего полинома и связанных с ним состояний сдвигового регистра, как определено для mhasParity16Data или mhasParity32Data соответственно.

Битами, включенными в контроль CRC, являются полная MHASPacketPayload() для связанного пакета MHAS, за которыми следуют слова mhasParity16Data или mhasParity32Data соответственно.

В случае, где нет ошибок, каждый из выходов сдвигового регистра должен быть нулевым. В кодере с CRC поле mhasParity16Data/mhasParity32Data кодируются значением так, что это гарантируется.

PACTYP_FILLDATA

PACTYP_FILLDATA в MHASPacketType обеспечивает возможность добавлять данные заполнения, чтобы подстроить мгновенную битовую скорость передачи. Это может быть требуемым в некоторых приложениях реального времени, использующих канал передачи с постоянной скоростью.

Поскольку пакеты этого типа не относятся к некоторым данным полезной нагрузки, MHASPacketLabel устанавливают в 0.

Считается, что декодер пренебрегает данными, переданными в пакетах типа PACTYP_FILLDATA. Кроме того, промежуточным инструментальным средствам, обрабатывающим потоки MHAS, позволяется удалять такие пакеты из потока.

Позволяется установить MHASPacketLength в 0. Это дает минимальный размер пакета в 2 байта.

PACTYP_DESCRIPTOR

PACTYP_DESCRIPTOR может использоваться для вложения дескрипторов TS/PS MPEG-2 в потоки MHAS. Данные, передаваемые в виде mhas_descriptor_data_byte, имеют такие же синтаксис и семантику, которые определены для descriptor() в документе 13818-1 ISO/IEC.

Для этого типа пакета и для дескрипторов, переданных в первом цикле дескриптора в TS_program_map_section() (см. документ 13818-1 ISO/IEC), значение MHASPacketLabel устанавливают в 0.

Для этого типа пакета и для дескрипторов, назначенных одному элементарному потоку (то есть второй цикл дескриптора в TS_program_map_section()), MHASPacketLabel устанавливают в то же значение, что и PACTYPE_CONFIG из увязанного с ним элементарного потока.

Ссылки

[1] ISO/IEC JTC1/SC29/WG11 N14459, "Text of ISO/IEC 23008-3/CD, 3D audio"

[2] ISO/IEC 13818 1:2013, Information technology - Generic Coding of moving pictures and associated audio information: Systems

[3] IEC 60958-3: ʺDigital audio interface - Part 3: Consumer applicationsʺ

[4] IEC 61937-11, ʺDigital audio - Interface for non-linear PCM encoded audio bitstreams applying IEC 60958 - Part 11: MPEG-4 AAC and its extensions in LATM/LOAS"

[5] SMPTE 2041: Format for Non-PCM Audio and Data in AES-3 - MPEG-4 AAC and HE AAC Compressed Digital Audio in ADTS and LATM/LOAS Wrappers

Хотя настоящее изобретение было описано в контексте блок-схем, где блоки представляют фактические или логические аппаратно-реализованные компоненты, настоящее изобретение также может быть осуществлено посредством реализуемого компьютером способа. В последнем случае блоки представляют соответствующие этапы способа, где эти этапы обозначают функциональности, выполняемые соответствующими логическими или физическими аппаратными блоками.

Хотя некоторые аспекты были описаны в контексте устройства, ясно, что эти аспекты также представляют описание соответствующего способа, где блок или устройство соответствуют этапу способа или функции этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента или функции соответствующего устройства. Некоторые или все этапы способа могут быть исполняемыми посредством (или с использованием) аппаратно-реализованного устройства, подобного, например, микропроцессору, программируемому компьютеру или электронной схеме. В некоторых вариантах осуществления некоторые один или несколько наиболее важных этапов способа могут исполняться таким устройством.

Передаваемый или кодированный сигнал по изобретению может сохраняться на цифровом носителе данных или может передаваться в среде передачи, такой как беспроводная среда передачи или проводная среда передачи, например, сеть Интернет.

В зависимости от некоторых требований к реализации варианты осуществления изобретения могут быть реализованы аппаратно или программно. Реализация может выполняться с использованием цифрового носителя данных, например, гибкого диска, цифрового многофункционального диска (DVD), диска по технологии Blu-Ray, компакт-диска (CD), памятей ROM, PROM и EPROM, EEPROM или флэш-памяти, имеющих сохраненные на них электронно читаемые управляющие сигналы, которые действуют совместно (или способны действовать совместно) с программируемой компьютерной системой с тем, что выполняется соответственный способ. Следовательно, цифровой носитель данных может быть читаемым компьютером.

Некоторые варианты осуществления согласно изобретению содержат носитель информации с электронно читаемыми управляющими сигналами, которые способны действовать совместно с программируемой компьютерной системой с тем, что выполняется один из способов, описанных здесь.

В общем, варианты осуществления настоящего изобретения могут быть реализованы в виде компьютерного программного продукта с кодом программы, оперативно действующим для выполнения одного из способов, когда продукт компьютерной программы работает на компьютере. Код программы, например, может быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для выполнения одного из описанных здесь способов, сохраненную на машиночитаемом носителе.

Другими словами, вариант осуществления способа по изобретению является, следовательно, компьютерной программой с наличием кода программы для выполнения одного из описанных здесь способов, когда компьютерная программа исполняется на компьютере.

Дополнительный вариант осуществления способа по изобретению являет, следовательно, носитель информации (или невременный носитель данных, такой как цифровой носитель данных, или читаемый компьютером носитель), содержащий записанную на нем компьютерную программу для выполнения одного из способов, описанных здесь. Носитель информации, цифровой носитель данных или носитель с записанными данными являются обычно материальными и/или невременными.

Дополнительным вариантом осуществления способа по изобретению является, следовательно, поток данных или последовательность сигналов, представляющих компьютерную программу для выполнения одного из способов, описанных здесь. Поток данных или последовательность сигналов могут, например, быть сконфигурированы с возможностью передаваться через соединение передачи данных, например, через сеть интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, сконфигурированное или приспособленное для выполнения одного из способов, описанных здесь.

Дополнительный вариант осуществления содержит компьютер с наличием установленной на нем компьютерной программы для выполнения одного из способов, описанных здесь.

Дополнительный вариант осуществления согласно изобретению содержит устройство или систему, сконфигурированную для передачи (например, электронно или оптически) компьютерной программы для выполнения одного из описанных здесь способов на приемник. Приемник, например, может быть компьютером, мобильным устройством, запоминающим устройством или подобным. Устройство или система могут, например, содержать файловый сервер для осуществления передачи компьютерной программы на приемник.

В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая вентильная матрица) может использоваться, чтобы выполнять некоторую или всю функциональность способов, описанных здесь. В некоторых вариантах осуществления программируемая вентильная матрица может совместно действовать с микропроцессором для того, чтобы выполнять один из способов, описанных здесь. Обычно способы предпочтительно выполняются каким-либо аппаратно-реализованным устройством.

Вышеописанные варианты осуществления являются просто иллюстративными для принципов настоящего изобретения. Понятно, что модификации и изменения компоновок и деталей, описанных здесь, будут очевидны другим специалистам в данной области техники. Назначение, следовательно, состоит в том, чтобы ограничиваться только объемом последующих пунктов формулы изобретения, а не конкретными деталями, представленными в виде описания и пояснения вариантов осуществления в документе.

1. Процессор (1) аудиоданных, содержащий:

интерфейс (2) приемника для приема кодированных аудиоданных (3) и метаданных (4), связанных с кодированными аудиоданными (3);

анализатор (5) метаданных для анализа метаданных (4) для определения возможности манипулирования аудиоданными;

интерфейс (6) взаимодействия для приема ввода данных (7) взаимодействия и для формирования исходя из ввода данных (7) взаимодействия данных (8) управления взаимодействием, связанных с возможностью манипулирования аудиоданными; и

генератор (9) потока данных для получения управляющих данных (8) взаимодействия и кодированных аудиоданных (3) и метаданных (4) и для формирования выходного потока (10) данных, выходной поток (10) данных содержит кодированные аудиоданные (3), метаданные (4) и данные (8) управления взаимодействием,

причем генератор (9) потока данных сконфигурирован для обработки входного потока (15) данных, содержащего кодированные аудиоданные (3) и метаданные (4), принятые посредством интерфейса (2) приемника, без декодирования кодированных аудиоданных (3) для формирования выходного потока (10) данных, или для копирования кодированных аудиоданных (3) и по меньшей мере части метаданных (4) без изменений в выходном потоке (10) данных, и для вложения данных (8) управления взаимодействием в выходной поток (10) данных в качестве добавочной части данных.

2. Процессор аудиоданных по п.1, в котором кодированные аудиоданные (3) содержат отдельные кодированные аудиообъекты (11; 12), причем по меньшей мере часть (13; 14) метаданных (4) связана с соответствующим аудиообъектом (11; 12),

при этом анализатор (5) метаданных сконфигурирован для анализа соответствующей части (13; 14) относительно кодированных аудиообъектов (11; 12), чтобы определить по меньшей мере для аудиообъекта (11), возможность манипулирования объектом,

при этом интерфейс (6) взаимодействия сконфигурирован для формирования по меньшей мере для одного кодированного аудиообъекта (11), данных (8) управления взаимодействием исходя из ввода данных (7) взаимодействия, связанного по меньшей мере с одним кодированным аудиообъектом (11).

3. Процессор аудиоданных по п.1, в котором интерфейс (6) взаимодействия сконфигурирован для представления пользователю возможности манипулирования аудиоданными, выведенной из метаданных (4) анализатором (5) метаданных, и для приема от пользователя пользовательского ввода (7) по конкретному манипулированию данными в возможности манипулирования данными.

4. Процессор аудиоданных по п.1, причем интерфейс (6) взаимодействия сконфигурирован для формирования данных (8) управления взаимодействием таким образом, что данные (8) управления взаимодействием представлены измененными значениями метаданных или величиной манипулирования по отношению к метаданным (4).

5. Процессор аудиоданных по п.1, в котором генератор (9) потока данных сконфигурирован для формирования в выходном потоке (10) данных (8) управления взаимодействием в том же формате, что и метаданные (4).

6. Процессор аудиоданных поп.1, в котором генератор (9) потока данных сконфигурирован, чтобы связывать с данными (8) управления взаимодействием идентификатор в выходном потоке (10) данных, идентификатор является отличным от идентификатора, связанного с метаданными (4).

7. Процессор аудиоданных по п.1, в котором генератор (9) потока данных сконфигурирован, чтобы добавлять к данным (8) управления взаимодействием данные подписи, указывающие информацию о приложении, устройстве или пользователе, выполняющем манипулирование аудиоданными или обеспечивающем вводимые данные взаимодействия.

8. Процессор аудиоданных по п.1, в котором анализатор (5) метаданных сконфигурирован для идентификации возможности отключения для одного или нескольких аудиообъектов (11, 12), представленных кодированными аудиоданными (3),

причем интерфейс (6) взаимодействия сконфигурирован для приема информации отключения для одного или нескольких аудиообъектов (11, 12), и

при этом генератор (9) потока данных сконфигурирован для пометки одного или нескольких аудиообъектов (11, 12) как отключенных в управляющих данных (8) взаимодействия.

9. Процессор аудиоданных по п.1, в котором генератор (9) потока данных сконфигурирован для динамического формирования выходного потока (10) данных, причем в ответ на новый ввод данных (7) взаимодействия, данные (8) управления взаимодействием обновляют для соответствия новому вводу данных (7) взаимодействия, и при этом генератор (9) потока данных сконфигурирован для включения обновленных данных (8) управления взаимодействием в выходной поток (10) данных.

10. Процессор аудиоданных по п.1, в котором интерфейс (2) приемника сконфигурирован для приема основного потока (15) аудиоданных, содержащего кодированные аудиоданные (3) и метаданные (4), связанные с кодированными аудиоданными (3), и для дополнительного приема добавочных аудиоданных (16), содержащих необязательные аудиообъекты (17),

при этом метаданные (4), связанные с упомянутым необязательным аудиообъектом (17), содержатся в упомянутом основном потоке (15) аудиоданных.

11. Процессор аудиоданных по п.1, в котором анализатор (5) метаданных сконфигурирован для определения возможности манипулирования аудио для необязательного аудиообъекта (17), не включенного в кодированные аудиоданные (3),

причем интерфейс (6) взаимодействия сконфигурирован для приема ввода данных (7) взаимодействия относительно о необязательного аудиообъекта (17), и

при этом интерфейс (2) приемника сконфигурирован для запроса аудиоданных (16) относительно необязательного аудиообъекта (17) от поставщика (35) аудиоданных или для приема аудиоданных (16) относительно отсутствующего аудиообъекта (17) из другого подпотока, содержащегося в широковещательном потоке (36), или соединения (37) по межсетевому протоколу.

12. Процессор аудиоданных по п.1, в котором генератор (9) потока данных сконфигурирован для назначения в выходном потоке (10) данных дополнительного типа пакета данным (8) управления взаимодействием, дополнительный тип пакета является отличным от типов пакетов для кодированных аудиоданных (3) и метаданных (4), или

при этом генератор (9) потока данных сконфигурирован, чтобы добавлять в выходной поток (10) данных данные (18) заполнения в типе пакета данных заполнения, причем количество данных (18) заполнения определяют на основании требования к скорости передачи данных, определяемого выходным интерфейсом процессора аудиоданных.

13. Процессор аудиоданных по п.1, реализуемый в виде отдельного первого устройства (19), которое отделено от второго устройства (28), которое сконфигурировано для приема обработанных, но еще кодированных аудиоданных от первого устройства (19) для декодирования упомянутых аудиоданных, причем интерфейс (2) приемника образует вход (20) в отдельное первое устройство (19) через соединение проводной (21) или беспроводной (22) связи, при этом процессор (1) аудиоданных дополнительно содержит выходной интерфейс (23), подключенный к генератору (9) потока данных, выходной интерфейс (23), конфигурируемый для вывода выходного потока (10) данных, причем выходной интерфейс (23) выполняет выход отдельного первого устройства (19) и содержит беспроводной интерфейс (24) или проводной блок (25) соединения.

14. Способ для обработки аудиоданных, содержащий:

прием кодированных аудиоданных (3) и метаданных (4), связанных с кодированными аудиоданными (3);

анализ метаданных (4) для определения возможности манипулирования аудиоданными;

прием ввода данных (7) взаимодействия и формирование, исходя из ввода данных (7) взаимодействия, данных (8) управления взаимодействием, связанных с возможностью манипулирования аудиоданными; и

получение данных (8) управления взаимодействием и кодированных аудиоданных (3) и метаданных (4) и формирование выходного потока (10) данных, выходной поток (10) данных содержит кодированные аудиоданные (3) по меньшей мере часть метаданных (4) и данные (8) управления взаимодействием,

обработку входного потока (15) данных, содержащего кодированные аудиоданные (3) и метаданные (4), без декодирования кодированных аудиоданных (3) для формирования выходного потока (10) данных или копирование кодированных аудиоданных (3) и по меньшей мере части метаданных (4) без изменения в выходном потоке (10) данных, и

вложение данных (8) управления взаимодействием в выходной поток (10) данных в качестве добавочной части данных.

15. Машиночитаемый носитель, содержащий компьютерную программу для выполнения, при исполнении на компьютере или процессоре, способа обработки аудиоданных по п.14.

Настоящее изобретение относится к средствам кодирования без потерь. Технический результат заключается в увеличении эффективности сжатия при кодировании изображения за счет выбора режима кодирвоания.

Квантование цветности в кодировании видеосигналов // 2653475

Изобретение относится к средствам сигнализации дополнительных значений сдвига параметров квантования цветности (quantization parameter - QP). Технический результат заключается в расширении арсенала технических средств квантования цветности.

Устройство для обработки изображений и способ обработки изображений // 2653464

Настоящее изобретение относится к средствам обработки изображений. Технический результат заключается в повышении точности воспроизведения динамического диапазона изображения.

Устройство декодирования изображений, устройство кодирования изображений и структура данных кодированных данных // 2653319

Изобретение относится к области кодирования/декодирования изображений. Технический результат – обеспечение снижения объема вычислений в процессе кодирования/декодирования изображений.

Устройство обработки изображения и способ // 2653315

Изобретение относится к области обработки изображений. Технический результат – обеспечение выполнения процесса декодирования битового потока в надлежащий период времени посредством использования информации о параметре управления буфером каждого уровня.

Способ и устройство сжатия изображений и сервер // 2653314

Изобретение относится к области сжатия изображения. Технический результат – повышение качества изображения и снижение объема пространства для хранения изображений.

Устройство и способ обработки изображений // 2653308

Изобретение относится к средству обработки изображений. Техническим результатом является уменьшение нагрузки, связанной с обработкой, требуемой во время генерирования потока.

Способ и устройство для кодирования и декодирования видеоданных // 2653299

Группа изобретений относится к технологиям кодирования/декодирования видеоданных. Техническим результатом является обеспечение возможности адаптивного изменения разрешения с использованием расширения масштабируемого видеокодирования/видеодекодирования.

Адаптивное переключение цветовых пространств, частот цветовой дискретизации и/или битовых глубин // 2653295

Группа изобретений относится к технологиям кодирования/декодирования видео. Техническим результатом является повышение эффективности кодирования/декодирования видео.

Способ повышения качества канала передачи данных в системе iptv по коэффициенту ber в режиме тв вещания и устройство для его осуществления // 2653289

Группа изобретений относится к компьютерным системам и сетям IPTV, предназначенным для цифрового телевизионного вещания. Техническим результатом является обеспечение автоматического поддержания логарифмического коэффициента битовых ошибок, повышающего запас устойчивости системы цифрового телевизионного вещания IPTV.

Способы и устройства для объединенного многоканального кодирования // 2653285

Изобретение относится к средствам кодирования и декодирования для кодирования каналов аудиосистемы с по меньшей мере четырьмя каналами. Технический результат заключается в повышении эффективности кодирования многоканального аудио.

Устройство и способ декодирования кодированного аудиосигнала для получения модифицированных выходных сигналов // 2653240

Изобретение относится к кодированию аудиообъектов. Технический результат изобретения заключается в сокращении вычислительных ресурсов, что минимизирует обработку пространственного кодирования аудиообъектов SAOC.

Декодирующее устройство, способ декодирования, кодирующее устройство, способ кодирования и программа // 2652468

Изобретение относится к декодирующему устройству, способу декодирования, кодирующему устройству, способу кодирования. Технический результат изобретения заключается в получении высококачественного реалистичного звучания при воспроизведении принимаемых аудиоданных на аппаратуре.

Усовершенствованная коррекция потери кадров во время декодирования сигналов // 2652464

Изобретение относится к области обработки цифровых сигналов. Технический результат – обеспечение коррекции потери кадров посредством использования спектральных компонент на последних достоверных кадрах.

Аудиокодеры, аудиодекодеры, системы, способы и компьютерные программы, использующие увеличенное временное разрешение во временной окрестности появлений или исчезновений фрикативных согласных или аффрикатов // 2651425

Изобретение относится к средствам для аудиокодирования и аудиодекодирования. Технический результат заключается в повышении качества звучания за счет расширения полосы пропускания.

Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала // 2651234

Изобретение относится к обработке аудиосигналов. Технический результат – уменьшение разрыва аудио при восстановлении пакета в начальной точке аудио и повышение субъективного качества аудио.

Устройство, способ и компьютерная программа для декодирования кодированного аудиосигнала // 2651229

Изобретение относится к средствам для декодирования кодированного аудиосигнала. Технический результат заключается в повышении качества декодированного аудиосигнала.

Гармоническое расширение полосы аудиосигналов // 2651218

Изобретение относится к средствам для гармонического расширения полосы аудиосигналов. Технический результат заключается в повышении качества синтезированной части верхней полосы выходного сигнала.

Устройство, способ и соответствующая компьютерная программа для генерации сигнала маскирования ошибок с использованием компенсации мощности // 2651217

Изобретение относится к аудиокодированию, в частности к аудиокодированию, основанному на LPC-подобной обработке в контексте кодовых книг. Технический результат – обеспечение улучшенной концепции для генерации сигнала маскирования ошибок.

Декодер, кодер и способ информированной оценки громкости с использованием обходных сигналов аудиообъектов в системах основывающегося на объектах кодирования аудио // 2651211

Изобретение относится к кодированию и декодированию аудиосигналов. Технический результат изобретения заключается в улучшении эффективности кодирования, обработки и декодирования аудиосигналов.

Аудиокодирование в частотной области, поддерживающее переключение длины преобразования // 2654139

Изобретение относится к аудиокодированию в частотной области, поддерживающему переключение длины преобразования. Технический результат - обеспечение возможности поддержки дополнительной длины преобразования. Для этого коэффициенты частотной области соответствующего кадра передаются перемеженным образом независимо от сигнализации, сигнализирующей для кадров в отношении того, какая длина преобразования применяется в действительности, и дополнительно извлечение коэффициентов частотной области и извлечение множителей масштабирования функционируют независимо от сигнализации. Поэтому устаревшие аудиокодеры/аудиодекодеры в частотной области, не чувствительные к сигнализации, будут тем не менее иметь возможность функционирования без сбоев и с воспроизведением приемлемого качества. Одновременно, аудиокодеры/аудиодекодеры в частотной области, способные поддерживать дополнительную длину преобразования, будут предлагать даже лучшее качество, несмотря на обратную совместимость. Поскольку рассматриваются ухудшения эффективности кодирования из-за кодирования коэффициентов частотной области прозрачным для более старых декодеров образом, ухудшения носят сравнительно незначительный характер благодаря перемежению. 6 н. и 7 з.п. ф-лы, 5 ил., 2 табл.