Декодер и способ многоэкземплярного пространственного кодирования аудиообъектов с применением параметрической концепции для случаев многоканального понижающего микширования/повышающего микширования

Изобретение относится к аудиосистемам и предназначено для генерирования сигнала вывода аудио. Технический результат - повышение точности воспроизведения аудиосигнала. Декодер содержит маршрутизатор канала ввода для приема трех или более каналов понижающего микширования и для приема вспомогательной информации, а также два блока обработки канала для генерирования двух обработанных каналов для получения каналов вывода аудио. Маршрутизатор канала ввода выполнен с возможностью подачи каждого из каналов понижающего микширования в один из двух блоков обработки канала, каждый из которых принимает один или более каналов понижающего микширования, при этом каждый из двух блоков обработки канала принимает меньше, чем общее число из трех или более каналов понижающего микширования. Каждый блок обработки канала выполнен с возможностью генерирования одного или более из двух обработанных каналов в зависимости от вспомогательной информации и в зависимости от упомянутого одного или более каналов понижающего микширования, принятых упомянутым блоком обработки канала от маршрутизатора канала ввода. 3 н. и 11 з.п. ф-лы, 4 ил.

 

Настоящее изобретение относится к декодеру и способу для многоэкземплярного пространственного кодирования аудиообъектов (M-SAOC) с применением параметрической концепции для случаев многоканального понижающего микширования/повышающего микширования.

В современных цифровых аудиосистемах, основной тенденцией является обеспечение возможности модификаций, относящихся к аудиообъекту переданного контента, на стороне приемника. Модификации включают в себя модификации усиления выбранных частей аудиосигнала и/или пространственное повторное позиционирование назначенных аудиообъектов в случае многоканального воспроизведения через пространственно разнесенные громкоговорители. Это может быть достигнуто посредством индивидуальной доставки разных частей аудиоконтента разным громкоговорителям.

Другими словами, в области обработки аудио, передачи аудио, и хранения аудио, присутствует растущее желание обеспечить взаимодействие с пользователем при воспроизведении объектно-ориентированного аудиоконтента, а также потребность в использовании расширенных возможностей многоканального воспроизведения для индивидуального рендеринга аудиоконтентов или их частей, чтобы улучшить впечатление от прослушивания. Таким образом, использование многоканального аудиоконтента влечет за собой значительные улучшения для пользователя. Например, может быть получено трехмерное впечатление от прослушивания, которое влечет за собой улучшенную удовлетворенность пользователя в развлекательных приложениях. Тем не менее многоканальный аудиоконтент также полезен в профессиональных средах, например, в приложениях телефонной конференцсвязи, так как может быть улучшена внятность говорящего посредством использования многоканального воспроизведения аудио. Другое возможное приложение заключается в предоставлении слушателю музыкального произведения возможности индивидуальной регулировки уровня воспроизведения и/или пространственной позиции разных частей (также называемых «аудиообъектами») или дорожек, как например вокальной части или разных инструментов. Пользователь может выполнять такую регулировку по причинам персонального вкуса, для более легкой расшифровки одной или более части(ей) музыкального произведения, в целях обучения, караоке, репетиции, и т.д.

Непосредственная дискретная передача всего многоканального многообъектного аудиоконтента, например, в форме данных импульсно-кодовой модуляции (PCM) или даже форматов сжатого аудио, требует очень высоких скоростей передачи битов. Тем не менее, также желательно обеспечить эффективную по скорости передачи битов передачу и хранение аудиоданных. Вследствие этого, существует желание найти разумный компромисс между качеством аудио и требованиями по скорости передачи битов с тем, чтобы избежать чрезмерных нагрузок на ресурсы, вызываемых многоканальными/многообъектными приложениями.

В последнее время, в области кодирования аудио, например, Экспертной Группой по Кинематографии (MPEG) и другими, были внедрены параметрические методики для эффективной по скорости передачи битов передачи/хранения многоканальных/многообъектных аудиосигналов. Одним примером является MPEG Окружение (MPS) в качестве ориентированного на канал подхода [MPS, BCC], или MPEG Пространственное Кодирование Аудиообъектов (SAOC), в качестве ориентированного на объект подхода [JSC, SAOC, SAOC1, SAOC2]. Другой объектно-ориентированный подход именуется «информированным разделением источников» [ISS1, ISS2, ISS3, ISS4, ISS5, ISS6]. Эти методики направлены на реконструкцию требуемой выходной аудио сцены или требуемого объекта источника аудио на основании понижающего микширования каналов/объектов и дополнительной вспомогательной информации, описывающей переданную/хранящуюся аудио сцену и/или объекты источники аудио в аудио сцене.

Оценка и приложение относящейся к каналу/объекту вспомогательной информации в таких системах осуществляется частотно-временным избирательным образом. Вследствие этого, такие системы применяют частотно-временные преобразования, такое как Дискретное Преобразование Фурье (DFT), Краткосрочное Преобразование Фурье (STFT) или гребенки фильтров подобные гребенкам Квадратурно Зеркального Фильтра (QMF), и т.д. Основной принцип таких систем изображен на Фиг. 2, при помощи примера MPEG SAOC.

В случае STFT, временное измерение представляется посредством номера блока времени, а спектральное измерение захватывается посредством номера спектрального коэффициента («бин»). В случае QMF, временное измерение представляется посредством номера слота времени, а спектральное измерения захватывается посредством номера поддиапазона. Если спектральное разрешение QMF улучшается посредством последующего приложения второй ступени фильтра, вся гребенка фильтра называется гибридным QMF, а поддиапазоны высокого разрешения называются гибридными поддиапазонами.

Как уже упоминалось выше, в SAOC общая обработка выполняется частотно-временным избирательным образом и может быть описана следующим образом в каждом частотном диапазоне, как изображено на Фиг. 2:

- В отношении N входных сигналов s1 … sN аудиообъектов выполняется понижающее микширование в P каналы x1 … xP как часть обработки кодера, используя матрицу понижающего микширования, состоящую из элементов d1,1 … dN,P. В дополнение, кодер извлекает вспомогательную информацию, описывающую характеристики входных аудиообъектов (модуль оценки вспомогательной информации (SIE)). Применительно к MPEG SAOC, зависимости мощностей объектов относительно друг друга являются самой основной формой такой вспомогательной информации.

- Сигнал(ы) понижающего микширования и вспомогательная информация передаются/сохраняются. С этой целью, аудиосигнал(ы) понижающего микширования может быть сжат, например, при помощи известных перцепционных аудио кодеров, как например MPEG-1/2 Layer II или III (также известный как .mp3), MPEG-2/4 Усовершенствованное Кодирование Аудио (AAC), и т.д.

- На принимающей стороне, декодер концептуально пытается восстановить исходные сигналы объектов («разделение объектов») из (декодированных) сигналов понижающего микширования, используя переданную вспомогательную информацию. Эти аппроксимированные сигналы ŝ1 … ŝN объектов затем микшируются в целевую сцену, представленную M каналами ŷ1 … ŷM вывода аудио, используя матрицу рендеринга, описываемую коэффициентами r1,1 … rN,M на Фиг. 2. Желаемая целевая сцена может быть, в крайнем случае, рендерингом лишь одного сигнала источника из смеси (сценарий разделения источников), но также передается любая другая произвольная акустическая сцена, состоящая из объектов. Например, может выводиться одноканальная, 2-канальная стерео или 5.1 многоканальная целевая сцена.

Увеличение доступной полосы пропускания/хранилища и происходящие в настоящий момент улучшения в области кодирования аудио, предоставляют пользователю возможность выбора из неуклонно растущих вариантов выбора многоканальной аудио продукции. Многоканальные 5.1 аудио форматы уже являются стандартом в DVD и Blue-Ray продукции. На горизонте появляются новые аудио форматы, подобные MPEG-H 3D Audio с еще большим числом каналов транспортировки аудио, которые будут обеспечивать конечным пользователям аудио восприятие с глубоким погружением.

Схемы параметрического кодирования аудиообъектов в настоящий момент ограничены максимум двумя каналами понижающего микширования. Они лишь в некоторой степени могут быть применены к многоканальным смесям, например, только по двум выбранным каналам понижающего микширования. Таким образом, гибкость, которую эти схемы кодирования предлагают пользователю в отношении регулировки аудио сцены в соответствии с его/ее собственными предпочтениями, весьма ограничена, например, в отношении изменения уровня аудио спортивного комментатора и атмосферы в спортивной трансляции.

Более того, текущие схемы кодирования аудиообъектов предлагают лишь ограниченное разнообразие в процессе микширования на стороне кодера. Процесс микширования ограничивается переменным по времени микшированием аудиообъектов; а переменное по частоте микширование невозможно.

Вследствие этого было бы весьма желательным, если бы были предоставлены улучшенные концепции для кодирования аудиообъектов.

Цель настоящего изобретения состоит в предоставлении улучшенных концепций для кодирования аудиообъектов. Цель настоящего изобретения достигается посредством декодера по пункту 1 формулы изобретения, посредством способа по пункту 16 формулы изобретения и посредством компьютерной программы по пункту 17 формулы изобретения.

Предоставляется декодер для генерирования сигнала вывода аудио, содержащего один или более каналов вывода аудио, из сигнала понижающего микширования, содержащего три или более канала понижающего микширования, при этом сигнал понижающего микширования кодирует три или более сигнала аудиообъектов.

Декодер содержит маршрутизатор канала ввода для приема трех или более каналов понижающего микширования и для приема вспомогательной информации, и, по меньшей мере, два блока обработки канала для генерирования, по меньшей мере, двух обработанных каналов для получения одного или более каналов вывода аудио.

Маршрутизатор канала ввода выполнен с возможностью подачи каждого из, по меньшей мере, двух из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала таким образом, что каждый из, по меньшей мере, двух блоков обработки канала принимает один или более из трех или более каналов понижающего микширования, и таким образом, что каждый из, по меньшей мере, двух блоков обработки канала принимает меньше, чем общее число из трех или более каналов понижающего микширования.

Каждый блок обработки канала из, по меньшей мере, двух блоков обработки канала выполнен с возможностью генерирования одного или более из, по меньшей мере, двух обработанных каналов в зависимости от вспомогательной информации и в зависимости от упомянутого одного или более из, по меньшей мере, двух из трех или более каналов понижающего микширования, принятых упомянутым блоком обработки канала от маршрутизатора канала ввода.

Большая гибкость в процессе микширования обеспечивает оптимальную эксплуатацию характеристик объекта сигнала. Может быть создано понижающее микширование, которое оптимизировано для параметрического разделения на стороне декодера в отношении воспринимаемого качества.

Варианты осуществления расширяют параметрическую часть схемы SAOC до произвольного числа каналов понижающего микширования/повышающего микширования. Способ изобретения дополнительно обеспечивает полностью гибкое микширование аудиообъектов.

В соответствии с вариантом осуществления, маршрутизатор канала ввода может быть выполнен с возможностью подачи каждого из, по меньшей мере, двух из трех или более каналов понижающего микширования в точно один из, по меньшей мере, двух блоков обработки канала.

В варианте осуществления, маршрутизатор канала ввода может быть выполнен с возможностью подачи каждого из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала таким образом, что каждый из трех или более каналов понижающего микширования принимается посредством одного или более из, по меньшей мере, двух блоков обработанного канала.

В соответствии с вариантом осуществления, каждый из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью генерирования упомянутого одного или более из, по меньшей мере, двух обработанных каналов независимо от, по меньшей мере, одного из трех или более каналов понижающего микширования.

В варианте осуществления, каждый из, по меньшей мере, двух блоков обработки канала может быть либо блоком моно обработки, либо блоком стерео обработки, при этом упомянутый блок моно обработки может быть выполнен с возможностью приема точно одного из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного или точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутого точно одного из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации, и при этом упомянутый блок стерео обработки может быть выполнен с возможностью приема точно двух из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного или точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутых точно двух из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

По меньшей мере один из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью приема точно одного из трех или более каналов понижающего микширования и является выполненным с возможностью генерирования точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутого точного одного из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В соответствии с вариантом осуществления, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью приема точно двух из трех или более каналов понижающего микширования и является выполненным с возможностью генерирования точно одного из, по меньшей мере, двух обработанных каналов в зависимости от упомянутых точно двух из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В варианте осуществления, маршрутизатор канала ввода может быть выполнен с возможностью приема четырех или более каналов понижающего микширования, и, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью приема, по меньшей мере, трех из четырех или более каналов понижающего микширования и может быть выполнен с возможностью генерирования, по меньшей мере, трех из обработанных каналов в зависимости от упомянутых, по меньшей мере, трех из четырех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В соответствии с вариантом осуществления, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью приема точно трех из четырех или более каналов понижающего микширования и может быть выполнен с возможностью генерирования точно трех из обработанных каналов в зависимости от упомянутых точно трех из четырех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В варианте осуществления, маршрутизатор канала ввода может быть выполнен с возможностью приема шести или более каналов понижающего микширования, и при этом, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью приема точно пяти из шести или более каналов понижающего микширования и выполнен с возможностью генерирования точно пяти из обработанных каналов в зависимости от упомянутых точно пяти из шести или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В варианте осуществления, маршрутизатор канала ввода выполнен с возможностью отмены подачи, по меньшей мере, одного из трех или более каналов понижающего микширования в любой из, по меньшей мере, двух блоков обработки канала таким образом, что упомянутый, по меньшей мере, один из трех или более каналов понижающего микширования не принимается любым из, по меньшей мере, двух блоков обработанного канала.

В соответствии с вариантом осуществления, декодер может дополнительно содержать маршрутизатор канала вывода для объединения, по меньшей мере, двух обработанных каналов для получения одного или более каналов вывода аудио.

В варианте осуществления, декодер может дополнительно содержать блок рендеринга, при этом блок рендеринга может быть выполнен с возможностью приема информации рендеринга, и при этом блок рендеринга выполнен с возможностью генерирования одного или более каналов вывода аудио в зависимости от, по меньшей мере, двух обработанных каналов и в зависимости от информации рендеринга.

В соответствии с вариантом осуществления, по меньшей мере, два блока обработки канала могут быть выполнены с возможностью генерирования, по меньшей мере, двух обработанных каналов параллельно.

В соответствии с вариантом осуществления, первый блок обработки канала из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью подачи первого обработанного канала из, по меньшей мере, двух обработанных каналов во второй блок обработки канала из, по меньшей мере, двух блоков обработки канала. Упомянутый второй блок обработки канала может быть выполнен с возможностью генерирования второго обработанного канала из, по меньшей мере, двух обработанных каналов в зависимости от первого обработанного канала.

Кроме того, предоставляется способ генерирования сигнала вывода аудио, содержащего один или более каналов вывода аудио, из сигнала понижающего микширования, содержащего три или более канала понижающего микширования. Сигнал понижающего микширования кодирует три или более сигнала аудиообъекта. Способ содержит этапы, на которых:

- Принимают три или более канала понижающего микширования и принимают вспомогательную информацию посредством маршрутизатора канала ввода.

- Подают каждый из, по меньшей мере, двух из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала, и

- Генерируют, по меньшей мере, два обработанных канала посредством, по меньшей мере, двух блоков обработки канала для получения одного или более каналов вывода аудио,

При этом этап, на котором подают каждые, по меньшей мере, два из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала посредством маршрутизатора канала ввода, проводится таким образом, что каждый из, по меньшей мере, двух блоков обработки канала принимает один или более из трех или более каналов понижающего микширования, и таким образом, что каждый из, по меньшей мере, двух блоков обработки канала принимает меньше, чем общее число из трех или более каналов понижающего микширования.

Этап, на котором генерируют, по меньшей мере, два обработанных канала, проводится посредством этапа, на котором генерируют один или более из, по меньшей мере, двух обработанных каналов посредством каждого блока обработки канала из, по меньшей мере, двух блоков обработки канала в зависимости от вспомогательной информации и в зависимости от упомянутого одного или более из, по меньшей мере, двух из трех или более каналов понижающего микширования, принятых посредством упомянутого блока обработки канала от маршрутизатора канала ввода.

Кроме того, предоставляется компьютерная программа для реализации описанного выше способа, при исполнении на компьютере или сигнальном процессоре.

В нижеследующем, более подробно описываются варианты осуществления настоящего изобретения, со ссылкой на чертежи, на которых:

Фиг. 1 является декодером для генерирования сигнала вывода аудио в соответствии с вариантом осуществления,

Фиг. 2 является общим видом системы SAOC, изображающим принцип таких систем, используя пример MPEG SAOC.

Фиг. 3 изображает схематичную иллюстрацию, показывающую принцип параллельного объединения нескольких экземпляров моно и стерео декодеров/транскодеров SAOC для параметрического декодирования смеси многоканальных сигналов в соответствии с вариантом осуществления, и

Фиг. 4 изображает схему, иллюстрирующую принцип каскадной структуры моно и стерео декодеров/транскодеров SAOC для обработки смеси многоканальных сигналов в соответствии с вариантом осуществления.

Перед описанием вариантов осуществления настоящего изобретения, более подробно предоставляется предыстория касательно уровня техники систем SAOC.

Фиг. 2 показывает общую компоновку кодера 10 SAOC и декодера 12 SAOC. Кодер 10 SAOC принимает в качестве ввода N объектов, т.е. аудиосигналы с s1 по sN. В частности, кодер 10 содержит блок 16 понижающего микширования, который принимает аудиосигналы с s1 по sN и выполняет понижающее микширование их в сигнал 18 понижающего микширования. В качестве альтернативы, понижающее микширование может быть предоставлено как внешнее («артистическое понижающее микширование») и система оценивает дополнительную вспомогательную информацию с тем, чтобы обеспечить совпадение предоставляемого понижающего микширования вычисленному понижающему микшированию. На Фиг. 2, сигнал понижающего микширования показан как P-канальный сигнал. Таким образом, возможна конфигурация сигнала понижающего микширования из моно (P=1), стерео (P=2) или многоканального (P>2).

В случае стерео понижающего микширования, каналы сигнала 18 понижающего микширования обозначаются L0 и R0, в случае моно понижающего микширования они же просто обозначаются L0. Чтобы предоставить декодеру 12 SAOC возможность восстановления индивидуальных объектов с s1 по sN, блок 17 оценки вспомогательной информации предоставляет декодеру 12 SAOC вспомогательную информацию, включающую в себя SAOC-параметры. Например, в случае стерео понижающего микширования SAOC-параметры содержат разности уровней объектов (OLD), межобъектные корреляции (IOC) (параметры межобъектной кросс-корреляции), значения усиления понижающего микширования (DMG) и разности уровней каналов понижающего микширования (DCLD). Вспомогательная информация 20, включающая в себя SAOC-параметры, наряду с сигналом 18 понижающего микширования, формируют поток данных вывода SAOC, принимаемый декодером 12 SAOC.

Декодер 12 SAOC содержит блок повышающего микширования, который принимает сигнал 18 понижающего микширования, как, впрочем, и вспомогательную информацию 20 для того, чтобы восстановить и выполнить рендеринг аудиосигналов ŝ1 и ŝN в любой выбранный пользователем набор каналов с ŷ1 по ŷM, при этом рендеринг предписывается информацией 26 рендеринга, вводимой в декодер 12 SAOC.

Аудиосигналы с s1 по sN могут быть введены в кодер 10 в любой области кодирования, как например, во временной или спектральной области. В случае, когда аудиосигналы с s1 по sN подаются в кодер 10 во временной области, как например PCM кодированными, кодер 10 может использовать гребенку фильтра, как например гребенку гибридного QMF, для того, чтобы перевести сигналы в спектральную область, в которой аудиосигналы представляются в нескольких поддиапазонах, связанных с разными спектральными участками, при конкретном разрешении гребенки фильтра. Если аудиосигналы с s1 по sN уже находятся в представлении, которое ожидается кодером 10, вышеупомянутому не требуется выполнять спектральное разложение.

Фиг. 1 иллюстрирует декодер для генерирования сигнала вывода аудио, содержащего один или более каналов вывода аудио, из сигнала понижающего микширования, содержащего три или более канала понижающего микширования в соответствии с вариантом осуществления. Сигнал понижающего микширования кодирует три или более сигнала аудиообъекта.

Декодер содержит маршрутизатор 110 канала ввода для приема трех или более каналов DMX1, DMX2, DMX3 понижающего микширования и для приема вспомогательной информации SI, и по меньшей мере, два блока 121, 122 обработки канала для генерирования, по меньшей мере, двух обработанных каналов для получения одного или более каналов вывода аудио.

Маршрутизатор 110 канала вывода выполнен с возможностью подачи каждого из, по меньшей мере, двух из трех или более каналов DMX1, DMX2, DMX3 понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков 121, 122 обработки канала таким образом, что каждый из, по меньшей мере, двух блоков 121, 122 обработки канала принимает один или более из трех или более каналов понижающего микширования, и таким образом, что каждый из, по меньшей мере, двух блоков 121, 122 обработки канала принимает меньше, чем общее число из трех или более каналов DMX1, DMX2, DMX3 понижающего микширования.

В частности, в варианте осуществления Фиг. 1, каждый из трех каналов DMX1, DMX2, DMX3 понижающего микширования подаются в точно один блок обработки канала. Тем не менее, в других вариантах осуществления, не все из трех или более каналов понижающего микширования, принятых маршрутизатором 110 канала ввода, могут быть поданы в блок обработки. Тем не менее, в любом случае, каждый из, по меньшей мере, двух каналов понижающего микширования из трех или более каналов понижающего микширования будут поданы в, по меньшей мере, один из блоков обработки канала.

Каждый блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки канала выполнен с возможностью генерирования одного или более из, по меньшей мере, двух обработанных каналов в зависимости от вспомогательной информации SI и в зависимости от упомянутого одного или более из, по меньшей мере, двух из трех или более каналов (DMX1, DMX2, DMX3) понижающего микширования, принятых посредством упомянутого блока 121, 122 обработки канала от маршрутизатора 110 канала ввода.

В примере на Фиг. 1, блок 121 обработки канала принимает два канала (DMX1 DMX2) понижающего микширования для генерирования двух обработанных каналов (PCH1, PCH2). Таким образом, блок 121 обработки может быть рассмотрен в качестве блока обработки стерео-в-стерео.

Более того, в примере на Фиг. 1, блок 122 обработки канала принимает канал DMX3 понижающего микширования для генерирования двух обработанных каналов (PCH3, PCH4).

В примере на Фиг. 1, обработанные каналы PCH1, PCH2, PCH3, PCH4 являются каналами вывода аудио, сгенерированными декодером. Тем не менее, в других вариантах осуществления, каналы вывода аудио генерируются в зависимости от обработанных каналов, например, посредством применения информации рендеринга.

Генерирование обработанных каналов из каналов понижающего микширования выполняется посредством применения вспомогательной информации. Вспомогательная информация может, например, содержать информацию понижающего микширования, которая указывает на то, каким образом аудиообъекты были подвергнуты понижающему микшированию для получения трех или более каналов понижающего микширования. Более того, вспомогательная информация также может содержать информацию о матрице ковариации размера N×N, которая может указывать для N аудиообъектов или N сигналов аудиообъектов, которые закодированы, параметры OLD и IOC этих N аудиообъектов.

Блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки канала может, например, быть блоком обработки моно-в-моно, который реализует режим обработки моно в моно «x-1-1». Или, блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки может, например, быть выполнен с возможностью реализации режима обработки моно в стерео «x-1-2». Или, блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки может, например, быть выполнен с возможностью реализации режима обработки стерео в моно «x-2-1». Или, блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки может, например, быть блоком обработки стерео-в-стерео, который реализует режим обработки стерео в стерео «x-2-2».

Режим обработки моно в моно «x-1-1», режим обработки моно в стерео «x-1-2», режим обработки стерео в моно «x-2-1» и режим обработки стерео в стерео «x-2-2» описываются в Стандарте SAOC (смотри [SAOC]), в качестве режимов декодирования стандарта SAOC.

В частности, смотри, например, ISO/IEC, «MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC),» ISO/IEC JTC1/SC29/WG11 (MPEG) Международный Стандарт 23003-2:2010, в частности, смотри, раздел «SAOC Processing», еще точнее, смотри подраздел «Decoding modes».

В варианте осуществления, каждый из, по меньшей мере, двух блоков 121, 122 обработки канала может быть либо блоком моно обработки, либо блоком стерео обработки, при этом упомянутый блок моно обработки выполнен с возможностью приема точно одного из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного или точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутого точно одного из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации, и при этом упомянутый блок стерео обработки выполнен с возможностью приема точно двух из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного или точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутых точно двух из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

По меньшей мере, один из, по меньшей мере двух блоков 121, 122 обработки канала может быть выполнен с возможностью приема точно одного из трех или более каналов понижающего микширования и является выполненным с возможностью генерирования точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутого точно одного из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В соответствии с вариантом осуществления, по меньшей мере, один из, по меньшей мере, двух блоков 121, 122 обработки канала может быть выполнен с возможностью приема точно двух из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного из, по меньшей мере, двух обработанных каналов в зависимости от упомянутых точно двух из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

Блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки может, например, реализовывать режим обработки моно понижающего микширования («x-1-5») для генерирования пяти обработанных каналов из моно канала понижающего микширования. Или, блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки может, например, реализовывать режим обработки стерео понижающего микширования («x-2-5») для генерирования пяти обработанных каналов из двух каналов понижающего микширования.

Режим обработки моно понижающего микширования («x-1-5») и режим обработки стерео понижающего микширования («x-2-5») описываются в Стандарте SAOC (смотри [SAOC]), как режимы транскодирования стандарта SAOC.

В частности, смотри, например, ISO/IEC, «MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC),» ISO/IEC JTC1/SC29/WG11 (MPEG) Международный Стандарт 23003-2:2010, в частности, смотри, раздел «SAOC Processing», еще точнее, смотри подраздел «Transcoding modes».

Тем не менее, в некоторых вариантах осуществления, один, некоторые или все из блоков 121, 122 обработки канала может быть выполнен по-другому.

В варианте осуществления, маршрутизатор 110 канала ввода может быть выполнен с возможностью приема четырех или более каналов понижающего микширования, и, по меньшей мере, один из, по меньшей мере, двух блоков 121, 122 обработки канала может быть выполнен с возможностью приема, по меньшей мере, трех из четырех или более каналов понижающего микширования и может быть выполнен с возможностью генерирования, по меньшей мере, трех из обработанных каналов в зависимости от упомянутых, по меньшей мере, трех из четырех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В соответствии с вариантом осуществления, по меньшей мере, один из, по меньшей мере, двух блоков 121, 122 обработки канала может быть выполнен с возможностью приема точно трех из четырех или более каналов понижающего микширования и может быть выполнен с возможностью генерирования точно трех из обработанных каналов в зависимости от упомянутых точно трех из четырех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В варианте осуществления, маршрутизатор 110 канала ввода может быть выполнен с возможностью приема шести или более каналов понижающего микширования, и при этом, по меньшей мере, один из, по меньшей мере, двух блоков 121, 122 обработки канала может быть выполнен с возможностью приема точно пяти из шести или более каналов понижающего микширования и выполнен с возможностью генерирования точно пяти из обработанных каналов в зависимости от упомянутых точно пяти из шести или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В соответствии с вариантом осуществления, маршрутизатор канала ввода может быть выполнен с возможностью подачи каждого из, по меньшей мере, двух из трех или более каналов понижающего микширования в точно один из, по меньшей мере, двух блоков 121, 122 обработки канала. Таким образом, ни один из каналов DMX1, DMX2, DMX3 понижающего микширования не подается в два или более из блоков 121, 122 обработки канала, как, например, в примере на Фиг. 1. Тем не менее, в других вариантах осуществления, один или более из каналов понижающего микширования могут быть поданы в более чем один блок обработки канала.

В варианте осуществления, маршрутизатор 110 канала ввода может быть выполнен с возможностью подачи каждого из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков 121, 122 обработки канала таким образом, что каждый из трех или более каналов понижающего микширования принимается посредством одного или более из, по меньшей мере, двух блоков 121, 122 обработки канала. Тем не менее, в других вариантах осуществления, маршрутизатор 110 канала ввода выполнен с возможностью отмены подачи, по меньшей мере, одного из трех или более каналов понижающего микширования в любой из, по меньшей мере, двух блоков 121, 122 обработки канала таким образом, что упомянутый, по меньшей мере, один из трех или более каналов понижающего микширования не принимается посредством любого из, по меньшей мере, двух блоков обработки канала.

В соответствии с вариантом осуществления, каждый из, по меньшей мере, двух блоков 121, 122 обработки канала может быть выполнен с возможностью генерирования упомянутого одного или более из, по меньшей мере, двух обработанных каналов независимо от, по меньшей мере, одного из трех или более каналов понижающего микширования. Другими словами, ни один из блоков обработки канала не принимает все из каналов DMX1, DMX2, DMX3 понижающего микширования, как иллюстрируется на Фиг. 1.

В соответствии с вариантами осуществления, функциональные возможности обработки многоканального понижающего микширования могут быть реализованы посредством (каскадного или/и параллельного) приложения нескольких экземпляров декодеров/транскодеров SAOC (или их частей).

Фиг. 3 изображает схематичную иллюстрацию, показывающую принцип параллельного объединения нескольких экземпляров моно и стерео декодеров/транскодеров SAOC для параметрического декодирования смеси многоканальных сигналов в соответствии с вариантом осуществления.

В частности, на Фиг. 3, несколько экземпляров моно и стерео декодеров/транскодеров SAOC приводятся в действие параллельно для обработки многоканального понижающего микширования.

Например, блоки 121, 122, 123, 124, 125, 126 обработки канала с Фиг. 3 могут быть выполнены с возможностью параллельного генерирования, по меньшей мере, двух обработанных каналов. Например, блоки 121, 122, 123, 124, 125, 126 обработки канала могут быть выполнены с возможностью параллельного генерирования, по меньшей мере, двух обработанных каналов таким образом, что каждый из, по меньшей мере, двух блоков обработки канала начинает генерирование одного из, по меньшей мере, двух обработанных каналов до того, как любой другой блок обработки канала из, по меньшей мере, двух блоков обработки канала заканчивает генерирование другого одного из, по меньшей мере, двух обработанных каналов.

Маршрутизатор 110 канала ввода с Фиг. 3 маршрутизирует каналы ввода к нескольким декодерам/транскодерам. Следует отметить, что декодеры/транскодеры могут приводиться в действие с помощью любого произвольного числа каналов ввода и не ограничиваются лишь моно или стерео сигналами, как изображено на Фиг. 3 для наглядности.

В соответствии с вариантом осуществления Фиг. 3, декодер дополнительно содержит маршрутизатор 130 канала вывода для объединения, по меньшей мере, двух обработанных каналов для получения одного или более каналов вывода аудио. (Обработанные) сигналы, которые обрабатываются блоками декодеров/транскодеров, подаются в маршрутизатор 130 канала вывода. Маршрутизатор 130 канала вывода объединяет несколько потоков ввода и возвращает финальную оценку сигналов аудиообъектов блоку 140 рендеринга.

В варианте осуществления, иллюстрируемом Фиг. 3, декодер дополнительно содержит блок 140 рендеринга. Блок 140 рендеринга выполнен с возможностью приема информации рендеринга, при этом блок рендеринга выполнен с возможностью генерирования одного или более каналов вывода аудио в зависимости от, по меньшей мере, двух обработанных каналов и в зависимости от информации рендеринга.

Следует отметить, что параметрическую обработку требуется применять только к интересующим каналам понижающего микширования. Таким образом может быть уменьшена сложность вычисления. Сигналы понижающего микширования могут быть полностью обойдены обработкой, если они не требуются (например, каналы окружающего звучания могут быть обойдены, если осуществляется манипулирование только фронтальной сценой). В этих вариантах осуществления, не все из трех или более каналов понижающего микширования, принятые маршрутизатором 110 канала ввода, подаются в блок обработки канала, а лишь подмножество из этих принятых каналов понижающего микширования. Тем не менее, в любом случае, по меньшей мере, два канала понижающего микширования из трех или более принятых каналов понижающего микширования, предоставляются блокам обработки канала.

Фиг. 4 изображает схему, иллюстрирующую принцип каскадной структуры моно и стерео декодеров/транскодеров SAOC для обработки смеси многоканальных сигналов в соответствии с вариантом осуществления.

В соответствии с таким вариантом осуществления, иллюстрируемым Фиг. 4, первый блок 121 обработки канала из, по меньшей мере, двух блоков обработки канала, может быть выполнен с возможностью подачи первого обработанного канала PCH11 из, по меньшей мере, двух обработанных каналов во второй блок 126 обработки канала из, по меньшей мере, двух блоков обработки канала. Упомянутый второй блок 126 обработки может быть выполнен с возможностью генерирования второго обработанного канала PCH22 из, по меньшей мере, двух обработанных каналов в зависимости от первого обработанного канала PCH11.

Комбинация нескольких декодеров/транскодеров может быть статической и заданной заранее, но также может быть адаптируемой динамически.

Данный подход представляет собой полностью обратно совместимый с SAOC способ расширения систем обработки многоканального понижающего микширования.

Настоящие варианты осуществления изобретения могут быть применены к произвольному числу каналов понижающего микширования/повышающего микширования. Они могут быть объединены с любыми настоящими, а также будущими аудио форматами.

Гибкость способа изобретения позволяет обходить неизменяемые каналы для уменьшения сложности вычислений, сокращения полезной нагрузки битового потока/сокращения объема данных.

Некоторые варианты осуществления, относятся к аудио кодеру, способу или компьютерной программе для кодирования. Более того, некоторые варианты осуществления относятся к аудио декодеру, способу или компьютерной программе для декодирования, как описано выше. Кроме того, некоторые варианты осуществления относятся к закодированному сигналу.

Несмотря на то, что некоторые аспекты были описаны в контексте устройства, очевидно, что эти аспекты также представляют собой описание соответствующего способа, при этом блок или устройство соответствует этапу способа или признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют собой описание соответствующего блока или элемента или признака соответствующего устройства.

Разложенный сигнал по изобретению может быть сохранен на цифровом запоминающем носителе информации или может быть передан по средству передачи такому как беспроводное средство передачи или проводное средство передачи, такое как Интернет.

В зависимости от конкретных требований к реализации, варианты осуществления изобретения могут быть реализованы в аппаратном обеспечении или в программном обеспечении. Реализация может быть выполнена при помощи цифрового запоминающего носителя информации, например, гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или FLASH памяти, с хранящимися на нем электронно-считываемыми сигналами управления, которые взаимодействуют (или выполнены с возможностью взаимодействия) с программируемой компьютерной системой таким образом, что выполняется соответствующий способ.

Некоторые варианты осуществления в соответствии с изобретением содержат некратковременный (нетранзиторный) носитель данных с электронно-считываемыми сигналами управления, которые выполнены с возможностью взаимодействия с программируемой компьютерной системой таким образом, что выполняется один из описываемых в данном документе способов.

В целом, варианты осуществления настоящего изобретения могут быть реализованы в качестве компьютерного программного продукта с программным кодом, при этом программный код действует для выполнения одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код может, например, быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для выполнения одного из описываемых в данном документе способов, хранящуюся на машиночитаемом носителе.

Другими словами, вариант осуществления способа по изобретению является, вследствие этого, компьютерной программой с программным кодом для выполнения одного из описываемых в данном документе способов, когда компьютерная программа выполняется на компьютере.

Дополнительный вариант осуществления способов по изобретению является, вследствие этого, носителем данных (или цифровым запоминающим носителем информации, или машиночитаемым носителем информации) содержащим, записанную на нем, компьютерную программу для выполнения одного из описываемых в данном документе способов.

Дополнительный вариант осуществления способа по изобретению является, вследствие этого, потоком данных или последовательностью сигналов, представляющих собой компьютерную программу для выполнения одного из описываемых в данном документе способов. Поток данных или последовательность сигналов могут, например, быть выполнены с возможностью переноса через соединения для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер, или программируемое логическое устройство, сконфигурированное для или выполненное с возможностью выполнения одного из описываемых в данном документе способов.

Дополнительный вариант осуществления содержит компьютер с инсталлированной на нем компьютерной программой для выполнения одного из описываемых в данном документе способов.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая вентильная матрица) может быть использовано для выполнения некоторых или всех из функциональных возможностей, описываемых в данном документе способов. В некоторых вариантах осуществления, программируемая вентильная матрица может взаимодействовать с микропроцессором для того, чтобы выполнять один из описываемых в данном документе способов. В целом, способы предпочтительно выполняются любым устройством аппаратного обеспечения.

Описанные выше варианты осуществления являются лишь иллюстративными для принципов настоящего изобретения. Следует понимать, что специалистам в соответствующей области будут очевидны модификации и вариации описываемых в данном документе компоновок и подробностей. Вследствие этого, подразумевается, что изобретение должно ограничиваться только объемом прилагаемой формулы изобретения, а не конкретными подробностями, представленными в данном документе в качестве описания и объяснения вариантов осуществления.

БИБЛИОГРАФИЯ

[MPS] ISO/IEC 23003-1:2007, MPEG-D (MPEG audio technologies), Part 1: MPEG Surround, 2007.

[BCC] C. Faller and F. Baumgarte, “Binaural Cue Coding - Part II: Schemes and applications,” IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.

[JSC] C. Faller, “Parametric Joint-Coding of Audio Sources”, 120th AES Convention, Paris, 2006.

[SAOC1] J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007.

[SAOC2] J. Engdegård, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Hölzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: "Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008.

[SAOC] ISO/IEC, “MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC),” ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2.

[ISS1] M. Parvaix and L. Girin: “Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding”, IEEE ICASSP, 2010.

[ISS2] M. Parvaix, L. Girin, J.-M. Brossier: “A watermarking-based method for informed source separation of audio signals with a single sensor”, IEEE Transactions on Audio, Speech and Language Processing, 2010.

[ISS3] A. Liutkus and J. Pinel and R. Badeau and L. Girin and G. Richard: “Informed source separation through spectrogram coding and data embedding”, Signal Processing Journal, 2011.

[ISS4] A. Ozerov, A. Liutkus, R. Badeau, G. Richard: “Informed source separation: source coding meets source separation”, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011.

[ISS5] Shuhua Zhang and Laurent Girin: “An Informed Source Separation System for Speech Signals”, INTERSPEECH, 2011.

[ISS6] L. Girin and J. Pinel: “Informed Audio Source Separation from Compressed Linear Stereo Mixtures”, AES 42nd International Conference: Semantic Audio, 2011.

1. Декодер для генерирования сигнала вывода аудио, содержащего один или более каналов вывода аудио, из сигнала понижающего микширования, содержащего три или более канала понижающего микширования, при этом сигнал понижающего микширования кодирует три или более сигнала аудиообъектов, при этом каждый из сигналов аудиообъектов указывает отличную часть аудио контента, при этом упомянутая часть связана с уровнем воспроизведения и пространственной позицией, содержащий: маршрутизатор (110) канала ввода для приема трех или более каналов понижающего микширования и для приема вспомогательной информации, и по меньшей мере, два блока (121, 122, 123, 124, 125, 126) обработки канала для генерирования, по меньшей мере, двух обработанных каналов для получения одного или более каналов вывода аудио, маршрутизатор (130) канала вывода, и блок (140) рендеринга, при этом маршрутизатор (110) канала ввода выполнен с возможностью подачи каждого из, по меньшей мере, двух из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала таким образом, что каждый из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала принимает один или более из трех или более каналов понижающего микширования, и таким образом, что каждый из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала принимает меньше, чем общее число из трех или более каналов понижающего микширования, при этом каждый блок обработки канала из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала выполнен с возможностью генерирования одного или более из, по меньшей мере, двух обработанных каналов в зависимости от упомянутого одного или более из, по меньшей мере, двух из трех или более каналов понижающего микширования, принятых упомянутым блоком обработки канала от маршрутизатора (110) канала ввода, и в зависимости от вспомогательной информации, содержащей информацию понижающего микширования, которая указывает на то, каким образом сигналы аудиообъектов были подвергнуты понижающему микшированию для получения трех или более каналов понижающего микширования, и дополнительно содержащей информацию о матрице ковариации размера N×N, при этом N указывает количество трех или более сигналов аудиообъектов, при этом матрица ковариации указывает для N сигналов аудиообъектов, которые закодированы в сигнале понижающего микширования, параметры разностей уровней объектов и параметры межобъектных корреляций N сигналов аудиообъектов, при этом, по меньшей мере, два блока (121, 122, 123, 124, 125, 126) обработки канала выполнены с возможностью генерирования, по меньшей мере, двух обработанных каналов параллельно, при этом маршрутизатор (130) канала вывода выполнен с возможностью объединения, по меньшей мере, двух обработанных каналов для получения оценки сигналов аудиообъектов, и при этом блок (140) рендеринга выполнен с возможностью приема информации рендеринга, и генерирования одного или более каналов вывода аудио в зависимости от оценки сигналов аудиообъектов и в зависимости от информации рендеринга.

2. Декодер по п. 1, в котором маршрутизатор (110) канала ввода выполнен с возможностью подачи каждого из, по меньшей мере, двух из трех или более каналов понижающего микширования в точно один из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала.

3. Декодер по п. 1, в котором маршрутизатор (110) канала ввода выполнен с возможностью подачи каждого из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала таким образом, что каждый из трех или более каналов понижающего микширования принимается посредством одного или более из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала.

4. Декодер по п. 1, в котором маршрутизатор (110) канала ввода выполнен с возможностью отмены подачи, по меньшей мере, одного из трех или более каналов понижающего микширования в любой из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала таким образом, что упомянутый, по меньшей мере, один из трех или более каналов понижающего микширования не принимается любым из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала.

5. Декодер по п. 1, в котором каждый из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала выполнен с возможностью генерирования упомянутого одного или более из, по меньшей мере, двух обработанных каналов независимо от, по меньшей мере, одного из трех или более каналов понижающего микширования.

6. Декодер по п. 1, при этом каждый из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала является либо блоком моно обработки, либо блоком стерео обработки, при этом упомянутый блок моно обработки выполнен с возможностью приема точно одного из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного или точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутого точно одного из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации, и при этом упомянутый блок стерео обработки выполнен с возможностью приема точно двух из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного или точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутых точно двух из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

7. Декодер по п. 1, в котором, по меньшей мере один из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала выполнен с возможностью приема точно одного из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутого точно одного из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

8. Декодер по п. 1, в котором, по меньшей мере, один из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала выполнен с возможностью приема точно двух из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного из, по меньшей мере, двух обработанных каналов в зависимости от упомянутых точно двух из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

9. Декодер по п. 1, при этом маршрутизатор (110) канала ввода выполнен с возможностью приема четырех или более каналов понижающего микширования, и при этом, по меньшей мере, один из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала выполнен с возможностью приема, по меньшей мере, трех из четырех или более каналов понижающего микширования и выполнен с возможностью генерирования, по меньшей мере, трех из обработанных каналов в зависимости от упомянутых, по меньшей мере, трех из четырех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

10. Декодер по п. 9, в котором, по меньшей мере, один из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала выполнен с возможностью приема точно трех из четырех или более каналов понижающего микширования и выполнен с возможностью генерирования точно трех из обработанных каналов в зависимости от упомянутых точно трех из четырех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

11. Декодер по п. 9, при этом маршрутизатор (110) канала ввода выполнен с возможностью приема шести или более каналов понижающего микширования, и при этом, по меньшей мере, один из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала выполнен с возможностью приема точно пяти из шести или более каналов понижающего микширования и выполнен с возможностью генерирования точно пяти из обработанных каналов в зависимости от упомянутых точно пяти из шести или более каналов понижающего микширования и в зависимости от вспомогательной информации.

12. Декодер по п. 1, в котором первый блок обработки канала из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала выполнен с возможностью подачи первого обработанного канала из, по меньшей мере, двух обработанных каналов во второй блок обработки канала из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала, и в котором упомянутый второй блок обработки канала выполнен с возможностью генерирования второго обработанного канала из, по меньшей мере, двух обработанных каналов в зависимости от первого обработанного канала.

13. Способ генерирования сигнала вывода аудио, содержащего один или более каналов вывода аудио, из сигнала понижающего микширования, содержащего три или более канала понижающего микширования, при этом сигнал понижающего микширования кодирует три или более сигнала аудиообъектов, при этом каждый из сигналов аудиообъектов указывает отличную часть аудио контента, при этом упомянутая часть связана с уровнем воспроизведения и пространственной позицией, содержащий этапы, на которых: принимают три или более канала понижающего микширования и принимают вспомогательную информацию посредством маршрутизатора (110) канала ввода, подают каждый из, по меньшей мере, двух из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала, таким образом, что каждый из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала принимает один или более из трех или более каналов понижающего микширования, и таким образом, что каждый из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала принимает меньше, чем общее число из трех или более каналов понижающего микширования, генерируют, по меньшей мере, два обработанных канала посредством, по меньшей мере, двух блоков 121, 122, 123, 124, 125, 126) обработки канала для получения одного или более каналов вывода аудио, генерируют один или более из, по меньшей мере, двух обработанных каналов посредством каждого блока обработки канала из, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала в зависимости от упомянутого одного или более из, по меньшей мере, двух из трех или более каналов понижающего микширования, принятых посредством упомянутого блока обработки канала от маршрутизатора (110) канала ввода, и в зависимости от вспомогательной информации, содержащей информацию понижающего микширования, которая указывает на то, каким образом сигналы аудиообъектов были подвергнуты понижающему микшированию для получения трех или более каналов понижающего микширования, и дополнительно содержащей информацию о матрице ковариации размера N×N, при этом N указывает количество трех или более сигналов аудиообъектов, при этом матрица ковариации указывает для N сигналов аудиообъектов, которые закодированы в сигнале понижающего микширования, параметры разностей уровней объектов и параметры межобъектных корреляций N сигналов аудиообъектов, при этом этап, на котором генерируют, по меньшей мере, два обработанных канала посредством, по меньшей мере, двух блоков (121, 122, 123, 124, 125, 126) обработки канала, проводится параллельно, объединяют, по меньшей мере, два обработанных канала посредством маршрутизатора (130) канала вывода для получения оценки сигналов аудиообъектов, принимают информацию рендеринга посредством блока (140) рендеринга, и генерируют один или более каналов вывода аудио посредством блока (140) рендеринга в зависимости от оценки сигналов аудиообъектов и в зависимости от информации рендеринга.

14. Машиночитаемый носитель, содержащий записанную на нем компьютерную программу, которая, при исполнении на компьютере или сигнальном процессоре, предписывает компьютеру или сигнальному процессору выполнять способ по п. 13.



 

Похожие патенты:

Изобретение относится к области многоканального звукового кодирования. Техническим результатом является повышение качества кодированного и декодированного звукового сигнала.

Изобретение относится к обработке метаданных и предназначено для перекодировки метаданных с пониженной вычислительной сложностью. Технический результат - повышение точности перекодировки метаданных.

Группа изобретений относится к многокаскадным фильтрам и может быть использована для фильтрации данных с использованием таких фильтров. Техническим результатом является обеспечение параллельной обработки данных.

Изобретение относится к кодированию цифрового звука, а именно к средствам кодирования звуковых сигналов, содержащих составляющие разного характера. Технический результат заключается в повышении точности воспроизведения звука.

Изобретение относится к аудио кодированию. Технический результат заключается в повышении эффективности кодирования при незначительных вычислительных затратах.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности кодирования последовательных фрагментов аудиоконтента.

Изобретение относится к средствам для получения пространственных параметров на основе акустического входного сигнала. Технический результат заключается в обеспечении возможности получения пространственных параметров для входного аудиосигнала с минимизированными расхождениями с моделью, связанными с изменениями во времени или временной нестабильностью входного аудиосигнала.

Изобретение относится к средствам кодирования и декодирования речевого сигнала. Технический результат заключается в уменьшении возникающего опережающего эха и запаздывающего эха и в повышении качества декодированного сигнала без увеличения скорости передачи битов.

Изобретение относится к аудиосистеме, в частности к виртуальному пространственному воспроизведению аудиосигналов. Технический результат - обеспечение полного восприятия пространственного звука на основе бинауральных сигналов.

Изобретение относится к средствам кодирования и декодирования речевого сигнала. Технический результат заключается в уменьшении возникающего опережающего эха и запаздывающего эха и в повышении качества декодированного сигнала без увеличения скорости передачи битов.

Изобретение относится к средствам возбуждения смешанной кодовой книги для кодирования речи. Технический результат заключается в повышении воспринимаемого качества речевого сигнала по сравнению с системами кодирования, использующими только импульсное возбуждение или только шумовое возбуждение. Способ кодирования аудио/речевого сигнала включает в себя определение вектора смешанной кодовой книги на основании поступающего аудио/речевого сигнала, причем вектор смешанной кодовой книги включает в себя сумму записи первой кодовой книги из первой кодовой книги и записи второй кодовой книги из второй кодовой книги. Способ дополнительно включает в себя генерацию кодированного аудиосигнала на основании определенного вектора смешанной кодовой книги и передачу индекса кодированного возбуждения определенного вектора смешанной кодовой книги. 3 н. и 23 з.п. ф-лы, 17 ил.

Группа изобретений относится к технологиям кодирования/декодирования аудио информации. Техническим результатом является повышение эффективности кодирования/декодирования аудио информации. Предложен аудио декодер для обеспечения декодированной аудио информации на основе кодированной аудио информации. Аудио декодер содержит арифметический декодер и конвертер частотной области во временную область. При этом арифметический декодер предназначен для обеспечения множества декодированных спектральных значений на основе арифметически кодированного представления спектральных значений. При этом арифметический декодер настроен выбирать правило отображения, описывающее отображение значения кода на код символа в зависимости от числового значения текущего контекста, которое описывает текущее состояние контекста. А также арифметический декодер настроен определять числовое значение текущего контекста в зависимости от множества ранее декодированных спектральных значений. 6 н. и 9 з.п. ф-лы, 48 ил.

Изобретение относится к области квантования коэффициентов кодирования с линейным предсказанием. Технический результат – обеспечение повышения эффективности квантования аудио или речевого сигнала посредством выбора оптимального модуля квантования. Устройство квантования речевого или аудио сигнала содержит: модуль выбора, выполненный с возможностью выбора на основе ошибки предсказания одного из первого блока квантования и второго блока квантования методом открытого контура; первый блок квантования выполнен с возможностью квантования входного сигнала, включающего в себя по меньшей мере один из речевого сигнала или аудио сигнала, без межкадрового предсказания; второй блок квантования выполнен с возможностью квантования входного сигнала с межкадровым предсказанием. 19 з.п. ф-лы, 38 ил., 9 табл.

Изобретение относится к системам и способам определения набора коэффициентов интерполяции. Технический результат изобретения заключается в оптимизировании пропускной способности, уравновешивая тем самым желаемую среднюю битовую скорость восстанавливаемого речевого сигнала.  Способ для определения набора коэффициентов интерполяции посредством электронного устройства включает в себя определение значения на основе свойства текущего кадра и свойства предыдущего кадра, определение того, находится или нет значение за пределами диапазона, определение набора коэффициентов интерполяции на основе значения и индикатора режима прогнозирования, если значение находится за пределами диапазона. 4 н. 28 з.п. ф-лы, 16 ил.

Изобретение относится к средствам для генерирования и воспроизведения аудиосигнала. Технический результат заключается в обеспечении возможности генерирования и воспроизведения аудиосигнала при уменьшении доступной скорости передачи данных. Устройство содержит первое воспроизводящее средство, выполненное с возможностью воспроизведения первой части аудиосигнала на основании первых данных. Средство предоставления выполняется с возможностью предоставления сигнала-заплаты во второй частотной полосе, причем сигнал-заплата является по меньшей мере частично некоррелированным относительно первой части аудиосигнала или является по меньшей мере частично декоррелированной версией первой части аудиосигнала, которая была смещена во вторую частотную полосу. Второе воспроизводящее средство выполняется с возможностью воспроизведения второй части аудиосигнала во второй частотной полосе на основании вторых данных и сигнала-заплаты. Объединяющее средство выполняется с возможностью объединения воспроизводимой первой части аудиосигнала и сигнала-заплаты перед воспроизведением второй части аудиосигнала вторым воспроизводящим средством. 6 н. и 9 з.п. ф-лы, 13 ил.

Изобретение относится к средствам для кодирования и декодирования кодированного аудиосигнала. Технический результат заключается в предоставлении усовершенствованного принципа кодирования/декодирования, позволяющего уменьшить скорость передачи битов. Устройство для декодирования кодированного сигнала содержит: аудиодекодер в спектральной области для формирования первого декодированного представления первого набора первых спектральных частей, представляющих собой остаточные спектральные прогнозные значения; модуль повторного формирования частоты для формирования восстановленной второй спектральной части с использованием первой спектральной части из первого набора первых спектральных частей, при этом восстановленная вторая спектральная часть дополнительно содержит остаточные спектральные прогнозные значения; и обратный прогнозный фильтр для выполнения обратного прогнозирования по частоте с использованием остаточных спектральных значений для первого набора первых спектральных частей и восстановленной второй спектральной части с использованием информации прогнозного фильтра, включенной в кодированный аудиосигнал. 6 н. и 14 з.п. ф-лы, 41 ил.

Изобретение относится к средствам кодирования и декодирования звукового сигнала. Технический результат заключается в повышении эффективности кодирования при наличии колебаний основной частоты. Декодер звукового сигнала включает декодер контекст-ориентированного спектрального значения, сконфигурированный, чтобы декодировать кодовое слово, описывающее одно или более спектральных значений или часть представления чисел одного или более спектральных значений в зависимости от состояния контекста, чтобы получить декодированные спектральные значения. Декодер звукового сигнала также включает определитель состояния контекста, сконфигурированный, чтобы определить текущее состояние контекста в зависимости от одного или более ранних декодированных спектральных значений. Декодер звукового сигнала также включает преобразователь частотной области во временную область с деформацией времени, формируемый, чтобы обеспечить представление временной области с деформацией времени данного звукового фрейма на основе набора декодированных спектральных значений, связанных с данным звуковым фреймом, и предоставленных декодером контекст-ориентированных спектральных значений. 6 н. и 12 з.п. ф-лы, 51 ил.

Изобретение относится к области микширования. Технический результат – устранение слышимого искажения в сигнале. Устройство для формирования одного или нескольких подстроенных параметров для формирования представления сигнала повышающего микширования, на основе представления сигнала понижающего микширования и связанного с этим представлением сигнала понижающего микширования служебной параметрической информации с использованием среднего значения параметров, включающее подстройщик параметра, выполненный с возможностью получения одного или нескольких параметров и формирования на их основе одного или нескольких подстроенных параметров, где подстройщик параметра выполнен с возможностью сформировать один или более подстроенных параметров в зависимости от среднего значения из множества значений параметра, так, что искажение представления микшированного с повышением сигнала, вызываемое при использовании неоптимальных параметров для обработки представления микшированного с повышением сигнала, уменьшено, по крайней мере, для одного или более параметров, отклоняющихся от оптимальных параметров больше, чем на предопределенное отклонение. 4 н. и 18 з.п. ф-лы, 10 ил.

Изобретение относится к средствам для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования. Технический результат заключается в обеспечении высокого качества звука даже в случае выбора пользователем матрицы аудиокодирования при сохранении низкого уровня вычислительной эффективности на стороне аудиокодера. Устройство включает ограничитель искажения, формируемый, чтобы получить измененную матрицу визуализации посредством использования линейной комбинации определенной пользователем матрицы визуализации и заданной матрицы визуализации в зависимости от параметра линейной комбинации. Устройство также включает процессор сигнала, формируемый, чтобы получить представление сигнала повышающего микширования на основе представления сигнала понижающего микширования и связанной с объектом параметрической информации посредством использования измененной матрицы визуализации. 6 н. и 15 з.п. ф-лы, 19 ил.

Изобретение относится к средствам ослабления опережающих эхо-сигналов в цифровом звуковом сигнале. Технический результат заключается в обеспечении возможности ослабления высоких частот и паразитных опережающих эхо-сигналов при декодировании без передачи кодирующим устройством какой-либо вспомогательной информации. Ослабляют опережающие эхо-сигналы в цифровом звуковом сигнале, получаемом путем кодирования посредством преобразования. В декодированном сигнале обнаруживают положение атаки. Определяют зону опережающего эхо-сигнала, предшествующую положению атаки, обнаруженному в декодированном сигнале. Вычисляют коэффициенты ослабления на каждый подблок зоны опережающего эхо-сигнала в зависимости, по меньшей мере, от кадра, в котором была обнаружена атака, и от предыдущего кадра. Производят ослабление опережающего эхо-сигнала в подблоках зоны опережающего эхо-сигнала при помощи соответствующих коэффициентов ослабления. Способ ослабления опережающего эхо-сигнала дополнительно содержит этап применения адаптивной фильтрации для придания спектральной формы зоне опережающего эхо-сигнала на текущем кадре до обнаруженного положения атаки. 4 н. и 9 з.п. ф-лы, 12 ил.
Наверх