Системы, способы и оборудование для преобразования из канально-ориентированного аудио в объектно-ориентированное аудио

Авторы патента:

H04S7/00 - Индикаторные устройства; устройства управления, например уравновешенного (балансного) управления

H04S3/00 - Системы с более, чем двумя каналами, например квадрафонические (H04S 5/00,H04S 7/00 имеют преимущество)

G10L19/008 - Техника анализа-синтеза речи для уменьшения избыточности, например в вокодерах ; кодирование или декодирование речи

Владельцы патента RU 2793271:

ДОЛБИ ЛЭБОРЕТЕРИЗ ЛАЙСЕНСИНГ КОРПОРЕЙШН (US)
ДОЛБИ ИНТЕРНЭШНЛ АБ (NL)

Изобретение относится к средствам для аудиообработки. Технический результат заключается в повышении эффективности обработки аудио. Принимают поток битов, включающий в себя канально-ориентированное аудио и ассоциированные канально-ориентированные аудиометаданные. Синтаксически анализируют параметр передачи служебных сигналов из канально-ориентированных аудиометаданных, причем параметр передачи служебных сигналов указывает одно из множества различных представлений аудиометаданных объектов (OAMD). Каждое из OAMD-представлений преобразует один или более аудиоканалов канально-ориентированного аудио в один или более аудиообъектов. Преобразуют канально-ориентированные метаданные в OAMD, ассоциированные с одним или более аудиообъектов, с использованием OAMD-представления. Формируют информацию перемешивания каналов на основе ограничений упорядочения каналов OAMD. Переупорядочивают аудиоканалы канально-ориентированного аудио на основе информации перемешивания каналов. Кодируют переупорядоченное канально-ориентированное аудио и OAMD в поток объектно-ориентированных аудиобитов. 5 н. и 10 з.п. ф-лы, 26 ил.

Перекрестные ссылки на родственные заявки

[0001] Данная заявка притязает на приоритет предварительной заявки на патент (США) номер 62/942322, поданной 2 декабря 2019 года, и заявки на патент EP номер 19212906.2, поданной 2 декабря 2019 года, обе из которых полностью содержатся в данном документе по ссылке.

Область техники, к которой относится изобретение

[0002] Данное раскрытие сущности, в общем, относится к обработке аудиосигналов, включающей в себя преобразование канально-ориентированного аудио в объектно-ориентированного аудио.

Уровень техники

[0003] При кодировании канально-ориентированного аудио (CBA), набор дорожек неявно назначается конкретным громкоговорителям посредством ассоциирования набора дорожек с конфигурацией каналов. Если конфигурация динамиков для воспроизведения отличается от конфигурации кодированных каналов, спецификации понижающего микширования или повышающего микширования требуются для того, чтобы перераспределять аудио в доступные динамики. Эта парадигма известна и работает, когда конфигурация каналов на стороне декодирования может предварительно определяться или предполагаться с обоснованной достоверностью как 2.0, 5.X или 7.X. Тем не менее, в силу популярности новых компоновок динамиков, предположения относительно компоновки динамиков, используемой для воспроизведения, не могут выдвигаться. Следовательно, CBA не предлагает достаточный способ для адаптации представления, в котором исходная схема размещения динамиков не совпадает со схемой размещения динамиков на стороне декодирования. Это представляет собой проблему при попытке авторски разрабатывать контент, который воспроизводится хорошо независимо от конфигурации динамиков.

[0004] При кодировании объектно-ориентированного аудио (OBA), рендеринг применяется к объектам, которые содержат аудиосущность объектов в сочетании с метаданными, которые содержат отдельно назначенные свойства объектов. Свойства (например, позиция по оси X, Y, Z или местоположение канала) более явно указывают то, как создатель контента нацеливает аудиоконтент, который должен подготавливаться посредством рендеринга (т.е. они накладывают ограничения на то, как подготавливать посредством рендеринга сущность в динамики). Поскольку отдельные звуковые элементы могут быть ассоциированы с гораздо более богатым набором метаданных, с учетом смыслового значения элементов, способ адаптации к конфигурации динамиков, воспроизводящей аудио, может предоставлять лучшую информацию относительно того, как подготавливать посредством рендеринга в меньшее число динамиков.

[0005] Предусмотрено несколько стандартизированных форматов для передачи CBA-контента, таких как улучшенный AC-3 (E-AC-3), заданный в ETSI TS 102 366 [1]. Чтобы обеспечивать совместимость с уже существующими устройствами, объединенное кодирование объектов (JOC) может использоваться в сочетании со стандартизированными CBA-форматами для того, чтобы транспортировать OBA. JOC доставляет иммерсивное аудио на низких скоростях передачи битов, достигаемых за счет передачи многоканального понижающего микширования иммерсивного контента с использованием алгоритмов перцепционного кодирования аудио вместе с параметрической вспомогательной информацией, которая обеспечивает восстановление аудиообъектов из понижающего микширования в декодере. В некоторых вариантах применения, таких как телевизионные широковещательные передачи, требуется представлять CBA-контент в качестве OBA-контента таким образом, что контент является совместимым с установочной базой OBA-устройств воспроизведения. Тем не менее, стандартизированные форматы потока битов для CBA и OBA не являются полностью совместимыми.

Сущность изобретения

[0006] Раскрываются варианты осуществления для преобразования CBA-контента в OBA-контент и, в конкретном варианте осуществления, для преобразования 22.2-канального контента в OBA-контент для воспроизведения на OBA-совместимых устройствах воспроизведения.

[0007] В варианте осуществления, способ содержит: прием, посредством одного или более процессоров оборудования аудиообработки, потока битов, включающего в себя канально-ориентированное аудио и ассоциированные канально-ориентированные аудиометаданные; причем один или более процессоров выполнены с возможностью: синтаксически анализировать параметр передачи служебных сигналов из канально-ориентированных аудиометаданных, причем параметр передачи служебных сигналов указывает одно из множества различных представлений аудиометаданных объектов (OAMD), причем каждое из OAMD-представлений преобразует один или более аудиоканалов канально-ориентированного аудио в один или более аудиообъектов; преобразовывать канально-ориентированные метаданные в OAMD, ассоциированные с одним или более аудиообъектов, с использованием OAMD-представления, которое указывается посредством параметра передачи служебных сигналов; формировать информацию перемешивания каналов на основе ограничений упорядочения каналов OAMD; переупорядочивать аудиоканалы канально-ориентированного аудио на основе информации перемешивания каналов для того, чтобы формировать переупорядоченное канально-ориентированное аудио; и подготавливать посредством рендеринга переупорядоченное канально-ориентированное аудио в подготовленное посредством рендеринга аудио с использованием OAMD; или кодировать переупорядоченное канально-ориентированное аудио и OAMD в поток объектно-ориентированных аудиобитов и передавать поток объектно-ориентированных аудиобитов в устройство воспроизведения или устройство-источник.

[0008] В варианте осуществления, канально-ориентированное аудио и метаданные включаются в собственный поток аудиобитов, и способ дополнительно содержит декодирование собственного потока аудиобитов для того, чтобы восстанавливать (т.е. определять или извлекать) канально-ориентированное аудио и метаданные.

[0009] В варианте осуществления, канально-ориентированное аудио и метаданные представляют собой N.M-канально-ориентированное аудио и метаданные, где N является положительным целым числом, большим девяти, и M является положительным целым числом, большим или равным нуля.

[0010] В варианте осуществления, способ дополнительно содержит: определение первого набора каналов канально-ориентированного аудио, которые допускают представление посредством подложенных OAMD-каналов; назначение меток подложенных OAMD-каналов первому набору каналов; определение второго набора каналов канально-ориентированного аудио, которые не допускают представление посредством подложенных OAMD-каналов; и назначение статических позиционных OAMD-координат второму набору каналов.

[0011] В варианте осуществления, способ содержит: прием, посредством одного или более процессоров оборудования аудиообработки, потока битов, включающего в себя канально-ориентированное аудио и метаданные; причем один или более процессоров выполнены с возможностью: кодировать канально-ориентированное аудио в собственный поток аудиобитов; синтаксически анализировать параметр передачи служебных сигналов из метаданных, причем параметр передачи служебных сигналов указывает одно из множества различных представлений аудиометаданных объектов (OAMD); преобразовывать канально-ориентированные метаданные в OAMD с использованием OAMD-представления, которое указывается посредством параметра передачи служебных сигналов; формировать информацию перемешивания каналов на основе ограничений упорядочения каналов OAMD; формировать пакет потоков битов, который включает в себя собственный поток аудиобитов, информацию перемешивания каналов и OAMD; мультиплексировать пакет в поток битов транспортного слоя; и передавать поток битов транспортного слоя в устройство воспроизведения или устройство-источник.

[0012] В варианте осуществления, канально-ориентированное аудио и метаданные представляют собой N.M-канально-ориентированное аудио и метаданные, где N является положительным целым числом, большим семи, и M является положительным целым числом, большим или равным нуля.

[0013] В варианте осуществления, каналы в канально-ориентированном аудио, которые могут представляться посредством меток подложенных OAMD-каналов, используют метки подложенных OAMD-каналов, и каналы в канально-ориентированном аудио, которые не могут представляться посредством позиций статических объектов, используют метки подложенных OAMD-каналов, причем каждая позиция статического объекта описывается в позиционных OAMD-координатах.

[0014] В варианте осуществления, поток транспортных битов представляет собой поток аудиобитов по стандарту Экспертной группы по киноизображению (MPEG), который включает в себя сигнал, который указывает присутствие OAMD в поле расширения потока MPEG-аудиобитов.

[0015] В варианте осуществления, сигнал, который указывает присутствие OAMD в потоке MPEG-аудиобитов, включается в зарезервированное поле метаданных в потоке MPEG-аудиобитов для передачи в служебных сигналах режима объемного звука.

[0016] В варианте осуществления, способ содержит: прием, посредством одного или более процессоров оборудования аудиообработки, потока битов транспортного слоя, включающего в себя пакет; причем один или более процессоров выполнены с возможностью: демультиплексировать поток битов транспортного слоя для того, чтобы восстанавливать (т.е. определять или извлекать) пакет; декодировать пакет для того, чтобы восстанавливать (т.е. определять или извлекать) собственный поток аудиобитов, информацию перемешивания каналов и аудиометаданные объектов (OAMD); декодировать собственный поток аудиобитов для того, чтобы восстанавливать поток канально-ориентированных аудиобитов и метаданные; переупорядочивать каналы канально-ориентированного аудио на основе информации перемешивания каналов; и подготавливать посредством рендеринга переупорядоченное канально-ориентированное аудио в подготовленное посредством рендеринга аудио с использованием OAMD; или кодировать канально-ориентированное аудио и OAMD в поток объектно-ориентированных аудиобитов и передавать поток объектно-ориентированных аудиобитов в устройство-источник.

[0017] В варианте осуществления, канально-ориентированное аудио и метаданные представляют собой N.M-канально-ориентированное аудио и метаданные, где N является положительным целым числом, большим семи, и M является положительным целым числом, большим или равным нуля.

[0018] В варианте осуществления, способ дополнительно содержит: определение первого набора каналов канально-ориентированного аудио, которые допускают представление посредством подложенных OAMD-каналов; назначение меток подложенных OAMD-каналов первому набору каналов; определение второго набора каналов канально-ориентированного аудио, которые не допускают представление посредством подложенных OAMD-каналов; и назначение статических позиционных OAMD-координат второму набору каналов.

[0019] В варианте осуществления, поток транспортных битов представляет собой поток аудиобитов по стандарту Экспертной группы по киноизображению (MPEG), который включает в себя сигнал, который указывает присутствие OAMD в поле расширения потока MPEG-аудиобитов.

[0020] В варианте осуществления, сигнал, который указывает присутствие OAMD в потоке MPEG-аудиобитов, включается в зарезервированное поле структуры данных в метаданных потока MPEG-аудиобитов для передачи в служебных сигналах режима объемного звука.

[0021] В варианте осуществления, оборудование содержит: один или более процессоров; и энергонезависимый машиночитаемый носитель хранения данных, имеющий сохраненные инструкции, которые, при выполнении посредством одного или более процессоров, инструктируют одному или более процессоров осуществлять способы, описанные в данном документе.

[0022] Другие варианты осуществления, раскрытые в данном документе, направлены на системы, оборудование и машиночитаемые носители. Подробности раскрытых реализаций изложены на прилагаемых чертежах и в нижеприведенном описании. Другие признаки, цели и преимущества должны становиться очевидными из описания, чертежей и формулы изобретения.

[0023] Конкретные варианты осуществления, раскрытые в данном документе, предоставляют одно или более следующих преимуществ. Существующая установленная база OBA-совместимых устройств воспроизведения может преобразовывать CBA-контент в OBA-контент с использованием существующего стандартизированных форматов собственного аудио и потока транспортных битов, без замены аппаратных компонентов устройств воспроизведения.

Описание чертежей

[0024] На прилагаемых чертежах, упоминаемых ниже, различные варианты осуществления проиллюстрированы на блок-схемах, блок-схемах последовательности операций способа и других схемах. Каждый блок на блок-схемах последовательности операций способа или блок могут представлять модуль, программу или часть кода, который содержит одну или более выполняемых инструкций для выполнения указанных логических функций. Хотя эти блоки проиллюстрированы в конкретных последовательностях для выполнения этапов способов, они не обязательно могут выполняться строго в соответствии с проиллюстрированной последовательностью. Например, они могут выполняться в обратной последовательности или одновременно, в зависимости от характера соответствующих операций. Также следует отметить, что блок-схемы и/или каждый блок на блок-схемах последовательности операций способа и их комбинации могут реализовываться посредством выделенной программной или аппаратной системы для выполнения указанных функций/операций либо посредством комбинации специализированных аппаратных средств и компьютерных инструкций.

[0025] Фиг. 1A является таблицей, показывающей позиции подложенных каналов и объектов для двух различных представлений аудиометаданных объектов (OAMD), согласно варианту осуществления.

[0026] Фиг. 1B является таблицей, показывающей назначение подложенных каналов и упорядочение каналов для двух различных OAMD-представлений, согласно варианту осуществления.

[0027] Фиг. 2A является таблицей, показывающей метаданные размерной подстройки, согласно варианту осуществления.

[0028] Фиг. 2B является таблицей, показывающей средства управления подстройкой/балансом, согласно варианту осуществления.

[0029] Фиг. 3 является блок-схемой системы для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD без использования кодирования потоков битов, согласно варианту осуществления.

[0030] Фиг. 4 является блок-схемой системы для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD с использованием кодирования потоков битов, согласно варианту осуществления.

[0031] Фиг. 5 является блок-схемой системы для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD для рендеринга в устройстве-источнике, согласно варианту осуществления.

[0032] Фиг. 6A и 6B являются блок-схемами системы для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD для передачи по мультимедийному интерфейсу высокой четкости (HDMI) для внешнего рендеринга, согласно варианту осуществления.

[0033] Фиг. 7A-7C являются блок-схемами системы для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD, при этом информация перемешивания каналов и OAMD пакетируются в собственном потоке аудиобитов, согласно варианту осуществления.

[0034] Фиг. 8A и 8B являются блок-схемой системы для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD, при этом информация перемешивания каналов и OAMD пакетируются в собственном потоке аудиобитов для рендеринга в устройстве-источнике, согласно варианту осуществления.

[0035] Фиг. 9A-9C являются блок-схемами системы для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD, при этом информация перемешивания каналов и OAMD встраиваются в транспортный слой для доставки в устройства-источники и затем пакетируются в собственном потоке аудиобитов для передачи по HDMI, согласно варианту осуществления.

[0036] Фиг. 10A и 10B являются блок-схемами системы для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD, при этом информация перемешивания каналов и OAMD встраиваются в транспортный слой для рендеринга в устройствах-источниках, согласно варианту осуществления.

[0037] Фиг. 11 является блок-схемой последовательности операций способа для процесса CBA-OBA-преобразования, согласно варианту осуществления.

[0038] Фиг. 12 является блок-схемой последовательности операций способа для альтернативного процесса CBA-OBA-преобразования, согласно варианту осуществления.

[0039] Фиг. 13 является блок-схемой последовательности операций способа для альтернативного процесса CBA-OBA-преобразования, согласно варианту осуществления.

[0040] Фиг. 14 является блок-схемой последовательности операций способа для альтернативного процесса CBA-OBA-преобразования, согласно варианту осуществления.

[0041] Фиг. 15 является блок-схемой последовательности операций способа для альтернативного процесса CBA-OBA-преобразования, согласно варианту осуществления.

[0042] Фиг. 16 является блок-схемой последовательности операций способа для альтернативного процесса CBA-OBA-преобразования, согласно варианту осуществления.

[0043] Фиг. 17 является блок-схемой примерной архитектуры аудиосистемы, которая включает в себя преобразование аудио каналов в аудио объектов, согласно варианту осуществления.

[0044] Идентичный номер ссылки, используемый на различных чертежах, указывает аналогичные элементы.

Подробное описание изобретения

Общее представление

[0045] Аудиометаданные объектов (OAMD) являются представлением кодированных потоков битов метаданных для OBA-обработки, таких как, например, метаданные, описанные в ETSI TS 103 420 v1.2.1 (2018-10). Поток OAMD-битов может переноситься в контейнере расширяемого формата доставки метаданных (EMDF), к примеру, как указано в ETSI TS 102 366[1]. OAMD используются для рендеринга аудиообъекта. Информация рендеринга может динамически изменяться (например, усиление и позиция). Элементы потока OAMD-битов могут включать в себя метаданные описания контента, метаданные свойств объектов, метаданные обновления свойств и другие метаданные.

[0046] В варианте осуществления, метаданные описания контента включают в себя версию синтаксиса рабочих OAMD-данных, общее число объектов, типы объектов и композицию программ. Метаданные свойств объектов включают в себя позицию объекта в привязанных к помещению, привязанных к экрану или привязанных к динамику координатах, размер объекта (ширину, глубину, высоту), приоритет (налагает упорядочение по важности на объекты, в которых более высокий приоритет указывает более высокую важность для объекта), усиление (используемое для того, чтобы применять индивидуально настраиваемое значение усиления к объекту), блокировку каналов (используемую для того, чтобы ограничивать рендеринг объекта одним динамиком, что обеспечивает нерассеянное, нейтральное в отношении тембра воспроизведение аудио), зональные ограничения (указывают зоны или подобъем в окружении прослушивания, в котором объект исключается или включается), расхождение объектов (используемое для того, чтобы преобразовывать объект в два объекта, при этом энергия разбрасывается вдоль оси X) и подстройку объектов (используемую для того, чтобы понижать уровень внеэкранных элементов, которые указываются в микшировании).

[0047] В варианте осуществления, метаданные обновления свойств передают в служебных сигналах данные временной синхронизации, применимые к обновлениям для всех передаваемых объектов. Данные временной синхронизации передаваемого обновления свойств указывают начальное время для обновления, наряду с контекстом обновления с предшествующими или последующими обновлениями и временной длительностью для процесса интерполяции между последовательными обновлениями. Синтаксис потока OAMD-битов поддерживает вплоть до восьми обновлений свойств в расчете на объект в каждом кадре кодека. Число передаваемых в служебных сигналах обновлений или время начала и прекращения каждого обновления свойств являются идентичными для всех объектов. Метаданные указывают значение линейно изменяющегося значения длительности в OAMD, которое указывает период времени в аудиовыборках для интерполяции из передаваемых в служебных сигналах значений свойств объектов предыдущего обновления свойств в значения текущего обновления.

[0048] В варианте осуществления, данные временной синхронизации также включают в себя значение выборочного смещения и значение блочного смещения, которые используются посредством декодера для того, чтобы вычислять начальное смещение выборочного значения и кадровое смещение. Выборочное смещение представляет собой временное смещение в выборках относительно первой аудиовыборки с импульсно-кодовой модуляцией (PCM), к которой применяются данные в рабочих OAMD-данных, к примеру, как указано в ETSI TS 102 366 [1], разделы H.2.2.3.1 и H.2.2.3.2. Значение блочного смещения указывает период времени в выборках в качестве смещения от выборочного смещения, общего для всех обновлений свойств.

[0049] В варианте осуществления, декодер предоставляет интерфейс для OBA, содержащего аудиоданные аудиосущности объектов и обновления метаданных с временной меткой для соответствующих свойств объектов. В интерфейсе, декодер предоставляет декодированные метаданные в расчете на объект в обновлениях с временной меткой. Для каждого обновления, декодер предоставляет данные, указываемые в структуре обновления метаданных.

Примерное CBA-OBA-преобразование

[0050] В нижеприведенном раскрытии сущности, раскрываются технологии для преобразования CBA-контента в OBA с использованием OAMD. В примерном варианте осуществления, 22.2-канальный ("22.2-канальн.") контент преобразуется в OBA с использованием OAMD. В этом варианте осуществления, 22.2-канальный контент имеет два заданных способа, посредством которых каналы позиционируются и в силу этого понижающе микшируются/подготавливаются посредством рендеринга. Выбор способа может зависеть от значения параметра, такого как параметр dmix_pos_adj_idx, встраиваемый в 22.2-канальный поток битов. Преобразователь форматов, который преобразует 22.2-канального местоположения в OAMD-представление, выбирает одно из двух OAMD-представлений на основе значения этого параметра. Выбранное представление переносится в потоке OBA-битов (например, в Dolby® MAT-потоке битов), который вводится в устройство воспроизведения (например, в Dolby® Atmos®-устройство воспроизведения). Примерная 22.2-канальная система представляет собой Hamasaki 22.2. Hamasaki 22.2 представляет собой компонент объемного звука по стандарту Super Hi-Vision, который представляет собой телевизионный стандарт, разработанный компанией NHK Science and Technical Research Laboratories, который использует 24 динамика (включающих в себя два сабвуфера), размещаемых в трех слоях.

[0051] Хотя нижеприведенное раскрытие сущности направлено на вариант осуществления, в котором 22.2-канальный контент преобразуется в OBA-контент с использованием OAMD, раскрытые варианты осуществления являются применимыми к любому формату потока CBA- или OBA-битов, включающему в себя стандартизированные или собственные форматы потока битов, и к любому устройству или системе воспроизведения. Дополнительно, нижеприведенное раскрытие сущности не ограничено 22.2-канальным-в-OBA-преобразованием, но также является применимым к преобразованию любого N.M-канально-ориентированного аудио, где N является положительным целым числом, большим семи, и M является положительным целым числом, большим или равным нуля.

[0052] При использовании в данном документе, термин "включает в себя" и его разновидности должны читаться как многовариантные термины, которые означают "включает в себя, но не только". Термин "или" должен читаться как "и/или", если контекст явно не указывает иное. Термин "на основе" должен читаться как "по меньшей мере, частично на основе". Термин "один примерный вариант осуществления" и "примерный вариант осуществления" должен читаться как "по меньшей мере, один примерный вариант осуществления". Термин "другой вариант осуществления" должен читаться как "по меньшей мере, один другой вариант осуществления". Помимо этого, в нижеприведенном описании и в формуле изобретения, если не указано иное, все технические и научные термины, используемые в данном документе, имеют смысл, идентичный тому, как обычно понимается специалистами в области техники, которой принадлежит это раскрытие сущности.

Назначение программ и позиции объектов

[0053] В этой заявке, 22.2-канальный контент 305 (например, файл или передаваемый вживую поток) принимается посредством преобразователя 301 форматов. Контент 305 включает в себя аудио и ассоциированные метаданные. Метаданные включают в себя параметр dmix_pos_adj_idx для выбора одного из двух OAMD-представлений на основе значения этого параметра. Каналы, которые могут представляться посредством меток подложенных OAMD-каналов, используют метки подложенных OAMD-каналов. Каналы, которые не могут представляться посредством меток подложенных OAMD-каналов, используют позиции статических объектов, при этом каждая позиция статического объекта описывается в позиционных OAMD-координатах [x, y, z], к примеру, как описано в ETSI TS 103 420 v1.2.1 (2018-10). При использовании в данном документе, "подложенный канал" представляет собой группу из нескольких подложенных объектов, и "подложенный объект" представляет собой статический объект, пространственная позиция которого является фиксированной посредством назначения громкоговорителю системы воспроизведения.

[0054] Фиг. 1A является таблицей, показывающей позиции подложенных каналов и объектов для двух различных OAMD-представлений, согласно варианту осуществления. Верхняя строка таблицы включает в себя двадцать четыре 22.2-канальные метки, средняя строка таблицы включает в себя метки подложенных каналов и позиции объектов для первого OAMD-представления, передаваемого в служебных сигналах посредством dmix_pos_adj_idx=0, и нижняя строка таблицы включает в себя метки подложенных каналов и позиции объектов для второго OAMD-представления, передаваемого в служебных сигналах посредством dmix_pos_adj_idx=1. Следует обратить внимание, что dmix_pos_adj_idx сигнал представляет собой примерный сигнал, и может использоваться любой тип передачи служебных сигналов, в том числе, но не только, булевы флаги и сигналы, кодированные с одним или более битов.

[0055] Ссылаясь на таблицу на фиг. 1A, некоторые примеры 22.2-канальных меток включают в себя передний левый (FL), передний правый (FR), передний центральный (RC), с низкочастотными эффектами 1 (LFE1), задний левый (BL), задний правый (BR), передний левый центральный (FLc), передний правый центральный (FRc), задний центральный (BC), с низкочастотными эффектами 2 (LFE2), левый боковой (SIL), правый боковой (SIR), верхний передний левый (TpFL), верхний передний правый (TpFR), верхний передний центральный (TpFC), верхний центральный (TpC), верхний задний левый (TpBL), верхний задний правый (TpBR), верхний боковой левый (TpSIL), верхний боковой правый (TpSIR), верхний задний центральный (TpBC), между передним левым (BtFL), между передним правым (BtFR) и между передним центральным (BtFC). Следует отметить, что эти метки преобразуются либо в метки подложенных OAMD-каналов, либо в позиции статических объектов [x, y, z]. Например, для первого OAMD-представления (dmix_pos_adj_idx=0), 22.2-канальная метка FL преобразуется в позицию статического объекта [0,0.25,0], 22.2-канальная метка FR преобразуется в позицию статического объекта [1, 0.25, 0], 22.2-канальная метка FC преобразуется в метку C подложенного OAMD-канала и т.д. OAMD-представление преобразует один или более аудиоканалов в один или более аудиообъектов на основе (например, значения) параметра передачи в служебных сигналах. Один или более аудиообъектов могут представлять собой динамические или статические аудиообъекты. Как задано выше, статический аудиообъект представляет собой аудиообъект, имеющий фиксированную пространственную позицию. Динамический аудиообъект представляет собой аудиообъект, пространственная позиция которого может изменяться во времени. В вышеприведенном примере, OAMD-представление содержит метки каналов, метки подложенных каналов и позиции статических объектов. OAMD-представление преобразует метки каналов или в метки подложенных каналов или в позиции статических объектов на основе (например, значения) параметра передачи в служебных сигналах.

Назначение программ и позиции объектов

[0056] OAMD предполагают то, что подложенные объекты предшествуют динамическим объектам. Дополнительно, подложенные объекты появляются в конкретном порядке. По этим причинам, аудио для 22.2-канального контента переупорядочивается посредством модуля 303 перемешивания аудиоканалов для того, чтобы удовлетворять ограничениям OAMD-порядка. Модуль 303 перемешивания аудиоканалов принимает информацию перемешивания каналов из генератора 304 метаданных и использует информацию перемешивания каналов для того, чтобы переупорядочивать 22.2-каналы.

[0057] Фиг. 1B является таблицей, показывающей назначение подложенных каналов и упорядочение каналов для двух различных OAMD-представлений, согласно варианту осуществления. Верхняя строка таблицы показывает предполагаемый порядок каналов (0-23 канала) и метки каналов для 22.2-канального контента (Hamasaki 22.2). Средняя строка таблицы показывает метки подложенных назначений для первого OAMD-представления, и нижняя строка таблицы показывает метки подложенных назначений для второго OAMD-представления. Преобразованное аудио и OAMD-метаданные выводится, со ссылкой на фиг. 3, посредством преобразователя 301 форматов в модуль 302 рендеринга аудио объектов, который формирует подготовленное посредством рендеринга аудио.

[0058] Ссылаясь на таблицу на фиг. 1B, первые два канала (0, 1) 22.2-канального контента представляют собой FL и FR. Для первого OAMD-представления (dmix_pos_adj_idx=0), первые два канала (0,1) переупорядочиваются ("перемешиваются") в OAMD-каналы 15 и канал 16, соответственно. Для второго OAMD-представления (dmix_pos_adj_idx=1), первые два канала (0,1) 22.2-канального контента переупорядочиваются в подложенные OAMD-каналы L и R, соответственно. В этом примере, для первого OAMD-представления (dmix_pos_adj_idx=0), для первого выходного канала с индексом 0, чтобы ассоциировать первое OAMD-представление с ним, индекс 6 канала ввода (например, Hamasaki 22.2) переупорядочивается/перемешивается таким образом, что он становится индексом 0 канала. Другими словами, в этом примере, если левый канал (L) присутствует во входных подложенных каналах, этом левый канал в первом OAMD-представлении принудительно представляет собой первый канал (с индексом 0 канала). Все подложенные каналы, если есть, появляются в конкретном порядке, при представлении в OAMD. После того как подложенные каналы переупорядочиваются, динамические объекты переупорядочиваются как результат переупорядочения подложенных каналов. Переупорядочение удовлетворяет определенным ограничениям порядка OAMD-представления. Ограничения зависят от OAMD-спецификации, которая используется посредством OBA-устройства/системы воспроизведения. Например, для OBA-устройства/системы воспроизведения, совместимого с Dolby Atmos, OAMD, передаваемые в системах и кодеках, содержащих Dolby Atmos-контент, указываются посредством Dolby Atoms OAMD-спецификаций. Эти спецификации/ограничения определяют порядок подложенных OAMD-каналов как представляющий собой, например, то, что показано на фиг. 1A, и следующим образом, с соответствующими метками каналов в скобках: левый (L), правый (R), центральный (C), с низкочастотными эффектами (LFE), левый объемного звучания (Ls), правый объемного звучания (Rs), левый задний объемного звучания (Lrs), правый задний объемного звучания (Rrs), левый передний высокий (Lfh), правый передний высокий (Rfh), левый верхний средний (Ltm), правый верхний средний (Rtm), левый задний высокий (Lrh), правый задний высокий (Rrh) и с низкочастотными эффектами 2 (LFE2).

Метаданные размерной подстройки

[0059] Фиг. 2A является таблицей, показывающей метаданные размерной подстройки, согласно варианту осуществления. Чтобы обеспечивать то, что рендеринг 22.2-канального контента в OBA-контент выполняется как тесно совпадающий с понижающими микшированиями, указываемыми посредством 22.2-канальной спецификации, метаданные размерной подстройки включаются в OAMD, которые прилагаются к 22.2-канальный контенту, доставляемому в OBA-устройство рендеринга. Подстройка объектов используется для того, чтобы понижать уровень внеэкранных элементов, которые включаются в микширование. Это может требоваться, когда иммерсивное микширование воспроизводится в схемах размещения с небольшим числом громкоговорителей.

[0060] В варианте осуществления, первое поле метаданных включает в себя параметр warp_mode, который, если задан равным значению 0, указывает нормальный рендеринг (т.е. без искривления) объектов в выходных 5.1.X-конфигурациях. Если warp_mode задается равным значению "1", искривление применяется к объектам в выходной 5.1.X-конфигурации. Искривление означает то, как модуль рендеринга решает проблемы, связанные с контентом, который панорамируется между средней точкой и задней стороной окружения прослушивания (например, помещения). За счет искривления, контент представляется на постоянном уровне в динамиках объемного звучания между задней стороной и средней точкой окружения прослушивания, полностью исключая потребность в формировании фантомных изображений, до тех пор, пока он не находится в передней половине окружения прослушивания.

[0061] Второе поле метаданных в таблице метаданных размерной подстройки включает в себя средства управления подстройкой/балансом для каждой конфигурации для восьми конфигураций динамиков (например, 2.0, 5.1.0, 7.1.0, 2.1.2, 5.1.2, 7.1.2, 2.1.4, 5.1.4, 7.1.4), как показано на фиг. 2B. Предусмотрены поля метаданных для автоматической подстройки (auto_trim), подстройки по центру (center_trim), подстройки по объемному звучанию (surround_trim), подстройки по высоте (height_trim) и подстройки по балансу передних/задних каналов (fb_balance_ohfl, fb_balance_surr).

[0062] Со ссылкой на таблицу по фиг. 2A, третье поле метаданных включает в себя параметр object_trim_bypass, который имеет значение, которое применяется ко всем подложенным и динамическим объектам в 22.2-канальном канальном контенте. Если object_trim_bypass задается равным значению "1", подстройка не применяется к подложенным и динамическим объектам.

Объектное усиление

[0063] OAMD обеспечивает возможность каждому объекту иметь отдельное объектное усиление (описывается посредством поля object_gain). Это усиление применяется посредством модуля 302 рендеринга аудио объектов. Объектное усиление обеспечивает возможность компенсации разностей между значениями понижающего микширования 22.2-канального контента и рендерингом OAMD-представлений 22.2-канального контента. В варианте осуществления, объектное усиление задается равным -3 дБ для объектов с назначением подложенных каналов в LFE1 или LFE2 и равным 0 дБ для всех других объектов. Другие значения для объектного усиления могут использоваться в зависимости от варианта применения.

Примерные варианты применения

Прослушивание 22.2-контента в качестве OBA

[0064] Фиг. 3 является блок-схемой примерной системы 300 для преобразования потока 22.2-канальных аудиобитов в аудио и OAMD без использования кодирования потоков битов, согласно варианту осуществления. Система 300 используется в варианте применения, в котором 22.2-канальный контент прослушивается в качестве OBA-контента на OBA-системе воспроизведения (Dolby® Atmos®).

[0065] Система 300 включает в себя преобразователь 301 форматов и модуль 302 рендеринга аудио объектов. Преобразователь 301 форматов дополнительно включает в себя модуль 303 перемешивания аудиоканалов и генератор 304 OAMD-метаданных. Некоторые примеры OAMD-метаданных включают в себя, но не только, метаданные описания контента, метаданные обновления свойств и данные подстройки. 22.2-канальный контент 305 (например, файл или передаваемый вживую поток) включает в себя 22.2-канальные аудио и метаданные, которые вводятся в преобразователь 301 форматов. Генератор 304 OAMD-метаданных преобразует 22.2-канальные метаданные в OAMD, к примеру, в соответствии с принципами, как описано в отношении фиг. 1A, и формирует информацию перемешивания каналов. Информация перемешивания каналов описывает переупорядочение каналов 22.2-канального контента, который применяется посредством модуля 303 перемешивания аудиоканалов, к примеру, в соответствии с принципами, как описано в отношении фиг. 1B. Вывод модуля 303 перемешивания аудиоканалов представляет собой переупорядоченные аудиоканалы. Вывод преобразователя 301 форматов представляет собой переупорядоченные каналы аудио и OAMD, которые вводятся в модуль 302 рендеринга аудио объектов. Модуль 302 рендеринга аудио объектов обрабатывает аудио с использованием OAMD, чтобы адаптировать его к конкретной схеме размещения громкоговорителей.

Передача 22.2-контента в качестве OBA

[0066] Фиг. 4 является блок-схемой примерной системы 400 для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD с использованием кодирования потоков битов, согласно варианту осуществления. В этой заявке, вместо передачи 22.2-канального контента, 22.2-канальный контент подвергается преобразованию формата и передается в качестве OBA с использованием OBA-кодека.

[0067] Система 400 включает в себя преобразователь 401 форматов и OBA-кодер 402. Преобразователь 401 форматов дополнительно включает в себя генератор 404 OAMD-метаданных и модуль 403 перемешивания аудиоканалов. Некоторые примеры OAMD-метаданных включают в себя, но не только, метаданные описания контента, метаданные обновления свойств и данные подстройки. 22.2-канальный контент 405 (например, файл или передаваемый вживую поток) включает в себя 22.2-канальные аудио и метаданные, которые вводятся в преобразователь 401 форматов. Генератор 404 OAMD-метаданных преобразует 22.2-канальные метаданные в OAMD, к примеру, в соответствии с принципами, как описано в отношении фиг. 1A, и формирует информацию перемешивания каналов. Информация перемешивания каналов описывает переупорядочение каналов 22.2-канального контента, который применяется посредством модуля 403 перемешивания аудиоканалов, к примеру, в соответствии с принципами, как описано в отношении фиг. 1B. Вывод модуля 403 перемешивания аудиоканалов представляет собой переупорядоченные аудиоканалы.

[0068] Вывод преобразователя 401 форматов представляет собой переупорядоченные каналы аудио и OAMD, которые вводятся в OBA-кодер 402. OBA-кодер 402 кодирует аудио с использованием OAMD (например, с использованием JOC) для того, чтобы формировать поток 406 OBA-битов, который может отправляться в OBA-устройство воспроизведения в нисходящем направлении, в котором он подготавливается посредством рендеринга посредством модуля рендеринга аудио объектов, который обрабатывает аудио, чтобы адаптировать его к конкретной схеме размещения громкоговорителей.

Преобразование передаваемого 22.2-контента в OBA для рендеринга в устройстве-источнике

[0069] Фиг. 5 является блок-схемой примерной системы для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD для рендеринга в устройстве-источнике, согласно варианту осуществления. В этой заявке, устройство-источник, такое как абонентская приставка (STB) или записывающее аудио/видеоустройство (AVR), принимает 22.2-канальный контент из собственного потока аудиобитов, и после преобразования формата посредством преобразователя форматов, контент подготавливается посредством рендеринга с использованием модуля рендеринга аудио объектов. Примерная форманта собственного потока аудиобитов представляет собой формат потока битов по стандарту усовершенствованного кодирования аудио (AAC).

[0070] Система 500 включает в себя преобразователь 501 форматов и модуль 502 рендеринга аудио объектов и декодер 506. Преобразователь 501 форматов дополнительно включает в себя генератор 504 OAMD-метаданных и модуль 503 перемешивания аудиоканалов. Некоторые примеры OAMD-метаданных включают в себя, но не только, метаданные описания контента, метаданные обновления свойств и данные подстройки. Поток 505 аудиобитов (например, AAC/MP4) включает в себя 22.2-канальные аудио и метаданные, которые вводятся в декодер 506 (например, в AAC/MP4-декодер). Вывод декодера 506 представляет собой 22.2-канальные аудио и метаданные, которые вводятся в преобразователь 501 форматов. Генератор 504 OAMD-метаданных преобразует 22.2-канальные метаданные в OAMD, к примеру, в соответствии с принципами, как описано в отношении фиг. 1A, и формирует информацию перемешивания каналов. Информация перемешивания каналов описывает переупорядочение каналов 22.2-канального контента, который применяется посредством модуля 503 перемешивания аудиоканалов, к примеру, в соответствии с принципами, как описано в отношении фиг. 1B. Вывод модуля 503 перемешивания аудиоканалов представляет собой переупорядоченные аудиоканалы. Вывод преобразователя 501 форматов представляет собой переупорядоченные каналы аудио и OAMD, которые вводятся в модуль 502 рендеринга аудио объектов. Модуль 502 рендеринга аудио объектов обрабатывает аудио с использованием OAMD, чтобы адаптировать его к конкретной схеме размещения громкоговорителей.

Преобразование передаваемого 22.2-контента в OBA для передачи по HDMI для внешнего рендеринга (STBA/VR/SB)

[0071] Фиг. 6A и 6B являются блок-схемой примерной системы для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD для передачи по мультимедийному интерфейсу высокой четкости (HDMI) для внешнего рендеринга, согласно варианту осуществления. В этой заявке, информация перемешивания каналов, а также OAMD формируются в кодере и пакетируются в собственном потоке аудиобитов (например, AAC), который должен передаваться. В этой конфигурации, преобразование формата, которое возникает, упрощается в модуль перемешивания аудио. Перемешиваемое аудио наряду с OAMD отправляется в OBA-кодер для передачи в потоке битов по HDMI. На стороне приемного устройства, поток битов декодируется и подготавливается посредством рендеринга посредством модуля рендеринга аудио объектов.

[0072] Ссылаясь на фиг. 6A система 600A кодирования включает в себя преобразователь 601 форматов и OBA-кодер 602 и декодер 606. Преобразователь 601 форматов дополнительно включает в себя генератор 604 OAMD-метаданных и модуль 603 перемешивания аудиоканалов. Некоторые примеры OAMD-метаданных включают в себя, но не только, метаданные описания контента, метаданные обновления свойств и данные подстройки. Собственный поток 605 аудиобитов (например, AAC/MP4) включает в себя 22.2-канальные аудио и метаданные, которые вводятся в декодер 606 (например, в AAC/MP4-декодер). Вывод декодера 606 представляет собой 22.2-канальные аудио и метаданные, которые вводятся в преобразователь 601 форматов. Генератор 604 OAMD-метаданных преобразует 22.2-канальные метаданные в OAMD, к примеру, в соответствии с принципами, как описано в отношении фиг. 1A, и формирует информацию перемешивания каналов. Информация перемешивания каналов описывает переупорядочение каналов 22.2-канального контента, который применяется посредством модуля 603 перемешивания аудиоканалов, к примеру, в соответствии с принципами, как описано в отношении фиг. 1B. Вывод модуля 603 перемешивания аудиоканалов представляет собой переупорядоченные аудиоканалы. Вывод преобразователя 601 форматов представляет собой переупорядоченные каналы аудио и OAMD, которые вводятся в OBA-кодер 602. OBA-кодер 602 кодирует аудио и OAMD и выводит поток OBA-битов, который включает в себя аудио и OAMD.

[0073] Ссылаясь на фиг. 6B, система 600B декодирования включает в себя OBA-декодер 607 и модуль 608 рендеринга аудио объектов. Поток OBA-битов вводится в OBA-декодер 607, который выводит аудио и OAMD, которые вводятся в модуль 608 рендеринга аудио объектов. Модуль 608 рендеринга аудио объектов обрабатывает аудио с использованием OAMD, чтобы адаптировать его к конкретной схеме размещения громкоговорителей.

Передача предварительно вычисленных 22.2-OAMD через собственный поток битов для передачи по HDMI

[0074] Фиг. 7A-7C являются блок-схемами примерных систем для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD, при этом информация перемешивания каналов и OAMD пакетируются в собственном потоке аудиобитов, согласно варианту осуществления. В предыдущих примерных вариантах применения, OAMD формируются после декодера (например, AAC-декодера). Тем не менее, можно встраивать информацию перемешивания каналов и OAMD в формат передачи (в собственном потоке аудиобитов или в транспортном слое), в качестве альтернативного варианта осуществления. В этой заявке, информация перемешивания каналов, а также OAMD формируются в кодере и пакетируются в собственном потоке аудиобитов (например, в потоке AAC-битов), который должен передаваться. В этой конфигурации, преобразование формата, которое возникает, упрощается в модуль перемешивания аудио. Перемешиваемое аудио наряду с OAMD отправляется в OBA-кодер для передачи по HDMI. На приемной стороне, поток OBA-битов декодируется и подготавливается посредством рендеринга с использованием модуля рендеринга аудио объектов.

[0075] Ссылаясь на фиг. 7A, система 700A кодирования включает в себя кодер 701 (например, AAC-кодер) и мультиплексор 706 транспортного слоя. Кодер 701 дополнительно включает в себя базовый кодер 702, преобразователь 703 форматов и модуль 705 пакетирования потоков битов. Преобразователь 703 форматов дополнительно включает в себя генератор 704 OAMD-метаданных, который, например, может представлять собой генератор Dolby Atmos-метаданных. Некоторые примеры OAMD-метаданных включают в себя, но не только, метаданные описания контента, метаданные обновления свойств и данные подстройки.

[0076] Собственный поток 707 аудиобитов (например, AAC/MP4) включает в себя 22.2-канальные аудио и метаданные. Аудио вводится в базовый кодер 702 кодера 701, который кодирует аудио в собственный аудиоформат и выводит кодированное аудио в модуль 705 пакетирования потоков битов. Генератор 704 OAMD-метаданных преобразует 22.2-канальные метаданные в OAMD, к примеру, в соответствии с принципами, как описано в отношении фиг. 1A, и формирует информацию перемешивания каналов. Информация перемешивания каналов описывает переупорядочение каналов 22.2-канального контента, к примеру, в соответствии с принципами, как описано в отношении фиг. 1B. Информация перемешивания каналов вводится в модуль 705 пакетирования потоков битов вместе с OAMD. Вывод модуля 705 пакетирования потоков битов представляет собой собственный поток аудиобитов, который включает в себя информацию перемешивания каналов и OAMD. Собственный поток аудиобитов вводится в мультиплексор 706 транспортного слоя, который выводит транспортный поток, который включает в себя собственный поток аудиобитов.

[0077] Ссылаясь на фиг. 7B, система 700B декодирования/кодирования включает в себя демультиплексор 708 транспортного слоя, декодер 709, модуль 710 перемешивания аудиоканалов и OBA-кодер 711. Демультиплексор 708 транспортного слоя демультиплексирует аудио и OAMD из потока транспортных битов и вводит аудио и OAMD в декодер 709, который декодирует аудио и OAMD из собственного потока аудиобитов. Декодированное аудио и OAMD затем вводятся в OBA-кодер 711, который кодирует аудио и OAMD в поток OBA-битов.

[0078] Ссылаясь на фиг. 7C, система 700C декодирования включает в себя OBA-декодер 712 и модуль 713 рендеринга аудио объектов. Поток OBA-битов вводится в OBA-декодер 712, который выводит аудио и OAMD, которые вводятся в модуль 713 рендеринга аудио объектов. Модуль 713 рендеринга аудио объектов обрабатывает аудио с использованием OAMD, чтобы адаптировать его к конкретной схеме размещения громкоговорителей.

Передача предварительно вычисленных OAMD для рендеринга в устройстве-источнике

[0079] Фиг. 8A и 8B являются блок-схемами примерных систем для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD, при этом информация перемешивания каналов и OAMD пакетируются в собственном потоке аудиобитов для рендеринга в устройстве-источнике, согласно варианту осуществления. В этой заявке, информация перемешивания каналов, а также OAMD формируются в кодере и пакетируются в собственном потоке аудиобитов (например, в потоке AAC-битов), который должен передаваться через транспортный слой. В этой конфигурации, преобразование формата, которое возникает, упрощается в модуль перемешивания аудио. Перемешиваемое аудио наряду с OAMD отправляется в модуль рендеринга аудио объектов для рендеринга.

[0080] Ссылаясь на фиг. 8A, система 800A кодирования включает в себя кодер 801 (например, AAC-кодер) и мультиплексор 807 транспортного слоя. Кодер 801 дополнительно включает в себя базовый кодер 803, преобразователь 802 форматов и модуль 805 пакетирования потоков битов. Преобразователь 802 форматов дополнительно включает в себя генератор 804 OAMD-метаданных, который, например, может представлять собой генератор Dolby Atmos-метаданных. Некоторые примеры OAMD-метаданных включают в себя, но не только, метаданные описания контента, метаданные обновления свойств и данные подстройки.

[0081] Собственный поток 806 аудиобитов (например, AAC/MP4) включает в себя 22.2-канальные аудио и метаданные. Аудио вводится в базовый кодер 803 кодера 801, который кодирует аудио в собственный аудиоформат и выводит кодированное аудио в модуль 805 пакетирования потоков битов. Генератор 804 OAMD-метаданных преобразует 22.2-канальные метаданные в OAMD, к примеру, в соответствии с принципами, как описано в отношении фиг. 1A, и формирует информацию перемешивания каналов. Информация перемешивания каналов описывает переупорядочение каналов 22.2-канального контента, к примеру, в соответствии с принципами, как описано в отношении фиг. 1B. Информация перемешивания каналов вводится в модуль 805 пакетирования потоков битов вместе с OAMD. Вывод модуля 805 пакетирования потоков битов представляет собой собственный поток аудиобитов, который включает в себя информацию перемешивания каналов и OAMD. Собственный поток аудиобитов вводится в мультиплексор 807 транспортного слоя, который выводит транспортный поток, который включает в себя собственный поток аудиобитов.

[0082] Ссылаясь на фиг. 8B, система 800B декодирования включает в себя демультиплексор 808 транспортного слоя, декодер 809, модуль 810 перемешивания аудиоканалов и модуль 811 рендеринга аудио объектов. Демультиплексор 808 транспортного слоя демультиплексирует аудио и OAMD из потока транспортных битов и вводит аудио и OAMD в декодер 809, который декодирует аудио и OAMD из собственного потока аудиобитов. Декодированное аудио и OAMD затем вводятся в модуль 811 рендеринга аудио объектов. Модуль 811 рендеринга аудио объектов обрабатывает аудио с использованием OAMD, чтобы адаптировать его к конкретной схеме размещения громкоговорителей.

Передача предварительно вычисленных OAMD через транспортный слой для передачи по HDMI

[0083] Фиг. 9A-9C являются блок-схемами примерных систем для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD, при этом информация перемешивания каналов и OAMD встраиваются в транспортный слой для доставки в устройства-источники и затем пакетируются в собственном потоке аудиобитов для передачи по HDMI, согласно варианту осуществления.

[0084] OAMD, используемые для того, чтобы представлять 22.2-канальный контент, являются статическими для программы. По этой причине, желательно не допускать частой отправки OAMD, чтобы не допускать того, что скорость передачи данных увеличивается в потоке аудиобитов. Это может достигаться посредством отправки статических OAMD и информации перемешивания каналов в транспортном слое и передаваться в транспортном слое. При приеме, OAMD и информация перемешивания каналов используются посредством OBA-кодера для последующей передачи по HDMI. Примерный транспортный слой представляет собой базовый формат мультимедийных файлов (BMFF), описанный в ISO/IEC 14496-12-MPEG-4 Часть 12, который задает общую структуру для временных мультимедийных файлов, к примеру, видео и аудио. В варианте осуществления, который использует MPEG DASH, OAMD включаются в манифест.

[0085] Ссылаясь на фиг. 9A, система 900A кодирования включает в себя кодер 902 (например, AAC-кодер), преобразователь 905 форматов и мультиплексор 903 транспортного слоя. Преобразователь 905 форматов дополнительно включает в себя генератор 904 OAMD-метаданных. Некоторые примеры OAMD-метаданных включают в себя, но не только, метаданные описания контента, метаданные обновления свойств и данные подстройки.

[0086] Собственный поток 901 аудиобитов (например, AAC/MP4) включает в себя 22.2-канальные аудио и метаданные. Аудио вводится в кодер 902, который кодирует аудио в собственный аудиоформат и выводит кодированное аудио в мультиплексор 903 транспортного слоя. Генератор 904 OAMD-метаданных преобразует 22.2-канальные метаданные в OAMD, к примеру, в соответствии с принципами, как описано в отношении фиг. 1A, и формирует информацию перемешивания каналов. Информация перемешивания каналов описывает переупорядочение каналов 22.2-канального контента, к примеру, в соответствии с принципами, как описано в отношении фиг. 1B. Информация перемешивания каналов вводится в мультиплексор 903 транспортного слоя вместе с OAMD. Вывод мультиплексора 903 транспортного слоя представляет собой поток транспортных битов (например, транспортный MPEG-2-поток) или пакетный файл (например, ISO BMFF-файл) либо описание мультимедийного представления (например, MPEG-DASH-манифест), которое включает в себя собственный поток аудиобитов.

[0087] Ссылаясь на фиг. 9B, система 900B декодирования включает в себя демультиплексор 906 транспортного слоя, декодер 907, модуль 908 перемешивания аудиоканалов и OBA-кодер 909. Демультиплексор 906 транспортного слоя демультиплексирует аудио, информацию перемешивания каналов и OAMD из потока транспортных битов. Декодированное аудио вводится в поток аудиобитов в декодере 907 (например, в AAC-декодере), который декодирует аудио, чтобы восстанавливать (т.е. определять или извлекать) собственный поток аудиобитов. Собственный поток аудиобитов затем вводится в модуль 908 перемешивания аудиоканалов вместе с информацией перемешивания каналов, выводимой посредством демультиплексора 906 транспортного слоя. Аудио с переупорядоченными каналами выводится из модуля 908 перемешивания аудиоканалов и вводится в OBA-кодер 909 вместе с OAMD. Вывод OBA-кодера представляет собой поток OBA-битов.

[0088] Ссылаясь на фиг. 9C, система 900C декодирования включает в себя OBA-декодер 910 и модуль 911 рендеринга аудио объектов. Поток OBA-битов вводится в OBA-декодер 910, который выводит аудио и OAMD, которые вводятся в модуль 911 рендеринга аудио объектов. Модуль 911 рендеринга аудио объектов обрабатывает аудио с использованием OAMD, чтобы адаптировать его к конкретной схеме размещения громкоговорителей.

Передача предварительно вычисленных OAMD через транспортный слой для рендеринга в устройстве-источнике

[0089] Фиг. 10A и 10B являются блок-схемами примерных систем для преобразования потока 22.2-канальных аудиобитов в аудиообъекты и OAMD, при этом информация перемешивания каналов и OAMD встраиваются в транспортный слой для рендеринга в устройствах-источниках (например, STB, AVR), согласно варианту осуществления. OAMD, используемые для того, чтобы представлять 22.2-канальный контент, являются статическими для программы. По этой причине, желательно не допускать частой отправки OAMD, чтобы не допускать того, что скорость передачи данных увеличивается в потоке аудиобитов. Это может достигаться посредством отправки статических OAMD и информации перемешивания каналов в транспортном слое и передаваться в транспортном слое. При приеме, OAMD и информация перемешивания каналов используются посредством модуля рендеринга аудио объектов для рендеринга контента. Примерный транспортный слой представляет собой базовый формат мультимедийных файлов (BMFF), описанный в ISO/IEC 14496-12-MPEG-4 Часть 12, который задает общую структуру для временных мультимедийных файлов, к примеру, видео и аудио. В варианте осуществления, OAMD включаются в MPEG-DASH-манифест.

[0090] Ссылаясь на фиг. 10A система 1000A кодирования включает в себя кодер 1001 (например, AAC-кодер), преобразователь 1002 форматов и мультиплексор 1004 транспортного слоя. Преобразователь 1002 форматов дополнительно включает в себя генератор 1003 OAMD-метаданных. Некоторые примеры OAMD-метаданных включают в себя, но не только, метаданные описания контента, метаданные обновления свойств и данные подстройки.

[0091] Собственный поток 1005 аудиобитов (например, AAC/MP4) включает в себя 22.2-канальные аудио и метаданные. Аудио вводится в кодер 1001, который кодирует аудио в собственный аудиоформат и выводит кодированное аудио в мультиплексор 1004 транспортного слоя. Генератор 1003 OAMD-метаданных преобразует 22.2-канальные метаданные в OAMD, к примеру, в соответствии с принципами, как описано в отношении фиг. 1A, и формирует информацию перемешивания каналов. Информация перемешивания каналов описывает переупорядочение каналов 22.2-канального контента, к примеру, в соответствии с принципами, как описано в отношении фиг. 1B. Информация перемешивания каналов вводится в мультиплексор 1004 транспортного слоя вместе с OAMD. Вывод мультиплексора 1004 транспортного слоя представляет собой транспортный поток, который включает в себя собственный поток аудиобитов.

[0092] Ссылаясь на фиг. 10B, система 1000B декодирования включает в себя демультиплексор 1006 транспортного слоя, декодер 1007, модуль 1008 перемешивания аудиоканалов и модуль 1009 рендеринга аудио объектов. Демультиплексор 1006 транспортного слоя демультиплексирует аудио и OAMD из потока транспортных битов и вводит аудио и OAMD в декодер 1007, который декодирует аудио и OAMD из собственного потока аудиобитов. Декодированное аудио и OAMD затем вводятся в модуль 1009 рендеринга аудио объектов. Модуль 1009 рендеринга аудио объектов обрабатывает аудио с использованием OAMD, чтобы адаптировать его к конкретной схеме размещения громкоговорителей.

Примерный процесс

[0093] Фиг. 11 является блок-схемой последовательности операций способа для процесса 1100 CBA-OBA-преобразования. Процесс 1100 может реализовываться с использованием архитектуры аудиосистемы, показанной на фиг. 3. Процесс 1100 включает в себя прием потока битов, включающего в себя канально-ориентированное аудио и метаданные (1101), синтаксический анализ параметра передачи служебных сигналов из потока битов, указывающего OAMD-представление (1102), преобразование канально-ориентированных метаданных в OAMD на основе передаваемого в служебных сигналах OAMD-представления (1103), формирование информации перемешивания каналов на основе ограничений упорядочения OAMD (1104), переупорядочивание каналов канально-ориентированного аудио на основе информации перемешивания каналов (1105) и подготовку посредством рендеринга переупорядоченного канально-ориентированного аудио с использованием OAMD (1106). Вышеприведенные этапы 1103 и 1104 могут выполняться с использованием, например, OAMD-представлений и назначений/упорядочения подложенных каналов, показанных на фиг. 1A и 1B, соответственно, и архитектуры аудиосистемы, показанной на фиг. 3. Некоторые примеры OAMD-метаданных включают в себя, но не только, метаданные описания контента, метаданные обновления свойств и данные подстройки.

[0094] Фиг. 12 является блок-схемой последовательности операций способа для процесса 1200 CBA-OBA-преобразования. Процесс 1200 может реализовываться с использованием архитектуры аудиосистемы, показанной на фиг. 4. Процесс 1200 включает в себя прием потока битов, включающего в себя канально-ориентированное аудио и метаданные (1201), синтаксический анализ параметра передачи служебных сигналов из потока битов, указывающего OAMD-представление (1202), преобразование канально-ориентированных метаданных в OAMD на основе передаваемого в служебных сигналах OAMD-представления (1203), формирование информации перемешивания каналов на основе ограничений упорядочения OAMD (1204), переупорядочивание каналов канально-ориентированного аудио на основе информации перемешивания каналов (1205) и кодирование переупорядоченного канально-ориентированного аудио и OAMD в поток OBA-битов (1206) для передачи в устройство воспроизведения, при этом аудио подготавливается посредством рендеринга посредством модуля рендеринга аудио объектов с использованием OAMD. Вышеприведенные этапы 1203 и 1205 могут выполняться с использованием, например, OAMD-представлений и назначений/упорядочения подложенных каналов, показанных на фиг. 1A и 1B, соответственно, и архитектуры аудиосистемы, показанной на фиг. 4. Некоторые примеры OAMD-метаданных включают в себя, но не только, метаданные описания контента, метаданные обновления свойств и данные подстройки.

[0095] Фиг. 13 является блок-схемой последовательности операций способа для процесса 1300 CBA-OBA-преобразования. Процесс 1300 может реализовываться с использованием архитектуры аудиосистемы, показанной на фиг. 5. Процесс 1300 включает в себя прием собственного потока аудиобитов, включающего в себя канально-ориентированное аудио и метаданные в собственном аудиоформате (1301), декодирование собственного потока аудиобитов для того, чтобы восстанавливать канально-ориентированное аудио и метаданные (1302), синтаксический анализ параметра передачи служебных сигналов из потока битов, указывающего OAMD-представление (1303), преобразование канально-ориентированных метаданных в OAMD на основе передаваемого в служебных сигналах OAMD-представления (1304), формирование информации перемешивания каналов на основе ограничений упорядочения OAMD (1305), переупорядочивание каналов канально-ориентированного аудио на основе информации перемешивания каналов (1306), подготовку посредством рендеринга переупорядоченного канально-ориентированного аудио с использованием OAMD (1307). Этапы 1304 и 1305 могут выполняться с использованием, например, OAMD-представлений и назначений/упорядочения подложенных каналов, показанных на фиг. 1A и 1B, соответственно, и архитектуры аудиосистемы, показанной на фиг. 5.

[0096] Фиг. 14 является блок-схемой последовательности операций способа для процесса 1400 CBA-OBA-преобразования. Процесс 1400 может реализовываться с использованием архитектуры аудиосистемы, показанной на фиг. 6A и 6B. Процесс 1400 начинается посредством приема собственного потока аудиобитов, включающего в себя канально-ориентированное аудио и метаданные в собственном аудиоформате (1401), декодирования собственного потока аудиобитов для того, чтобы восстанавливать, т.е. определять или извлекать, канально-ориентированное аудио и метаданные (1402), синтаксического анализа параметра передачи служебных сигналов из потока битов, указывающего OAMD-представление (1403), и преобразования канально-ориентированных метаданных в OAMD на основе передаваемого в служебных сигналах OMD-представления (1404), формирования информации перемешивания каналов на основе ограничений упорядочения OAMD (1405), переупорядочивания каналов канально-ориентированного аудио на основе информации перемешивания каналов (1406), кодирования переупорядоченного канально-ориентированного аудио и OAMD в поток OBA-битов (1407) для передачи в устройство воспроизведения, при этом аудио подготавливается посредством рендеринга посредством модуля рендеринга аудио объектов с использованием OAMD. Этапы 1404 и 1405 могут выполняться с использованием, например, OAMD-представлений и назначений/упорядочения подложенных каналов, показанных на фиг. 1A и 1B, соответственно, и архитектуры аудиосистемы, показанной на фиг. 6A и 6B.

[0097] Фиг. 15 является блок-схемой последовательности операций способа для процесса 1500 CBA-OBA-преобразования. Процесс 1500 может реализовываться с использованием архитектуры аудиосистемы, показанной на фиг. 7A-7C. Процесс 1500 начинается посредством приема потока канально-ориентированных аудиобитов, включающего в себя канально-ориентированное аудио и метаданные (1501), кодирования канально-ориентированного аудио в собственный поток аудиобитов (1502), синтаксического анализа параметра передачи служебных сигналов из канально-ориентированных метаданных, указывающих OAMD-представление (1503), преобразования канально-ориентированных метаданных в OAMD на основе передаваемого в служебных сигналах OMD-представления (1504), формирования информации перемешивания каналов на основе ограничений упорядочения OAMD (1505), комбинирования собственного потока аудиобитов, информации перемешивания каналов и OAMD в комбинированный поток аудиобитов (1506), включения комбинированного потока аудиобитов в поток битов транспортного слоя (1507) для передачи в устройство воспроизведения для рендеринга или в устройство-источник для рендеринга (например, STB, AVR). Подробности вышеобозначенных этапов описаны в отношении фиг. 1A, 1B, 7A, 7C, 8A, 8B, 9A-9C, 10A и 10B.

[0098] Фиг. 16 является блок-схемой последовательности операций способа для процесса 1600 CBA-OBA-преобразования. Процесс 1600 может реализовываться с использованием архитектуры аудиосистемы, показанной на фиг. 8A, 8B, 9A-9C, 10A, 10B. Процесс 1600 начинается посредством приема потока битов транспортного слоя, включающего в себя собственный поток аудиобитов и метаданные (1601), извлечения собственного потока аудиобитов и метаданных, информации перемешивания каналов и OAMD из потока транспортных битов (1602), декодирования собственного потока аудиобитов для того, чтобы восстанавливать, т.е. определять или извлекать, канально-ориентированное аудио (1603), переупорядочивания каналов канально-ориентированного аудио с использованием информации перемешивания каналов (1604), необязательного кодирования переупорядоченного канально-ориентированного аудио и OAMD в поток OBA-битов (1605), чтобы передавать в устройство воспроизведения или устройство-источник, или необязательного декодирования потока OBA-битов для того, чтобы восстанавливать переупорядоченное канально-ориентированное аудио и OAMD (1606), и подготовки посредством рендеринга переупорядоченного канально-ориентированного аудио с использованием OAM (1607) и передачи в устройство воспроизведения. Подробности вышеобозначенных этапов описаны в отношении фиг. 8A, 8B, 9A-9C, 10A и 10B.

Передача предварительно вычисленных OAMD в потоках MPEG-4-аудиобитов или MPEG-D-аудиобитов

[0099] В варианте осуществления, OAMD, представляющие 22.2-контент, переносятся в собственном потоке аудиобитов, к примеру, в потоке MPEG-4-аудиобитов (ISO/IEC 14496-3). Ниже предоставляется примерный синтаксис для трех вариантов осуществления.

MPEG-4-синтаксис, альтернатива #1

Синтаксис	Число битов	Мнемоника
data_stream_element(){ element_instance_tag; data_byte_align_flag; reserved; cnt=count; if(cnt==255) cnt+=esc_count; if(data_byte_align_flag) byte_alignment(); for (i=0; i<cnt; i++) data_stream_byte[element_instance_tag][i]; }	4 1 3 8 8	uimsbf uimsbf uimsbf uimsbf uismsbf

MPEG-4-синтаксис, альтернатива #2

Синтаксис	Число битов	Мнемоника
fill_element(){ cnt=count; if(cnt==15) cnt+=esc_count-1; while(cnt>0){ cnt-=extension_payload(cnt); } }	4 8	uimsbf uimsbf

MPEG-4-синтаксис, альтернатива #3

Синтаксис	Число битов	Мнемоника
extension_payload(cnt) { extension_type; align=4; switch(extension_type){ [...] Case EXT_OAMD_INFO: return oamdInfo; [...] } }	4	usimsbf

[00100] В вышеприведенном примерном синтаксисе, элемент element_instance_tag является числом, чтобы идентифицировать элемент потока данных, и элемент extension_payload(int) может содержаться в элементе заливки (ID_FIL). Каждый из вышеуказанных трех вариантов осуществления синтаксиса описывает "tag" или "extension_type", чтобы указывать смысл дополнительных данных. В варианте осуществления, сигнал может вставляться в поток битов, передающий в служебных сигналах то, что дополнительные OAMD и информация перемешивания каналов присутствуют в одной из трех зон расширения потока битов для того, чтобы не допускать необходимость для декодера проверять эти зоны потока битов. Например, поле MPEG4_ancillary_data содержит поле dolby_surround_mode со следующей семантикой. Аналогичный синтаксис передачи в служебных сигналах может использоваться для того, чтобы указывать для декодера то, что OAMD присутствуют в потоке битов.

Определение сигнала dolby_surround_mode

dolby_surround_mode	Описание
"00"	Dolby-режим объемного звучания не указывается
"01"	2-канальн. аудиочасть не кодируется в Dolby-режиме объемного звучания
"10"	2-канальн. аудиочасть кодируется в Dolby-режиме объемного звучания
"11"	Зарезервировано

[00101] В варианте осуществления, зарезервированное поле в вышеприведенной таблице используется для того, чтобы указывать то, что рабочие данные предварительно вычисленных OAMD встраиваются в каком-либо месте в расширенных данных потока битов. Зарезервированное значение (dolby_surround_mode="11") используется для того, чтобы указывать для декодера то, что поля расширенных данных содержат требуемые OAMD и информацию канала, требуемую для того, чтобы преобразовывать 22.2 в OBA (например, Dolby® Atmos®). Альтернативно, зарезервированное поле указывает то, что контент является OBA-совместимым (например, Dolby® Atmos®-совместимым), и преобразование 22.2-канального контента в OBA является возможным. Таким образом, если сигнал dolby_surround_mode задается равным зарезервированному значению "11", то декодер должен знать то, что контент является OBA-совместимым, и преобразовывать 22.2-канальный контент в OBA для дополнительного кодирования и/или рендеринга.

[00102] В варианте осуществления, OAMD, представляющие 22.2-контент, переносятся в собственном потоке аудиобитов, к примеру, в потоке MPEG-D USAC-аудиобитов (ISO/IEC 23003-3). Ниже предоставляется примерный синтаксис для такого варианта осуществления.

Синтаксис	Число битов	Мнемоника
UsacExtElementConfig
{
usacExtElementType=escapedValue (4,8,16);
usacExtElementConfigLength=escapedValue (4,8,16);

usacExtElementDefaultLengthPresent;	1	uimsbf
if(usacExtElementDefaultLengthPresent){
usacExtElementDefaultLength=escapedValue (8,16,0)+1;
} else {
usacExtElementDefaultLength=0;
}

usacExtElementPayloadFrag;	1	uimsbf

switch(usacExtElementType) {
case ID_EXT_ELE_FILL:
break;
case ID_EXT_ELE_MPEGS:
SpatialSpecificConfig();
break;
case ID_EXT_ELE_SAOC:
SaocSpecificConfig();
break;
case ID_EXT_ELE_AUDIOPREROLL:
/* Без конфигурационного элемента */
break;
case ID_EXT_ELE_UNI_DRC:
uniDrcConfig();
break;
case ID_EXT_ELE_OAMD:
oamdInfo();
break;
default:	Примечание
while(usacExtElementConfigLength} {
tmp;	8	uimsbf
}
break;
}
}
Примечание: Запись по умолчанию для usacExtElementType используется для неизвестного extElementTypes таким образом, что унаследованные декодеры могут удовлетворять требованиям будущих расширений.

Примерная архитектура аудиосистемы

[00103] Фиг. 17 является блок-схемой примерной архитектуры аудиосистемы, которая включает в себя преобразование аудио каналов в аудио объектов, согласно варианту осуществления. В этом примере, архитектура служит для STB или AVR. STB/AVR 1700 включает в себя ввод 1701, аналого-цифровой преобразователь 1702 (ADC), демодулятор 1703, синхронизатор/декодер 1704, MPEG-демультиплексор 1707, MPEG-декодер 1706, запоминающее устройство 1709, управляющий процессор 1710, модуль 1705 перемешивания аудиоканалов, OBA-кодер 1711 и видеокодер 1712. В этом примере, STB/AVR 1700 реализует варианты применения, описанные на фиг. 9A-9C и 10A, 10B, при этом предварительно вычисленные OAMD переносятся в потоке MPEG4-аудиобитов.

[00104] В варианте осуществления, малошумный блок собирает радиоволны из спутниковой антенны и преобразует их в аналоговый сигнал, который отправляется через коаксиальный кабель в порт 1701 ввода STB/AVR 1700. Аналоговый сигнал преобразуется в цифровой сигнал посредством ADC 1702. Цифровой сигнал демодулируется посредством демодулятора 1703 (например, QPSK-демодулятора) и синхронизируется и декодируется посредством синхронизатора/декодера 1704 (например, синхронизатора плюс декодера Витерби) для того, чтобы восстанавливать поток транспортных MPEG-битов, который демодулируется посредством MPEG-демультиплексора 1707 и декодируется посредством MPEG-декодера 1706 для того, чтобы восстанавливать потоки аудиобитов с канально-ориентированным аудио и видео и метаданные, включающие в себя информацию перемешивания каналов и OAMD. Модуль 1705 перемешивания аудиоканалов переупорядочивает аудиоканалы в соответствии с информацией перемешивания каналов, к примеру, в соответствии с принципами, как описано в отношении фиг. 1B. OBA-кодер 1711 кодирует аудио с помощью переупорядоченных каналов в поток OBA-аудиобитов (например, Dolby® MAT), который передается в устройство воспроизведения (например, Dolby® Atmos®-устройство) для подготовки посредством рендеринга посредством модуля рендеринга аудио объектов в устройстве воспроизведения. Видеокодер 1712 кодирует видео в видеоформат, который поддерживается посредством устройства воспроизведения.

[00105] Следует отметить, что архитектура, описанная в отношении фиг. 17, представляет собой только примерную архитектуру. Преобразование из CBA в OBA может выполняться посредством любого устройства, которое включает в себя один или более процессоров, запоминающее устройство, соответствующие интерфейсы ввода-вывода и программные модули и/или аппаратные средства (например, ASIC) для выполнения преобразования формата и переупорядочения каналов, описанного в данном документе.

[00106] Хотя этот документ содержит множество конкретных сведений по реализации, они должны истолковываться не в качестве ограничений на объем того, что может заявляться в качестве формулы изобретения, а вместо этого в качестве описаний признаков, которые могут быть конкретными для конкретных вариантов осуществления. Определенные признаки, которые поясняются в этом подробном описании в контексте отдельных вариантов осуществления, также могут реализовываться комбинированно в одном варианте осуществления. Наоборот, различные признаки, которые описываются в контексте одного варианта осуществления, также могут реализовываться в нескольких вариантах осуществления по отдельности либо в любой подходящей субкомбинации. Кроме того, хотя признаки могут описываться выше как работающие в определенных комбинациях и даже первоначально задаваться в формуле изобретения как таковые, один или более признаков из заявленной комбинации в некоторых случаях могут быть исключены из комбинации, и заявленная комбинация может быть направлена на субкомбинацию или варьирование субкомбинации. Логические последовательности операций, проиллюстрированные на чертежах, не требуют конкретного показанного порядка или последовательного порядка для того, чтобы достигать требуемых результатов. Помимо этого, другие этапы могут предоставляться, или этапы могут исключаться из описанных последовательностей операций, и другие компоненты могут добавляться или удаляться из описанных систем. Соответственно, другие реализации находятся в пределах объема прилагаемой формулы изобретения.

[00107] Различные аспекты настоящего изобретения могут приниматься во внимание из следующих перечислимых примерных вариантов осуществления (EEE):

EEE 1. Способ, содержащий:

- прием, посредством одного или более процессоров оборудования аудиообработки, потока битов, включающего в себя канально-ориентированное аудио и метаданные;

- причем один или более процессоров выполнены с возможностью:

- синтаксически анализировать параметр передачи служебных сигналов из метаданных, причем параметр передачи служебных сигналов указывает одно из множества различных представлений аудиометаданных объектов (OAMD);

- преобразовывать канально-ориентированные метаданные в OAMD с использованием OAMD-представления, которое указывается посредством параметра передачи служебных сигналов;

- формировать информацию перемешивания каналов на основе ограничений упорядочения каналов OAMD;

- переупорядочивать каналы канально-ориентированного аудио на основе информации перемешивания каналов; и

- подготавливать посредством рендеринга переупорядоченное канально-ориентированное аудио в подготовленное посредством рендеринга аудио с использованием OAMD; или

- кодировать канально-ориентированное аудио и OAMD в поток объектно-ориентированных аудиобитов и передавать поток объектно-ориентированных аудиобитов в устройство воспроизведения или устройство-источник.

EEE 2. Способ по EEE 1, в котором канально-ориентированное аудио и метаданные включаются в собственный поток аудиобитов, и способ дополнительно содержит декодирование собственного потока аудиобитов для того, чтобы восстанавливать канально-ориентированное аудио и метаданные.

EEE 3. Способ по EEE 2, в котором собственный поток аудиобитов представляет собой поток битов по стандарту усовершенствованного кодирования аудио (AAC).

EEE 4. Способ по любому из EEE 1-3, в котором канально-ориентированное аудио и метаданные представляют собой N.M-канально-ориентированное аудио и метаданные, где N является положительным целым числом, большим девяти, и M является положительным целым числом, большим или равным нуля.

EEE 5. Способ по любому из EEE 1-4, в котором устройство-источник представляет собой телевизионную абонентскую приставку или приемное аудио/видеоустройство.

EEE 6. Способ по любому из EEE 1-5, дополнительно содержащий:

- определение первого набора каналов канально-ориентированного аудио, которые допускают представление посредством подложенных OAMD-каналов;

- назначение меток подложенных OAMD-каналов первому набору каналов;

- определение второго набора каналов канально-ориентированного аудио, которые не допускают представление посредством подложенных OAMD-каналов; и

- назначение статических позиционных OAMD-координат второму набору каналов.

EEE 7. Способ по любому из EEE 1-6, в котором OAMD включают в себя данные размерной подстройки, чтобы понижать уровни громкости одного или более внеэкранных аудиообъектов в подготовленном посредством рендеринга аудио.

EEE 8. Способ по любому из EEE 1-7, в котором OAMD включают в себя объектные усиления, используемые для того, чтобы компенсировать разности между значениями понижающего микширования канально-ориентированного аудио и рендерингом OAMD-представлений канально-ориентированного аудио.

EEE 9. Способ, содержащий:

- причем один или более процессоров выполнены с возможностью:

- кодировать канально-ориентированное аудио в собственный поток аудиобитов;

- формировать информацию перемешивания каналов на основе ограничений упорядочения каналов OAMD;

- формировать пакет потоков битов, который включает в себя собственный поток аудиобитов, информацию перемешивания каналов и OAMD;

- мультиплексировать пакет в поток битов транспортного слоя; и

- передавать поток битов транспортного слоя в устройство воспроизведения или устройство-источник.

EEE 10. Способ по EEE 9, в котором собственный поток аудиобитов представляет собой поток битов по стандарту усовершенствованного кодирования аудио (AAC).

EEE 11. Способ по EEE 9 или EEE 10, в котором канально-ориентированное аудио и метаданные представляют собой N.M-канально-ориентированное аудио и метаданные, где N является положительным целым числом, большим семи, и M является положительным целым числом, большим или равным нуля.

EEE 12. Способ по любому из EEE 9-11, в котором устройство-источник представляет собой телевизионную абонентскую приставку или приемное аудио/видеоустройство.

EEE 13. Способ по любому из EEE 9-12, в котором каналы в канально-ориентированном аудио, которые могут представляться посредством меток подложенных OAMD-каналов, используют метки подложенных OAMD-каналов, и каналы в канально-ориентированном аудио, которые не могут представляться посредством позиций статических объектов, используют метки подложенных OAMD-каналов, причем каждая позиция статического объекта описывается в позиционных OAMD-координатах.

EEE 14. Способ по любому из EEE 9-13, в котором OAMD включают в себя данные размерной подстройки, чтобы понижать уровни громкости одного или более внеэкранных аудиообъектов в подготовленном посредством рендеринга аудио.

EEE 15. Способ по любому из EEE 9-14, в котором OAMD включают в себя объектные усиления, используемые для того, чтобы компенсировать разности между значениями понижающего микширования канально-ориентированного аудио и рендерингом OAMD-представлений канально-ориентированного аудио.

EEE 16. Способ по любому из EEE 9-15, в котором поток транспортных битов представляет собой поток аудиобитов по стандарту Экспертной группы по киноизображению (MPEG), который включает в себя сигнал, который указывает присутствие OAMD в поле расширения потока MPEG-аудиобитов.

EEE 17. Способ по EEE 16, в котором сигнал, который указывает присутствие OAMD в потоке MPEG-аудиобитов, включается в зарезервированное поле метаданных в потоке MPEG-аудиобитов для передачи в служебных сигналах режима объемного звука.

EEE 18. Способ, содержащий:

- прием, посредством одного или более процессоров оборудования аудиообработки, потока битов транспортного слоя, включающего в себя пакет;

- причем один или более процессоров выполнены с возможностью:

- демультиплексировать поток битов транспортного слоя для того, чтобы восстанавливать пакет;

- декодировать пакет для того, чтобы восстанавливать собственный поток аудиобитов, информацию перемешивания каналов и аудиометаданные объектов (OAMD);

- декодировать собственный поток аудиобитов для того, чтобы восстанавливать поток канально-ориентированных аудиобитов и метаданные;

- переупорядочивать каналы канально-ориентированного аудио на основе информации перемешивания каналов; и

- кодировать канально-ориентированное аудио и OAMD в поток объектно-ориентированных аудиобитов и передавать поток объектно-ориентированных аудиобитов в устройство-источник.

EEE 19. Способ по EEE 18, в котором собственный поток аудиобитов представляет собой поток битов по стандарту усовершенствованного кодирования аудио (AAC).

EEE 20. Способ по EEE 18 или EEE 19, в котором канально-ориентированное аудио и метаданные представляют собой N.M-канально-ориентированное аудио и метаданные, где N является положительным целым числом, большим семи, и M является положительным целым числом, большим или равным нуля.

EEE 21. Способ по любому из EEE 18-20, дополнительно содержащий:

- назначение меток подложенных OAMD-каналов первому набору каналов;

- назначение статических позиционных OAMD-координат второму набору каналов.

EEE 22. Способ по любому из EEE 18-21, в котором OAMD включают в себя данные размерной подстройки, чтобы понижать уровни громкости одного или более внеэкранных объектов в подготовленном посредством рендеринга аудио.

EEE 23. Способ по любому из EEE 18-22, в котором OAMD включают в себя объектные усиления, используемые для того, чтобы компенсировать разности между значениями понижающего микширования канально-ориентированного аудио и рендерингом OAMD-представлений канально-ориентированного аудио.

EEE 24. Способ по любому из EEE 18-23, в котором поток транспортных битов представляет собой поток аудиобитов по стандарту Экспертной группы по киноизображению (MPEG), который включает в себя сигнал, который указывает присутствие OAMD в поле расширения потока MPEG-аудиобитов.

EEE 25. Способ по любому из EEE 18-24, в котором сигнал, который указывает присутствие OAMD в потоке MPEG-аудиобитов, включается в зарезервированное поле структуры данных в метаданных потока MPEG-аудиобитов для передачи в служебных сигналах режима объемного звука.

EEE 26. Оборудование, содержащее:

- один или более процессоров; и

- энергонезависимый машиночитаемый носитель хранения данных, имеющий сохраненные инструкции, которые, при выполнении посредством одного или более процессоров, инструктируют одному или более процессоров осуществлять способы по любому из предшествующих EEE 1-25.

EEE 27. Энергонезависимый машиночитаемый носитель хранения данных, имеющий сохраненные инструкции, которые, при выполнении посредством одного или более процессоров, инструктируют одному или более процессоров осуществлять способы по любому из предшествующих EEE 1-25.

1. Способ (1100; 1200) аудиообработки, содержащий этап, на котором:

- принимают (1101; 1201), посредством одного или более процессоров оборудования аудиообработки, поток битов, включающий в себя канально-ориентированное аудио и ассоциированные канально-ориентированные аудиометаданные;

- причем один или более процессоров выполнены с возможностью:

- синтаксически анализировать (1102; 1202) параметр передачи служебных сигналов из канально-ориентированных аудиометаданных, причем параметр передачи служебных сигналов указывает одно из множества различных представлений аудиометаданных объектов (OAMD), причем каждое из OAMD-представлений преобразует один или более аудиоканалов канально-ориентированного аудио в один или более аудиообъектов;

- преобразовывать (1103; 1203) канально-ориентированные метаданные в OAMD, ассоциированные с одним или более аудиообъектов, с использованием OAMD-представления, которое указывается посредством параметра передачи служебных сигналов;

- формировать (1104; 1204) информацию перемешивания каналов на основе ограничений упорядочения каналов OAMD;

- переупорядочивать (1105; 1205) один или более аудиоканалов канально-ориентированного аудио на основе информации перемешивания каналов для того, чтобы формировать переупорядоченное канально-ориентированное аудио; и

- подготавливать (1106) посредством рендеринга переупорядоченное канально-ориентированное аудио в подготовленное посредством рендеринга аудио с использованием OAMD; или

- кодировать (1206) переупорядоченное канально-ориентированное аудио и OAMD в поток объектно-ориентированных аудиобитов и передавать поток объектно-ориентированных аудиобитов в устройство воспроизведения или устройство-источник (600B).

2. Способ по п. 1, в котором поток битов представляет собой собственный поток аудиобитов, и способ дополнительно содержит этап, на котором декодируют собственный поток аудиобитов для того, чтобы определять канально-ориентированное аудио и метаданные.

3. Способ по п. 2, в котором собственный поток аудиобитов представляет собой поток битов по стандарту усовершенствованного кодирования аудио (AAC).

4. Способ по любому из предшествующих пунктов, в котором канально-ориентированное аудио и ассоциированные канально-ориентированные аудиометаданные представляют собой N.M-канально-ориентированное аудио и канально-ориентированные аудиометаданные, ассоциированные с N.M-канально-ориентированным аудио, соответственно, и при этом N является положительным целым числом, большим девяти, и M является положительным целым числом, большим или равным нуля.

5. Способ по п. 4, в котором канально-ориентированное аудио представляет собой 22.2.

6. Способ (1500) аудиообработки, содержащий этап, на котором:

- принимают (1501), посредством одного или более процессоров оборудования аудиообработки, поток битов, включающий в себя канально-ориентированное аудио и ассоциированные канально-ориентированные аудиометаданные;

- причем один или более процессоров выполнены с возможностью:

- кодировать (1502) канально-ориентированное аудио в собственный поток аудиобитов;

- синтаксически анализировать (1503) параметр передачи служебных сигналов из канально-ориентированных аудиометаданных, причем параметр передачи служебных сигналов указывает одно из множества различных представлений аудиометаданных объектов (OAMD), причем каждое из OAMD-представлений преобразует один или более аудиоканалов канально-ориентированного аудио в один или более аудиообъектов;

- преобразовывать (1504) канально-ориентированные метаданные в OAMD, ассоциированные с одним или более аудиообъектов, с использованием OAMD-представления, которое указывается посредством параметра передачи служебных сигналов;

- формировать (1505) информацию перемешивания каналов на основе ограничений упорядочения каналов OAMD;

- формировать (1506) пакет потоков битов, который включает в себя собственный поток аудиобитов, информацию перемешивания каналов и OAMD, причем информация перемешивания каналов обеспечивает переупорядочивание одного или более аудиоканалов канально-ориентированного аудио на основе информации перемешивания каналов в устройстве воспроизведения или устройстве-источнике (700B; 800B), чтобы формировать переупорядоченное канально-ориентированное аудио;

- мультиплексировать (1507) пакет потоков битов в поток битов транспортного слоя; и

- передавать поток битов транспортного слоя в устройство воспроизведения или устройство-источник (700B; 800B).

7. Способ по п. 6, в котором собственный поток аудиобитов представляет собой поток битов по стандарту усовершенствованного кодирования аудио (AAC).

8. Способ по любому из пп. 6 или 7, в котором канально-ориентированное аудио и ассоциированные канально-ориентированные аудиометаданные представляют собой N.M-канально-ориентированное аудио и канально-ориентированные аудиометаданные, ассоциированные с N.M-канально-ориентированным аудио, соответственно, и при этом N является положительным целым числом, большим семи, и M является положительным целым числом, большим или равным нуля.

9. Способ по п. 8, в котором канально-ориентированное аудио представляет собой 22.2.

10. Способ (1600) аудиообработки, содержащий этап, на котором:

- принимают (1601), посредством одного или более процессоров оборудования аудиообработки, поток битов транспортного слоя, включающий в себя пакет потоков битов, причем пакет потоков битов содержит собственный поток аудиобитов, содержащий кодированное канально-ориентированное аудио, информацию перемешивания каналов и аудиометаданные объектов (OAMD);

- причем один или более процессоров выполнены с возможностью:

- демультиплексировать поток битов транспортного слоя для того, чтобы определять пакет потоков битов;

- декодировать (1606) пакет потоков битов для того, чтобы определять канально-ориентированное аудио, информацию перемешивания каналов и аудиометаданные объектов (OAMD);

- переупорядочивать (1604) аудиоканалы канально-ориентированного аудио на основе информации перемешивания каналов для того, чтобы формировать переупорядоченное канально-ориентированное аудио; и

- подготавливать (1607) посредством рендеринга переупорядоченное канально-ориентированное аудио в подготовленное посредством рендеринга аудио с использованием OAMD; или

- кодировать (1605) переупорядоченное канально-ориентированное аудио и OAMD в поток объектно-ориентированных аудиобитов и передавать поток объектно-ориентированных аудиобитов в устройство-источник.

11. Способ по п. 10, в котором собственный поток аудиобитов представляет собой поток битов по стандарту усовершенствованного кодирования аудио (AAC).

12. Способ по п. 10 или 11, в котором канально-ориентированное аудио представляет собой N.M-канально-ориентированное аудио, и при этом N является положительным целым числом, большим семи, и M является положительным целым числом, большим или равным нуля.

13. Способ по п. 12, в котором канально-ориентированное аудио представляет собой 22.2.

14. Оборудование для аудиообработки, содержащее:

- один или более процессоров; и

- энергонезависимый машиночитаемый носитель хранения данных, имеющий сохраненные на нем инструкции, которые, при выполнении посредством одного или более процессоров, инструктируют одному или более процессоров осуществлять способы по любому из предшествующих пунктов.

15. Энергонезависимый машиночитаемый носитель хранения данных, имеющий сохраненные на нем инструкции, которые, при выполнении посредством одного или более процессоров, инструктируют одному или более процессоров осуществлять способы по любому из пп. 1-13.

Изобретение относится к аудиопроцессорам для обеспечения множества сигналов громкоговорителей или подачи звука в громкоговорители на основе множества входных сигналов, таких как канальные сигналы и/или объектные сигналы. Техническим результатом изобретения является обеспечение наилучшего компромисса между сложностью обработки звука и аудиовосприятием слушателя.

Аудиопроцессор и способ для обеспечения сигналов громкоговорителей // 2787845

Изобретение относится в общем к аудиопроцессорам для рендеринга аудио, при котором звук следует за слушателем. Техническим результатом изобретения является оптимизация воспроизведения аудио и рендеринга аудиосигналов для формирования достоверного и приятного слухового впечатления слушателя.

Способы, устройства и системы для подвергнутого предварительному рендерингу сигнала для рендеринга звука // 2787581

Изобретение относится к средствам для рендеринга звука. Технический результат заключается в повышении эффективности рендеринга звука.

Пространственная конструкция для звуковоспроизводящих устройств // 2783386

Настоящее изобретение относится к пространственной конструкции для звуковоспроизводящих устройств на сцене для представлений, такой как сцена концертного зала или сцена для фестиваля под открытым небом. Техническим результатом изобретения является оптимизация распространения звукового сигнала и, таким образом, замена традиционных стереосистем.

Способы, устройство и системы формирования звука 6dof, и представление данных, и структуры битовых потоков для формирования звука 6dof // 2782344

Группа изобретений относится к предоставлению устройства, системы и способа формирования звука с шестью степенями свободы (6DoF), в частности в связи с представлением данных и структурами битовых потоков для формирования звука 6DoF. Техническим результатом изобретения является обеспечение возможности представления данных и/или структур битовых потоков для кодирования звука 3D и/или формирования звука 3D, что позволяет эффективно выполнять кодирование и/или формирование звука 6DoF, предпочтительно с обратной совместимостью для формирования звука 3DoF, например согласно стандарту MPEG-H 3DA.

Оборудование и способ для воспроизведения пространственно протяженного источника звука или оборудование и способ для формирования потока битов из пространственно протяженного источника звука // 2780536

Изобретение относится к средствам для воспроизведения пространственно протяженного источника звука. Технический результат заключается в повышении эффективности воспроизведения пространственно протяженного источника звука.

Обработка монофонического сигнала в декодере 3d-аудио, предоставляющая бинауральный информационный материал // 2779295

Изобретение относится к способу обработки монофонического сигнала в декодере 3D-аудио, включающему этап обработки для бинаурализации декодированных сигналов, предназначенных для пространственного воспроизведения головной гарнитурой. Техническим результатом является обеспечение передачи сигнала для воспроизведения в конкретном положении относительно уха человека, носящего головную аудиогарнитуру, независимо от аудиосцены, воспроизводимой той же головной гарнитурой, с оптимизацией при этом диапазона частот, требуемого применяемым кодеком.

Способ и система для обработки локальных переходов между положениями прослушивания в среде виртуальной реальности // 2777921

Изобретение относится к средствам для обработки локальных переходов между положениями прослушивания в среде виртуальной реальности. Технический результат заключается в повышении эффективности обработки.

Система воспроизведения/моделирования звука и способ моделирования воспроизведения звука // 2777613

Изобретение относится к акустике. Система (10) воспроизведения/имитации звука, содержит несколько устройств для воспроизведения звука, управляемых одним или более аудиосигналами (AS), процессор (14) для обработки входного аудиопотока (ST) для формирования одного или более аудиосигналов (AS).

Способ и устройство для рендеринга акустического сигнала и машиночитаемый носитель записи // 2777511

Изобретение относится к способу рендеринга аудиосигнала, а более конкретно, к способу рендеринга для еще более точного представления позиции звукового изображения и тембра посредством модификации коэффициента панорамирования подъема или коэффициента фильтрации подъема, когда подъем входного канала выше или ниже подъема согласно стандартной схемы размещения.

Устройство, способ или компьютерная программа для формирования выходного представления понижающего микширования // 2791872

Изобретение относится к средствам для формирования выходного представления понижающего микширования. Технический результат заключается в повышении эффективности преобразования входного представления понижающего микширования.