Рендеринг отраженного звука для объектно-ориентированной аудиоинформации
Изобретение относится к средствам рендеринга пространственного аудиоконтента в системе, которая сконфигурирована для отражения аудио от одной или нескольких поверхностей среды прослушивания. Технический результат заключается в создании адаптивной аудиосистемы, обеспечивающей полную пространственную информацию, воспроизводимую в среде прослушивания, которая может включать в себя только часть полной группы громкоговорителей, а также может включать использование громкоговорителей отраженного излучения для излучения звука с мест, на которых громкоговорители прямого излучения отсутствуют. Система включает в себя группу звуковых головок, распределенных по периметру комнаты, при этом по меньшей мере одна головка из группы головок сконфигурирована для проецирования звуковых волн к одной или нескольким поверхностям среды прослушивания для отражения к области прослушивания, и рендерер, сконфигурированный для приема и обработки аудиопотоков и одного или нескольких наборов метаданных, которые связаны с каждым из аудиопотоков и которые точно определяют место воспроизведения в среде прослушивания. 2 н. и 15 з.п. ф-лы, 21 ил.
ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
По этой заявке испрашивается приоритет предварительной заявки №61/695893 на патент США, поданной 31 августа 2012 года, которая полностью включена в эту заявку посредством ссылки.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Одна или несколько реализаций относятся в основном к обработке аудиосигналов, а более конкретно, к рендерингу адаптивного аудиоконтента с помощью головок прямого и отраженного излучения в определенных средах прослушивания.
УРОВЕНЬ ТЕХНИКИ
Основные положения, рассматриваемые в разделе «Уровень техники», не следует считать принадлежащими к предшествующему уровню техники только вследствие упоминания их в разделе «Уровень техники». Точно так же проблему, упомянутую в разделе «Уровень техники» или связанную с основными положениями из раздела «Уровень техники», не следует считать ранее выявленной в предшествующем уровне техники. Основные положения в разделе «Уровень техники» представляют всего лишь различные принципы, которые в сочетании или сами по себе также могут быть изобретениями.
Звуковые треки кинофильма обычно содержат многочисленные различные звуковые элементы, соответствующие изображениям на экране, диалог, шумы и звуковые эффекты, которые исходят из различных мест на экране и сочетаются с фоновой музыкой и окружающими эффектами для создания полного впечатления присутствия. Для точного воспроизведения требуется, чтобы звуки воспроизводились с возможно близким соответствием тому, что показывается на экране, с учетом положения, интенсивности, перемещения и глубины источника звука. В традиционных канально-ориентированных аудиосистемах аудиоконтент направляется в виде подач сигналов к индивидуальным громкоговорителям в среде воспроизведения. С появлением цифровой кинематографии были разработаны новые стандарты для звука кинофильма, связанные с включением многочисленных каналов аудио, что позволило усилить творческую деятельность создателей контента и создавать более окружающее и реалистичное звуковое впечатление для зрителей. Расширение за пределы традиционных подач сигналов громкоговорителей и канально-ориентированного аудио в качестве средства распределения пространственного аудио крайне важно, и проявляется значительный интерес к основанному на модели описанию аудио, которое позволяет слушателю выбирать желаемую конфигурацию воспроизведения аудио, рендеринг которого выполнен специально для выбранной конфигурации. Воспроизведение звука в истинных трехмерных (3D) или виртуальных трехмерных средах стало областью интенсивных исследований и разработки для дальнейшего повышения восприятия слушателем. Для пространственного представления звука используют аудиообъекты, которые представляют собой аудиосигналы совместно со связанными параметрическими описаниями положений кажущихся источников (например, в трехмерных координатах), шириной кажущихся источников и другими параметрами. Объектно-ориентированное аудио можно использовать для многих мультимедийных применений, таких как цифровые кинофильмы, видеоигры, имитаторы, и она является особенно важной в домашней среде, в которой количество громкоговорителей и размещение их обычно ограниченны или удерживаются в границах относительно небольшой среды прослушивания.
Различные технологии были разработаны для улучшения звуковых систем в кинематографических средах и для более точного захвата и воспроизведения творческого замысла создателя звукового трека кинофильма. Например, разработан пространственный аудиоформат (также называемый «адаптивным аудиоформатом») следующего поколения, который содержит микс аудиообъектов и традиционные канально-ориентированные подачи сигналов громкоговорителей с использованием позиционных метаданных для аудиообъектов. Из декодера пространственного аудио каналы направляются непосредственно к относящимся к ним громкоговорителям (если соответствующие громкоговорители имеются) или подвергаются понижающему микшированию под существующий набор громкоговорителей, а рендеринг аудиообъектов адаптивно выполняется декодером. Параметрическое описание источников, связанное с каждым объектом, в том числе с позиционной траекторией в трехмерном пространстве, используется в качестве входных данных наряду с количеством и положениями громкоговорителей, связанных с декодером. В таком случае в рендерере используются определенные алгоритмы, такие как правило панорамирования, для распределения аудио, связанного с каждым объектом, по присоединенным наборам громкоговорителей. Этим способом созданный автором пространственный замысел для каждого объекта оптимально представляется в конкретной конфигурации громкоговорителей, которые имеются в среде прослушивания.
Современные пространственные аудиосистемы обычно разрабатывают для применения в кинематографии и поэтому их размещают в больших комнатах и используют относительно дорогое оборудование, в том числе группы многочисленных громкоговорителей, распределенных по периметру среды прослушивания. Увеличение объема кинематографического контента, производимого в настоящее время, делает доступным воспроизведение в домашней среде с помощью потоковой технологии и усовершенствованной медийной технологии, такой как стандарт Blu-Ray, и т.д. Кроме того, новые технологии, такие как трехмерное телевидение и усовершенствованные компьютерные игры и имитаторы, благоприятствуют использованию относительно сложного оборудования, такого как мониторы с большим экраном, ресиверы объемного звука и группы громкоговорителей в домашних и других средах (не кинематографических и не театральных) прослушивания. Однако стоимость оборудования, сложность установки и размеры комнаты являются реальными ограничениями, которые препятствуют полному использованию пространственного аудио в большей части домашних сред. Например, в усовершенствованных объектно-ориентированных аудиосистемах обычно используют подвесные или верхние громкоговорители для воспроизведения звука, который должен возникать над головой слушателя. Во многих случаях, и особенно в домашней среде, такие верхние громкоговорители могут отсутствовать. В этом случае, если такие аудиообъекты воспроизводятся через напольные и установленные на стенке громкоговорители, верхняя информация теряется.
Поэтому имеется необходимость в адаптивной аудиосистеме, обеспечивающей полную пространственную информацию, воспроизводимую в среде прослушивания, которая может включать в себя только часть полной группы громкоговорителей, предназначенных для воспроизведения, таких как громкоговорители с ограниченными возможностями и не подвесные, и в которой можно использовать громкоговорители отраженного излучения для излучения звука с мест, на которых громкоговорители прямого излучения отсутствуют.
КРАТКОЕ ИЗЛОЖЕНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Описываются системы и способы для аудиоформата и система, которая включает в себя обновленные средства создания контента, способы распределения и улучшенного восприятия пользователем на основе адаптивной аудиосистемы, которая включает в себя новые конфигурации громкоговорителей и каналов и также делает возможным новый формат пространственного описания, создаваемый для кинорежиссеров с помощью набора усовершенствованных средств создания контента. Варианты осуществления включают в себя систему, в которой ориентированная на кинематограф концепция адаптивного аудио распространена на конкретную экосистему воспроизведения аудио, в том числе на домашний театр (например, аудио/видео ресивер, звуковую панель и устройство воспроизведения дисков Blu-Ray), электронные средства массовой информации (например, персональный компьютер, мобильное устройство и проигрыватель с воспроизведением через наушники), широковещательные средства (телевизор и телевизионную приставку), музыку, игры, живой звук, образованный пользователем контент (ОПК) и т.д. Система домашней среды включает в себя компоненты, которые обеспечивают совместимость с театральным контентом, и характерные определения метаданных, которые включают в себя информацию о создании контента для передачи творческого замысла, медийную интеллектуальную информацию, относящуюся к аудиообъектам, подачи сигналов громкоговорителей, пространственную информацию о рендеринге и зависящие от контента метаданные, которые показывают вид контента, такой как диалог, музыка, окружающая среда и т.д. Описания адаптивной аудиосистемы могут включать в себя подачи сигналов стандартных громкоговорителей через посредство аудиоканалов в добавление к аудиообъектам вместе с соответствующей пространственной информацией о рендеринге (такой как размер, скорость и положение в трехмерном пространстве). Кроме того, описаны новое расположение громкоговорителей (или конфигурация каналов) и сопутствующий новый формат пространственного описания, который поддерживает многочисленные технологии рендеринга. Аудиопотоки (обычно включающие каналы и объекты) передаются наряду с метаданными, которые описывают контент создателя или замысел звукорежиссера, включая заданное положение аудиопотока. Положение может быть выражено в виде именованного канала (из заданной конфигурации каналов) или в виде информации о трехмерном пространственном положении. Эти каналы в дополнение к формату объектов обеспечивают получение наилучших канально-ориентированных и основанных на модели способов описания аудиосцены.
В частности, варианты осуществления относятся к системе для рендеринга звука с использованием элементов отраженного звука, содержащей группу звуковых головок, распределенных по периметру среды прослушивания, в которой некоторые головки представляют собой головки прямого излучения и другие представляют собой головки отраженного излучения, которые сконфигурированы для проецирования звуковых волн к одной или нескольким поверхностям среды прослушивания для отражения к конкретной области прослушивания; рендерер для обработки аудиопотоков и одного или нескольких наборов метаданных, которые связаны с каждым аудиопотоком и которые точно определяют место воспроизведения в среде прослушивания соответствующего аудиопотока, при этом аудиопотоки содержат один или несколько отраженных аудиопотоков и один или несколько прямых аудиопотоков; и систему воспроизведения для рендеринга аудиопотоков к группе звуковых головок в соответствии с одним или несколькими наборами метаданных, и при этом один или несколько отраженных аудиопотоков передаются к звуковым головкам отраженного излучения.
ВКЛЮЧЕНИЕ ПУТЕМ ССЫЛКИ
Любая публикация, патент и/или заявка на патент, упомянутые в этом описании, полностью включаются в эту заявку путем ссылки, в той же степени, как если бы было конкретно и индивидуально указано, что каждая отдельная публикация и/или заявка на патент должна быть включена путем ссылки.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На нижеследующих чертежах одинаковые позиции используются для аналогичных элементов. Хотя на нижеследующих чертежах показаны различные примеры, одна или несколько реализаций не ограничены примерами, показанными на чертежах.
На чертежах:
фиг. 1 - иллюстрация примера размещения громкоговорителей в системе объемного звука (например, системе 9.1 объемного звука), в которой верхние громкоговорители расположены для воспроизведения верхних каналов;
фиг. 2 - иллюстрация канала и объектно-ориентированных данных, в сочетании предназначенных для образования адаптивного аудиомикса, согласно варианту осуществления;
фиг. 3 - структурная схема архитектуры воспроизведения, предназначенной для использования в адаптивной аудиосистеме, согласно варианту осуществления;
фиг. 4А - структурная схема, на которой показаны функциональные компоненты, адаптирующие аудиоконтент кинофильма для использования в среде прослушивания, согласно варианту осуществления;
фиг. 4В - подробная структурная схема компонентов из фиг. 3А, согласно варианту осуществления;
фиг. 4С - структурная схема функциональных компонентов аудиосреды, согласно варианту осуществления;
фиг. 5 - иллюстрация размещения адаптивной аудиосистемы в среде домашнего театра;
фиг. 6 - иллюстрация применения излучающей вверх головки при использовании отраженного звука для имитации подвесного громкоговорителя в среде прослушивания;
фиг. 7А - вид громкоговорителя, имеющего множество головок в первой конфигурации, предназначенного для использования в адаптивной аудиосистеме, имеющей рендерер отраженного звука, согласно варианту осуществления;
фиг. 7В - вид системы громкоговорителей, имеющей головки, распределенные по многочисленным корпусам, предназначенной для использования в адаптивной аудиосистеме, имеющей рендерер отраженного звука, согласно варианту осуществления;
фиг. 7С - иллюстрация примера конфигурации звуковой панели, применяемой в адаптивной аудиосистеме с использованием рендерера отраженного звука, согласно варианту осуществления;
фиг. 8 - иллюстрация примера размещения громкоговорителей, имеющих индивидуально адресуемые головки, в том числе излучающие вверх головки, расположенные в среде прослушивания;
фиг. 9А - иллюстрация конфигурации громкоговорителей для адаптивной аудиосистемы 5.1 с использованием многочисленных адресуемых головок для формирования отраженных аудиосигналов, согласно варианту осуществления;
фиг. 9В - иллюстрация конфигурации громкоговорителей для адаптивной аудиосистемы 7.1 с использованием многочисленных адресуемых головок для формирования отраженных аудиосигналов, согласно варианту осуществления;
фиг. 10 - схема, которая иллюстрирует состав двунаправленного соединения, согласно варианту осуществления;
фиг. 11 - иллюстрация процесса автоматического конфигурирования и калибровки, предназначенного для использования в адаптивной аудиосистеме, согласно варианту осуществления;
фиг. 12 - блок-схема последовательности действий, иллюстрирующая этапы способа калибровки, используемого в адаптивной аудиосистеме, согласно варианту осуществления;
фиг. 13 - иллюстрация применения адаптивной аудиосистемы на примере использования телевизора и звуковой панели;
фиг. 14 - иллюстрация упрощенного представления трехмерной бинауральной виртуализации наушников в адаптивной аудиосистеме, согласно варианту осуществления;
фиг. 15 - таблица описаний некоторых метаданных, предназначенных для использования в адаптивной аудиосистеме с применением рендерера отраженного звука применительно к средам прослушивания, согласно варианту осуществления; и
фиг. 16 - график, иллюстрирующий частотную характеристику комбинированного фильтра, согласно варианту осуществления.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Описываются системы и способы применительно к адаптивной аудиосистеме, в соответствии с которыми осуществляется рендеринг отраженного звука в адаптивных аудиосистемах, в которых отсутствуют подвесные громкоговорители. Аспекты одного или нескольких вариантов осуществления, описанных в этой заявке, могут быть реализованы в аудио- или аудиовизуальной системе, в которой аудиоинформация источника обрабатывается в системе смешения, рендеринга и воспроизведения, которая включает в себя один или несколько компьютеров или устройств обработки, исполняющих инструкции программного обеспечения. Любой из описанных вариантов осуществления можно использовать сам по себе или совместно с другими вариантами осуществления в любом сочетании. Хотя различные варианты осуществления могут быть мотивированы различными недостатками из предшествующего уровня техники, которые могут рассматриваться или упоминаться в одном или нескольких местах описания, вариантами осуществления необязательно устраняется любой из этих недостатков. Иначе говоря, различными вариантами осуществления могут устраняться разные недостатки, которые могут рассматриваться в описании. Некоторыми вариантами осуществления могут только частично устраняться некоторые недостатки или всего лишь один недостаток, который может рассматриваться в описании, а некоторыми вариантами осуществления может не устраняться никакой из этих недостатков.
Применительно к настоящему описанию нижеследующие термины имеют связанные с ними значения: термин «канал» означает аудиосигнал в дополнение к метаданным, в которых положение кодируется в качестве идентификатора канала, например, левое фронтальное звуковое окружение или правое верхнее звуковое окружение; «канально-ориентированное аудио» представляет собой аудио, форматированное для воспроизведения в пределах заданного набора зон громкоговорителей с соответствующими номинальными местами, например 5.1, 7.1 и т.д.; термин «объект» или «объектно-ориентированное аудио» означает один или несколько аудиоканалов с описанием параметрического источника, таким как положение кажущегося источника (например, в трехмерных координатах), ширина кажущегося источника и т.д.; и термин «адаптивное аудио» означает канально-ориентированные и/или объектно-ориентированные аудиосигналы в дополнение к метаданным, в соответствии с которыми осуществляется рендеринг аудиосигналов в зависимости от среды воспроизведения при использовании аудиопотока в дополнение к метаданным, в которых положение кодировано как трехмерное положение в пространстве; и термин «среда прослушивания» означает любое открытое, частично закрытое или полностью закрытое пространство, такое как комната, которое можно использовать для воспроизведения только аудиоконтента или в сочетании с видео- или другим контентом и можно реализовать в домашних условиях, в кинотеатре, театре, аудитории, студии, игровой консоли и т.п. Такое пространство может иметь одну или несколько поверхностей, расположенных в нем, таких как стены или перегородки, которые могут прямо или диффузно отражать звуковые волны.
Адаптивный аудиоформат и система
Варианты осуществления касаются системы рендеринга отраженного звука, которая сконфигурирована для работы с использованием аудиоформата, и системы обработки, которую можно назвать «пространственной аудиосистемой» или «адаптивной аудиосистемой», которая основана на аудиоформате и технологии рендеринга, позволяющими обеспечить более глубокое погружение слушателей, большее художественное воздействие, и гибкость, и масштабируемость системы. В целом адаптивная аудиосистема обычно содержит систему кодирования, распределения и декодирования аудио, сконфигурированную для образования одного или нескольких битовых потоков, содержащих обычные канально-ориентированные аудиоэлементы и элементы кодирования аудиообъектов. При таком комбинированном подходе обеспечивается большая эффективность кодирования и гибкость рендеринга по сравнению с канально-ориентированным подходом или объектно-ориентированным подходом, используемыми отдельно. Пример адаптивной аудиосистемы, которую можно использовать в сочетании с предложенными вариантами осуществления, описан в находящейся на рассмотрении предварительной заявке №61/636429 на патент США, поданной 20 апреля 2012 года, под названием “System and method for adaptive audio signal generation, coding and rendering”, которая полностью включена в эту заявку путем ссылки.
Примером реализации адаптивной аудиосистемы и связанного с ней аудиоформата является платформа Dolby® Atmos™. Такая система имеет линейный размер по высоте (вверх/вниз) и может быть реализована как система 9.1 объемного звука или как аналогичная конфигурация объемного звука. На фиг. 1 показано размещение громкоговорителей в предложенной системе объемного звука (например, в системе 9.1 объемного звука), которая снабжена верхними громкоговорителями для воспроизведения верхних каналов. Конфигурация 9.1 системы 100 состоит из пяти громкоговорителей 102 в плоскости пола и четырех громкоговорителей 104 в верхней плоскости. В общем случае эти громкоговорители можно использовать для создания звука, который предназначен для излучения более или менее точно с любого места в пределах среды прослушивания. При заданных конфигурациях громкоговорителей, таких как конфигурация, показанная на фиг. 1, может естественным образом ограничиваться возможность точного представления положения конкретного источника звука. Например, источник звука нельзя панорамировать левее места нахождения левого громкоговорителя. Это применимо к каждому громкоговорителю, и поэтому формируется одномерная (например, влево/вправо), двумерная (например, вперед/назад) или трехмерная (например, влево/вправо, вперед/назад, вверх/вниз) геометрическая форма, при которой понижающее микширование ограниченно. Различные конфигурации можно использовать в качестве такой конфигурации и громкоговорители различных видов можно использовать в такой конфигурации. Например, в некоторых улучшенных аудиосистемах можно использовать громкоговорители в конфигурациях 9.1, 11.1, 13.1, 19.4 или в иной конфигурации. Громкоговорители могут включать в себя широкополосные громкоговорители прямого излучения, группы громкоговорителей, громкоговорители объемного звучания, сабвуферы, высокочастотные громкоговорители и громкоговорители других видов.
Аудиообъекты можно рассматривать как группы аудиоэлементов, которые могут воспринимать излучение с конкретного физического места или мест в среде прослушивания. Такие объекты могут быть статическими (то есть, неподвижными) или динамическими (то есть, подвижными). Аудиообъекты регулируются метаданными, которые задают положение звука в конкретной точке во времени наряду с выполнением других функций. Когда объекты воспроизводятся, их рендеринг осуществляется в соответствии с позиционными метаданными с использованием имеющихся громкоговорителей вместо обязательного вывода в заданные физические каналы. Трек в сессии может быть аудиообъектом, а стандартные данные панорамирования являются аналогом позиционных метаданных. Таким образом, контент, помещенный на экран, можно эффективно панорамировать таким же образом, как и при использовании канально-ориентированного контента, но при желании рендеринг контента, помещенного в звуковое окружение, можно осуществлять для индивидуального громкоговорителя. Хотя использование аудиообъектов обеспечивает желаемое регулирование дискретных эффектов, другие аспекты звукового трека могут эффективно работать в канально-ориентированной среде. Например, на самом деле многие эффекты внешней среды или реверберацию выгодно подавать на группы громкоговорителей. Хотя их можно рассматривать как объекты с шириной, достаточной для заполнения группы, предпочтительно поддерживать некоторую канально-ориентированную функциональность.
Адаптивная аудиосистема сконфигурирована для поддержания «слоев» в дополнение к аудиообъектам, при этом слои представляют собой эффективные канально-ориентированные субмиксы или стемы. В зависимости от замысла создателя контента они могут быть поданы на конечное воспроизведение (рендеринг) индивидуально или в сочетании с одним слоем. Эти слои могут создаваться при различных канально-ориентированных конфигурациях, таких как 5.1, 7.1 и 9.1, и группах, которые включают в себя подвесные громкоговорители, такие, как показанные на фиг. 1. На фиг. 2 показано сочетание канала и объектно-ориентированных данных для получения адаптивного аудиомикса согласно варианту осуществления. Как показано в процессе 200, канально-ориентированные данные 202, которые могут быть, например, данными объемного звука 5.1 или 7.1, полученными в виде данных с импульсно-кодовой модуляцией (ИКМ), объединяются с данными 204 об аудиообъектах с образованием адаптивного аудиомикса 208. Данные 204 об аудиообъектах образуются объединением элементов исходных канально-ориентированных данных с соответствующими метаданными, которыми точно определяются некоторые параметры, имеющие отношение к местоположению аудиообъектов. Как концептуально показано на фиг. 2, средства авторской обработки позволяют создавать аудиопрограммы, которые одновременно охватывают сочетание групп каналов громкоговорителей и объектных каналов. Например, аудиопрограмма может охватывать один или несколько каналов громкоговорителей, которые по желанию можно организовывать в группы (или треки, например стереофонические треки, или треки 5.1), описательные метаданные для одного или нескольких каналов громкоговорителей, одного или нескольких объектных каналов и описательные метаданные для одного или нескольких объектных каналов.
Адаптивная аудиосистема эффективно оставляет позади простые «подачи сигналов громкоговорителей» как средство распределения пространственного аудио, и были разработаны усовершенствованные основанные на модели описания аудио, позволяющие слушателю свободно выбирать конфигурацию воспроизведения, которая удовлетворяет его индивидуальным потребностям или бюджету, с рендерингом аудио, специально выполненным для индивидуально выбранной конфигурации. На высоком уровне имеются четыре основных формата описания пространственного аудио: (1) подача сигнала громкоговорителей, когда аудио описывается как сигналы, предназначенные для громкоговорителей, расположенных на номинальных местах громкоговорителей; (2) подача сигнала микрофона, когда аудио описывается как сигналы, захватываемые реальными или виртуальными микрофонами в заданной конфигурации (количество микрофонов и их относительное положение); (3) основанное на модели описание, в котором аудио описывается как последовательность аудиособытий в описанные моменты времени и в описанных местах; и (4) бинауральное, когда аудио описывается сигналами, которые достигают двух ушей слушателя.
Четыре формата описания часто связывают с нижеследующими распространенными технологиями рендеринга, в которых термин «рендеринг» означает преобразование в электрические сигналы, используемые в качестве подач сигналов громкоговорителей: (1) панорамирование, когда аудиопоток преобразуется в подачи сигналов громкоговорителей с использованием набора правил панорамирования и известных или предполагаемых положений громкоговорителей (обычно рендеринг выполняется до распределения); (2) формат амбиофонии, когда сигналы микрофонов преобразуются в подачи сигналов для масштабируемой группы громкоговорителей (обычно подвергаемые рендерингу после распределения); (3) синтез волнового поля (СВП), когда аудиособытия преобразуются в соответствующие сигналы громкоговорителей для синтезирования звукового поля (обычно подвергаемому рендерингу после распределения); и (4) бинауральный формат, когда левые и правые бинауральные сигналы подводят к левому и правому ушам, обычно через наушники, но также и через громкоговорители в сочетании с подавлением перекрестных помех.
В общем случае любой формат можно преобразовать в другой формат (хотя для этого может требоваться слепое разделение источников или подобная технология) и выполнить рендеринг при использовании любой из упомянутых выше технологий; однако на практике не все преобразования приводят в хорошим результатам. Формат подачи сигналов громкоговорителей является наиболее распространенным, поскольку он является простым и эффективным. Наилучшие акустические результаты (то есть, наибольшие точность и надежность) достигаются при смешении/мониторинге и затем непосредственном распределении подач сигналов по громкоговорителям, поскольку не требуется обработка между создателем контента и слушателем. Если система воспроизведения известна заранее, описанием подач сигналов громкоговорителей обеспечивается наивысшая верность воспроизведения; однако система воспроизведения и ее конфигурация часто неизвестны заранее. В отличие от этого основанное на модели описание является наиболее легко приспосабливаемым, поскольку в нем отсутствуют допущения относительно системы воспроизведения и поэтому легче всего применять многочисленные технологии рендеринга. В основанном на модели описании может эффективно захватываться пространственная информация, но оно может стать очень неэффективным, когда количество аудиоисточников возрастает.
В адаптивной аудиосистеме сочетаются преимущества канальных и основанных на модели систем, при этом конкретные преимущества включают в себя высокое качество тембра, оптимальное воспроизведение артистического замысла при смешении и рендеринге с использованием такой же конфигурации каналов, один перечень при использовании адаптации «сверху вниз» для конфигурации рендеринга, относительно небольшое влияние на системный конвейер и усиленный эффект погружения благодаря более высокому пространственному разрешению горизонтальных громкоговорителей и новым верхним каналам. Адаптивная аудиосистема обеспечивает получение нескольких новых особенностей, включая один перечень при адаптации сверху вниз и снизу вверх для конкретной конфигурации рендеринга кинофильма, то есть задержанного рендеринга и оптимального использования имеющихся громкоговорителей в среде воспроизведения; усиленное окружение, в том числе оптимизированное понижающее микширование для исключения артефактов межканальной корреляции (МКК); повышенное пространственное разрешение благодаря непрерывно управляемым группам (что позволяет, например, динамически приписывать аудиообъект к одному или нескольким громкоговорителям в группе объемного звука); и повышенное разрешение фронтального канала благодаря высокоразрешающей центральной или аналогичной конфигурации громкоговорителей.
Пространственные эффекты аудиосигналов являются важными при создании эффекта погружения слушателя. Звуки, которые предназначены для излучения из конкретной области обозреваемого экрана или среды прослушивания, должны воспроизводиться через громкоговоритель (громкоговорители), расположенный на том же самом относительном месте. Таким образом, первичные аудиометаданные звукового события в основанном на модели описании представляют положение, хотя другие параметры, такие как размер, ориентация, скорость и акустическая дисперсия, также могут описываться. Чтобы переместить положение, для основанного на модели трехмерного пространственного описания аудио необходима трехмерная система координат. Систему координат, используемую при переносе (эвклидову, сферическую, цилиндрическую), обычно выбирают исходя из удобства или компактности; однако другие системы координат можно использовать для процесса рендеринга. В дополнение к системе координат система отсчета необходима для представления мест нахождения объектов в пространстве. Для точного воспроизведения позиционно-ориентированного звука в ряде различных сред выбор надлежащей системы отсчета для системы может быть важным. При использовании аллоцентрической системы отсчета положение источника звука определяется относительно элементов в среде рендеринга, таких как стены и углы комнаты, стандартные места нахождения громкоговорителей и место нахождения экрана. При эгоцентрической системе отсчета положения представляют относительно взгляда слушателя, например, «передо мной», «несколько левее» и т.д. Научное исследование пространственного восприятия (звукового и иного) показало, что эгоцентрическая перспектива используется почти повсюду. Однако в условиях кинотеатра аллоцентрическая система отсчета обычно является более подходящей. Например, точное местоположение аудиообъекта наиболее важно в случае, когда связанный с ним объект имеется на экране. При использовании аллоцентрической системы отсчета для каждого места прослушивания и при любом размере экрана звук будет локализован в том же самом относительном месте на экране, например, «на треть левее середины экрана». Другая причина заключается в том, что звукооператоры склонны размышлять и выполнять микширование в аллоцентрических условиях, а средства панорамирования располагают при использовании аллоцентрической системы отсчета (то есть, стен комнаты), и звукооператоры ожидают выполнения рендеринга, например, «этот звук должен быть на экране», «этот звук должен быть вне экрана» или «от левой стены» и т.д.
Независимо от использования аллоцентрической системы отсчета в среде кинотеатра имеются некоторые случаи, когда эгоцентрическая система отсчета может быть полезной и более подходящей. Эти случаи включают в себя закадровые звуки, то есть, звуки, которые не присутствуют в «пространстве фабулы», например, музыкальное сопровождение, для которого эгоцентрически равномерное представление может быть желательным. Еще один случай относится к эффектам ближнего поля (например, к жужжанию комаров в левом ухе слушателя), для которых требуется эгоцентрическое представление. Кроме того, бесконечно далекие источники звука (и результирующие плоские волны) могут проявляться как приходящие с постоянного эгоцентрического места (например, на 30° левее), и такие звуки легче описывать в эгоцентрических терминах, чем в аллоцентрических терминах. В некоторых случаях можно использовать аллоцентрическую систему отсчета при условии, что определяют номинальное положение прослушивания, тогда как в некоторых примерах требуется эгоцентрическое представление, иначе говоря, выполнение рендеринга невозможно. Хотя аллоцентрическая система отсчета может быть более полезной и подходящей, аудиопредставление должно быть расширяемым, поскольку многие новые признаки, включая эгоцентрическое представление, могут быть более желательными в некоторых применениях и средах прослушивания.
Варианты осуществления адаптивной аудиосистемы включают в себя гибридный способ пространственного описания, который включает в себя рекомендованную конфигурацию каналов для оптимальной верности воспроизведения и для рендеринга рассеянных или сложных многоточечных источников (например, народа на стадионе, окружения) при использовании эгоцентрической системы отсчета с добавлением аллоцентрического основанного на модели описания звука для эффективного обеспечения повышенного пространственного разрешения и масштабируемости. На фиг. 3 согласно варианту осуществления представлена структурная схема архитектуры воспроизведения, предназначенной для использования в адаптивной аудиосистеме. Система из фиг. 3 включает в себя блоки обработки, которые выполняют декодирование унаследованного аудио, объектов и каналов, рендеринг объектов, переназначение каналов и обработку сигналов до передачи аудио на постобработку, и/или усиление, и каскады громкоговорителей.
Система 300 воспроизведения сконфигурирована для рендеринга и воспроизведения аудиоконтента, который создается одним или несколькими компонентами захвата, предварительной обработки, авторской обработки и кодирования. Препроцессор адаптивного аудио может обладать функциональной возможностью разделения источников и обнаружения вида контента с тем, чтобы автоматически формировать соответствующие метаданные на основании анализа входного аудио. Например, позиционные метаданные могут быть получены из многоканальной записи в результате выполнения анализа относительных уровней коррелированных входных сигналов пары каналов. Определение вида контента, такого как «речь» или «музыка», может быть получено, например, путем извлечения и классификации признаков. Некоторые средства авторской обработки позволяют выполнять авторскую обработку аудиопрограмм путем оптимизации входных сигналов и кодификации творческого замысла звукооператора, что позволяет создавать конечный аудиомикс, который оптимизирован для воспроизведения практически в любой среде воспроизведения. Это можно выполнить путем использования аудиообъектов и позиционных данных, то есть, связанных и кодированных при использовании исходного аудиоконтента. Для точного размещения звуков по периметру аудитории звукооператору необходимо контролировать, каким образом в конечном счете рендеринг звука будет выполнен на основании реальных ограничений и особенностей среды воспроизведения. В адаптивной аудиосистеме этот контроль позволяет звукооператору изменять назначение аудиоконтента и выполнять смешение с использованием аудиообъектов и позиционных данных. После выполнения авторской обработки адаптивного аудиоконтента и кодирования в подходящих кодек-устройствах декодирование и рендеринг осуществляются в различных компонентах системы 300 воспроизведения.
Как показано на фиг. 3, (1) унаследованное аудио 302 объемного звука, (2) объектное аудио, включающее объектные метаданные 304, и (3) канальное аудио, включающее канальные метаданные 306, являются входными для каскадов 308, 309 декодеров в блоке 310 обработки. Рендеринг объектных метаданных выполняется в рендерере 212 объектов, тогда как канальные метаданные при необходимости могут быть переназначены. Информация 307 о конфигурации среды прослушивания подается к рендереру объектов и компоненту переназначения каналов. Затем гибридные аудиоданные обрабатываются в одном или нескольких каскадах обработки сигналов, таких как эквалайзеры и ограничители 314, до вывода на каскад 316 обработки в В-цепи и воспроизводятся через громкоговорители 318. Система 300 представляет собой пример системы воспроизведения адаптивного аудио, но также возможны другие конфигурации, компоненты и взаимосвязи.
Системой из фиг. 3 иллюстрируется вариант осуществления, в котором рендерер содержит компонент, который подводит объектные метаданные к входным аудиоканалам для обработки объектно-ориентированного аудиоконтента в сочетании с необязательным канально-ориентированным аудиоконтентом. Кроме того, варианты осуществления могут относиться к случаю, в котором входные аудиоканалы содержат только унаследованный канально-ориентированный контент, а рендерер содержит компонент, который создает подачи сигналов громкоговорителей для передачи к группе головок в конфигурации объемного звука. В этом случае входным необязательно является объектно-ориентированный контент, а унаследованный 5.1 или 7.1 (или другой не объектно-ориентированный) контент, такой, как предусмотренный в системе Dolby Digital или Dolby Digital Plus, или в аналогичных системах.
Применения воспроизведения
Как упоминалось выше, исходная реализация адаптивного аудиоформата и системы находится в контексте цифрового кинофильма (D-кинофильма), который включает в себя захват контента (объектов и каналов), авторская обработка которого осуществляется с использованием новых средств авторской обработки, объединение в пакет с использованием кодера адаптивного аудио кинофильма и распределение с использованием импульсно-кодовой модуляции или специализированного кодека без потерь, с использованием существующего механизма распределения Digital Cinema Initiative (DCI). В этом случае предполагается декодирование и рендеринг аудиоконтента в цифровом кинофильме для создания погружения в пространственную аудиосреду кинофильма. Однако как и в предшествующих кинематографических усовершенствованиях, таких как аналоговый объемный звук, цифровое многоканальное аудио и т.д., крайне важно создавать улучшенное восприятие пользователям путем доставки адаптивного аудиоформата непосредственно в дома пользователей. Для этого необходимо, чтобы определенные характеристики формата и системы были адаптированы для использования в более ограниченных средах прослушивания. Например, дома, комнаты, небольшие аудитории или аналогичные места могут иметь меньшее пространство, худшие акустические свойства и меньшие функциональные возможности оборудования по сравнения с кинотеатром или театральной средой. Для целей описания термин «ориентированная на потребителя среда» предполагается охватывающим любую, не связанную с никаким кинотеатром среду, которая содержит среду прослушивания, предназначенную для использования регулярными потребителями или профессионалами, такую как здание, студия, комната, пристенный участок, аудитория и т.п. Только один аудиоконтент можно получать от источника и выполнять рендеринг или его можно связывать с графическим контентом, например, со снимками, световыми табло, видеокадрами и т.д.
На фиг. 4А представлена структурная схема согласно варианту осуществления, которая иллюстрирует функциональные компоненты для адаптации основанного на кинофильме аудиоконтента, предназначенного для использования в среде прослушивания. Как показано на фиг. 4А, контент кинофильма, обычно содержащий звуковой трек киноизображения, захватывается и/или выполняется его авторская обработка согласно блоку 402 при использовании надлежащих оборудования и средств. Согласно блоку 404 в адаптивной аудиосистеме этот контент обрабатывается компонентами кодирования/декодирования и рендеринга и средствами сопряжения. Затем полученные подачи сигналов объектных и канальных аудио передаются к надлежащим громкоговорителям в кинотеатре или театре, блок 406. В системе 400 контент кинофильма также обрабатывается для воспроизведения в среде прослушивания, такой как система домашнего театра, блок 416. Предполагается, что среда прослушивания не является всеобъемлющей или способной воспроизводить весь аудиоконтент, задаваемый создателем контента, вследствие ограниченного пространства, уменьшенного числа громкоговорителей и т.д. Однако варианты осуществления относятся к системам и способам, которые позволяют выполнить рендеринг исходного аудиоконтента способом, в соответствии с которым минимизируются ограничения, накладываемые уменьшенным объемом среды прослушивания, и позволяют обрабатывать позиционные информационные сигналы способом, в соответствии с которым максимизируется имеющееся оборудование. Как показано на фиг. 4А, аудиоконтент кинофильма обрабатывается с помощью компонента 408 транслятора кинофильм-потребитель, при этом он обрабатывается в цепи 414 кодирования и рендеринга потребительского контента. В этой цепи также обрабатывается исходный аудиоконтент, захват и/или авторская обработка которого выполняются согласно блоку 412. Затем исходный контент и/или транслированный контент кинофильма воспроизводятся в среде прослушивания 416. Таким образом, релевантную пространственную информацию, которая закодирована в аудиоконтенте, можно использовать для рендеринга звука с большим погружением в среду даже при использовании в некоторой степени ограниченной конфигурации громкоговорителей в домашних условиях или среде 416 прослушивания.
На фиг. 4В компоненты из фиг. 4А показаны более подробно. На фиг. 4В показан пример механизма распределения адаптивного аудиоконтента кинофильма с помощью экосистемы воспроизведения звука. Как показано на схематичном представлении 420, исходный контент кинофильма и телевизионной передачи захватывается 422 и выполняется авторская обработка 423 для воспроизведения в ряде различных сред для создания обстановки 427 кинотеатра или обстановки 434 среды потребителя. Аналогично этому определенный, образованный пользователем контент (ОПК) или потребительский контент захватывается 423 и выполняется 425 его авторская обработка для воспроизведения в среде 434 прослушивания. Контент кинофильма для воспроизведения в среде 427 кинотеатра обрабатывается с помощью известных процессов 426 обработки кинофильмов. Однако в системе 420 выходная информация средств 423 авторской обработки кинофильма также состоит из аудиообъектов, аудиоканалов и метаданных, которые выражают художественный замысел звукооператора. Это можно считать аудиопакетом промежуточного стиля, который можно использовать, чтобы создавать многочисленные версии контента кинофильма для воспроизведения. В варианте осуществления эта функциональная возможность обеспечивается адаптивным аудиотранслятором 430 кинофильм-потребитель. Этот транслятор имеет вход для адаптивного аудиоконтента и выделяет из него соответствующие аудиоконтент и контент метаданных для заданных конечных точек 434 потребителя. В зависимости от механизма распределения и конечной точки транслятор создает отдельные и, возможно, различные выходы для звука и метаданных.
Как показано в примере системы 420, транслятор 430 кинофильм-потребитель подает звуковой сигнал для изображения (из телепередачи, с диска, по технологии доставки видеосигнала и т.д.) и модулей 428 создания битового аудиопотока для видеоигр. Эти два модуля, которые являются подходящими для доставки контента кинофильма, могут быть поданы на многочисленные распределительные конвейеры 432, которые все могут осуществлять доставку к конечным точкам потребителей. Например, адаптивный аудиоконтент кинофильма можно кодировать с использованием кодека, пригодного для распространенных систем, таких как Dolby Digital Plus, который можно модифицировать применительно к подаваемым каналам, объектам и связанным с ними метаданным, и передавать по широковещательной цепи по кабелю или с помощью спутника, и затем декодировать и выполнять рендеринг в домашних условиях для домашнего театра или воспроизведения на телевизоре. Аналогичным образом тот же самый контент можно кодировать с использованием кодека, пригодного для распределения в темпе поступления информации, когда полоса пропускания ограниченна, и затем передавать по сети мобильной связи 3G или 4G и далее декодировать и выполнять рендеринг для воспроизведения с помощью мобильного устройства при использовании наушников. Для других источников контента, таких как телевизионное вещание, прямое вещание, игры и музыка, также можно использовать адаптивный аудиоформат, чтобы создавать и получать контент в аудиоформате следующего поколения.
Системой из фиг. 4В обеспечивается улучшенное восприятие пользователем в пределах всей потребительской аудиоэкосистемы, которая может включать в себя домашний театр (аудио/видео ресивер, звуковую панель и устройство воспроизведения дисков Blu-Ray), электронные средства массовой информации (персональный компьютер, планшет, мобильное устройство, включающее воспроизведение через наушники), широковещательные средства (телевизор и телевизионную приставку), музыку, игры, живой звук, образованный пользователем контент (ОПК) и т.д. Такая система обеспечивает лучшее погружение зрителей при всех оконечных устройствах, расширенный художественный контроль для создателей аудиоконтента, улучшенные, зависящие от контента (описательные) метаданные для усовершенствованного рендеринга, расширенной гибкости и масштабируемости систем воспроизведения, сохранения и согласования тембра, а также благоприятные возможности для динамического рендеринга контента на основании положения пользователя и взаимодействия с пользователем. Система включает в себя несколько компонентов, в том числе новые смесительные средства для создателей контента, обновляемые и новые средства оформления в пакеты и кодирования для распределения и воспроизведения, динамического смешения и рендеринга в домашних условиях (подходящих для различных конфигураций), определения местоположений и конструкций дополнительных громкоговорителей.
Адаптивная аудиоэкосистема сконфигурирована таким образом, что полностью охватывает, от начала до конца, аудиосистему следующего поколения с использованием адаптивного аудиоформата, который включает в себя создание контента, оформление в пакеты, распределение и воспроизведение/рендеринг через большое количество оконечных устройств и сценарии использования. Как показано на фиг. 4В, работа системы начинается с захвата контента из и для некоторого количества сценариев 422 и 424 использования. Эти точки захвата включают в себя все релевантные форматы контента, в том числе кинофильм, телевизионное вещание, прямое вещание (и живой звук), образованный пользователем контент, игры и музыку. Когда контент проходит через экосистему, он переходит через несколько ключевых стадий, например, в средствах обработки и авторской обработки, трансляционных средствах (то есть, осуществляется трансляция адаптивного аудиоконтента кинофильма для распределения потребительского контента), через оформление в пакеты конкретного адаптивного аудио/кодирование битового потока (когда захватываются данные об аудиосубстанции, а также дополнительные метаданные и информация о воспроизведении аудио), кодирование распределений с использованием существующих или новых кодеков (например, DD+, TrueHD, Dolby Pulse) для эффективного распределения по различным аудиоканалам, передачу по релевантным распределительным каналам (широковещательному, дисковому, мобильному, Интернету и т.д.) и, наконец, динамический рендеринг с ориентацией на конечную точку для воспроизведения и передачи пользователю восприятия адаптивного аудио, заданного создателем контента, который получает удовлетворение от восприятия пользователем пространственного аудио. Адаптивную аудиосистему можно использовать в течение рендеринга для различного количества потребительских конечных точек, а применяемые способы рендеринга могут быть оптимизированы в зависимости от оконечного устройства. Например, в домашних театральных системах и звуковых панелях могут иметься 2, 3, 5, 7 или даже 9 отдельных громкоговорителей в различных местах. В системах многих других видов могут иметься всего лишь два громкоговорителя (в телевизоре, ноутбуке, музыкальном пульте), и почти во всех обычно используемых устройствах имеется выход для наушников (в персональном компьютере, ноутбуке, планшете, сотовом телефоне, музыкальном проигрывателе и т.д.).
Современные системы авторской обработки и распределения предназначены для создания объемного звука и подачи аудио, которое предназначено для воспроизведения на заданных и фиксированных местах нахождения громкоговорителей при ограниченных сведениях о виде контента, передаваемого в аудиосубстанции (то есть, в реальном аудио, которое воспроизводится системой воспроизведения). Однако в адаптивной аудиосистеме предусмотрен новый гибридный подход к созданию аудио, который включает в себя возможность выбора конкретного аудио для фиксированных мест нахождения громкоговорителей (для левого канала, правого канала и т.д.) и возможность выбора объектно-ориентированных аудиоэлементов, которые содержат обобщенную трехмерную пространственную информацию, в том числе положение, размер и скорость. Этот гибридный подход представляет собой сбалансированный подход к верности воспроизведения (получаемой при нахождении громкоговорителей на фиксированных местах) и обеспечивает гибкость при рендеринге (обобщенных аудиообъектов). Кроме того, этой системой обеспечивается дополнительная полезная информация об аудиоконтенте с помощью новых метаданных, которые объединяются в пару с аудиосубстанцией создателем конвента во время создания/авторской обработки контента. Эта информация представляет собой подробную информацию об атрибутах аудио, которые можно использовать во время рендеринга. Такие атрибуты могут включать в себя вид контента (диалог, музыку, эффект, шумовое оформление, фон/окружение и т.д.), а также информацию о видеообъектах, такую как пространственные атрибуты (трехмерное положение, размер объектов, скорость и т.д.), и полезную информацию для рендеринга (разметку расположения громкоговорителей, веса каналов, усиление, информацию об управлении низкочастотными сигналами и т.д.). Аудиоконтент и метаданные о замысле воспроизведения могут создаваться вручную создателем контента или создаваться с использованием автоматики, информационных интеллектуальных алгоритмов, которые могут выполняться в фоновом режиме во время процесса авторской обработки и при желании могут анализироваться создателем контента в течение конечной фазы контроля качества.
На фиг. 4С представлена структурная схема функциональных компонентов адаптивной аудиосреды согласно варианту осуществления. Как показано на схеме 450, в системе обрабатывается кодированный битовый поток 452, который переносит гибридный объект и канально-ориентированный аудиопоток. Битовый поток обрабатывается в блоке 454 рендеринга/обработки сигналов. В варианте осуществления по меньшей мере часть этого функционального блока может быть реализована в блоке 312 рендеринга, показанном на фиг. 3. Функцией 454 рендеринга реализуются различные алгоритмы рендеринга адаптивного аудио, а также некоторые алгоритмы постобработки, такие как повышающее микширование, обработка прямого излучения в зависимости от отраженного звука и т.п. Выходные сигналы с рендерера подаются к громкоговорителям 458 по двунаправленным соединениям 456. В одном варианте осуществления громкоговорители 458 содержат некоторое количество индивидуальных головок, которые могут быть расположены в конфигурации объемного звука или аналогичной конфигурации. Головки являются индивидуально адресуемыми и могут содержаться в индивидуальных корпусах или корпусах с большим количеством головок или могут быть объединены в группы. Кроме того, система 450 может включать в себя микрофоны 460, которые обеспечивают измерения среды прослушивания или характеристик комнаты, которые могут использоваться для калибровки процесса рендеринга. Конфигурация системы и функции калибровки представлены в блоке 462. Эти функции могут быть включены как часть компонентов рендеринга или они могут быть реализованы как отдельные компоненты, которые функционально связаны с рендерером. Двунаправленными соединениями 456 обеспечивается путь сигналов обратной связи от громкоговорителей в среде прослушивания обратно к калибровочным компонентам 462.
Среды прослушивания
Адаптивные аудиосистемы согласно различным реализациям могут быть размещены в ряде различных сред прослушивания. Они включают в себя три основные сферы применения воспроизведения звука: системы домашнего театра, телевизоры и звуковые панели, и наушники. На фиг. 5 показано размещение адаптивной аудиосистемы в приведенной для примера среде домашнего театра. В системе из фиг. 5 показаны большой набор компонентов и функций, которые могут выполняться адаптивной аудиосистемой, и некоторые аспекты могут быть сокращены или исключены по требованию пользователя, но все же с обеспечением улучшенного восприятия. Система 500 включает в себя ряд различных громкоговорителей и головок в ряде различных корпусов или групп 504. Громкоговорители включают в себя индивидуальные головки, которые создают варианты излучения вперед, вбок и вверх, а также динамическую виртуализацию аудио с использованием определенных способов аудиообработки. На схеме 500 показано некоторое количество громкоговорителей, размещенных в стандартной конфигурации 9.1 громкоговорителей. Она включает в себя левый и правый верхние громкоговорители (LH, RH) и левый и правый громкоговорители (L, R), центральный громкоговоритель (показанный как модифицированный центральный громкоговоритель) и левые и правые окружные и задние громкоговорители (LS, RS, LB и RB, низкочастотный элемент LFE не показан).
На фиг. 5 показано применение громкоговорителя 510 центрального канала, используемого на центральном месте среды прослушивания. В варианте осуществления этот громкоговоритель реализован при использовании модифицированного центрального канала или высокоразрешающего центрального канала 510. Такой громкоговоритель может быть излучающей вперед группой центрального канала с индивидуально адресуемыми громкоговорителями, что позволяет осуществлять дискретное панорамирование аудиообъектов с помощью группы, согласованной с перемещением видеообъектов на экране. Его можно осуществить в виде громкоговорителя высокоразрешающего центрального канала (HRC), такого, как описанный в Международной заявке PCT/US 2011/028783, которая полностью включена в эту заявку путем ссылки. Как показано, громкоговоритель 510 высокоразрешающего центрального канала также может включать в себя излучающие вбок громкоговорители. Их можно активировать и применять в случае, когда громкоговоритель высокоразрешающего центрального канала используется не только как центральный громкоговоритель, но также как громкоговоритель с функциональными возможностями звуковой панели. Кроме того, громкоговоритель высокоразрешающего центрального канала может быть встроен выше и/или сбоку от экрана 502 для обеспечения опции двумерного высокоразрешающего панорамирования аудиообъектов. Центральный громкоговоритель 510 также может включать в себя дополнительные головки и реализовывать управляемый звуковой пучок с отдельно регулируемыми зонами звука.
Кроме того, система 500 включает в себя громкоговоритель 512 с эффектом ближнего поля (NFE), который может быть расположен прямо перед или почти перед слушателем, например, на столе перед местом для сиденья. При использовании адаптивной аудиосистемы можно привносить аудиообъекты в комнату, а не просто окружать ими по периметру комнаты. Таким образом, опцией является наличие объектов, пересекающих трехмерное пространство. Примером является случай, когда объект может возникать в громкоговорителе L, перемещаться через среду прослушивания, на протяжении громкоговорителя NFE и заканчиваться в громкоговорителе RS. Различные другие громкоговорители могут подходить для использования в качестве громкоговорителя NFE, такие как беспроводной громкоговоритель с питанием от аккумулятора.
На фиг. 5 показано использование динамической виртуализации громкоговорителей для создания пользователю впечатления присутствия в среде домашнего театра. Динамическая виртуализация громкоговорителей обеспечивается динамическим регулированием параметров алгоритмов виртуализации громкоговорителей на основании пространственной информации об объектах, получаемой с помощью адаптивного аудиоконтента. Эта динамическая виртуализация показана на фиг. 5 для громкоговорителей L и R, при этом естественно считать ее создающей восприятие объектов, перемещающихся вдоль сторон среды прослушивания. Отдельный виртуализатор можно использовать для каждого релевантного объекта и комбинированный сигнал можно передавать к громкоговорителям L и R для создания многократного эффекта виртуализации объекта. Эффекты динамической виртуализации показаны для громкоговорителей L и R, а также громкоговорителя NFE, который предполагается представляющим собой стереофонический громкоговоритель (с двумя независимыми входами). Этот громкоговоритель вместе с информацией о размере и положении аудиообъекта, можно использовать для создания звукового восприятия ближнего поля диффузного или точечного источника. Подобные эффекты виртуализации можно также применить к любому другому громкоговорителю или ко всем громкоговорителям в системе. В варианте осуществления кинокамера может обеспечивать дополнительную информацию о положении и идентичности слушателя, которую можно использовать в рендерере адаптивного аудио для получения более сильного впечатления, более соответствующего художественному замыслу звукорежиссера.
Рендерер адаптивного аудио обладает способностью понимания пространственной зависимости между миксом и системой воспроизведения. В ряде случаев среды воспроизведения дискретные громкоговорители могут иметься во всех релевантных областях среды прослушивания, включая верхние положения, показанные на фиг. 1. В этих случаях, когда дискретные громкоговорители имеются на определенных местах, рендерер может быть сконфигурирован для «привязки» объектов к ближайшим громкоговорителям вместо образования фантомного изображения между двумя или большим количеством громкоговорителей с помощью панорамирования или использования алгоритмов виртуализации громкоговорителей. Несмотря на то, что при этом несколько искажается пространственное представление микса, это также позволяет рендереру исключать непредусмотренные фантомные изображения. Например, если угловое положение левого громкоговорителя смесительного каскада не соответствует угловому положению левого громкоговорителя системы воспроизведения, при выполнении этой функции будет исключаться постоянное фантомное изображение начального левого канала.
Однако во многих случаях и особенно в домашней среде некоторые громкоговорители, такие как установленные на потолке верхние громкоговорители, отсутствуют. В этом случае некоторые способы виртуализации реализуются рендерером для воспроизведения верхнего аудиоконтента через существующие напольные и установленные на стене громкоговорители. В варианте осуществления адаптивная аудиосистема включает в себя модификацию стандартной конфигурации путем добавления функциональной возможности излучения вперед и функциональной возможности излучения вверх (или «по направлению наверх») для каждого громкоговорителя. Для традиционных домашних применений производители громкоговорителей пытаются вводить новые конфигурации головок помимо излучающих вперед преобразователей и сталкиваются с проблемой при попытке идентифицировать, какие исходные аудиосигналы (или модификации их) следует посылать на эти новые головки. В случае адаптивной аудиосистемы имеется весьма специфичная информация относительно того, какие аудиообъекты следует подвергать рендерингу выше стандартной горизонтальной плоскости. В варианте осуществления верхнюю информацию, присутствующую в адаптивной аудиосистеме, подвергают рендерингу с использованием излучающих вверх головок. Аналогичным образом излучающие вбок громкоговорители можно использовать для рендеринга некоторого другого контента, такого как эффекты окружения.
Одно преимущество излучающих вверх головок заключается в том, что их можно использовать для отражения звука от твердой поверхности потолка, чтобы имитировать присутствие подвесных/верхних громкоговорителей, расположенных на потолке. Очевидное характерное свойство адаптивной аудиосистемы заключается в том, что пространственно неоднородный звук воспроизводится с использованием группы подвесных громкоговорителей. Однако, как установлено выше, во многих случаях монтаж подвесных громкоговорителей является слишком дорогостоящим или практически невозможным в домашней среде. Благодаря имитации верхних громкоговорителей с использованием обычным образом расположенных в горизонтальной плоскости громкоговорителей убедительное трехмерное восприятие может быть создано при не требующем усилия расположении громкоговорителей. В этом случае в адаптивной аудиосистеме излучающие вверх/имитирующие высоту головки используются новым способом, в соответствии с которым аудиообъекты и пространственная информация о воспроизведении используются для создания аудио, воспроизводимого излучающими вверх головками.
На фиг. 6 показано использование отраженного звука излучающей вверх головки для имитации одного подвесного громкоговорителя в домашнем театре. Следует заметить, что любое количество излучающих вверх головок можно использовать совместно для создания многочисленных имитированных верхних громкоговорителей. В качестве варианта некоторое количество излучающих вверх головок можно сконфигурировать для передачи звука к по существу одному и тому же пятну на потолке, чтобы получать определенную интенсивность звука или эффект. На схематическом представлении 600 показан пример, в котором обычное место 602 прослушивания соответствует конкретному месту в среде прослушивания. Система не включает в себя никаких верхних громкоговорителей для передачи аудиоконтента, содержащего верхние информационные сигналы. Вместо этого корпус громкоговорителей или группа 604 громкоговорителей включает в себя излучающую вверх головку наряду с излучающей вперед головкой (головками). Излучающая вверх головка сконфигурирована (в части положения и угла наклона) для передачи звуковой волны 606 вверх к конкретной точке на потолке 608, где она отражается вниз к месту 602 прослушивания. Предполагается, что потолок выполнен из надлежащего материала и состава для адекватного отражения звука вниз в среду прослушивания. Релевантные характеристики излучающей вверх головки (например, размер, мощность, местоположение и т.д.) могут быть выбраны на основании состава потолка, размера комнаты и других релевантных характеристик среды прослушивания. Хотя на фиг. 6 показана только одна излучающая вверх головка, в некоторых вариантах осуществления многочисленные излучающие вверх головки могут быть включены в систему воспроизведения.
В варианте осуществления адаптивной аудиосистемы используются излучающие вверх головки для образования верхнего элемента. Было показано, что в общем случае выполнением обработки сигналов для привнесения воспринимаемых верхних информационных сигналов в аудиосигнал, подаваемый на излучающие вверх головки, улучшаются позиционирование и воспринимаемое качество виртуального верхнего сигнала. Например, была разработана параметрическая перцептивная модель бинаурального слуха для создания фильтра верхних информационных сигналов, который при использовании для обработки аудио, воспроизводимого излучающей вверх головкой, улучшает воспринимаемое качество воспроизведения. В одном варианте осуществления фильтр верхних информационных сигналов получают в результате выбора места нахождения физического громкоговорителя (приблизительно на одном уровне со слушателем) и места нахождения громкоговорителя отраженного излучения (выше слушателя). Для места нахождения физического громкоговорителя направленный фильтр определяют на основании модели наружного уха (или ушной раковины). Затем обращение этого фильтра находят и используют для удаления верхних информационных сигналов из физического громкоговорителя. Затем для места нахождения громкоговорителя отраженного излучения определяют второй направленный фильтр, используя ту же самую модель наружного уха. Этот фильтр применяют непосредственно, при этом воспроизведение информационных сигналов ухо будет воспринимать в основном в случае нахождения звука над слушателем. На практике эти фильтры можно объединять способом, который позволит одному фильтру (1) удалять верхний информационный сигнал с места нахождения физического громкоговорителя и (2) вводить верхний информационный сигнал с места нахождения громкоговорителя отраженного излучения. На фиг. 16 представлен график, который иллюстрирует частотную характеристику такого объединенного фильтра. Объединенный фильтр можно использовать способом, который позволит иметь некоторую возможность регулирования активности или степени применяемой фильтрации. Например, в некоторых случаях может быть полезно не удалять полностью верхний информационный сигнал физического громкоговорителя или не применять в полной мере верхний информационный сигнал громкоговорителя отраженного излучения, поскольку только некоторая часть звука от физического громкоговорителя непосредственно достигает слушателя (при этом оставшаяся часть отражается от потолка).
Конфигурация громкоговорителей
Основное рассмотрение адаптивной аудиосистемы будет относиться к конфигурации громкоговорителей. В системе используются индивидуально адресуемые головки, а группа таких головок сконфигурирована для получения сочетания источников прямого и отраженного звука. Двунаправленная линия к системному контроллеру (например, к аудио/видео ресиверу, телевизионной приставке) позволяет передавать аудио и данные о конфигурации на громкоговоритель, а с громкоговорителя передавать сенсорную информацию обратно к контроллеру, при этом образуется активная система с обратной связью.
Для целей описания термин «головка» означает один электроакустический преобразователь, который создает звук в ответ на электрический звуковой входной сигнал. Головку можно реализовать в любом подходящем виде, любой геометрии и любого размера, и она может включать в себя рупоры, конусы, ленточные преобразователи и т.п. Термин «громкоговоритель» означает одну или несколько головок в одном корпусе. На фиг. 7А показан громкоговоритель согласно варианту осуществления, имеющий множество головок в первой конфигурации. Как показано на фиг. 7А, корпус 700 громкоговорителя имеет некоторое количество индивидуальных головок, установленных в корпусе. Обычно корпус включает в себя одну или несколько излучающих вперед головок 702, таких как низкочастотные головки, среднечастотные головки или высокочастотные головки, или любое сочетание их. Одна или несколько излучающих вбок головок 704 также могут включаться. Излучающие вперед и излучающие вбок головки обычно установлены заподлицо со стороной корпуса, так что они проецируют звук перпендикулярно наружу относительно вертикальной плоскости, задаваемой громкоговорителем, и эти головки обычно на постоянной основе закреплены в корпусе 700. Для адаптивной аудиосистемы, которая характеризуется рендерингом отраженного звука, также предусматриваются одна или несколько отклоненных вверх головок 706. Эти головки расположены так, что они проецируют звук под углом к потолку, от которого он, как показано на фиг. 6, отражается вниз к слушателю. Степень наклона можно задавать в зависимости от характеристик среды прослушивания и требований к системе. Например, направленная вверх головка 706 может быть отклонена в пределах от 30 до 60° и может быть расположена выше излучающей вперед головки 702 в корпусе 700 громкоговорителя с тем, чтобы минимизировалась интерференция со звуковыми волнами, приходящими от излучающей вперед головки 702. Излучающую вверх головку 706 можно устанавливать под фиксированным углом или можно устанавливать так, чтобы угол наклона можно было регулировать вручную. В качестве варианта сервомеханизм можно использовать для автоматического или электрического регулирования угла наклона и направления проецирования звука излучающей вверх головки. Для определенных звуков, таких как шум окружающей среды, излучающую вверх головку можно направлять прямо вверх относительно верхней поверхности корпуса 700 громкоговорителя, чтобы получить головку, которую можно называть «излучающей вверх» головкой. В этом случае в зависимости от акустических характеристик потолка значительная составляющая звука может отражаться вниз к слушателю. Однако в большей части случаев обычно используют определенный угол наклона для содействия проецированию звука через отражение от потолка к другому или более центральному месту в среде прослушивания, показанному на фиг. 6.
Фиг. 7А предназначена для иллюстрации одного примера громкоговорителя и конфигурации головок, но возможны многие другие конфигурации. Например, излучающую вверх головку можно расположить в самостоятельном корпусе, чтобы иметь возможность использовать ее совместно с существующими громкоговорителями. На фиг. 7В показана система громкоговорителей согласно варианту осуществления, имеющая головки, распределенные по многочисленным корпусам. Как показано на фиг. 7В, излучающая вверх головка 712 расположена в отдельном корпусе 710, который может быть помещен вблизи или поверх корпуса 714, имеющего излучающую вперед и/или излучающую вбок головки 716 и 718. Кроме того, головки могут быть включены в звуковую панель громкоговорителей, такую, как используемая во многих средах домашнего театра, в которых несколько головок небольших или средних размеров группируют вдоль оси в одном горизонтальном или вертикальном корпусе. На фиг. 7С показано размещение головок в звуковой панели согласно варианту осуществления. В этом примере звуковая панель 730 представляет собой горизонтальную звуковую панель, которая включает в себя излучающие вбок головки 734, излучающие вверх головки 736 и излучающую вперед головку (головки) 732. На фиг. 7С представлен только лишь пример конфигурации, и можно использовать любое реальное количество головок для каждой из функций: излучения вперед, вбок и вверх.
Следует заметить, что в вариантах осуществления из фигур 7А-С в зависимости от требуемых частотных характеристик, а также любых других релевантных ограничений, таких как размер, номинальная мощность, стоимость компонентов и т.д., головки могут быть любой подходящей формы, размера и вида.
В случае типичной адаптивной аудиосреды некоторое количество корпусов громкоговорителей должно быть в среде прослушивания. На фиг. 8 показан пример размещения громкоговорителей, имеющих индивидуально адресуемые головки, в том числе излучающие вверх головки, расположенные в среде прослушивания. Как показано на фиг. 8, среда 800 прослушивания включает в себя четыре индивидуальных громкоговорителя 806, каждый из которых имеет по меньшей мере одну излучающую вперед, излучающую вбок и излучающую вверх головку. Кроме того, среда прослушивания может содержать фиксированные головки, используемые в применениях с созданием объемного звука, такие как центральная головка 802 и сабвуфер или низкочастотный элемент 804. Как показано на фиг. 8, в зависимости от размера среды прослушивания и соответствующих блоков громкоговорителей при надлежащем размещении громкоговорителей 806 в среде прослушивания можно получать насыщенную аудиосреду в результате отражения от потолка звуков, исходящих от некоторого количества излучающих вверх головок. В зависимости от контента, размера среды прослушивания, положения слушателя, акустических характеристик и других релевантных параметров громкоговорители могут быть нацелены на создание отражения от одной или нескольких точек на плоскости потолка.
Громкоговорители, используемые в адаптивной аудиосистеме для домашнего театра или аналогичной среды прослушивания, можно использовать в конфигурации, которая основана на существующих конфигурациях объемного звука (например, 5.1, 7.1, 9.1 и т.д.). В этом случае некоторое количество головок предусматривают и определяют в соответствии с известным стандартом объемного звука, при этом дополнительные головки и определения предусматривают для излучения вверх компонентов звука.
На фиг. 9А показана конфигурация громкоговорителей согласно варианту осуществления для адаптивной аудиосистемы 5.1 с использованием многочисленных адресуемых головок для отраженного звука. В конфигурации 900 представлен план размещения громкоговорителей согласно стандарту 5.1, содержащий низкочастотный элемент (LFE) 901, центральный громкоговоритель 902, левый/правый фронтальные громкоговорители 904/906 и левый/правый задний громкоговорители 908/910, снабженные восемью дополнительными головками, что дает в сумме 14 адресуемых головок. Эти восемь дополнительных головок обозначены как «направленные вверх» и «направленные вбок» в дополнение к «передним» (или «фронтальным») головкам в каждом блоке 902-910 громкоговорителей. Передние головки прямого излучения должны приводиться в действие субканалами, которые содержат адаптивные аудиообъекты и любые другие компоненты, которые предполагаются имеющими высокую степень направленности. Излучающие вверх (с отражением) головки могут содержать субканальный контент, который является более всенаправленным или ненаправленным, но он не ограничен таким образом. Примеры включают в себя музыкальное сопровождение или звуки окружающей среды. Если входные сигналы системы содержат унаследованный контент объемного звука, то этот контент может быть интеллектуально разложен на субканалы прямого и отраженного излучения и подан на соответствующие головки.
Для субканалов прямого излучения корпус громкоговорителей должен содержать головки, в которых медианная ось головки разделяет пополам «зону наилучшего восприятия» или акустический центр среды прослушивания. Излучающие вверх головки следует располагать так, чтобы угол между медианной плоскостью головки и акустическим центром был некоторым углом в диапазоне от 45 до 180°. В случае расположения головки под углом 180° обращенная назад головка может обеспечивать рассеяние звука при отражении от задней стены. В этой конфигурации используется акустический принцип, в соответствии с которым после временной синхронизации излучающих вверх головок с головками прямого излучения составляющая сигнала раннего вступления будет когерентной, тогда как составляющие последующего вступления будут выигрывать от естественного рассеяния, создаваемого средой прослушивания.
Чтобы получать верхние информационные сигналы, создаваемые адаптивной аудиосистемой, излучающие вверх головки можно отклонять от горизонтальной плоскости и в предельном случае можно располагать для излучения прямо вверх и отражения от одной или нескольких отражающих поверхностей, таких как плоский потолок или акустический рассеиватель, расположенный непосредственно над корпусом. Чтобы получать дополнительную направленность, для центрального громкоговорителя можно использовать конфигурацию звуковой панели (такую, как показанная на фиг. 7С) с возможностью управления звуком по экрану для образования центрального канала с высоким разрешением.
Конфигурацию 5.1 из фиг. 9А можно расширить введением двух дополнительных задних корпусов громкоговорителей, как в случае конфигурации стандарта 7.1. Согласно такому варианту осуществления на фиг. 9В показана конфигурация громкоговорителей для адаптивной аудиосистемы 7.1 с использованием многочисленных адресуемых головок для создания отраженного аудио. Как показано, в конфигурации 920 два дополнительных корпуса 922 и 924 громкоговорителей находятся в положениях «левый, боковой, окружной» и «правый, боковой, окружной», при этом боковые громкоговорители направлены к боковым стенам подобно фронтальным корпусам громкоговорителей, а излучающие вверх головки установлены с учетом отражения от потолка на середине пути между существующими фронтальными и задними парами. По желанию такие приростные добавления можно делать много раз с заполнением дополнительными парами промежутков вдоль боковой и задней стенок. На фигурах 9А и 9В показаны только некоторые примеры возможных конфигураций расширенных компоновок громкоговорителей объемного звука, которые можно использовать в сочетании с излучающими вверх и вбок громкоговорителями в адаптивной аудиосистеме для сред прослушивания, но многие другие также возможны.
В качестве альтернативы конфигурациям n.1, описанным выше, можно использовать более гибкую блочную систему, в которой каждую головку заключают в свой собственный корпус, который затем может быть установлен на любом удобном месте. При этом используют такую конфигурацию головок, как показанная на фиг. 7В. Кроме того, эти индивидуальные блоки можно группировать подобно конфигурациям n.1 или можно индивидуально распределять по периметру среды прослушивания. Нет необходимости ограничивать размещение блоков по контуру среды прослушивания, их можно также размещать в среде прослушивания на любой поверхности (например, на журнальном столике, в книжной полке и т.д.). Такую систему легко расширять, что позволяет пользователю добавлять дополнительные громкоговорители с течением времени, чтобы создавать впечатление более глубокого погружения. Если громкоговорители являются беспроводными, то блочная система может включать в себя постановку громкоговорителей на зарядку аккумуляторов. В этой конструкции блоки можно состыковывать друг с другом, чтобы они действовали как единый громкоговоритель, например, при зарядке аккумуляторов, и, возможно, при прослушивании стереофонических музыкальных произведений, и затем разделять и располагать по периметру среды прослушивания в случае адаптивного аудиоконтента.
Чтобы повысить способность к изменению конфигурации и точность адаптивной аудиосистемы с использованием излучающих вверх адресуемых головок, некоторое количество датчиков и устройств обратной связи можно вводить в корпусы громкоговорителей для передачи в рендерер информации о характеристиках, которая может использоваться в алгоритме рендеринга. Например, микрофон, установленный в каждом корпусе, позволяет измерять в системе фазу, частоту и характеристики реверберации среды прослушивания наряду с положением громкоговорителей относительно друг друга при использовании триангуляции и функций, подобных передаточной функции головы, самих корпусов громкоговорителей. Инерциальные датчики (например, гироскопы, компасы и т.д.) можно использовать для обнаружения направления и угла корпусов громкоговорителей; и оптические и зрительные датчики (например, с использованием дальномера на основе инфракрасного лазера) можно использовать для получения позиционной информации, относящейся к среде прослушивания. Этим представлена только небольшая часть возможностей дополнительных датчиков, которые могут использоваться в системе, но также имеются другие возможности.
Кроме того, такие системы датчиков можно усовершенствовать, чтобы иметь возможность изменять положение головок и/или акустических модификаторов корпусов громкоговорителей путем автоматического регулирования электромеханическими сервомеханизмами. Это позволит изменять направленность головок во время работы путем согласования их положений в среде прослушивания относительно стен и других головок («активное управление»). Точно так же любые акустические модификаторы (такие как экраны, рупоры или волноводы) можно настраивать, чтобы получать правильные частотные и фазовые характеристики для оптимального воспроизведения при любой конфигурации среды прослушивания («активная настройка»). Активное управление и активную настройку можно выполнять во время первоначального конфигурирования среды прослушивания (например, во взаимосвязи с системой автоматической коррекции спектра/автоматического конфигурирования комнаты) или во время воспроизведения в ответ на завершение рендеринга контента.
Двунаправленное соединение
После конфигурирования громкоговорители необходимо соединить с системой рендеринга. Обычно используют традиционные соединения двух видов: входное соединение на уровне громкоговорителя для пассивных громкоговорителей и входное соединение на уровне линии для активных громкоговорителей. Как показано на фиг. 4С, адаптивная аудиосистема 450 включает в себя функцию осуществления двунаправленного соединения. Это соединение осуществлено в виде набора физических и логических соединений между каскадом 454 рендеринга, и усилителем/громкоговорителем 458, и микрофонными каскадами 460. Возможность адресации многочисленных головок в каждом корпусе громкоговорителя поддерживается этими интеллектуальными соединениями между источником звука и громкоговорителем. Двунаправленное соединение позволяет передавать сигналы от источника звука (рендерера) к громкоговорителю, представляющие собой управляющие сигналы и аудиосигналы. Сигналы с громкоговорителя к источнику звука состоят из управляющих сигналов и аудиосигналов, где в этом случае аудиосигналы исходят от используемых по желанию встроенных микрофонов. Кроме того, по двунаправленному соединению можно передавать электрическую энергию, по меньшей мере в случае, когда громкоговорители/головки не снабжаются индивидуально электрической энергией.
На фиг. 10 представлена схема 1000, которая иллюстрирует состав двунаправленного соединения согласно варианту осуществления. Источник 1002 звука, который может представлять собой рендерер с добавлением цепи усилитель/процессор сигналов, логически и физически связан с корпусом 1004 громкоговорителя парой соединительных линий 1006 и 1008. По соединению 1006 от источника 1002 звука к головкам 1005 в корпусе 1004 громкоговорителя переносятся электроакустический сигнал для каждой головки, один или несколько управляющих сигналов и при необходимости подается электрическая энергия. По соединению 1008 от корпуса 1004 громкоговорителя обратно к источнику 1002 звука переносятся звуковые сигналы с микрофона 1007 или других датчиков для калибровки рендерера или реализации других подобных функциональных возможностей по обработке звука. Кроме того, по соединению 1008 обратной связи переносятся некоторые описания и параметры головок, которые используются в рендерере для модификации или обработки звуковых сигналов, подаваемых к головкам по соединению 1006.
В варианте осуществления каждой головке в каждом из корпусов громкоговорителей системы приписывается идентификатор (например, осуществляется числовое приписывание) во время начальной установки системы. Каждый ящик (корпус) громкоговорителя также может быть однозначно идентифицирован. Это числовое приписывание используется в корпусе громкоговорителя для определения, какой аудиосигнал должен посылаться к какой из головок в корпусе громкоговорителя. Приписывание сохраняется в корпусе громкоговорителя в соответствующем запоминающем устройстве. В качестве варианта каждая головка может быть сконфигурирована для сохранения своего идентификатора в локальном запоминающем устройстве. В качестве дальнейшего варианта, когда головки/громкоговорители не имеют объема локального запоминающего устройства, идентификаторы могут сохраняться в каскаде рендеринга или другом компоненте в источнике 1002 звука. Во время процесса обнаружения громкоговорителей каждый громкоговоритель (или центральная база данных) запрашивается источником звука относительно профиля. Профилем определяются определенные описания головок, в том числе количество головок в корпусе громкоговорителя или в другой конкретной группе, акустические характеристики каждой головки (например, тип головки, частотная характеристика и т.д.), положение в координатах x, y, z центра каждой головки относительно центра передней поверхности корпуса громкоговорителя, угол каждой головки относительно заданной плоскости (например, потолка, пола, вертикальной оси корпуса и т.д.), и количество микрофонов и характеристики микрофонов. Кроме того, могут определяться другие релевантные параметры головки и микрофона/датчика. В варианте осуществления описания головок и профиля корпуса громкоговорителя могут быть выражены в виде одного или нескольких XML-документов, используемых рендерером.
В одной возможной реализации управляющую сеть по протоколу Интернета создают между источником 1002 звука и корпусом 1004 громкоговорителя. Каждый корпус громкоговорителя и источник звука функционируют как конечная точка одной сети, и при инициализации или включении питания задается адрес локальной сети. Механизм автоматического обнаружения, такой как организация сети без конфигурирования, можно использовать, чтобы иметь возможность определения по сети в источнике звука местоположения каждого громкоговорителя. Организация сети без конфигурирования является примером процесса, в соответствии с которым автоматически создается удобная IP-сеть без ручного вмешательства оператора или без использования специальных серверов конфигурирования, и можно использовать другие аналогичные технологии. При наличии интеллектуальной сетевой системы многочисленные источники могут постоянно находиться в IP-сети как громкоговорители. Это позволяет многочисленным источникам непосредственно возбуждать громкоговорители без маршрутизации звука через «главный» источник звука (например, традиционный аудио/видео ресивер). Если другой источник пытается обратиться к громкоговорителям, осуществляется связь между всеми источниками для определения, какой источник в настоящее время является «активным», необходимо ли, чтобы источник был активным, и можно ли управление перевести к новому источнику звука. Источникам может быть заранее приписан приоритет во время изготовления на основании классификационной группы, например, телекоммуникационный источник может иметь более высокий приоритет, чем мультимедийный источник. В многокомнатной среде, такой как типичная домашняя среда, все громкоговорители в пределах всей среды могут постоянно находиться в одной сети, но могут не нуждаться в одновременной адресации. Во время начальной установки и автоматического конфигурирования уровень звука, передаваемого обратно по соединению 1008, может использоваться для определения, какие громкоговорители расположены в одном и том же физическом пространстве. После определения этой информации громкоговорители могут быть сгруппированы в кластеры. В этом случае кластерам могут быть приписаны идентификаторы и сделаны частью описаний головок. Идентификатор кластера передается к каждому громкоговорителю, и все кластеры могут одновременно адресоваться источником 1002 звука.
Как показано на фиг. 10, по желанию электрическую энергию можно передавать по двунаправленному соединению. Громкоговорители могут быть пассивными (для которых требуется электрическая энергия от источника питания). Если система громкоговорителей состоит из активных громкоговорителей без беспроводной поддержки, устройство ввода для громкоговорителя состоит из проводного устройства ввода сети Ethernet, соответствующего спецификации IEEE 802.3. Если система громкоговорителей состоит из активных громкоговорителей с беспроводной поддержкой, устройство ввода для громкоговорителя состоит из беспроводного устройства ввода сети Ethernet, соответствующего спецификации IEEE 802.11 или как вариант стандарту беспроводной связи, специфицированному организацией WISA (ассоциацией беспроводных аудиосистем). Пассивные громкоговорители могут снабжаться надлежащей электрической энергией, поставляемой непосредственно источником звука.
Конфигурирование системы и калибровка
Как показано на фиг. 4С, функциональные возможности адаптивной аудиосистемы включают в себя функцию 462 калибровки. Эта функция обеспечивается микрофоном 1007 и соединительными линиями 1008, показанными на фиг. 10. Функция микрофонного компонента в системе 1000 заключается в измерении характеристики индивидуальных головок в среде прослушивания для получения характеристики всей системы. Для этого можно использовать многочисленные топологии микрофонов, в том числе один микрофон или группу микрофонов. В самом простом случае один всенаправленный измерительный микрофон, расположенный в центре среды прослушивания, используют для измерения характеристики каждой головки. Если среда прослушивания и условия воспроизведения позволяют выполнять более утонченный анализ, можно использовать многочисленные микрофоны. Наиболее удобные места для многочисленных микрофонов находятся внутри корпусов физических громкоговорителей, относящихся к конкретной конфигурации громкоговорителей, используемой в среде прослушивания. Микрофоны, установленные в каждом корпусе, позволяют измерять в системе характеристику каждой головки на многочисленных местах в среде прослушивания. Альтернативой этой топологии является использование многочисленных всенаправленных измерительных микрофонов, расположенных в местах вероятного нахождения слушателей в среде прослушивания.
Микрофон (микрофоны) используют для обеспечения автоматического конфигурирования и калибровки рендерера и алгоритмов постобработки. В адаптивной аудиосистеме рендерер ответственен за преобразование гибридного объектно-ориентированного и канально-ориентированного аудиопотока в индивидуальные аудиосигналы, предназначенные для конкретных адресуемых головок в одном или нескольких физических громкоговорителях. Компонент постобработки может включать в себя задержку, коррекцию частотной характеристики, усиление, виртуализацию громкоговорителей и повышающее микширование. Конфигурацией громкоговорителей часто отображается важная информация, которая в компоненте рендерера может использоваться для преобразования гибридного объектно-ориентированного и канально-ориентированного аудиопотока в индивидуальные аудиосигналы каждой головки для получения оптимального воспроизведения аудиоконтента. Информация о конфигурации системы включает в себя (1) количество физических громкоговорителей в системе, (2) количество индивидуально адресуемых головок в каждом громкоговорителе и (3) положение и направление каждой индивидуально адресуемой головки относительно геометрии среды прослушивания. Кроме того, возможны другие характеристики. На фиг. 11 показана функция компонента автоматического конфигурирования и калибровки системы согласно варианту осуществления. Как показано на схеме 1100, с группы 1102 из одного или нескольких микрофонов передается информация к компоненту 1104 конфигурирования и калибровки. В этой акустической информации собраны определенные релевантные характеристики среды прослушивания. Далее компонент 1104 конфигурирования и калибровки передает эту информацию к рендереру 1106 и к любым релевантным компонентам 1108 постобработки, так что аудиосигналы, которые в конечном счете передаются к громкоговорителям, регулируются и оптимизируются к среде прослушивания.
Количество физических громкоговорителей в системе и количество индивидуально адресуемых головок в каждом громкоговорителе представляют свойства физических громкоговорителей. Эти свойства передаются непосредственно от громкоговорителей по двунаправленному соединению 456 к рендереру 454. Для рендерера и громкоговорителей используется общий протокол обнаружения, так что, когда громкоговорители подключаются к системе или отключаются от нее, рендерер уведомляется об изменении и соответственно может переконфигурировать систему.
Геометрия (размер и форма) среды прослушивания является необходимой единицей информации в процессе конфигурирования и калибровки. Геометрия может определяться несколькими различными способами. В режиме ручного конфигурирования ширину, длину и высоту минимального ограничивающего куба для среды прослушивания вводит в систему слушатель или технический специалист через пользовательский интерфейс, который обеспечивает ввод в рендерер или другой блок обработки в адаптивной аудиосистеме. Для этого можно использовать многочисленные различные пользовательские интерфейсы и инструментальные средства. Например, геометрию среды прослушивания можно передавать на рендерер с помощью программы, которая автоматически отображает или прослеживает геометрию среды прослушивания. В такой системе можно использовать сочетание компьютерного зрения, изображений звукового эхолокатора и трехмерного лазерного физического картирования.
В рендерере положение громкоговорителей в пределах геометрии среды прослушивания используется для получения аудиосигналов для каждой индивидуально адресуемой головки, включая головки прямого и отраженного (после излучения вверх) излучения. Головки прямого излучения представляют собой головки, которые направлены таким образом, что основная часть диаграммы рассеивания пересекает место прослушивания до рассеивания одной или несколькими отражающими поверхностями (такими как пол, стена или потолок). Головки отраженного излучения представляют собой головки, которые направлены таким образом, что, как показано на фиг. 6, основная часть диаграммы рассеивания отражается до пересечения места прослушивания. Если система находится в режиме ручного конфигурирования, трехмерные координаты для каждой головки прямого излучения могут вводиться в систему через пользовательский интерфейс. Для головок отраженного излучения трехмерные координаты однократного отражения вводят в пользовательский интерфейс. Лазеры или аналогичные средства можно использовать для визуализации диаграммы рассеивания диффузных головок на поверхностях среды прослушивания, так что трехмерные координаты можно измерять и вводить вручную в систему.
Расположение и наведение головок обычно выполняют с использованием ручных или автоматических способов. В некоторых случаях инерциальные датчики могут быть включены в каждый громкоговоритель. В этом режиме центральный громкоговоритель назначают «эталоном» и компасное измерение его считают началом отсчета. Затем с других громкоговорителей передаются диаграммы рассеивания и компасные положения для каждой из индивидуально адресуемых головок. Связанной с геометрией среды прослушивания разностью между опорными углами центрального громкоговорителя и каждой дополнительной головки обеспечивается достаточная информация для автоматического определения в системе какой является головка, прямого излучения или отраженного излучения.
Конфигурирование положений громкоговорителей можно полностью автоматизировать, если использовать трехмерный позиционный (то есть, амбиофонический) микрофон. В этом режиме система посылает тестовый сигнал к каждой головке и регистрирует отклики. В зависимости от вида микрофона может потребоваться преобразование сигналов в представление x, y, z. Эти сигналы анализируются для нахождения составляющих x, y и z доминирующего первого вступления. Будучи связанными с геометрией среды прослушивания, они обычно обеспечивают достаточную информацию системе для автоматического задания трехмерных координат для положений всех громкоговорителей, прямого или отраженного излучения. В зависимости от геометрии среды прослушивания использование гибридного сочетания трех описанных способов конфигурирования координат громкоговорителей может быть более эффективным, чем использование только одного способа.
Информация о конфигурации громкоговорителей является одной составляющей, необходимой для конфигурирования рендерера. Информация о калибровке громкоговорителей также необходима для конфигурирования цепи постобработки: задержки, коррекции частотной характеристики и усиления. На фиг. 12 представлена блок-схема последовательности действий, иллюстрирующая этапы способа выполнения автоматической калибровки громкоговорителей с использованием одного микрофона согласно варианту осуществления. В этом режиме задержка, коррекция частотной характеристики и усиление автоматически вычисляются в системе при использовании одного всенаправленного измерительного микрофона, расположенного в середине места прослушивания. Как показано на блок-схеме 1200, способ начинают с измерения импульсной характеристики комнаты для каждой одной головки, блок 1202. Затем для каждой головки вычисляют задержку путем нахождения смещения пика взаимной корреляции акустической импульсной характеристики (захваченной микрофоном) при использовании непосредственно захваченной электрической импульсной характеристики, блок 1204. Согласно блоку 1206 вычисленную задержку применяют к непосредственно захваченной (эталонной) импульсной характеристике. Затем в способе определяют значения усиления в полосе пропускания и в каждой полосе частот, которые при применении к измеренной импульсной характеристике приводят к получению минимальной разности между нею и непосредственно захваченной (эталонной) импульсной характеристикой, блок 1208. Это может быть сделано выполнением оконного быстрого преобразования Фурье измеренной и эталонной импульсных характеристик, вычислением для всех элементов разрешения отношений амплитуд двух сигналов, применением медианного фильтра к отношениям амплитуд для каждого элемента разрешения, вычислением значений усиления для каждой полосы частот при усреднении усилений для всех элементов разрешения, которые полностью попадают в полосу частот, вычислением усиления в широкой полосе при усреднении всех усилений, полученных в расчете на каждый элемент разрешения, и применением кривой X небольшой комнаты (-2 дБ/октава выше 2 кГц). После определения согласно блоку 1208 значений усиления в способе определяют конечные значения задержки путем вычитания минимальной задержки из других, так что по меньшей мере одна головка в системе всегда будет иметь нулевую дополнительную задержку, блок 1210.
В случае автоматической калибровки с использованием многочисленных микрофонов задержка, коррекция частотной характеристики и усиление автоматически вычисляются в системе при использовании многочисленных всенаправленных измерительных микрофонов. Процесс по существу идентичен способу с одним микрофоном за исключением того, что он повторяется для каждого микрофона, а результаты усредняются.
Альтернативные применения
Вместо реализации адаптивной аудиосистемы во всей среде прослушивания или театре можно реализовывать аспекты адаптивной аудиосистемы в более локализованных областях применениях, таких как телевизоры, компьютеры, игровые консоли или аналогичные устройства. Этот случай по существу основан на использовании громкоговорителей, которые сгруппированы в плоскости, соответствующей телевизионному экрану или поверхности монитора. На фиг. 13 показано применение адаптивной аудиосистемы в случае использования в качестве примера телевизора и звуковой панели. В общем случае при использовании телевизора решаются задачи погружения в звук, часто за счет снижения качества оборудования (громкоговорителей телевизора, громкоговорителей звуковой панели и т.д.) и сокращения мест расположения громкоговорителей/упрощения конфигурации (конфигураций), при этом может быть ограничено пространственное разрешение (то есть, отсутствуют окружные или задние громкоговорители). Система 1300 из фиг. 13 включает в себя громкоговорители на стандартных левом и правом местах телевизора (TV-L и TV-R), а также левую и правую излучающие вверх головки (TV-LH и TV-RH). Кроме того, телевизор 1302 может включать в себя звуковую панель 1304 или громкоговорители в верхней группе определенного вида. В общем случае по сравнению с автономными громкоговорителями или предназначенными для домашнего театра размер и качество громкоговорителей телевизора являются пониженными вследствие ограничений, накладываемых на затраты и проектные решения. Однако использование динамической виртуализации может содействовать устранению этих недостатков. На фиг. 13 эффект динамической виртуализации показан для громкоговорителей TV-L и TVR, так что люди на конкретном месте 1308 прослушивания будут слышать горизонтальные элементы, связанные с соответствующими аудиообъектами, рендеринг которых выполняется индивидуально в горизонтальной плоскости. В дополнение к этому рендеринг верхних элементов, связанных с соответствующими аудиообъектами, должен выполняться корректно с помощью отраженного аудио, передаваемого головками LH и RH. Использование стереофонической виртуализации в громкоговорителях L и R телевизора аналогично использованию громкоговорителей L и R домашнего театра, когда динамическая виртуализация громкоговорителей с потенциальным ощущением пользователем присутствия возможна благодаря динамическому регулированию параметров алгоритмов виртуализации громкоговорителей на основании пространственной информации об объектах, обеспечиваемой адаптивным аудиоконтентом. Эту динамическую виртуализацию можно использовать для создания восприятия движения объектов вдоль сторон среды прослушивания.
Кроме того, телевизионная среда может включать в себя громкоговоритель (HRC) высокоразрешающего центрального канала, показанный в звуковой панели 1304. Такой громкоговоритель высокоразрешающего центрального канала может быть управляемым блоком, который делает возможным панорамирование на протяжении группы высокоразрешающих центральных каналов. Это может быть выгодно (особенно при больших экранах) при наличии группы излучающих вперед центральных каналов с индивидуально адресуемыми громкоговорителями, которые делают возможным дискретное панорамирование аудиообъектов на протяжении группы, которое согласовано с перемещением видеообъектов по экрану. Кроме того, этот громкоговоритель показан имеющим излучающие вбок головки. Они могут быть активированы и использованы, если громкоговоритель используется как звуковая панель, так что излучающие вбок головки будут обеспечивать более сильный эффект погружения при отсутствии окружных или задних громкоговорителей. Концепция динамической виртуализации также показана для громкоговорителя высокоразрешающего центрального канала/звуковой панели. Динамическая виртуализация показана для громкоговорителей L и R на самых дальних сторонах от группы излучающих вперед громкоговорителей. И опять это можно использовать для создания восприятия движения объектов вдоль сторон среды прослушивания. Кроме того, этот модифицированный центральный громкоговоритель может включать в себя дополнительные громкоговорители и реализовывать управляемый звуковой пучок с отдельно регулируемыми звуковыми зонами. На фиг. 13 также показан пример реализации с использованием громкоговорителя 1306 с эффектом ближнего поля (NFE), расположенного перед основным местом 1308 прослушивания. Включение громкоговорителя с эффектом ближнего поля может привести к большему окружению, создаваемому адаптивной аудиосистемой при перемещении звука на расстояние от передней стороны среды прослушивания и ближе к слушателю.
Что касается рендеринга для наушников, то адаптивная аудиосистема сохраняет первоначальный замысел создателя путем согласования передаточной функции головы с пространственным положением. Когда аудио воспроизводится через наушники, бинауральную пространственную виртуализацию можно получать применением передаточной функции головы (ПФГ), которой обрабатывают аудио, и добавлением воспринимаемых информационных сигналов, которые создают восприятие аудио, воспроизводимого в трехмерном пространстве и не в стандарте стереофонических наушников. Точность пространственного воспроизведения зависит от выбора надлежащей передаточной функции головы, которая может изменяться в зависимости от нескольких факторов, включая пространственное положение аудиоканалов или объектов, рендеринг которых осуществляется. Результатом использования пространственной информации, обеспечиваемой адаптивной аудиосистемой, может быть выбор одной или в непрерывно возрастающем количестве передаточных функций головы, представляющих трехмерное пространство, для значительного усиления восприятия воспроизведения.
Кроме того, системой обеспечивается дополнительный управляемый трехмерный бинауральный рендеринг и виртуализация. Аналогично случаю пространственного рендеринга использование новых и модифицированных громкоговорителей и мест расположения возможно благодаря применению трехмерных передаточных функций головы при создании информационных сигналов для имитации звука аудио, приходящего из горизонтальной плоскости и с вертикальной оси. Предшествующие аудиоформаты, которые обеспечивают рендеринг информации только о каналах и фиксированных местах громкоговорителей, являются более ограниченными. С использованием информации об адаптивном аудиоформате система бинаурального трехмерного рендеринга для наушников была детализирована и была получена полезная информация, которую можно использовать для определения, какие элементы аудио пригодны для рендеринга в горизонтальной и вертикальной плоскостях. Некоторый контент может быть основан на использовании подвесных громкоговорителей для создания более сильного восприятия окружения. Эти аудиообъекты и информацию можно применять для бинаурального рендеринга, который при использовании наушников воспринимается выше головы слушателя. На фиг. 14 показано упрощенное представление восприятия трехмерной бинауральной виртуализации наушников согласно варианту осуществления, предназначенной для использования в адаптивной аудиосистеме. Как показано на фиг. 14, наушники 1402, используемые для воспроизведения аудио из адаптивной аудиосистемы, содержат аудиосигналы 1404 в стандартной плоскости x, y, а также в плоскости z, так что некоторые аудиообъекты или звуки, привязанные к высоте, воспроизводятся таким образом, что звук подобен звукам, исходящим выше или ниже плоскости x, y образованного звука.
Описания метаданных
В варианте осуществления адаптивная аудиосистема включает в себя компоненты, которые образуют метаданные на основании исходного пространственного аудиоформата. Способы и компоненты системы 300 содержат систему рендеринга аудио, сконфигурированную для обработки одного или нескольких битовых потоков, содержащих обычные канально-ориентированные аудиоэлементы и элементы кодирования аудиообъектов. Новый уровень расширения, содержащий элементы кодирования аудиообъектов, задается и добавляется к одному из канально-ориентированного битового аудиопотока кодека или битового потока аудиообъекта. Этот подход обеспечивает получение битовых потоков, которые включают в себя уровень расширения, обрабатываемых рендерерами, для применения в отношении существующих конструкций громкоговорителей и головок или громкоговорителей следующего поколения при использовании индивидуально адресуемых головок и описаний головок. Пространственный аудиоконтент от процессора пространственного аудио содержит аудиообъекты, каналы и метаданные о положении. Когда выполняют рендеринг объекта, его приписывают к одному или нескольким громкоговорителям в соответствии с метаданными о положении и к месту нахождения воспроизводящих громкоговорителей. Дополнительные метаданные могут быть связаны с объектом для изменения места воспроизведения или же ограничения громкоговорителей, которые должны использоваться при воспроизведении. Метаданные образуются в рабочей станции аудио в ответ на входные данные звукорежиссера для получения очередей рендеринга, в соответствии с которыми регулируются пространственные параметры (например, положение, скорость, интенсивность, тембр и т.д.), и точного определения, какие головки (головка) или громкоговорители (громкоговоритель) в среде прослушивания воспроизводят соответствующие звуки во время демонстрации. Метаданные связываются с соответствующими аудиоданными в рабочей станции для формирования пакета и передачи на процессор пространственного аудио.
На фиг. 15 представлена таблица, иллюстрирующая описания некоторых метаданных, предназначенных для использования в адаптивной аудиосистеме для сред прослушивания, согласно варианту осуществления. Как показано в таблице 1500, описания метаданных включают в себя тип аудиоконтента, описания головок (количество, характеристики, положение, угол проекции), управляющие сигналы для активного управления/настройки и калибровочную информацию, в том числе информацию о комнате и громкоговорителях.
Характерные особенности и функциональные возможности
Как указано выше, адаптивная аудиоэкосистема позволяет создателю контента встраивать пространственный замысел микса (положение, размер, скорость и т.д.) в битовый поток с помощью метаданных. Это позволяет получать поразительную степень гибкости при пространственном воспроизведении аудио. Если исходить из пространственного рендеринга, адаптивный аудиоформат позволяет создателю контента адаптировать микс к точному положению громкоговорителей в среде прослушивания для исключения пространственного искажения, вызванного геометрией системы воспроизведения, не идентичной системе авторской обработки. В современных системах воспроизведения аудио, в которых передается только аудио для канала громкоговорителя, замысел создателя контента неизвестен относительно мест в среде прослушивания, кроме как для фиксированных мест нахождения громкоговорителей. В современной парадигме канал/громкоговоритель известна только информация, заключающаяся в том, что конкретный аудиоканал должен передаваться к конкретному громкоговорителю, который имеет заданное место в среде прослушивания. В случае адаптивной аудиосистемы с использованием метаданных, передаваемых с помощью формирующего и распределительного конвейера, в системе воспроизведения эта информация может использоваться при воспроизведении контента способом, который обеспечивает согласование с исходным замыслом создателя контента. Например, относительное положение громкоговорителей известно для различных аудиообъектов. При образовании пространственного места для аудиообъекта замысел создателя контента известен и его можно увязать с конфигурацией громкоговорителей, в том числе с местами нахождения их. При динамическом рендеринге в системе рендеринга аудио этот рендеринг может обновляться и улучшаться путем введения дополнительных громкоговорителей.
Кроме того, в системе может выполняться дополнительный управляемый трехмерный пространственный рендеринг. Имеются многочисленные попытки создать эффект более глубокого погружения в рендеринг аудио путем использования новых конструкций и конфигураций громкоговорителей. Они включают в себя использование двухполюсных и дипольных громкоговорителей, излучающих вбок, излучающих назад и излучающих вверх головок. При использовании прежнего канала и систем с фиксированными местами громкоговорителей относительно трудно определять, какие элементы аудио следует передавать на эти модифицированные громкоговорители. При использовании адаптивного аудиоформата в системе рендеринга имеется подробная и полезная информация относительно того, какой элемент аудио (объекты или иное) подходит для передачи к громкоговорителям в новой конфигурации. То есть, система позволяет осуществлять выбор аудиосигналов, передаваемых на излучающие вперед головки и передаваемых на излучающие вверх головки. Например, адаптивный аудиоконтент кинофильма в значительной степени основан на использовании подвесных громкоговорителей для получения более сильного восприятия окружения. Эти аудиообъекты и информацию можно передавать к излучающим вверх громкоговорителям, чтобы получать отраженное аудио в среде прослушивания с созданием аналогичного эффекта.
Кроме того, система позволяет адаптировать микс к точной конфигурации технических средств системы воспроизведения. Существуют многочисленные возможные громкоговорители различных видов и конфигурации при рендеринге для оборудования, такого как телевизоры, домашние театры, звуковые панели, док-станции портативных музыкальных проигрывателей и т.д. Когда в такой системе передается характерная для каналов аудиоинформация (например, аудио для левого и правого каналов или стандартное многоканальное), аудио должно обрабатываться в системе для надлежащего согласования с возможностями оборудования рендеринга. Типичным примером является случай, когда стандартное стереофоническое (левое, правое) аудио передается на звуковую панель, в которой имеются больше двух громкоговорителей. В современных аудиосистемах, в которых передается только аудио для канала громкоговорителей, замысел создателя контента неизвестен и эффект более глубокого погружения в восприятие аудио, возможный при использовании усовершенствованного оборудования, должен создаваться с помощью алгоритмов, в которых делаются предположения относительно условий модификации аудио для воспроизведения на аппаратуре. Примером является использование систем Dolby Pro Logic II, Dolby Pro Logic II-z или систем объемного звука следующего поколения для «повышающего микширования» канально-ориентированного аудио для большего количества громкоговорителей, чем исходное количество подач сигналов каналов. В случае адаптивной аудиосистемы с использованием метаданных, передаваемых с помощью конвейера формирования и распределения, в системе воспроизведения эта информация может использоваться для воспроизведения контента способом, который обеспечивает более точное согласование с первоначальным замыслом создателя контента. Например, в некоторых звуковых панелях имеются излучающие вбок громкоговорители для создания ощущения окружения. В случае адаптивного аудио пространственная информация и информация о виде контента (то есть, диалог, музыка, эффекты окружающей среды и т.д.) могут использоваться в звуковой панели, когда она управляется системой рендеринга, такой как телевизор или аудио/видео ресивер, для передачи только надлежащего аудио на эти излучающие вбок громкоговорители.
Пространственная информация, передаваемая с помощью адаптивного аудио, позволяет осуществлять динамический рендеринг контента при наличии сведений о местоположении и видах имеющихся громкоговорителей. Кроме того, информация об относительном положении слушателя или слушателей и звуковоспроизводящего оборудования теперь потенциально доступна и может использоваться при рендеринге. Большая часть игровых консолей включает в себя принадлежности кинокамеры и интеллектуальный процессор изображений, которые могут определять положение и идентифицировать человека в среде прослушивания. Эта информация может использоваться в адаптивной аудиосистеме для изменения рендеринга на основании положения слушателя, чтобы более точно передавать замысел создателя контента. Например, почти во всех случаях для аудио, рендеринг которого выполнен для воспроизведения, предполагается, что слушатель расположен в идеальной «зоне наилучшего восприятия», которая часто находится на одинаковом расстоянии от каждого громкоговорителя, и на этом же самом месте был расположен звукорежиссер по микшированию во время создания контента. Однако то и дело люди не находятся на этом идеальном месте и получаемое ими впечатление не соответствует творческому замыслу звукорежиссера. Типичным примером является случай, когда слушатель сидит на стуле или в кресле на левой стороне среды прослушивания. В этом случае звук, воспроизводимый ближайшими громкоговорителя слева, будет восприниматься как более громкий и искажающий слева пространственное восприятие аудиомикса. При знании положения слушателя система может регулировать рендеринг аудио для получения более низкого уровня звука на левых громкоговорителях и подъема уровня на правых громкоговорителях, чтобы изменить баланс аудиомикса и сделать его правильным для восприятия. Кроме того, возможна задержка аудио для компенсации расстояния слушателя от зоны наилучшего восприятия. Положение пользователя может обнаруживаться при использовании кинокамеры или модифицированного дистанционного контроля с некоторым встроенным устройством сигнализации, которое будет оповещать систему рендеринга о положении слушателя.
В дополнение к использованию стандартных громкоговорителей и мест громкоговорителей, соответствующих положению слушателя, также можно использовать технологии управления пучком, чтобы создавать «зоны» звукового поля, изменяемые в зависимости от положения слушателя и контента. Для формирования звукового пучка используют группу громкоговорителей (обычно от 8 до 16 громкоговорителей, разнесенных по горизонтали) и используют фазовую манипуляцию и обработку для создания управляемого звукового пучка. Использование группы громкоговорителей, формирующей пучок, позволяет создавать звуковые зоны, в которых главным образом слышно аудио, которое можно использовать для направления специфических звуков или объектов, подвергнутых избирательной обработке, к конкретному месту в пространстве. Очевидным случаем является обработка диалога в звуковом треке с использованием улучшенного алгоритма постобработки диалога и пучка, при этом аудиообъект направляется непосредственно к слабослышащему пользователю.
Матричное кодирование и пространственное повышающее микширование
В некоторых случаях аудиообъекты могут быть желательным компонентом адаптивного аудиоконтента; однако с учетом ограничений, налагаемых на полосу пропускания, можно передавать аудио каналов/громкоговорителей и аудиообъекты. Раньше матричное кодирование использовали для передачи большего количества аудиоинформации, чем это было возможно в конкретной распределительной системе. Например, на ранней стадии кинематографа были случаи, когда звукорежиссеры создавали многоканальное аудио, но форматы кинофильмов обеспечивали только стереофоническое звуковое сопровождение. Матричное кодирование использовали при интеллектуальном понижающем микшировании многоканального аудио в два стереофонических канала, которое затем обрабатывали с использованием определенных алгоритмов для воссоздания близкого приближения к многоканальному миксу из стереофонического аудио. Точно так же можно интеллектуально выполнить понижающее микширование аудиообъектов в основные каналы громкоговорителей и путем использования адаптивных аудиометаданных и усложненных алгоритмов объемного звука следующего поколения, зависимых от времени и частоты, извлечь объекты и выполнить точный пространственный рендеринг их с использованием системы рендеринга адаптивного аудио.
В дополнение к этому, когда имеются ограничения, накладываемые на полосу пропускания системы передачи аудио (например, при беспроводной связи 3G и 4G), также можно извлекать выгоду от передачи разнообразных по пространству многоканальных слоев, которые являются матрично-кодированными, как и индивидуальные аудиообъекты. Одним используемым случаем такой методологии передачи является спортивная трансляция с использованием двух отдельных аудиослоев и многочисленных аудиообъектов. Аудиослои могут представлять многоканальное аудио, захватываемое в секторах стадиона с двумя разными спортивными командами, и аудиообъекты могут представлять разных комментаторов, которые могут симпатизировать той или иной спортивной команде. При использовании стандартного кодирования 5.1 представление каждого слоя вместе с двумя или большим количеством объектов может выйти за пределы ограничений, налагаемых на полосу пропускания системы передачи. В этом случае, если каждый из слоев 5.1 матрично-кодирован для стереофонического сигнала, то два слоя, которые исходно захватываются как каналы 5.1, можно передавать как двухканальный слой 1, двухканальный слой 2, объект 1 и объект 2, поскольку будут только четыре канала аудио вместо каналов 5.1+5.1+2 или 12.1.
Зависимая от положения и контента обработка
Адаптивная аудиоэкосистема позволяет создателю контента создавать индивидуальные аудиообъекты и добавлять информацию о контенте, которая может быть передана к системе воспроизведения. Этим обеспечивается большая степень гибкости при обработке аудио до воспроизведения. Обработку можно адаптировать к положению и виду объекта путем динамического регулирования виртуализации громкоговорителей на основании положения и размера объекта. Виртуализация громкоговорителей относится к такому способу обработки аудио, в соответствии с которым виртуальный громкоговоритель будет восприниматься слушателем. Этот способ часто используют для стереофонического воспроизведения громкоговорителями, когда аудио источника является многоканальным аудио, которое включает в себя подачу сигналов на каналы громкоговорителей объемного звука. Виртуальная обработка громкоговорителей модифицирует аудио каналов громкоговорителей объемного звука таким образом, что, когда оно воспроизводится стереофоническими громкоговорителями, аудиоэлементы объемного звука виртуализируются вбок и назад от слушателя, как если бы там находился виртуальный громкоговоритель. В настоящее время атрибуты местоположения виртуального громкоговорителя являются статическими, поскольку заданные места нахождения громкоговорителей объемного звука являются фиксированными. Однако при использовании адаптивного аудиоконтента пространственные положения различных аудиообъектов являются динамическими и индивидуальными (то есть, однозначными для каждого объекта). Возможно, что теперь постобработку, такую как виртуализация виртуального громкоговорителя, можно регулировать более осознанно путем динамического регулирования параметров, таких как угол положения громкоговорителя для каждого объекта, и затем объединения прошедших рендеринг выходных данных нескольких виртуализированных объектов для создания более глубокого восприятия звука, который более точно представляет замысел звукорежиссера.
В дополнение к стандартной горизонтальной виртуализации аудиообъектов можно использовать воспринимаемые верхние информационные сигналы, которые содержат аудио обработанных фиксированных каналов и динамических объектов, и получать восприятие верхнего воспроизведения аудио стандартной парой стереофонических громкоговорителей на обычном месте в горизонтальной плоскости.
Некоторые эффекты или усовершенствованные процессы необходимо с осторожностью применять к аудиоконтенту соответствующих видов. Например, расширение возможностей диалога можно применять только к диалоговым объектам. Расширение возможностей диалога относится к способу обработки аудио, которое содержит диалог, такой, что воспринимаемость и/или внятность диалога повышается и/или улучшается. Во многих случаях обработка аудио, которую применяют к диалогу, не подходит для не содержащего диалога аудиоконтента (то есть, для музыки, эффектов внешней среды) и может приводить к появлению нежелательных слышимых артефактов. При использовании адаптивного аудио аудиообъект может содержать диалог только в части контента и может быть соответственно помечен, что при разрешении проблемы рендеринга расширение возможностей диалога должно избирательно применяться только к диалоговому контенту. Кроме того, если аудиообъект представляет собой только диалог (а не смесь диалога и другого контента, что является частым случаем), то обработка для расширения возможностей диалога может применяться исключительно к диалогу (тем самым будет ограничиваться любая обработка, выполняемая относительно любого другого контента).
Точно так же управление звуковым откликом и коррекцией частотной характеристики должно быть привязано к конкретным характеристикам звука. Например, управление низкочастотными сигналами (фильтрацией, ослаблением, усилением) рассчитывают для конкретного объекта на основании его вида. Управление низкочастотными сигналами относится к избирательной изоляции и обработке только низких частот (или более низких частот) в конкретной части контента. В случае существующих в настоящее время аудиосистем и механизмов доставки это представляет собой «действующий вслепую» процесс, который применяют ко всей аудиоинформации. В случае адаптивной аудиосистемы конкретные аудиообъекты, для которых требуется управление низкочастотными сигналами, могут быть идентифицированы с помощью метаданных и процесс рендеринга применен надлежащим образом.
Кроме того, в адаптивной аудиосистеме облегчается объектно-ориентированное сжатие динамического диапазона. Традиционные аудиотреки имеют такую же продолжительность, как сам контент, тогда как аудиообъект может иметься в контенте в течение ограниченного времени. Метаданные, связанные с объектом, могут содержать относящуюся к уровням информацию о средней и пиковой амплитуде сигналов, а также время вступления или нарастания (особенно в случае переходных данных). Эта информация позволяет компрессору лучше адаптировать сжатие и постоянные времени (нарастания сигнала, ослабления сигнала и т.д.) для лучшего соответствия контенту.
В системе также облегчается автоматическая коррекция частотной характеристики громкоговоритель-комната. Акустика громкоговорителя и среды прослушивания играет важную роль при введении слышимой окраски в звук, которая влияет на тембр воспроизводимого звука. Кроме того, вследствие наличия отражений в среде прослушивания и изменений направленности громкоговорителей акустика зависит от положения, и в результате этого изменения воспринимаемый тембр будет сильно отличаться на различных местах прослушивания. Функция автоматической коррекции частотной характеристики комнаты (авто КЧХ), предусмотренная в системе, способствует ограничению этих проблем путем автоматического спектрального измерения и коррекции частотной характеристики громкоговоритель-комната, автоматической компенсации времени задержки (что обеспечивает надлежащую образность и, возможно, синтез методом наименьших квадратов на основании обнаружения относительных положений громкоговорителей) и задания уровней, перенаправления нижних частот на основании функциональных возможностей громкоговорителей в свободном пространстве комнаты, а также оптимального сочетания основных громкоговорителей с сабвуфером (сабвуферами). В случае домашнего театра или другой среды прослушивания адаптивная аудиосистема включает в себя некоторые дополнительные функции, такие как (1) автоматическое вычисление целевой кривой на основании акустики комнаты при воспроизведении (которая считается открытой проблемой при исследовании задачи коррекции частотной характеристики в домашних средах прослушивания), (2) оказание влияния на регулирование модального спада при использовании частотно-временного анализа, (3) интерпретация параметров, получаемых на основании измерений, которые определяют окружение/вместительность/ширину источника/разборчивость, и регулирование их для получения наилучшей обстановки прослушивания, (4) направленная фильтрация, включающая модели головы, для согласования тембра фронтальных и «других» громкоговорителей и (5) обнаружение пространственных положений громкоговорителей в дискретных местах относительно слушателя и пространственное переназначение (например, технология Summit Wireless будет примером). Рассогласование тембра между громкоговорителями особенно проявляется относительно некоторых панорамируемых контентов между фронтальным громкоговорителем (например, центральным) и окружными/задними/находящимися на большом расстоянии/верхними громкоговорителями.
Адаптивная аудиосистема в целом также обеспечивает неотразимое впечатление при воспроизведении аудио/видео, особенно при больших размерах экрана в домашней среде, если пространственное место воспроизведения некоторых аудиоэлементов согласовано с элементами изображения на экране. Примером является случай, когда диалог в кинофильме или телевизионной программе пространственно совпадает с говорящим человеком или героем на экране. В случае обычного канально-ориентированного аудио, воспроизводимого громкоговорителями, отсутствует простой способ определения, где должен быть расположен в пространстве диалог, чтобы он был согласован с местом нахождения человека или героя на экране. С использованием аудиоинформации, имеющейся в адаптивной аудиосистеме, можно легко получать совмещение аудио и видео этого вида даже в системах домашних театров, для которых характерны экраны еще большего размера. Кроме того, совмещение визуально определяемого места и звукового пространства можно использовать для неличностных/диалоговых объектов, таких автомобили, вагоны, анимация и т.д.
Кроме того, адаптивная аудиоэкосистема позволяет улучшать управление контентом путем предоставления возможности создателю контента создавать индивидуальные аудиообъекты и добавлять информацию о контенте, которая может быть передана к системе воспроизведения. Этим обеспечивается большая степень гибкости при управлении аудиоконтентом. С учетом управления контентом адаптивное аудио обеспечивает достижение различных особенностей, таких как изменение языка аудиоконтента путем замены только диалогового объекта для уменьшения размера файла контента и/или снижения времени загрузки. Кинофильмы, телевизионные и другие культурно-развлекательные программы обычно распределяются на международной основе. При этом часто требуется, чтобы язык в части контента был изменен в зависимости от того, где он будет воспроизводиться (на французский для кинофильмов, показываемых во Франции, немецкий для телевизионных программ, показываемых в Германии, и т.д.). Сегодня для каждого языка часто требуется создавать полностью независимые звуковые треки аудио, оформлять в пакеты и распределять. При использовании адаптивной аудиосистемы и присущей ей концепции аудиообъектов диалог для части контента может не зависеть от аудиообъекта. Это позволяет легко изменять язык контента без обновления или изменения других элементов звукового трека аудио, такого как музыка, эффекты и т.д. Это применимо не только к иностранным языкам, но также к неподходящему языку для некоторых зрителей, целевой рекламе и т.д.
Аспекты аудиосреды, описанной в этой заявке, представляют воспроизведение аудио- или аудио/визуального контента посредством соответствующих громкоговорителей и устройство воспроизведения и могут представлять любую среду, в которой слушатель находится под впечатлением воспроизведения захваченного контента, такую как кинотеатр, концертный зал, театр на открытом воздухе, дом или комната, кабинка для прослушивания, автомобиль, игровая консоль, система с наушниками или головной гарнитурой, широковещательная система или любая другая среда воспроизведения. Хотя варианты осуществления были описаны прежде всего применительно к примерам и реализациям в среде домашнего театра, в которой пространственный аудиоконтент связан с телевизионным контентом, следует заметить, что варианты осуществления также могут быть реализованы в других системах. Пространственный аудиоконтент, содержащий объектно-ориентированное аудио и канально-ориентированное аудио, может использоваться в сочетании с любым родственным контентом (связанным с аудио, видео, графикой и т.д.) или может использоваться как отдельный аудиоконтент. Среда воспроизведения может быть любой подходящей средой прослушивания, начиная от наушников или мониторов ближнего поля и до небольших или больших комнат, автомобилей, сцен на открытом воздухе, концертных залов и т.д.
Аспекты систем, описанных в этой заявке, могут быть реализованы в подходящей компьютерной сетевой среде обработки звука, предназначенной для обработки цифровых или представленных в цифровой форме аудиофайлов. Части адаптивной аудиосистемы могут включать в себя одну или несколько сетей, которые могут содержать любое заданное количество индивидуальных машин, в том числе один или несколько маршрутизаторов (непоказанных), которые используются для буферизации и маршрутизации данных, передаваемых между компьютерами. Такая сеть может быть основана на ряде различных сетевых протоколов и может быть Интернетом, глобальной сетью (ГС), локальной вычислительной сетью (ЛВС) или любой комбинацией их. В варианте осуществления, в котором сеть представляет собой Интернет, одна или несколько машин могут быть сконфигурированы для доступа в Интернет с помощью программ Web-браузера.
Один или несколько компонентов, блоков, процессов или других функциональных компонентов могут быть реализованы посредством компьютерной программы, которая управляет процессорным вычислительным устройством системы. Следует заметить, что различные функции, раскрытые в этой заявке, могут быть описаны с использованием любого количества комбинаций аппаратного обеспечения, программно-аппаратных средств, и/или в виде данных, и/или инструкций, содержащихся на различных машиночитаемых или считываемых компьютером носителях, с учетом их поведенческих характеристик, межрегистровых пересылок, логических компонентов и/или других характеристик. Считываемые компьютером носители, на которых могут содержаться такие форматированные данные и/или инструкции, включают в себя, но без ограничения ими, физические (нетранзиторные), энергонезависимые носители данных в различных формах, такие как оптические, магнитные или полупроводниковые носители данных.
Если из контекста ясно не следует иное, на всем протяжении описания и в формуле изобретения слова «содержит», «содержащий» и аналогичные следует толковать во включающем смысле в противоположность исключающему или исчерпывающему смыслу; то есть, например, в смысле «включающий, но без ограничения этим». Слова с использованием единственного или множественного числа также включают в себя множественное или единственное число, соответственно. В дополнение к этому слова «в этой», «здесь», «выше», «ниже» и слова с подобным смыслом относятся к этой заявке в целом, а не к любой конкретной части этого описания. Когда слово «или» используется относительно перечня из двух или большего количества предметов, это слово охватывает все нижеследующие интерпретации слова: любой из предметов в перечне, все предметы в перечне и любое сочетание предметов в перечне.
Хотя одна или несколько реализаций были описаны для примера и с учетом конкретных вариантов осуществления, следует понимать, что одна или несколько реализаций не ограничены раскрытыми вариантами осуществления. Напротив, как должно быть понятно специалистам в соответствующей области техники, они предполагаются охватывающими различные модификации и аналогичные компоновки. Поэтому объем прилагаемой формулы изобретения должен соответствовать самой широкой интерпретации для охвата всех таких модификаций и аналогичных компоновок.
1. Система для рендеринга звука с использованием элементов отраженного звука, содержащая:
группу звуковых головок для распределения по периметру среды прослушивания, при этом по меньшей мере одна головка из группы звуковых головок представляет собой излучающую вверх головку, которая сконфигурирована для проецирования звуковых волн к одной или нескольким поверхностям среды прослушивания для отражения к области прослушивания в среде прослушивания;
рендерер, сконфигурированный для приема и обработки битового потока, включающего аудиопотоки и один или несколько наборов метаданных, которые связаны с каждым из аудиопотоков и которые точно определяют место воспроизведения в среде прослушивания соответствующего аудиопотока, при этом аудиопотоки содержат один или несколько отраженных аудиопотоков и один или несколько прямых аудиопотоков, рендерер дополнительно сконфигурирован для рендеринга аудиообъектов, которые подлежат рендерингу выше горизонтальной плоскости пола при использовании излучающей вверх головки и информации высоты, относящейся к одному или нескольким аудиообъектам; и
компонент воспроизведения, связанный с рендерером и сконфигурированный для рендеринга аудиопотоков во множество аудиоподач сигналов, соответствующих группе звуковых головок, в соответствии с одним или несколькими наборами метаданных, и при этом один или несколько отраженных аудиопотоков передаются к по меньшей мере одной излучающей вверх головке; отличающаяся тем, что система выполняет обработку сигналов для ввода воспринимаемых информационных сигналов высоты в отраженные аудиопотоки, подаваемые к по меньшей мере одной излучающей вверх головке.
2. Система по п. 1, в которой каждая звуковая головка из группы звуковых головок является однозначно адресуемой в соответствии с протоколом связи, используемым модулем рендеринга и компонентом воспроизведения.
3. Система по п. 2, в которой по меньшей мере одна звуковая головка содержит одну из излучающей вбок головки и излучающей вверх головки и в которой по меньшей мере одна звуковая головка дополнительно реализована как одна из автономной головки в корпусе громкоговорителя и головки, помещенной вблизи одной или нескольких излучающих вперед головок в едином корпусе громкоговорителя.
4. Система по п. 3, в которой группа звуковых головок содержит головки, которые распределены по периметру среды воспроизведения в соответствии с заданной конфигурацией объемного звука.
5. Система по п. 4, в которой среда прослушивания содержит домашнюю среду, и в которой рендерер и компонент воспроизведения содержат часть домашней аудиосистемы, и также в которой аудиопотоки содержат аудиоконтент, выбранный из группы, состоящей из контента кинофильма, преобразованного для воспроизведения в домашней среде, телевизионного контента, образованного пользователем контента, контента компьютерной игры и музыки.
6. Система по п. 4, в которой набор метаданных, связанный с аудиопотоком, передаваемым к по меньшей мере одной головке, задает одну или несколько характеристик, относящихся к отражению.
7. Система по п. 6, в которой набор метаданных пополняет набор базовых метаданных, который включает в себя элементы метаданных, связанные с объектно-ориентированным потоком пространственной аудиоинформации, и в которой элементы метаданных для объектно-ориентированного потока точно определяют пространственные параметры, в соответствии с которыми регулируется воспроизведение соответствующего объектно-ориентированного звука, и содержат одно или несколько из положения звука, ширины звука и скорости звука.
8. Система по п. 7, в которой набор метаданных также включает в себя элементы метаданных, связанные с канально-ориентированным потоком пространственной аудиоинформации, и в которой элементы метаданных, связанные с каждым канально-ориентированным потоком, содержат обозначения каналов объемного звука звуковых головок в заданной конфигурации объемного звука.
9. Система по п. 6, в которой по меньшей мере одна головка связана с микрофоном, помещенным в среду прослушивания, при этом микрофон сконфигурирован для передачи аудиоинформации о конфигурации, содержащей характеристики среды прослушивания, к калибровочному компоненту, связанному с рендерером, и в которой аудиоинформация о конфигурации используется рендерером для задания или модификации набора метаданных, связанного с аудиопотоком, передаваемым к по меньшей мере одной звуковой головке.
10. Система по п. 1, в которой по меньшей мере одна головка содержит по меньшей мере один из регулируемого вручную звукового преобразователя в корпусе, который является регулируемым в части угла излучения звука относительно плоскости пола среды прослушивания, и электрически управляемого звукового преобразователя в корпусе, который является автоматически регулируемым в части угла излучения звука.
11. Громкоговоритель для создания звуков в среде прослушивания, содержащий:
корпус громкоговорителя;
группу звуковых головок, заключенных в корпус громкоговорителя или связанных с ним, при этом по меньшей мере одна головка из группы звуковых головок сконфигурирована для проецирования звуковых волн к одной или нескольким поверхностям среды прослушивания для отражения к области прослушивания в среде прослушивания; и
блок обработки сигналов для ввода воспринимаемых информационных сигналов высоты в аудиосигнал, воспроизводимый громкоговорителем.
12. Громкоговоритель по п. 11, в котором блок обработки сигналов является активным или пассивным фильтром информационных сигналов высоты.
13. Громкоговоритель по п. 11, в котором одна головка представляет собой излучающую вверх головку.
14. Громкоговоритель по п. 11, в котором одна головка представляет собой излучающую вбок головку.
15. Громкоговоритель по п. 11, в котором по меньшей мере одна из группы звуковых головок представляет собой излучающую вперед головку и воспринимаемые информационные сигналы высоты вводятся в излучающую вперед головку.
16. Громкоговоритель по п. 13, в котором по меньшей мере одна головка из группы звуковых головок представляет собой сабвуфер.
17. Громкоговоритель по п. 11, в котором по меньшей мере одна из группы звуковых головок является излучающей вверх головкой и воспринимаемые информационные сигналы высоты вводятся в излучающую вверх головку.
