Динамическая обработка в устройствах с отличающимися функциональными возможностями воспроизведения

Авторы патента:

H04R5/04 - схемы (комбинации усилителей H03F 3/68; стереофонические системы H04S)

Владельцы патента RU 2783150:

ДОЛБИ ЛАБОРАТОРИС ЛАЙСЭНЗИН КОРПОРЕЙШН (US)
ДОЛБИ ИНТЕРНЕШНЛ АБ (NL)

Изобретение относится к акустике. Способ обработки аудиоданных заключается в получении системой управления и через систему интерфейсов конфигурационных данных динамической обработки отдельных громкоговорителей для каждого из множества громкоговорителей среды прослушивания. Конфигурационные данные содержат набор величин порогов ограничения воспроизведения для каждого громкоговорителя из множества громкоговорителей. Выполняют определение системой управления конфигурационных данных динамической обработки среды прослушивания для множества громкоговорителей, при этом определение конфигурационных данных динамической обработки среды прослушивания включает усреднение порогов ограничения воспроизведения по множеству громкоговорителей. Выполняют прием системой управления через систему интерфейсов аудиоданных, содержащих один или более звуковых сигналов и связанные пространственные данные, причем пространственные данные содержат по меньшей мере одно из данных каналов или пространственных метаданных. Выполняют системой управления динамической обработки в отношении аудиоданных на основе конфигурационных данных динамической обработки среды прослушивания с целью генерирования обработанных аудиоданных. Выполняют рендеринг системой управления обработанных аудиоданных для воспроизведения через набор громкоговорителей, содержащий по меньшей мере некоторые из множества громкоговорителей. Передают через систему интерфейсов подвергнутых рендерингу звуковых сигналов в набор громкоговорителей. Технический результат - уменьшение нежелательного сдвига в пространственном балансе микширования. 3 н. и 13 з.п. ф-лы, 33 ил.

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Данная заявка заявляет приоритет по заявке на патент Испании №P201930702, поданной 30 июля 2019 г., предварительной заявке на патент США № 62/971421, поданной 7 февраля 2020 г., предварительной заявке на патент США № 62/705410, поданной 25 июня 2020 г., предварительной заявке на патент США № 62/880115, поданной 30 июля 2019 г., и предварительной заявке на патент США № 62/705143, поданной 12 июня 2020 г., каждая из которых полностью включена в данный документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к системам и способам воспроизведения, и рендеринга для воспроизведения, аудиоданных с помощью некоторых или всех динамиков набора динамиков.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

Звуковые устройства, включающие, но без ограничения, интеллектуальные звуковые устройства, широко распространены и становятся распространенными особенностями многих домов. Хотя существующие системы и способы для управления звуковыми устройствами обеспечивают преимущества, были бы целесообразными усовершенствованные системы и способы.

УСЛОВНЫЕ ОБОЗНАЧЕНИЯ И ТЕРМИНОЛОГИЯ

По всему данному описанию, включая формулу изобретения, термины «динамик» и «громкоговоритель» используются как синонимы для обозначения любого издающего звук преобразователя (или набора преобразователей), приводимого в действие одним сигналом, подаваемым на динамик. Обычный набор наушников содержит два динамика.

По всему данному описанию, включая формулу изобретения, выражение выполнения операции «над» сигналом или данными (например, фильтрация, масштабирование, преобразование или применение коэффициента усиления к сигналу или данным) используется в широком смысле для обозначения выполнения операции непосредственно над сигналом или данными или над обработанной версией сигнала или данных (например, над версией сигнала, который был подвергнут предварительной фильтрации или предварительной обработке перед выполнением над ним указанной операции).

По всему данному описанию, включая формулу изобретения, выражение «система» используется в широком смысле для обозначения устройства, системы или подсистемы. Например, подсистема, которая реализует декодер, может называться системой декодера, и система, содержащая такую подсистему (например, система, которая генерирует Х выходных сигналов в ответ на ряд входных сигналов, в которой подсистема генерирует М входных сигналов, а остальные Х−М входных сигналов принимаются из внешнего источника), также может называться системой декодера.

По всему данному описанию, включая формулу изобретения, термин «процессор» используется в широком смысле для обозначения системы или устройства, запрограммированного или иным образом выполненного (например, с использованием программного обеспечения или программно-аппаратного обеспечения) с возможностью выполнения операций в отношении данных (например, аудио или видео или других данных изображений). Примеры процессоров включают программируемую пользователем вентильную матрицу (или другую настраиваемую интегральную схему или набор микросхем), процессор цифровой обработки сигналов, запрограммированный и/или иным образом выполненный с возможностью выполнения конвейерной обработки в отношении аудио или других звуковых данных, программируемый процессор общего назначения или компьютер и программируемую микропроцессорную интегральную схему или набор микросхем.

По всему данному описанию, включая формулу изобретения, термин «соединяет» или «соединенный» используется для обозначения либо непосредственного, либо косвенного соединения. Таким образом, если первое устройство соединено со вторым устройством, данное соединение может быть осуществлено через непосредственное соединение или через опосредованное соединения посредством других устройств или соединений.

В контексте данного документа выражение «интеллектуальное звуковое устройство» используется для обозначения интеллектуального устройства, представляющего собой или звуковое устройство специального назначения, или виртуального цифрового помощника (например, подключенный виртуальный цифровой помощник). Звуковое устройство специального назначения представляет собой устройство (например, телевизор или мобильный телефон), содержащее или соединенное с по меньшей мере одним микрофоном (а также, необязательно, содержащее или соединенное с по меньшей мере одним динамиком и/или по меньшей мере одной камерой), и/или по меньшей мере одним динамиком (также, необязательно, содержащим или соединенным с по меньшей мере одним микрофоном), и выполненное в значительной степени или в первую очередь для достижения одной цели. Хотя телевизор обычно может воспроизводить (или рассматривается как способный воспроизводить) звук из материала программы, в большинстве случаев современный телевизор запускает какую-либо операционную систему, в которой локально запускаются приложения, в том числе приложение для просмотра телевизионных передач. Аналогично, входные и выходные звуковые данные в мобильном телефоне могут осуществлять многое, но они обслуживаются приложениями, запущенными на телефоне. В этом смысле звуковое устройство специального назначения, содержащее динамик (динамики) и микрофон (микрофоны), часто выполнено с возможностью запуска локального приложения и/или службы для непосредственного использования динамика (динамиков) и микрофона (микрофонов). Некоторые звуковые устройства специального назначения могут быть выполнены с возможностью группировки друг с другом с целью выполнения воспроизведения аудиоданных в некоторой зоне или настраиваемой пользователем области.

Виртуальный цифровой помощник (например, подключенный виртуальный цифровой помощник) представляет собой устройство (например, интеллектуальный динамик или встроенное устройство голосового помощника), содержащее или соединенное с по меньшей мере одним микрофоном (а также, необязательно, содержащее или соединенное с по меньшей мере одним динамиком и/или по меньшей мере одной камерой) и которое может обеспечивать возможность использования множества устройств (отличных от виртуального цифрового помощника) для приложений, которые в известном смысле доступны в облаке или иначе не реализованы в самом виртуальном цифровом помощнике или на нем. Виртуальные цифровые помощники могут иногда действовать совместно, например, весьма обособленным и условно заданным образом. Например, два или более виртуальных цифровых помощников могут действовать совместно в том смысле, что один из них, т. е. тот, который наиболее уверен в том, что услышал пробуждающее слово, откликается на это слово. Подключенные устройства могут образовывать некоторого рода группу, которой может управлять одно главное приложение, которое может представлять собой (или реализовывать) виртуального цифрового помощника.

В контексте данного документа термин «пробуждающее слово» используется в широком смысле для обозначения любого звука (например, слова, произносимого человеком, или какого-либо другого звука), при этом интеллектуальное звуковое устройство выполнено с возможностью пробуждения в ответ на обнаружение («слышимости») звука (с использованием по меньшей мере одного микрофона, содержащегося в интеллектуальном звуковом устройстве или соединенного с ним, или по меньшей мере одного другого микрофона). В этом контексте «пробуждение» означает вхождение устройства в состояние, в котором оно ожидает (т. е. старается расслышать) звуковую команду. В некоторых случаях то, что может называться в данном документе «пробуждающим словом» может содержать более одного слова, например фразу.

В контексте данного документа термин «детектор пробуждающего слова» обозначает устройство, выполненное с возможностью (или программное обеспечение, содержащее команды для конфигурирования устройства) непрерывного поиска совпадения между признаками звука (например, речи) в реальном времени и обученной моделью. Обычно событие пробуждающего слова инициируется всякий раз, когда детектор пробуждающего слова определяет, что вероятность обнаружения пробуждающего слова превышает предварительно заданный порог. Например, этот порог может представлять собой предварительно заданный порог, настроенный на предоставление удовлетворительного компромисса между коэффициентами ложного доступа и ложного отказа. После наступления события пробуждающего слова устройство может входить в состояние (которое можно называть «пробужденным» состоянием или состоянием «концентрации внимания»), в котором оно слушает команду и при приеме команды переходит к большему средству распознавания с большим объемом вычислений.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Некоторые варианты осуществления включают способы рендеринга (или рендеринга и воспроизведения) пространственного звукового микса (например, рендеринга потока аудиоданных или нескольких потоков аудиоданных) для воспроизведения по меньшей мере одним (например, всеми или некоторыми) из интеллектуальных звуковых устройств набора интеллектуальных звуковых устройств и/или по меньшей мере одним (например, всеми или некоторыми) из динамиков другого набора динамиков. Некоторые варианты осуществления представляют собой способы (или системы) для такого рендеринга (например, включающего генерирование сигналов, подаваемых на динамики), а также воспроизведения подвергнутых рендерингу аудиоданных (например, воспроизведения сгенерированных сигналов, подаваемых на динамики).

Один класс вариантов осуществления включает способы рендеринга (или рендеринга и воспроизведения) аудиоданных по меньшей мере одним (например, всеми или некоторыми) из множества скоординированных (организованных) интеллектуальных звуковых устройств. Например, набор интеллектуальных звуковых устройств, присутствующих (в системе) в доме пользователя, можно организовать для одновременной обработки множества вариантов использования, включая гибкий рендеринг аудиоданных для воспроизведения всеми или некоторыми (т. е. динамиком (динамиками), заключенным в или соединенным с некоторыми или всеми) из интеллектуальных звуковых устройств.

Некоторые варианты осуществления настоящего изобретения представляют собой системы и способы для обработки аудиоданных, которая включает рендеринг аудиоданных (например, рендеринг пространственного звукового микса, например, путем рендеринга потока аудиоданных или нескольких потоков аудиоданных) для воспроизведения по меньшей мере двумя динамиками (например, всеми или некоторыми из динамиков набора динамиков), и которая включает:

(a) комбинирование конфигурационных данных динамической обработки отдельных громкоговорителей (таких как пороги ограничения (пороги ограничения воспроизведения) отдельных громкоговорителей, посредством чего определяются конфигурационные данные динамической обработки среды прослушивания для множества громкоговорителей (такие как комбинированные пороги);

(b) выполнение динамической обработки в отношении аудиоданных (например, потока (потоков) аудиоданных, отражающих пространственный звуковой микс) с применением конфигурационных данных динамической обработки среды прослушивания для множества громкоговорителей (например, комбинированных порогов) с целью генерирования обработанных аудиоданных; и

В некоторых вариантах осуществления обработка аудиоданных включает:

(d) выполнение динамической обработки в отношении повергнутых рендерингу звуковых сигналов в соответствии с конфигурационными данными динамической обработки отдельных громкоговорителей для каждого громкоговорителя (например, ограничение сигналов, подаваемых на динамики, в соответствии с порогами ограничения воспроизведения, связанными с соответствующими динамиками, посредством чего генерируются ограниченные сигналы, подаваемые на динамики).

Динамики могут представлять собой динамики по меньшей мере одного (например, всех или некоторых) из интеллектуальных звуковых устройств набора интеллектуальных звуковых устройств (или могут быть соединены по меньшей мере с одним из интеллектуальных звуковых устройств набора интеллектуальных звуковых устройств). В некоторых реализациях для генерирования ограниченных сигналов, подаваемых на динамики, на этапе (d) сигналы, подаваемые на динамики, сгенерированные на этапе (с), могут подвергаться обработке с помощью второго этапа динамической обработки (например, связанной с каждым динамиком системы динамической обработки), например, с целью генерирования ограниченных (т. е. динамически ограниченных) сигналов, подаваемых на динамики, перед их окончательным воспроизведением через динамики. Например, сигналы, подаваемые на динамики (или их подмножество, или их часть), могут доставляться в систему динамической обработки каждого отдельного из динамиков (например, в подсистему динамической обработки интеллектуального звукового устройства, при этом интеллектуальное звуковое устройство содержит соответствующий один из динамиков или соединено с ним), и обработанные выходные аудиоданные из каждой указанной системы динамической обработки можно использовать для генерирования ограниченного сигнала, подаваемого на динамик (например, динамически ограниченного сигнала, подаваемого на динамик), для соответствующего одного из динамиков. После динамической обработки для конкретных динамиков (иначе говоря, динамической обработки, выполненной независимо для каждого из динамиков) обработанные (например, динамически ограниченные) сигналы, подаваемые на динамики, можно использовать для приведения в действие динамиков с целью воспроизведения звука.

Первый этап динамической обработки (на этапе (b)) может быть выполнен с возможностью уменьшения отвлекающего восприятие сдвига в пространственном балансе, который иначе возникал бы при пропуске этапов (а) и (b) и генерировании динамически обработанных (например, ограниченных) сигналов, подаваемых на громкоговоритель, которые возникают из этапа (d) в ответ на исходные аудиоданные (а не в ответ на обработанные аудиоданные, генерируемые на этапе (b)). Это может предотвратить нежелательный сдвиг в пространственном балансе микширования. Второй этап динамической обработки на этапе (d), действующий в отношении подвергнутых рендерингу сигналов, подаваемых на динамики, из этапа (с), может быть выполнен с возможностью обеспечения отсутствия искажений динамиков, так как динамическая обработка на этапе (b) необязательно может обеспечивать уменьшение уровней сигналов ниже порогов для всех громкоговорителей. Комбинирование конфигурационных данных динамической обработки отдельных громкоговорителей (например, комбинирование порогов на первом этапе (этап (а)) в некоторых примерах может задействовать (например, включать) этап усреднения конфигурационных данных динамической обработки отдельных громкоговорителей (например, порогов ограничения) в динамиках (например, в интеллектуальных звуковых устройствах) или взятие минимального значения конфигурационных данных динамической обработки отдельных громкоговорителей (например, порогов ограничения) в динамиках (например, в интеллектуальных звуковых устройствах).

В некоторых реализациях, когда первый этап динамической обработки (на этапе (b)) действует в отношении аудиоданных, указывающих на пространственное микширование (например, аудиоданные звуковой программы на основе объектов, содержащей по меньшей мире один канал объектов, а также, необязательно, по меньшей мере один канал динамика), этот первый этап можно реализовать в соответствии с техническим решением для обработки звуковых объектов путем использования пространственных зон. В этом случае комбинированные конфигурационные данные динамической обработки отдельных громкоговорителей (например, комбинированные пороги ограничения), связанные с каждой из зон, можно получить с помощью (или в виде) взвешенного среднего конфигурационных данных динамической обработки отдельных громкоговорителей (например, порогов ограничения отдельных динамиков), и эта весовая обработка может быть предоставлена или определена по меньшей мере частично посредством пространственной близости каждого динамика к зоне и/или положения в зоне.

В одном классе вариантов осуществления система рендеринга аудиоданных может выполнять рендеринг по меньшей мере одного аудиопотока (например, множества аудиопотоков для одновременного воспроизведения) и/или воспроизводить подвергнутый рендерингу поток (потоки) через множество произвольно размещенных громкоговорителей, при этом по меньшей мере один (например, два или более) из указанных потоков программы представляет собой (или определяет) пространственное микширование.

Аспекты настоящего изобретения могут включать систему, выполненную (например, запрограммированную) с возможностью выполнения одного или более раскрытых способов или их этапов, и материальный энергонезависимый машиночитаемый носитель данных, на котором реализовано постоянное хранение данных (например, диск или другой материальный носитель данных), и на котором хранится код для выполнения (например, исполняемый код для выполнения) одного или более раскрытых способов или их этапов. Например, некоторые варианты осуществления могут представлять собой или содержать программируемый процессор общего назначения, процессор цифровой обработки сигналов или микропроцессор, запрограммированный с использованием программного обеспечения или программно-аппаратного обеспечения и/или иным образом выполненный с возможностью выполнения любой из множества операций в отношении данных, включая один или более раскрытых способов или их этапов. Такой процессор общего назначения может представлять собой или содержать компьютерную систему, содержащую устройство ввода, запоминающее устройство и подсистему обработки, запрограммированную для (и/или иным образом выполненную с возможностью) выполнения одного или более раскрытых способов (или их этапов) в ответ на передаваемые в нее данные.

По меньшей мере некоторые аспекты настоящего изобретения могут быть реализованы с помощью таких способов, как способы обработки аудиоданных. В некоторых случаях эти способы могут быть по меньшей мере частично реализованы системой управления, такие как те, что описаны в данном документе. Некоторые такие способы включают получение системой управления и через систему интерфейсов конфигурационных данных динамической обработки отдельных громкоговорителей для каждого из множества громкоговорителей среды прослушивания. В некоторых случаях конфигурационные данные динамической обработки отдельных громкоговорителей для одного или более громкоговорителей из множества громкоговорителей могут соответствовать одной или более функциональным возможностям одного или более громкоговорителей. В некоторых примерах конфигурационные данные динамической обработки отдельных громкоговорителей содержат набор конфигурационных данных динамической обработки отдельных громкоговорителей для каждого громкоговорителя из множества громкоговорителей. Некоторые такие способы включают определение системой управления конфигурационных данных динамической обработки среды прослушивания для множества громкоговорителей. В некоторых примерах определение конфигурационных данных динамической обработки среды прослушивания основано на наборе конфигурационных данных динамической обработки отдельных громкоговорителей для каждого громкоговорителя из множества громкоговорителей.

Некоторые такие способы включают прием системой управления через систему интерфейсов аудиоданных, содержащих один или более звуковых сигналов и связанные пространственные данные. В некоторых примерах пространственные данные содержат данные каналов и/или пространственные метаданные. Некоторые такие способы включают выполнение системой управления динамической обработки в отношении аудиоданных на основе конфигурационных данных динамической обработки среды прослушивания с целью генерирования обработанных аудиоданных. Некоторые такие способы включают рендеринг системой управления обработанных аудиоданных для воспроизведения через набор громкоговорителей, содержащий по меньшей мере некоторые из множества громкоговорителей, с целью получения подвергнутых рендерингу звуковых сигналов. Некоторые такие способы включают доставку через систему интерфейсов подвергнутых рендерингу звуковых сигналов в набор громкоговорителей.

В некоторых примерах конфигурационные данные динамической обработки отдельных громкоговорителей могут содержать набор данных порогов ограничения воспроизведения для каждого громкоговорителя из множества громкоговорителей. Набор данных порогов ограничения воспроизведения может, например, содержать пороги ограничения воспроизведения для каждого из множества частот.

Согласно некоторым примерам, определение конфигурационных данных динамической обработки среды прослушивания может включать определение минимальных порогов ограничения воспроизведения по множеству громкоговорителей. В некоторых случаях определение конфигурационных данных динамической обработки среды прослушивания может включать усреднение порогов ограничения воспроизведения по множеству громкоговорителей. В некоторых примерах определение конфигурационных данных динамической обработки среды прослушивания может включать усреднение порогов ограничения воспроизведения с целью получения усредненных порогов ограничения воспроизведения по множеству громкоговорителей, определение минимальных порогов ограничения воспроизведения по множеству громкоговорителей и интерполяцию между минимальными порогами ограничения воспроизведения и усредненными порогами ограничения воспроизведения. В некоторых таких примерах усреднение порогов ограничения воспроизведения может включать определение взвешенного среднего порогов ограничения воспроизведения. Согласно некоторым реализациям взвешенное среднее может являться по меньшей мере частично основанным на характеристиках процесса рендеринга, реализуемого системой управления.

В некоторых примерах выполнение динамической обработки в отношении аудиоданных может быть основано на пространственных зонах, при этом каждая из пространственных зон соответствует подмножеству среды прослушивания. Согласно некоторым таким примерам, взвешенное среднее порогов ограничения воспроизведения может являться по меньшей мере частично основанным на значениях активации громкоговорителей с помощью процесса рендеринга в зависимости от близости звукового сигнала к пространственным зонам. В некоторых примерах взвешенное среднее может являться по меньшей мере частично основанным на значении участия громкоговорителя для каждого громкоговорителя в каждой из пространственных зон. Согласно некоторым таким примерам, каждое значение участия громкоговорителя может являться по меньшей мере частично основанным на одном или более номинальных пространственных положениях в каждой из пространственных зон. В некоторых таких примерах номинальные пространственные положения соответствуют стандартным местоположениям каналов, таким как стандартные местоположения каналов в микшировании окружающего звука Dolby 5.1, Dolby 5.1.2, Dolby 7.1, Dolby 7.1.4 или Dolby 9.1. В некоторых случаях каждое значение участия громкоговорителя может являться по меньшей мере частично основанным на значении активации каждого громкоговорителя, соответствующем рендерингу аудиоданных в каждом из одного или более номинальных пространственных положений в каждой из пространственных зон.

Согласно некоторым реализациям способ также может включать выполнение динамической обработки в отношении подвергнутых рендерингу звуковых сигналов в соответствии с конфигурационными данными динамической обработки отдельных громкоговорителей для каждого громкоговорителя из набора громкоговорителей, в которые доставляются подвергнутые рендерингу звуковые сигналы.

В некоторых примерах рендеринг обработанных аудиоданных может включать определение относительного значения активации набора громкоговорителей в соответствии с одной или более динамически конфигурируемыми функциями. Одна или более динамически конфигурируемых функций могут быть основаны, например, на одном или более свойствах звуковых сигналов, одном или более свойствах набора громкоговорителей и/или одном или более внешних входных сигналах.

Согласно некоторым реализациям выполнение динамической обработки в отношении аудиоданных может основываться на пространственных зонах. Каждая из пространственных зон может соответствовать подмножеству среды прослушивания. В некоторых таких реализациях динамическая обработка может выполняться отдельно для каждой из пространственных зон. В некоторых случаях определение конфигурационных данных динамической обработки среды прослушивания может выполняться отдельно для каждой из пространственных зон.

В некоторых примерах конфигурационные данные динамической обработки отдельных громкоговорителей могут содержать набор данных сжатия динамического диапазона для каждого громкоговорителя из множества громкоговорителей. Согласно некоторым таким примерам, набор данных сжатия динамического диапазона может содержать данные порогов, данные отношения уровней входного и выходного сигналов, данные нарастания, данные ослабления и/или данные загиба.

Согласно некоторым реализациям определение конфигурационных данных динамической обработки среды прослушивания может являться по меньшей мере частично основанным на комбинировании наборов конфигурационных данных динамической обработки по множеству громкоговорителей. В некоторых примерах комбинирование наборов конфигурационных данных динамической обработки по множеству громкоговорителей может являться по меньшей мере частично основанным на характеристиках процесса рендеринга, реализуемого системой управления.

В некоторых таких примерах выполнение динамической обработки в отношении аудиоданных может основываться на одной или более пространственных зонах. Каждая из одной или более пространственных зон может соответствовать всей среде прослушивания или ее подмножеству. В некоторых таких примерах комбинирование наборов конфигурационных данных динамической обработки по множеству громкоговорителей может выполняться отдельно для каждой из одной или более пространственных зон. В некоторых таких примерах комбинирование наборов конфигурационных данных динамической обработки по множеству громкоговорителей отдельно для каждой из одной или более пространственных зон может являться по меньшей мере частично основанным на значениях активации громкоговорителей с помощью процесса рендеринга в зависимости от требуемого местоположения звукового сигнала в одной или более пространственных зонах.

Согласно некоторым таким примерам, комбинирование наборов конфигурационных данных динамической обработки по множеству громкоговорителей отдельно для каждой из одной или более пространственных зон может являться по меньшей мере частично основанным на значении участия громкоговорителя для каждого громкоговорителя в каждой из одной или более пространственных зон. В некоторых таких примерах каждое значение участия громкоговорителя может являться по меньшей мере частично основанным на одном или более номинальных пространственных положениях в каждой из одной или более пространственных зон. В некоторых таких примерах номинальные пространственные положения могут соответствовать стандартным местоположениям каналов, таким как стандартные местоположения каналов в микшировании окружающего звука Dolby 5.1, Dolby 5.1.2, Dolby 7.1, Dolby 7.1.4 или Dolby 9.1. В некоторых случаях каждое значение участия громкоговорителя может являться по меньшей мере частично основанным на значении активации каждого громкоговорителя, соответствующем рендерингу аудиоданных в каждом из одного или более номинальных пространственных положений в каждой из одной или более пространственных зон.

Некоторые или все из операций, функций и/или способов, описанных в данном документе, могут быть выполнены посредством одного или более устройств в соответствии с командами (например, программным обеспечением), хранящимися в одном или более постоянных носителях данных. Такие постоянные носители данных могут содержать запоминающие устройства, такие как те, что описаны в данном документе, включая, но без ограничения, оперативные запоминающие устройства (random access memory, RAM), постоянные запоминающие устройства (read-only memory, ROM) и т. д. Соответственно, некоторые изобретательские особенности объекта, описанные в настоящем изобретении, могут быть реализованы в постоянном носителе данных, содержащем хранящееся в нем программное обеспечение.

Например, программное обеспечение может содержать команды для управления одним или более устройствами с целью выполнения способа, включающего получение системой управления и через систему интерфейсов конфигурационных данных динамической обработки отдельных громкоговорителей для каждого из множества громкоговорителей среды прослушивания. В некоторых случаях конфигурационные данные динамической обработки отдельных громкоговорителей для одного или более громкоговорителей из множества громкоговорителей могут соответствовать одной или более функциональным возможностям одного или более громкоговорителей. В некоторых примерах конфигурационные данные динамической обработки отдельных громкоговорителей содержат набор конфигурационных данных динамической обработки отдельных громкоговорителей для каждого громкоговорителя из множества громкоговорителей. Некоторые такие способы включают определение системой управления конфигурационных данных динамической обработки среды прослушивания для множества громкоговорителей. В некоторых примерах определение конфигурационных данных динамической обработки среды прослушивания основано на наборе конфигурационных данных динамической обработки отдельных громкоговорителей для каждого громкоговорителя из множества громкоговорителей.

В некоторых реализациях аппарат может содержать интерфейсную систему и систему управления. Система управления может содержать один или более одно- или многокристальных процессоров общего назначения, процессоров цифровой обработки сигналов (digital signal processors, DSP), специализированных интегральных схем (application specific integrated circuits, ASIC), программируемых пользователем вентильных матриц (field programmable gate arrays, FPGA) или других программируемых логических устройств, схем на дискретных компонентах или транзисторных логических схем, компонентов дискретного аппаратного обеспечения и/или их комбинации.

В некоторых реализациях система управления может быть выполнена с возможностью выполнения одного или более способов, раскрытых в данном документе. Некоторые такие способы могут включать получение системой управления и через систему интерфейсов конфигурационных данных динамической обработки отдельных громкоговорителей для каждого из множества громкоговорителей среды прослушивания. В некоторых случаях конфигурационные данные динамической обработки отдельных громкоговорителей для одного или более громкоговорителей из множества громкоговорителей могут соответствовать одной или более функциональным возможностям одного или более громкоговорителей. В некоторых примерах конфигурационные данные динамической обработки отдельных громкоговорителей содержат набор конфигурационных данных динамической обработки отдельных громкоговорителей для каждого громкоговорителя из множества громкоговорителей. Некоторые такие способы включают определение системой управления конфигурационных данных динамической обработки среды прослушивания для множества громкоговорителей. В некоторых примерах определение конфигурационных данных динамической обработки среды прослушивания основано на наборе конфигурационных данных динамической обработки отдельных громкоговорителей для каждого громкоговорителя из множества громкоговорителей.

Подробности одной или более реализаций объекта изобретения, описываемого в данном описании, изложены в сопроводительных графических материалах и в приведенном ниже описании. Другие признаки, аспекты и преимущества будут очевидны из описания, графических материалов и формулы изобретения. Следует отметить, что относительные размеры на нижеследующих фигурах могут быть приведены не в масштабе.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

На фиг. 1 представлена блок-схема, на которой показаны примеры компонентов устройства, способного реализовывать различные аспекты настоящего изобретения.

На фиг. 2 изображен вид сверху среды прослушивания, которая в данном примере представляет собой жилую площадь.

На фиг. 3 представлена блок-схема, на которой показаны примеры компонентов системы, способной реализовывать различные аспекты настоящего изобретения.

На фиг. 4A, 4B и 4C представлены примеры порогов ограничения воспроизведения и соответствующие частоты.

На фиг. 5А и 5В представлены графики, на которых показаны примеры данных сжатия динамического диапазона.

На фиг. 6 представлен пример пространственных зон среды прослушивания.

На фиг. 7 представлены примеры громкоговорителей в пространственных зонах по фиг. 6.

На фиг. 8 представлен пример номинальных пространственных положений, наложенных на пространственные зоны и динамики по фиг. 7.

На фиг. 9 представлена блок-схема, на которой описан один пример способа, который может выполняться таким устройством или системой, как те, что раскрыты в данном документе.

На фиг. 10 и 11 представлены схемы, на которых изображен иллюстративный набор значений активации динамиков и положений рендеринга объектов.

На фиг. 12A, 12B и 12C представлены примеры значений участия громкоговорителей, соответствующих примерам по фиг. 10 и 11.

На фиг. 13 представлен график значений активации динамиков в иллюстративном варианте осуществления.

На фиг. 14 представлен график положений рендеринга объектов в иллюстративном варианте осуществления.

На фиг. 15A, 15B и 15C представлены примеры значений участия громкоговорителей, соответствующих примерам по фиг. 13 и 14.

На фиг. 16 представлен график значений активации динамиков в иллюстративном варианте осуществления.

На фиг. 17 представлен график положений рендеринга объектов в иллюстративном варианте осуществления.

На фиг. 18A, 18B и 18C представлены примеры значений участия громкоговорителей, соответствующих примерам по фиг. 16 и 17.

На фиг. 19 представлен график значений активации динамиков в иллюстративном варианте осуществления.

На фиг. 20 представлен график положений рендеринга объектов в иллюстративном варианте осуществления.

На фиг. 21A, 21B и 21C представлены примеры значений участия громкоговорителей, соответствующих примерам по фиг. 19 и 20.

На фиг. 22 изображена схема среды, которая в данном примере представляет собой жилую площадь.

Подобные ссылочные позиции и обозначения в разных графических материалах указывают подобные элементы.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

На фиг. 1 представлена блок-схема, на которой показаны примеры компонентов устройства, способного реализовывать различные аспекты настоящего изобретения. Как и на других фигурах, представленных в данном документе, типы и количества элементов, показанных на фиг. 1, представлены лишь в качестве примера. Другие реализации могут содержать большее, меньшее количество элементов, и/или разные типы и количества элементов. Согласно некоторым примерам, устройство 100 может представлять собой или содержать интеллектуальное звуковое устройство, выполненное с возможностью выполнения по меньшей мере некоторых способов, раскрытых в данном документе. В некоторых реализациях устройство 100 может представлять собой или может содержать другое устройство, выполненное с возможностью выполнения по меньшей мере некоторых из способов, раскрытых в данном документе, такое как ноутбук, сотовый телефон, планшетное устройство, концентратор умного дома и т. д. В некоторых таких реализациях устройство 100 может представлять собой или содержать сервер.

В этом примере устройство 100 содержит систему 105 интерфейсов и систему 110 управления. В некоторых реализациях система 105 интерфейсов может быть выполнена с возможностью приема аудиоданных. Аудиоданные могут содержать звуковые сигналы, запланированные для воспроизведения по меньшей мере некоторыми динамиками среды. Аудиоданные могут содержать один или более звуковых сигналов и связанные пространственные данные. Пространственные данные могут содержать, например, данные каналов и/или пространственные метаданные. Система 105 интерфейсов может быть выполнена с возможностью доставки подвергнутых рендерингу звуковых сигналов в по меньшей мере некоторые громкоговорители набора громкоговорителей среды. В некоторых реализациях система 105 интерфейсов может быть выполнена с возможностью приема входных данных из одного или более микрофонов среды.

Система 105 интерфейсов может содержать один или более сетевых интерфейсов и/или один или более интерфейсов для внешних устройств (таких как один или более интерфейсов универсальной последовательной шины (universal serial bus, USB)). Согласно некоторым реализациям система 105 интерфейсов может содержать один или более беспроводных интерфейсов. Система 105 интерфейсов может содержать одно или более устройств для реализации пользовательского интерфейса, таких как один или более микрофонов, один или более динамиков, систему дисплеев, систему сенсорных датчиков и/или систему датчиков жестов. В некоторых примерах система 105 интерфейсов может содержать один или более интерфейсов между системой 110 управления и системой памяти, такой как необязательная система 115 памяти, представленная на фиг. 1. Однако в некоторых случаях система 110 управления может содержать систему памяти.

Например, система 110 управления может содержать одно- или многокристальный процессор общего назначения, процессор цифровой обработки сигналов (DSP), интегральную схему специального назначения (ASIC), программируемую пользователем вентильную матрицу (FPGA) или другое программируемое логическое устройство, схему на дискретных компонентах или транзисторную логическую схему, и/или компоненты дискретного аппаратного обеспечения.

В некоторых реализациях система 110 управления может находиться в более чем одном устройстве. Например, одна часть системы 110 управления может находиться в устройстве в одной из сред, изображенных в данном документе, а другая часть системы 110 управления может находиться в устройстве, находящемся за пределами этой среды, таком как сервер, мобильное устройство (например, смартфон или планшетный компьютер) и т. д. В других примерах одна часть системы 110 управления может находиться в устройстве в одной из сред, изображенных в данном документе, а другая часть системы 110 управления может находиться в одном или более других устройствах этой среды. Например, функциональные возможности системы управления могут быть распределены по нескольким интеллектуальным звуковым устройствам среды или могут быть разделены между организующим устройством (таким, что в данном документе может называться концентратором умного дома) и одним или более устройствами этой среды. В некоторых таких примерах в более чем одном устройстве также может находиться система 105 интерфейсов.

В некоторых реализациях система 110 управления может быть выполнена с возможностью выполнения по меньшей мере частично способов, раскрытых в данном документе. Согласно некоторым примерам, система 110 управления может быть выполнена с возможностью реализации способов управления воспроизведением множества потоков аудиоданных через множество динамиков.

Некоторые или все способы, описанные в данном документе, могут быть выполнены с помощью одного или более устройств в соответствии с командами (например, программным обеспечением), хранящимися на одном или более постоянных носителях данных. Такие постоянные носители данных могут включать запоминающие устройства, такие как те, что описаны в данном документе, включая, но без ограничения, оперативные запоминающие устройства (RAM), постоянные запоминающие устройства (ROM) и т. д. Один или более постоянных носителей данных могут находиться, например, в необязательной системе 115 памяти, представленной на фиг. 1, и/или в системе 110 управления. Соответственно, различные новаторские аспекты предмета изобретения, описанного в настоящем изобретении, могут быть реализованы в одном или более постоянных носителях данных, содержащих хранящееся на них программное обеспечение. Например, программное обеспечение может содержать команды для управления по меньшей мере одним устройством с целью обработки аудиоданных. Например, программное обеспечение может быть выполнено с возможностью исполнения одним или более компонентами системы управления, такой как система 110 управления по фиг. 1.

В некоторых примерах устройство 100 может содержать необязательную систему 120 микрофонов, представленную на фиг. 1. Необязательная система 120 микрофонов может содержать один или более микрофонов. В некоторых реализациях один или более микрофонов могут являться частью или быть связанными с другим устройством, таким как динамик системы динамиков, интеллектуальное звуковое устройство и т. д.

Согласно некоторым реализациям устройство 100 может содержать необязательную систему 125 громкоговорителей, представленную на фиг. 1. Необязательная система 125 громкоговорителей может содержать один или более громкоговорителей. В данном документе громкоговорители иногда могут называться «динамиками». В некоторых примерах по меньшей мере некоторые громкоговорители необязательной системы 125 громкоговорителей могут быть расположены произвольно. Например, по меньшей мере некоторые динамики необязательной системы 125 громкоговорителей могут быть размещены в местоположениях, не соответствующих какой-либо предписанной стандартом схеме размещения динамиков, такой как Dolby 5.1, Dolby 5.1.2, Dolby 7.1, Dolby 7.1.4, Dolby 9.1, Hamasaki 22.2 и т. д. В некоторых таких примерах по меньшей мере некоторые громкоговорители необязательной системы 125 громкоговорителей могут быть размещены в местоположениях, удобных для данного пространства (например, в тех местоположениях, где имеется пространство для размещения громкоговорителей), а не по какой-либо предписанной стандартом схеме размещения громкоговорителей.

В некоторых реализациях устройство 100 может содержать необязательную систему 130 датчиков, представленную на фиг. 1. Необязательная система 130 датчиков может содержать одну или более камер, сенсорных датчиков, датчиков жестов, датчиков движения и т. д. Согласно некоторым реализациям необязательная система 130 датчиков может содержать одну или более камер. В некоторых реализациях камеры могут представлять собой автономные камеры. В некоторых примерах одна или более камер необязательной системы 130 датчиков могут находиться в интеллектуальном звуковом устройстве, которое может представлять собой звуковое устройство специального назначения или виртуального цифрового помощника. В некоторых таких примерах одна или более камер необязательной системы 130 датчиков могут находиться в телевизоре, мобильном телефоне или интеллектуальном динамике.

В некоторых реализациях устройство 100 может содержать необязательную систему 135 дисплеев, представленную на фиг. 1. Необязательная система 135 дисплеев может содержать один или более дисплеев, таких как один или более светодиодных (light-emitting diode, LED) дисплеев. В некоторых случаях необязательная система 135 дисплеев может содержать один или более дисплеев на органических светодиодах (organic light-emitting diode, OLED). В некоторых примерах, в которых устройство 100 содержит систему 135 дисплеев, система 130 датчиков может содержать систему сенсорных датчиков и/или систему датчиков жестов поблизости от одного или более дисплеев системы 135 дисплеев. Согласно некоторым таким реализациям, система 110 управления может быть выполнена с возможностью управления системой 135 дисплеев с целью предоставления графического пользовательского интерфейса (graphical user interface, GUI), такого как один из GUI, раскрытых в данном документе.

Согласно некоторым примерам, устройство 100 может представлять собой или может содержать интеллектуальное звуковое устройство. В некоторых таких реализациях устройство 100 может представлять собой или может содержать детектор пробуждающего слова. Например, устройство 100 может представлять собой или может содержать виртуального цифрового помощника.

На фиг. 2 изображен вид сверху среды прослушивания, которая в данном примере представляет собой жилую площадь. Как и на других фигурах, представленных в данном документе, типы и количества элементов, показанных на фиг. 2, представлены лишь в качестве примера. Другие реализации могут содержать большее, меньшее количество элементов, и/или разные типы и количества элементов. Согласно данному примеру, среда 200 содержит жилую комнату 210 вверху слева, кухню 215 внизу в центре и спальню 222 внизу справа. Прямоугольники и круги, распределенные по жилой площади, представляют набор громкоговорителей 205a–205h, по меньшей мере некоторые из которых в некоторых реализациях могут представлять собой интеллектуальные динамики, размещенные в местоположениях, удобных для этого пространства, но не привязывающиеся к какой-либо предписанной стандартом схеме размещения (размещены произвольно). В некоторых примерах громкоговорители 205a–205h могут являться скоординированными для реализации одного или более раскрытых вариантов осуществления.

Согласно некоторым примерам, среда 200 может содержать концентратор умного дома для реализации по меньшей мере некоторых из раскрытых способов. Согласно некоторым таким реализациям, концентратор умного дома может содержать по меньшей мере часть вышеописанной системы 110 управления. В некоторых примерах концентратор умного дома может быть реализован интеллектуальным устройством (таким как интеллектуальный динамик, мобильный телефон, интеллектуальный телевизор, устройство, используемое для реализации виртуального цифрового помощника, и т. д.).

В этом примере среда 200 содержит камеры 211a–211e, которые распределены по всей среде. В некоторых реализациях одно или более интеллектуальных звуковых устройств в среде 200 также могут содержать одну или более камер. Одно или более интеллектуальных звуковых устройств могут представлять собой звуковые устройства специального назначения или виртуальных цифровых помощников. В некоторых таких примерах одна или более камер необязательной системы 130 датчиков могут находиться в телевизоре 230 или на нем, в мобильном телефоне или в интеллектуальном динамике, таком как один или более громкоговорителей 205b, 205d, 205e и 205h. Хотя камеры 211a–211e не показаны на каждом изображении среды 200, представленной в данном описании, каждая из сред 200 может, тем не менее, содержать одну или более камер в некоторых реализациях.

При гибком рендеринге рендеринг пространственных аудиоданных может выполняться для произвольного количества произвольно размещенных динамиков. При условии широкого распространения в доме интеллектуальных звуковых устройств (например, интеллектуальных динамиков), существует потребность в реализации технологии гибкого рендеринга, позволяющей потребителям выполнять гибкий рендеринг аудиоданных и воспроизводить подвергнутые этому рендерингу аудиоданные с использованием интеллектуальных звуковых устройств.

Для реализации гибкого рендеринга было разработано несколько технологий, в том числе: «Амплитудное панорамирование центра масс» (Center of Mass Amplitude Panning, CMAP) и «Гибкая виртуализация» (Flexible Virtualization, FV).

В контексте выполнения рендеринга (или рендеринга и воспроизведения) пространственного звукового микса (например, рендеринга потока аудиоданных или нескольких потоков аудиоданных) для воспроизведения интеллектуальными звуковыми устройствами из набора интеллектуальных звуковых устройств (или другим набором динамиков), типы динамиков (например, в интеллектуальных звуковых устройствах или соединенных с интеллектуальными звуковыми устройствами) могут варьироваться, и поэтому могут весьма значительно варьироваться соответствующие акустические функциональные возможности динамиков. В примере, представленном на фиг. 2, громкоговорители 205d, 205f и 205h представляют собой интеллектуальные динамики с одним динамиком диаметром 0,6 дюйма. В этом примере громкоговорители 205b, 205c, 205e и 205f представляют собой интеллектуальные динамики, содержащие низкочастотный динамик диаметром 2,5 дюйма и высокочастотный динамик диаметром 0,8 дюйма. Согласно данному примеру громкоговоритель 205g представляет собой интеллектуальный динамик, с низкочастотным динамиком диаметром 5,25 дюймов, тремя среднечастотными динамиками диаметром 2 дюйма и высокочастотным динамиком диаметром 1,0 дюйма. Здесь громкоговоритель 205а представляет собой звуковую панель, содержащую шестнадцать излучающих головок диаметром 1,1 дюйма и два низкочастотных динамика диаметром 4 дюйма. Соответственно, низкочастотные функциональные возможности интеллектуальных динамиков 205d и 205f являются значительно меньшими, чем у других громкоговорителей в среде 200, в частности, у громкоговорителей, содержащих низкочастотные динамики диаметром 4 дюйма или 5,25 дюймов.

На фиг. 3 представлена блок-схема, на которой показаны примеры компонентов системы, способной реализовывать различные аспекты настоящего изобретения. Как и на других фигурах, представленных в данном документе, типы и количества элементов, показанных на фиг. 1, представлены лишь в качестве примера. Другие реализации могут содержать большее, меньшее количество элементов, и/или разные типы и количества элементов.

Согласно данному примеру, система 300 содержит концентратор 305 умного дома и громкоговорители 205а–205m. В этом примере концентратор 305 умного дома содержит пример системы 110 управления, представленной на фиг. 1 и описанной выше. Согласно данной реализации, система 110 управления содержит модуль 310 конфигурационных данных динамической обработки среды прослушивания, модуль 315 динамической обработки среды прослушивания и модуль 320 рендеринга. Ниже описаны некоторые примеры модуля 310 конфигурационных данных динамической обработки среды прослушивания, модуля 315 динамической обработки среды прослушивания и модуля 320 рендеринга. В некоторых примерах модуль 320’ рендеринга может быть выполнен с возможностью как рендеринга, так и динамической обработки среды прослушивания.

Как показано стрелками между концентратором 305 умного дома и громкоговорителями 205а–205m, концентратор 305 умного дома также содержит пример системы 105 интерфейсов, представленной на фиг. 1 и описанной выше. Согласно некоторым примерам, концентратор 305 умного дома может являться частью среды 200, представленной на фиг. 2. В некоторых случаях концентратор 305 умного дома может быть реализован с помощью интеллектуального динамика, интеллектуального телевизора, сотового телефона, ноутбука и т. д. В некоторых реализациях концентратор 305 умного дома может быть реализован с помощью программного обеспечения, например, с помощью программного обеспечения из загружаемого программного приложения, или «app». В некоторых случаях концентратор 305 умного дома может быть реализован в каждом из громкоговорителей 205а–m, которые функционируют параллельно с целью генерирования одинаковых обработанных звуковых сигналов из модуля 320. Согласно некоторым таким примерам, в каждом из громкоговорителей модуль 320 рендеринга затем может генерировать один или более сигналов, подаваемых на динамики, которые соответствуют каждому громкоговорителю или группе громкоговорителей, и может доставлять эти сигналы, подаваемые на динамики, в модуль динамической обработки каждого динамика.

В некоторых случаях громкоговорители 205a–205m могут содержать громкоговорители 205a–205h по фиг. 2, тогда как в других примерах громкоговорители 205a–205m могут представлять собой или содержать другие громкоговорители. Соответственно, в этом примере система 300 содержит M громкоговорителей, где M представляет собой целое число больше 2.

В интеллектуальных динамиках, а также во многих других активных динамиках для предотвращения искажения динамиков обычно используется внутренняя динамическая обработка некоторого типа. С такой динамической обработкой часто связаны пороги ограничения сигналов (например, пороги ограничения, являющиеся переменными по частоте), ниже которых уровень сигнала поддерживается динамически. Например, такую обработку предоставляет Audio Regulator от Dolby, один из нескольких алгоритмов программного пакета постобработки аудиоданных Dolby Audio Processing (DAP). В некоторых случаях, но обычно не в случае модуля динамической обработки интеллектуального динамика, динамическая обработка также может включать применение одного или более компрессоров, вентилей, расширителей, дакеров и т. д.

Соответственно, в этом примере каждый из громкоговорителей 205а–205m содержит соответствующие модули А–М динамической обработки (dynamics processing, DP) динамика. Эти модули динамической обработки динамика выполнены с возможностью применения конфигурационных данных динамической обработки отдельных громкоговорителей для каждого отдельного громкоговорителя среды прослушивания. Модуль A DP динамика, например, выполнен с возможностью применения конфигурационных данных динамической обработки отдельных громкоговорителей, соответствующих громкоговорителю 205а. В некоторых примерах конфигурационные данные динамической обработки отдельных громкоговорителей могут соответствовать одной или более функциональным возможностям отдельного громкоговорителя, таким как способность громкоговорителя воспроизводить аудиоданные в определенном диапазоне частот и на определенном уровне без значительного искажения.

При выполнении рендеринга пространственных аудиоданных через набор разнородных динамиков (например, динамиков интеллектуальных звуковых устройств или динамиков, соединенных с интеллектуальными звуковыми устройствами), каждый из которых потенциально характеризуется разными ограничениями воспроизведения, необходимо тщательно следить за выполнением динамической обработки в отношении всего микширования. Простым решением является рендеринг пространственного микширования в сигналы, подаваемые на динамики для каждого из участвующих динамиков, а затем обеспечение возможности независимого функционирования модуля динамической обработки, связанного с каждым динамиком, в отношении соответствующего ему сигнала, подаваемого на динамик, в соответствии с ограничениями этого динамика.

Несмотря на то, что данный подход будет предотвращать искажение каждого динамика, он может динамически сдвигать пространственный баланс микширования отвлекающим восприятие образом. Например, со ссылкой на фиг. 2 предположим, что телевизионная программа демонстрируется на телевизоре 230, и что соответствующие аудиоданные воспроизводятся громкоговорителями среды 200. Предположим, что в ходе телевизионной программы намечен рендеринг аудиоданных, связанных с неподвижным объектом (таким как единица тяжелой техники на заводе), в положение 244. Дополнительно предположим, что модуль динамической обработки, связанный с громкоговорителем 205d, понижает уровень аудиоданных в низкочастотном диапазоне в значительно большей степени, чем модуль динамической обработки, связанный с громкоговорителем 205b, вследствие существенно больших функциональных возможностей воспроизведения громкоговорителем 205b звуков в низкочастотном диапазоне. Если громкость сигнала, связанного с неподвижным объектом, колеблется, то, когда эта громкость становится выше, модуль динамической обработки, связанный с громкоговорителем 205d, будет вызывать понижение уровня аудиоданных в низкочастотном диапазоне в значительно большей степени, чем при понижении уровня тех же аудиоданных модулем динамической обработки, связанным с громкоговорителем 205b. Эта разность в уровнях будет вызывать изменение явного местоположения неподвижного объекта. Поэтому требуется усовершенствованное решение.

Некоторые варианты осуществления настоящего изобретения представляют собой системы и способы рендеринга (или рендеринга и воспроизведения) пространственного звукового микса (например, рендеринга потока аудиоданных или нескольких потоков аудиоданных) для воспроизведения по меньшей мере одним (например, всеми или некоторыми) из интеллектуальных звуковых устройств набора интеллектуальных звуковых устройств (например, набора скоординированных интеллектуальных звуковых устройств) и/или по меньшей мере одним (например, всеми или некоторыми) из динамиков другого набора динамиков. Некоторые варианты осуществления представляют собой способы (или системы) для такого рендеринга (например, включающего генерирование сигналов, подаваемых на динамики), а также воспроизведения подвергнутых рендерингу аудиоданных (например, воспроизведения сгенерированных сигналов, подаваемых на динамики). Примеры таких вариантов осуществления включают следующие.

Системы и способы для обработки аудиоданных могут включать рендеринг аудиоданных (например, рендеринг пространственного звукового микса, например, путем рендеринга потока аудиоданных или нескольких потоков аудиоданных) для воспроизведения по меньшей мере двумя динамиками (например, всеми или некоторыми из динамиков набора динамиков), что включает:

(a) комбинирование конфигурационных данных динамической обработки отдельных громкоговорителей, (таких как пороги ограничения (пороги ограничения воспроизведения) отдельных громкоговорителей, посредством чего определяются конфигурационные данные динамической обработки среды прослушивания для множества громкоговорителей (такие как комбинированные пороги);

Согласно некоторым реализациям этап (а) может выполняться таким модулем, как модуль 310 конфигурационных данных динамической обработки среды прослушивания, представленный на фиг. 3. Концентратор 305 умного дома может быть выполнен с возможностью получения через систему интерфейсов конфигурационных данных динамической обработки отдельных громкоговорителей для каждого из M громкоговорителей. В этой реализации конфигурационные данные динамической обработки отдельных громкоговорителей содержат набор конфигурационных данных динамической обработки отдельных громкоговорителей для каждого громкоговорителя из множества громкоговорителей. Согласно некоторым примерам, конфигурационные данные динамической обработки отдельных громкоговорителей для одного или более громкоговорителей могут соответствовать одной или более функциональным возможностям одного или более громкоговорителей. В этом примере каждый из наборов конфигурационных данных динамической обработки отдельных громкоговорителей содержит по меньшей мере один тип конфигурационных данных динамической обработки. В некоторых примерах концентратор 305 умного дома может быть выполнен с возможностью получения наборов конфигурационных данных динамической обработки отдельных громкоговорителей путем запроса каждого из громкоговорителей 205a–205m. В других реализациях концентратор 305 умного дома может быть выполнен с возможностью получения наборов конфигурационных данных динамической обработки отдельных громкоговорителей путем запроса структуры данных из ранее полученных наборов конфигурационных данных динамической обработки отдельных громкоговорителей, хранящихся в запоминающем устройстве.

В некоторых примерах этап (b) может выполняться таким модулем, как модуль 315 динамической обработки среды прослушивания по фиг. 3. Ниже описаны некоторые подробные примеры этапов (а) и (b).

В некоторых примерах рендеринг в соответствии с этапом (с) может выполняться таким модулем, как модуль 320 рендеринга или модуль 320’ рендеринга по фиг. 3. В некоторых вариантах осуществления обработка аудиоданных может включать:

Динамики могут включать динамики по меньшей мере одного (например, всех или некоторых) из интеллектуальных звуковых устройств набора интеллектуальных звуковых устройств (или могут быть соединены по меньшей мере с одним из интеллектуальных звуковых устройств набора интеллектуальных звуковых устройств). В некоторых реализациях для генерирования ограниченных сигналов, подаваемых на динамики, на этапе (d) сигналы, подаваемые на динамики, сгенерированные на этапе (с), могут подвергаться обработке с помощью второго этапа динамической обработки (например, связанной с каждым динамиком системы динамической обработки), например, с целью генерирования сигналов, подаваемых на динамики, перед их окончательным воспроизведением через динамики. Например, сигналы, подаваемые на динамики (или их подмножество, или их часть), могут доставляться в систему динамической обработки каждого отдельного из динамиков (например, в подсистему динамической обработки интеллектуального звукового устройства, при этом интеллектуальное звуковое устройство содержит соответствующий один из динамиков или соединено с ним), и обработанные выходные аудиоданные из каждой указанной системы динамической обработки можно использовать для генерирования сигнала, подаваемого на динамик, для соответствующего одного из динамиков. После динамической обработки для конкретных динамиков (иначе говоря, динамической обработки, выполненной независимо для каждого из динамиков) обработанные (например, динамически ограниченные) сигналы, подаваемые на динамики, можно использовать для приведения в действие динамиков с целью воспроизведения звука.

Первый этап динамической обработки (на этапе (b)) может быть выполнен с возможностью уменьшения отвлекающего восприятие сдвига в пространственном балансе, который иначе возникал бы при пропуске этапов (а) и (b) и генерировании динамически обработанных (например, ограниченных) сигналов, подаваемых на громкоговоритель, которые возникают из этапа (d) в ответ на исходные аудиоданные (а не в ответ на обработанные аудиоданные, генерируемые на этапе (b)). Это может предотвратить нежелательный сдвиг в пространственном балансе микширования. Второй этап динамической обработки, действующий в отношении подвергнутых рендерингу сигналов, подаваемых на динамики, из этапа (с), может быть выполнен с возможностью обеспечения отсутствия искажений динамиков, так как динамическая обработка на этапе (b) необязательно может обеспечивать уменьшение уровней сигналов ниже порогов для всех громкоговорителей. Комбинирование конфигурационных данных динамической обработки отдельных громкоговорителей (например, комбинирование порогов на первом этапе (этап (а)) в некоторых примерах может задействовать (например, включать) этап усреднения конфигурационных данных динамической обработки отдельных громкоговорителей (например, порогов ограничения) в динамиках (например, в интеллектуальных звуковых устройствах) или взятие минимального значения конфигурационных данных динамической обработки отдельных громкоговорителей (например, порогов ограничения) в динамиках (например, в интеллектуальных звуковых устройствах).

В иллюстративном варианте осуществления предполагается множество из M динамиков (), в котором каждый динамик индексирован с помощью переменной i. С каждым динамиком i связан набор переменных по частоте порогов ограничения воспроизведения, , где переменная f отображает индекс в конечное множество частот, при которых определены эти пороги. (Следует отметить, что если размер множества частот равен единице, то соответствующий единственный порог можно считать широкополосным, применимым по всему диапазону частот). Эти пороги используются каждым динамиком в его собственной, независимой функции динамической обработки для ограничения звукового сигнала ниже порогов для конкретной цели, такой как предотвращение искажения динамика или воспроизведения динамиком за пределами некоторого уровня, который считается недопустимым вблизи него.

На фиг. 4A, 4B и 4C представлены примеры порогов ограничения воспроизведения и соответствующие частоты. Например, представленный диапазон частот может охватывать диапазон частот, слышимых обычным человеком (например, от 20 Гц до 20 кГц). В этих примерах пороги ограничения воспроизведения указаны вертикальными осями графиков 400a, 400b и 400c, которые в этих примерах обозначены как «Порог уровня». Пороги ограничения/уровня воспроизведения увеличиваются в направлении стрелок на вертикальных осях. Пороги ограничения/уровня воспроизведения могут быть выражены, например, в децибелах. В этих примерах горизонтальные оси графиков 400a, 400b и 400c указывают частоты, которые увеличиваются в направлении стрелок на горизонтальных осях. Пороги ограничения воспроизведения, указанные кривыми 400a, 400b и 400c, могут быть реализованы, например, модулями динамической обработки отдельных громкоговорителей.

На графике 400a по фиг. 4А представлен первый пример порога ограничения воспроизведения в зависимости от частоты. Кривая 405a указывает порог ограничения воспроизведения для каждого соответствующего значения частоты. В этом примере при низкой частоте f_b входные аудиоданные, принятые на входном уровне T_i, будут выводиться модулем динамической обработки на выходном уровне T_o. Например, низкая частота f_b может находиться в диапазоне от 60 до 250 Гц. Однако в этом примере на высокой частоте f_b входные аудиоданные, принятые на входном уровне T_i, будут выводиться модулем динамической обработки на том же уровне, входном уровне T_i. Например, высокая частота f_b может находиться в диапазоне выше 1280 Гц. Соответственно, в этом примере кривая 405а соответствует модулю динамической обработки, который применяет для низких частот значительно более низкий порог, чем для верхних частот. Такой модуль динамической обработки может подходить для громкоговорителя, не содержащего низкочастотный динамик (например, для громкоговорителя 205d по фиг. 2).

На графике 400b по фиг. 4В представлен второй пример порога ограничения воспроизведения в зависимости от частоты. Кривая 405b указывает, что на такой же низкой частоте f_b, представленной на фиг. 4А, входные аудиоданные, принятые на входном уровне T_i, будут выводиться модулем динамической обработки на более высоком выходном уровне T_o. Соответственно, в этом примере кривая 405b соответствует модулю динамической обработки, который не применяет для низких частот такой же низкий порог, как кривая 405a. Такой модуль динамической обработки может подходить для громкоговорителя, содержащего по меньшей мере небольшой низкочастотный динамик (например, для громкоговорителя 205b по фиг. 2).

На графике 400c по фиг. 4С представлен второй пример порога ограничения воспроизведения в зависимости от частоты. Кривая 405c (которая в этом примере представляет собой прямую линию) указывает, что на такой же низкой частоте f_b, представленной на фиг. 4А, входные аудиоданные, принятые на входном уровне T_i, будут выводиться модулем динамической обработки на том же уровне. Соответственно, в этом примере кривая 405c соответствует модулю динамической обработки, который может подходить для громкоговорителя, способного воспроизводить широкий диапазон частот, в том числе низких частот. Можно наблюдать, что для простоты модуль динамической обработки может аппроксимировать кривую 405с путем реализации кривой 405d, которая применяет одинаковый порог для всех указанных частот.

Пространственный звуковой микс может подвергаться рендерингу для множества динамиков с использованием известной системы рендеринга, такой как «Амплитудное панорамирование центра масс» (CMAP) или «Гибкая виртуализация» (FV). Для составных частей пространственного звукового микса система рендеринга генерирует сигналы, подаваемые на динамики, по одному для каждого из множества динамиков. В некоторых предыдущих примерах сигналы, подаваемые на динамики, затем независимо обрабатывались связанной с каждым динамиком функцией динамической обработки с использованием порогов . В отсутствие преимуществ настоящего изобретения, этот описанный сценарий рендеринга может приводить к отвлекающим сдвигам в воспринимаемом пространственном балансе подвергнутого рендерингу пространственного звукового микса. Например, один из M динамиков, предположим на правой стороне области прослушивания, может быть менее функциональным, чем другие (например, при рендеринге аудиоданных в низкочастотном диапазоне), и поэтому пороги для этого динамика могут быть значительно более низкими, чем те, что для других динамиков, по меньшей мере в конкретном диапазоне частот. В ходе воспроизведения модуль динамической обработки этого динамика будут понижать уровень составляющих пространственного микширования на правой стороне в значительно большей степени, чем составляющих на левой стороне. Слушатели являются чрезвычайно чувствительными к таким динамическим сдвигам между левым/правым балансом пространственного микширования и могут находить результаты весьма отвлекающими.

Для решения этой проблемы, в некоторых примерах конфигурационные данные динамической обработки отдельных громкоговорителей (например, пороги ограничения воспроизведения) для отдельных динамиков среды прослушивания комбинируются с целью создания конфигурационных данных динамической обработки среды прослушивания для всех громкоговорителей среды прослушивания. Конфигурационные данные динамической обработки среды прослушивания можно затем использовать для выполнения начальной динамической обработки в контексте всего пространственного звукового микса перед его рендерингом в сигналы, подаваемые на динамики. Так как этот первый этап динамической обработки имеет доступ ко всему пространственному микшированию, в отличие от одного независимого сигнала, подаваемого на динамик, обработка может выполняться способами, которые не придают отвлекающие сдвиги воспринимаемому пространственному балансу микширования. Конфигурационные данные динамической обработки отдельных громкоговорителей (например, пороги ограничения воспроизведения) могут комбинироваться способом, который исключает или уменьшает объем динамической обработки, выполняемой с помощью любой из независимых функций динамической обработки отдельных динамиков.

В одном примере определения конфигурационных данных динамической обработки среды прослушивания конфигурационные данные динамической обработки отдельных громкоговорителей (например, пороги ограничения воспроизведения) для отдельных динамиков могут комбинироваться в единый набор конфигурационных данных динамической обработки среды прослушивания (например, переменных по частоте порогов ограничения воспроизведения ), которые применяются ко всем составляющим пространственного микширования на первом этапе динамической обработки. Согласно некоторым таким примерам, так как ограничение является одинаковым в отношении всех составляющих, пространственный баланс микширования может сохраняться. Одним способом комбинирования конфигурационных данных динамической обработки отдельных громкоговорителей (например, порогов ограничения воспроизведения) является взятие минимального значения по всем динамикам i:

Такое комбинирование по существу исключает операцию динамической обработки каждого отдельного динамика, так как пространственное микширование сначала ограничивается ниже порога наименее функционального динамика на каждой частоте. Однако такая стратегия может являться излишне агрессивной. Многие динамики могут выполнять воспроизведение на уровне ниже их функциональных возможностей, и комбинированный уровень воспроизведения всех динамиков может являться недопустимо низким. Например, при применении порогов в низкочастотном диапазоне, представленном на фиг. 4А, к громкоговорителю, соответствующему порогам для фиг. 4С, уровень воспроизведения последнего динамика в низкочастотном диапазоне будет излишне низким. Альтернативным комбинированием определения конфигурационных данных динамической обработки среды прослушивания является взятие среднего (усреднение) конфигурационных данных динамической обработки отдельных громкоговорителей по всем динамикам среды прослушивания. Например, в контексте порогов ограничения воспроизведения это среднее можно определить следующим образом:

При таком комбинировании общий уровень воспроизведения может повышаться по сравнению с взятием минимального значения, так как первый этап динамической обработки выполняет ограничение до более высокого уровня и, таким образом, обеспечивает возможность более громкого воспроизведения динамиками с большими функциональными возможностями. Для динамиков, индивидуальные пороги ограничения которых находятся ниже среднего, их независимые функции динамической обработки при необходимости могут по-прежнему ограничивать связанный с ними сигнал, подаваемый на динамик. Однако первый этап динамической обработки, вероятно, будет снижать потребности в этом ограничении, так как некоторое начальное ограничение было выполнено в отношении пространственного микширования.

Согласно некоторым примерам определения конфигурационных данных динамической обработки среды прослушивания, можно создать перестраиваемую комбинацию, с интерполяцией между минимальным и средним значениями конфигурационных данных динамической обработки отдельных громкоговорителей с помощью параметра настройки . Например, в контексте порогов ограничения воспроизведения эту интерполяцию можно определить следующим образом:

Возможны и другие комбинации конфигурационных данных динамической обработки отдельных громкоговорителей, и подразумевается, что настоящее изобретение охватывает все такие комбинации.

На фиг. 5А и 5В представлены графики, на которых показаны примеры данных сжатия динамического диапазона. На графиках 500a и 500b уровни входного сигнала в децибелах представлены на горизонтальных осях, и уровни выходного сигнала в децибелах представлены на вертикальных осях. Как и в других раскрытых примерах, конкретные пороги, коэффициенты и другие величины представлены лишь в качестве примера и не являются ограничивающими.

В примере, представленном на фиг. 5А, уровень выходного сигнала равен уровню входного сигнала ниже порога, который в данном примере равен -10 дБ. Другие примеры могут включать разные пороги, например, -20 дБ, -18 дБ, -16 дБ, -14 дБ, -12 дБ, -8 дБ, -6 дБ, -4 дБ, -2 дБ, 0 дБ, 2 дБ, 4 дБ, 6 дБ и т. д. Выше порога представлены различные примеры коэффициентов сжатия. Коэффициент N:1 означает, что выше порога уровень выходного сигнала будет повышаться на 1 дБ для каждого повышения на N дБ во входном сигнале. Например, коэффициент сжатия 10:1 (линия 505е) означает, что выше порога уровень выходного сигнала будет повышаться лишь на 1 дБ для каждого повышения на 10 дБ во входном сигнале. Коэффициент сжатия 1:1 (линия 505a) означает, что уровень выходного сигнала по-прежнему равен уровню входного сигнала даже выше порога. Линии 505b, 505c и 505d соответствуют коэффициентам сжатия 3:2, 2:1 и 5:1. В других реализациях могут быть предусмотрены другие коэффициенты сжатия, такие как 2.5:1, 3:1, 3.5:1, 4:3, 4:1 и т. д.

На фиг. 5В представлены примеры «загибов», которые управляют изменением коэффициента сжатия при или вблизи порога, который в данном примере равен 0 дБ. Согласно данному примеру, кривая сжатия, содержащая «жесткий» загиб, состоит из двух прямолинейных сегментов, линейного сегмента 510а до порога и линейного сегмента 510b выше порога. Жесткий загиб можно проще реализовать, однако он может вызывать артефакты.

На фиг. 5В также представлен один пример «мягкого» загиба. В этом примере мягкий загиб охватывает 10 дБ. Согласно данной реализации, выше и ниже охвата в 10 дБ коэффициенты сжатия кривой сжатия, содержащей мягкий загиб, являются такими же, как те, что у кривой сжатия, содержащей жесткий загиб. В других реализациях могут предоставляться различные другие формы «мягких» загибов, которые могут охватывать большее или меньшее количество децибел, что может указывать на другой коэффициент сжатия выше охвата, и т. д.

Другие типы данных сжатия динамического диапазона могут включать данные «нарастания » и данные «ослабления». «Нарастание» представляет собой период, в течение которого компрессор уменьшает коэффициент усиления, например, в ответ на повышенный уровень на входе с целью достижения коэффициента усиления, определяемого коэффициентом сжатия. Время нарастания для компрессоров обычно находится в диапазоне от 25 миллисекунд до 500 миллисекунд, хотя возможно и другое время нарастания. «Ослабление» представляет собой период, в течение которого компрессор увеличивает коэффициент усиления, например, в ответ на пониженный уровень на входе с целью достижения выходного коэффициента усиления, определяемого коэффициентом сжатия (или входного уровня, если входной уровень упал ниже порога). Например, время ослабления может находиться в диапазоне от 25 миллисекунд до 2 секунд.

Соответственно, в некоторых примерах конфигурационные данные динамической обработки отдельных громкоговорителей могут содержать набор данных сжатия динамического диапазона для каждого громкоговорителя из множества громкоговорителей. Набор данных сжатия динамического диапазона может содержать данные порогов, данные отношения уровней входного и выходного сигналов, данные нарастания, данные ослабления и/или данные загиба. Один или более из этих типов конфигурационных данных динамической обработки отдельных громкоговорителей можно комбинировать для определения конфигурационных данных динамической обработки среды прослушивания. Как отмечено выше в отношении комбинирования порогов ограничения воспроизведения, в некоторых примерах для определения конфигурационных данных динамической обработки среды прослушивания данные сжатия динамического диапазона можно усреднить. В некоторых случаях для определения конфигурационных данных динамической обработки среды прослушивания можно использовать минимальное или максимальное значение данных сжатия динамического диапазона (например, максимальный коэффициент сжатия). В других реализациях можно создать перестраиваемую комбинацию с интерполяцией между минимальным и средним значениями данных сжатия динамического диапазона для динамической обработки отдельных громкоговорителей, например, с помощью такого параметра настройки, как параметр, описанный выше со ссылкой на уравнение (3).

В некоторых вышеописанных примерах на первом этапе динамической обработки ко всем составляющим пространственного микширования применяется один набор конфигурационных данных динамической обработки среды прослушивания (например, один набор комбинированных порогов, ). Такие реализации могут сохранять пространственный баланс микширования, но вызывать другие нежелательные артефакты. Например, когда очень громкая часть пространственного микширования в выделенной области пространства вызывает снижение уровня всего микширования, может возникать «пространственное приглушение». Другие, более мягкие составляющие микширования, отдаленные в пространстве от этой громкой составляющей, могут восприниматься как становящиеся неестественно мягкими. Например, мягкая фоновая музыка может воспроизводиться в окружающем поле пространственного микширования на уровне ниже комбинированных порогов, , и поэтому на первом этапе динамической обработки не выполняется никакое ограничение пространственного микширования. Затем спереди пространственного микширования (например, на экране в случае звуковой дорожки фильма) мгновенно вводится громкий выстрел, и общий уровень микширования превышает комбинированные пороги. В этот момент первый этап динамической обработки понижает уровень всего микширования ниже порогов Так как музыка пространственно отделена от выстрела, она может восприниматься в непрерывном потоке музыки как неестественно приглушенная.

Для решения этих проблем в некоторых реализациях обеспечивается возможность независимой или частично независимой динамической обработки в отношении разных «пространственных зон» пространственного микширования. Пространственную зону можно считать подмножеством области пространства, в отношении которой выполняется рендеринг всего пространственного микширования. И хотя в большей части следующего обсуждения предоставлены примеры динамической обработки на основе порогов ограничения воспроизведения, эта концепция в равной мере применима к конфигурационным данным динамической обработки отдельных громкоговорителей и конфигурационным данным динамической обработки среды прослушивания других типов.

На фиг. 6 представлен пример пространственных зон среды прослушивания. На фиг. 6 изображен пример области пространственного микширования (представленного целым квадратом), подразделенным на три пространственные зоны: Переднюю, Центральную и Окружающую.

Несмотря на то, что зоны на фиг. 6 изображены с жесткими границами, на практике преимущественной является интерпретация перехода от одной пространственной зоны к другой как непрерывного. Например, составляющая пространственного микширования, расположенная в середине левой границы квадрата, может содержать половину ее уровня, отнесенную к передней зоне, и половину — к окружающей зоне. Таким непрерывным образом можно отнести и накопить уровень сигнала от каждой составляющей пространственного микширования в каждой из пространственных зон. Тогда функция динамической обработки может функционировать независимо для каждой пространственной зоны в отношении общего уровня сигнала, отнесенного к ней из микширования. Тогда для каждой составляющей пространственного микширования можно комбинировать и применять к этой составляющей результаты динамической обработки на основе каждой пространственной зоны (например, переменные во времени коэффициенты усиления по частоте). В некоторых примерах результаты такого комбинирования пространственных зон отличаются для каждой составляющей и зависят от отнесения данной конкретной составляющей к каждой зоне. Конечным результатом является то, что составляющие пространственного микширования с подобными отнесениями к пространственным зонам получают подобную динамическую обработку, однако допускается независимость между пространственными зонами. Пространственные зоны можно преимущественно выбрать так, чтобы предотвратить нежелательные пространственные сдвиги, такие как нарушение баланса слева/справа, и, в то же время, обеспечить возможность некоторой пространственно независимой обработки (например, подавления других артефактов, таких как описанное пространственное приглушение).

Технические решения для обработки пространственного микширования с помощью пространственных зон можно преимущественно использовать на первом этапе динамической обработки согласно настоящему изобретению. Например, для каждой пространственной зоны можно вычислить различную комбинацию конфигурационных данных динамической обработки отдельных громкоговорителей (например, порогов ограничения воспроизведения) в динамиках i. Набор комбинированных порогов зон можно представить в виде , где индекс j относится к одной из множества пространственных зон. Модуль динамической обработки может действовать независимо в отношении каждой пространственной зоны со связанными с ней порогами , и результаты можно обратно применить в отношении составных частей пространственного микширования согласно вышеописанному техническому решению.

Рассмотрим подвергаемый рендерингу пространственный сигнал как состоящий из К отдельных составляющих сигналов , каждый из которых связан с требуемым пространственным положением (возможно, переменным во времени). Одним конкретным способом реализации обработки зон является вычисление переменных во времени коэффициентов усиления при панорамировании, , которые описывают, какая доля каждого звукового сигнала вносит вклад в зону j в зависимости от требуемого пространственного положения звукового сигнала относительно положения зоны. Эти коэффициенты усиления при панорамировании преимущественно могут быть предназначены для следования закону сохранения энергии при панорамировании, который требует, чтобы сумма квадратов этих коэффициентов усиления была равна единице. На основе этих коэффициентов усиления при панорамировании сигналы зоны, , можно вычислить как сумму составляющих сигналов, подвергнутых весовой обработке с помощью их коэффициента усиления при панорамировании для данной зоны:

Сигнал каждой зоны может затем обрабатываться независимо функцией DP динамической обработки, параметризованной порогами зон, , для получения переменных по частоте и во времени модифицированных коэффициентов усиления зон, G_j:

Затем путем комбинирования модифицированных коэффициентов усиления зон пропорционально коэффициентам усиления при панорамировании этого сигнала для зон, , можно вычислить переменные по частоте и во времени модифицированные коэффициенты усиления для каждого отдельного составляющего сигнала:

Эти модифицированные коэффициенты усиления сигнала, G_k, можно затем применить к каждому составляющему сигналу, например, с использованием банка фильтров, с целью получения подвергнутых динамической обработке составляющих сигналов, , которые могут затем подвергаться рендерингу в сигналы динамиков.

Комбинирование конфигурационных данных динамической обработки отдельных громкоговорителей (таких, как пороги ограничения воспроизведения динамиков) для каждой пространственной зоны можно выполнить множеством способов. В качестве одного примера пороги ограничения воспроизведения пространственных зон можно вычислить как взвешенную сумму порогов ограничения воспроизведения динамиков с использованием зависящей от пространственных зон и динамиков весовой обработки :

Аналогичные функции весовой обработки можно применять к другим типам конфигурационных данных динамической обработки отдельных громкоговорителей. Преимущественно комбинированные конфигурационные данные динамической обработки отдельных громкоговорителей (например, пороги ограничения воспроизведения) пространственной зоны можно сместить к конфигурационным данным динамической обработки отдельных громкоговорителей (например, порогам ограничения воспроизведения) для динамиков, наиболее ответственных за воспроизведение компонентов пространственного микширования, связанных с этой пространственной зоной. Этого можно достичь путем задания весовых коэффициентов в зависимости от ответственности каждого динамика за рендеринг составляющих пространственного микширования, связанных с этой зоной, для частоты f.

На фиг. 7 представлены примеры громкоговорителей в пространственных зонах по фиг. 6. На фиг. 7 изображены такие же зоны, как на фиг. 6, но с наложенными на них местоположениями пяти иллюстративных громкоговорителей (динамиков 1, 2, 3, 4 и 5), ответственных за рендеринг пространственного микширования. В этом примере громкоговорители 1, 2, 3, 4 и 5 представлены ромбами. В данном конкретном примере динамик 1 в наибольшей степени отвечает за рендеринг центральной зоны, динамики 2 и 5 за рендеринг передней зоны и динамики 3 и 4 за рендеринг окружающей зоны. Можно создать весовые коэффициенты на основе этого условного однозначного отображения динамиков в пространственные зоны, но, как и в случае обработки пространственного микширования на основе пространственных зон, предпочтительным может являться более непрерывное отображение. Например, динамик 4 находится весьма близко к передней зоне, и составляющая звукового микса, расположенная между динамиками 4 и 5 (хотя и в условно передней зоне), вероятно, в наибольшей степени будет воспроизводиться комбинацией динамиков 4 и 5. Поэтому имеет смысл внесение вклада конфигурационных данных динамической обработки отдельных громкоговорителей (например, порогов ограничения воспроизведения) динамика 4 в комбинированные конфигурационные данные динамической обработки отдельных громкоговорителей (например, пороги ограничения воспроизведения) передней зоны, а также окружающей зоны.

Одним способом достижения этого непрерывного отображения является приравнивание весовых коэффициентов значению участия динамика, описывающему относительный вклад каждого динамика i в рендеринг составляющих, связанных с пространственной зоной j. Эти значения можно получить непосредственно из системы рендеринга, ответственной за рендеринг в динамиках (например, из вышеописанного этапа (с)), и набора из одного или более номинальных пространственных положений, связанных с каждой пространственной зоной. Этот набор номинальных пространственных положений может включать набор положений в каждой пространственной зоне.

На фиг. 8 представлен пример номинальных пространственных положений, наложенных на пространственные зоны и динамики по фиг. 7. Номинальные положения указаны с помощью пронумерованных кругов: с передней зоной связаны два положения, расположенные в верхних углах квадрата, с центральной зоной связано единственное положение в верхней средней части квадрата, и с окружающей зоной связаны два положения в нижних углах квадрата.

С целью вычисления значения участия динамика для пространственной зоны, каждое из номинальный положений, связанных с этой зоной, может быть подвергнуто рендерингу с помощью средства рендеринга с целью генерирования значений активации динамиков, связанных с этим положением. Эти значения активации могут представлять собой, например, коэффициент усиления для каждого динамика в случае CMAP или комплексное значение на заданной частоте для каждого динамика в случае FV. Затем для каждого динамика и зоны эти значения активации можно накопить для каждого из номинальных положений, связанных с пространственной зоной для получения значения . Это значение представляет общее значение активации динамика i для рендеринга всего набора номинальных положений, связанных с пространственной зоной j. Наконец, значение участия динамика в пространственной зоне можно вычислить как накопленное значение активации, , нормализованное на сумму всех этих накопленных значений активации для динамиков. Затем весовые коэффициенты можно приблизить к этому значению участия динамика:

Описанная нормализация обеспечивает то, что сумма по всем динамикам i равна единице, что является требуемым свойством для весовых коэффициентов в уравнении 8.

Согласно некоторым реализациям вышеописанный способ вычисления значений участия динамиков и комбинирования порогов в зависимости от этих значений можно выполнять как статический способ, в котором результирующие комбинированные пороги вычисляются один раз в ходе процедуры установки, при которой определяется схема размещения и функциональные возможности динамиков в среде. Можно предположить, что в такой системе после установки остаются статичными как конфигурационные данные динамической обработки отдельных громкоговорителей, так и способ, которым алгоритм рендеринга активирует громкоговорители в зависимости от требуемого местоположения звукового сигнала. В некоторых системах, однако, оба эти аспекта могут изменяться с течением времени, например, в ответ на изменение условий в среде воспроизведения, и поэтому для учета этих изменений может потребоваться обновление комбинированных порогов в соответствии с вышеописанным способом или непрерывно, или способом инициирования при наступлении события.

В ответ на изменения в среде прослушивания, оба алгоритма рендеринга, CMAP и FV, можно дополнить для адаптации к одной или более динамически конфигурируемым функциям. Например, со ссылкой на фиг. 7, человек, находящийся вблизи динамика 3, может произносить пробуждающее слово виртуального цифрового помощника, связанного с динамиками, таким образом переводя систему в состояние, в котором она готова услышать следующую команду от этого человека. После произнесения пробуждающего слова, система может определять местоположение человека с использованием микрофонов, связанных с громкоговорителями. С помощью этой информации система затем может выбирать перенаправление энергии аудиоданных, воспроизводимых из динамика 3, в другие динамики так, чтобы микрофоны на динамике 3 могли лучше слышать человека. В таком сценарии динамик 2 на фиг. 7 может в течение некоторого промежутка времени по существу «брать на себя» обязательства динамика 3, и, как следствие, значения участия динамиков для окружающей зоны значительно изменяются; значение участия динамика 3 уменьшается, а значение участия динамика 2 увеличивается. Затем пороги зон можно вычислить повторно, так как они зависят от изменившихся значений участия динамиков. Альтернативно или в дополнение к этим изменениям в алгоритме рендеринга, пороги ограничения динамика 3 могут быть уменьшены ниже их номинальных значений, установленных для предотвращения искажения динамика. Этим можно обеспечить то, что остаточное воспроизведение аудиоданных из динамика 3 не выходит за пределы некоторого порога, определенного как такого, что создает помехи в микрофонах, слушающих человека. Так как пороги зон также зависят от порогов отдельных динамиков, их в этом случае также можно обновить.

На фиг. 9 представлена блок-схема, на которой описан один пример способа, который может выполняться таким устройством или системой, как те, что раскрыты в данном документе. Этапы способа 900, как и других способов, описанных в данном документе, необязательно выполняются в указанном порядке. В некоторых реализациях один или более этапов способа 900 могут выполняться одновременно. Более того, некоторые реализации способа 900 могут включать больше или меньше этапов, чем представлено и/или описано. Этапы способа 900 могут выполняться одним или более устройствами, которые могут представлять собой (или могут содержать) систему управления, такую как система 110 управления, которая представлена на фиг. 1 и описанная выше, или один из других примеров раскрытых систем управления.

Согласно этому примеру, этап 905 включает получение системой управления и через систему интерфейсов конфигурационных данных динамической обработки отдельных громкоговорителей для каждого из множества громкоговорителей среды прослушивания. В этой реализации конфигурационные данные динамической обработки отдельных громкоговорителей содержат набор конфигурационных данных динамической обработки отдельных громкоговорителей для каждого громкоговорителя из множества громкоговорителей. Согласно некоторым примерам, конфигурационные данные динамической обработки отдельных громкоговорителей для одного или более громкоговорителей могут соответствовать одной или более функциональным возможностям одного или более громкоговорителей. В этом примере каждый из наборов конфигурационных данных динамической обработки отдельных громкоговорителей содержит по меньшей мере один тип конфигурационных данных динамической обработки.

В некоторых случаях этап 905 может включать получение наборов конфигурационных данных динамической обработки отдельных громкоговорителей из каждого из множества громкоговорителей среды прослушивания. В других примерах этап 905 может включать получение наборов конфигурационных данных динамической обработки отдельных громкоговорителей из структуры данных, хранящейся в запоминающем устройстве. Например, наборы конфигурационных данных динамической обработки отдельных громкоговорителей могли быть получены ранее, например, как часть процедуры установки для каждого из громкоговорителей, и сохранены в структуре данных.

Согласно некоторым примерам, наборы конфигурационных данных динамической обработки отдельных громкоговорителей могут являться специализированными. В некоторых таких примерах наборы конфигурационных данных динамической обработки отдельных громкоговорителей могли быть оценены ранее на основе конфигурационных данных динамической обработки отдельных громкоговорителей для динамиков, имеющих аналогичные характеристики. Например, этап 905 может включать процесс подбора динамиков для определения наиболее похожего динамика из структуры данных, указывающей на множество динамиков, и соответствующего набора конфигурационных данных динамической обработки отдельных громкоговорителей для каждого из этого множества динамиков. Этап сравнения динамиков может основываться, например, на сравнении размера одного или более из низкочастотных динамиков, высокочастотных динамиков и/или среднечастотных динамиков.

В этом примере этап 910 включает определение системой управления конфигурационных данных динамической обработки среды прослушивания для множества громкоговорителей. Согласно этой реализации, определение конфигурационных данных динамической обработки среды прослушивания основано на наборе конфигурационных данных динамической обработки отдельных громкоговорителей для каждого громкоговорителя из множества громкоговорителей. Определение конфигурационных данных динамической обработки среды прослушивания может включать комбинирование конфигурационных данных динамической обработки отдельных громкоговорителей из набора конфигурационных данных динамической обработки, например, путем взятия среднего конфигурационных данных динамической обработки отдельных громкоговорителей одного или более типов. В некоторых случаях определение конфигурационных данных динамической обработки среды прослушивания может включать определение минимального или максимального значений конфигурационных данных динамической обработки отдельных громкоговорителей одного или более типов. Согласно некоторым таким реализациям, определение конфигурационных данных динамической обработки среды прослушивания может включать интерполяцию между минимальным или максимальным значением и средним значением конфигурационных данных динамической обработки отдельных громкоговорителей одного или более типов.

В этой реализации этап 915 включает прием системой управления и через систему интерфейсов аудиоданных, содержащих один или более звуковых сигналов и связанные пространственные данные. Например, пространственные данные могут указывать намеченное воспринимаемое пространственное положение, соответствующее звуковому сигналу. В этом примере пространственные данные содержат данные каналов и/или пространственные метаданные.

В этом примере этап 920 включает выполнение системой управления динамической обработки в отношении аудиоданных на основе конфигурационных данных динамической обработки среды прослушивания с целью генерирования обработанных аудиоданных. Динамическая обработка этапа 920 может включать любой из раскрытых в данном документе способов динамической обработки, которые включают, но без ограничения, применение одного или более порогов ограничения воспроизведения, данных сжатия и т. д.

В данном случае этап 925 включает рендеринг системой управления обработанных аудиоданных для воспроизведения через набор громкоговорителей, содержащий по меньшей мере некоторые из множества громкоговорителей, с целью получения подвергнутых рендерингу звуковых сигналов. В некоторых примерах этап 925 может включать применение процесса рендеринга CMAP, процесса рендеринга FV или комбинации двух этих способов. В этом примере этап 920 выполняется перед этапом 925. Однако, как отмечено выше, этап 920 и/или этап 910 могут являться по меньшей мере частично основанными на процессе рендеринга согласно этапу 925. Этапы 920 и 925 могут включать выполнение таких способов, как те, что описаны выше со ссылкой на модуль динамической обработки среды прослушивания и модуль 320 рендеринга по фиг. 3.

Согласно этому примеру, этап 930 включает доставку через систему интерфейсов подвергнутых рендерингу звуковых сигналов в набор громкоговорителей. В одном примере этап 930 может включать доставку подвергнутых рендерингу звуковых сигналов в громкоговорители 205а–205m через концентратор 305 умного дома и его систему интерфейсов.

В некоторых примерах способ 900 может включать выполнение динамической обработки в отношении подвергнутых рендерингу звуковых сигналов в соответствии с конфигурационными данными динамической обработки отдельных громкоговорителей для каждого громкоговорителя из набора громкоговорителей, в которые доставляются подвергнутые рендерингу звуковые сигналы. Например, снова со ссылкой на фиг. 3, модули А–М динамической обработки могут выполнять динамическую обработку в отношении подвергнутых рендерингу звуковых сигналов в соответствии с конфигурационными данными динамической обработки отдельных громкоговорителей для громкоговорителей 205а–205m.

В некоторых реализациях конфигурационные данные динамической обработки отдельных громкоговорителей могут содержать набор данных порогов ограничения воспроизведения для каждого громкоговорителя из множества громкоговорителей. В некоторых таких примерах набор данных порогов ограничения воспроизведения может содержать пороги ограничения воспроизведения для каждой из множества частот.

В некоторых случаях определение конфигурационных данных динамической обработки среды прослушивания может включать определение минимальных порогов ограничения воспроизведения по множеству громкоговорителей. В некоторых примерах определение конфигурационных данных динамической обработки среды прослушивания может включать усреднение порогов ограничения воспроизведения с целью получения усредненных порогов ограничения воспроизведения по множеству громкоговорителей. В некоторых таких примерах определение конфигурационных данных динамической обработки среды прослушивания может включать определение минимальных порогов ограничения воспроизведения по множеству громкоговорителей и интерполяцию между минимальными порогами ограничения воспроизведения и усредненными порогами ограничения воспроизведения.

Согласно некоторым реализациям усреднение порогов ограничения воспроизведения может включать определение взвешенного среднего порогов ограничения воспроизведения. В некоторых таких примерах взвешенное среднее может являться по меньшей мере частично основанным на характеристиках процесса рендеринга, реализуемого системой управления, например, характеристиках процесса рендеринга согласно этапу 925.

В некоторых реализациях выполнение динамической обработки в отношении аудиоданных может основываться на пространственных зонах. Каждая из пространственных зон может соответствовать подмножеству среды прослушивания.

Согласно некоторым таким реализациям динамическая обработка может выполняться отдельно для каждой из пространственных зон. Например, определение конфигурационных данных динамической обработки среды прослушивания может выполняться отдельно для каждой из пространственных зон. Например, отдельно для каждой из одной или более пространственных зон может выполняться комбинирование наборов конфигурационных данных динамической обработки по множеству громкоговорителей. В некоторых примерах комбинирование наборов конфигурационных данных динамической обработки по множеству громкоговорителей отдельно для каждой из одной или более пространственных зон может являться по меньшей мере частично основанным на значениях активации громкоговорителей с помощью процесса рендеринга в зависимости от требуемого местоположения звукового сигнала в одной или более пространственных зонах.

В некоторых примерах комбинирование наборов конфигурационных данных динамической обработки по множеству громкоговорителей отдельно для каждой из одной или более пространственных зон может являться по меньшей мере частично основанным на значении участия громкоговорителя для каждого громкоговорителя в каждой из одной или более пространственных зон. Каждое значение участия громкоговорителя может являться по меньшей мере частично основанным на одном или более номинальных пространственных положениях в каждой из одной или более пространственных зон. В некоторых примерах номинальные пространственные положения могут соответствовать стандартным местоположениям каналов в микшировании окружающего звука Dolby 5.1, Dolby 5.1.2, Dolby 7.1, Dolby 7.1.4 или Dolby 9.1. В некоторых таких реализациях каждое значение участия громкоговорителя является по меньшей мере частично основанным на значении активации каждого громкоговорителя, соответствующем рендерингу аудиоданных в каждом из одного или более номинальных пространственных положений в каждой из одной или более пространственных зон.

Согласно некоторым таким примерам, взвешенное среднее порогов ограничения воспроизведения может являться по меньшей мере частично основанным на значениях активации громкоговорителей с помощью процесса рендеринга в зависимости от близости звукового сигнала к пространственным зонам. В некоторых случаях взвешенное среднее может являться по меньшей мере частично основанным на значении участия громкоговорителя для каждого громкоговорителя в каждой из пространственных зон. В некоторым таких примерах каждое значение участия громкоговорителя может являться по меньшей мере частично основанным на одном или более номинальных пространственных положениях в каждой из пространственных зон. Например, номинальные пространственные положения могут соответствовать стандартным местоположениям каналов в микшировании окружающего звука Dolby 5.1, Dolby 5.1.2, Dolby 7.1, Dolby 7.1.4 или Dolby 9.1. В некоторых реализациях каждое значение участия громкоговорителя может являться по меньшей мере частично основанным на значении активации каждого громкоговорителя, соответствующем рендерингу аудиоданных в каждом из одного или более номинальных пространственных положений в каждой из пространственных зон.

Согласно некоторым реализациям рендеринг обработанных аудиоданных может включать определение относительного значения активации набора громкоговорителей в соответствии с одной или более динамически конфигурируемыми функциями. Некоторые примеры описаны ниже со ссылкой на фиг. 10 и следующие. Одна или более динамически конфигурируемых функций могут основываться на одном или более свойствах звуковых сигналов, одном или более свойствах набора громкоговорителей, или одном или более внешних входных сигналах. Например, одна или более динамически конфигурируемых функций могут основываться на близости громкоговорителей к одному или более слушателям; близости громкоговорителей к положению силы притяжения, при этом сила притяжения представляет собой фактор, благоприятствующий относительно большему значению активации громкоговорителя, расположенного ближе к положению силы притяжения; близости громкоговорителей к положению силы отталкивания, при этом сила отталкивания представляет собой фактор, благоприятствующий относительно меньшему значению активации громкоговорителя, расположенного ближе к положению силы отталкивания; функциональных возможностях каждого громкоговорителя относительно других громкоговорителей в среде; синхронизации громкоговорителей относительно других громкоговорителей; выполнении пробуждающего слова; или выполнении эхоподавителя.

Относительное значение активации динамиков в некоторых примерах может основываться на функции стоимости модели воспринимаемого пространственного положения звуковых сигналов при воспроизведении динамиками, критерии близости намеченного воспринимаемого пространственного положения звуковых сигналов к положениям динамиков и одной или более из динамически конфигурируемых функций.

В некоторых примерах минимизация функции стоимости (содержащей по меньшей мере один показатель динамической активации динамика) может приводить к деактивации по меньшей мере одного из динамиков (в том смысле, что каждый такой динамик не воспроизводит соответствующее звуковое содержимое) и активации по меньшей мере одного из динамиков (в том смысле, что каждый такой динамик воспроизводит по меньшей мере некоторую часть подвергнутого рендерингу звукового содержимого). Показатель (показатели) динамической активации динамика может делать возможным по меньшей мере один из множества вариантов поведения, в том числе деформации пространственного представления аудиоданных в сторону от конкретного интеллектуального звукового устройства, для того чтобы его микрофон мог лучше слышать говорящего, или чтобы вторичный аудиопоток можно было лучше слышать из динамика (динамиков) интеллектуального звукового устройства.

Согласно некоторым реализациям конфигурационные данные динамической обработки отдельных громкоговорителей могут содержать набор данных сжатия динамического диапазона для каждого громкоговорителя из множества громкоговорителей. В некоторых случаях набор данных сжатия динамического диапазона может содержать одно или более из данных порогов, данных отношения уровней входного и выходного сигналов, данных нарастания, данных ослабления или данных загиба.

Как отмечено выше, в некоторых реализациях по меньшей мере некоторые этапы способа 900, которые представлены на фиг. 9, могут быть опущены. Например, в некоторых реализациях этапы 905 и 910 выполняются в ходе процесса установки. В некоторых реализациях после определения конфигурационных данных динамической обработки среды прослушивания этапы 905–910 не выполняются заново в ходе операций «рабочего цикла» до тех пор, пока не изменится тип и/или расположение динамиков среды прослушивания. Например, в некоторых реализациях может происходить исходная проверка с целью определения, были ли добавлены или отключены какие-либо громкоговорители, изменились ли положения каких-либо громкоговорителей, и т. д. Если да, то этапы 905 и 910 могут быть реализованы. Если нет, то этапы 905 и 910 могут не выполняться заново перед операциями «рабочего цикла», которые могут включать этапы 915–930.

Как отмечено выше, существующие гибкие технические решения рендеринга включают «Амплитудное панорамирование центра масс» (CMAP) и «Гибкую виртуализацию» (FV). С профессиональной точки зрения, оба этих технических решения выполняют рендеринг набора из одного или более звуковых сигналов, каждый из которых имеет связанное требуемое воспринимаемое пространственное положение, для воспроизведения через набор из двух или более динамиков, при этом относительное значение активации динамиков из набора зависит от модели воспринимаемого пространственного положения указанных звуковых сигналов, воспроизводимых через эти динамики, и близости требуемого воспринимаемого пространственного положения звуковых сигналов к положениям динамиков. Эта модель обеспечивает слышимость для слушателя звукового сигнала рядом с его намеченным пространственным положением, а показатель близости управляет тем, какие динамики используются для достижения этого пространственного впечатления. В частности показатель близости благоприятствует активации динамиков, находящихся рядом с требуемым воспринимаемым пространственным положением звукового сигнала. И для CMAP, и для FV эту функциональную взаимосвязь удобно получить из функции стоимости, записанной в виде суммы двух показателей, одного для пространственного аспекта, и одного для близости:

В данном случае множество обозначает положения множества M громкоговорителей, обозначает требуемое воспринимаемое пространственное положение звукового сигнала, и g обозначает M-мерный вектор значений активации динамиков. Для CMAP каждое значение активации в этом векторе представляет коэффициент усиления для динамика, тогда как для FV каждое значение активации представляет фильтр (в этом, втором случае g можно эквивалентно рассматривать как вектор комплексных значений на определенной частоте, и для образования фильтра на множестве частот вычисляется другое g). Оптимальный вектор значений активации находят путем минимизации функции стоимости по значениям активации:

С помощью известных определений функции стоимости трудно управлять абсолютным уровнем оптимальных значений активации, являющихся результатом вышеописанной минимизации, хотя относительный уровень между составляющими является подходящим. Для решения этой проблемы последующую нормализацию можно выполнить так, чтобы абсолютный уровень значений активации стал управляемым. Например, может требоваться нормализация вектора на единичную длину, что согласовывается с обычно используемыми правилами панорамирования с постоянной энергией:

Точное поведение алгоритма гибкого рендеринга определяется конкретной структурой двух показателей функции стоимости, и . Для CMAP получают из модели, которая размещает воспринимаемое пространственное положение звукового сигнала, воспроизводимого из набора громкоговорителей, в центре массы положений этих громкоговорителей, подвергнутых весовой обработке с помощью связанных с ними активирующих коэффициентов усиления, (элементов вектора g):

Уравнение 3 затем преобразуется в пространственную стоимость, представляющую квадратичную ошибку между требуемым положением аудиоданных и аудиоданными, полученными активированными громкоговорителями:

Для FV пространственный показатель функции стоимости определяют иначе. Целью является получение бинауральной характеристики b, соответствующей положению звукового объекта, , в левом и правом ушах слушателя. Теоретически b представляет собой вектор фильтров (по одному фильтру для каждого уха) размера 2x1, однако с ним более удобно обращаться как с вектором комплексных значений размера 2x1 на определенной частоте. Совершая дальнейшие действия с помощью этого представления на определенной частоте, требуемую бинауральную характеристику можно получить из набора индексов HRTF с помощью положения объекта:

В то же время, бинауральная характеристика e размера 2x1, получаемая в ушах слушателя с помощью громкоговорителей, моделируется в виде матрицы звукопередачи, H, размера 2xM, умноженной на вектор комплексных значений активации динамиков, g, размера Mx1:

Матрица звукопередачи, H, моделируется на основе набора положений громкоговорителей, , относительно положения слушателя. Наконец, пространственная составляющая функции стоимости задана как квадратичная ошибка между требуемой бинауральной характеристикой (уравнение 14) и бинауральной характеристикой, полученной с помощью громкоговорителей (уравнение 15):

Для удобства пространственный показатель функции стоимости для CMAP и FV, заданный в уравнениях 13 и 16, можно в обоих случаях преобразовать в квадратную матрицу, зависящую от значений активации динамиков, g:

где A представляет собой квадратную матрицу размера M x M, B представляет собой вектор размера 1xM, и C представляет собой скалярную величину. Матрица A имеет ранг 2, поэтому, когда M > 2, существует бесконечное количество значений активации динамиков, g, для которых показатель пространственного отклонения равен нулю. Введение второго показателя функции стоимости, , исключает эту неопределенность и приводит к частному решению со свойствами восприятия, преимущественными по сравнению с другими возможными решениями. Как для CMAP, так и для FV, построен так, что значения активации динамиков, положение которых отдалено от требуемого положения звукового сигнала, , исключаются в большей степени, чем значения активации динамиков, положение которых близко к требуемому положению. Такое построение приводит к оптимальному набору значений активации динамиков, которые являются рассеянными, при этом в значительной степени активируются только динамики в непосредственной близости от требуемого положения звукового сигнала, и на практике это приводит к пространственному воспроизведению звукового сигнала, которое является для восприятия более устойчивым к перемещению слушателя рядом с набором динамиков.

Для этого второй показатель функции стоимости, , можно задать как взвешенную по расстояниям сумму квадратов абсолютных значений активаций динамиков. Компактно это представлено в матричной форме в виде:

где D представляет собой диагональную матрицу ухудшений расстояния между требуемым положением аудиоданных и каждым динамиком:

Функция ухудшения расстояния может принимать множество форм, но полезной параметризацией является следующая:

где представляет собой евклидово расстояние между требуемым положением аудиоданных и положением динамика, и и представляют собой перестраиваемые параметры. Параметр указывает глобальную силу ухудшения; соответствует пространственной степени ухудшения расстояния (будут исключены громкоговорители на расстоянии приблизительно или далее) и учитывает внезапность наступления ухудшения на расстоянии .

Комбинирование двух показателей функции стоимости, заданных в уравнениях 17 и 18а, приводит к общей функции стоимости.

Приравнивание к нулю производной этой функции стоимости по g и решение для g дает оптимальное решение для значений активации динамиков:

В целом оптимальное решение в уравнении 20 может приводить к значениям активации динамиков, отрицательным по величине. Для построения с помощью CMAP гибкого средства рендеринга эти отрицательные значения активации могут являться нежелательными, поэтому уравнение (20) можно минимизировать при условии, что все значения активации остаются положительными.

На фиг. 10 и 11 представлены схемы, на которых изображен иллюстративный набор значений активации динамиков и положений рендеринга объектов. В этих примерах значения активации динамиков и положения рендеринга объектов соответствуют положениям динамиков 4, 64, 165, -87 и -4 градусов. В других реализациях может иметься больше или меньше динамиков и/или динамики в разных положениях. На фиг. 10 представлены значения активации динамиков, 1005a, 1010a, 1015a, 1020a и 1025a, которые содержат оптимальное решение уравнения 20 для этих конкретных положений динамиков. На фиг. 11 положения отдельных динамиков представлены на графике в виде квадратов 1105, 1110, 1115, 1120 и 1125, которые соответствуют значениям активации динамиков, 1005a, 1010a, 1015a, 1020a и 1025a, соответственно, по фиг. 10. На фиг. 11 угол 4 соответствует положению 1120 динамика, угол 64 соответствует положению 1125 динамика, угол 165 соответствует положению 1110 динамика, угол -87 соответствует положению 1105 динамика, и угол -4 соответствует положению 1115 динамика. На фиг. 11 также представлены идеальные положения объектов (иначе говоря, положения, в которых звуковые объекты должны подвергаться рендерингу) для множества возможных углов объектов в виде точек 1130а и соответствующие фактические положения рендеринга для этих объектов в виде точек 1135а, соединенных с идеальными положениями объектов пунктирными линиями 1140а.

На фиг. 12A, 12B и 12C представлены примеры значений участия громкоговорителей, соответствующих примерам по фиг. 10 и 11. На фиг. 12A, 12B и 12C угол -4,1 соответствует положению 1115 динамика по фиг. 11, угол 4,1 соответствует положению 1120 динамика по фиг. 11, угол -87 соответствует положению 1105 динамика по фиг. 11, угол 63,6 соответствует положению 1125 динамика по фиг. 11, и угол 165,4 соответствует положению 1110 динамика по фиг. 11. Эти значения участия громкоговорителей представляют собой примеры «весовых коэффициентов», связанных с пространственными зонами, раскрытыми в других местах данного документа. Согласно этим примерам, значения участия громкоговорителей, представленные на фиг. 12A, 12B и 12C, соответствуют участию каждого громкоговорителя в каждой из пространственных зон, представленных на фиг. 6: значения участия громкоговорителей, представленные на фиг. 12A, соответствует участию каждого громкоговорителя в центральной зоне, значения участия громкоговорителей, представленные на фиг. 12В, соответствует участию каждого громкоговорителя в передней левой и правой зонах, и значения участия громкоговорителей, представленные на фиг. 12С, соответствует участию каждого громкоговорителя в задней зоне.

Сочетание гибких способов рендеринга (реализованных в соответствии с некоторыми вариантами осуществления) с набором беспроводных интеллектуальных динамиков (или других интеллектуальных звуковых устройств) может приводить к удобной в использовании системе рендеринга пространственного звука с чрезвычайно большими функциональными возможностями. При рассмотрении взаимодействий с такой системой становится очевидно, что с целью оптимизации для других задач, которые могут возникнуть в ходе использования этой системы, могут потребоваться динамические модификации пространственного рендеринга. Для достижения этой цели, один класс вариантов осуществления дополняет существующие гибкие алгоритмы рендеринга (в которых значение активации динамика зависит от ранее раскрытых пространственного показателя и показателя близости) одной или более дополнительными динамически конфигурируемыми функциями, зависящими от одного или более свойств подвергаемых рендерингу звуковых сигналов, набора динамиков и/или других внешних входных сигналов. Согласно некоторым вариантам осуществления, функция стоимости существующего гибкого рендеринга, приведенная в уравнении 1, дополняется одной или более этими дополнительными зависимостями в соответствии с

В уравнении 21 показатели представляют дополнительные показатели стоимости, где представляет набор из одного или более свойств подвергаемых рендерингу звуковых сигналов (например, звуковой программы на основе объектов), представляет набор из одного или более свойств динамиков, подвергаемых рендерингу звуковых сигналов и представляет один или более дополнительных внешних входных сигналов. Каждый показатель возвращает стоимость в зависимости от значений активации, g, в отношении комбинации из одного или более свойств звуковых сигналов, динамиков и/или внешних входных сигналов, обобщенно представленных множеством . Следует понимать, что набор содержит по меньшей мере только один элемент из , и .

Примеры включают, но без ограничения:

• требуемое воспринимаемое пространственное положение звукового сигнала;

• уровень (возможно, переменный во времени) звукового сигнала; и/или

• спектр (возможно, переменный во времени) звукового сигнала.

Примеры включают, но без ограничения:

• местоположения громкоговорителей в пространстве прослушивания;

• частотную характеристику громкоговорителей;

• ограничения уровня воспроизведения громкоговорителей;

• параметры алгоритмов динамической обработки в динамиках, такие как коэффициенты усиления ограничителей;

• результат измерения или оценку звукопередачи от одного динамика к другим;

• критерий эффективности эхоподавителя в отношении динамиков; и/или

• относительную синхронизацию динамиков относительно друг друга.

Примеры включают, но без ограничения:

• местоположения одного или более слушателей или говорящих в пространстве воспроизведения;

• результат измерения или оценку звукопередачи от каждого громкоговорителя к местоположению прослушивания;

• результат измерения или оценку звукопередачи от говорящего к набору громкоговорителей;

• местоположение какого-либо другого ориентира в пространстве воспроизведения; и/или

• результат измерения или оценку звукопередачи от каждого динамика к какому-либо другому ориентиру в пространстве воспроизведения.

С помощью новой функции стоимости, заданной в уравнении 21, оптимальный набор значений активации можно найти с помощью минимизации по g и, возможно, последующей нормализации, как описано ранее в уравнениях 11a и 11b.

Аналогично стоимости близости, заданной в уравнениях 18a и 18b, также удобно выразить каждый из новых показателей функции стоимости в виде взвешенной суммы квадратов абсолютных значений активаций динамиков:

где представляет собой диагональную матрицу весовых коэффициентов , описывающую стоимость, связанную со значением активации динамика i, для показателя j:

Комбинирование уравнений 22a и 22b с квадратной матричной версией функций стоимости CMAP и FV, заданной в уравнении 19, обеспечивает потенциально полезную реализацию общераспространенной функции стоимости (согласно некоторым вариантам осуществления), заданной в уравнении 21:

При таком определении новых показателей функции стоимости, общая функция стоимости остается квадратной матрицей, и оптимальный набор значений активации, , можно найти путем дифференцирования уравнения 23 для получения

Полезно рассматривать каждый из весовых показателей в зависимости от заданного значения непрерывного ухудшения, , для каждого из громкоговорителей. В одном иллюстративном варианте осуществления это значение ухудшения представляет собой расстояние от объекта (подлежащего рендерингу) до рассматриваемого громкоговорителя. В другом иллюстративном варианте осуществления это значение ухудшения представляет неспособность данного громкоговорителя воспроизводить некоторые частоты. На основе этого значения ухудшения весовые показатели можно параметризовать в виде:

где представляет предварительный коэффициент (который учитывает глобальную интенсивность весового показателя), где представляет порог ухудшения (рядом или за пределами которого весовой показатель становится значительным), и где представляет монотонно возрастающую функцию. Например, когда , весовой показатель имеет вид:

где , , представляют собой перестраиваемые параметры, которые указывают, соответственно, на глобальную силу ухудшения, внезапность наступления ухудшения и степень ухудшения. При установке этих перестраиваемых значений следует тщательно следить за тем, чтобы относительное воздействие показателя стоимости относительно любых других дополнительных показателей стоимости, а также и , соответствовало достижению требуемого результата. Например, в качестве эмпирического правила, если требуется, чтобы определенное ухудшение явно доминировало над остальными, то подходящей может являться установка его интенсивности приблизительно в десять раз больше следующей по величине интенсивности ухудшения.

В случае исключения всех громкоговорителей часто удобно вычесть минимальное ухудшение из всех весовых показателей при последующей обработке так, чтобы не исключался по меньшей мере один из динамиков:

Как указано выше, существует множество возможных вариантов использования, которые можно реализовать с использованием новых показателей функции стоимости, описанных в данном документе (и аналогичных новых показателей функции стоимости, используемых в соответствии с другими вариантами осуществления). Далее более конкретные подробности описаны с помощью трех примеров: перемещение аудиоданных в направлении слушателя или говорящего, перемещение аудиоданных в направлении от слушателя или говорящего и перемещение аудиоданных в сторону от ориентира.

В первом примере то, что будет называться в данном документе «силой притяжения» используется для подтягивания аудиоданных к некоторому положению, которое в некоторых примерах может представлять собой положение слушателя или говорящего, положение ориентира, положение мебели и т. д. Это положение в данном документе может называться «положением силы притяжения», или «местоположением аттрактора». В контексте данного документа «сила притяжения» представляет собой фактор, который благоприятствует относительно большему значению активации громкоговорителя, расположенного ближе к положению силы притяжения. Согласно данному примеру, весовой коэффициент принимает форму уравнения 26 со значением непрерывного ухудшения, , заданным расстоянием i-го динамика от фиксированного местоположения аттрактора, , и пороговым значением , заданным максимальным из этих расстояний по всем динамикам:

Для иллюстрации варианта использования с «подтягиванием» аудиоданных к слушателю или говорящему, в частности, приравняем = 20, = 3, и вектору, соответствующему положению слушателя/говорящего под углом 180 градусов (нижняя центральная часть графика). Эти значения , и являются лишь примерами. В некоторых реализациях может находиться в диапазоне от 1 до 100, и может находиться в диапазоне от 1 до 25.

На фиг. 13 представлен график значений активации динамиков в иллюстративном варианте осуществления. В этом примере на фиг. 13 представлены значения активации динамиков, 1005b, 1010b, 1015b, 1020b и 1025b, которые содержат оптимальное решение функции стоимости для таких же положений динамиков, как на фиг. 10 и 11, с добавлением силы притяжения, представленной в виде .

На фиг. 14 представлен график положений рендеринга объектов в иллюстративном варианте осуществления. Положения громкоговорителей на фиг. 14, 17 и 20 являются такими же, как те, что представлены на фиг. 11. В этом примере на фиг. 14 представлены соответствующие идеальные положения 1130b объектов для множества возможных углов объектов и соответствующие фактические положения 1135b рендеринга для этих объектов, которые соединены с идеальными положениями 1130b объектов пунктирными линиями 1140b. Смещенная ориентация фактических положений 1135b рендеринга к фиксированному положению иллюстрирует влияние весовых коэффициентов аттрактора на оптимальное решение функции стоимости.

На фиг. 15A, 15B и 15C представлены примеры значений участия громкоговорителей, соответствующих примерам по фиг. 13 и 14. На фиг. 15A, 15B и 15C угол -4,1 соответствует положению 1115 динамика по фиг. 11, угол 4,1 соответствует положению 1120 динамика по фиг. 11, угол -87 соответствует положению 1105 динамика по фиг. 11, угол 63,6 соответствует положению 1125 динамика по фиг. 11, и угол 165,4 соответствует положению 1110 динамика по фиг. 11. Согласно этим примерам, значения участия громкоговорителей, представленные на фиг. 15A, 15B и 15C, соответствуют участию каждого громкоговорителя в каждой из пространственных зон, представленных на фиг. 6: значения участия громкоговорителей, представленные на фиг. 15A, соответствует участию каждого громкоговорителя в центральной зоне, значения участия громкоговорителей, представленные на фиг. 15В, соответствует участию каждого громкоговорителя в передней левой и правой зонах, и значения участия громкоговорителей, представленные на фиг. 15С, соответствует участию каждого громкоговорителя в задней зоне.

Для иллюстрации варианта использования с отталкиванием аудиоданных от слушателя или говорящего, в частности, приравняем = 5, = 2, и вектору, соответствующему положению слушателя/говорящего под углом 180 градусов (в нижней центральной части графика). Эти значения , и являются лишь примерами. Как отмечено выше, в некоторых примерах может находиться в диапазоне от 1 до 100, и может находиться в диапазоне от 1 до 25.

На фиг. 16 представлен график значений активации динамиков в иллюстративном варианте осуществления. Согласно этому примеру на фиг. 16 представлены значения активации динамиков, 1005c, 1010c, 1015c, 1020c и 1025c, которые содержат оптимальное решение функции стоимости для таких же положений динамиков, как на предыдущих фигурах, с добавлением силы отталкивания, представленной в виде .

На фиг. 17 представлен график положений рендеринга объектов в иллюстративном варианте осуществления. В этом примере на фиг. 17 представлены идеальные положения 1130c объектов для множества возможных углов объектов и соответствующие фактические положения 1135c рендеринга для этих объектов, которые соединены с идеальными положениями 1130c объектов пунктирными линиями 1140c. Смещенная ориентация фактических положений 1135c рендеринга в сторону от фиксированного положения иллюстрирует влияние весовых коэффициентов репеллера на оптимальное решение функции стоимости.

На фиг. 18A, 18B и 18C представлены примеры значений участия громкоговорителей, соответствующих примерам по фиг. 16 и 17. Согласно этим примерам, значения участия громкоговорителей, представленные на фиг. 18A, 18B и 18C, соответствуют участию каждого громкоговорителя в каждой из пространственных зон, представленных на фиг. 6: значения участия громкоговорителей, представленные на фиг. 18A, соответствует участию каждого громкоговорителя в центральной зоне, значения участия громкоговорителей, представленные на фиг. 18В, соответствует участию каждого громкоговорителя в передней левой и правой зонах, и значения участия громкоговорителей, представленные на фиг. 18С, соответствует участию каждого громкоговорителя в задней зоне.

Еще одним иллюстративным вариантом использования является «отталкивание» аудиоданных от ориентира, являющегося чувствительным к звуку, такого как дверь в комнату, где спит ребенок. Аналогично последнему примеру приравняем вектору, соответствующему положению двери под углом 180 градусов (нижняя центральная часть графика). Для достижения большей силы отталкивания и полного смещения звукового поля в переднюю часть первичного пространства прослушивания приравняем = 20, и = 5.

На фиг. 19 представлен график значений активации динамиков в иллюстративном варианте осуществления. И снова, в этом примере на фиг. 19 представлены значения активации динамиков, 1005d, 1010d, 1015d, 1020d и 1025d, которые содержат оптимальное решение для такого же набора положений динамиков с добавлением большей силы отталкивания.

На фиг. 20 представлен график положений рендеринга объектов в иллюстративном варианте осуществления. И снова, в этом примере на фиг. 20 представлены идеальные положения 1130d объектов для множества возможных углов объектов и соответствующие фактические положения 1135d рендеринга для этих объектов, которые соединены с идеальными положениями 1130d объектов пунктирными линиями 1140d. Смещенная ориентация фактических положений 1135d рендеринга иллюстрирует влияние больших весовых коэффициентов репеллера на оптимальное решение функции стоимости.

На фиг. 21A, 21B и 21C представлены примеры значений участия громкоговорителей, соответствующих примерам по фиг. 19 и 20. Согласно этим примерам, значения участия громкоговорителей, представленные на фиг. 21A, 21B и 21C, соответствуют участию каждого громкоговорителя в каждой из пространственных зон, представленных на фиг. 6: значения участия громкоговорителей, представленные на фиг. 21A, соответствует участию каждого громкоговорителя в центральной зоне, значения участия громкоговорителей, представленные на фиг. 21В, соответствует участию каждого громкоговорителя в передней левой и правой зонах, и значения участия громкоговорителей, представленные на фиг. 21С, соответствует участию каждого громкоговорителя в задней зоне.

На фиг. 22 изображена схема среды, которая в данном примере представляет собой жилую площадь. Среда, представленная на фиг. 22, содержит набор интеллектуальных звуковых устройств (устройства 1.1) для взаимодействия с аудиоданными, динамики (1.3) для вывода аудиоданных и управляемые осветительные приборы (1.2). В одном примере микрофоны содержат только устройства 1.1, и поэтому только они обнаруживают нахождение пользователя (1.4), выдающего голосовой фрагмент речи (например, команду в форме пробуждающего слова). С использованием различных способов информацию для обеспечения оценки положения (например, мелкозернистой оценки положения) пользователя, выдающего (например, произносящего) пробуждающее слово, можно получать из этих устройств совокупно.

На такой жилой площади имеется набор естественных зон активности, в которых человек будет выполнять задачу или действие, или пересекать порог. Эти области (зоны) действий находятся там, где может иметь место попытка оценить местоположение (например, определить неопределенное местоположение) или контекст пользователя для содействия другим аспектам интерфейса. Система рендеринга, содержащая (т. е. реализованная с помощью) по меньшей мере несколько из устройств 1.1 и динамиков 1.3 (и/или, необязательно, по меньшей мере одну другую подсистему или устройство), может функционировать с целью рендеринга аудиоданных для воспроизведения (например, некоторыми или всеми динамиками 1.3) на жилой площади или в одной или более ее зонах. Предполагается, что такая система рендеринга может быть выполнена с возможностью функционирования или в стандартном пространственном режиме, или в распределенном пространственном режиме согласно любому варианту осуществления раскрытого способа. В примере на фиг. 8 ключевыми областями действий являются:

1. Кухонная мойка и область приготовления пищи (в верхней левой области жилой площади);

2. Дверь холодильника (справа от мойки и области приготовления пищи);

3. Обеденная зона (в нижней левой области жилой площади);

4. Открытая область жилой площади (справа от мойки и области приготовления пищи и обеденной зоны);

5. Область дивана для просмотра телевизора (справа от открытой области);

6. Сам телевизор;

7. Столы; и

8. Область двери или прихожая (в верхней правой области жилой площади).

Часто имеется одинаковое количество осветительных приборов с одинаковым размещением, подходящих для областей действий. Некоторые или все осветительные приборы могут по отдельности находиться под управлением сетевых средств.

В соответствии с некоторыми вариантами осуществления, аудиоданные подвергаются рендерингу (например, одним из устройств 1.1 или другим устройством системы по фиг. 22) с целью воспроизведения (согласно любому раскрытому варианту осуществления) одним или более из динамиков 1.3 (и/или динамиком (динамиками) одного или более устройств 1.1).

Один класс вариантов осуществления включает способы рендеринга аудиоданных для воспроизведения и/или воспроизведения аудиоданных по меньшей мере одним (например, всеми или некоторыми) из множества скоординированных (организованных) интеллектуальных звуковых устройств. Например, набор интеллектуальных звуковых устройств, присутствующих (в системе) в доме пользователя, можно организовать для одновременной обработки множества вариантов использования, включая гибкий рендеринг аудиоданных для воспроизведения всеми или некоторыми из (т. е. динамиком (динамиками) некоторых или всех) интеллектуальных звуковых устройств. Предполагается множество взаимодействий с системой, которые требуют динамических модификаций рендеринга и/или воспроизведения. Такие модификации могут являться, но необязательно являются, сосредоточенными на пространственной точности воспроизведения.

В некоторых вариантах осуществления реализован рендеринг для воспроизведения и/или воспроизведение динамиком (динамиками) множества интеллектуальных звуковых устройств, которые являются скоординированными (организованными). В других вариантах осуществления реализован рендеринг для воспроизведения и/или воспроизведение динамиком (динамиками) из другого набора динамиков.

Некоторые варианты осуществления (например, система или средство рендеринга, или способ рендеринга, или система или способ воспроизведения) относятся к системам и способам для рендеринга аудиоданных для воспроизведения и/или воспроизведения некоторыми или всеми динамиками (т. е. каждым активированным динамиком) из набора динамиков. В некоторых вариантах осуществления динамики представляют собой динамики скоординированного (организованного) набора интеллектуальных звуковых устройств. Примеры таких вариантов осуществления включают следующие пронумерованные иллюстративные варианты осуществления (enumerated example embodiments, EEE).

EEE1. Способ рендеринга аудиоданных для воспроизведения по меньшей мере двумя динамиками, который включает следующие этапы:

(a) комбинирование порогов ограничения динамиков, определяя тем самым комбинированные пороги;

(b) выполнение динамической обработки в отношении аудиоданных с использованием комбинированных порогов для генерирования обработанных аудиоданных; и

EEE2. Способ согласно EEE1, в котором пороги ограничения представляют собой множество из одного или более порогов ограничения воспроизведения, которые представляют ограничения на разных частотах.

EEE3. Способ согласно EEE1 или EEE2, в котором указанное комбинирование порога ограничения включает взятие минимального из порогов множества громкоговорителей.

EEE3. Способ согласно EEE1 или EEE2, в котором указанное комбинирование порогов ограничения включает этап усреднения по порогам ограничения множества громкоговорителей.

EEE5. Способ согласно EEE4, в котором указанный этап усреднения представляет собой взвешенное среднее.

EEE6. Способ согласно EEE5, в котором указанная весовая обработки получается в зависимости от указанного рендеринга.

EEE7. Способ согласно любому из EEE1–EEE6, в котором указанный рендеринг является пространственным.

EEE8. Способ согласно EEE7, в котором указанное ограничение потока звуковой программы включает разное ограничение в разных пространственных зонах.

EEE9. Способ согласно EEE8, в котором пороги каждой пространственной зоны получаются с помощью уникальных комбинаций порогов ограничения воспроизведения множества громкоговорителей.

EEE10. Способ согласно EEE9, в котором уникальные пороги каждой пространственной зоны получаются с помощью взвешенного среднего порогов ограничения множества громкоговорителей.

EEE11. Способ согласно EEE10, в котором весовая обработка, связанная с данным громкоговорителем для данной зоны, получается на основе коэффициента участия динамика, связанного с этой зоной.

EEE12. Способ согласно EEE11, в котором указанный коэффициент участия динамика получается на основе значений активации динамиков, соответствующих рендерингу одного или более номинальных пространственных положений, отнесенных к указанной пространственной зоне ограничителя.

EEE13. Способ согласно любому из EEE 1–EEE12, который дополнительно включает ограничение сигналов, подаваемых на динамики, в соответствии с порогами ограничения, связанными с соответствующим динамиком.

EEE14. Система, выполненная с возможностью выполнения способа по любому из EEE 1– EEE13.

Технологически возможными являются многие варианты осуществления. Из настоящего раскрытия специалистам в данной области будет очевидно, как их реализовать. В данном документе описаны некоторые варианты осуществления.

Некоторые аспекты настоящего изобретения включают систему или устройство, выполненное с возможностью (например, запрограммированное) выполнения любого раскрытого способа, и материальный машиночитаемый носитель данных (например, диск), на котором хранится код, предназначенный для реализации любого раскрытого способа или его этапов. Например, система может представлять собой или содержать программируемый процессор общего назначения, процессор цифровой обработки сигналов или микропроцессор, запрограммированный с использованием программного обеспечения или программно-аппаратного обеспечения и/или иным образом выполненный с возможностью выполнения любой из множества операций в отношении данных, включая вариант осуществления раскрытого способа или его этапы. Такой процессор общего назначения может представлять собой или содержать компьютерную систему, содержащую устройство ввода, запоминающее устройство и подсистему обработки, запрограммированную для (и/или иным образом выполненную с возможностью) выполнения раскрытого способа (или его этапов) в ответ на передаваемые в нее данные.

Некоторые варианты осуществления реализованы в виде конфигурируемого (например, программируемого) процессора цифровой обработки сигналов (DSP), который выполнен с возможностью (например, запрограммирован и иначе сконфигурирован) выполнения требуемой обработки в отношении звукового сигнала (сигналов), включая выполнение одного или более раскрытых способов. Альтернативно, некоторые варианты осуществления (или их элементы) реализованы в виде процессора общего назначения (например, персонального компьютера (РС), другой компьютерной системы или микропроцессора, который может содержать устройство ввода и запоминающее устройство), запрограммированного с помощью программного обеспечения или программно-аппаратного обеспечения и/или иначе выполненного с возможностью выполнения любой из множества операций одного или более раскрытых способов. Альтернативно элементы некоторых вариантов осуществления реализованы в виде процессора общего назначения или DSP, выполненного с возможностью (например, запрограммированного) выполнения одного или более раскрытых способов, и система может также содержать другие элементы (например, один или более громкоговорителей и/или один или более микрофонов). Процессор общего назначения, выполненный с возможностью выполнения одного или более раскрытых способов, может быть соединен с устройством ввода (например, мышью и/или клавиатурой), запоминающим устройством и, в некоторых примерах, устройством отображения.

Другой аспект настоящего изобретения представляет собой машиночитаемый носитель данных (например, диск или другой материальный носитель данных), на котором хранится код для выполнения (например, исполняемый код для выполнения) одного или более раскрытых способов или их этапов.

Несмотря на то, что в данном документе были описаны конкретные варианты осуществления и применения настоящего изобретения, специалистам в данной области техники будет очевидно, что возможно множество изменений в отношении вариантов осуществления и применений, описанных в данном документе, без отступления от объема настоящего изобретения, описанного и заявленного в данном документе. Следует понимать, что, несмотря на то, что были показаны и описаны определенные формы настоящего изобретения, объем настоящего изобретения не следует ограничивать описанными и показанными конкретными вариантами осуществления или описанными конкретными способами.

1. Способ обработки аудиоданных, включающий:

получение системой управления и через систему интерфейсов конфигурационных данных динамической обработки отдельных громкоговорителей для каждого из множества громкоговорителей среды прослушивания, причем конфигурационные данные динамической обработки отдельных громкоговорителей содержат набор конфигурационных данных динамической обработки отдельных громкоговорителей для каждого громкоговорителя из множества громкоговорителей, при этом конфигурационные данные динамической обработки отдельных громкоговорителей содержат набор данных порогов ограничения воспроизведения для каждого громкоговорителя из множества громкоговорителей;

определение системой управления конфигурационных данных динамической обработки среды прослушивания для множества громкоговорителей, при этом определение конфигурационных данных динамической обработки среды прослушивания основано на наборе конфигурационных данных динамической обработки отдельных громкоговорителей для каждого громкоговорителя из множества громкоговорителей, при этом определение конфигурационных данных динамической обработки среды прослушивания включает усреднение порогов ограничения воспроизведения по множеству громкоговорителей;

прием системой управления через систему интерфейсов аудиоданных, содержащих один или более звуковых сигналов и связанные пространственные данные, причем пространственные данные содержат по меньшей мере одно из данных каналов или пространственных метаданных;

выполнение системой управления динамической обработки в отношении аудиоданных на основе конфигурационных данных динамической обработки среды прослушивания с целью генерирования обработанных аудиоданных;

рендеринг системой управления обработанных аудиоданных для воспроизведения через набор громкоговорителей, содержащий по меньшей мере некоторые из множества громкоговорителей, с целью получения подвергнутых рендерингу звуковых сигналов; и

доставку через систему интерфейсов подвергнутых рендерингу звуковых сигналов в набор громкоговорителей.

2. Способ обработки аудиоданных по п. 1, отличающийся тем, что набор данных порога ограничения воспроизведения содержит пороги ограничения воспроизведения для каждой из множества частот.

3. Способ обработки аудиоданных по п. 1 или 2, отличающийся тем, что определение конфигурационных данных динамической обработки среды прослушивания включает усреднение порогов ограничения воспроизведения с целью получения усредненных порогов ограничения воспроизведения по множеству громкоговорителей, определение минимальных порогов ограничения воспроизведения по множеству громкоговорителей и интерполяцию между минимальными порогами ограничения воспроизведения и усредненными порогами ограничения воспроизведения.

4. Способ обработки аудиоданных по п. 3, отличающийся тем, что усреднение порогов ограничения воспроизведения включает определение взвешенного среднего порога ограничения воспроизведения.

5. Способ обработки аудиоданных по п. 4, отличающийся тем, что взвешенное среднее является по меньшей мере частично основанным на характеристиках процесса рендеринга, реализуемого системой управления.

6. Способ обработки аудиоданных по п. 5, отличающийся тем, что выполнение динамической обработки в отношении аудиоданных основано на пространственных зонах, причем каждая из пространственных зон соответствует подмножеству среды прослушивания, при этом взвешенное среднее порогов ограничения воспроизведения является по меньшей мере частично основанным на значениях активации громкоговорителей с помощью процесса рендеринга в зависимости от близости звукового сигнала к пространственным зонам.

7. Способ обработки аудиоданных по п. 5 или 6, отличающийся тем, что взвешенное среднее является по меньшей мере частично основанным на значении участия громкоговорителя для каждого громкоговорителя в каждой из пространственных зон.

8. Способ обработки аудиоданных по п. 7, отличающийся тем, что каждое значение участия громкоговорителя является по меньшей мере частично основанным на одном или более номинальных пространственных положениях в пределах каждой из пространственных зон.

9. Способ обработки аудиоданных по п. 8, отличающийся тем, что номинальные пространственные положения соответствуют стандартным местоположениям каналов в микшировании окружающего звука Dolby 5.1, Dolby 5.1.2, Dolby 7.1, Dolby 7.1.4 или Dolby 9.1.

10. Способ обработки аудиоданных по п. 8 или 9, отличающийся тем, что каждое значение участия громкоговорителя является по меньшей мере частично основанным на значении активации каждого громкоговорителя, соответствующем рендерингу аудиоданных в каждом из одного или более номинальных пространственных положений в пределах каждой из пространственных зон.

11. Способ обработки аудиоданных по любому из пп. 1–10, отличающийся тем, что дополнительно включает выполнение динамической обработки в отношении подвергнутых рендерингу звуковых сигналов в соответствии с конфигурационными данными динамической обработки отдельных громкоговорителей для каждого громкоговорителя из набора громкоговорителей, в которые доставляются подвергнутые рендерингу звуковые сигналы.

12. Способ обработки аудиоданных по любому из пп. 1–11, отличающийся тем, что конфигурационные данные динамической обработки отдельных громкоговорителей содержат набор данных сжатия динамического диапазона для каждого громкоговорителя из множества громкоговорителей.

13. Способ обработки аудиоданных по п. 12, отличающийся тем, что набор данных сжатия динамического диапазона содержит одно или более из данных порогов, данных отношения уровней входного и выходного сигналов, данных нарастания или данных ослабления.

14. Способ обработки аудиоданных по любому из пп. 1–13, отличающийся тем, что конфигурационные данные динамической обработки отдельных громкоговорителей для одного или более громкоговорителей из множества громкоговорителей соответствуют одной или более функциональным возможностям одного или более громкоговорителей.

15. Система для обработки аудиоданных, выполненная с возможностью выполнения способа по любому из пп. 1–14, при этом система содержит:

- концентратор умного дома, содержащий систему управления и систему интерфейсов;

- множество громкоговорителей,

при этом система управления содержит модуль конфигурационных данных динамической обработки среды прослушивания, модуль динамической обработки среды прослушивания и модуль рендеринга.

16. Постоянный носитель данных, содержащий хранящееся на нем программное обеспечение, причем программное обеспечение содержит команды для управления одним или более устройствами с целью выполнения способа по любому из пп. 1–14.

Изобретение относится к области вычислительной техники, а именно к средствам обработки звуковых сигналов. Технический результат заключается в повышении точности обработки отраженных сигналов.

Процессор аудиосигнала, система и способы распределения окружающего сигнала по множеству каналов окружающего сигнала // 2768974

Изобретение относится к средствам для распределения сигнала по множеству каналов. Технический результат заключается в повышении эффективности получения окружающих сигналов.

Устройство и способ обеспечения меры пространственности, связанной с аудиопотоком // 2762232

Изобретение относится к средствам для обеспечения меры пространственности, связанной с аудиопотоком. Технический результат заключается в повышении эффективности оценивания меры пространственности для аудиопотоков.

Способ оценки качества приёма и акустического воспроизведения радиосистем транспортных средств // 2752042

Изобретение относится к испытаниям радиоприемных систем транспортных средств (ТС). Способ может быть реализован в электромагнитной безэховой камере, содержащей поворотный стенд, помехообразующую и радиопередающую системы, микрофон и звукоиндикационную аппаратуру, в качестве которой используют компьютер.

Уменьшение корреляции между фоновыми каналами амбиофонии высшего порядка (ноа) // 2741763

Группа изобретений относится к акустике. Способ декодирования амбиофонических аудиоданных, содержащий этапы, на которых получают посредством устройства декодирования аудиодекоррелированное представление коэффициентов амбиофонии окружающего пространства, которые представляют фоновый компонент звукового поля, описанного посредством множества коэффициентов амбиофонии высшего порядка.

Обработка пространственного аудио // 2735652

Изобретение относится к средствам для обработки пространственного аудио. Технический результат заключается в повышении эффективности обработки аудио.

Аудиопроцессор, система, способ и носитель данных для воспроизведения аудио // 2734231

Изобретение относится к средствам для воспроизведения аудио. Технический результат заключается в повышении качества воспроизведения аудио.

Аудиопроцессор для зависимой от ориентации обработки // 2644025

Изобретение относится к акустике, в частности к устройствам для обработки звука. Аудиопроцессор содержит входной интерфейс, интерфейс детектора, микшер и выходной интерфейс.

Устройство и способ акустических измерений множества громкоговорителей и системы направленных микрофонов // 2616345

Изобретение относится к акустической метрологии. Устройство для акустических измерений содержит генератор тест-сигналов, микрофоны, контроллер, выполненный с возможностью управления громкоговорителями и обеспечивающий обработку сигналов таким образом, что комбинация звуковых сигналов, принятых микрофоном, соотносится с каждым из множества громкоговорителей.

Системы и способы для контроля громкоговорителей кинотеатра и компенсации проблем качества // 2570217

Группа изобретений относится к акустике, в частности к средствам, обеспечивающим контроль качества звука в театре. Способ содержит этапы, на которых определяют разницу между характерным откликом громкоговорителя на тестовый сигнал и последующим откликом громкоговорителя на упомянутый тестовый сигнал, затем модифицируют блоком эквалайзера аудиосигнал на основании разницы для формирования скомпенсированного аудиосигнала и выводят скомпенсированный аудиосигнал на громкоговоритель.