Устройство и способ для формирования отфильтрованного звукового сигнала, реализующего рендеризацию угла места

Изобретение относится к средствам для формирования отфильтрованного аудиосигнала из входного аудиосигнала. Технический результат заключается в обеспечении фильтрации аудиосигнала для создания эффекта подъема или опускания виртуального источника звука для бинаурального аудиосигнала. Воспроизводят аудиосигнал каждым громкоговорителем из множества громкоговорителей и осуществляют запись звуковых волн, испускаемых от упомянутого громкоговорителя, двумя микрофонами для получения записанного аудиосигнала для каждого из двух микрофонов. Первый из множества громкоговорителей расположен в первой позиции на первой высоте. Второй из множества громкоговорителей расположен во второй позиции, отличающейся от первой позиции, на второй высоте, отличающейся от первой высоты. Определяют множество бинауральных импульсных характеристик помещения посредством определения бинауральной импульсной характеристики помещения для каждого громкоговорителя из множества громкоговорителей в зависимости от воспроизводимого аудиосигнала и, в зависимости от каждого из записанных аудиосигналов, формируют по меньшей мере одну кривую фильтра в зависимости от двух из множества бинауральных импульсных характеристик помещения. 7 н. и 19 з.п. ф-лы, 57 ил.

 

Настоящее изобретение относится к обработке аудиосигналов и, в частности, к устройству и способу для формирования отфильтрованного аудиосигнала, реализующего рендеризацию высоты (elevation, угла места).

В обработке аудиоданных амплитудное панорамирование представляет собой обычно применяемую концепцию. Например, рассматривая звук в формате стерео, стандартной методикой является виртуальное задание местонахождения виртуального источника звука между двумя громкоговорителями. Чтобы задать местонахождение виртуального источника звука слева от зоны наилучшего восприятия, соответствующий звук проигрывается с высокой амплитудой посредством левого громкоговорителя и проигрывается с низкой амплитудой посредством правого громкоговорителя. Концепция является равным образом применимой для бинауральных аудиоданных.

Кроме того, подобные концепции существуют для панорамирования виртуальных источников звука между громкоговорителями в горизонтальной плоскости и поднятыми громкоговорителями. Однако применяемые там подходы не могут быть аналогичным образом применены для бинауральных аудиоданных.

Таким образом, было бы выгодно, если бы были обеспечены концепции для подъема или опускания виртуальных источников звука для бинауральных аудиоданных.

Аналогичным образом, было бы выгодно, если бы были обеспечены концепции для подъема или опускания виртуальных источников звука для громкоговорителей, если все громкоговорители расположены в одной и той же плоскости, и если ни один из громкоговорителей физически не поднят или опущен относительно других громкоговорителей.

Задача настоящего изобретения состоит в том, чтобы обеспечить улучшенные концепции для обработки аудиосигналов. Задача настоящего изобретения решена посредством устройства по п. 1, устройства по п. 19, способа по п. 23, способа по п. 24 и компьютерной программы по п. 25 формулы изобретения.

Обеспечено устройство для формирования отфильтрованного аудиосигнала из входного аудиосигнала. Устройство содержит блок определения информации фильтра, выполненный с возможностью определять информацию фильтра в зависимости от входной информации высоты, причем входная информация высоты зависит от высоты виртуального источника звука. Кроме того, устройство содержит блок фильтра, выполненный с возможностью фильтровать входной аудиосигнал для получения отфильтрованного аудиосигнала в зависимости от информации фильтра. Блок определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты, или блок определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием определения модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты.

Кроме того, обеспечено устройство для обеспечения информации модификации направления. Устройство содержит множество громкоговорителей, причем каждый из множества громкоговорителей выполнен с возможностью воспроизводить воспроизводимый аудиосигнал, причем первый из множества громкоговорителей расположен в первой позиции на первой высоте, и причем второй из множества громкоговорителей расположен во второй позиции, отличающейся от первой позиции, на второй высоте, отличающейся от первой высоты. Кроме того, устройство содержит два микрофона, каждый из двух микрофонов выполнен с возможностью записывать записываемый аудиосигнала, принимая звуковые волны от каждого громкоговорителя из множества громкоговорителей, испускаемые упомянутым громкоговорителем при воспроизведении аудиосигнала. Кроме того, устройство содержит блок определения бинауральной импульсной характеристики помещения, выполненный с возможностью определять множество бинауральных импульсных характеристик помещения посредством определения бинауральной импульсной характеристики помещения для каждого громкоговорителя из множества громкоговорителей в зависимости от воспроизводимого аудиосигнала, воспроизводимого упомянутым громкоговорителем, и в зависимости от каждого из записываемых аудиосигналов, записываемых каждым из двух микрофонов, когда упомянутый воспроизводимый аудиосигнал воспроизводится упомянутым громкоговорителем. Кроме того, устройство содержит блок формирования кривой фильтра, выполненное с возможностью формировать по меньшей мере одну кривую фильтра в зависимости от двух из множества бинауральных импульсных характеристик помещения. Информация модификации направления зависит по меньшей мере от одной кривой фильтра.

Кроме того, обеспечен способ формирования отфильтрованного аудиосигнала из входного аудиосигнала. Способ содержит:

- Определение информации фильтра в зависимости от входной информации высоты, причем входная информация высоты зависит от высоты виртуального источника звука. И:

- Фильтрацию входного аудиосигнала для получения отфильтрованного аудиосигнала в зависимости от информации фильтра.

Определение информации фильтра проводится с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты. Или определение информации фильтра проводится с использованием определения модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты.

Кроме того, обеспечен способ обеспечения информации модификации направления. Способ содержит:

- Для каждого громкоговорителя из множества громкоговорителей воспроизведение воспроизводимого аудиосигнала упомянутым громкоговорителем и осуществление записи звуковых волн, испускаемых от упомянутого громкоговорителя при воспроизведении упомянутого воспроизводимого аудиосигнала, двумя микрофонами для получения записанного аудиосигнала для каждого из двух микрофонов, причем первый из множества громкоговорителей расположен в первой позиции на первой высоте, и причем второй из множества громкоговорителей расположен во второй позиции, отличающейся от первой позиции, на второй высоте, отличающейся от первой высоты.

- Определение множества бинауральных импульсных характеристик помещения посредством определения бинауральной импульсной характеристики помещения для каждого громкоговорителя из множества громкоговорителей в зависимости от воспроизводимого аудиосигнала, воспроизводимого упомянутым громкоговорителем, и в зависимости от каждого из записанных аудиосигналов, записанных каждым из двух микрофонов, когда упомянутый воспроизводимый аудиосигнал воспроизводится упомянутым громкоговорителем. И

- Формирование по меньшей мере одной кривой фильтра в зависимости от двух из множества бинауральных импульсных характеристик помещения. Информация модификации направления зависит по меньшей мере от одной кривой фильтра.

Кроме того, обеспечены компьютерные программы, причем каждая из компьютерных программ выполнена с возможностью реализовывать один из описанных выше способов, когда они исполняются на компьютере или процессоре сигналов.

Далее варианты осуществления настоящего изобретения описаны более подробно со ссылкой на следующие чертежи.

Фиг. 1a иллюстрирует устройство для формирования отфильтрованного аудиосигнала из входного аудиосигнала в соответствии с вариантом осуществления,

Фиг. 1b иллюстрирует устройство для обеспечения информации модификации направления в соответствии с вариантом осуществления,

Фиг. 1c иллюстрирует систему в соответствии с вариантом осуществления,

Фиг. 2 изображает иллюстрацию трех типов отражений,

Фиг. 3 иллюстрирует геометрическое представление отражений и геометрическое представление временного представления отражений,

Фиг. 4 изображает иллюстрацию горизонтальной плоскости и срединной плоскости для задач локализации,

Фиг. 5 показывает направленную слуховую функцию в срединной плоскости,

Фиг. 6 иллюстрирует создание виртуальных источников звука,

Фиг. 7 изображает пороговые кривые маскирования для узкополосного шумового сигнала на разных уровнях звукового давления,

Фиг. 8 изображает кривые временного маскирования для эффекта обратного и прямого маскирования,

Фиг. 9 изображает упрощенную иллюстрацию ассоциативной модели,

Фиг. 10 иллюстрирует временную диаграмму и диаграмму STFT ипсилатерального канала характеристики BRIR (бинауральной импульсной характеристики помещения),

Фиг. 11 иллюстрирует оценку точек перехода для каждого канала характеристики BRIR,

Фиг. 12 иллюстрирует набор мел-фильтров с пятью треугольными полосовыми фильтрами, низкочастотным фильтром и высокочастотным фильтром,

Фиг. 13 изображает частотную характеристику и импульсную характеристику набора мел-фильтров,

Фиг. 14 иллюстрирует полиномы Лежандра вплоть до порядка n=5,

Фиг. 15 показывает сферические гармоники вплоть до порядка n=4 и соответствующие моды,

Фиг. 16 изображает квадратуру Лебедева и квадратуру Гаусса-Лежандра на сфере,

Фиг. 17 иллюстрирует инверсию b_n(kr),

Фиг. 18 изображает две конфигурации измерений, в которых голова для бинауральных измерений, а также сферический массив микрофонов помещаются посреди восьми громкоговорителей,

Фиг. 19 иллюстрирует помещение для тестового прослушивания,

Фиг. 20 иллюстрирует голову для бинауральных измерений и систему измерений с массивом микрофонов,

Фиг. 21 показывает сигнальную цепь, используемую для измерений характеристики BRIR,

Фиг. 22 изображает обзор алгоритма анализа звукового поля,

Фиг. 23 иллюстрирует, как разные позиции наиболее близких микрофонов в каждом множестве измерений приводят к смещению,

Фиг. 24 изображает, как графический пользовательский интерфейс визуально объединяет результаты анализа звукового поля и измерения характеристики BRIR,

Фиг. 25 изображает вывод графического пользовательского интерфейса для корреляции бинауральных и сферических измерений,

Фиг. 26 показывает разные временные стадии отражения,

Фиг. 27 иллюстрирует горизонтальное и вертикальное распределения отражений в первой конфигурации,

Фиг. 28 иллюстрирует горизонтальное и вертикальное распределения отражений второй конфигурации,

Фиг. 29 показывает пару поднятых характеристик BRIR,

Фиг. 30 показывает совокупное пространственное распределение всех ранних отражений,

Фиг. 31 иллюстрирует не модифицированные характеристики BRIR, которые были протестированы в сравнении с модифицированными характеристиками BRIR в тесте на прослушивание, в то время как включены три условия,

Фиг. 32 иллюстрирует для каждого канала не поднятую характеристику BRIR, которая сравнивается по восприятию с самой собой, дополнительно содержащей ранние отражения поднятой характеристики BRIR,

Фиг. 33 иллюстрирует ранние отражения не поднятой характеристики BRIR, которые сравниваются по восприятию с самими собой, дополнительно содержащими ранние отражения, окрашенные ранними отражениями поднятой характеристики BRIR по каналам,

Фиг. 34 иллюстрирует огибающие спектра не поднятых, поднятых и модифицированных ранних отражений,

Фиг. 35 изображает огибающие спектра слышимых частей не поднятых, поднятых и модифицированных ранних отражений,

Фиг. 36 иллюстрирует множество кривых коррекции,

Фиг. 37 иллюстрирует четыре выбранных отражения, приходящих к слушателю от более высоких углов высоты, которые усилены,

Фиг. 38 изображает иллюстрацию обоих отражений от потолка для некоторого источника звука,

Фиг. 39 иллюстрирует процесс фильтрации для каждого канала с использованием набора мел-фильтров,

Фиг. 40 изображает вектор мощности для источника звука от углового азимута α=225°,

Фиг. 41 изображает различные кривые усиления, обусловленные различными экспонентами,

Фиг. 42 изображает различные экспоненты, применяемые к P_R,i,225°(m) и к P_R,i(m)),

Фиг. 43 показывает ипсилатеральный и контралатеральный каналы для процедуры усреднения,

Фиг. 44 изображает P_R,IpCo and P_FrontBack,

Фиг. 45 изображает систему в соответствии с другим конкретным вариантом осуществления, содержащую устройство для формирования направленного звука в соответствии с другим вариантом осуществления, и дополнительно содержащую устройство для обеспечения коэффициентов фильтра модификации направления в соответствии с другим вариантом осуществления,

Фиг. 46 изображает систему в соответствии с дополнительным конкретным вариантом осуществления, содержащую устройство для формирования направленного звука в соответствии с дополнительным вариантом осуществления, и дополнительно содержащую устройство для обеспечения коэффициентов фильтра модификации направления в соответствии с дополнительным вариантом осуществления,

Фиг. 47 изображает систему в соответствии с еще одним дополнительным конкретным вариантом осуществления, содержащую устройство для формирования направленного звука в соответствии с еще одним дополнительным вариантом осуществления, и дополнительно содержащую устройство для обеспечения коэффициентов фильтра модификации направления в соответствии с еще одним дополнительным вариантом осуществления,

Фиг. 48 изображает систему в соответствии с конкретным вариантом осуществления, содержащую устройство для формирования направленного звука в соответствии с вариантом осуществления, и дополнительно содержащую устройство для обеспечения коэффициентов фильтра модификации направления в соответствии с вариантом осуществления,

Фиг. 49 изображает схематическую иллюстрацию, показывающую слушателя, два громкоговорителя с двумя разными высотами и виртуальный источник звука,

Фиг. 50 иллюстрирует кривые фильтра, полученные в результате применения различных значений усиления (коэффициентов растяжения) к промежуточной кривой,

Фиг. 51 иллюстрирует кривые фильтра коррекции для азимута=0°,

Фиг. 52 иллюстрирует кривые фильтра коррекции для азимута=30°,

Фиг. 53 иллюстрирует кривые фильтра коррекции для азимута=45°,

Фиг. 54 иллюстрирует кривые фильтра коррекции для азимута=60°, и

Фиг. 55 иллюстрирует кривые фильтра коррекции для азимута=90°.

Перед более подробным описанием настоящего изобретения описываются некоторые концепции, на которых базируется настоящее изобретение.

Сначала рассмотрены концепции акустики помещений.

Фиг. 2 изображает иллюстрацию трех типов отражений. Отражающая поверхность (слева) почти сохраняет акустическое поведение падающего звука, в то время как поглощающая и рассеивающая поверхности модифицируют звук сильнее. Обычно встречается комбинация нескольких типов поверхностей.

Существует много типов отражений в помещении, которые воздействуют на акустику помещений и звуковое впечатление. Звуковая волна, отраженная отражающей поверхностью, может казаться почти такой же громкой и чистой, как первоначальный звук. В то время как отражение от поглощающей поверхности будет иметь меньшую интенсивность и обычно более глухой звук. По сравнению с отражающей и поглощающей поверхностями, для которых падающая и отраженная звуковые волны имеют одинаковый угол, волна, отраженная на рассеивающей поверхности, распространяется от нее во всех направлениях. Возникает неясное и смазанное звуковое впечатление. Обычно могут встречаться все виды отражающего поведения, и смесь чистых и неясных звуков формирует звуковое впечатление.

В действительности звуковая волна распространяется во всех направлениях от источника звука, в частности, когда рассматриваются низкие частоты.

Фиг. 3 иллюстрирует геометрическое представление отражений (слева) и геометрическое представление временного представления отражений (справа). Прямой звук приходит к слушателю по прямому пути и имеет кратчайшее расстояние (см. фиг. 3 (слева)). В зависимости от геометрии окружающей среды много отражений и рассеянно отраженных частей придут к слушателю впоследствии с разных направлений. В зависимости от порядка каждого отражения и его длины пути может наблюдаться временное распределение отражения с увеличивающейся плотностью.

Как видно в фиг. 3 (справа), период времени с низкой плотностью отражения определен как период ранних отражений. Напротив, часть с высокой плотностью называют полем реверберации. Существуют разные исследования, имеющие дело с точкой перехода между ранними отражениями и реверберацией. В [001] и [002] частота отражения порядка 2000-4000 эхо/с определена как количественный показатель для перехода. При этом реверберация, например, может интерпретироваться как "статистическая реверберация".

Теперь описывается бинауральное прослушивание.

Сначала рассматриваются признаки локализации.

Слуховая система человека использует оба уха для анализа позиции источника звука. Существует дифференциация между локализацией на горизонтальной плоскости и срединной плоскости.

Фиг. 4 изображает иллюстрацию горизонтальной плоскости и срединной плоскости для задач локализации.

На горизонтальной плоскости мы различаем, приходит ли звук с левой или с правой стороны. В этом случае требуются два параметра. Первым параметром является интерауральная разность по времени (ITD). Расстояние, пройденное звуковой волной от источника звука до левого и правого уха, будет отличаться, вследствие чего звук достигает ипсилатерального уха (уха, ближнего к источнику) раньше, чем контралатерального уха (уха, дальнего от источника). Полученная в результате разность по времени представляет собой разность ITD. Разность ITD является минимальной, например, нулевой, если источник находится точно спереди или позади головы слушателей, и максимальной, если он находится полностью на левой или на правой стороне.

Вторым параметром является интерауральная разность по уровню (ILD). Когда длины волн звука являются короткими относительно размера головы, голова действует как акустическая тень, или как препятствие, ослабляющее уровень звукового давления волны, достигающей контралатерального уха.

Анализ локализации является зависимым от частоты. Ниже 800 Гц, когда длина волны является длинной относительно размера головы, анализ основывается на разности ITD, оценивая разности фаз между обоими ушами. Выше 1600 Гц анализ основывается на разности ILD и оценке разностей групповой задержки. Ниже, например, 100 Гц, локализация может быть невозможной. В диапазоне частот между двумя пределами существует наложение методов анализа.

На срединной плоскости оцениваются вертикальные направления, а также находится ли звук спереди или позади слушателя. Слуховая система получает информацию на основании эффекта фильтрации ушных раковин. Как уже исследовано Jens Blauert (см. [003]), усиление только некоторых диапазонов частот является существенным для локализации на срединной плоскости при прослушивании естественного источника звука. Поскольку в ушах нет каких-либо оцениваемых разностей ITD или ILD, слуховая система может получать информацию из сигнального спектра. Например, увеличение диапазона между 7-10 кГц побуждает слушателя чувствовать звук сверху (см. фиг. 5).

Фиг. 5 показывает направленную слуховую функцию в срединной плоскости. Локализация на срединной плоскости сильно коррелирована с усилением некоторых диапазонов частот сигнального спектра (см. [004]),

С точки зрения обработки сигналов уже упомянутые признаки локализации совместно известны как передаточные функции слухового аппарата (HRTF) в частотной области, или во временной области как импульсные характеристики слухового аппарата (HRIR). Что касается акустики помещений, характеристики HRIR сравнимы с прямыми звуками, приходящими в каждое ухо слушателя. Кроме того, характеристики HRIR также содержат сложные взаимодействия звуковых волн с плечами и туловищем. Поскольку эти (рассеивающие) отражения приходят в уши почти одновременно с прямым звуком, имеется сильное перекрывание. Поэтому их не рассматривают отдельно.

Отражения будут также взаимодействовать с внешним ухом, а также с плечами и туловищем. Таким образом, в зависимости от направления падения отражения оно будет отфильтровано соответствующими функциями HRTF до оценки слуховой системой. Измерения импульсных характеристик помещения в каждом ухе определены как бинауральные импульсные характеристики окружающего пространства (BRIR), и в частотной области как бинауральные передаточные функции окружающего пространства (BRTF).

Теперь рассматриваются виртуальные источники звука. В действительности, когда слушатель слышит звук, приходящий из естественного источника в естественной среде, он сравнивает данную акустику с шаблоном стимула, хранящимся в мозгу, чтобы локализовать источник. Если акустика будет подобна сохраненному шаблону, слушатель легко локализует источник. Используя бинауральные импульсные характеристики помещения, возможно создать естественно звучащую виртуальную среду через наушники.

Фиг. 6 иллюстрирует создание виртуальных источников звука. Записанный звук фильтруется с помощью характеристик BRIR, измеряемых в другой окружающей среде, и воспроизводится через наушники, при этом звук позиционируется в виртуальном помещении.

Как проиллюстрировано на фиг. 6, громкоговоритель используется как источник звука, воспроизводящего сигнал возбуждения. Для каждой желаемой позиции громкоговоритель измеряется посредством головы для бинауральных измерений, содержащей микрофоны в каждом ухе, чтобы создать характеристики BRIR. Каждая пара характеристик BRIR может рассматриваться как виртуальный источник, поскольку она представляет акустические пути (прямые звуки и отражения) от громкоговорителя до каждого (внутреннего) уха. Посредством фильтрации звука с помощью пары характеристик BRIR звук акустически появится в той же позиции и в той же окружающей среде, как измеренный громкоговоритель. Желательно не смешивать акустику помещения записи с акустикой, захваченной в характеристиках BRIR. Таким образом, звук записывается в помещении (почти) без отражения звука.

Самый простой способ прослушивать бинауральным образом рендеризированные аудиосигналы состоит в том, чтобы использовать наушники, поскольку каждое ухо принимает свой контент отдельно. При этом передаточная функция наушников должна быть исключена. Это может быть сделано посредством выравнивания диффузного поля, которое будет разъяснено ниже.

Далее описываются дополнительные психоакустические принципы.

Сначала рассматривается эффект предшествования.

Эффект предшествования является важным механизмом локализации для пространственной слуховой функции. Он позволяет обнаруживать направление источника в окружающих средах с реверберацией, подавляя восприятие ранних отражений. Принцип утверждает, что в случае, когда звук достигает слушателя с одного направления, и тот же самый звук достигает слушателя с задержкой во времени с другого направления, слушатель воспринимает второй сигнал с первого направления.

Litovsky и другие (см. [005]) обобщенно представил разные расследования эффектов предшествования. Результат состоит в том, что имеется много параметров, влияющих на качество этого эффекта. Прежде всего, важна разность по времени между первым и вторым звуком. Различные значения времени (5-50 мс) были определены из разных экспериментальных размещений. Слушатели реагируют по-другому не только для на разный вид звуков, но также и на разные продолжительности звуков. Для малых временных интервалов звук воспринимается между двумя источниками. Это главным образом применимо на горизонтальной плоскости и обычно известно как фантомный источник (см. [007]). Для больших временных интервалов производятся два пространственно отдельных слуховых события и обычно воспринимаются как эхо (см. [008]). Кроме того, важно, насколько громким является второй звук. Чем он громче, тем вероятнее, что он будет слышимым (см. [006]). В этом случае он воспринимается как разность тембра, а не как отделенное слуховое событие.

Вследствие разных установок трудно полагаться на значения, исследуемые в экспериментах, поскольку реализованные сценарии имеют мало общего с реалистическими акустическими окружающими средами (см. [005]). Тем не менее, ясно, что существует эффект, который сильно помогает пространственной слуховой функции.

Другой концепцией является спектральное маскирование, которое описывает эффект, когда звук делает более трудным восприятие другого звука с не подобным спектральным поведением, в то время как оба звуковых спектра не должны накладываться. Принцип может быть продемонстрирован с использованием узкополосного шума с центральной частотой на уровне 1 кГц в качестве маскирующего звука. В зависимости от уровня L_CB звукового давления он создает маскирующие кривые на разных уровнях с той же огибающей. Любой другой звук, расположенный спектрально под одной из этих кривых, будет подавлен соответствующим маскирующим звуком. Для широкополосного маскирующего звука маскируются более широкие полосы.

Теперь описывается временное маскирование.

Слуховое событие во временной области, как проиллюстрировано заштрихованными линиями на фиг. 8, влияет на восприятие предшествующих и последующих звуков. Таким образом, любой звук, расположенный под кривой обратного маскирования или прямого маскирования, будет подавлен. По сравнению с прямым маскированием кривая обратного маскирования имеет более высокий скат и затрагивает более короткий период времени. Влияние обеих кривых повышается посредством увеличения маскирующего звука. В зависимости от продолжительности маскирующего звука прямое маскирование может покрывать диапазон 200 мс (см. [005]).

Фиг. 7 изображает пороговые кривые маскирования для узкополосного шумового сигнала (см. [005]) на разных уровнях L_CB звукового давления.

Фиг. 8 иллюстрирует кривые временного маскирования для эффекта обратного и прямого маскирования. Заштрихованные линии иллюстрируют начало и окончание маскирующего звука (см. [005]).

Ассоциативная модель разъяснена в Theile (см. [009]), который описывает, как влияния внешнего уха анализируются слуховой системой человека.

Фиг. 9 изображает упрощенную иллюстрацию ассоциативной модели (см. [010]). Звук, захватываемый ушами, сначала сравнивается с внутренним опорным шаблоном в попытке присвоить направление (см. фиг. 9). Если процесс локализации успешен, то слуховая система может компенсировать спектральные искажения, вызванные ушными раковинами. Если подходящий опорный шаблон не найден, искажения воспринимаются как изменения тембра.

Далее описываются инструменты цифровой обработки сигналов.

Сначала представлена оценка точек перехода в характеристиках BRIR.

Ранние отражения находятся между прямым звуком и реверберацией. Чтобы исследовать их влияние в бинауральную импульсную характеристику помещения, во временной области должны быть определены начальная и конечная точки ранних отражений.

Фиг. 10 иллюстрирует временную диаграмму (сверху) и диаграмму STFT (снизу) ипсилатерального канала характеристики BRIR (угол азимута: 45°, угол высоты: 55°). Пунктирная линия 1010 является переходом между характеристикой HRIR на левой стороне и ранними отражениями на правой стороне.

Точка перехода между прямым звуком и первым отражением, отражением, которое не является частью HRIR, может быть определена на основе временного графика и диаграммы STFT, как показано на фиг. 10. Вследствие четко выраженной магнитуды первое отражение может быть определено визуально. Таким образом, точка перехода устанавливается перед переходной фазой первого отражения. Теоретически вычисленные значения для разности по времени прихода для первого отражения почти точно соответствуют визуально найденным значениям.

Определение точки перехода между ранними отражениями и реверберацией сделано посредством метода Abel и Huang (см. [011]). Этот подход рекомендован Lindau, Kosanke и Weinzierl в (см. [012]) благодаря достижению ощутимых результатов в их исследованиях.

В окружающей среде с реверберацией плотность эха имеет тенденцию сильно увеличиваться со временем. После достаточного периода времени эхо можно рассматривать статистически (см. [013] и [014]), и реверберирующая часть импульсной характеристики будет неотличима от Гауссовского шума, кроме цвета и уровня (см. [015]).

В предположении, что амплитуды звукового давления реверберации следуют распределению Гаусса, это может использоваться в качестве эталона. Он сравнивается со статистикой импульсной характеристики, и точка перехода оценивается для этой точки, когда статистические признаки в скользящем окне подобны статистическим признакам эталона.

В качестве первого шага скользящее окно используется для вычисления стандартное отклонения, σ, для каждого временного индекса (1).

(1)

Величина амплитуд, лежащих вне стандартного отклонения для окна, определяется и нормализуется в уравнении (2) как ожидаемая для распределения Гаусса.

(2)

Здесь h(t) - импульсная характеристика реверберации, - длина скользящего окна и 1{.} - функция индикатора, возвращающая 1, когда ее аргумент "истина", и 0 в ином случае. Ожидаемая часть отсчетов, лежащих вне стандартного отклонения от среднего для распределения Гаусса, задана как . С увеличением времени и плотности отражения η(t) стремится к единице. В этом индексе времени определена точка перехода, поскольку статистически достигнуто полное рассеяние.

Этот способ применяется к каждому каналу характеристики BRIR индивидуально. Поэтому будут оценены две отдельных точки перехода (см. фиг. 11). Чтобы удостовериться, что никакая важная информация не упущена, более высокая (например, более поздняя) точка перехода постоянно выбирается в последующих исследованиях.

Фиг. 11 иллюстрирует оценку точек перехода (линии 1101, 1102) для каждого канала характеристики BRIR.

Теперь описывается набор мел-фильтров.

Слуховая система человека приближенно ограничена диапазоном между 16 Гц и 20 кГц, однако соотношение между высотой звука и частотой не является линейным. В соответствии с Stanley Smith Stevens (см. [16]) высота звука может быть измерена в мелах, как задано следующим уравнением:

Mel(f)=m

(3)

(4)

Кроме того, слуховая информация (например, высота звука, громкость, направление прихода) анализируется в частотных полосах. Таким образом, чтобы имитировать нелинейное частотное разрешение и полосную обработку, может использоваться набор мел-фильтров.

Фиг. 12 показывает возможное размещение треугольных полосовых фильтров набора мел-фильтров по оси частот. Центральные частоты, а также ширина полос фильтров управляются посредством уравнения 2.2. Обычно набор мел-фильтров состоит из 24 фильтров. В частности, фиг. 12 иллюстрирует набор мел-фильтров с пятью треугольными полосовыми фильтрами 1210, низкочастотным фильтром 1201 и высокочастотным фильтром 1202.

Для корректного анализа и синтеза должны быть соблюдены следующие два требования. Во-первых, чтобы гарантировать характеристику пропускания всех частот набора фильтров, предусмотрены дополнительные низкочастотный и высокочастотный фильтры. Таким образом сумма всех фильтров H_i в частотной области

(M - количество фильтров), приведет к линейной частотной характеристике.

Второе требование набора фильтров выражено линейной фазовой характеристикой. Это свойство является важным, поскольку дополнительные модификации фазы, вызванные нелинейной фильтрацией, должны быть предотвращены. В этом случае ожидается смещенный импульс как импульсная характеристика с

(τ - задержка набора фильтров). Эти два требования проиллюстрированы на фиг. 13.

В частности, фиг. 13 изображает частотную характеристику (слева) и импульсную характеристику (справа) набора мел-фильтров. Набор фильтров соответствует FIR(КИХ)-фильтру с линейной фазовой характеристикой с пропусканием всех частот. Порядок фильтра, составляющий 512 отсчетов, приводит к задержке, составляющей 256 отсчетов.

Далее рассматриваются сферические гармоники и пространственное преобразование Фурье.

Звук, излучаемый в помещении с реверберацией, взаимодействует с объектами и поверхностями в окружающей среде, чтобы создать отражения. Посредством использования сферического массива микрофонов возможно измерить эти отражения в фиксированной точке в помещении и визуализировать входящие направления волн.

Отражения, приходящие в массив микрофонов, вызовут распределение звукового давления по сфере из микрофонов. К сожалению, невозможно интуитивно считать с нее входящие направления волн. Таким образом, необходимо выполнить декомпозицию распределения звукового давления на его элементы, плоские волны.

При этом звуковое поле сначала преобразовывается в область сферических гармоник. Фигурально, обнаруживается комбинация пространственных форм (см. фиг. 15 ниже), которая описывает данное распределение звукового давления на сфере. Декомпозиция волнового поля, которая сравнима с пространственной фильтрацией или формированием диаграммы направленности, затем может быть выполнена в этой области, чтобы сконцентрировать формы в направлении падающей волны.

Сначала рассматриваются полиномы Лежандра.

Чтобы определить сферическую гармонику вдоль угла β высоты, требуется набор ортогональных функций. Полиномы Лежандра ортогональны на интервале [-1, 1]. Первые шесть полиномов даны в уравнении (5):

(5)

Соответствующие графики показаны на фиг. 14, причем фиг. 14 иллюстрирует полиномы Лежандра до порядка n=5.

Угол высоты определен между [0, π]. Таким образом, все ортогональные отношения должны быть перенесены на единичную сферу. Поскольку (6) корректно, соответствующие полиномы Лежандра L_n(cosβ) могут использоваться следующим образом.

(6)

Теперь рассматриваются сферические гармоники.

Рассмотрим функцию звукового давления P(r,β,α,k) в сферической системе координат, где β и α - углы высоты и азимута, r - радиус и k - волновое число (k =ω/c). В предположении, что P(r,β,α,k) является интегрируемой с квадратом по обоим углам, она может быть представлена в области сферических гармоник.

Как видно в уравнении (7), сферическая гармоника состоит из соответствующих полиномов Лежандра , экспоненциального члена и члена нормализации. Полиномы Лежандра ответственны за форму вдоль угла β высоты, и экспоненциальный член ответственен за азимутальную форму.

(7)

Фиг. 15 показывает сферические гармоники вплоть до порядка n=4 и соответствующие моды от -m до m (см. [017]). Каждый порядок состоит из 2m+1 мод. Знаки сферических гармоник либо положительные 1501, либо отрицательные 1502.

Сферические гармоники являются полным и ортонормальным множеством собственных функций углового компонента оператора Лапласа на сфере, и это используется для описания волнового уравнения (см. [018] и [019]).

Теперь описывается пространственное преобразование Фурье.

Уравнение (8) описывает, как пространственные коэффициенты Фурье могут быть вычислены с использованием пространственного преобразования Фурье.

(8)

Здесь - зависимое от частоты и угла (комплексное) звуковое давление, и - комплексно-сопряженные сферические гармоники. Комплексные коэффициенты содержат информацию об ориентации и весовой коэффициент каждой сферической гармоники, чтобы описать проанализированное звуковое давление на сфере.

Уравнение для синтеза звукового давления по сфере, когда заданы пространственные коэффициенты Фурье, показано в уравнении (9):

(9)

Поскольку преобразование зависит от волнового числа k =ω/c, распределение звукового давления должно быть проанализировано для каждой частоты индивидуально.

Далее описывается сферическая дискретизация.

Спектр волновых чисел с дискретными частотами является теоретически точным только для бесконечного количества точек дискретизации, что потребовало бы непрерывной сферической поверхности. С практической точки зрения целесообразно только конечное разрешение спектра для достижения реалистических вычислительных затрат и времени вычисления. При ограничении дискретными точками дискретизации должна быть выбрана подходящая решетка дискретизации. Существует несколько стратегий дискретизации сферической поверхности (см. [021]). Одной часто используемой решеткой является квадратура Лебедева.

Фиг. 16 изображает квадратуру Лебедева и квадратуру Гаусса-Лежандра на сфере. Квадратура Лебедева имеет 350 точек дискретизации. Квадратура Гаусса-Лежандра имеет 18×19=342 точки дискретизации.

По сравнению с другими решетками они имеют одинаково распределенные позиции дискретизации и достигают более высокого порядка дискретизации для определенного количества точек дискретизации. Например, квадратуре Лебедева требуется только 350 точек дискретизации, и квадратуре Гаусса-Лежандра - 512 точек дискретизации, чтобы достигнуть порядка дискретизации N=15.

Теперь описывается декомпозиция на плоские волны.

Поскольку невозможно интуитивно считывать входящие направления волны из распределения звукового давления, требуется декомпозиция на плоские волны. Это удаляет радиально входящие и исходящие волновые компоненты и сокращает звуковое поле для бесконечного количества точек сферической дискретизации до импульсов Дирака для направлений падающих волн.

Поскольку сферические функции Бесселя и Ханкеля являются собственными функциями радиального компонента оператора Лапласа, они описывают радиальное распространение входящих и исходящих волн.

В предположении, что в пределах сферы нет источника и используется микрофон с кардиоидной диаграммой направленности, уравнение (10) может использоваться в процедуре декомпозиции на плоские волны (см. [020]). В уравнении (10) j_n(kr) - функция Бесселя первого типа.

(10)

Декомпозиция имеет место посредством деления пространственных коэффициентов Фурье на b_n(kr) в уравнении синтеза (9) в области сферических гармоник.

(11)

Далее обсуждаются ограничения анализа.

Фиг. 17 иллюстрирует инверсию b_n(kr). В зависимости от порядка n высокое усиление вызывается для малых значений kr.

Как показано на фиг. 17, разделение посредством b_n(kr) вызывает высокие усиления для малых значений kr в зависимости от порядка n. В этом случае измерения с малыми значениями SNR могут привести к искажениям. Чтобы преодолеть визуальные артефакты, целесообразно ограничить порядок пространственного преобразования Фурье для малых значений kr.

Вторым ограничением является критерий пространственного искажения kr <<N, где N - максимальный порядок сферической дискретизации. Утверждается, что анализ высоких частот в сочетании с высокими радиальными значениями ожидает высокого порядка пространственной дискретизации. Это приведет к визуальным артефактам. Имея интерес только в одном радиусе анализа, в радиусе человеческой головы, исследования будут выполняться вплоть до некоторой ограничивающей частоты f_Alias.

(12)

Теперь описывается выравнивание диффузного поля.

Плечи, голова и внешнее ухо людей или искусственных голов искажают спектр падающих звуковых волн.

При сравнении передаточных функций от динамика к искусственной голове с записанными с помощью микрофона в той же самой позиции, могут наблюдаться различия в спектре. Имеются пики и спады в амплитудной передаточной функции искусственной головы. Некоторые из этих признаков зависят от направления, но также существуют признаки, которые независимы от направления.

При измерении в начале блокированного наружного слухового прохода может наблюдаться увеличение приблизительно на 10 дБ между диапазоном 2 кГц и 5 кГц в спектре передаточной функции головы для измерений (см. [022]). При воспроизведении сигналов, которые были произведены для динамиков, на наушниках эта передаточная функция от динамиков к уху отсутствует. Для компенсации этого недостающего пути, наушники часто вводят встроенное выравнивание, которое проявляет такое же повышение в регионе присутствия между 2 и 5 кГц (см. [023]), так называемое ʺвыравнивание диффузного поляʺ.

Чтобы правильно прослушать бинауральную запись на наушниках с выравниванием диффузного поля, характеристики BRIR должны быть обработаны, чтобы удалить этот пик присутствия, который уже включен в передаточную функцию наушников. Эта функция уже включена в устройство "Cortex".

Спектрально независимые признаки удаляются, чтобы была возможность воспроизводить бинауральную запись на наушниках без обработки.

Теперь рассматриваются измерения.

Что касается схемы измерений, в исследованиях используется сферический массив микрофонов для пространственной интерпретации отражений бинауральной импульсной характеристики помещения. Чтобы создать правильную корреляцию между характеристикой BRIR и распределением плоских волн, и бинауральные, и сферические измерения должны быть выполнены в одной и той же позиции. Кроме того, диаметр сферического измерения должен соответствовать диаметру головы для бинауральных измерений. Это гарантирует одинаковые значения времени прибытия (TOA) для обеих систем, предотвращая нежелательное смещение.

На фиг. 18 изображены две конфигурации измерений. Голова для бинауральных измерений, а также сферический массив микрофонов помещаются посреди восьми громкоговорителей. В каждом случае измеряются четыре не поднятых и четыре поднятых громкоговорителя. Не поднятые громкоговорители находятся на таком же уровне, как уши головы для измерений и точка отсчета массива микрофонов. Поднятые громкоговорители имеют угол EL=35° относительно не поднятого уровня. Каждый из восьми громкоговорителей имеет угол азимута AZ=45° относительно срединной плоскости. На основе предыдущих тестов было показано, что модификации к диагонально размещенным источникам звука вызывают наибольшие различия в локализации и тембре.

В качестве среды измерений использовалось помещение для тестового прослушивания [Ш x В x Г: 9,3×4,2×7,5 м], среда измерений "Моцарт" в Институте интегральных схем общества Фраунгофера (Fraunhofer IIS). Это помещение адаптировано для стандарта ITU-R BS.1116-3 относительно уровня фонового шума, а также времени реверберации, что приводит к более живому и естественному звуковому впечатлению. Помещение оборудовано уже установленными громкоговорителями через вдоль двух металлических колец (см. фиг. 19), которые подвешены одно над другим. Благодаря регулируемой высоте колец могут быть заданы точные позиции громкоговорителей. Каждое кольцо имеет радиус 3 метра, и оба кольца помещены в середине помещения.

Фиг. 19 иллюстрирует помещение для тестового прослушивания "Моцарт" в Институте интегральных схем общества Фраунгофера (Fraunhofer IIS), Эрланген. Соответствует стандарту ITU-R BS.1116-3 (см. [024]). Огромные громкоговорители из дерева на фиг. 19 не оставались в помещении во время измерений.

Массив микрофонов и голова для бинауральных измерений (например, искусственная голова или бинауральная кукла) поочередно размещаются в "зоне наилучшего восприятия" компоновки громкоговорителей. Лазерный измеритель расстояния использовался, чтобы гарантировать точное расстояние от каждой системы измерения к каждому громкоговорителю нижнего кольца. Высота 1,34 м была выбрана между центром уха и поверхностью земли.

В [026] Minhaar и др. сравнили несколько бинауральных измерений на голове человека и искусственной голове посредством анализа качества локализации.

Фиг. 20 иллюстрирует голову для бинауральных измерений ʺCortex Manikin MK1ʺ (слева) (см. [025]) и систему измерений с массивом микрофонов ʺVariSphearʺ (справа) (см. [027]). Чтобы предотвратить отражения, вызванные самой системой, нерелевантные компоненты были удалены (например, желтая лазерная система).

Следует понимать, что измерения с человеческими головами могут иногда приводить к более хорошей локализации. Хотя подобные результаты наблюдались в начале этой работы, искусственная голова для измерений используется вследствие простой обработки и соблюдения постоянных позиций во время измерений.

Сферический массив микрофонов "VariSphear" (см. [028]), см. фиг. 20, представляет собой управляемую систему держателя микрофона с вертикальным и горизонтальным шаговым двигателем. Она позволяет перемещать микрофон в любую позицию на сфере с переменным радиусом и имеет угловое разрешение 0,01°. Система измерения оборудована собственным управляющим программным обеспечением, которое основано на Matlab. При этом могут быть установлены различные параметры измерения. Существенные параметры заданы следующим образом.

Дискретизация решетки: квадратура Лебедева

Количество точек дискретизации: 350 (порядок дискретизация N=15, предел искажения совмещения имен f_Alias=8190 Гц)

Радиус сферы: 0,1 м (соответствие человеческой анатомии)

Частота дискретизации: 48000 Гц

Сигнал возбуждения: Развертка (логарифмическое увеличение)

"VariSphear" может измерять импульсные характеристики помещения для всех позиций решетки дискретизации автоматически и сохранять их в файле Matlab.

Далее рассматривается измерение с разверткой.

При измерении акустики помещений помещение рассматривается как в основном линейная и независимая от времени система, которая может быть возбуждена определенным стимулом для получения ее комплексной передаточной функции или импульсной характеристики. В качестве сигнала возбуждения синусоидная развертка оказалась хорошо подходящей для акустических измерений. Самое важное преимущество состоит в высоком отношении сигнал-шум, которое может быть увеличено посредством увеличения продолжительности развертки. Кроме того, его спектральному энергетическому распределению может быть придана желаемая форма, и нелинейность в сигнальной цепи может быть удалена просто посредством оконной обработки сигнала (см. [030]).

Сигнал возбуждения, используемый в этой работе, представляет собой сигнал с логарифмической разверткой. Это синусоида с постоянной амплитудой и экспоненциально увеличивающейся во времени частотой. Математически это может быть выражено (см. [029]) уравнением (13). Здесь x - амплитуда, t - время, T - продолжительность сигнала развертки, ω₁ - начальная частота и ω₂ - конечная частота.

(13)

В этой работе далее используется и разъясняется подход Weinzierl (см. [031]) для измерения импульсных характеристик помещения.

Этапы измерения проиллюстрированы на фиг. 21. Фиг. 21 показывает сигнальную цепь, используемую для измерений характеристики BRIR. Развертка используется для возбуждения громкоговорителей, и также в качестве опорного сигнала для обратной свертки в спектральной области. После преобразования в аналоговый сигнал и усиления сигнал развертки воспроизводится через громкоговоритель. В то же время сигнал развертки используется в качестве опорного сигнала и расширяется на двойную длину посредством заполнения нулями. Сигнал, воспроизводимый громкоговорителем, захватывается двумя ушными микрофонами головы для измерений, усиливается, преобразовывается в цифровой сигнал и заполняется нулями, как и опорный сигнал.

В этой точке оба сигнала преобразуются в частотную область через преобразование FFT, и измеренная выходная информация системы Y(e^jω) делится на опорный спектр X(e^jω). Деление сопоставимо с обратной сверткой во временной области и приводит к комплексной передаточной функции H(e^jω), которая является характеристикой BRIR. Посредством применения обратного преобразования FFT к передаточной функции получается бинауральная импульсная характеристика помещения (BRIR). Вторая половина характеристики BRIR содержит возможную нелинейность, возникающую в сигнальной цепи. Ее можно отбросить посредством оконной обработки импульсной характеристики.

Далее измерения от головы для бинауральных измерений и от сферического массива микрофонов будут совмещены. Затем будет выведен поток операций для пространственной классификации отражений характеристики BRIR. Следует подчеркнуть, что измерения сферического массива микрофонов являются только дополнительным инструментом, а не основной частью этой работы. Вследствие больших затрат не преследуется разработка способа автоматического обнаружения и пространственной классификации отражений характеристики BRIR. Вместо этого разрабатывается способ на основе визуального сравнения.

Поэтому был создан графический пользовательский интерфейс (GUI) для визуализации обоих представлений акустики помещения. Графический пользовательский интерфейс содержит зависящие от времени моментальные снимки распределения плоских волн и обе импульсные характеристики соответствующей характеристики BRIR. Скользящий маркер показывает временное соединение между обоими представлениями акустики помещения.

Теперь описывается анализ звукового поля.

На первом этапе выполняется анализ звукового поля на основе множества сферических импульсных характеристики помещения. С этой целью FH Köln обеспечивает комплект инструментов ʺSOFiAʺ (см. [032]), который анализирует данные массива микрофонов. При этом следует учесть упомянутые выше ограничения, таким образом, могут использоваться только базовые функции Matlab комплекта инструментов. Однако они должны быть интегрированы в специализированный алгоритм анализа. Эти функции сосредоточены на различных математических вычислениях и состоят в следующем.

Относительно функции F/D/T (преобразование в частотной области), эта функция преобразовывает данные массива временной области в данные частотной области, используя быстрое преобразование Фурье (FFT) для каждой импульсной характеристики. Поскольку спектральные данные являются дискретными, спектр задается в дискретной шкале частот. На основе этой шкалы и радиуса сферических измерений вычисляется шкала kr. Это линейная шкала, и она будет использоваться в течение следующих вычислений.

Относительно функции S/T/C (базис пространственного преобразования), базис пространственного преобразования использует комплексные (спектральные) коэффициенты Фурье для вычисления пространственных коэффициентов Фурье. Поскольку преобразование выполняется на шкале kr, оно зависит от частоты. Поэтому данные массива предварительно преобразованы в спектральную область.

Теперь рассматривается функция M/F (модальные радиальные фильтры).

В зависимости от конфигурации сферы и типа микрофона, функция M/F может генерировать модальные радиальные фильтры для выполнения декомпозиции на плоские волны. Она использует функции Бесселя и Ханкеля для вычисления коэффициентов радиального фильтра. Для конфигурации, используемой в этих измерениях, коэффициенты d_n(kr) фильтра, например, представляют собой инверсию уравнения (10).

(14)

Относительно функции P/D/C (декомпозиция на плоские волны), эта функция использует пространственные коэффициенты Фурье для вычисления обратного пространственного преобразования Фурье. На этом этапе пространственные коэффициенты Фурье умножаются на модальные радиальные фильтры. Это приводит к декомпозированному на плоские волны сферическому распределению звукового поля.

Фиг. 22 изображает обзор алгоритма анализа звукового поля. Тонкие линии передают информацию или параметры, и толстые линии передают данные. Функции 2201, 2202, 2203 и 2204 являются базовыми функциями комплекта инструментов SOFiA. Четыре функции комплекта инструментов SOFiA интегрированы в алгоритм, который разъяснен далее. Соответствующая структура показана на фиг. 22.

Теперь рассматривается концепция скользящего окна. Поскольку имеется интерес в кратковременном представлении декомпозированного волнового поля, создается скользящее окно, чтобы ограничить сферическую импульсную характеристику краткосрочными периодами для анализа. С одной стороны, прямоугольное окно должно быть достаточно длинным, чтобы получить значимые визуальные результаты. Для малых вычислительных затрат порядок спектрального преобразования Фурье ограничен значением N_fft=128. Это приводит к неточному спектральному анализу, особенно для очень краткосрочных периодов, таким образом, пространственный анализ также будет неточным. С другой стороны, они должны быть насколько возможно короткими для получения большего количества моментальных снимков на единицу времени. С использованием метода проб и ошибок значение L_win=40 отсчетов (при 48 кГц) было определено как целесообразная длина окна. К сожалению, временное разрешение 40 отсчетов не является достаточно точным, чтобы обнаружить индивидуальные отражения.

Под влиянием одномерного оконного преобразования Фурье было включено наложение между смежными секциями времени. Окно длиной L_win=40 отсчетов анализируется каждые 10 отсчетов. Следовательно, достигается наложение величиной 75%. В результате теперь возможно в четыре раза более высокое временное разрешение.

Фиг. 23 иллюстрирует, как разные позиции наиболее близких микрофонов в каждом множестве измерений приводят к смещению. Как видно на фиг. 23, наложение приводит к сглаживающему поведению, однако это не затрагивает дальнейшие исследования.

Должны быть предотвращены высокие усиления. Чтобы предотвратить высокие усиления, например, вызванные модальными радиальными фильтрами, порядок пространственного преобразования Фурье должен быть ограничен для малых значений kr. Для этого реализована функция, которая сравнивает усиление фильтра в зависимости от заданного значения kr. Порог установлен равным G_threshold=10dB, таким образом, используются только кривые фильтра, которые вызывают меньшие усиления, чем позволяет порог. Чтобы реализовать это ограничение на практике, порядок пространственного преобразования Фурье должен быть ограничен значением N_max(kr).

Чтобы гарантировать соблюдение критерия искажений для предотвращения искажений, в алгоритм вовлечена другая функция. Она вычисляет максимальное допустимое значение kr и находит соответствующий индекс в kr-векторе. Эта информация затем используется, чтобы ограничить анализ (в функциях S/T/C и P/D/C) определенным значением.

Финальный этап анализа звукового поля, например, может представлять собой сложение зависимых от kr результатов, поскольку вычисления S/T/C и P/D/C должны быть выполнены для каждого значения kr индивидуально. Для визуализации декомпозированного волнового поля абсолютные значения P/D/C выходных данных складываются.

Результаты анализа звукового поля могут затем использоваться, например, чтобы коррелировать их с бинауральными импульсными характеристиками. Обе из них представляются в виде графиков в графическом пользовательском интерфейсе в соответствии с направлением соответствующего источника звука (см. фиг. 24).

Но сначала, например, могут быть сделаны некоторые предостережения.

Для временной регулировки оба измерения анализируются функцией ʺоценить TOAʺ, в которой оценивается продолжительность звука от громкоговорителя до наиболее близкого микрофона. В бинауральной схеме наиболее близкий микрофон всегда располагается на ипсилатеральной стороне. Таким образом, соответствующий канал характеристики BRIR выбирается для оценки TOA. Посредством использования этой импульсной характеристики определяется максимальное значение и создается пороговое значение, которое составляет 20 процентов от максимального. Поскольку прямой звук является первым по времени событием в импульсной характеристике, а также содержит максимальное значение, TOA определяется как первый пик, который превышает порог. В сферической схеме оценивается импульсная характеристика наиболее близкого микрофона посредством сравнения максимальных значений каждой импульсной характеристики во времени. Затем такая же процедура оценки TOA применяется к импульсной характеристике с наиболее ранним максимумом.

Наиболее близкий микрофон сферической схемы находится не в той же позиции, как в бинауральной схеме (см. фиг. 23). Тем не менее, расстояние между ними всегда будет одинаковым, поскольку в этой работе измеряются только громкоговорители, размещенные по диагонали. Таким образом, имеется разность приблизительно 7,5 см или 10 отсчетов (при 48 кГц), что соответствует смещению на один шаг во временном разрешении анализа звукового поля. Принимая во внимание смещение, этот простой метод для оценки TOA приводит к удивительно хорошим результатам.

С использованием оценку TOA и оценки точки перехода, как упомянуто выше, анализ звукового поля ограничен во времени этими индексами времени. Множество характеристик BRIR также будет обработано с помощью оконной функции, чтобы они находились в этих пределах (см. фиг. 24).

Фиг. 24 изображает, как графический пользовательский интерфейс визуально объединяет результаты анализа звукового поля и измерения характеристики BRIR.

Фиг. 25 изображает вывод графического пользовательского интерфейса для корреляции бинауральных и сферических измерений. Для текущей позиции ползунка обнаружено отражение, которое приходит к голове сзади немного выше уровня ушей. В представлении характеристики BRIR это отражение помечено скользящим окном (линии 2511, 2512, 2513, 2514).

Два канала характеристики BRIR представлены как графики в нижней части графического пользовательского интерфейса, показывающие абсолютные значения. Чтобы лучше распознать отражения, диапазон значений ограничен значением 0,15. Линии 2511, 2512, 2513, 2514 представляют скользящее окно длиной 40 отсчетов, которое использовалось при анализе звукового поля. Как уже упомянуто, временное соединение между обоими измерениями основано на оценке TOA. Позиция скользящего окна оценивается только на графиках характеристики BRIR.

Моментальные снимки декомпозированного волнового поля показаны на верхнем левом графике. Здесь сфера спроецирована на двухмерную плоскость, содержащую магнитуды (линейный или в масштабе дБ) для каждого азимута и угла высоты. Ползунок управляет временем наблюдения для моментальных снимков, а также выбирает соответствующую позицию скользящего окна на графиках характеристики BRIR.

Невозможно видеть временное распределение декомпозированного волнового поля для обоих углов на одном графике. Таким образом, он должен быть разбит на горизонтальное и вертикальное представление. Для горизонтального распределения сумма данных для всех углов высоты была вычислена и сокращена до одной плоскости. Для вертикального распределения была вычислена сумма данных для всех углов азимута. Оба графика ограничены 2000 отсчетами, чтобы видеть больше подробностей вначале. Первые 120 отсчетов HRIR находятся вне диапазона и обрезаны в визуальном представлении.

Далее представлен поток операций для обнаружения и классификации отражений в характеристике BRIR.

Вследствие сильного отражения, накладывающегося во временной области, невозможно полностью вырезать одиночные отражения индивидуально. Даже если отражения первого порядка не накладываются между собой вначале, к микрофонам может приходить рассеяние в одно и то же время. Таким образом, в исследованиях следует рассматривать только части отражений, которые имеют преобладающие пики в характеристике BRIR и в декомпозированном представлении волнового поля.

Фиг. 26 показывает разные временные стадии некоторого отражения, которые были захвачены в обоих измерениях. Как видно во втором ряду, отражение доминирует в окне анализа звукового поля. Такое же поведение может быть замечено в характеристике BRIR. В этом примере отражение вызывает в обоих каналах пик с наиболее высоким значением в его непосредственном окружении. Чтобы использовать его в последующих исследованиях, должны быть определены начальная и конечная точки.

Для этого необходимо отступить на несколько временных шагов назад, чтобы найти точку перехода от текущего к предыдущему отражению. Этот процесс подробно показан в первом ряду на фиг. 26. Окно анализа расположено между двумя отражениями. На основе визуальной оценки начальная точка может быть установлена, например, на отсчете 910. В обоих каналах существует локальный минимум. В этом случае одинаковое значение может быть выбрано для обеих импульсных характеристик, поскольку отражение появляется сзади. Это означает, что в характеристике BRIR почти нет разности ITD или ILD. Иначе, в зависимости от угла азимута должна быть добавлена разность ITD. Такая же процедура исполняется для конечной точки.

Фиг. 26 иллюстрирует разные временные стадии отражения, представленного в декомпозированном волновом поле, и графики характеристики BRIR. Левый столбец показывает начало. В этот момент времени другое отражение исчезает. В среднем столбце желаемое отражение доминирует в окне анализа. В правом столбце оно затем становится слабее и медленно исчезает среди других отражений и рассеивания.

Теперь обсуждается влияние ранних отражений.

Даже при том, что эта работа сфокусирована на исследовании влияния ранних отражений на восприятие высоты, необходимо понять поведение и роль отражений при бинауральной обработке. В частности, отражения являются модифицированными повторениями прямого звука. Поскольку могут возникнуть эффекты маскирования и предшествования, кажется целесообразным предположить, что не все отражения будут слышимыми. Возникает вопрос: все ли отражения важны для сохранения локализации и общего звукового впечатления? Какие отражения могут являться необходимыми для восприятия высоты? Каким образом дополнительные тесты могут быть разработаны без разрушения звукового впечатления и с сохранением естественности?

Эта работа не предназначена для того, чтобы найти общие правила для описания, каким образом отражения подавляются при бинауральном восприятии. Вместо этого она нацелена на ответ на упомянутые вопросы. Таким образом, нерелевантные отражения определяются на основе слуховой оценки при использовании принципов эффектов маскирования и предшествования.

Теперь рассматривается пространственное распределение отражений со ссылкой на представленную выше среду прослушивания "Моцарт".

Фиг. 27 иллюстрирует горизонтальное и вертикальное распределения отражения в среде "Моцарт" с направлением источника звука: азимут 45°, высота 55°. В этом помещении ранние отражения могут быть разделены на три секции: 1. [Отсчеты: 120-800] Отражения, приходящие почти с такого же направления, как прямой звук. 2. [Отсчеты: 800-1490] Отражения, приходящие с противоположных направлений. 3. [Отсчеты: 1490-точка перехода] Отражения, приходящие со всех направлений и имеющие меньшую силу.

С помощью оценки горизонтального и вертикального распределений ранних отражений для направлений другого источника может наблюдаться типичный шаблон распределения. Пространственное распределение может быть разделено на три области. Первая секция начинается сразу после прямого звука на отсчете 120 и заканчивается около отсчета 800. Из горизонтального представления можно заметить, что отражения приходят в зону наилучшего восприятия почти с такого же направления, как источник звука (см. фиг. 27 слева). График высоты (см. фиг. 27 справа) показывает, что в этом диапазоне все волны отражаются либо от пола, либо от потолка.

Во второй секции отражения приходят с противоположной стороны от источника. Этот период времени начинается на отсчете 800 и заканчивается на отсчете 1490. Здесь источники с фронтальных направлений (45°/315°) вызывают отличающиеся отражения около углов азимута 170 °/190 °. Это происходит вследствие очень большого окна с сильной отражающей поверхностью сзади. Принимая во внимание, что источники с тыловых направлений (135°/225°) вызывают отличающиеся отражения в противоположных углах (315°/45°) вследствие не сильно отражающей поверхности спереди. Для распределения по высоте не может быть сделано ясного утверждения.

Третья секция начинается на отсчете 1490 и заканчивается в оценочной точке перехода. Здесь кроме нескольких исключений отражения приходят почти со всех направлений и высот. Кроме того, уровень звукового давления сильно уменьшен.

Далее рассматривается сокращение релевантных для слуха отражений.

Предпринята попытка сократить ранние отражения до основы в одной паре характеристик BRIR (источник, угол азимута: 45°, угол высоты: 55°). Подавленные отражения определяются и устанавливаются равными нулю, и затем сравниваются с немодифицированными характеристиками BRIR. Поскольку локализация сильно коррелирована со спектральными признаками и, тем самым, с тембром звука, нет отличия между локализацией и звуковым впечатлением. Удаление отражений из характеристик BRIR не должно привести к каким-либо различиям восприятия.

При определении подавленных отражений следует принять во внимание некоторые специальные функции. По сравнению с классическими экспериментами, в которые включены только два звука, много отражений влияют на поведение эффектов маскирования и предшествования в характеристике BRIR. Кроме того, невозможно применить правила непосредственно к импульсным характеристикам, поскольку импульс отражения приведет к различным длинам и качеству эффекта в зависимости от звука, который он фильтрует. Кроме того, имея дело с характеристиками BRIR, бинауральные признаки могут затронуть маскирование, поскольку слушатель принимает две версии маскирования и маскированного звука. Обе версии отличаются по разностям ITD, ILD и спектральному составу. В этом случае к слушателю возвращается больше информации. Известным примером является ʺэффект вечеринкиʺ (см. [033]), когда слуховая система может фокусироваться на одном человеке в переполненном помещении.

Фиг. 28 иллюстрирует горизонтальное и вертикальное распределения отражения в среде "Моцарт" с направлением источника звука: азимут 45°, высота 55°. На этот раз слышимыми являются только отражения слева на обоих графиках.

Фиг. 29 показывает пару поднятых характеристик BRIR с направлением источника звука: азимут 45°, высота 55°. Секции 2911, 2912, 2913, 2914, 2915; 2931, 2932, 2933, 2934, 2935 установлены равными нулю в импульсных характеристиках 2901, 2902, 2903, 2904, 2905; 2921, 2922, 2923, 2924, 2925.

Подход для определения подавленных отражений состоит в следующем. В первой секции ранних отражений все отсчеты между отсчетами 300 и 650 устанавливаются равными нулю. Отражения здесь являются пространственными повторениями первых отражений от пола и потолка (см. фиг. 29). Можно предположить, что они нерелевантны для восприятия в характеристике BRIR вследствие возможных эффектов предшествования или маскировки. Преобладание первых двух отражений также может быть заметно на графиках характеристик BRIR (см. фиг. 30). Это поддерживает сделанное ранее предположение. Диапазон между отсчетами 650 и 800 содержит сравнительно слабые отражения, однако они кажутся важными. Считается, что эффект подавления до сюда не простирается, и хотя их удаление вызывает только малые различия в восприятии, они остаются в характеристиках BRIR.

Начало второй секции (800-900), также кажется не подавленным. Отражения здесь демонстрирует высокие пики на графиках характеристики BRIR и исходят с противоположных направлений. Отражение на отсчете 910 является предшествующим повторением более сильного отражения на отсчете 1080, и, таким образом, не релевантен для восприятия. Диапазон между отсчетами 900 и 1040 был удален. От отсчета 1040 до отсчета 1250 имеется преобладающая группа отражений, которые не могут быть удалены. По сравнению с концом первой секции, конец второй секции (1250-1490) также является менее решающим для восприятия, но все же важным.

Кроме двух исключений (1630-1680, 1960-2100) вся третья секция устанавливается равной нулю. Приходящая в зону наилучшего восприятия почти со всех направлений композиция отражений, по-видимому, не имеет никаких признаков направленности.

Фиг. 30 иллюстрирует сложение всех "моментальных снимков" анализа звукового поля для всех ранних отражений (слева) и только для релевантных для восприятия ранних отражений (справа).

В частности; фиг. 30 слева показывает совокупное пространственное распределение всех ранних отражений. На этом графике могут быть легко распознаны первая и вторая секции. Для источника с углом азимута 45° первая группа отражения приходит с направления источника, и вторая группа с угла приблизительно 170°. Это распределение, очевидно, обусловливает звуковые признаки, которые приводят к естественному звуковому впечатлению и хорошей локализации, поскольку они сопоставимы с хранящимися в слуховой системе человека.

Кроме того, фиг. 30 показывает совокупные пространственные распределения до (слева) и после (справа) удаления нерелевантных отражений, что важные отражения не были удалены. Кроме того, теперь легко указать преобладающие отражения, вовлеченные в локализацию. Это знание будет использовано в последующем при поиске признаков восприятия высоты в ранних отражениях.

Фиг. 31 иллюстрирует немодифицированные характеристики BRIR, которые были протестированы в сравнении с модифицированными характеристиками BRIR в тесте на прослушивание, в то время как были включены еще три условия. Первое дополнительное условие состояло в том, чтобы удалить все ранние отражения; второе условие состояло в том, чтобы оставить только отражения, удаленные прежде; и третье условие состояло в том, чтобы удалить только первую и вторую секцию ранних отражений (см. фиг. 31).

Фиг. 31 иллюстрирует пару не поднятых характеристик BRIR (1 и 2 ряды), пару поднятых характеристик BRIR (3 и 4 ряды) и пару модифицированных характеристик BRIR (5 и 6 ряды). В последнем случае ранние отражения поднятых характеристик BRIR были вставлены в не поднятые характеристики BRIR.

При прослушивании с условием один прямой звук воспринимается с менее поднятого угла. Кроме того, слышимы два индивидуальных события (прямой звук и реверберация). Неформальный тест на прослушивание показал, что ранние отражения могут иметь соединительное свойство.

Далее представлены концепции, на которых, в частности, основывается настоящее изобретение.

Сначала рассматриваются признаки для восприятия высоты.

На основе изложенного выше теперь рассматривается, поддерживают ли ранние отражения восприятие высоты? И содержит ли огибающая спектра ранних отражений признаки для восприятия высоты? В следующих экспериментах слуховая оценка основана на информации обратной связи от нескольких опытных слушателей.

Ранние отражения поддерживают восприятие высоты. Это продемонстрировано в начальном тесте, который анализирует, существуют ли возможные различия между ранними отражениями не поднятых и поднятых характеристик BRIR относительно восприятия высоты. Для угла азимута 45° выбраны две пары характеристик BRIR. Взяты ранние отражения поднятых характеристик BRIR, чтобы заменить ранние отражения не поднятых характеристик BRIR (см. фиг. 32). Ожидается, что не поднятые характеристики BRIR будут тогда восприниматься с более высокого места высоты.

Фиг. 32 иллюстрирует, как для каждого канала не поднятая характеристика BRIR (слева) сравнивается по восприятию с собой (справа), на этот раз содержащей ранние отражения поднятой характеристики BRIR (прямоугольник на правой стороне фиг. 32).

Алгоритм для оценки точки перехода между ранними отражениями и реверберацией применен к каждой характеристике BRIR индивидуально. Таким образом, ожидаются четыре разных значения и четыре разных длины для диапазонов раннего отражения. Чтобы заменить ранние отражения характеристик BRIR, требуется одинаковая длина для каждого канала. В этом случае расширение в область реверберации является предпочтительным по сравнению с сокращением посредством удаления конца части раннего отражения. По сравнению с ранними отражениями реверберация не содержит информации о направлении и не исказит эксперимент до такой степени, как ожидалось в другом случае. Как видно на фиг. 31 (ряды 5 и 6), ранние отражения в канале 1 начинаются на отсчете 120 и заканчиваются на отсчете 2360. В канале 2 они начинаются на отсчете 120 и заканчиваются на отсчете 2533.

Этот не поднятый источник звука действительно воспринимается с более высокого угла высоты. Это означает, что ранние отражения не только поддерживают прямой звук, воспринимаемый естественно, но также имеют слышимые зависимые от направления свойства.

Огибающая спектра содержит информацию о восприятии высоты. Поскольку имеется интерес к восприятию высоты источника звука, предыдущий эксперимент повторяется с использованием только спектральной информации. Поскольку локализация на срединной плоскости, в частности, управляется спектральными признаками (и, например, дополнительно промежутком времени между прямым звуком и реверберацией), цель состоит в том, чтобы узнать, достаточно ли модификаций к спектральной области для достижения такого же эффекта. На этот раз использовались те же самые характеристики BRIR и те же самые начальные и конечные точки, представляющие диапазоны раннего отражения.

Фиг. 33 иллюстрирует, как ранние отражения не поднятой характеристики BRIR (слева) сравниваются по восприятию с собой (справа), на этот раз с ранними отражениями, окрашенными ранними отражениями поднятой характеристики BRIR по каналам (прямоугольник на правой стороне фиг. 33). Ранние отражения поднятых характеристик BRIR используются в качестве опорных для фильтрации ранних отражений не поднятых характеристик BRIR по каналам.

В соответствии с процессом фильтрации для каждого канала:

- Вычисляется дискретное преобразование Фурье для ранних отражений поднятой характеристики BRIR, чтобы получить ER_el,fft. Вычисляется дискретное преобразование Фурье для ранних отражений не поднятой характеристики BRIR, чтобы получить ER_non-el,fft.

- Магнитуды ER_el,fft, а также ER_non-el,fft сглаживаются прямоугольным окном, скользящим по шкале ERB (см. [034]), что дает приближение для ширин полос фильтров при человеческом слушании, чтобы получить ER_{el,fft,smooth} и ER_{non-el,fft,smooth}.

- Чтобы вычислить фильтр коррекции, сначала опорная кривая делится на фактическую кривую. Это приводит к кривой коррекции CC_smooth=ER_{el,fft,smooth}/ER_{non-el,fft,smooth}.

- Возможно создать минимальную фазовую импульсную характеристику IR_correction из CC_smooth посредством подходящей оконной обработки в кепстральной области (см. [035]).

- Затем используется IR_correction для фильтрации ранних отражений не поднятой характеристики BRIR.

Здесь выполняется сглаживание, чтобы получить простую кривую коррекции.

Для канала один получается разность энергий 4,3 процента, и для канала два - 3,0 процента. Эти небольшие различия можно видеть на фиг. 34 между огибающими 3411, 3412 спектра и штриховыми огибающими 3401, 3402 спектра.

Фиг. 34 иллюстрирует огибающие спектра не поднятых ранних отражений 3421, 2422, поднятых ранних отражений 3411, 2412 и модифицированных (штриховых) ранних отражений 3401, 3402 (первый ряд). Соответствующие кривые коррекции показаны во втором ряду.

Слуховое сравнение не поднятых и спектрально модифицированных характеристик BRIR не демонстрирует увеличения угла высоты. И также кривые коррекции имеют динамический диапазон только 6 дБ. Кажется, что не спектр всех ранних отражений содержит информацию о высоте.

Из описанного выше известно, это не весь диапазон ранних отражений является слышимым. Те неслышимые части, включенные в спектральные модификации последнего эксперимента, искажают результаты. Особенно третья часть диапазона раннего отражения, в которой отражения приходят со всех направлений, может являться ответственной за низкий динамический диапазон кривых коррекции. Таким образом, повторяется последний эксперимент, на этот раз сфокусированный только на слышимых ранних отражениях.

Секции, выбираемые для слышимых отражений, даны в таблице 1:

Таблица 1:

Таблица 1 изображает слышимые секции ранних отражений поднятых и не поднятых характеристик BRIR. Вследствие сильного наложения разность ITD здесь не рассматривается. Окно Тьюки используется для усиления и постепенного затухания секций, при этом остаток обнуляется.

Фиг. 35 изображает огибающие спектра слышимых частей не поднятых ранних отражений 3521, 3522, поднятых ранних отражений 3511, 3512 и модифицированных (штриховых) ранних отражений 3501, 3502 (первый ряд). Соответствующие кривые коррекции показаны во втором ряду.

Далее проводится анализ огибающих спектра.

Как уже упомянуто, локализация на срединной плоскости управляется усилениями некоторых диапазонов частот. Следовательно, спектральные признаки отвечают за восприятие источников с поднятых углов, и исследования в этой работе по-прежнему сфокусированы на нахождении желаемых признаков в спектральной области.

Использование огибающих спектра ранних отражений поднятых характеристик BRIR, чтобы модифицировать не поднятые характеристики BRIR, не увеличило угол высоты источника звука. Сравнивая огибающие спектра всех ранних отражений с огибающими спектра одиночных отражений, можно сказать, что одиночные отражения имеют более динамичный спектральный ход в слышимом диапазоне (до 20 кГц). Напротив, полные спектры демонстрируют пологие кривые (см. фиг. 36).

Фиг. 36 показывает сравнение огибающих спектра: огибающие спектра всех ранних отражений или даже всех слышимых ранних отражений демонстрируют пологую кривую в слышимом диапазоне (до 20 кГц). Напротив, спектры одиночных отражений (второй ряд) имеют более динамичный ход.

В частности, фиг. 36 показывает полученные в результате кривые коррекции. Хотя на этот раз шаблоны, а также динамические диапазоны изменились, в восприятии нет никаких существенных изменений относительно угла высоты. Хотя имеется разность по меньшей мере на 4.5 дБ в огибающей спектра на ипсилатеральном ухе (CH1), нет существенных различий между огибающими на контралатеральном ухе. Эти значения относительно малы с учетом того, что диапазон, который они модифицируют, находится после доминирующего прямого звука.

Возможно, что ранние отражения по-прежнему имеют важное влияние на естественность звукового впечатления все вместе, что является важным для представления восприятия высоты при прослушивании виртуальных источников звука. Однако разумно предположить, что признаки для восприятия высоты расположены в спектрах одиночных отражений. Знание о пространственном распределении отражений, полученных посредством измерений массива микрофонов, используется в последующих экспериментах.

Теперь представлена концепция, которая усиливает ранние отражения с более высоких углов высоты.

Определим отражения, содержащие признаки для восприятия высоты посредством их усиления. Интуитивно, если существуют какие-либо одиночные отражения, содержащие эти признаки, то они могли бы прийти к слушателю с более высоких углов высоты.

В предыдущем тесте была осуществлена попытка сместить энергию из отражений, приходящих с более низких углов высоты, к тем, которые приходят с более высоких углов высоты. К сожалению, с более низких углов высоты существуют только два отражения, которые не находятся в неслышимых диапазонах. Эта ситуация наблюдалась во всех направлениях, поскольку свойства геометрии для измеренных громкоговорителей в зале "Моцарт" почти идентичны. В сравнении не критично, если отражения с более высоких углов высоты лежат в неслышимых секциях. Усиление этих отражений заставит их превысить эффект подавления и стать заметными. Однако в этом случае от импульсной характеристики могут быть отделены четыре отражения, не имеющие сильных накладывающихся областей со смежными отражениями. Соответствующие значения даны в таблице TA2. Вследствие небольшого количества отражений, используемых в этом эксперименте, были получены значения усиления лишь 1,14 для первого канала и 1,33 для второго канала. Этого недостаточно, чтобы вызвать улучшение в восприятии высоты. Несколько других подходов для систематического смещения энергии из других частей в четыре отражения с более высокими углами высоты привели к подобным результатам.

Поэтому была предпринята попытка найти подходящие значения усиления на основе слуховой оценочной настройки. Различные значения в диапазоне между диапазоном 3 и 15 выбраны для усиления каждого из этих четырех отражений. Эти отражения показаны на фиг. 37.

Фиг. 37 иллюстрирует четыре выбранных отражения 3701, 3702, 3703, 3704; 3711, 3712, 3713, 3714, приходящие к слушателю с более высоких углов высоты, которые усилены с помощью значения 3. Отражения позади отсчета 1100 имеют сильное наложение на смежные отражения и, следовательно, не могут быть отделены от импульсных характеристик.

Они усилены и представлены кривой 3701, 3702, 3703, 3704 и кривой 3711, 3712, 3713, 3714. При сравнении усиленных отражений по восприятию, было обнаружено, что второе отражение 3702; 3712 и третье отражение 3703; 3713 вызывают пространственные смещения на плоскости азимута, а не на срединной плоскости. Это приводит к сильному впечатлению реверберирующего звука.

Усиление первого отражения 3701; 3711 и четвертого отражения 3704; 3714 дает в результате улучшение воспринятого угла высоты. При их сравнении усиление первого отражения 3701; 3711 приводит к большему изменению тембра, чем четвертого отражения 3704; 3714. Кроме того, в случае четвертого отражения 3704; 3714 источник кажется более компактным. Тем не менее, их одновременное усиление приводит к наилучшему результату по восприятию. Отношение обоих значений усиления является важным. Могло наблюдаться, что четвертое значение усиления должно быть выше, чем первое. После нескольких попыток опытными слушателями были найдены и подтверждены значения усиления 4 и 15 как имеющие наибольший и естественный эффект. Следует отметить, что отклонения этих значений вызывают лишь малые изменения эффекта. Таким образом, они будут использоваться в качестве значений ориентации в последующих экспериментах.

Далее обеспечены конкретные варианты осуществления настоящего изобретения.

В частности, описаны концепции для виртуального подъема источников звука.

Упомянутые выше результаты показали, что два отражения, появляющиеся с более высоких углов высоты, действительно содержат признаки, которые ответственны за впечатление высоты. Будучи усиленными в их первоначальных позициях в характеристиках BRIR, временные признаки не изменяются. Чтобы гарантировать, что увеличение высоты вызвано спектральными, а не временными признаками, спектры изолированы, чтобы создать фильтр.

Вследствие своего высокого уровня звука прямой звук доминирует над процессом локализации. Ранние отражения имеют вторичное значение и не воспринимаются как индивидуальное слуховое событие. Под влиянием эффекта предшествования они поддерживают прямой звук. Следовательно, целесообразно применить созданный фильтр к прямому звуку, чтобы модифицировать функции HRTF.

Геометрический анализ двух отражений обнаруживает, что с учетом позиций обоих отражений в характеристиках BRIR и углов высоты в пространственном представлении распределения отражения могут быть идентифицированы как отражения от потолка первого и второго порядка.

Фиг. 38 изображает иллюстрацию обоих отражений от потолка для некоторого источника звука. Вид сверху (слева) и вид сзади (справа) к слушателю и громкоговорителям.

В частности, фиг. 38 показывает на виде сверху и виде сзади геометрическую ситуацию. Отражение второго порядка безусловно слабее и вследствие своего двойного отражения акустически менее подобно прямому звуку, чем отражение первого порядка. Однако оно приходит к слушателю с более высокого угла высоты. Значение усиления 15, определенное, как описано выше, подкрепляет его важность.

На левой иллюстрации на фиг. 38 можно заметить, что оба отражения появляются с того же направления, как и прямой звук, имея разные углы высоты (правая иллюстрация). Вследствие симметрии настройки измерения эта геометрическая ситуация задана для каждого из четырех (диагональных) громкоговорителей, измеренных на поднятом кольце. Могло наблюдаться, что позиции обоих отражений в соответствующих характеристиках BRIR всегда являются одинаковыми. Таким образом, без результатов анализа звукового поля для громкоговорителей с углами азимута α ⋲ {0°, 90°, 180° и 270°}, они также могут использоваться в последующих исследованиях.

Далее описывается спектральная модификация прямого звука в соответствии с вариантами осуществления.

Целевая кривая фильтра сформирована посредством комбинации двух отражений от потолка. Здесь используются не абсолютные значения усиления (4 и 15), а лишь их отношение. Следовательно, отражение первого порядка усиливается в один раз, и отражение второго порядка в четыре раза. Оба отражения последовательно сливаются в один сигнал во временной области. Для спектральных модификаций прямого звука используется набор мел-фильтров. Порядок набора фильтров установлен равным M=24, и длина фильтра N_MFB=2048.

Фиг. 39 иллюстрирует процесс фильтрации для каждого канала с использованием набора мел-фильтров. Входной сигнал x_DS,i,α(n) фильтруется посредством каждого из M фильтров. М подполосных сигналов умножаются на вектор мощности P_R,i,α(m) и в итоге складываются в один сигнал y_DS,i,α(n).

Процесс фильтрации, показанный на фиг. 39, разъясняется пошагово:

1. Прямой звук x_DS,i,α(n) фильтруется посредством набора мел-фильтров для получения подполосных сигналов x_DS,i,α(n,m). Индекс i ⋲ {1,2} обозначает каналы, α - угол азимута источника звука, n - позиция отсчета, и m ⋲ [1, M] - подполосу.

2. Комбинация отражений x_R,i,α(n) отфильтровывается посредством набора мел-фильтров для получения M подполосных сигналов x_R,i,α(n,m) и мощности каждого подполосного сигнала, сохраненную в векторе мощности P_R,i,α(m). Мощность вычисляется посредством уравнения (15):

, N: длина сигнала (15)

3. Вектор мощности P_R,i,α(m), который неявно содержит целевую кривую фильтра, используется для взвешивания x_DS,i,α (n,m) в каждой подполосе.

4. После умножения x_DS,i,α(n,m) на P_R,i,α(m) во временной области взвешенные подполосные сигналы складываются вместе для получения полного отфильтрованного сигнала y_DS,i,α(n).

После фильтрации разность ILD между импульсами прямого звука изменяется. Теперь она определяется через комбинацию обоих отражений в каждом канале. Таким образом, модифицированные импульсы прямого звука должны быть скорректированы до своих первоначальных значений уровня. Мощность прямого звука вычисляется перед (P_Before,i,α) и после (P_After,i,α) фильтрации, и значение коррекции

вычисляется для каждого канала. Каждый импульс прямого звука затем нагружается соответствующим значением коррекции для получения первоначального уровня.

Фиг. 40 изображает вектор мощности P_R,i,α(m) для источника звука с угла азимута α=225°. Здесь кривая 4001 вызывает коррекцию в ипсилатеральном ухе, и кривая 4011 в контралатеральном ухе.

Коррекция на фиг. 40 выражена в увеличении мощности подполосного сигнала в среднем диапазоне. Формы ипсилатеральных и контралатеральных векторов коррекции являются подобными. После неформального теста на прослушивание слушатели сообщили о ясном различии высот для немодифицированных характеристик BRIR. Поднятый звук был воспринят как имеющий более далекое расстояние и меньшую громкость звука. Для нескольких углов азимута было слышимо увеличение реверберации, что затрудняет локализацию.

Далее рассматривается формирование переменной высоты в соответствии с вариантами осуществления.

Фиг. 41 изображает различные кривые усиления, обусловленные различными экспонентами. Если рассматривается показательная функция x^1/2, значения меньше единицы будут усиливаться, и значения больше единицы будут ослабляться (см. фиг. 41). При изменении значения экспоненты получаются различные кривые усиления. В случае значения 1 модификации не исполняются.

Фиг. 42 изображает различные экспоненты, применяемые к P_R,i,225°(m)(слева) и к P_R,i(m) (справа). В результате достигаются различные формы. На левом графике угол азимута α=225°. Здесь CH1 относится к контралатеральному каналу, и CH2 к ипсилатеральному каналу. На правом графике CH1 относится к левому уху и CH2 к правому уху, поскольку кривые усреднены по всем углам.

Применяя этот механизм к P_R,α, можно получить различные акценты кривой. Как видно на фиг. 42, силой спектральной модификации прямого звука может управлять экспоненциальное значение для управления кривой фильтра и, таким образом, увеличением высоты источника звука. Напротив, отрицательные экспоненты приводят к заграждающему поведению посредством ослабления подполосного сигнала в среднем диапазоне. Впоследствии модифицированные импульсы прямого звука снова корректируются до своих первоначальных значений уровня.

Был выполнен и оценен неформальный тест на прослушивание. Согласно полученной информации, рост экспонент заставляет источник звука подниматься вверх. Для отрицательных экспонент он опускается вниз. Также согласно полученной информации тембр сильно изменяется при опускании источника. Тембр становится очень "глухим". Кроме того, можно заметить, что целесообразно ограничить диапазон экспонент диапазоном [-0,5, 1,5]. Более низкие и более высокие значения вызывают сильные изменения тембра, при этом склоняясь к меньшей разности высот.

Далее описывается независимая от направления обработка в соответствии с вариантами осуществления.

До сих пор обработка исполнялась для каждого угла азимута индивидуально. В зависимости от азимутального направления каждый источник звука модифицировался посредством его собственных отражений, как показано на фиг. 38. Поскольку известно, что отражения, вовлеченные в обработку, всегда появляются в одних и тех же позициях в характеристиках BRIR, обработка может быть упрощена. Сравнивая P_R,i,α(m) для каждого направления, можно заметить, что все кривые, оказывается, демонстрируют полосно-пропускающее поведение. Таким образом, P_R,i,α(m) сокращается до P_R,i(m) посредством усреднения по всем углам азимута.

Следует отметить, что P_R,i(m) все еще зависит от того, исполняется ли обработка на ипсилатеральном или контралатеральном ухе. Процесс усреднения исполняется в зависимости от ситуации, как показано на фиг. 43. На левой стороне усреднены все ипсилатеральные сигналы, и на правой стороне усреднены все контралатеральные сигналы. Для громкоговорителей с углами азимута α=0° и α=180° в обоих каналах существует симметрия. Поэтому нет различия между ипсилатеральным и контралатеральным сигналами, так что оба используются в каждом случае.

Фиг. 43 показывает ипсилатеральные (слева) и контралатеральные (справа) каналы для процедуры усреднения. Два громкоговорителя спереди и позади головы для измерений имеют симметричные каналы. Таким образом, для этих углов нет различия между ипсилатеральным и контралатеральным.

Как видно на фиг. 42 (справа), после процесса усреднения различия между каналами сокращаются. Неформальный тест на прослушивание показывает, что дополнительное усреднение по обоим каналам для получения только одной кривой P_R(m) на экспоненту не вызывает слышимых различий. Усредненные кривые показаны на фиг. 44 (слева).

Далее рассматривается фронтально-тыловая дифференциация.

Спектральные признаки, которые отвечают за "фронтально-тыловую дифференциацию", содержатся в прямом звуке и в целевой кривой фильтра. Признаки в прямом звуке подавляются фильтрацией, и признаки в целевой кривой подавляются усреднением P_R,i,α(m) по всем углам азимута. Таким образом, эти признаки должны быть снова акцентированы, чтобы получить более сильную "фронтально-тыловую дифференциацию". Это может быть достигнуто следующим образом.

1. Усреднение P_R,i,α(m) всех каналов и всех углов α ⋲ [90°, 270°] для получения P_Back(m).

2. Усреднение P_R,i,α(m) всех каналов и всех углов α ⋲ [270°, 90°] для получения P_Front(m).

3. Вычисление P_{FrontBack,max}(m)=P_Front(m)/P_Back(m) для получения разностной кривой между фронтальным и тыловым направлениями, как показано на фиг. 44 (справа). Для достижения более сильного эффекта сглаживания P_R,i,α(m) для α=90° и α=270° используется дважды. Они не содержат какой-либо фронтальной или тыловой информации, поскольку расположены на фронтальной плоскости, и не искажают полученную в результате кривую. Гипотетически применение этой кривой к поднятому источнику на α=180° переместили бы его в α=0°.

4. В зависимости от исходного направления кривая экспоненциально нагружена половиной косинуса P_FrontBack(m,α)= P_{FrontBack,max}(m)^0.5·cos(α). Для α=0° P_{FrontBack,max}(m) имеет половину своей максимальной величины, и для α=180° половину своей обратной величины. Для углов α=90° и α=270° она равна 1, поскольку косинус становится нулем.

5. P_FrontBack(m,α) умножается на P_R(m) в процессе фильтрации.

Фиг. 44 изображает P_R,IpCo (слева) и P_FrontBack (справа).

С P_R(m) и P_FrontBack(m,α) возможно улучшить восприятие высоты непрерывно каждого источника звука, измеряемого на кольце для угла высоты β=55°. Этот способ увеличения был применен к источникам, измеряемым на не поднятом кольце в зале "Моцарт". Также в этом случае могло быть воспринято увеличение высоты. Кроме того, была сделана попытка поднять не поднятые источники с использованием их собственных отражений. К сожалению, отражение второго порядка от потолка в этом случае сильно перекрыто другими отражениями. Тем не менее, при использовании только отражения первого порядка от потолка порядка разность высот является заметной.

На следующем шаге этот способ был применен к характеристикам BRIR, измеряемым с помощью человеческой головы с использованием отражения характеристик BRIR, измеряемых с помощью "Cortex". Хотя, характеристики BRIR "Cortex" уже звучат выше без каких-либо модификаций, этот способ приводит к явно заметной разности высот.

Применяя P_R(m) и P_FrontBack(m,α) к отражениям, вызванным источниками звука на поднятом кольце, этот способ увеличения высоты исследован по восприятию в тесте на прослушивание.

Далее описывается параметризованная рендеризация переменного направления в соответствии с вариантами осуществления.

Цель этой системы состоит в том, чтобы корректировать воспринятое направление в бинауральной рендеризации посредством выполнения рендеризации на базовом направлении и затем коррекции направления с помощью множества атрибутов, извлеченных из множества базовых фильтров.

Аудиосигнал и ввод направления пользователя подаются в блок "онлайновой бинауральной рендеризация", который создает бинауральную рендеризацию с переменным восприятием направления.

Онлайновая бинауральная рендеризация в соответствии с вариантами осуществления, например, может быть проведена следующим образом:

Бинауральная рендеризация входного сигнала выполняется с использованием фильтров опорного направления ("бинауральная рендеризация на опорной высоте").

На первой стадии рендеризация на опорной высоте выполняется с использованием множества (одной или более) бинауральных импульсных характеристик помещения с дискретными направлениями (BRIR).

На второй стадии, например, на процессоре фильтра корректора направления к рендеризации, например, может быть применен дополнительный фильтр, который адаптирует воспринимаемое направление (в положительном или отрицательном направлении азимута и/или высоты). Этот фильтр может быть создан, например, посредством вычисления фактических параметров фильтра, например, с (переменным) вводом направления пользователя (например, с азимутом от 0° до 360°, с высотой от -90° до +90°) и, например, с множеством коэффициентов фильтра направления.

Фильтры первой и второй стадий также могут быть объединены (например, посредством сложения или умножения) для экономии вычислительной сложности.

Настоящее изобретение основано на представленных ранее результатах.

Теперь подробно описываются варианты осуществления настоящего изобретения.

Фиг. 1a иллюстрирует устройство 100 для формирования отфильтрованного аудиосигнала из входного аудиосигнала в соответствии с вариантом осуществления.

Устройство 100 содержит блок 110 определения информации фильтра, выполненный с возможностью определять информацию фильтра в зависимости от входной информации высоты, причем входная информация высоты зависит от высоты виртуального источника звука.

Кроме того, устройство 100 содержит блок 120 фильтра, выполненный с возможностью фильтровать входной аудиосигнал для получения отфильтрованного аудиосигнала в зависимости от информации фильтра.

Блок 110 определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты. Или блок 110 определения информации фильтра выполнен с возможностью определять информацию фильтре с использованием модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты.

Настоящее изобретение среди прочего основано на концепции того, что (виртуальный) подъем или опускание виртуального источника звука может быть достигнуто посредством подходящей фильтрации входного аудиосигнала. Таким образом, из множества кривых фильтра может быть выбрана кривая фильтра в зависимости от входной информации высоты, и что выбранная кривая фильтра затем может использоваться для фильтрации входного аудиосигнала для (виртуального) подъема или опускания виртуального источника звука. Или опорная кривая фильтра может быть модифицирована в зависимости от входной информации высоты для (виртуального) подъема или опускания виртуального источника звука.

В варианте осуществления входная информация высоты, например, может указывать по меньшей мере одно значение координаты в системе координат, причем координата указывает позицию виртуального источника звука.

Например, система координат может представлять собой трехмерную Декартову систему координат, и входная информация высоты является координатой трехмерной Декартовой системы координат, или является значением координаты из трех значений координат трехмерной Декартовой системы координат.

Например, координата в трехмерной Декартовой системе координат может содержать x-значение, y-значение и z-значение: (x, y, z), например, (x, y, z)=(5, 3, 4). Тогда координата (5, 3, 4), например, может являться входной информацией высоты. Или z-значение z=4, которое является одним из значений координаты (5, 3, 4) Декартовой системы координат, например, может являться входной информацией высоты.

Или, например, система координат может представлять собой полярную систему координат, и входная информация высоты, например, может являться углом высоты полярной координаты полярной системы координат.

Например, координата в трехмерной полярной системе координат может содержать угол азимута ϕ, угол высоты θ и радиус r; (ϕ, θ, r), например, (ϕ, θ, r)=(40°, 30°, 5). Угол высоты θ=30° является углом высоты координаты (40°, 30°, 5) в полярной системе координат.

Например, в полярной системе координат входная информация высоты, например, может указывать угол высоты полярной системы координат, причем угол высоты указывает высоту между целевым направлением и опорным направлением или между целевым направлением и опорной плоскостью.

Приведенные выше концепции для (виртуального) подъема или опускания виртуального источника звука, например, могут являться особенно подходящими для бинауральных аудиоданных. Кроме того, приведенные выше концепции также могут использоваться для размещений громкоговорителей. Например, если все размещения громкоговорителей расположены в одной и той же горизонтальной плоскости, и если присутствует не поднятые или опущенные громкоговорители, становится возможным виртуальный подъем или опускание виртуального источника звука.

В соответствии с вариантом осуществления блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты. Входная информация высоты представляет собой угол высоты, являющийся входным углом высоты, причем каждая кривая фильтра из множества кривых фильтра имеет угол высоты, присвоенный упомянутой кривой фильтра, и блок 110 определения информации фильтра, например, может быть выполнен с возможностью выбирать в качестве выбранной кривой фильтра кривую фильтра из множества кривых фильтра с наименьшей абсолютной разностью между входным углом высоты и углом высоты, присвоенным упомянутой кривой фильтра среди всего множества кривых фильтра.

Такой подход подразумевает, что выбирается особенно подходящая кривая фильтра. Например, множество кривых фильтра может содержать кривые фильтра для множества углов высоты, например, для углов высоты 0°, +3°, -3°, +6°, -6°, +9°, -9°, +12°, -12° и т.д. Если, например, входная информация высоты определяет угол высоты +4 °, то будет выбрана кривая фильтра для высоты +3°, поскольку среди всех кривых фильтра абсолютная разность между входной информацией высоты +4° и углом высоты +3°, присвоенным этой конкретной кривой фильтра, является наименьшей среди всех кривых фильтра, а именно, |(+4°)-(+3°)|=1°.

В соответствии с другим вариантом осуществления блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты. Входная информация высоты, например, может представлять собой упомянутое значение координаты из трех значений координат трехмерной системы координат, являющееся входным значением координат, причем каждая кривая фильтра из множества кривых фильтра имеет значение координат, присвоенное упомянутой кривой фильтра, и блок 110 определения информации фильтра, например, может быть выполнен с возможностью выбирать в качестве выбранной кривой фильтра кривую фильтра из множества кривых фильтра с наименьшей абсолютной разностью между входным значением координат и значением координат, присвоенным упомянутой кривой фильтра среди всего множества кривых фильтра.

В соответствии с таким подходом, например, множество кривых фильтра может содержать кривые фильтра для множества значений, например, z-координаты трехмерной Декартовой системы координат, например, для z-значений 0, +4, -4, +8, -8, +12°, -12, +16,-16, и т.д. Если, например, входная информация высоты определяет значение z-координаты +5, то будет выбрана кривая фильтра для значения z-координаты +4, поскольку среди всех кривых фильтра абсолютная разность между входной информацией высоты +5 и значением z-координаты +4, присвоенным этой конкретной кривой фильтра, является наименьшей среди всех кривых фильтра, а именно, |(+5)-(+4)|=1.

В варианте осуществления блок 110 определения информации фильтра, например, может быть выполнен с возможностью усиливать выбранную кривую фильтра на определенное значение усиления для получения обработанной кривой фильтра, или блок 110 определения информации фильтра выполнен с возможностью ослаблять выбранную кривую фильтра на определенное значение ослабления для получения обработанной кривой фильтра. Блок 120 фильтра, например, может быть выполнен с возможностью фильтровать входной аудиосигнал для получения отфильтрованного аудиосигнала в зависимости от обработанной кривой фильтра. Блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять определенное значение усиления или определенное значение ослабления в зависимости от разности между входным значением координаты и значением координаты, присвоенным выбранной кривой фильтра. Или блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять определенное значение усиления или определенное значение ослабления в зависимости от разности между углом высоты и углом высоты, присвоенным выбранной кривой фильтра.

Когда кривая фильтра относится к логарифмической шкале (задана относительно логарифмической шкалы), значение усиления или значение ослабления являются коэффициентом усиления или коэффициентом ослабления. Коэффициент усиления или коэффициент ослабления затем умножается на каждое значение выбранной кривой фильтра для получения модифицированной спектральной кривой фильтра.

Такой вариант осуществления позволяет адаптировать выбранную кривую фильтра после выбора. В первом приведенном выше примере, который относится к углам высоты, входная информация высоты, указывающая высоту +4°, не точно равна углу высоты +3°, присвоенному выбранной кривой фильтра. Аналогичным образом, во втором приведенном выше примере, который относится к значениям координат, входная информация высоты +5 для значения z-координаты не точно равна значению z-координаты +4, присвоенному выбранной кривой фильтра. Таким образом, в обоих примерах адаптация выбранной кривой фильтра оказывается полезной.

Когда кривая фильтра относится к линейной шкале (задана относительно линейной шкалы), значение усиления или значение ослабления являются экспоненциальным значением усиления или экспоненциальным значением ослабления. Экспоненциальное значение усиления/экспоненциальное значение ослабления затем используется в качестве экспоненты показательной функции. Результат показательной функции, имеющий экспоненциальное значение усиления или экспоненциальное значение ослабления как экспоненту, затем умножается на каждое значение выбранной кривой фильтра для получения модифицированной спектральной кривой фильтра.

В соответствии с вариантом осуществления блок 110 определения информации фильтра, например, может быть выполненным с возможностью определять информацию фильтра с использованием определения модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты. Кроме того, блок 110 определения информации фильтра, например, может быть выполнен с возможностью усиливать опорную кривую фильтра на определенное значение усиления для получения обработанной кривой фильтра, или блок 110 определения информации фильтра выполнен с возможностью ослаблять опорную кривую фильтра на определенное значение ослабления для получения обработанной кривой фильтра.

В таком варианте осуществления существует только одна кривая фильтра, опорная кривая фильтра. Блок 110 определения информации фильтра затем адаптирует опорную кривую фильтра в зависимости от входной информации высоты.

В варианте осуществления блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в качестве первой выбранной кривой фильтра в зависимости от входной информации высоты. Кроме того, блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять информацию фильтра с использованием второй выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты. Кроме того, блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять интерполированную кривую фильтра посредством интерполяции между первой выбранной кривой фильтра и второй выбранной кривой фильтра.

В варианте осуществления блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять информацию фильтра, так что блок 120 фильтра модифицирует первую спектральную часть входного аудиосигнала, и так что блок 120 фильтра не модифицирует вторую спектральную часть входного аудиосигнала.

Посредством модификации первых спектральных частей входного аудиосигнала реализуется подъем или опускание виртуального источника звука. Однако другие спектральные части входного аудиосигнала не модифицируются для подъема или опускания виртуального источника звука.

В соответствии с вариантом осуществления блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять информацию фильтра, так что блок 120 фильтра усиливает первую спектральную часть входного аудиосигнала на первое значение усиления, и так что блок 120 фильтра усиливает вторую спектральную часть входного аудиосигнала на второе значение усиления, причем первое значение усиления отличается от второго значения усиления.

Варианты осуществления основаны на концепции того, что виртуальный подъем или виртуальное опускание виртуального источника звука достигаются, в частности, посредством усиления некоторых частотных частей, в то время как другие частотные части должны быть понижены. Таким образом, в вариантах осуществления фильтрация проводится таким образом, чтобы формирование отфильтрованного аудиосигнала из входного аудиосигнала соответствовало усилению (или ослаблению) входного аудиосигнала посредством различных значений усиления (различных коэффициентов усиления).

В варианте осуществления блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты, причем каждое множество кривых фильтра имеет глобальный максимум или глобальный минимум между 700 Гц и 2000 Гц. Или блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять информацию фильтра с использованием определения модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты, причем опорный фильтр имеет глобальный максимум или глобальный минимум между 700 Гц и 2000 Гц.

Фиг. 51-55 показывают множество различных кривых фильтра, которые подходят для создания эффекта подъема или опускания виртуального источника звука. Было обнаружено, что для создания эффекта подъема или опускания виртуального источника звука некоторые частоты, в частности, в диапазоне между 700 Гц и 2000 Гц должны быть усилены или должны быть ослаблены для виртуального подъема или опускания виртуального источника звука.

В частности, кривые фильтра с положительными (больше 0) значениями усиления на фиг. 51 имеют глобальные максимумы 5101, 5102, 5103, 5104 приблизительно на 1000 Гц, т.е., между 700 Гц и 2000 Гц.

Аналогичным образом, кривые фильтра с положительными значениями усиления на фиг. 52, фиг. 53, фиг. 54 и фиг. 55 имеют глобальные максимумы 5201, 5202, 5203, 5204, и 5301, 5302, 5303, 5304, и 5401, 5402, 5403, 5404, и 5501, 5502, 5503, 5504 приблизительно на 1000 Гц, т.е., между 700 Гц и 2000 Гц.

В соответствии с вариантом осуществления блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять информацию фильтра в зависимости от входной информации высоты, а также в зависимости от входной информации азимута. Кроме того, блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты и в зависимости от входной информации азимута. Или блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять информацию фильтра с использованием определения модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты и в зависимости от информации азимута.

Упомянутые выше фиг. 51-55 показывают кривые фильтра, присвоенные различным значениям азимута.

В частности, фиг. 51 иллюстрирует кривые фильтра коррекции для азимута=0°, фиг. 52 иллюстрирует кривые фильтра коррекции для азимута=30°, фиг. 53 иллюстрирует кривые фильтра коррекции для азимута=45°, фиг. 54 иллюстрирует кривые фильтра коррекции для азимута=60°, и фиг. 55 иллюстрируют кривые фильтра коррекции для азимута=90°.

Соответствующие кривые фильтра на фиг. 51-55 немного отличаются, поскольку кривые фильтра присвоены разным значениям азимута. Таким образом, в некоторых вариантах осуществления входная информация азимута, например, угол азимута в зависимости от позиции виртуального источника звука также может быть принята во внимание.

В варианте осуществления блок 120 фильтра, например, может быть выполнен с возможностью фильтровать входной аудиосигнал для получения бинаурального аудиосигнала как отфильтрованного аудиосигнала, имеющего точно два аудиоканала, в зависимости от информации фильтра. Блок 110 определения информации фильтра, например, может быть выполнен с возможностью принимать входную информацию о входной передаточной функции слухового аппарата. Кроме того, блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять информацию фильтра посредством определения модифицированной передаточной функции слухового аппарата посредством модификации входной передаточной функции слухового аппарата в зависимости от выбранной кривой фильтра или в зависимости от модифицированной кривой фильтра.

Описанные выше концепции особенно подходят для бинауральных аудиоданных. При проведении бинауральной рендеризации передаточная функция слухового аппарата применяется к входному аудиосигналу для формирования выходного аудиосигнала (здесь: отфильтрованного аудиосигнала), содержащего точно два аудиоканала. В соответствии с вариантами осуществления сама передаточная функция слухового аппарата модифицируется (например, фильтруется) до применения полученной в результате модифицированной передаточной функции слухового аппарата к входному аудиосигналу.

В соответствии с вариантом осуществления входная передаточная функция слухового аппарата, например, может быть представлена в спектральной области. Выбранная кривая фильтра, например, может быть представлена в спектральной области, или модифицированная кривая фильтра представлена в спектральной области.

Блок 110 определения информации фильтра, например, может быть выполнен с возможностью

- определять модифицированную передаточную функцию слухового аппарата посредством сложения спектральных значений выбранной кривой фильтра или модифицированной кривой фильтра со спектральными значениями входной передаточной функции слухового аппарата, или

- определять модифицированную передаточную функцию слухового аппарата посредством умножения спектральных значений выбранной кривой фильтра или модифицированной кривой фильтра на спектральные значения входной передаточной функции слухового аппарата, или

- определять модифицированную передаточную функцию слухового аппарата посредством вычитания спектральных значений выбранной кривой фильтра или модифицированной кривой фильтра из спектральных значений входной передаточной функции слухового аппарата, или вычитая спектральных значений входной передаточной функции слухового аппарата из спектральных значений выбранной кривой фильтра или модифицированной кривой фильтра, или

- определять модифицированную передаточную функцию слухового аппарата посредством деления спектральных значений входной передаточной функции слухового аппарата на спектральные значения выбранной кривой фильтра или модифицированной кривой фильтра, или деления спектральных значений выбранной кривой фильтра или модифицированной кривой фильтра на спектральные значения входной передаточной функции слухового аппарата.

В таком варианте осуществления передаточная функция слухового аппарата представлена в спектральной области, и кривая фильтра спектральной области используется для модификации передаточной функции слухового аппарата. Например, сложение или вычитание могут использоваться, когда передаточная функция слухового аппарата и кривая фильтра относятся к логарифмической шкале. Например, умножение или деление могут использоваться, когда передаточная функция слухового аппарата и кривая фильтра относятся к линейной шкале.

В варианте осуществления входная передаточная функция слухового аппарата, например, может быть представлена во временной области. Выбранная кривая фильтра представлена во временной области, или модифицированная кривая фильтра представлена во временной области. Блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять модифицированную передаточную функцию слухового аппарата посредством свертки выбранной кривой фильтра или модифицированной кривой фильтра и входной передаточной функции слухового аппарата.

В таком варианте осуществления передаточная функция слухового аппарата представлена во временной области, и передаточная функция слухового аппарата и кривая фильтра подвергаются свертке для получения модифицированной передаточной функции слухового аппарата.

В другом варианте осуществления блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять модифицированную передаточную функцию слухового аппарата посредством фильтрации выбранной кривой фильтра или модифицированной кривой фильтра с помощью структуры с нерекурсивным фильтром. Например, может быть проведена фильтрация с помощью КИХ-фильтра (FIR-фильтра; фильтра с конечной импульсной характеристикой).

В дополнительном варианте осуществления блок 110 определения информации фильтра, например, может быть выполнен с возможностью определять модифицированную передаточную функцию слухового аппарата посредством фильтрации выбранной кривой фильтра или модифицированной кривой фильтра с помощью структуры с рекурсивным фильтром. Например, может быть проведена фильтрация с помощью БИХ-фильтра (IIR -фильтра; фильтра с бесконечной импульсной характеристикой).

Фиг. 1b иллюстрирует устройство 200 для обеспечения информации модификации направления в соответствии с вариантом осуществления.

Устройство 200 содержит множество громкоговорителей 211, 212, причем каждый из множества громкоговорителей 211, 212 выполнен с возможностью воспроизводить воспроизводимый аудиосигнал, причем первый из множества громкоговорителей 211, 212 расположен в первой позиции на первой высоте, и причем второй из множества громкоговорителей 211, 212 расположен во второй позиции, отличающейся от первой позиции, на второй высоте, отличающейся от первой высоты.

Кроме того, устройство 200 содержит два микрофона 221, 222, каждый из этих двух микрофонов 221, 222 выполнен с возможностью записывать записываемый аудиосигнал, принимая звуковые волны от каждого из громкоговорителя из множества громкоговорителей 211, 212, испускаемые упомянутым громкоговорителем при воспроизведении аудиосигнала.

Кроме того, устройство 200 содержит блок 230 определения бинауральной импульсной характеристики помещения, выполненный с возможностью определять множество бинауральных импульсных характеристик помещения посредством определения бинауральной импульсной характеристики помещения для каждого громкоговорителя из множества громкоговорителей 211, 212 в зависимости от воспроизводимого аудиосигнала, воспроизводимого упомянутым громкоговорителем, и в зависимости от каждого из записываемых аудиосигналов, записываемых каждым из двух микрофонов 221, 222, когда упомянутый воспроизводимый аудиосигнал воспроизводится упомянутым громкоговорителем.

Определение бинауральной импульсной характеристики помещения является известным в области техники. Здесь бинауральные импульсные характеристики помещения определяются для громкоговорителей, расположенных в позициях, которые могут, например, иметь разные высоты, например, разные углы высоты.

Кроме того, устройство 200 содержит блок 240 формирования кривых фильтра, выполненный с возможностью формировать по меньшей мере одну кривую фильтра в зависимости от двух из множества бинауральных импульсных характеристик помещения. Информация модификации направления зависит по меньшей мере от одной кривой фильтра.

Например, (опорная) бинауральная импульсная характеристика помещения была определена для громкоговорителя, расположенных в опорной позиции на опорной высоте (например, опорная высота может составлять 0°). Затем может быть рассмотрена вторая бинауральная импульсная характеристика помещения, которая была определена, например, для громкоговорителя во второй позиции на второй высоте, например, высоте -15°.

Первый угол 0° определяет, что первый громкоговоритель расположен на первой высоте. Второй угол -15° определяет, что второй громкоговоритель расположен на второй высоте, которая нижей первой высоты. Это показано на фиг. 49. На фиг. 49 первый громкоговоритель 211 расположен на первой высоте, которая ниже второй высоты, на которой расположен второй громкоговоритель 212.

Обе бинауральных импульсных характеристики помещения, например, могут быть представлены в спектральной области или могут быть перенесены из временной области в спектральную область. Для получения одной из кривых фильтра вторая бинауральная импульсная характеристика помещения, являющаяся вторым сигналом в спектральной области, например, может быть вычтена из опорной бинауральной импульсной характеристики помещения, являющейся первым сигналом в спектральной области. Полученный в результате сигнал является одной по меньшей мере из одной кривой фильтра. Полученный в результате сигнал, представляемый в спектральной области, может быть, но не обязательно должен быть преобразован во временную область для получения окончательной кривой фильтра.

В варианте осуществления блок 240 формирования кривой фильтра выполнен с возможностью получать две или более кривых фильтра посредством формирования одной или более промежуточных кривых в зависимости от множества бинауральных импульсных характеристик помещения посредством усиления каждой из одной или более промежуточных кривых посредством каждого из множества различных значений ослабления.

Таким образом формирование кривых фильтра блоком 240 формирования кривой фильтра проводится с двухступенчатым подходе. Сначала формируется одна или более промежуточных кривых. Затем каждое из множества значений ослабления применено к одной или более промежуточных кривых для получения множества различных кривых фильтра. Например, на фиг. 51 различные значения ослабления, а именно, значения -0,5, 0, 0,5, 1, 1,5 и 2 ослабления были применены к промежуточной кривой. На практике применение значения ослабления 0 является не нужным, поскольку это всегда приводит к нулевой функции, и применение значения ослабления 1 является не нужным, поскольку это не модифицирует уже существующую промежуточную кривую.

В соответствии с вариантом осуществления блок 240 формирования кривой фильтра выполнен с возможностью определять множество передаточных функций слухового аппарата на основе множества бинауральных импульсных характеристик помещения посредством извлечения передаточной функции слухового аппарата из каждой из бинауральных импульсных характеристик помещения. Множество передаточных функций слухового аппарата, например, может быть представлено в спектральной области. Значение высоты, например, может быть присвоено каждой из множества передаточных функций слухового аппарата. Блок 240 формирования кривой фильтра, например, может быть выполнен с возможностью формировать две или более кривых фильтра. Блок 240 формирования кривой фильтра выполнен с возможностью формировать каждую из двух или более кривых фильтра посредством вычитания спектральных значений второй из множества передаточных функций слухового аппарата из спектральных значений первой из множества передаточных функций слухового аппарата, или посредством деления спектральных значений первой из множества передаточных функций слухового аппарата на спектральные значения второй из множества передаточных функций слухового аппарата. Кроме того, блок 240 формирования кривой фильтра выполнен с возможностью присваивать значение высоты каждой из двух или более кривых фильтра посредством вычитания значения высоты, присвоенного первой из множества передаточных функций слухового аппарата, из значения высоты, присвоенного второй из множества передаточных функций слухового аппарата. Кроме того, информация модификации направления содержит каждую из двух или более кривых фильтра и значение высоты, присвоенное упомянутой кривой фильтра. Значение высоты, например, может представлять собой угол высоты, например, угол высоты координаты полярной системы координат. Или значение высоты, например, может представлять собой значение координаты Декартовой системы координат.

В таком варианте осуществления формируется множество кривых фильтра. Такой вариант осуществления может являться подходящим для взаимодействия с устройством 100, показанным на фиг. 1a, которое выбирает выбранную кривую фильтра из множества кривых фильтра.

В варианте осуществления блок 240 формирования кривой фильтра выполнен с возможностью определять множество передаточных функций слухового аппарата на основе множества бинауральных импульсных характеристик помещения посредством извлечения передаточной функции слухового аппарата из каждой из бинауральных импульсных характеристик помещения. Множество передаточных функций слухового аппарата представлено в спектральной области. Значение высоты, например, может быть присвоено каждой из множества передаточных функций слухового аппарата. Блок 240 формирования кривой фильтра, например, может быть выполнен с возможностью формировать точно одну кривую фильтра. Кроме того, блок 240 формирования кривой фильтра, например, может быть выполнен с возможностью формировать точно одну кривую фильтра посредством вычитания спектральных значений второй из множества передаточных функций слухового аппарата из спектральных значений первой из множества передаточных функций слухового аппарата, или посредством деления спектральных значений первой из множества передаточных функций слухового аппарата на спектральные значения второй из множества передаточных функций слухового аппарата. Блок 240 формирования кривой фильтра, например, может быть выполнен с возможностью присваивать значение высоты точно одной кривой фильтра посредством вычитания значения высоты, присвоенного первой из множества передаточных функций слухового аппарата, из значения высоты, присвоенного второй из множества передаточных функций слухового аппарата. Информация модификации направления, например, может содержать точно одну кривую фильтра и значение высоты, присвоенное точно одной кривой фильтра. Значение высоты, например, может представлять собой угол высоты, например, угол высоты координаты полярной системы координат. Или значение высоты, например, может представлять собой значение координаты Декартовой системы координат.

В таком варианте осуществления формируется только одна кривая фильтра. Такой вариант осуществления может являться подходящим для взаимодействия с устройством 100, показанным на фиг. 1a, которое модифицирует опорную кривую фильтра.

Фиг. 1c иллюстрирует систему 300 в соответствии с вариантом осуществления.

Система 300 содержит устройство 200, показанное на фиг. 1b, для обеспечения информации модификации направления.

Кроме того, система 300 содержит устройство 100, показанное на фиг. 1a. В варианте осуществления, проиллюстрированном на фиг. 1c, блок 120 фильтра устройства 100, показанного на фиг. 1a, выполнен с возможностью фильтровать входной аудиосигнал для получения бинаурального аудиосигнала как отфильтрованного аудиосигнала, имеющего точно два аудиоканала, в зависимости от информации фильтра.

В варианте осуществления на фиг. 1c блок 110 определения информации фильтра устройства 100, показанного на фиг. 1a, выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты. Или в варианте осуществления на фиг. 1c блок 110 определения информации фильтра устройства 100, показанного на фиг. 1a, выполнен с возможностью определять информацию фильтра с использованием определения модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты.

В варианте осуществления на фиг. 1c информация модификации направления, обеспечиваемая устройством 200, показанным на фиг. 1b, содержит множество кривых фильтра или опорную кривую фильтра.

Кроме того, в варианте осуществления на фиг. 1c блок 110 определения информации фильтра устройства 100, показанного на фиг. 1a, выполнен с возможностью принимать входную информацию о входной передаточной функции слухового аппарата. Кроме того, блок 110 определения информации фильтра устройства 100, показанного на фиг. 1a, выполнен с возможностью определять информацию фильтра посредством определения модифицированной передаточной функции слухового аппарата посредством модификации входной передаточной функции слухового аппарата в зависимости от выбранной кривой фильтра или в зависимости от модифицированной кривой фильтра.

Фиг. 45 изображает систему в соответствии с конкретным вариантом осуществления, причем система, показанная на фиг. 48, содержит устройство 100 для формирования отфильтрованного аудиосигнала из входного аудиосигнала в соответствии с вариантом осуществления и устройство 200 для обеспечения информации модификации направления в соответствии с вариантом осуществления.

Аналогично на фиг. 46-48 изображены системы в соответствии с конкретными вариантами осуществления, причем каждая система на каждой из фиг. 46-48 содержит устройство 100 для формирования отфильтрованного аудиосигнала из входного аудиосигнала в соответствии с вариантом осуществления и устройство 200 для обеспечения информации модификации направления в соответствии с вариантом осуществления.

На каждой из фиг. 45-48 устройство 100 для формирования отфильтрованного аудиосигнала из входного аудиосигнала в соответствии с вариантом осуществления соответствующей фигуры изображает вариант осуществления, который может быть реализован без устройства 200 для обеспечения информации модификации направления этой фигуры. Аналогично, на каждом из фиг. 45-48 устройство 200 для обеспечения информации модификации направления в соответствии с вариантом осуществления соответствующей фигуры изображает вариант осуществления, который может быть реализован без устройства 100 для формирования отфильтрованного аудиосигнала из входного аудиосигнала этой фигуры. Таким образом, описание, обеспеченное для фиг. 45-48, является не только описанием для соответствующей системы, но и описанием для устройства 100 для формирования отфильтрованного аудиосигнала из входного аудиосигнала в соответствии с вариантом осуществления, который реализован без устройства для обеспечения коэффициентов фильтра модификации направления, а также описанием для устройства 200 для обеспечения информации модификации направления, которое реализовано без устройства для формирования направленного звука.

Сначала описывается офлайновая бинауральная подготовка фильтрации в соответствии с вариантами осуществления,

На фиг. 45 проиллюстрировано устройство 200 для обеспечения информации модификации направления в соответствии с конкретным вариантом осуществления. Громкоговорители 211 и 212, показанные на фиг. 1b и микрофоны 221 и 222 не показаны по иллюстративным причинам.

Множество характеристик BRIR (бинауральных импульсных характеристик помещения), которые были определены для множества различных громкоговорителей 211, 212, расположенных в разных позициях, формируются блоком 230 определения бинауральных импульсных характеристик помещения. По меньшей мере часть из множества различных громкоговорителей расположены в разных позициях с разными высотами (например, позиции этих громкоговорителей имеют разные углы высоты). Определенные характеристики BRIR, например, могут быть сохранены в запоминающем устройстве 251 характеристик BRIR (например, в памяти или в базе данных).

На фиг. 45 блок 240 формирования кривой фильтра содержит анализатор 241 признаков направления и блок 242 формирования фильтра модификации направления.

Из множества опорных характеристик BRIR анализатор 241 признаков направления, например, может изолировать важные признаки для направленного восприятия, например, при анализе признака высоты. Таким образом, например, могут быть созданы основные коэффициенты фильтра высоты. Важные признаки, например, могут являться зависимыми от частоты атрибутами, зависимыми от времени атрибутами или зависимыми от фазы атрибутами заданных частей опорного набора фильтров BRIR.

Извлечение, например, может быть выполнено с использованием таких инструментов, как сферический массив микрофонов или геометрическая модель помещения, чтобы просто захватить заданные части "опорного набора фильтров BRIR" как отражение звука от стен или потолка.

Устройство 200 для обеспечения информации модификации направления может содержать такие инструменты, как сферический массив микрофонов или геометрическая модель помещения, но не обязательно должно содержать такие инструменты.

В вариантах осуществления, в котором устройство для обеспечения коэффициентов фильтра модификации направления не содержит такие инструменты, как сферический массив микрофонов или геометрическая модель помещения, данные из таких инструментов, как сферический массив микрофонов или геометрическая модель помещения, например, могут быть обеспечены устройству для обеспечения коэффициентов фильтра модификации направления в качестве входной информации.

Устройство для обеспечения коэффициентов фильтра модификации направления на фиг. 45 также содержит блок 242 формирования фильтра модификации направления. Информация из анализа признаков направления, например, проводимого анализатором признаков направления, используется блоком 242 формирования фильтра модификации направления для формирования одной или более промежуточных кривых. Блок 242 формирования фильтра модификации направления затем формирует множество кривых фильтра из одной или более промежуточных кривых, например, посредством растяжения или сжатия промежуточной кривой. Полученные в результате кривые фильтра, например, их коэффициенты затем могут быть сохранены в запоминающем устройстве 252 кривых фильтра (например, в памяти или в базе данных).

Например, блок 242 формирования фильтра модификации направления может сформировать только одну промежуточную кривую. Затем для некоторых высот (например, для углов высоты -15°, -55° и -90°) блоком 242 формирования фильтра модификации направления могут быть сформированы кривые фильтра в зависимости от сформированной промежуточной кривой.

Блок 230 определения бинауральной импульсной характеристики помещения и блок 240 формирования кривой фильтра, показанные на фиг. 45, теперь описываются более подробно со ссылкой на фиг. 49 и фиг. 50.

Фиг. 49 изображает схематическую иллюстрацию, показывающую слушателя 491, два громкоговорителя 211, 212 на двух разных высотах и виртуальный источник 492 звука.

На фиг. 49 изображен первый громкоговоритель 211 на высоте 0° (громкоговоритель не поднят) и второй громкоговоритель 212 на высоте -15° (громкоговоритель опущен на 15°).

Первый громкоговоритель 211 испускает первый сигнал, который записывается, например, двумя микрофонами 221, 222, показанными на фиг. 1b (не показаны на фиг. 49). Блок 230 определения бинауральной импульсной характеристики помещения (не показан на фиг. 49) определяет первую бинауральную импульсную характеристику помещения, и высота 0° первого громкоговорителя 211 присваивается этой первой бинауральной импульсной характеристике помещения.

Затем второй громкоговоритель 212 испускает второй сигнал, который снова записывается, например, двумя микрофонами 221, 222. Блок 230 определения бинауральной импульсной характеристики помещения определяет вторую бинауральную импульсную характеристику помещения, и высота -15° второго громкоговорителя 212 присваивается этой второй бинауральной импульсной характеристике помещения.

Анализатор 241 признаков направления на фиг. 45, например, может теперь извлечь передаточную функцию слухового аппарата из каждой из двух бинауральных импульсных характеристик помещения.

После этого блок 242 формирования фильтра модификации направления, например, может определить спектральную разность между двумя определенными передаточными функциями слухового аппарата.

Спектральная разность, например, может рассматриваться как промежуточная кривая, как описано выше. Чтобы определить множество кривых фильтра из этой определенной спектральной разности, блок 242 формирования фильтра модификации направления может теперь нагрузить эту промежуточную кривую с помощью множества различных коэффициентов растяжения (также называемых значениями усиления). Каждое примененное значение усиления формирует новую кривую фильтра и привязывается к новому углу высоты.

Если коэффициент растяжения становится больше, выполняется коррекция/модификация промежуточной кривой, например, высота промежуточной кривой (которая составляла -15°) дополнительно уменьшается (например, до -30°; новая высота <-15°).

Если, например, применяется отрицательный коэффициент растяжения, выполняется коррекция/модификация промежуточной кривой, например, высота промежуточной кривой (которая составляла -15°) увеличивается (высота повышается и тогда становится больше -15 °; новая высота >-15°).

Фиг. 50 иллюстрирует кривые фильтра, получающиеся в результате применения различных значений усиления (коэффициентов растяжения) к промежуточной кривой в соответствии с вариантом осуществления.

Снова на фиг. 45, устройство 100 для формирования отфильтрованного аудиосигнала содержит блок 110 определения информации фильтра и блок 120 фильтра. На фиг. 45 блок 110 определения информации фильтра содержит блок 111 выбора фильтра модификации направления и блок 115 обработки информации фильтра модификации направления. Блок 115 обработки информации фильтра модификации направления, например, может применить выбранную кривую фильтра во временном начале бинауральной импульсной характеристики помещения.

Блок 111 выбора фильтра модификации направления выбирает одну из множества кривых фильтра, обеспеченных устройством 200, в качестве выбранной кривой фильтра. В частности, блок 111 выбора фильтра модификации направления на фиг. 45 выбирает выбранную кривую фильтра (также называемую кривой коррекции) в зависимости от ввода направления, в частности, в зависимости от информации высоты.

Выбранная кривая фильтра, например, может быть выбрана из запоминающего устройства 252 кривых фильтра (также называемого контейнером коэффициентов фильтра направления). В запоминающем устройстве 252 кривых фильтра кривая фильтра, например, может быть сохранена посредством сохранения ее коэффициентов фильтра или сохранения ее спектральных значений.

Затем блок 115 обработки информации фильтра модификации направления применяет коэффициенты фильтра или спектральные значения выбранной кривой фильтра к входной передаточной функции слухового аппарата для получения модифицированной передаточной функции слухового аппарата. Модифицированная передаточная функция слухового аппарата затем используется блоком 120 фильтра устройства 100, показанного на фиг. 45, для бинауральной рендеризации.

Входная передаточная функция слухового аппарата, например, также может быть определена устройством 200.

Блок 120 фильтра на фиг. 45, например, может проводить бинауральную рендеризацию на основе существующего (и, возможно, предварительно обработанного) измерения характеристики BRIR.

Относительно устройства 200 вариант осуществления на фиг. 46 отличается от варианта осуществления на фиг. 45 тем, что блок 240 формирования кривой фильтра содержит блок 243 формирования базового фильтра модификации направления вместо блока 242 формирования фильтра модификации направления.

Блок 243 формирования базового фильтра модификации направления выполнен с возможностью формировать только единственную кривую фильтра из бинауральных импульсных характеристик помещения как опорную кривую фильтра (также называемую базовой кривой фильтра коррекции).

Относительно устройства 100 вариант осуществления на фиг. 46 отличается от варианта осуществления на фиг. 45 тем, что блок определения информации фильтра содержит блок I 112 формирования фильтра модификации направления. Блок I 112 формирования фильтра модификации направления выполнен с возможностью модифицировать опорную кривую фильтра из устройства 200, например, посредством растяжения или сжатия опорной кривой фильтра (в зависимости от входной информации высоты).

На фиг. 47 устройство 200 соответствует устройству 200, показанному на фиг. 45. Устройство 200 формирует множество кривых фильтра.

Устройство 100 на фиг. 47 отличается от устройства 100 на фиг. 45 тем, что блок 110 определения информации фильтра устройства 100 на фиг. 47 содержит блок II 113 формирования фильтра модификации направления вместо блока 111 выбора фильтра модификации направления.

Блок II 113 формирования фильтра модификации направления выбирает одну из множества кривых фильтра, обеспеченных устройством 200, в качестве выбранной кривой фильтра. В частности, блок 111 выбора фильтра модификации направления на фиг. 45 выбирает выбранную кривую фильтра (также называемую кривой коррекции) в зависимости от ввода направления, в частности, в зависимости от информации высоты. После выбора выбранной кривой фильтра блок II 113 формирования фильтра модификации направления модифицирует выбранную кривую фильтра, например, посредством растяжения или сжатия опорной кривой фильтра (в зависимости от входной информации высоты).

В альтернативном варианте осуществления блок II 113 формирования фильтра модификации направления выполняет интерполяцию между двумя из множества кривых фильтра, обеспеченных устройством 200, например, в зависимости от входной информации высоты и формирует интерполированную кривую фильтра из этих двух кривых фильтра.

Фиг. 48 иллюстрирует устройство 100 для формирования отфильтрованного аудиосигнала в соответствии с другим вариантом осуществления.

В варианте осуществления на фиг. 48 блок 110 определения информации фильтра, например, может быть реализован как в варианте осуществления на фиг. 45, или как в варианте осуществления на фиг. 46, или как в варианте осуществления на фиг. 47.

В варианте осуществления на фиг. 48 блок 120 фильтра содержит блок 121 бинауральной рендеризации, который проводит бинауральную рендеризацию для получения промежуточного бинаурального аудиосигнала, содержащего два промежуточных аудиоканала.

Кроме того, блок 120 фильтра содержит блок 122 обработки фильтра корректора направления, выполненный с возможностью фильтровать два промежуточных аудиоканала промежуточного бинаурального аудиосигнала в зависимости от информации фильтра, обеспеченной блоком 110 определения информации фильтра.

Таким образом, в варианте осуществления на фиг. 48 проводится первая бинауральная рендеризация. Виртуальная адаптация высоты проводится после этого посредством блока 122 обработки фильтра корректора направления.

Хотя некоторые аспекты были описаны в контексте устройства, ясно, что эти аспекты также представляют описание соответствующего способа, где модуль или устройство соответствуют этапу способа или признаку этапа способа. Аналогичным образом аспекты, описанные в контексте этапа способа, также представляют описание соответствующего модуля, или элемента, или признака соответствующего устройства. Некоторые или все этапы способа могут быть исполнены (или использовать) аппаратное устройство, как, например, микропроцессор, программируемый компьютер или электронная схема. В некоторых вариантах осуществления один или более из самых важных этапов способа могут быть исполнены таким устройством.

В зависимости от некоторых требований реализации варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении, или по меньшей мере частично в аппаратных средствах, или по меньшей мере частично в программном обеспечении. Реализация может быть выполнена с использованием цифрового запоминающего носителя, например гибкого диска, DVD, Blu-ray, CD, ПЗУ (ROM), ППЗУ (PROM), СППЗУ (EPROM), ЭСППЗУ (EEPROM) или флэш-памяти, имеющих сохраненные на них читаемые в электронном виде управляющие сигналы, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой, так что выполняется соответствующий способ. Таким образом, цифровой запоминающий носитель может являться машиночитаемым.

Некоторые варианты осуществления в соответствии с изобретением содержат носитель данных, имеющий в читаемые в электронном чиде управляющие сигналы, которые способны взаимодействовать с программируемой компьютерной системой, так что выполняется один из способов, описанных в настоящем документе.

Обычно варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, программный код выполнен с возможностью выполнения одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для выполнения одного из способов, описанных в настоящем документе, сохраненных на машиночитаемом носителе.

Другими словами, вариант осуществления способа изобретения, таким образом, представляет собой компьютерную программу, имеющую программный код для выполнения одного из способов, описанных в настоящем документе, когда компьютерная программа выполняется на компьютере.

Дополнительный вариант осуществления способов изобретения, таким образом, представляет собой носитель данных (или цифровой запоминающий носитель или машиночитаемый носитель), содержащий записанную на нем компьютерную программу для выполнения одного из способов, описанных в настоящем документе. Носитель данных, цифровой запоминающий носитель или носитель с записанными данными обычно являются материальными и/или долгого хранения.

Дополнительный вариант осуществления способа изобретения, таким образом, представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для выполнения одного из способов, описанных в настоящем документе. Поток данных или последовательность сигналов, например, могут быть выполнены с возможностью быть перенесенными через соединение передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например компьютер или программируемое логическое устройство, выполненное с возможностью или адаптированное для выполнения одного из способов, описанных в настоящем документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из способов, описанных в настоящем документе.

Дополнительный вариант осуществления в соответствии с изобретением содержит устройство или систему, выполненную с возможностью переносить (например, в электронном или оптическом виде) компьютерную программу для выполнения одного из способов, описанных в настоящем документе, к приемнику. Приемник, например, может являться компьютером, мобильным устройством, запоминающим устройством и т.п. Устройство или система, например, могут содержать файловый сервер для переноса компьютерной программы к приемнику.

В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторой или всей функциональности способов, описанных в настоящем документе. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором для выполнения одного из способов, описанных в настоящем документе. Обычно способы предпочтительно выполняются любым аппаратным устройством.

Устройство, описанное в настоящем документе, может быть реализовано с использованием аппаратного устройства, или с использованием компьютера, или с использованием комбинации аппаратного устройства и компьютера.

Способы, описанные в настоящем документе, могут быть выполнены с использованием аппаратного устройства, или с использованием компьютера, или с использованием комбинации аппаратного устройства и компьютера.

Описанные выше варианты осуществления являются лишь иллюстрацией принципов настоящего изобретения. Подразумевается, что модификации и вариации размещений и подробностей, описанных в настоящем документе, будут очевидны для других специалистов в области техники. Таким образом, подразумевается, что изобретение ограничено только объемом последующей патентной формулы изобретения, а не конкретными подробностями, представленными посредством описания и разъяснения представленных в настоящем документе вариантов осуществления.

Список литературы

[001] Rubak, P. and Johansen, L., ʺArtificial reverberation based on a pseudo-random impulse response 2ʺ, Proceedings of the 106^th AES Convention, 4875, May 8-11, 1999

[002] Kuttruff H. Room Acoustics, Fouth Edition, Spon Press, 2000

[003] Jens Blauert, Räumliches Hören, S. Hirzel Verlag, Stuttgart, 1974

[004] <https://commons.wikimedia.org/wiki/File:Akustik_-_Richtungsb%C3%A4nder.svg>

[005] Litovsky et. al., Precedence effect, J. Acoust. Soc. Am. Vol. 106, No. 4. Pt. 1. Oct 1999

[006] V. Pullki, M. Karjalainen, Communication Acoustics, Wiley, 2015

[007] <http://www.sengpielaudio.com/PraktischeDatenZurStereo-Lokalisation.pdf>

[008] <http://www.sengpielaudio.com/Haas-Effekt.pdf>

[009] G. Theile. On the Standardization of the Frequency Response of High Quality Studio Headphones. AES convention 77, 1985

[010] F. Fleischmann, Messung, Vergleich and psychoakustische Evaluierung von Kopfhörer-Übertragungsmaßen, FAU Erlangen, Diplomarbeit, 2011

[011] A Simple, Robust Measure of Reverberation Echo Density, J. Abel, P. Huang, AES 121st Convention, 2006 October 5-8

[012] Perceptual Evaluation of Model- and Signal-Based Predictors of the Mixing Time in Binaural Room Impulse Responses, A. Lindau, L. Kosanke, S. Weinzierl, J. Audio Eng. Soc., Vol. 60, No. 11, 2012 November

[013] Rubak, P. and Johansen, L., ʺArtificial reverberation based on a pseudo-random impulse response," in Proceedings of the 104th AES Convention, preprint 4875, Amsterdam, Netherlands, May 16-19, 1998.

[014] Rubak, P. and Johansen, L., ʺArtificial reverberation based on a pseudo-random impulse response II," in Proceedings of the 106th AES Convention, preprint 4875, Munich, Germany, May 8-11, 1999.

[015] Jot, J.-M., Cerveau, L., and Warusfel, O., ʺAnalysis and synthesis of room reverberation based on a statistical time-frequency model," in Proceedings of the 103rd AES Convention, preprint 4629, New York, September 26-29, 1997.

[016] Stanley Smith Stevens: Psychoacoustics. John Wiley & Sons, 1975

[017] http://www.mathworks.com/matlabcentral/mlc-downloads/downloads/submissions/ 43856/versions/8/screenshot.jpg

[018] Fourier Acoustics, Sound Radiation and Nearfield Acoustical Holography, Earl. G. Williams, Academic Press, 1999

[019] Richtungsdetektion mit dem Eigenmike Mikrofonarray, Messung und Analyse, M. Brandner, IEM, Kunst Uni Graz, 2013

[020] Bandwidth Extension for Microphone Arrays, B. Bernschütz, AES 8751, October 2012

[021] Zotter, F. (2009): Analysis and Synthesis of Sound-Radiation with Spherical Arrays.

Dissertation, University of Music and Performing Arts Graz

[022] Sank J.R., Improved Real-Ear Test for Stereophones. J. Audio Eng Soc 28 (1980), Nr. 4, S.206-218

[023] Spikofski, G. Das Diffusfeldsonden-Übertragungsmass eines Studiokopfhörers. Rundfunktechnische Mitteilung Nr. 3, 1988

[024] Vision and Technique behind the New Studios and Listening Rooms of the Fraunhofer IIS Audio Laboratory, A. Silzle, AES 7672, May 2009

[025] https://hps.oth-regensburg.de/~elektrogitarre/pdfs/kunstkopf.pdf

[026] Localization with Binaural Recordings from Artificial and Human Heads, P. Minhaar, S. Olesen, F. Christensen, H. Moller, J Audio Eng. Soc, Vol 49, No 5, 2001 May

[027] http://www.f07.fh-koeln.de/einrichtungen/nachrichtentechnik/

forschung_kooperationen/aktuelle_projekte/asar/00534/index.html

[028] Entwurf und Aufbau eines variable sphärischen Mikrofonarrays für Forschungsanwendungen in Raumakustik und Virtual Audio. B. Bernschütz, C. Pörschmann, S. Spors, S. Weinzierl, DAGA 2010, Berlin

[029] Farina, A. Advances in Impulse Response Measurements by Sine Sweeps. AES Convention 122. Wien, Mai 2007

[030] Weinzierl, S. et. al. Generalized multiple sweep measurement. AES Convention 126, 7767. Munich, Mai 2009

[031] Weinzierl, S. Handbuch der Audiotechnik. Springer, 2008

[032] https://web.archive.org/web/20160615231517/https://code.google.com/p/

sofia-toolbox/wiki/WELCOME

[033] E. C. Cherry. ʺSome experiments on the recognition of speech with one and with two earsʺ. J. Acoustical Soc. Am. vol. 25 pp. 975-979 (1953).

[034] <https://ccrma.stanford.edu/~jos/bbt/Equivalent_Rectangular_Bandwidth.html>

[035] http://de.mathworks.com/help/signal/ref/rceps.html

1. Устройство (100) для формирования отфильтрованного аудиосигнала из входного аудиосигнала, причем устройство (100) содержит:

блок (110) определения информации фильтра, выполненный с возможностью определять информацию фильтра в зависимости от входной информации высоты, причем входная информация высоты зависит от высоты виртуального источника (492) звука, и

блок (120) фильтра, выполненный с возможностью фильтровать входной аудиосигнал для получения фильтрованного аудиосигнала в зависимости от информации фильтра,

причем блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты, или

причем блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием определения модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты.

2. Устройство (100) по п. 1,

в котором блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра, так что блок (120) фильтра модифицирует первую спектральную часть входного аудиосигнала и так что блок (120) фильтра не модифицирует вторую спектральную часть входного аудиосигнала.

3. Устройство (100) по п. 1,

в котором блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра, так что блок (120) фильтра усиливает первую спектральную часть входного аудиосигнала на первое значение усиления и так что блок (120) фильтра усиливает вторую спектральную часть входного аудиосигнала на второе значение усиления, причем первое значение усиления отличается от второго значения усиления.

4. Устройство (100) по п. 1, в котором входная информация высоты указывает по меньшей мере одно значение координаты системы координат, причем координата указывает позицию виртуального источника звука.

5. Устройство (100) по п. 4,

в котором системой координат является трехмерная декартова система координат, и входная информация высоты является координатой трехмерной декартовой системы координат или является значением из трех значений координаты трехмерной декартовой системы координат, или

в котором системой координат является полярная система координат, и входная информация высоты является углом высоты полярной координаты полярной системы координат.

6. Устройство (100) по п. 5,

в котором блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты, и

в котором входная информация высоты является упомянутым значением из трех значений координаты трехмерной системы координат, являющимся входным значением координаты, причем каждая кривая фильтра из множества кривых фильтра имеет значение координаты, присвоенное упомянутой кривой фильтра, и блок (110) определения информации фильтра выполнен с возможностью выбирать в качестве выбранной кривой фильтра кривую фильтра из множества кривых фильтра с наименьшей абсолютной разностью между входным значением координаты и значением координаты, присвоенным упомянутой кривой фильтра, среди всего множества кривых фильтра, или

в котором входная информация высоты является углом высоты, являющимся входным углом высоты, причем каждая кривая фильтра из множества кривых фильтра имеет угол высоты, присвоенный упомянутой кривой фильтра, и блок (110) определения информации фильтра выполнен с возможностью выбирать в качестве выбранной кривой фильтра кривую фильтра из множества кривых фильтра с наименьшей абсолютной разностью между входным углом высоты и углом высоты, присвоенным упомянутой кривой фильтра, среди всего множества кривых фильтра.

7. Устройство (100) по п. 6,

в котором блок (110) определения информации фильтра выполнен с возможностью усиливать выбранную кривую фильтра на определенное значение усиления для получения обработанной кривой фильтра, или блок (110) определения информации фильтра выполнен с возможностью ослаблять выбранную кривую фильтра на определенное значение ослабления для получения обработанной кривой фильтра,

в котором блок (120) фильтра выполнен с возможностью фильтровать входной аудиосигнал для получения отфильтрованного аудиосигнала в зависимости от обработанной кривой фильтра, и

в котором блок (110) определения информации фильтра выполнен с возможностью определять определенное значение усиления или определенное значение ослабления в зависимости от разности между входным значением координаты и значением координаты, присвоенным выбранной кривой фильтра, или блок (110) определения информации фильтра выполнен с возможностью определять определенное значение усиления или определенное значение ослабления в зависимости от разности между углом высоты и углом высоты, присвоенным выбранной кривой фильтра.

8. Устройство (100) по п. 1,

в котором блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием определения модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты, и

в котором блок (110) определения информации фильтра выполнен с возможностью усиливать опорную кривую фильтра на определенное значение усиления для получения обработанной кривой фильтра, или блок (110) определения информации фильтра выполнен с возможностью ослаблять опорную кривую фильтра на определенное значение ослабления для получения обработанной кривой фильтра.

9. Устройство (100) по п. 1,

в котором блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в качестве первой выбранной кривой фильтра в зависимости от входной информации высоты,

в котором блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием выбора второй выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты, и

в котором блок (110) определения информации фильтра выполнен с возможностью определять интерполированную кривую фильтра посредством интерполяции между первой выбранной кривой фильтра и второй выбранной кривой фильтра.

10. Устройство (100) по п. 1,

в котором блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты, причем каждая из множества кривых фильтра имеет глобальный максимум или глобальный минимум между 700 Гц и 2000 Гц, или

в котором блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием определения модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты, причем опорный фильтр имеет глобальный максимум или глобальный минимум между 700 Гц и 2000 Гц.

11. Устройство (100) по п. 1,

в котором блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра в зависимости от входной информации высоты, а также в зависимости от входной информации азимута, и

в котором блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты и в зависимости от входной информации азимута, или

в котором блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра с использованием определения модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты и в зависимости от информации азимута.

12. Устройство (100) по п. 1,

в котором блок (120) фильтра выполнен с возможностью фильтровать входной аудиосигнал для получения бинаурального аудиосигнала в качестве отфильтрованного аудиосигнала, имеющего точно два аудиоканала, в зависимости от информации фильтра,

в котором блок (110) определения информации фильтра выполнен с возможностью принимать входную информацию о входной передаточной функции слухового аппарата, и

в котором блок (110) определения информации фильтра выполнен с возможностью определять информацию фильтра посредством определения модифицированной передаточной функции слухового аппарата посредством модификации входной передаточной функции слухового аппарата в зависимости от выбранной кривой фильтра или в зависимости от модифицированной кривой фильтра.

13. Устройство (100) по п. 12,

в котором входная передаточная функция слухового аппарата представлена в спектральной области,

в котором выбранная кривая фильтра представлена в спектральной области, или модифицированная кривая фильтра представлена в спектральной области, и

в котором блок (110) определения информации фильтра выполнен с возможностью определять модифицированную передаточную функцию слухового аппарата посредством сложения спектральных значений выбранной кривой фильтра или модифицированной кривой фильтра со спектральными значениями входной передаточной функции слухового аппарата, или

блок (110) определения информации фильтра выполнен с возможностью определять модифицированную передаточную функцию слухового аппарата посредством умножения спектральных значений выбранной кривой фильтра или модифицированной кривой фильтра на спектральные значения входной передаточной функции слухового аппарата, или

блок (110) определения информации фильтра выполнен с возможностью определять модифицированную передаточную функцию слухового аппарата посредством вычитания спектральных значений выбранной кривой фильтра или модифицированной кривой фильтра из спектральных значений входной передаточной функции слухового аппарата или вычитания спектральных значений входной передаточной функции слухового аппарата из спектральных значений выбранной кривой фильтра или модифицированной кривой фильтра, или

блок (110) определения информации фильтра выполнен с возможностью определять модифицированную передаточную функцию слухового аппарата посредством деления спектральных значений входной передаточной функции слухового аппарата на спектральные значения выбранной кривой фильтра или модифицированной кривой фильтра, или деления спектральных значений выбранной кривой фильтра или модифицированной кривой фильтра на спектральные значения входной передаточной функции слухового аппарата.

14. Устройство (100) по п. 12,

в котором входная передаточная функция слухового аппарата представлена во временной области,

в котором выбранная кривая фильтра представлена во временной области, или модифицированная кривая фильтра представлена во временной области, и

в котором блок (110) определения информации фильтра выполнен с возможностью определять модифицированную передаточную функцию слухового аппарата посредством свертки выбранной кривой фильтра или модифицированной кривой фильтра и входной передаточной функции слухового аппарата, или

в котором блок (110) определения информации фильтра выполнен с возможностью определять модифицированную передаточную функцию слухового аппарата посредством фильтрации выбранной кривой фильтра или модифицированной кривой фильтра с помощью структуры с не рекурсивным фильтром, или

в котором блок (110) определения информации фильтра выполнен с возможностью определять модифицированную передаточную функцию слухового аппарата посредством фильтрации выбранной кривой фильтра или модифицированной кривой фильтра с помощью структуры с рекурсивным фильтром.

15. Система (300) для модификации направления аудиосигнала, причем система содержит:

устройство (100) по п. 12 для формирования отфильтрованного аудиосигнала из входного аудиосигнала, и

устройство (200) для обеспечения информации модификации направления, причем устройство (200) для обеспечения информации модификации направления содержит:

множество громкоговорителей (211, 212), причем каждый из множества громкоговорителей (211, 212) выполнен с возможностью воспроизводить воспроизводимый аудиосигнал, причем первый из множества громкоговорителей (211, 212) расположен в первой позиции на первой высоте, и причем второй из множества громкоговорителей (211, 212) расположен во второй позиции, отличающейся от первой позиции, на второй высоте, отличающейся от первой высоты,

два микрофона (221, 222), причем каждый из двух микрофонов (221, 222) выполнен с возможностью записывать записываемый аудиосигнал, принимая звуковые волны от каждого громкоговорителя из множества громкоговорителей (211, 212), испускаемые упомянутым громкоговорителем при воспроизведении аудиосигнала,

блок (230) определения бинауральной импульсной характеристики помещения, выполненный с возможностью определять множество бинауральных импульсных характеристик помещения посредством определения бинауральной импульсной характеристики помещения для каждого громкоговорителя из множества громкоговорителей (211, 212) в зависимости от воспроизводимого аудиосигнала, воспроизводимого упомянутым громкоговорителем, и в зависимости от каждого из записанных аудиосигналов, записанных каждым из двух микрофонов (221, 222), когда упомянутый воспроизводимый аудиосигнал воспроизводится упомянутым громкоговорителем, и

блок (240) формирования кривой фильтра, выполненный с возможностью формировать по меньшей мере одну кривую фильтра в зависимости от двух из множества бинауральных импульсных характеристик помещения,

причем информация модификации направления зависит по меньшей мере от одной кривой фильтра,

причем блок (110) определения информации фильтра устройства (100) по п. 12 выполнен с возможностью определять информацию фильтра с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты, или

причем блок (110) определения информации фильтра устройства (100) по п. 12 выполнен с возможностью определять информацию фильтра с использованием определения модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты,

причем информация модификации направления, обеспеченная устройством (200) для обеспечения информации модификации направления, содержит множество кривых фильтра или опорную кривую фильтра.

16. Система (300) по п. 15,

в которой блок (240) формирования кривой фильтра устройства (200) для обеспечения информации модификации направления выполнен с возможностью получать две или более кривых фильтра посредством формирования одной или более промежуточных кривых в зависимости от множества бинауральных импульсных характеристик помещения посредством усиления каждой из одной или более промежуточных кривых с помощью каждого из множества различных значений ослабления.

17. Система (300) по п. 15,

в которой блок (240) формирования кривой фильтра устройства (200) для обеспечения информации модификации направления выполнен с возможностью определять множество передаточных функций слухового аппарата, исходя из множества бинауральных импульсных характеристик помещения посредством извлечения передаточной функции слухового аппарата из каждой из бинауральных импульсных характеристик помещения,

в которой множество передаточных функций слухового аппарата представлено в спектральной области,

в которой значение высоты присвоено каждой из множества передаточных функций слухового аппарата,

в которой блок (240) формирования кривой фильтра устройства (200) для обеспечения информации модификации направления выполнен с возможностью формировать две или более кривых фильтра,

в которой блок (240) формирования кривой фильтра устройства (200) для обеспечения информации модификации направления выполнен с возможностью формировать каждую из двух или более кривых фильтра посредством вычитания спектральных значений второй из множества передаточных функций слухового аппарата из спектральных значений первой из множества передаточных функций слухового аппарата или посредством деления спектральных значений первой из множества передаточных функций слухового аппарата на спектральные значения второй из множества передаточных функций слухового аппарата,

в которой блок (240) формирования кривой фильтра устройства (200) для обеспечения информации модификации направления выполнен с возможностью присваивать значение высоты каждой из двух или более кривых фильтра посредством вычитания значения высоты, присвоенного первой из множества передаточных функций слухового аппарата, из значения высоты, присвоенного второй из множества передаточных функций слухового аппарата, и

в которой информация модификации направления содержит каждую из двух или более кривых фильтра и значение высоты, присвоенное упомянутой кривой фильтра.

18. Система (300) по п. 15,

в которой блок (240) формирования кривой фильтра устройства (200) для обеспечения информации модификации направления выполнен с возможностью определять множество передаточных функций слухового аппарата, исходя из множества бинауральных импульсных характеристик помещения посредством извлечения передаточной функции слухового аппарата из каждой из бинауральных импульсных характеристик помещения,

в которой множество передаточных функций слухового аппарата представлено в спектральной области,

в которой значение высоты присвоено каждой из множества передаточных функций слухового аппарата,

в которой блок (240) формирования кривой фильтра устройства (200) для обеспечения информации модификации направления выполнен с возможностью формировать точно одну кривую фильтра,

в которой блок (240) формирования кривой фильтра устройства (200) для обеспечения информации модификации направления выполнен с возможностью формировать точно одну кривую фильтра посредством вычитания спектральных значений второй из множества передаточных функций слухового аппарата из спектральных значений первой из множества передаточных функций слухового аппарата или посредством деления спектральных значений первой из множества передаточных функций слухового аппарата на спектральные значения второй из множества передаточных функций слухового аппарата,

в которой блок (240) формирования кривой фильтра устройства (200) для обеспечения информации модификации направления выполнен с возможностью присваивать значение высоты точно одной кривой фильтра посредством вычитания значения высоты, присвоенного первой из множества передаточных функций слухового аппарата, из значения высоты, присвоенного второй из множества передаточных функций слухового аппарата, и

в которой информация модификации направления содержит точно одну кривую фильтра и значение высоты, присвоенное точно одной кривой фильтра.

19. Устройство (200) для обеспечения информации модификации направления, причем устройство (200) содержит:

множество громкоговорителей (211, 212), причем каждый из множества громкоговорителей (211, 212) выполнен с возможностью воспроизводить воспроизводимый аудиосигнал, причем первый из множества громкоговорителей (211, 212) расположен в первой позиции на первой высоте, и причем второй из множества громкоговорителей (211, 212) расположен во второй позиции, отличающейся от первой позиции, на второй высоте, отличающейся от первой высоты,

два микрофона (221, 222), причем каждый из двух микрофонов (221, 222) выполнен с возможностью записывать записываемый аудиосигнал, принимая звуковые волны от каждого громкоговорителя из множества громкоговорителей (211, 212), испускаемые упомянутым громкоговорителем при воспроизведении аудиосигнала,

блок (230) определения бинауральной импульсной характеристики помещения, выполненный с возможностью определять множество бинауральных импульсных характеристик помещения посредством определения бинауральной импульсной характеристики помещения для каждого громкоговорителя из множества громкоговорителей (211, 212) в зависимости от воспроизводимого аудиосигнала, воспроизводимого упомянутым громкоговорителем, и в зависимости от каждого из записанных аудиосигналов, записанных каждым из двух микрофонов (221, 222), когда упомянутый воспроизводимый аудиосигнал воспроизводится упомянутым громкоговорителем, и

блок (240) формирования кривой фильтра, выполненный с возможностью формировать по меньшей мере одну кривую фильтра в зависимости от двух из множества бинауральных импульсных характеристик помещения,

причем информация модификации направления зависит по меньшей мере от одной кривой фильтра.

20. Устройство (200) по п. 19,

в котором блок (240) формирования кривой фильтра выполнен с возможностью получать две или более кривых фильтра посредством формирования одной или более промежуточных кривых в зависимости от множества бинауральных импульсных характеристик помещения посредством усиления каждой из одной или более промежуточных кривых с помощью каждого из множества различных значений ослабления.

21. Устройство (200) по п. 19,

в котором блок (240) формирования кривой фильтра выполнен с возможностью определять множество передаточных функций слухового аппарата, исходя из множества бинауральных импульсных характеристик помещения посредством извлечения передаточной функции слухового аппарата из каждой из бинауральных импульсных характеристик помещения,

в котором множество передаточных функций слухового аппарата представлено в спектральной области,

в котором значение высоты присвоено каждой из множества передаточных функций слухового аппарата,

в котором блок (240) формирования кривой фильтра выполнен с возможностью формировать две или более кривых фильтра,

в котором блок (240) формирования кривой фильтра выполнен с возможностью формировать каждую из двух или более кривых фильтра посредством вычитания спектральных значений второй из множества передаточных функций слухового аппарата из спектральных значений первой из множества передаточных функций слухового аппарата, или деления спектральных значений первой из множества передаточных функций слухового аппарата на спектральные значения второй из множества передаточных функций слухового аппарата,

в котором блок (240) формирования кривой фильтра выполнен с возможностью присваивать значение высоты каждой из двух или более кривых фильтра посредством вычитания значения высоты, присвоенного первой из множества передаточных функций слухового аппарата, из значения высоты, присвоенного второй из множества передаточных функций слухового аппарата, и

в котором информация модификации направления содержит каждую из двух или более кривых фильтра и значение высоты, присвоенное упомянутой кривой фильтра.

22. Устройство (200) по п. 19,

в котором блок (240) формирования кривой фильтра выполнен с возможностью определять множество передаточных функций слухового аппарата, исходя из множества бинауральных импульсных характеристик помещения посредством извлечения передаточной функции слухового аппарата из каждой из бинауральных импульсных характеристик помещения,

в котором множество передаточных функций слухового аппарата представлено в спектральной области,

в котором значение высоты присвоено каждой из множества передаточных функций слухового аппарата,

в котором блок (240) формирования кривой фильтра выполнен с возможностью формировать точно одну кривую фильтра,

в котором блок (240) формирования кривой фильтра выполнен с возможностью формировать точно одну кривую фильтра посредством вычитания спектральных значений второй из множества передаточных функций слухового аппарата из спектральных значений первой из множества передаточных функций слухового аппарата или посредством деления спектральных значений первой из множества передаточных функций слухового аппарата на спектральные значения второй из множества передаточных функций слухового аппарата,

в котором блок (240) формирования кривой фильтра выполнен с возможностью присваивать значение высоты точно одной кривой фильтра посредством вычитания значения высоты, присвоенного первой из множества передаточных функций слухового аппарата, из значения высоты, присвоенного второй из множества передаточных функций слухового аппарата, и

в котором информация модификации направления содержит точно одну кривую фильтра и значение высоты, присвоенное точно одной кривой фильтра.

23. Способ формирования отфильтрованного аудиосигнала из входного аудиосигнала, причем способ содержит этапы, на которых:

определяют информацию фильтра в зависимости от входной информации высоты, причем входная информация высоты зависит от высоты виртуального источника (492) звука, и

фильтруют входной аудиосигнал для получения отфильтрованного аудиосигнала в зависимости от информации фильтра,

причем определение информации фильтра проводится с использованием выбора выбранной кривой фильтра из множества кривых фильтра в зависимости от входной информации высоты, или

причем определение информации фильтра проводится с использованием определения модифицированной кривой фильтра посредством модификации опорной кривой фильтра в зависимости от информации высоты.

24. Способ обеспечения информации модификации направления, причем способ содержит этапы, на которых:

для каждого громкоговорителя из множества громкоговорителей воспроизводят воспроизводимый аудиосигнал упомянутым громкоговорителем и осуществляют запись звуковых волн, испускаемых от упомянутого громкоговорителя при воспроизведении воспроизводимого аудиосигнала, двумя микрофонами для получения записанного аудиосигнала для каждого из двух микрофонов, причем первый из множества громкоговорителей расположен в первой позиции на первой высоте, и причем второй из множества громкоговорителей расположен во второй позиции, отличающейся от первой позиции, на второй высоте, отличающейся от первой высоты,

определяют множество бинауральных импульсных характеристик помещения посредством определения бинауральной импульсной характеристики помещения для каждого громкоговорителя из множества громкоговорителей в зависимости от воспроизводимого аудиосигнала, воспроизводимого упомянутым громкоговорителем, и в зависимости от каждого из записанных аудиосигналов, записанных каждым из двух микрофонов, когда упомянутый воспроизводимый аудиосигнал воспроизводится упомянутым громкоговорителем, и

формируют по меньшей мере одну кривую фильтра в зависимости от двух из множества бинауральных импульсных характеристик помещения,

причем информация модификации направления зависит по меньшей мере от одной кривой фильтра.

25. Цифровой носитель данных, содержащий компьютерную программу для реализации способа по п. 23, когда она исполняется на компьютере или на процессоре сигналов.

26. Цифровой носитель данных, содержащий компьютерную программу для реализации способа по п. 24, когда она исполняется на компьютере или на процессоре сигналов.