Способ и устройство для применения реверберации к многоканальному звуковому сигналу с использованием параметров пространственных меток

Изобретение относится к способам и системам применения реверберации к многоканальному сведенному звуковому сигналу, указывающему на большее количество отдельных звуковых каналов. Техническим результатом является обеспечение отдельного определения и генерирования отличающихся звуковых сигналов реверберации для каждого из дискретных каналов, подвергнутого повышающему микшированию смешанного звукового сигнала. Способ применения реверберации к М-канальному сведенному входному звуковому сигналу, указывающему на Х отдельных звуковых каналов. В ответ на параметры пространственных меток, указывающие на пространственное изображение сведенного входного сигнала, генерируют Y дискретных сигналов реверберированного канала, где каждый из сигналов реверберированного канала в момент времени t представляет собой линейную комбинацию подмножества значений Х отдельных звуковых каналов в момент времени t. При этом Y дискретных сигналов реверберированного канала сгенерированы при помощи матрицы предварительного микширования, содержащей коэффициенты, изменяющиеся во времени, определяемые в ответ на параметры пространственных меток. 2 н. и 13 з.п. ф-лы, 3 ил.

 

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

1. Область техники изобретения

Изобретение относится к способам и системам применения реверберации к многоканальному сведенному звуковому сигналу, указывающему на большее количество отдельных звуковых каналов. В некоторых вариантах осуществления это достигается путем повышающего микширования входного сигнала и применения реверберации к, по меньшей мере, некоторым его отдельным каналам в ответ на, по меньшей мере, один параметр пространственной метки (указывающий на, по меньшей мере, одну пространственную метку для входного сигнала) так, чтобы для каждого отдельного канала, к которому применяется реверберация, применялись отличающиеся импульсные характеристики реверберации. Необязательно, после применения реверберации отдельные каналы подвергаются понижающему микшированию для генерирования N-канального реверберированного выходного сигнала. В некоторых вариантах осуществления входной сигнал представляет собой кодированный MPEG Surround (MPS) сигнал в области QMF (квадратурного зеркального фильтра), а повышающее микширование и применение реверберации выполняются в области QMF в ответ на параметры пространственных меток MPS, которые включают, по меньшей мере, некоторые из параметров разности уровней каналов (CLD), параметров коэффициента предсказания канала (CPC) и параметров межканальной когерентности (ICC).

2. Предпосылки изобретения

Во всем данном описании, включая формулу изобретения, выражение «ревербератор» (или «система ревербератора») используется для обозначения системы, которая сконфигурирована для применения реверберации к звуковому сигналу (например, ко всем или к некоторым каналам многоканального звукового сигнала).

Во всем данном описании, включая формулу изобретения, выражение «система» используется в широком смысле для обозначения устройства, системы или подсистемы. Например, подсистема, которая реализует ревербератор, может называться системой ревербератора (или ревербератором), а система, включающая указанную подсистему ревербератора (например система декодера, которая генерирует X+Y выходных сигналов в ответ на Q+R входных сигналов, в которой подсистема ревербератора генерирует Х выходных сигналов в ответ на Q входных сигналов, а остальные выходные сигналы генерируются другой подсистемой системы декодера), также может называться системой ревербератора (или ревербератором).

Во всем данном описании, включая формулу изобретения, выражение «воспроизведение» сигналов акустическими системами обозначает создание условий для генерирования звука акустическими системами в ответ на сигналы, которое заключается в выполнении любого требуемого усиления и/или другой обработки сигналов.

Во всем данном описании, включая формулу изобретения, выражение «линейная комбинация» величин v₁, v₂, …, v_n (например, n элементов подмножества множества Х сигналов отдельного звукового канала, происходящих в момент времени t, где n меньше или равно Х) обозначает величину, равную a₁v₁+a₂v₂+…+a_nv_n, где a₁, a₂, …, a_n - коэффициенты. В общем, для значений коэффициентов нет ограничений (например, каждый коэффициент может быть положительным, отрицательным или нулевым). В данном раскрытии выражение используется в широком смысле, например, включая случай, когда один из коэффициентов равен 1, а остальные равны нулю (например, в случае, когда линейная комбинация a₁v₁+a₂v₂+…+a_nv_n равна v₁ (или v₂, …, или v_n)).

Во всем данном описании, включая формулу изобретения, выражение «параметр пространственной метки» многоканального звукового сигнала обозначает любой параметр, указывающий на, по меньшей мере, одну пространственную метку для звукового сигнала, где каждая указанная «пространственная метка» является указывающей на (например, описывающей) пространственное изображение многоканального сигнала. Примерами пространственных меток является разность уровней (или интенсивностей) между (или соотношений между) парами каналов звукового сигнала, разность фаз между указанными парами каналов и критерии корреляции между указанными парами каналов. Примерами параметров пространственных меток являются параметры разности уровней каналов (CLD) и параметры коэффициента предсказания канала (CPC), которые составляют часть битового потока традиционного MPEG Surround ("MPS") и используются в кодировании MPEG Surround.

В соответствии с хорошо известным стандартом MPEG Surround ("MPS") несколько каналов звуковых данных могут кодироваться путем понижающего микширования в меньшее количество каналов (например, М каналов, где М, как правило, равно 2) и сжатия, а указанный М-канальный сведенный звуковой сигнал может декодироваться путем разуплотнения и обработки (повышающего микширования) с целью генерирования N декодированных звуковых каналов (например, M = 2, N = 5).

Типичный традиционный декодер MPS действует, выполняя повышающее микширование для генерирования N декодированных звуковых сигналов (где N больше двух) в ответ на двухканальный сведенный звуковой сигнал во временной области (и параметры пространственных меток MPS, включающие параметры разности уровней каналов (CLD) и параметры коэффициента предсказания канала (CPC)). Типичный традиционный декодер MPS функционирует в бинауральном режиме, генерируя бинауральный сигнал в ответ на двухканальный сведенный звуковой сигнал во временной области и параметры пространственных меток, и, по меньшей мере, еще в одном режиме, выполняя повышающее микширование с целью генерирования декодированных звуковых каналов 5.0 (где условное обозначение каналов "x.y" обозначает "x" полночастотных каналов и «у» каналов сабвуфера), 5.1, 7.0 или 7.1 в ответ на двухканальный сведенный звуковой сигнал во временной области и параметры пространственных меток. Входной сигнал подвергается преобразованию из временной области в частотную область QMF (область квадратурного зеркального фильтра), образуя два канала частотных составляющих области QMF. Эти частотные составляющие подвергаются декодированию в области QMF, и результирующие составляющие, как правило, затем преобразуются обратно во временную область с целью генерирования выходного звукового сигнала декодера.

Фиг.1 представляет собой упрощенную блок-схему элементов традиционного декодера MPS, сконфигурированного для генерирования N декодированных звуковых каналов (где N больше двух и N, как правило, равно 5 или 7) в ответ на двухканальный сведенный звуковой сигнал (L' и R') и параметры пространственных меток MPS (включая параметры разности уровней каналов и параметры коэффициента предсказания канала). Сведенный входной сигнал (L' и R') указывает на "X" отдельных звуковых каналов, где Х больше 2. Сведенный входной сигнал, как правило, указывает на пять отдельных каналов (например, левый передний, правый передний, центральный, левый окружающий и правый окружающий каналы).

Каждый из входных сигналов, «левого» входного сигнала L' и «правого» входного сигнала R', представляет собой последовательность частотных составляющих области QMF, генерируемых путем преобразования двухканального кодированного сигнала MPS во временной области (не показан ) на этапе преобразования из временной области в область QMF (не показан).

Сведенный входной сигнал L' и R' декодируется в декодере 1 по фиг.1 в N сигналов отдельных каналов S1, S2, ..., SN в ответ на параметры пространственных меток MPS, которые направляются (вместе с входными сигналами) в систему по фиг.1. N последовательностей выходных частотных составляющих области QMF, S1, S2, ..., SN, как правило, трансформируются обратно во временную область на этапе преобразования из области QMF во временную область (не показан) и могут быть направлены в качестве выходного сигнала из системы, не подвергаясь постобработке. Необязательно, сигналы S1, S2, ..., SN подвергаются постобработке (в области QMF) в постпроцессоре с целью генерирования N-канального выходного звукового сигнала, включающего каналы OUT1, OUT2, …, OUTN. N последовательностей выходных частотных составляющих области QMF, OUT1, OUT2, …, OUTN, как правило, преобразуются обратно во временную область на этапе преобразования из области QMF во временную область (не показан) и могут быть направлены в качестве выходного сигнала из системы.

Традиционный декодер MPS по фиг.1, функционирующий в бинауральном режиме, генерирует двухканальный бинауральный выходной звуковой сигнал S1 и S2 и, необязательно, также двухканальный бинауральный выходной звуковой сигнал OUT1 и OUT2 в ответ на двухканальный сведенный звуковой сигнал (L' и R') и параметры пространственных меток (включая параметры разности уровней каналов и параметры коэффициента предсказания канала). При воспроизведении парой наушников двухканальный выходной звуковой сигнал S1 и S2 воспринимается барабанными перепонками слушателя как звук из «Х» громкоговорителей (где Х > 2 и Х, как правило, равен 5 или 7), находящихся в любом из множества возможных положений (определяемых коэффициентами декодера 1), включающих положения перед слушателем и позади слушателя. В бинауральном режиме постпроцессор может применять реверберацию к двухканальному выходному звуковому сигналу (S1, S2) декодера 1 (в этом случае, постпроцессор 5 реализует искусственный ревербератор). Система по фиг.1 может быть реализована (способом, который будет описан ниже) так, чтобы двухканальный выходной сигнал постпроцессора (OUT1 и OUT2) представлял собой бинауральный выходной звуковой сигнал, к которому применен ревербератор и который при воспроизведении наушниками воспринимается барабанными перепонками как звук из «Х» громкоговорителей (где X > 2 и Х, как правило, равен 5), находящихся в любом из множества положений, включая положения перед слушателем и позади слушателя.

Воспроизведение сигналов S1 и S2 (или OUT1 и OUT2), генерируемых в ходе функционирования в бинауральном режиме декодера по фиг.1, может создать у слушателя ощущение звука, который приходит из более чем двух (например, пяти) «окружающих» источников. По меньшей мере, некоторые из этих источников являются виртуальными. В более общем смысле, для систем виртуального окружающего звука традиционным является использование функций моделирования восприятия звука (HRTF) для генерирования звуковых сигналов (иногда называемых виртуальными сигналами окружающего звука), которые, при воспроизведении парой физических акустических систем (например, громкоговорителями, расположенными перед слушателем, или наушниками) воспринимаются барабанными перепонками слушателя как звук из более чем двух источников (например, акустических систем), находящихся в любом из широкого выбора положений (как правило, включающих положения позади слушателя).

Как отмечено выше, декодер MPS по фиг.1, действующий в бинауральном режиме, может реализовываться для применения реверберации с использованием искусственного ревербератора, реализуемого постпроцессором. Ревербератор может конфигурироваться для генерирования реверберации в ответ на двухканальный выходной сигнал (S1, S2) декодера 1 и применения реверберации к сигналам S1 и S2 с целью генерирования реверберированного двухканального звукового сигнала OUT1 и ОUT2. Реверберация может применяться как постпроцесс реверберации «стерео-стерео» к двухканальному сигналу S1, S2 из декодера 1 так, чтобы ко всем дискретным каналам, определяемым одним из двух сведенных звуковых каналов бинаурального выходного звукового сигнала декодера 1 (например, к левому переднему и левому окружающему каналам, определяемым сведенным каналом S1), применялась одинаковая импульсная характеристика реверберации, и такая же импульсная характеристика реверберации применялась ко всем дискретным каналам, определяемым вторым из двух сведенных звуковых каналов бинаурального звукового сигнала (например, к правому переднему и правому окружающему каналам, определяемым сведенным каналом S2).

Один из типов традиционных ревербераторов содержит конструкцию, известную как конструкция на основе схемы задержки обратной связи (FDN). В ходе работы указанный ревербератор применяет реверберацию к сигналу путем создания обратной связи сигнала с запаздывающей версией этого же сигнала. Преимуществом такой конструкции относительно других конструкций ревербератора является ее способность эффективно генерировать и применять несколько некоррелированных сигналов реверберации к нескольким входным сигналам. Эта особенность используется в серийно производимом виртуализаторе для наушников Dolby Mobile, который включает ревербератор, содержащий конструкцию на основе FDN, и пригоден для применения реверберации к каждому из каналов пятиканального звукового сигнала (содержащего левый передний, правый передний, центральный, левый окружающий и правый окружающий каналы) и фильтрации каждого реверберированного канала с использованием отличающихся пар фильтров из набора из пяти пар фильтров на основе функций моделирования восприятия звука ("HRTF"). Данный виртуализатор генерирует для каждого звукового канала уникальную импульсную характеристику реверберации.

Виртуализатор для наушников Dolby Mobile также действует в ответ на двухканальный входной звуковой сигнал, генерируя двухканальный «реверберированный» выходной звуковой сигнал (двухканальный виртуальный выходной сигнал окружающего звука, к которому применена реверберация). Когда реверберированный выходной звуковой сигнал воспроизводится парой наушников, он воспринимается барабанными перепонками слушателя как отфильтрованный HRTF, реверберированный звук из пяти громкоговорителей, находящихся в левом переднем, правом переднем, центральном, левом тыловом (окружающем) и правом тыловом (окружающем) положениях. Виртуализатор выполняет повышающее микширование сведенного двухканального входного звукового сигнала (без использования каких-либо параметров пространственных меток, принимаемых вместе с входным звуковым сигналом), генерируя пять звуковых каналов, подвергнутых повышающему микшированию, применяет реверберацию к подвергнутым повышающему микшированию каналам и выполняет понижающее микширование сигналов пяти реверберированных каналов, генерируя двухканальный реверберированный выходной сигнал виртуализатора. Реверберация для каждого канала, подвергнутого повышающему микшированию, фильтруется в отличающейся от других каналов паре фильтров HRTF.

В опубликованной заявке на патент США No. 2008/0071549 A1, опубликованной 20 марта 2008 г., описывается другая традиционная система для применения реверберации определенной формы к сведенному входному звуковому сигналу в ходе декодирования сведенного сигнала с целью генерирования сигналов отдельных каналов. В данной ссылке описывается декодер, который преобразует сведенный входной сигнал во временной области в область QMF, применяет к сведенному сигналу M(t,f) в области QMF реверберацию определенной формы, регулирует фазу реверберации, генерируя параметр реверберации для повышающего микширования каждого канала, определенного из сведенного сигнала (например, для генерирования параметра реверберации L_reverb(t,f) для повышающего микширования левого канала и параметра реверберации R_reverb(t,f) - для повышающего микширования правого канала, определенных из сведенного сигнала M(t,f)). Сведенный сигнал принимается вместе с параметрами пространственных меток (например, с параметром ICC, указывающим на корреляцию между левой и правой составляющими сведенного сигнала, и параметрами разности фаз между каналами IPDL и IPD_R). Параметры пространственных меток используются для генерирования параметров реверберации (например, L_reverb(t,f) и R_reverb(t,f)). Если метка ICC указывает на бόльшую корреляцию между левой и правой составляющими каналов сведенного сигнала, для сведенного сигнала M(t,f) генерируется реверберация меньшей величины, и реверберация большей величины генерируется из сведенного сигнала, если метка ICC указывает на меньшую корреляцию между левой и правой составляющими каналов сведенного сигнала, и, очевидно, фаза каждого из параметров корреляции регулируется (в блоке 206 или 208) в ответ на фазу, указываемую соответствующей меткой IPD. Однако реверберация используется только в качестве декоррелятора в параметрическом стереофоническом декодере (синтез «моно-стерео»), где для реконструкции взаимной корреляции между левым и правым каналами используется декоррелированный сигнал (который ортогонален M(t,f)), при этом ссылка не предлагает отдельного определения (или генерирования) отличающегося сигнала реверберации для применения к каждому дискретному каналу подвергнутого повышающему микшированию смешанного звукового сигнала, определяемого из сведенного звукового сигнала M(t,f), или к каждой линейной комбинации из множества линейных комбинаций значений отдельных каналов подвергнутого повышающему микшированию смешанного звукового сигнала, определяемого из сведенного звукового сигнала, для каждого дискретного канала подвергнутого повышающему микшированию смешанного звукового сигнала или каждой из указанных линейных комбинаций.

Автор изобретения принял во внимание, что может потребоваться отдельное определение (и генерирование) отличающихся сигналов реверберации для каждого из дискретных каналов подвергнутого повышающему микшированию смешанного звукового сигнала, определяемого из сведенного звукового сигнала, из каждого из дискретных каналов смешанного выходного сигнала, подвергнутого повышающему микшированию, или определение и генерирование отличающихся сигналов реверберации для (и из) каждой линейной комбинации из множества комбинаций значений указанных дискретных каналов. Автор изобретения также принял во внимание, что при указанном отдельном определении сигналов реверберации для отдельных каналов смешанного выходного сигнала, подвергнутого повышающему микшированию (или линейных комбинаций значений указанных каналов), реверберация, обладающая отличающейся импульсной характеристикой реверберации, может применяться к каналам смешанного выходного сигнала, подвергнутого повышающему микшированию (или к линейным комбинациям).

До настоящего изобретения параметры пространственных меток, принимаемые вместе со сведенным звуковым сигналом, не использовались также и для генерирования дискретных каналов смешанного выходного сигнала, подвергнутого повышающему микшированию, из сведенного звукового сигнала (например, в области QMF, где сведенный звуковой сигнал представляет собой звуковой сигнал, кодированный MPS) или линейных комбинаций его значений, и для генерирования реверберации из каждого указанного канала смешанного сигнала, подвергнутого повышающему микшированию (или их линейной комбинации), отдельно с целью применения к указанному каналу смешанного звукового сигнала, подвергнутого повышающему микшированию (или к их линейной комбинации). Также не существовало реверберированных каналов смешанного сигнала, подвергнутого повышающему микшированию, которые бы генерировались таким способом и рекомбинировались, генерируя реверберированный сведенный звуковой сигнал из входного сведенного звукового сигнала.

КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В одном из классов вариантов осуществления изобретения, изобретение представляет собой способ применения реверберации к М-канальному сведенному входному звуковому сигналу, указывающему на Х отдельных звуковых каналов, где Х - число больше М. В этих вариантах осуществления изобретения способ включает следующие этапы:

(а) в ответ на параметры пространственных меток, указывающие на (например, описывающие) пространственное изображение сведенного входного сигнала, генерирование Y дискретных сигналов реверберированного канала (например, в области квадратурного зеркального фильтра, или "QMF"), где каждый сигнал реверберированного канала в некоторый момент времени t представляет собой линейную комбинацию, по меньшей мере, подмножества значений X отдельных звуковых каналов в момент времени t; и

(b) отдельное применение реверберации к каждому из, по меньшей мере, двух сигналов реверберированного канала (например, в области QMF) путем создания обратной связи запаздывающей версии соответствующего сигнала реверберированного канала с каждым из сигналов реверберированного канала, и, таким образом, генерирование Y сигналов реверберированного канала. Предпочтительно, реверберация, применяемая к, по меньшей мере, одному из сигналов реверберированного канала, имеет импульсную характеристику реверберации, которая отличается от импульсной характеристики реверберации, применяемой к, по меньшей мере, еще одному сигналу реверберированного канала. В некоторых вариантах осуществления, X=Y, но в других вариантах осуществления X не равен Y. В некоторых вариантах осуществления изобретения Y больше М, и входной сигнал на этапе (а) является подвергнутым повышающему микшированию в ответ на параметры пространственных меток с целью генерирования Y сигналов реверберированного канала. В других вариантах осуществления изобретения Y равен М, или Y меньше M.

Например, в одном из случаев, где M=2, X=5, Y=4, входной сигнал представляет собой последовательность значений L(t), R(t), указывающих на сигналы пяти отдельных каналов L_front, R_front, C, L_sur и R_sur. Каждый из сигналов пяти отдельных каналов представляет собой последовательность значений

где W - матрица повышающего микширования MPEG Surround, имеющая форму:

а четыре сигнала реверберированных каналов представляют собой сигналы (g_lfw₁₁)L+(g_lfw₁₂)R, (g_rfw₂₁)L+(g_rfw₂₂)R, (g_lsw₁₁)L+(g_lsw₁₂)R и (g_rsw₂₁+w₃₁)L+(g_rsw₂₂+w₃₂)R, которые могут быть представлены следующим образом:

где

В некоторых вариантах осуществления изобретения, где входной сигнал представляет собой М-канальный сведенный сигнал MPEG Surround ("MPS"), этапы (а) и (b) выполняются в области QMF, и параметры пространственных меток принимаются вместе с входным сигналом. Например, параметры пространственных меток могут представлять собой или включать в себя параметры разности уровней каналов (CLD) и/или параметры коэффициента предсказания канала (CPC), относящиеся к типу, составляющему часть традиционного битового потока MPS. Если входной сигнал представляет собой сведенный сигнал MPS во временной области, изобретение, как правило, включает этап преобразования этого сигнала из временной области в область QMF с целью генерирования частотных составляющих области QMF и выполнение этапов (а) и (b) в области QMF на этих частотных составляющих.

Необязательно, способ также включает этап генерирования N-канальной сведенной версии Y сигналов реверберированного канала (включая каждый из сигналов канала, к которому применялась реверберация, и, если они имеют место, каждый из сигналов канала, к которому реверберация не применялась), например, путем кодирования сигналов реверберированного канала в виде N-канального сведенного сигнала MPS.

В типичных вариантах осуществления способа изобретения входной сведенный сигнал представляет собой двухканальный сведенный сигнал MPEG Surround ("MPS"), указывающий на пять отдельных звуковых каналов (левый передний, правый передний, центральный, левый окружающий и правый окружающий каналы), и реверберация определяется отличающимися импульсными характеристиками реверберации, применяемыми к, по меньшей мере, некоторым из этих пяти каналов, что в результате обеспечивает улучшенное качество окружающего звука.

Предпочтительно, способ изобретения также включает этап применения к сигналам реверберированного канала соответствующих функций моделирования восприятия звука (HRTF) путем фильтрации сигналов реверберации каналов в фильтре HRTF. Функции HRTF применяются для того, чтобы создать условия для восприятия слушателем реверберации, применяемой в соответствии с изобретением, как звучащей более натурально.

Другие особенности изобретения представляют собой ревербератор, сконфигурированный (например, запрограммированный) для выполнения любого из вариантов осуществления способа изобретения, виртуализатор, включающий указанный ревербератор, декодер (например, декодер MPS), включающий указанный ревербератор, и компьютерный программный носитель (например, диск), на котором хранится программный код, предназначенный для реализации любого из вариантов осуществления способа изобретения.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Фиг.1 - блок-схема системы традиционного декодера MPEG Surround.

Фиг.2 - блок-схема ревербератора (100) на основе задержки обратной связи (FDN) с несколькими входами и несколькими выходами, который может быть реализован в соответствии с одним из вариантов осуществления настоящего изобретения.

Фиг.3 - блок-схема системы ревербератора, которая включает ревербератор 100 по фиг.2, традиционный процессор 102 MPS, фильтр 99 преобразования из временной области в область QMF, предназначенный для преобразования многоканального входного сигнала в область QMF с целью обработки в ревербераторе 100 и процессоре 102, и фильтр 101 преобразования из области QMF во временную область, предназначенный для преобразования комбинированного выходного сигнала ревербератора 100 и процессора 102 во временную область.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Технологически осуществимы многие варианты осуществления настоящего изобретения. Из настоящего раскрытия средним специалистам в данной области станет понятно, как их реализовывать. Варианты осуществления системы изобретения, способа изобретения и носителя будут описаны с отсылкой к фиг.2 и 3.

В одном из классов вариантов осуществления изобретение представляет собой способ применения реверберации к М-канальному сведенному входящему звуковому сигналу, указывающему на Х отдельных звуковых каналов, где Х - число больше М, и система сконфигурирована для выполнения способа. В этих вариантах осуществления способ включает следующие этапы:

(a) в ответ на параметры пространственных меток, указывающие на (например, описывающие) пространственное изображение сведенного входного сигнала, генерирование Y дискретных сигналов реверберированного канала (например, в области квадратурного зеркального фильтра, или "QMF"), где каждый сигнал реверберированного канала в некоторый момент времени t представляет собой линейную комбинацию, по меньшей мере, подмножества значений X отдельных звуковых каналов в момент времени t; и

(b) отдельное применение реверберации к каждому из, по меньшей мере, двух сигналов реверберированного канала (например, в области QMF) путем создания обратной связи запаздывающей версии соответствующего сигнала реверберированного канала с каждым из сигналов реверберированного канала, и, таким образом, генерирование Y сигналов реверберированного канала. Предпочтительно, реверберация, применяемая к, по меньшей мере, одному из сигналов реверберированного канала, имеет импульсную характеристику реверберации, которая отличается от импульсной характеристики реверберации, применяемой к, по меньшей мере, еще одному сигналу реверберированного канала. В некоторых вариантах осуществления X=Y, но в других вариантах осуществления X не равен Y. В некоторых вариантах осуществления Y больше М, и входной сигнал на этапе (а) является подвергнутым повышающему микшированию в ответ на параметры пространственных меток с целью генерирования Y сигналов реверберированного канала. В других вариантах осуществления Y равен М или Y меньше M.

Фиг.2 представляет собой блок-схему ревербератора 100 на основе задержки обратной связи (FDN) с несколькими входами и несколькими выходами, а именно подсистемы применения реверберации, представляющей собой схему задержки обратной связи, которая включает Y ветвей, и каждая из ветвей сконфигурирована для отдельного применения реверберации к отличающемуся одному из сигналов реверберированного канала. Данный ревербератор может быть реализован описываемым ниже образом для выполнения указанного способа. Ревербератор 100 по фиг. 2 содержит:

матрицу 30 предварительного микширования (матрицу «В»), которая представляет собой матрицу 4×M, подключенную и сконфигурированную для приема и генерирования четырех дискретных сигналов U1, U2, U3, U4 реверберированного канала (соответствующих ветвям подачи 1', 2', 3', 4' соответственно) в ответ на М-канальный сведенный входной звуковой сигнал, включающий каналы IN1, IN2, ..., INM, которые указывают на пять (Х=5) отдельных звуковых каналов смешанного сигнала, подвергнутого повышающему микшированию. Каждый сигнал реверберированного канала в момент времени t представляет собой линейную комбинацию подмножества значений Х отдельных звуковых каналов смешанного сигнала, подвергнутого повышающему микшированию, в момент времени t. В случае, когда М меньше четырех, матрица В выполняет повышающее микширование входного сигнала для генерирования сигналов реверберированного канала. В типичном варианте осуществления М равно 2. Матрица 30 также подключена для приема параметров пространственных меток, которые указывают на (например, описывают) пространственное изображение сведенного М-канального входного сигнала и сконфигурированы для генерирования четырех (Y=4) дискретных сигналов каналов смешанного сигнала, подвергнутого повышающему микшированию, т.е. дискретных сигналов U1, U2, U3, U4 реверберированного канала, в ответ на параметры пространственных меток;

элементы 40, 41, 42, 43 суммирования, связанные с выходами матрицы 30, к которым направляются сигналы U1, U2, U3, U4 реверберированного канала. Элемент 40 сконфигурирован для суммирования выходного сигнала элемента усиления g1 (т.е. для применения обратной связи от выхода элемента g1 усиления) с сигналом U1 реверберированного канала. Элемент 41 сконфигурирован для суммирования выходного сигнала элемента g2 усиления с сигналом U2 реверберированного канала. Элемент 42 сконфигурирован для суммирования выходного сигнала элемента g3 усиления с сигналом U3 реверберированного канала. Элемент 43 сконфигурирован для суммирования выходного сигнала элемента g4 усиления с сигналом U4 реверберированного канала;

матрицу 32 (матрицу «А») рассеяния, которая подключена для приема выходных сигналов элементов 40, 41, 42, 43 суммирования. Матрица 32 предпочтительно является унитарной матрицей 4×4, сконфигурированной для направления отфильтрованной версии выходного сигнала каждого из элементов 40, 41, 42, 43 суммирования к соответствующей одной из линий задержки, где 0≤k-1≤3, и, предпочтительно, с целью обеспечения максимальной диффузности, является полностью заполненной матрицей. Линии z^-M1, z^-M2, z^-M3 и z^-M4 задержки на фиг.2 помечаются, соответственно, как линии 50, 51, 52, 53 задержки;

элементы усиления, gk, где 0≤k-1≤3, которые применяют коэффициент усиления к выходным сигналам линий задержки и, таким образом, обеспечивают коэффициенты демпфирования, предназначенные для управления временем затухания реверберации, применяемой к каждому каналу смешанного звукового сигнала, подвергнутого повышающему микшированию. Каждый элемент gk усиления, как правило, комбинируется с фильтром нижних частот. В некоторых вариантах осуществления элементы усиления применяют отличающиеся, заранее заданные коэффициенты усиления к различным полосам QMF. Сигналы R1, R2, R3, R4 реверберированного канала направляются, соответственно, к выходам элементов g1, g2, g3, g4 усиления; и

матрицу 34 (матрицу «С») постмикширования, которая представляет собой матрицу N×4, подключенную и сконфигурированную для понижающего микширования и/или повышающего микширования (и, необязательно, для выполнения других операций фильтрации) сигналов реверберированного канала R1, R2, R3, R4, направленных к выходам элементов gk усиления, в ответ на, по меньшей мере, подмножество (например, все или некоторые) параметров пространственных меток, направленных в матрицу 30, и, таким образом, для генерирования N-канального сведенного реверберированного выходного звукового сигнала в области QMF, который включает каналы S1, S2, ..., SN. В некоторых вариациях варианта осуществления по фиг.2, матрица 34 является постоянной матрицей, коэффициенты которой не изменяются во времени в ответ на любой из параметров пространственных меток.

В некоторых вариациях варианта осуществления изобретения по фиг.2 система согласно изобретению содержит Y реверберированных каналов (где Y меньше или больше четырех), матрица 30 предварительного микширования сконфигурирована для генерирования Y дискретных сигналов реверберированного канала в ответ на сведенный М-канальный входной сигнал и параметры пространственных меток, матрица 32 рассеяния замещается матрицей Y x Y, и система изобретения содержит Y линий задержки.

Например, в случае, когда Y=M=2, сведенный входной сигнал указывает на пять каналов смешанного звукового сигнала, подвергнутого повышающему микшированию (X=5): левый передний, правый передний, центральный, левый окружающий и правый окружающий каналы. Согласно настоящему изобретению, в ответ на параметры пространственных меток, указывающие на пространственное изображение сведенного входного сигнала, матрица предварительного микширования (вариация матрицы 30 по фиг.2) генерирует два дискретных сигнала реверберированного канала (например, в области квадратурного зеркального фильтра, или «QMF»): один ― для смешанного звукового сигнала передних каналов, второй ― для смешанного звукового сигнала окружающих каналов. Реверберация, имеющая кратковременную характеристику затухания, генерируется из (и применяется к) одного сигнала реверберированного канала, а реверберация, имеющая длительную характеристику затухания, генерируется из (и применяется к) второго сигнала реверберированного канала (например, для имитации помещения с акустикой типа LEDE).

Возвращаясь обратно к фиг.2, постпроцессор 36, необязательно, подключается к выходам матрицы 34 и действует, выполняя постобработку сведенного реверберированного выходного сигнала S1, S2, ..., SN матрицы 34, с целью генерирования N-канального выходного звукового сигнала, подвергнутого постобработке и содержащего каналы OUT1, ОUT2, ..., OUTN. Как правило, N=2, тогда система по фиг.2 выводит бинауральный сведенный реверберированный звуковой сигнал S1, S2 и/или бинауральный сведенный реверберированный выходной звуковой сигнал OUT, ОUT2, подвергнутый постобработке.

Например, выходной сигнал матрицы 34 в некоторых реализациях системы по фиг.2 является бинауральным виртуальным сигналом окружающего звука, который при воспроизведении наушниками воспринимается слушателем как звук, испускаемый из левого ("L"), центрального ("C") и правого ("R") передних источников (например, левой, центральной и правой физическими акустическими системами, расположенными перед слушателем) и из левого окружающего ("LS") и правого окружающего ("RS") тыловых источников (например, левой и правой физическими акустическими системами, расположенные позади слушателя).

В некоторых вариациях системы по фиг. 2 матрица 34 постмикширования пропускается, и ревербератор согласно изобретению выводит Y-канальный реверберированный звуковой сигнал (например, реверберированный звуковой сигнал, подвергнутый повышающему микшированию) в ответ на М-канальный сведенный входной звуковой сигнал. В других вариациях матрица 34 представляет собой единичную матрицу. В других вариантах система содержит Y каналов смешанного звукового сигнала, подвергнутого повышающему микшированию (где Y ― число больше четырех), а матрица 34 представляет собой матрицу N×Y (например, Y=7).

Несмотря на то что система по фиг.2 содержит четыре реверберированных канала и четыре линии задержки, вариации системы (и другие варианты осуществления ревербератора согласно изобретению) реализуют большее или меньшее четырех количество реверберированных каналов. Как правило, ревербератор согласно изобретению включает одну линию задержки на один канал реверберации.

В реализациях системы по фиг.2, где входной сигнал представляет собой М-канальный сведенный сигнал MPEG Surround ("MPS"), входной сигнал, направляемый к входам матрицы 30, содержит сигналы IN1(t,f), IN2(t,f), …, INM(t,f) в области QMF, и система по фиг.2 выполняет обработку (например, в матрице 30) и применение к ним реверберации в области QMF. В таких реализациях параметрами пространственных меток, направляемыми к матрице 30, как правило, являются параметры разности уровней каналов (CLD), и/или параметры коэффициента предсказания канала (CPC), и/или параметры межканальной когерентности (ICC), относящиеся к типу, составляющему часть традиционного битового потока MPS.

Для того чтобы доставить указанные входные сигналы в области QMF к матрице 30 в ответ на М-канальный сведенный сигнал MPS во временной области, способ изобретения может включать предварительный этап преобразования этого сигнала из временной области в область QMF для генерирования частотных составляющих QMF области и выполнять вышеописанные этапы (а) и (b) в области QMF на указанных частотных составляющих.

Например, поскольку входной сигнал системы по фиг.3 представляет собой сведенный звуковой сигнал MPS во временной области, включающий М каналов I1(t), I2(t), …, IM(t), система по фиг.3 включает фильтр 99, предназначенный для преобразования указанного сигнала во временной области в сигнал в области QMF. Точнее, система по фиг.3 содержит ревербератор 100 (соответствующий и, возможно, идентичный ревербератору 100 по фиг.2), традиционный процессор MPS 102, фильтр 99 преобразования из временной области в область QMF, подключенный и сконфигурированный для преобразования каждого из входных каналов I1(t), I2(t), …, IM(t) во временной области в область QMF (т.е. в последовательность частотных составляющих области QMF), предназначенных для обработки в ревербераторе 100 и традиционной обработки в процессоре 102. Система по фиг.3 также включает фильтр 101 преобразования из области QMF во временную область, подключенный и сконфигурированный для преобразования N-канального комбинированного выходного сигнала ревербератора 100 и процессора 102 во временную область.

Точнее, фильтр 99 преобразует сигналы I1(t), I2(t), …, IM(t) во временной области, соответственно, в сигналы IN1(t,f), IN2(t,f), ..., INM(t,f) в области QMF, которые направляются к ревербератору 100 и процессору 102. Каждый из N-каналов выходного сигнала процессора 102 комбинируется (в сумматоре) с соответствующим выходным сигналом реверберированного канала ревербератора 100 (одним из каналов S1, S2,..., SN, показанных на фиг.2, или одним из каналов OUT1, OUT2, ..., OUTN, показанных на фиг.2, если ревербератор 100 по фиг.3 также включает постпроцессор 36, показанный на фиг.2). Фильтр 101 по фиг.3 преобразует комбинированный (реверберированный) выходной сигнал ревербератора 100 и процессора 102 (N из последовательностей частотных составляющих S1'(t,f), S2'(t,f), ..., SN'(t,f)) в области QMF в сигналы S1'(t), S2'(t), ..., SN'(t) во временной области.

В типичных вариантах осуществления настоящего изобретения входной сведенный сигнал представляет собой двухканальный сведенный сигнал MPS, указывающий на пять отдельных звуковых каналов (левый передний, правый передний, центральный, левый окружающий, правый окружающий каналы), и реверберация, определяемая отличающимися импульсными характеристиками реверберации, применяется к каждому из этих пяти каналов, что в результате приводит к улучшенному качеству окружающего звука.

Если коэффициенты матрицы 30 предварительного микширования (Y×M матрицы В, которая в случае Y=4 и M=2 представляет собой матрицу 4×2) являются постоянными коэффициентами (неизменными во времени коэффициентами, которые определяются в ответ на параметры пространственных меток), и коэффициенты матрицы 34 постмикширования (N×Y матрицы C, которая в случае Y=4 и N=2 представляет собой матрицу 2×4) являются постоянными коэффициентами, система по фиг.2 не может генерировать и применять отдельную реверберацию с отдельными импульсными характеристиками для различных каналов в сведенном смешанном звуковом сигнале, определяемом М-канальным, сведенным, кодированным MPS входным сигналом ревербератора (например, в ответ на кодированный MPS, М-канальный, сведенный сигнал IN1(t,f), IN2(t,f),..., INM(t,f)) в области QMF. Рассмотрим пример, в котором M=2, Y=4 и N=2, и матрицы В и С по фиг.2 (также отмеченные на фиг.2 как матрицы 32 и 34) замещены, соответственно, постоянными матрицами 4×2 и 2×4 со следующими постоянными коэффициентами:

В данном примере коэффициенты постоянных матриц В и С могут не изменяться в зависимости от времени в ответ на параметры пространственных меток, указывающие на сведенный входной звуковой сигнал, и система по фиг.2, модифицированная таким образом, может функционировать в традиционном режиме реверберации «стерео - стерео». В этом традиционном режиме реверберации реверберация имеет одинаковые импульсные характеристики реверберации, применяемые к каждому отдельному каналу в сведенном смешанном звуковом сигнале (т.е. содержимое левого переднего канала в сведенном смешанном звуковом сигнале принимает реверберацию, которая имеет такую же импульсную характеристику, как и содержимое правого переднего канала в сведенном смешанном звуковом сигнале).

Однако, применяя процесс реверберации в области QMF в ответ на параметры разности уровней каналов (CLD), параметры коэффициента предсказания канала (CPC) и/или параметры межканальной когерентности (ICC), которые доступны как часть битового потока MPS (и/или в ответ на другие параметры пространственных меток) в соответствии с изобретением, система по фиг.2 может генерировать и применять к каждому реверберированному каналу, определяемому сведенным входным сигналом системы, реверберацию с отдельными характеристиками реверберации для каждого из реверберированных каналов. В типичном приложении, меньшая реверберация согласно изобретению применяется к центральному каналу (для более четкого воспроизведения речи/диалога), чем к, по меньшей мере, еще одному реверберированному каналу, так что импульсные характеристики реверберации, применяемой к каждому из указанных реверберированных каналов, отличаются. В данном приложении (и других приложениях) импульсные характеристики реверберации, применяемые к различным реверберированным каналам, не основываются на отличающихся трассировках каналов к матрице 30, но вместо этого имеют просто отличающиеся коэффициенты масштабирования, применяемые матрицей 30 предварительного микширования или матрицей 34 постмикширования (и/или, по меньшей мере, другим элементом системы) к различным реверберируемым каналам.

Например, в одной из реализаций системы по фиг.2, сконфигурированной для применения реверберации к стереофоническому, кодированному MPS, сведенному смешанному звуковому сигналу в области QMF из пяти каналов смешанного звукового сигнала, подвергнутого повышающему микшированию, матрица 30 представляет собой матрицу 4×2, содержащую переменные во времени коэффициенты, которые зависят от текущих значений коэффициентов w_ij, где i находится в интервале от 1 до 3, а j находится в интервале от 1 до 2.

В данной иллюстративной реализации M=2, X=5 и Y=4 входной сигнал представляет собой последовательность пар IN1(t,f)=L(t) и IN2(t,f)=R(t) значений в области QMF, указывающих на последовательность значений сигналов L_front, R_front, C, L_sur и R_sur пяти отдельных каналов. Каждый из сигналов пяти отдельных каналов представляет собой последовательность значений

где W ― матрица повышающего микширования MPEG Surround в форме:

В данном примере, коэффициенты w_ij будут обновляться в ответ на текущие значения традиционных CPC-параметров CPC_1 и CPC_2 и традиционного ICC-параметра ICC_TTT (параметра межканальной когерентности повышающего микшера «два в три», или «ТТТ», предполагаемого в ходе кодирования сведенного входного сигнала):

(Ур. 1а)

и

.

Кроме того, при использовании традиционных параметров CLD для левого переднего/окружающего каналов (CLD_{lf_ls}) и правого переднего/окружающего каналов (CLD_{rf_rs}) переменные во времени коэффициенты матрицы 30 будут зависеть также и от следующих четырех переменных во времени значений коэффициентов усиления, где CLD_{lf_ls} ― текущее значение левого переднего/окружающего параметра CLD, и CLD_{rf_rs} ― текущее значение правого переднего/окружающего параметра CLD:

Тогда переменные во времени коэффициенты матрицы 30:

Таким образом, в иллюстративной реализации выходными сигналами четырех реверберируемых каналов матрицы 30 являются U1=(g_lfw₁₁)L+(g_lfw₁₂)R, U2=(g_rfw₂₁)L+(g_rfw₂₂)R, U3=(g_lsw₁₁)L+(g_lsw₁₂)R, U4=(g_rsw₂₁+w₃₁)L+(g_rsw₂₂+w₃₂)R. Таким образом, перемножение матриц, выполняемое матрицей 30 (имеющей коэффициенты, приведенные в уравнении 3), может быть представлено следующим образом:

где

Это перемножение матриц эквивалентно повышающему микшированию к пяти сигналам отдельного канала (посредством матрицы повышающего микширования MPEG Surround W, определенной выше) с последующим понижающим микшированием этих пяти сигналов до четырех сигналов реверберированного канала посредством матрицы В₀.

В одной из вариаций реализации матрицы 30, имеющей коэффициенты, приведенные в уравнении 3, матрица 30 реализуется со следующими коэффициентами:

где K_LF, K_RF , K_C, K_LS, K_RS ― фиксированные значения коэффициентов усиления реверберации для различных каналов, а g_lf, g_rf , g_c, g_ls, g_rs и w₁₁―w₃₂, соответственно, аналогичны коэффициентам в уравнениях 2 и 1а. Как правило, четыре фиксированных значения коэффициентов усиления реверберации в значительной мере равны друг другу за исключением коэффициента K_c, который, как правило, имеет несколько меньшую величину, чем остальные коэффициенты (величину, на несколько децибел меньше величины других коэффициентов) для того, чтобы к центральному каналу применялась меньшая реверберация (например, для более сухого звучания речи/диалога).

Матрица 30, реализованная с коэффициентами из уравнения 4, эквивалентна произведению матрицы повышающего микширования MPEG Surround W, определенной выше, и следующей матрицы В₀:

где

В случае, когда матрица 30 реализуется с коэффициентами из уравнения 3 (или уравнения 4), матрица 34, как правило, может являться постоянной матрицей. В альтернативном варианте, матрица 34 может содержать переменные во времени коэффициенты, например, в одной из реализаций, коэффициенты будут равны С=B^T, где B^T ― транспонированная матрица 30. Матрица 30 с коэффициентами, сформулированными в уравнении 3, и матрица 34 (в случае, если указанная матрица реализуется как транспонированная матрица), могут иметь ту же общую форму, что и постоянные матрицы микширования В и С по уравнению 1, однако содержат переменные коэффициенты, определяемые переменными значениями коэффициентов усиления по уравнению 2 и вышеописанные переменные значения коэффициентов w_ij по уравнению 1а, замещенные на постоянные элементы. Реализация матрицы 30 с переменными коэффициентами по уравнению 3 может приводить к тому, что реверберируемые каналы U1, U2, U3 и U4, соответственно, будут являться левым передним каналом смешанного звукового сигнала, подвергнутого повышающему микшированию (ветвь подачи 1' системы по фиг.2), правым передним каналом смешанного звукового сигнала, подвергнутого повышающему микшированию (ветвь подачи 2' системы по фиг.2), левым окружающим каналом смешанного звукового сигнала, подвергнутого повышающему микшированию (ветвь подачи 3' системы по фиг.2) и комбинированным правым окружающим и центральным каналом смешанного звукового сигнала, подвергнутого повышающему микшированию (ветвь подачи 4' системы по фиг.2). Таким образом, реверберация, отдельно применяемая к четырем ветвям системы по фиг.2, должна обладать отдельно определяемыми импульсными характеристиками.

В альтернативном варианте коэффициенты матрицы 30 определяются иначе ― в ответ на доступные параметры пространственных меток. Например, в некоторых вариантах осуществления изобретения коэффициенты матрицы 30 определяются в ответ на доступные параметры пространственных меток MPS, приводя к реализации в матрице 30 повышающего микшера ТТТ, который функционирует в режиме, отличающемся от режима предсказания (например, в режиме энергии в присутствии или в отсутствие вычитания центра). Этот подход можно осуществить способом, который станет понятен средним специалистам в данной области, ознакомленным с настоящим описанием, при использовании хорошо известных формул повышающего микширования для соответствующих случаев, которые описаны в стандарте MPEG (ISO/IEC 23003-1:2007).

В одной из реализаций системы по фиг.2, сконфигурированной для применения реверберации к кодированному MPS, одноканальному (моноауральному), сведенному смешанному звуковому сигналу в области QMF из четырех каналов смешанного звукового сигнала, подвергнутого повышающему микшированию, матрица 30 представляет собой матрицу 4×1, содержащую переменные во времени коэффициенты:

где коэффициенты, являющиеся коэффициентами усиления, выводятся из CLD-параметров CLD_{lf_ls}, CLD_{rf_rs}, CLD_{c_lf}, CLD_{l_r}, которые доступны как часть традиционного битового потока MPS.

В вариациях системы по фиг.2 и других вариантах осуществления ревербератора согласно изобретению, дискретные реверберированные каналы (например, каналы смешанного звукового сигнала, подвергнутого повышающему микшированию) извлекаются из сведенного входного сигнала и трассируются к отдельным ветвям задержки реверберации любым из множества различных способов. В различных вариантах осуществления ревербератора согласно изобретению для повышающего микширования сведенного входного сигнала используются другие параметры пространственных меток (например, заключающиеся в управлении взвешиванием каналов). Например, в некоторых вариантах осуществления изобретения для определения коэффициентов матрицы предварительного микширования и, таким образом, управления уровнями реверберации используются параметры ICC (доступные как часть традиционного битового потока MPS), которые описывают диффузность передних и тыловых каналов.

Предпочтительно, способ изобретения также включает этап применения к сигналам реверберированных каналов соответствующих функций моделирования восприятия звука (HRTF) путем фильтрации сигналов реверберированных каналов в фильтре HRTF. Например, матрица 34 системы по фиг.2, предпочтительно, реализуется как фильтр HRTF, который применяет указанные функции HRTF к реверберированным каналам R1, R2, R3 и R4, а также выполняет вышеописанную операцию понижающего микширования на реверберированных каналах R1, R2, R3, R4. Такая реализация матрицы 34 может, как правило, выполнять такую же фильтрацию, как и матрица 5×4 и последующая матрица 2×5, где матрица 5×4 генерирует пять виртуальных сигналов реверберированного канала (левого переднего, правого переднего, центрального, левого окружающего и правого окружающего каналов) в ответ на четыре выходных сигнала реверберированных каналов R1―R4 элементов усиления g1, g2, g3 и g4, а матрица 2×5 применяет соответствующую функцию HRTF к каждому указанному сигналу виртуального реверберированного канала и выполняет понижающее микширование полученных в результате пяти сигналов каналов, генерируя двухканальный сведенный реверберированный выходной сигнал. Однако, как правило, матрица 34 может реализовываться как единичная матрица 2×4, которая выполняет описанные функции отдельных матриц 5×4 и 2×5. Функции HRTF применяются для того, чтобы создать условия для восприятия слушателем реверберации, применяемой в соответствии с изобретением, как звучащей более натурально. Фильтр HRTF может, как правило, выполнять перемножение матриц для каждой отдельной полосы QMF посредством матрицы с комплекснозначными элементами.

В некоторых вариантах осуществления изобретения, сигналы реверберированного канала, генерируемые из кодированного MPS сведенного входного сигнала в области QMF, фильтруются соответствующими функциями HRTF так, как описано ниже. В этих вариантах осуществления HRTF в области параметрического QMF, главным образом, состоят из значений левого и правого параметров усиления и значений параметра разности фаз между каналами (IPD), которые характеризуют сведенный входной сигнал. Параметры IPD, необязательно, игнорируются с целью уменьшения сложности. Предполагая, что параметры IPD игнорируются, функции HRTF представляют собой значения постоянных коэффициентов усиления (по четыре значения коэффициента усиления для каждого из левых и правых каналов соответственно): g_{HRTF_lf_L}, g_{HRTF_rf_L}, g_{HRTF_ls_L}, g_{HRTF_rs_L}, g_{HRTF_lf_R}, g_{HRTF_rf_R}, g_{HRTF_ls_R}, g_{HRTF_rs_R}. Таким образом, функции HRTF могут применяться к сигналам R1, R2, R3, R4 реверберированного канала по фиг.2 путем реализации матрицы 34 постмикширования, содержащей следующие коэффициенты:

В предпочтительных реализациях ревербератора согласно изобретению (который может реализовываться, например, как вариации системы по фиг.2) к, по меньшей мере, одному из реверберированных каналов применяется фракционная задержка, и/или реверберация генерируется и применяется по-разному к различным полосам частотных составляющих звуковых данных в, по меньшей мере, одном реверберированном канале.

Некоторые указанные предпочтительные реализации ревербератора согласно изобретению являются вариациями системы по фиг.2, которые конфигурируются для применения фракционной задержки (в, по меньшей мере, одном реверберированном канале), а также целочисленной задержки дискретизации. Например, в одной из таких реализаций элемент фракционной задержки соединяется с каждым из реверберированных каналов последовательно с линией задержки, которая применяет целочисленную задержку, равную целочисленному количеству периодов дискретизации (например, каждый элемент фракционной задержки последовательно располагается после или перед одной из линий 50, 51, 52, 53 задержки по фиг.2). Дробная задержка может быть аппроксимирована фазовым сдвигом (умножением на комплексное число с модулем единица) в каждой полосе QMF, которая соответствует доле периода дискретизации: f=τ/T, где f ― фракция задержки, τ ― требуемая задержка для полосы QMF, Т ― период дискретизации для данной полосы QMF. Хорошо известно, как применять фракционную задержку в контексте применения реверберации в области QMF (см., например, доклад J. Engdegard и др., "Synthetic Ambience in Parametric Stereo Coding," представленный на 116-й Конвенции Общества инженеров-акустиков, Берлин, Германия, 8―11 мая 2004 г., 12 с., а также патент США №7487097, выданный J. Engdegard и др. 3 февраля 2009 г.).

Некоторые из отмеченных выше предпочтительных реализаций ревербератора согласно изобретению представляют собой вариации системы по фиг.2, которые сконфигурированы для применения реверберации по-разному к различным полосам частот звуковых данных в, по меньшей мере, одном реверберируемом канале для снижения сложности реализации ревербератора. Например, в некоторых реализациях, где входные звуковые данные IN1―INM представляют собой данные MPS в области QMF, и применение реверберации выполняется в области QMF, реверберация применяется различным образом к следующим четырем полосам частот звуковых данных в каждом реверберированном канале:

0―3 кГц (или 0 ―2,4 кГц): в данной полосе реверберация применяется согласно вышеописанному варианту осуществления по фиг.2 с матрицей 30, которая реализуется с коэффициентами по уравнению 4;

3―8 кГц (или 2,4―8 кГц): в данной полосе реверберация применяется только с арифметикой, не содержащей комплексных величин. Например, это может осуществляться с использованием способов арифметики, не содержащей комплексных величин, описанных в опубликованной международной заявке № WO 2007/031171 A1, опубликованной 22 марта 2007 г. Данная заявка описывает 64-полосный блок фильтров QMF, в котором комплексные величины восьми самых низкочастотных полос представляют собой обрабатываемые звуковые данные, и обрабатываются только значения, не содержащие комплексных величин, верхних 56 полос частот звуковых данных. Одна из указанных восьми самых низких частот может использоваться как буферная полоса комплексного QMF, и, таким образом, арифметические вычисления для комплексных величин выполняются только для семи из восьми самых низкочастотных полос QMF (таким образом, реверберация применяется в этом относительно низкочастотном диапазоне так, как в вышеописанном варианте осуществления изобретения по фиг.2 с матрицей 30, реализованной с коэффициентами по уравнению 4), а для остальных 56 полос частот QMF выполняются вычисления для значений, не содержащих комплексных величин, где область перехода между вычислениями комплексных величин и значений, не содержащих комплексных величин находится на частоте (7×44.1 кГц)/(64×2), что приблизительно равно 2,4 кГц. В данном примерном варианте осуществления изобретения реверберация применяется в относительно высокочастотном диапазоне так, как в вышеописанном варианте осуществления изобретения по фиг.2, но с использованием упрощенной реализации матрицы предварительного 30 микширования, предназначенной только для вычислений значений, не содержащих комплексных величин. Реверберация применяется в относительно низкочастотном диапазоне (ниже 2,4 кГц) так же, как в варианте осуществления по фиг.2, например, с матрицей 30, реализованной с коэффициентами по уравнению 4;

8―15 кГц: в данной полосе реверберация применяется посредством способа простой задержки. Например, реверберация применяется способом, который сходен со способом, применяемым в варианте осуществления по фиг.2, но с использованием двух реверберированных каналов с линией задержки и фильтром низких частот в каждом канале реверберации, с пропуском элементов матриц 32 и 34, с простой реализацией матрицы 30 предварительного микширования в форме матрицы 2×2 (например, для применения меньшей реверберации к центральному каналу, чем к остальным каналам) и в отсутствие обратной связи от узлов вдоль каналов реверберации к выходам матрицы предварительного микширования. Две ветви задержки могут просто вести, соответственно, к левому и правому выходам или могут переключаться так, чтобы эхо-сигналы из левого переднего (Lf) и левого окружающего (Ls) каналов доходили до правого выходного канала, а эхосигналы из правого переднего (Rf) и правого окружающего (Rs) каналов доходили до левого выходного канала. Матрица предварительного микширования 2×2 может содержать следующие коэффициенты:

где символы определяются аналогично символам по уравнению 4 выше; и 15―22,05 кГц: к данной полосе реверберация не применяется.

В некоторых вариациях раскрытых в данном описании вариантов осуществления (например, варианта осуществления по фиг.2), система согласно изобретению применяет реверберацию к М-канальному сведенному входному звуковому сигналу, указывающему на Х отдельных звуковых каналов, где Х ― число больше М, которая заключается в генерировании Y дискретных сигналов реверберированного канала в ответ на сведенный сигнал, но не в ответ на параметры пространственных меток. В этих вариациях система отдельно применяет реверберацию к каждому из, по меньшей мере, двух сигналов реверберируемых каналов в ответ на параметры пространственных меток, указывающие на пространственное изображение сведенного входного сигнала и, таким образом, генерирует Y сигналов реверберированных каналов. Например, в некоторых указанных вариациях коэффициенты матрицы предварительного микширования (например, вариации матрицы 30 по фиг.2) в ответ на параметры пространственных меток не определяются, но, по меньшей мере, одна из матриц рассеяния (например, вариация матрицы 32 по фиг.2), этап усиления (например, вариация этапа усиления, включающего элементы g1―gk по фиг.2) и матрица постмикширования (например, вариация матрицы 34 по фиг.2) действуют на сигналы реверберированного канала способом, который определяется параметрами пространственных меток, указывающими на пространственное изображение сведенного входного сигнала, с целью применения реверберации к, по меньшей мере, одному из двух сигналов реверберируемых каналов.

В некоторых вариантах осуществления, ревербератор согласно изобретению представляет собой или включает в себя универсальный процессор, подключенный для приема или генерирования входных данных, указывающих на М-канальный сведенный входной звуковой сигнал, и запрограммированный посредством программного обеспечения (или встроенного программного обеспечения) и/или иначе сконфигурированный (например, в ответ на управляющие данные) для выполнения любой из множества различных операций на входных данных, включая вариант осуществления способа изобретения.

Указанный универсальный процессор, как правило, может подключаться к устройству ввода (например, к мыши и/или клавиатуре), памяти и устройству отображения. Например, система по фиг.3 может быть реализована в универсальном процессоре, где входные сигналы I1(t), I2(t), ..., IM(t) являются входными данными, указывающими на М каналов сведенных звуковых данных, а выходные сигналы S1(t), S2(t), …, SN(t), являющиеся выходными данными, указывают на N каналов сведенного реверберированного звукового сигнала. Традиционный цифроаналоговый преобразователь (ЦАП) может действовать на эти выходные данные, генерируя аналоговые версии выходных звуковых сигналов для их воспроизведения акустическими системами (например, парой наушников).

Несмотря на то что в данном раскрытии описаны конкретные варианты осуществления настоящего изобретения и применения изобретения, средние специалисты в данной области должны понимать, что возможно множество вариаций описанных здесь вариантов осуществления и применений изобретения без отступления от объема изобретения, описанного и заявленного в данном раскрытии. Следует понимать, что, несмотря на то, что были показаны и описаны некоторые формы изобретения, изобретение не ограничивается описанными конкретными вариантами осуществления изобретения или описанными конкретными способами.

1. Способ применения реверберации к М-канальному сведенному входному звуковому сигналу, указывающему на Х отдельных звуковых каналов, где Х ― число больше М, при этом указанный способ включает следующие этапы:
(a) в ответ на параметры пространственных меток, указывающие на пространственное изображение сведенного входного сигнала, генерируют Y дискретных сигналов реверберированного канала из М-канального сведенного входного звукового сигнала. где каждый из сигналов реверберированного канала в момент времени t представляет собой линейную комбинацию, по меньшей мере, подмножества значений Х отдельных звуковых каналов в момент времени t; где Y дискретных сигналов реверберированного канала сгенерированы при помощи матрицы (30) предварительного микширования, содержащей коэффициенты, изменяющиеся во времени, определяемые в ответ на параметры пространственных меток;
(b) отдельно применяют реверберацию к каждому из сигналов реверберированного канала и, таким образом, генерируют Y сигналы реверберированного канала, где реверберацию применяют отдельно к каждому из сигналов реверберированного канала путём создания обратной связи запаздывающей версии соответствующего сигнала реверберированного канала с каждым из сигналов реверберированного канала; и
с) генерируют N-канальный реверберированный звуковой сигнал из Y сигнала реверберированного канала, используя матрицу (34) постмикширования.

2. Способ по п.1, отличающийся тем, что реверберация, применяемая к, по меньшей мере, одному из сигналов реверберированного канала, имеет импульсную характеристику реверберации, отличающуюся от реверберации, применяемой к, по меньшей мере, ещё одному из сигналов реверберированного канала.

3. Способ по п.1, отличающийся тем, что входной сигнал представляет собой М-канальный сведенный сигнал MPEG Surround, и параметры пространственных меток включают, по меньшей мере, один из параметров разности уровней каналов, параметров коэффициента предсказания канала и параметров межканальной когерентности.

4. Способ по п.3, отличающийся тем, что параметры пространственных меток включают параметры разности уровней каналов, параметры коэффициента предсказания канала и параметры межканальной когерентности.

5. Способ по п.1, отличающийся тем, что входной сигнал представляет собой сведенный сигнал MPEG Surround в области QMF, который включает М последовательностей частотных составляющих области QMF, и где каждый из этапов (а) и (b) выполняется в области QMF.

6. Способ по п.5, отличающийся тем, что параметры пространственных меток включают, по меньшей мере, некоторые из параметров разности уровней каналов, параметров коэффициента предсказания канала и параметров межканальной когерентности.

7. Способ по п.5, отличающийся тем, что параметры пространственных меток включают параметры разности уровней каналов, параметры коэффициента предсказания канала и параметры межканальной когерентности.

8. Способ по п.1, отличающийся тем, что входной сигнал представляет собой сведенный сигнал MPEG Surround во временной области, и способ также включает следующий этап:
перед этапом (а) ― преобразуют сведенный сигнал MPEG Surround во временной области в область QMF и, таким образом, генерируют М последовательностей частотных составляющих области QMF; и где каждый из этапов (a) и (b) выполняют в области QMF.

9. Способ по п.8, отличающийся тем, что матрица (34) постмикширования выполняет понижающее микширование Y сигналов реверберированного канала.

10. Способ по п.1, который также включает этап применения к сигналам реверберированного канала соответствующих функций моделирования восприятия звука путём фильтрации сигналов реверберированных каналов в фильтре функций моделирования восприятия звука.

11. Способ по п.1, отличающийся тем, что Y больше M.

12. Ревербератор, сконфигурированный для применения реверберации к М-канальному сведенному входному звуковому сигналу, указывающему на Х отдельных звуковых каналов, где Х ― число больше М, где указанный ревербератор содержит:
первую подсистему, подключенную для приёма входного сигнала и параметров пространственных меток, которые указывают на пространственное изображение указанного входного сигнала, и сконфигурированную для генерирования Y дискретных сигналов реверберированного канала в ответ на входной сигнал, что заключается в применении матрицы (30) предварительного микширования, содержащей коэффициенты, изменяющиеся во времени, определяемые в ответ на параметры пространственных меток так, чтобы каждый из сигналов реверберированного канала в момент времени t представлял собой линейную комбинацию, по меньшей мере, подмножества значений Х отдельных звуковых каналов в момент времени t;
подсистему (40, 41, 42, 43, 32, 50, 51, 52, 53, 54) применения реверберации, подключенную к первой подсистеме и сконфигурированную для применения реверберации отдельно к каждому из сигналов реверберированного канала и, таким образом, для генерирования множества из Y сигналов реверберированного канала, где подсистема применения реверберации представляет собой схему задержки обратной связи, которая включает Y ветвей, и каждая из ветвей сконфигурирована для отдельного применения реверберации к отличающемуся одному из сигналов реверберированного канала; и
подсистему постмикширования, подключенную и сконфигурированную для генерирования N-канального сведенного реверберированного звукового сигнала из Y сигналов реверберированного канала посредством матрицы (34) постмикширования.

13. Ревербератор по п.12, отличающийся тем, что подсистема (40, 41, 42, 43, 32, 50, 51, 52, 53, 54) применения реверберации сконфигурирована для применения реверберации таким образом, чтобы реверберация, которая применяется к, по меньшей мере, одному из сигналов реверберированного канала, имела импульсную характеристику реверберации, отличающуюся от импульсной характеристики реверберации, которая применяется к, по меньшей мере, ещё одному из сигналов реверберированного канала.

14. Ревербератор по п.12, отличающийся тем, что сведенный входной звуковой сигнал представляет собой множество М последовательностей частотных составляющих области QMF, при этом указанный ревербератор также включает:
фильтр (99) преобразования из временной области в область QMF, подключенный для приёма сведенного сигнала MPEG Surround во временной области и сконфигурированный для генерирования в ответ на него М последовательностей частотных составляющих области QMF, и где подсистема повышающего микширования подключена и сконфигурирована для повышающего микширования указанных М последовательностей частотных составляющих области QMF в области QMF.

15. Ревербератор по п.12, который также включает фильтр функций моделирования восприятия звука, подключенный и сконфигурированный для применения, по меньшей мере, одной функции моделирования восприятия звука к каждому из сигналов реверберированного канала.