Многоканальный синтезатор и способ для формирования многоканального выходного сигнала

Изобретение относится к обработке многоканального аудиосигнала, в частности к восстановлению многоканального аудиосигнала с использованием основного канала и параметрической дополнительной информации. Многоканальный синтезатор включает в себя постпроцессор для определения заключительно обработанных параметров восстановления или величин, выведенных из параметра восстановления для текущего временного отрезка входного сигнала, так что заключительно обработанный параметр восстановления или заключительно обработанная величина отличается от соответствующего квантованного и обратно квантованного параметра восстановления в том, что значение заключительно обработанного параметра восстановления или выведенной величины не ограничены длиной шага квантования. Блок (12) многоканального восстановления использует заключительно обработанный параметр восстановления для восстановления многоканального выходного сигнала. Технический результат состоит в том, что путем постобработки параметров восстановления применительно к многоканальному кодированию/декодированию обеспечивается низкая скорость передачи данных, с одной стороны, и высокое качество, с другой стороны, поскольку уменьшаются сильные изменения в восстановленном многоканальном выходном сигнале вследствие большой длины шага квантования для параметра восстановления, которая предпочтительна из-за требований низкой скорости передачи данных. 3 н. и 22 з.п ф-лы, 13 ил.

 

Область техники

Настоящее изобретение относится к обработке многоканального аудиосигнала, в частности к восстановлению многоканального аудиосигнала с использованием основного канала и параметрической дополнительной информации для восстановления выходного сигнала, имеющего множество каналов.

Уровень техники изобретения и предшествующий уровень техники

В последнее время метод многоканального аудиовоспроизведения становится более и более важным. Это может быть обусловлено фактом, что методы аудиосжатия/кодирования, например хорошо известный метод mp3, позволили распространять аудиозаписи через Интернет или другие каналы передачи, имеющие ограниченную ширину полосы. Метод кодирования mp3 стал таким известным из-за того факта, что он обеспечивает возможность распространения всех записей в стереофоническом формате, т.е. цифровом представлении аудиозаписи, включающем в себя первый, или левый, стереофонический канал и второй, или правый, стереофонический канал.

Тем не менее, существуют основные недостатки традиционных двухканальных аудиосистем. Поэтому разработан метод объемного звучания. Рекомендуемое многоканально-объемное представление включает в себя, в дополнение к двум стереофоническим каналам L и R, дополнительный центральный канал С и два канала Ls, Rs объемного звучания. Этот эталонный аудиоформат также называется стереофонией три/два, которая означает три передних канала и два канала объемного звучания. Обычно требуются пять каналов передачи. В среде аудиовоспроизведения необходимо, по меньшей мере, пять динамиков на соответствующих пяти различных местах, чтобы добиться оптимальной зоны наилучшего восприятия на определенном расстоянии от пяти правильно размещенных громкоговорителей.

В данной области техники известны различные методы для уменьшения количества данных, необходимых для передачи многоканального аудиосигнала. Такие методы называются методами квазистереофонии. С этой целью делается ссылка на фиг.10, которая показывает устройство 60 квазистереофонии. Это устройство может являться устройством, реализующим, например, мощную стереофонию (IS) или бинауральное кодирование сигнала (BCC). Такое устройство обычно принимает - в качестве входных данных - по меньшей мере, два канала (CH1, CH2, ... CHn) и выводит один канал несущей и параметрические данные. Параметрические данные определяются из условия, чтобы в декодере могло быть вычислено приближенное значение исходного канала (CH1, CH2, ... CHn).

Обычно канал несущей будет включать в себя выборки поддиапазона, спектральные коэффициенты, выборки временной области и т.д., которые обеспечивают относительно точное представление основного сигнала, в то время как параметрические данные не включают в себя такие выборки спектральных коэффициентов, но включают в себя параметры управления для управления определенным алгоритмом восстановления, например взвешиванием путем умножения, временной манипуляцией, смещением частоты, фазовым сдвигом, ... Параметрические данные, следовательно, включают в себя только относительно грубое представление сигнала или ассоциированного канала. Выраженный в цифрах объем данных, требуемый высокочастотным каналом, будет находиться в диапазоне 60-70 кбит/с, тогда как объем данных, требуемый параметрической дополнительной информацией для одного канала, будет находиться в диапазоне 1,5-2,5 кбит/с. Примером для параметрических данных являются хорошо известные масштабные коэффициенты, информация о мощной стереомощности или параметры бинауральной метки, как описано ниже.

Кодирование стереомощности описано в препринте 3799 AES «Intensity Stereo Coding» J. Herre, K. H. Brandenburg, D. Lederer, февраль 1994 г., Амстердам. В целом концепция стереомощности основывается на преобразовании основной оси, которое должно применяться к данным обоих стереофонических аудиоканалов. Если большинство точек данных концентрируется вокруг первой основной оси, то выигрыш от кодирования может быть достигнут путем поворота обоих сигналов на определенный угол перед кодированием. Это, однако, не всегда верно для методов создания реальных стереофонических сигналов. Поэтому этот метод модифицируется посредством исключения второй ортогональной компоненты из передачи в битовом потоке. Таким образом, восстановленные сигналы для левых и правых каналов состоят из вариантов того же переданного сигнала, по-разному взвешенных или масштабированных. Тем не менее, восстановленные сигналы отличаются по амплитуде, но идентичны относительно своей фазовой информации. Огибающие энергии в зависимости от времени обоих исходных аудиоканалов, однако, сохраняются посредством операции выборочного масштабирования, которая обычно действует частотно-селективным способом. Это соответствует человеческому восприятию звука на высоких частотах, где преобладающие пространственные сигналы определяются огибающими энергии.

Кроме того, в практических реализациях переданный сигнал, т.е. канал несущей, формируется из суммарного сигнала левого канала и правого канала вместо поворота обоих компонентов. Более того, эта обработка, т.е. формирование параметров стереомощности для выполнения операции масштабирования, выполняется частотно-селективным способом, т.е. независимо для каждого диапазона масштабного коэффициента, т.е. распределения частоты кодера. Предпочтительным образом оба канала объединяются для образования комбинированного канала или канала несущей, и в дополнение к комбинированному каналу определяется информация стереомощности, которая зависит от энергии первого канала, энергии второго канала или энергии комбинированного канала.

Метод BCC описан в конвенционном документе 5574 AES «Binaural cue coding applied to stereo and multichannel audio compression», C. Faller, F. Baumgarte, май 2002 г., Мюнхен. При кодировании BCC некоторое количество входных аудиоканалов преобразуются в спектральное представление с использованием преобразования на основе DFT (дискретное преобразование Фурье) с перекрывающимися окнами. Результирующий однородный спектр разделяется на неперекрывающиеся части, каждая из которых имеет индекс. Каждая часть имеет ширину полосы, пропорциональную эквивалентной прямоугольной ширине полосы (ERB). Межканальная разность уровней (ICLD) и межканальная разность времени (ICTD) оцениваются для каждой части для каждого кадра k. ICLD и ICTD квантуются и кодируются, что приводит к потоку двоичных сигналов BCC. Межканальные разности уровней и межканальные разности времени задаются для каждого канала относительно опорного канала. Затем рассчитываются параметры в соответствии с принятой формулой, которая зависит от определенных разделений обрабатываемого сигнала.

На стороне декодера декодер принимает монофонический сигнал и поток двоичных сигналов ВСС. Монофонический сигнал преобразуется в частотную область и вводится в блок пространственного синтеза, который также принимает декодированные значения ICLD и ICTD. В блоке пространственного синтеза значения параметров BCC (ICLD и ICTD) используются для выполнения операции взвешивания монофонического сигнала, для того, чтобы синтезировать многоканальные сигналы, которые после частотного/временного преобразования представляют восстановление исходного многоканального аудиосигнала.

В случае BCC, объединений стереомодуль 60 предназначен для вывода дополнительной информации канала так, что параметрические данные канала являются квантованными и кодированными параметрами ICLD или ICTD, где один из исходных каналов используется как опорный канал для кодирования дополнительной информации канала.

Обычно канал несущей формируется из суммы составляющих исходных каналов.

Естественно, вышеизложенные методы только обеспечивают монофоническое представление для декодера, который может лишь обрабатывать канал несущей, но не способен обрабатывать параметрические данные для формирования одного или более приближенных значений более чем одного входного канала.

Метод аудиокодирования, известный как бинауральное кодирование сигнала (BCC), также описан в публикациях патентных заявок США US 2003 0219130 A1, 2003/0026441 A1 и 2003/0035553 A1. Дополнительно можно также сослаться на публикацию «Binaural Cue Coding. Part II: Schemes and Applications», C. Faller и F. Baumgarte, IEEE Trans. On Audio and Speech Proc., Vol. 11, No. 6, ноябрь 1993. Приведенные публикации патентных заявок США и две приведенные выше технические публикации по методу BCC включены в данный документ полностью посредством ссылки.

Далее детально рассмотрена типовая общая схема ВСС для многоканального аудиокодирования со ссылкой на фиг.11-13. Фиг.11 показывает такую общую схему бинаурального кодирования сигнала для кодирования/передачи многоканальных аудиосигналов. Многоканальный входной аудиосигнал на входе 110 кодера 112 BCC микшируется в блоке 114 микширования с понижением. В настоящем примере исходный многоканальный сигнал на входе 110 является 5-канальным сигналом объемного звучания, имеющим передний левый канал, передний правый канал, левый канал объемного звучания, правый канал объемного звучания и центральный канал. В предпочтительном варианте осуществления настоящего изобретения блок 114 микширования с понижением создает суммарный сигнал с помощью простого суммирования этих пяти каналов в монофонический сигнал. В данной области техники известны другие схемы микширования с понижением, так что, используя многоканальный входной сигнал, можно получить микшированный сигнал единственного канала. Этот единственный канал выводится на линии 115 суммарного сигнала. Дополнительная информация, полученная с помощью блока 116 анализа ВСС, выводится в линии 117 дополнительной информации. В блоке анализа ВСС межканальные разности уровней (ICLD) и межканальные разности времени (ICTD) рассчитываются, как описано выше. В последнее время блок 116 анализа ВСС усовершенствован для вычисления также межканальных корреляционных значений (значений ICC). Суммарный сигнал и дополнительная информация передается, предпочтительно, в квантованной и кодированной форме на декодер 120 ВСС. Декодер ВСС разлагает переданный суммарный сигнал на ряд поддиапазонов и применяет масштабирование, задержки и другую обработку для формирования поддиапазонов выходных многоканальных аудиосигналов. Эта обработка выполняется так, чтобы параметры (контрольные метки) ICLD, ICTD и ICC восстановленного многоканального сигнала на выходе 121 были подобны соответствующим контрольным меткам для исходного многоканального сигнала на входе 110 кодера 112 ВСС. С этой целью декодер 120 ВСС включает в себя блок 122 синтеза ВСС и блок 123 обработки дополнительной информации.

Далее внутреннее устройство блока 122 синтеза ВСС объясняется со ссылкой на фиг.12. Суммарный сигнал на линии 115 вводится в блок частотного/временного преобразования или гребенку 125 фильтров FB. На выходе блока 125 существует N сигналов поддиапазонов или, в крайнем случае, набор спектральных коэффициентов, когда гребенка 125 фильтров аудиосигналов выполняет преобразование 1:1, т.е. преобразование, которое создает N спектральных коэффициентов из N выборок временной области.

Блок 122 синтеза ВСС дополнительно содержит каскад 126 задержки, каскад 127 изменения уровня, каскад 128 коррелированной обработки и каскад 129 обратной гребенки фильтров IFB. На выходе каскада 129 восстановленный многоканальный аудиосигнал, имеющий, например, пять каналов в случае 5-канальной системы объемного звучания, может быть выведен на комплект громкоговорителей 124, как проиллюстрировано на фиг.11.

Как показано на фиг.12, входной сигнал s(n) преобразуется в частотную область или область гребенки фильтров посредством элемента 125. Сигнал, выведенный с помощью элемента 125, умножается, так что получаются несколько версий одного и того же сигнала, как проиллюстрировано с помощью узла 130 умножения. Количество версий исходного сигнала равно количеству выходных каналов в выходном сигнале, который необходимо восстановить. Затем, в общем, каждая версия выходного сигнала в узле 130 подвергается определенной задержке d₁, d₂, ..., d_i, ..., d_N. Параметры задержки вычисляются блоком 123 обработки дополнительной информации на фиг.11 и выводятся из межканальных разностей времени, как определено блоком 116 анализа ВСС.

То же самое является верным для коэффициентов умножения a₁, a₂, ..., a_i, ..., a_N, которые также рассчитываются блоком 123 обработки дополнительной информации на основе межканальных разностей уровней, которые рассчитываются блоком 116 анализа ВСС.

Параметры ICC, рассчитанные блоком 116 анализа BCC, используются для управления функциональными средствами блока 128, так что на выходах блока 128 формируются определенные значения корреляции между задержанными и регулируемыми по уровню сигналами. Следует заметить, что порядок этапов 126, 127, 128 может отличаться от случая, показанного на фиг.12.

Следует заметить, что в покадровой обработке аудиосигнала анализ ВСС выполняется на покадровой основе, т.е. в зависимости от времени, а также на частотной основе. Это означает, что для каждой спектральной полосы получаются параметры ВСС. Это означает, что если гребенка 125 фильтров аудиосигнала разлагает на составные части входной сигнал, например, на 32 сигнала полос пропускания, блок анализа ВСС получает совокупность параметров ВСС для каждой из 32 полос. Естественно, блок 122 синтеза ВСС из фиг.11, который показан подробно на фиг.12, выполняет восстановление, которое также основано на 32 полосах в примере.

Ниже ссылка дана на фиг.13, показывающую установку для определения некоторых параметров ВСС. Обычно параметры ICLD, ICTD и ICC могут быть определены между парами каналов. Однако предпочтительно определять параметры ICLD и ICTD между опорным каналом и каждым другим каналом. Это проиллюстрировано на фиг.13A.

Параметры ICC могут быть определены различными способами. В более общем смысле можно оценить параметры ICC в кодере между всеми возможными парами каналов, как показано на фиг.13В. В этом случае декодер синтезировал бы ICC так, что он был бы приблизительно тот же, что и исходный многоканальный сигнал между всеми возможными парами каналов. Однако было предложено оценивать только параметры ICC между наиболее мощными двумя каналами в каждый момент времени. Эта схема проиллюстрирована на фиг.13С, где показан пример, в котором в один момент времени параметр ICC оценивается между каналами 1 и 2, а в другой момент времени параметр ICC рассчитывается между каналами 1 и 5. Затем декодер синтезирует межканальную корреляцию между наиболее мощными каналами в декодере и применяет некоторое эвристическое правило для вычисления и синтезирования межканальной когерентности для оставшихся пар каналов.

Относительно расчета, например, коэффициентов умножения a₁, a_N, основанных на переданных параметрах ICLD, ссылка дается на конвенционный документ AES 5574, упомянутый выше. Параметры ICLD представляют собой распределение энергии в исходном многоканальном сигнале. Без потери общности, на фиг.13А показано, что существуют четыре параметра ICLD, показывающих разность энергии между всеми другими каналами и передним левым каналом. В блоке 123 обработки дополнительной информации коэффициенты умножения a₁, ..., a_N выводятся из параметров ICLD из условия, чтобы общая энергия всех восстановленных выходных каналов была равна (или пропорциональна) энергии переданного суммарного сигнала. Простым способом для определения этих параметров является 2-этапный процесс, в котором на первом этапе коэффициент умножения для левого переднего канала устанавливается на единицу, тогда как коэффициенты умножения для других каналов на фиг.13А устанавливаются на переданные значения ICLD. Затем на втором этапе энергия всех пяти каналов рассчитывается и сравнивается с энергией переданного суммарного сигнала. Затем все каналы масштабируется с понижением с использованием коэффициента понижения, который является одинаковым для всех каналов, причем коэффициент понижения выбирается из условия, чтобы общая энергия всех восстановленных выходных каналов после масштабирования с понижением была равна общей энергии переданного суммарного сигнала.

Естественно, существуют другие способы для расчета коэффициентов умножения, не использующие 2-этапный процесс, а требующие лишь 1-этапного процесса.

Относительно параметров задержки следует отметить, что параметры задержки ICTD, которые передаются из кодера ВСС, могут использоваться непосредственно, когда параметр задержки d₁ для левого переднего канала установлен в ноль. Здесь не нужно изменять масштаб, поскольку задержка не изменяет энергию сигнала.

Относительно меры межканальной когерентности (ICC), переданной от кодера ВСС к декодеру ВСС, здесь следует отметить, что управление когерентностью может выполняться посредством изменения коэффициентов умножения a₁, ..., a_n, например, посредством перемножения весовых коэффициентов всех поддиапазонов со случайными числами со значениями между 20log10(-6) и 20log10(6). Псевдослучайная последовательность предпочтительно выбирается так, что дисперсия является приблизительно постоянной для всех критических полос, а среднее является нулем внутри каждой критической полосы. Та же последовательность применяется к спектральным коэффициентам для каждого другого кадра. Таким образом, ширина слухового образа управляется посредством изменения дисперсии псевдослучайной последовательности. Большая дисперсия создает большую ширину образа. Изменение дисперсии может быть выполнено в индивидуальных полосах, которые имеют ширину критической полосы. Это делает возможным одновременное существование множества объектов в акустической обстановке, при этом каждый объект имеет различную ширину образа. Подходящее амплитудное распределение для псевдослучайной последовательности является равномерным распределением на логарифмической шкале, как это описано в публикации патентной заявки США 2003/0219130 A1. Тем не менее, вся обработка синтеза ВСС относится к единственному входному каналу, переданному как суммарный сигнал от кодера ВСС к декодеру ВСС, как показано на фиг.11.

Сходный метод, также известный как параметрическая стереофония, описан в J. Breebaart, S. van de Par, A. Kohlrausch, E. Schuijers, «High-Quality Parametric Spatial Audio Coding at Low Bitrates», 116-я Конвенция AES, Берлин, Препринт 6072, май 2004 г., и E. Schuijers, J. Breebaart, H. Purnhagen, J. Engdegard, «Low Complexity Parametric Stereo Coding», 116-я Конвенция AES, Берлин, Препринт 6073, май 2004 г.

Как описано выше со ссылкой на фиг.13, параметрическая дополнительная информация, т.е. межканальные разности уровней (ICLD), межканальные разности времени (ICTD) либо параметр межканальной когерентности (ICC) могут быть вычислены и переданы для каждого из пяти каналов. Это означает, что обычно передается пять множеств межканальных разностей уровней для пятиканального сигнала. То же самое справедливо для межканальных разностей времени. Относительно параметра межканальной когерентности также может быть достаточно передать только, например, два множества этих параметров.

Как описано выше со ссылкой на фиг.12, не существует единого параметра разности уровней, параметра разности времени или параметра когерентности для одного кадра или временного отрезка сигнала. Вместо этого эти параметры определяются для нескольких различных полос частот, так что получается частотно-зависимая параметризация. Поскольку предпочтительно использовать, например, 32 частотных канала, т.е. гребенку фильтров, имеющих 32 полосы частот для анализа ВСС и синтеза ВСС, то параметры могут занимать достаточно большое количество данных. Хотя по сравнению с другими многоканальными передачами параметрическое представление дает в результате достаточно низкую скорость передачи данных, существует постоянная потребность в дальнейшем снижении необходимой скорости передачи данных для представления многоканального сигнала, например сигнала, имеющего два канала (стереофонический сигнал), либо сигнала, имеющего более двух каналов, например многоканального сигнала объемного звучания.

С этой целью вычисленные на стороне кодера параметры восстановления квантуются в соответствии с определенным правилом квантования. Это означает, что неквантованные параметры восстановления отображаются в ограниченное множество уровней квантования, или индексов квантования, как известно в данной области техники и описано в публикации C. Faller и F. Baumgarte, «Binaural cue coding applied to audio compression with flexible rendering», 113-я Конвенция AES, Лос-Анджелес, препринт 5686, октябрь 2002 г.

Квантование имеет такой эффект, что все значения параметра, которые меньше длины шага квантования, квантуются в ноль. Кроме того, отображением большого множества неквантованных значений в малое множество квантованных значений достигается, по сути, экономия данных. Эта экономия скорости данных далее улучшается посредством энтропийного кодирования квантованных параметров восстановления на стороне кодера. Предпочтительными способами энтропийного кодирования являются способы Хаффмана на основе предопределенных кодовых таблиц, или на основе фактического определения статистик сигнала и адаптивного к сигналу создания словарей кодов. В качестве альтернативы могут использоваться другие инструменты энтропийного кодирования, например арифметическое кодирование.

В принципе, имеется правило, что скорость передачи данных, требуемая для параметров восстановления, снижается с увеличением длины шага квантователя. Иначе говоря, более грубое квантование приводит к более низкой скорости передачи данных, а более точное квантование приводит к более высокой скорости передачи данных.

Так как обычно требуются параметрические представления сигнала для условий с низкой скоростью передачи данных, то предпринимается попытка квантовать параметры восстановления настолько грубо, насколько возможно, для получения представления сигнала, имеющего определенный объем данных в основном канале и также имеющего обоснованно малый объем данных для дополнительной информации, которая включает в себя квантованные и энтропийно кодированные параметры восстановления.

Способы предшествующего уровня техники, таким образом, извлекают параметры восстановления, которые нужно передать, непосредственно из многоканального сигнала, который нужно кодировать. Грубое квантование, как обсуждалось выше, приводит к искажениям параметров восстановления, что приводит к большим ошибкам округления, когда квантованный параметр восстановления обратно квантуется в декодере и используется для многоканального синтеза. Естественно, ошибка округления увеличивается с длиной шага квантователя, т.е. с выбранной «грубостью квантователя». Такие ошибки округления могут приводить к изменению уровня квантования, т.е. изменению от первого уровня квантования в первый момент времени до второго уровня квантования в более поздний период времени, причем разница между одним уровнем квантователя и другим уровнем квантователя определяется довольно большой длиной шага квантователя, которая предпочтительна для грубого квантования. К сожалению, такое изменение уровня квантователя, равное большой длине шага квантователя, может быть инициировано только небольшим изменением параметра, когда неквантованный параметр находится посередине между двумя уровнями квантования. Ясно, что возникновение таких изменений индекса квантователя в дополнительной информации приводит к таким же сильным изменениям в стадии синтеза сигнала. Когда, например, рассматривается межканальная разность уровней, становится понятно, что сильное изменение приводит к резкому снижению громкости сигнала определенного динамика, и сопутствующему резкому увеличению громкости сигнала для другого динамика. Эта ситуация, которая инициируется только изменением уровня квантования и грубым квантованием, может восприниматься как непосредственное перемещение источника звука из (виртуального) первого места в (виртуальное) второе место. Такое немедленное перемещение от одного момента времени к другому моменту времени звучит неестественно, т.е. воспринимается как эффект модуляции, поскольку источники звука, в частности, тональных сигналов не меняют своего положения очень быстро.

В общем случае ошибки передачи могут, таким образом, приводить к резким изменениям индексов квантователя, что немедленно приводит к резким изменениям в многоканальном выходном сигнале, что является даже более действительным для ситуаций, в которых применяется грубый квантователь по соображениям скорости передачи данных.

Сущность изобретения

Целью настоящего изобретения является создание усовершенствованной концепции синтеза сигнала, допускающей низкую скорость передачи данных, с одной стороны, и хорошее субъективное качество, с другой стороны.

В соответствии с первым аспектом настоящего изобретения эта цель достигается с помощью многоканального синтезатора для формирования выходного сигнала из входного сигнала, при этом входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, при этом квантованные параметры восстановления квантуются в соответствии с правилом квантования и ассоциируются с последующими временными отрезками входного канала, при этом выходной сигнал имеет некоторое количество синтезированных выходных каналов, и количество синтезированных выходных каналов больше 1 или больше количества входных каналов, содержащего постпроцессор для определения заключительно обработанного параметра восстановления или заключительно обработанной величины, выведенной из параметра восстановления для временного отрезка входного сигнала, который должен быть обработан, причем постпроцессор обеспечивает определение заключительно обработанного параметра восстановления, чтобы значение заключительно обработанного параметра восстановления или заключительно обработанной величины отличалось от значения, получаемого с использованием повторного квантования в соответствии с правилом квантования; и блок многоканального восстановления для восстановления временного отрезка количества синтезированных выходных каналов с использованием временного отрезка входного канала и заключительно обработанного параметра восстановления, либо заключительно обработанного значения.

В соответствии со вторым аспектом настоящего изобретения эта цель достигается с помощью способа формирования выходного сигнала из входного сигнала, при этом входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, при этом квантованные параметры восстановления квантуются в соответствии с правилом квантования и ассоциируются с последующими временными отрезками входного канала, при этом выходной сигнал имеет некоторое количество синтезированных выходных каналов, и количество синтезированных выходных каналов больше 1 или больше количества входных каналов, содержащего определение заключительно обработанного параметра восстановления или заключительно обработанную величину, выведенную из параметра восстановления для временного отрезка обрабатываемого входного сигнала, чтобы значение заключительно обработанного параметра восстановления или заключительно обработанной величины отличались от значения, получаемого с использованием повторного квантования в соответствии с правилом квантования; и восстановление временного отрезка количества синтезированных выходных каналов с использованием временного отрезка входного канала и заключительно обработанного параметра восстановления, либо заключительно обработанного значения.

В соответствии с третьим аспектом настоящего изобретения эта цель достигается с помощью компьютерной программы, реализующей вышеописанный способ при исполнении на компьютере.

Настоящее изобретение основывается на обнаружении того, что постобработка (заключительная обработка) для квантованных параметров восстановления, используемых в многоканальном синтезаторе, является эффективной для снижения или даже устранения проблем, связанных с грубым квантованием, с одной стороны, и изменениями уровня квантования, с другой стороны. В то время как в системах предшествующего уровня техники небольшое изменение параметра в кодере приводит к сильному изменению параметра в декодере, так как повторное квантование в синтезаторе допустимо только для ограниченного множества квантованных значений, то соответствующее изобретению устройство выполняет постобработку параметров восстановления с тем, чтобы прошедший постобработку (заключительную обработку) параметр восстановления для подлежащего обработке временного отрезка входного сигнала не определялся адаптированным для кодера растром квантования, а приводил в результате к значению параметра восстановления, которое отличается от значения, получаемого квантованием в соответствии с правилом квантования.

Хотя в случае линейного квантователя способ предшествующего уровня техники допускает лишь обратно квантованные значения, являющиеся целыми кратными числами длины шага квантователя, соответствующая изобретению постобработка позволяет, чтобы обратно квантованные значения были не целыми кратными числами длины шага квантователя. Это означает, что соответствующая изобретению постобработка устраняет ограничения длины шага квантователя, так как также заключительно обработанные параметры восстановления, лежащие между двумя соседними уровнями квантователя, могут быть получены путем постобработки и использованы соответствующим изобретению блоком многоканального восстановления, который применяет заключительно обработанный параметр восстановления.

Эта постобработка может выполняться до или после повторного квантования в многоканальном синтезаторе. Когда постобработка выполняется с квантованными параметрами, т.е. с индексами квантователя, требуется обратный квантователь, который может обратно квантовать не только кратные значения шага квантователя, но который также может обратно квантовать в обратно квантованные значения между кратными значениями длины шага квантователя.

В случае, когда постобработка выполняется с использованием обратно квантованных параметров восстановления, может использоваться простой обратный квантователь, причем для обратно квантованных значений выполняется интерполяция/фильтрация/сглаживание.

В случае нелинейного правила квантования, например логарифмического правила квантования, постобработка квантованных параметров восстановления предпочтительна до повторного квантования, так как логарифмическое квантование похоже на восприятие звука человеческим ухом, что является более точным для звука нижнего тембра и менее точным для звука верхнего тембра, т.е. выполняет разновидность логарифмического сжатия.

Здесь следует отметить, что соответствующие изобретению преимущества получаются не только путем модификации самого параметра восстановления, который включается в битовый поток в качестве квантованного параметра. Преимущества также могут быть получены посредством выведения заключительно обработанного количества из параметра восстановления. Это особенно полезно, когда параметр восстановления является параметром разности и выполняется манипулирование, например сглаживание, над абсолютным параметром, выведенным из параметра разности.

В предпочтительном варианте осуществления настоящего изобретения постобработка для параметров восстановления управляется посредством анализатора сигнала, который анализирует отрезок сигнала, связанный с параметром восстановления, для выяснения, какая характеристика сигнала присутствует. В предпочтительном варианте осуществления соответствующая изобретению постобработка активизируется только для тональных отрезков сигнала (по отношению к частоте и/или времени), тогда как постобработка деактивируется для нетональных отрезков, т.е. отрезков переходных процессов входного сигнала. Это убеждает в том, что полная динамика изменения параметра восстановления передается для участков переходных процессов аудиосигнала, хотя это не всегда так для тональных отрезков сигнала.

Предпочтительно, чтобы постпроцессор выполнял модификацию параметров восстановления в виде сглаживания, где это имеет смысл с психоакустической точки зрения, не влияя на важные пространственные сигналы обнаружения, которые особо важны для нетональных, т.е. участков переходных процессов сигнала.

Настоящее изобретение приводит в результате к низкой скорости передачи данных, поскольку квантование на стороне кодера параметров восстановления может быть грубым квантованием, поскольку проектировщик системы не должен опасаться серьезных изменений в декодере из-за изменения от параметра восстановления с одного обратно квантованного уровня на другой обратно квантованный уровень, потому что подобное изменение уменьшается за счет соответствующей изобретению обработки путем отображения в значение между двумя уровнями повторного квантования.

Другое преимущество настоящего изобретения заключается в том, что повышается качество системы, поскольку уменьшаются слышимые артефакты, вызванные изменением с одного уровня повторного квантования на следующий разрешенный уровень повторного квантования, за счет соответствующей постобработки, которая предназначена для отображения в значение между двумя разрешенными уровнями повторного квантования.

Естественно, соответствующая изобретению постобработка квантованных параметров восстановления означает дополнительную потерю информации в дополнение к потере информации, полученной посредством параметризации в кодере и последующего квантования параметра восстановления. Однако это не приводит к отрицательным последствиям, поскольку соответствующий изобретению постпроцессор предпочтительно использует текущие или предшествующие квантованные параметры восстановления для определения заключительно обработанного параметра восстановления, который должен использоваться для восстановления текущего временного отрезка входного сигнала, т.е. основного канала. Показано, что это приводит к улучшенному субъективному качеству, так как вызванные кодером ошибки могут с определенной степенью компенсироваться. Даже когда вызванные на стороне кодера ошибки не компенсируются постобработкой параметров восстановления, сильные изменения пространственного восприятия в восстановленном многоканальном аудиосигнале снижаются, предпочтительно только для тональных отрезков сигнала, так что субъективное качество прослушивания повышается в любом случае, независимо от обстоятельства, приводит это к дополнительной потере информации или нет.

Краткое описание чертежей

Предпочтительные варианты осуществления настоящего изобретения описаны ниже со ссылками на прилагаемые чертежи, в которых представлено следующее:

Фиг.1 - блок-схема предпочтительного варианта осуществления многоканального синтезатора, соответствующего изобретению;

Фиг.2 - блок-схема предпочтительного варианта осуществления системы кодера/декодера, в которую включен многоканальный синтезатор, показанный на фиг.1;

Фиг.3 - блок-схема комбинации постпроцессора/анализатора сигнала, которая должна использоваться в соответствующем изобретению многоканальном синтезаторе, показанном на фиг.1;

Фиг.4 - схематичное представление временных отрезков входного сигнала и связанных квантованных параметров восстановления для прошлых отрезков сигнала, текущих отрезков сигнала, которые должны быть обработаны, и будущих отрезков сигнала;

Фиг.5 - вариант осуществления постпроцессора по фиг.1;

Фиг.6А - другой вариант осуществления постпроцессора, показанного на фиг.1;

Фиг.6B - другой предпочтительный вариант осуществления постпроцессора;

Фиг.7А - другой вариант осуществления постпроцессора, показанного на фиг.1;

Фиг.7B - схематичное представление параметров для постобработки в соответствии с изобретением, показывающее, что величина, выведенная из параметра восстановления, также может быть сглажена;

Фиг.8 - схематичное представление квантователя/обратного квантователя, выполняющего простое отображение или расширенное отображение;

Фиг.9А - примерное изменение во времени квантованных параметров восстановления, связанных с последующими отрезками входного сигнала;

Фиг.9В - изменение во времени заключительно обработанных параметров восстановления, которые были обработаны постпроцессором, реализующим функцию сглаживания (низкочастотной фильтрации);

Фиг.10 - квазистереофонический кодер предшествующего уровня техники;

Фиг.11 - блок-схема представления системы кодера/декодера ВСС согласно предшествующему уровню техники;

Фиг.12 - блок-схема реализации согласно предшествующему уровню техники блока синтеза ВСС по фиг.11; и

Фиг.13 - представление известной схемы для определения параметров ICLD, ICTD и ICC.

Фиг.1 показывает блок-схему соответствующего изобретению многоканального синтезатора для формирования выходного сигнала из входного сигнала. Как показано ниже со ссылкой на фиг.4, входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, при этом квантованные параметры восстановления квантуются в соответствии с правилом квантования. Каждый параметр восстановления связывается с временным отрезком входного канала, так что последовательность временных отрезков имеет, тем самым, последовательность квантованных параметров восстановления. Кроме того, следует отметить, что выходной сигнал, который формируется многоканальным синтезатором по фиг.1, имеет некоторое количество синтезированных выходных каналов, которое в любом случае больше, чем количество выходных каналов во входном сигнале. Если количество входных каналов равно 1, т.е. когда имеется один входной канал, то количество выходных каналов будет 2 или больше. Однако если количество входных каналов равно 2 или 3, то количество выходных каналов будет равно, по меньшей мере, 3 или, по меньшей мере, 4.

В описанном выше случае ВСС количество входных каналов будет равно 1 или, в общем случае, не более 2, тогда как количество выходных каналов будет равно 5 (левый объемного звучания, левый, центральный, правый, правый объемного звучания) или 6 (5 каналов объемного звучания плюс 1 канал СНЧ-динамика), или даже больше в случае многоканальных форматов 7.1 или 9.1.

Как показано на фиг.1, соответствующий изобретению многоканальный синтезатор включает в себя, в качестве существенных признаков, постпроцессор 10 параметров восстановления и блок 12 многоканального восстановления. Постпроцессор 10 параметров восстановления предназначен для приема квантованных и предпочтительно кодированных параметров восстановления для последующих временных отрезков входного канала. Постпроцессор 10 параметра восстановления обеспечивает определение заключительно обработанного параметра восстановления на его выходе для подлежащего обработке временного отрезка выходного сигнала. Постпроцессор параметра восстановления функционирует в соответствии с правилом постобработки, которое в некоторых предпочтительных вариантах осуществления является правилом фильтрации нижних частот, правилом сглаживания и т.п. В частности, постпроцессор 10 обеспечивает определение заключительно обработанного параметра восстановления из условия, что значение заключительно обработанного параметра восстановления отличается от значения, получаемого посредством повторного квантования любого квантованного параметра восстановления в соответствии с правилом квантования.

Блок 12 многоканального восстановления используется для восстановления временного отрезка каждого из числа выходных каналов синтеза с использованием временного отрезка подлежащего обработке входного канала и заключительно обработанного параметра восстановления.

В предпочтительных вариантах осуществления настоящего изобретения квантованные параметры восстановления являются квантованными параметрами ВСС, например межканальными разностями уровней, межканальными разностями времени либо параметрами межканальной когерентности. Естественно, все другие параметры восстановления, например стереофонические параметры для мощной стереофонии или параметрической стереофонии, могут обрабатываться в соответствии с настоящим изобретением равным образом.

Таким образом, заявленная система имеет первый вход 14а для квантованных и предпочтительно кодированных параметров восстановления, связанных с последующими временными отрезками входного сигнала. Последующие временные отрезки входного сигнала вводятся на второй вход 14b, который соединен с блоком 12 многоканального восстановления и предпочтительно с анализатором 16 входного сигнала, который описан ниже. На стороне выхода многоканальный синтезатор по фиг.1 имеет выход 18 многоканального выходного сигнала, который включает в себя несколько выходных каналов, количество которых больше количества входных каналов, где количество входных каналов может быть одним входным каналом, либо двумя или более входными каналами. В любом случае имеется больше выходных каналов, чем входных каналов, поскольку синтезированные выходные каналы образуются посредством использования входного сигнала, с одной стороны, и дополнительной информации в виде параметров восстановления, с другой стороны.

На фиг.4, показан пример битового потока. Битовый поток включает в себя несколько кадров 20a, 20b, 20с, ... Каждый кадр включает в себя временной отрезок входного сигнала, указанный верхним прямоугольником кадра на фиг.4. Кроме того, каждый кадр включает в себя множество квантованных параметров восстановления, которые связаны с временным отрезком и которые проиллюстрированы на фиг.4 нижним прямоугольником каждого кадра 20a, 20b, 20c. Для примера, кадр 20b рассматривается как подлежащий обработке отрезок входного сигнала, причем этот кадр имеет предшествующие отрезки входного сигнала, т.е. которые образуют «прошлое» обрабатываемого отрезка входного сигнала. Кроме того, существуют последующие отрезки входного сигнала, которые образуют «будущее» обрабатываемого отрезка входного сигнала (входной отрезок, подлежащий обработке, также называется «текущим» отрезком входного сигнала), тогда как отрезки входного сигнала в «прошлом» называются предшествующими отрезками входного сигнала, а отрезки сигнала в будущем называются поздними отрезками входного сигнала.

В последующем описании ссылки даются на фиг.2 относительно полной установки кодера/декодера, в котором может находиться заявленный многоканальный синтезатор.

Фиг.2 показывает сторону 21 кодера и сторону 22 декодера. В кодере N исходных входных каналов вводятся в каскад 23 микширования с понижением, который предназначен для уменьшения количества каналов, например, до одного монофонического канала или, возможно, до двух стереофонических каналов. Представление микшированного сигнала на выходе каскада 23 блока микширования затем вводится в кодер 24 источника, при этом кодер источника реализуется, например, как кодер mp3, либо как кодер ААС, формирующий выходной битовый поток. Сторона 21 кодера дополнительно содержит блок 25 извлечения параметров, который в соответствии с настоящим изобретением выполняет анализ ВСС (блок 116 на фиг.11) и выводит квантованные и предпочтительно кодированные по Хаффману межканальные разности уровней (ICLD). Битовый поток на выходе кодера 24 источника, а также квантованные параметры восстановления, выведенные блоком 25 извлечения параметров, могут передаваться декодеру 22 или могут сохраняться для передачи декодеру позже, и т.д.

Декодер 22 включает в себя декодер 26 источника, который предназначен для восстановления сигнала из принятого битового потока (исходящего из кодера 24 источника). С этой целью декодер 26 источника выдает на свой выход последовательные временные отрезки входного сигнала, поступающие на блок 12 микширования с повышением, который выполняет то же функциональное назначение, что и блок 12 многоканального восстановления на фиг.1. Предпочтительно, это функциональное назначение является синтезом ВСС, как реализовано блоком 122 на фиг.11.

В отличие от фиг.11, заявленный многоканальный синтезатор дополнительно содержит постпроцессор 10, который называется «сглаживающим межканальную разность уровней (ICLD) устройством», который управляется анализатором 16 входного сигнала, который предпочтительно выполняет анализ тональности входного сигнала.

Из фиг.2 видно, что имеются параметры восстановления, например межканальные разности уровней (ICLD), которые вводятся в сглаживающее ICLD устройство, причем имеется дополнительное соединение между блоком 25 извлечения параметров и блоком 12 микширования с повышением. Через это обходное соединение остальные параметры для восстановления, которые не должны подвергаться постобработке, могут подаваться от блока 25 извлечения параметров на блок 12 микширования с повышением.

Фиг.3 показывает предпочтительный вариант осуществления адаптивной к сигналу обработки параметра восстановления, образованной анализатором 16 сигнала и сглаживающим ICLD устройством 10.

Анализатор 16 сигнала образован блоком 16а определения тональности и последующим устройством 16b пороговой обработки. Кроме того, постпроцессор 10 параметра восстановления по фиг.2 включает в себя сглаживающий фильтр 10а и переключатель 10b постпроцессора. Переключатель 10b постпроцессора управляется устройством 16b пороговой обработки, так что переключатель приводится в действие, когда устройство 16b пороговой обработки определяет, что некоторая характеристика сигнала для входного сигнала, например характеристика тональности, находится в заранее определенном отношении к некоторой заданной пороговой величине. В настоящем случае ситуация такова, что переключатель переводится в верхнее положение (как показано на фиг.3), когда тональность отрезка сигнала у входного сигнала и, в частности, некоторая полоса частот для некоторого отрезка времени входного сигнала имеет тональность выше пороговой величины тональности. В этом случае переключатель 10b подключает выход сглаживающего фильтра 10а ко входу блока 12 многоканального восстановления, чтобы прошедшие постобработку, но еще не обратно квантованные межканальные разности подавались на декодер/блок многоканального восстановления/блок 12 микширования с повышением.

Если, однако, средство определения тональности определяет, что некоторая полоса частот текущего отрезка времени входного сигнала, т.е. некоторая полоса частот отрезка входного сигнала, который должен быть обработан, имеет тональность меньше, чем заданная пороговая величина, т.е. является переходным процессом, то переключатель переключается так, что сглаживающий фильтр 10а обходится.

В последнем случае адаптивная к сигналу постобработка посредством сглаживающего фильтра 10а гарантирует, что изменения параметра восстановления для переходных сигналов проходит стадию постобработки неизмененной и дает в результате быстрые изменения в восстановленном выходном сигнале относительно пространственного представления, что соответствует реальным ситуациям с высокой степенью вероятности для переходных сигналов.

Следует отметить, что вариант осуществления по фиг.3, т.е. активация постобработки, с одной стороны, и деактивация постобработки полностью, с другой стороны, т.е. выбор из двух альтернатив для постобработки или ее отсутствия, является предпочтительным вариантом осуществления вследствие его простой и эффективной структуры. Тем не менее, нужно отметить, что в особенности по отношению к тональности, эта характеристика сигнала является не только качественным параметром, но также и количественным параметром, который обычно может находиться между 0 и 1. В соответствии с количественно определенным параметром степень сглаживания сглаживающего фильтра или, например, частота среза фильтра нижних частот может быть задана так, что для сильно тональных сигналов активируется сильное сглаживание, тогда как для менее тональных сигналов запускается сглаживание с более низкой степенью сглаживания.

Естественно, можно также обнаружить переходные отрезки и чрезмерно увеличить изменения в параметрах до значений между предопределенными квантованными значениями или индексами квантования так, что для существенных переходных сигналов постобработка для параметров восстановления приведет к даже преувеличенному изменению пространственного представления многоканального сигнала. В этом случае длина шага квантования в 1, как предписано последующими параметрами восстановления для последующих временных отрезков, может быть увеличена, например, до 1,5, 1,4, 1,3 и т.д., что даст в результате еще более сильное изменение пространственного представления восстановленного многоканального сигнала.

Следует отметить, что тональная характеристика сигнала, переходная характеристика сигнала или иная характеристика сигнала являются только примерами характеристик сигнала, на основе которых может выполняться анализ сигнала для управления постпроцессором параметра восстановления. В ответ на это управление постпроцессор параметра восстановления определяет прошедший постобработку параметр восстановления, имеющий значение, которое отличается от любых значений для индексов квантования, с одной стороны, либо значений повторного квантования, с другой стороны, которые определены заранее определенным правилом квантования.

Здесь следует отметить, что постобработка параметров восстановления, зависящая от характеристики сигнала, т.е. адаптивная к сигналу постобработка параметра, является факультативной. Независимая от сигнала постобработка также предоставляет преимущества для многих сигналов. Некоторая функция постобработки могла бы, например, выбираться пользователем для того, чтобы пользователь получал расширенные изменения (в случае функции преувеличения) или смягченные изменения (в случае сглаживающей функции). В качестве альтернативы, постобработка, не зависящая от какого бы то ни было выбора пользователя и зависящая от характеристик сигнала, также может обеспечивать определенные преимущества по отношению к устойчивости к ошибкам. Становится ясно, что в особенности в случае большой длины шага квантователя ошибка передачи в индексе квантователя может привести к сильно слышимым артефактам. С этой целью желательно выполнить прямое исправление ошибок или т.п., когда сигнал нужно передать по каналам с ошибками. В соответствии с настоящим изобретением, постобработка может устранять потребность в любых неэффективных по битам кодах исправления ошибок, так как постобработка параметров восстановления на основе параметров восстановления в прошлом приведет к обнаружению ошибочно переданных квантованных параметров восстановления и обеспечит соответствующие меры противодействия таким ошибкам. Кроме того, когда функция постобработки является сглаживающей функцией, квантованные параметры восстановления, сильно отличающиеся от предшествующих или более поздних параметров восстановления, будут автоматически управляться, как описано ниже.

Фиг.5 показывает предпочтительный вариант осуществления постпроцессора 10 параметра восстановления из фиг.1. В частности, рассматривается ситуация, в которой квантованные параметры восстановления являются кодированными. Здесь кодированные квантованные параметры восстановления подаются на энтропийный декодер 10с, который выводит последовательность декодированных квантованных параметров восстановления. Параметры восстановления на выходе энтропийного декодера являются квантованными, что означает, что они не имеют определенного «полезного» значения, а что они указывают определенные индексы квантователя или уровни квантователя по определенному правилу квантования, реализуемому последующим обратным квантователем. Блок 10d манипулирования может быть, например, цифровым фильтром, таким как фильтр IIR (с бесконечной импульсной характеристикой) (предпочтительно) или FIR (с конечной импульсной характеристикой), имеющим любую характеристику фильтра, определенную требуемой функцией постобработки. Функция постобработки в виде сглаживания или фильтрации нижних частот является предпочтительной. На выходе блока 10d манипулирования получается последовательность регулированных квантованных параметров восстановления, которые являются не только целыми числами, но которые являются любыми вещественными числами, лежащими в диапазоне, определенном правилом квантования. Такой регулированный квантованный параметр восстановления может иметь значения 1,1, 0,1, 0,5, ..., по сравнению со значениями 1, 0, 1 до блока 10d. Эта последовательность значений на выходе блока 10d затем вводится в расширенный обратный квантователь 10е для получения заключительно обработанных параметров восстановления, которые могут использоваться для многоканального восстановления (например, синтеза ВСС) в блоке 12 фиг.1.

Нужно отметить, что расширенный квантователь 10е отличается от обычного обратного квантователя, поскольку обычный обратный квантователь отображает только каждый квантованный ввод из ограниченного числа индексов квантования на заданное обратно квантованное выходное значение. Обычные обратные квантователи не могут отображать нецелочисленные индексы квантователя. Расширенный обратный квантователь 10е реализуется, следовательно, для использования предпочтительно того же правила квантования, например линейного или логарифмического закона квантования, но он может принимать нецелочисленные входные данные для предоставления выходных значений, которые отличаются от значений, получаемых только при использовании целочисленных входных данных.

По отношению к настоящему изобретению, по существу, не имеет значения, выполняется ли регулирование до повторного квантования (см. фиг.5) или после повторного квантования (см. фиг.6А, фиг.6B). В последнем случае обратный квантователь только должен быть обычным простым обратным квантователем, который отличается от расширенного обратного квантователя 10е из фиг.5, как описано выше. Естественно, выбор между фиг.5 и фиг.6А будет делаться в зависимости от определенной реализации. Для настоящей реализации ВСС предпочтителен вариант осуществления фиг.5, поскольку он более совместим с существующими алгоритмами ВСС. Тем не менее, это может отличаться для других применений.

Фиг.6B показывает вариант осуществления, в котором расширенный обратный квантователь 10е на фиг.6А заменяется простым обратным квантователем и устройством 10g отображения для отображения в соответствии с линейной или, предпочтительно, нелинейной кривой. Это устройство отображения может быть реализовано в аппаратных средствах или в программном обеспечении, например, схемой для выполнения математической операции, или как таблица преобразования. Манипулирование данными с использованием, например, сглаживающего фильтра 10h, может выполняться перед устройством 10g отображения либо после устройства 10g отображения, или на обоих местах в сочетании. Этот вариант осуществления является предпочтительным, когда постобработка выполняется в области обратного преобразователя, поскольку все элементы 10f, 10h, 10g могут быть реализованы с использованием простых компонентов, например цепей стандартных программ из системы программного обеспечения.

В целом постпроцессор 10 реализуется как постпроцессор, который показан на фиг.7А, который принимает все или выборку текущих квантованных параметров восстановления, будущих параметров восстановления или прошлых квантованных параметров восстановления. В случае, когда постпроцессор только принимает, по меньшей мере, один прошлый параметр восстановления и текущий параметр восстановления, постпроцессор будет действовать как фильтр нижних частот. Однако постпроцессор 10 принимает будущий квантованный параметр восстановления, что невозможно в приложениях реального масштаба времени, но возможно во всех других приложениях, постпроцессор может выполнять интерполяцию между будущим и настоящим либо прошлым квантованным параметром восстановления, чтобы, например, сгладить динамику во времени параметра восстановления, например, для определенной полосы частот.

Как описано выше, манипуляция данными для преодоления артефактов вследствие длин шага квантования в условиях грубого квантования также может выполняться на величине, выведенной из параметра восстановления, присоединенного к основному каналу в параметрически кодированном многоканальном сигнале. Когда, например, квантованный параметр восстановления является параметром разности (ICLD), этот параметр может быть обратно квантован без какой бы то ни было модификации. Тогда может быть выведено абсолютное значение уровня для выходного канала, и соответствующее изобретению манипулирование данными выполняется над абсолютным значением. Эта процедура также приводит к соответствующему изобретению уменьшению артефактов, если выполняется манипулирование данными в канале обработки между квантованным параметром восстановления и текущим восстановлением, так что значение заключительно обработанного параметра восстановления или заключительно обработанной величины отличается от значения, получаемого с использованием повторного квантования в соответствии с правилом квантования, т.е. без изменения для преодоления «ограничения длины шага».

Множество функций отображения для выведения, в конечном счете, отрегулированной величины из квантованного параметра восстановления предлагаются и используются в данной области техники, причем эти функции отображения включают в себя функции для однозначного отображения входного значения на выходное значение в соответствии с правилом отображения для получения величины до постобработки, которая затем проходит постобработку для получения заключительно обработанной величины, используемой в алгоритме многоканального восстановления (синтеза).

Ниже со ссылкой на фиг.8 иллюстрируются различия между расширенным обратным квантователем 10е по фиг.5 и простым обратным квантователем 10f по фиг.6А. С этой целью иллюстрация на фиг.8 показывает, в качестве горизонтальной оси, ось входного значения для неквантованных значений. Вертикальная ось иллюстрирует уровни квантователя или индексы квантователя, которые предпочтительно являются целыми числами, имеющими значение 0, 1, 2, 3. Следует отметить, что квантователь на фиг.8 не даст в результате каких-либо значений между 0 и 1, или 1 и 2. Отображение на эти уровни квантователя управляется лестничной функцией, так что значения между -10 и 10, например, отображаются в 0, тогда как значения между 10 и 20 квантуются в 1, и т.д.

Возможной функцией обратного квантователя является отображение уровня 0 квантователя в обратно квантованное значение 0. Уровень 1 квантователя отобразился бы в обратно квантованное значение 10. Аналогично, уровень 2 квантователя отобразился бы, например, в обратно квантованное значение 20. Повторное квантование, следовательно, управляется функцией обратного квантователя, обозначенной ссылочной позицией 31. Следует отметить, что для простого обратного квантователя возможны только точки пересечения линии 30 и линии 31. Это означает, что для простого обратного квантователя, имеющего правило обратного квантователя по фиг.8, только значения 0, 10, 20, 30 могут быть получены посредством повторного квантования.

Это реализует иным образом в расширенном обратном квантователе 10е, поскольку расширенный обратный квантователь принимает, в качестве входных данных, значения между 0 и 1 или 1 и 2, например значение 0,5. Расширенное квантование значения 0,5, полученного блоком 10d манипулирования, даст в результате обратно квантованное выходное значение 5, т.е. заключительно обработанный параметр восстановления, который имеет значение, которое отличается от значения, получаемого путем повторного квантования в соответствии с правилом квантования. Тогда как обычное правило квантования допускает только значения 0 или 10, соответствующий изобретению обратный квантователь, работающий в соответствии с функцией 31 обратного квантователя, имеет в результате другое значение, т.е. значение 5, как указано на фиг.8.

Хотя простой обратный квантователь отображает целочисленные уровни квантователя только в квантованные уровни, расширенный обратный квантователь принимает нецелочисленные «уровни» квантователя для отображения этих значений в «обратно квантованные значения» между значениями, определенными правилом обратного квантователя.

Фиг.9 показывает влияние соответствующей изобретению постобработки для варианта осуществления по фиг.5. Фиг.9А показывает последовательность квантованных параметров восстановления, варьирующихся между 0 и 3. Фиг.9B показывает последовательность заключительно обработанных параметров восстановления, которые также называются «модифицированными индексами квантователя», когда сигнал, показанный на фиг.9А вводится в фильтр нижних частот (сглаживающий). Следует отметить, что увеличения/уменьшения в момент 1, 4, 6, 8, 9 и 10 времени снижаются в варианте осуществления по фиг.9B. Следует отметить, что пик между моментом 8 времени и моментом 9 времени, который может быть артефактом, гасится целым шагом квантования. Гашение таких экстремальных значений может, однако, управляться степенью постобработки в соответствии с количественным значением тональности, как описано выше.

Настоящее изобретение обеспечивает преимущество, заключающееся в том, что соответствующая изобретению постобработка сглаживает флуктуации или сглаживает короткие экстремальные значения. Эта ситуация возникает особенно в случае, когда отрезки сигнала из нескольких входных каналов, имеющих сходную энергию, совмещаются в полосе частот сигнала, т.е. основного канала или канала входного сигнала. Эта полоса частот затем по временному отрезку и в зависимости от текущей ситуации микшируется с соответствующими выходными каналами с сильными флуктуациями. С психоакустической точки зрения, было бы, однако, лучше сглаживать эти флуктуации, поскольку эти флуктуации не способствуют существенно обнаружению расположения источника, но воздействуют негативным образом на субъективное впечатление от прослушивания.

В соответствии с предпочтительным вариантом осуществления настоящего изобретения такие слышимые артефакты уменьшаются или даже устраняются, не вызывая каких-либо потерь качества в различном месте в системе или не требуя более высокого разрешения/квантования (и, соответственно, более высокой скорости передачи данных) передаваемых параметров восстановления. Настоящее изобретение достигает этой цели путем выполнения адаптированной к сигналу модификации (сглаживания) параметров без существенного влияния на важные сигналы обнаружения пространственной локализации.

Внезапно возникающие изменения в характеристике восстановленного выходного сигнала приводят к слышимым артефактам, в частности, для аудиосигналов, имеющих весьма постоянную стационарную характеристику. Это случай с тональными сигналами. Следовательно, важно обеспечить «более сглаженный» переход между квантованными параметрами восстановления для таких сигналов. Это может достигаться посредством, например, сглаживания, интерполяции и т.д.

Кроме того, такая модификация значения параметра может привносить слышимые искажения для других типов аудиосигналов. Это имеет место для сигналов, которые включают в себя быстрые флуктуации в своей характеристике. Такая характеристика может быть обнаружена в части переходных процессов либо при вступлении ударного инструмента. В этом случае настоящее изобретение предусматривает деактивацию сглаживания параметра.

Это достигается посредством постобработки передаваемых квантованных параметров восстановления адаптивным к сигналу способом.

Адаптивность может быть линейной или нелинейной. Если адаптивность нелинейна, то выполняется процедура пороговой обработки, которая описана со ссылкой на фиг.3.

Другим критерием для управления адаптивностью является определение стационарности характеристики сигнала. Известной формой для определения стационарности характеристики сигнала является оценка огибающей сигнала или, в частности, тональности сигнала. Следует отметить, что тональность может быть определена для всего диапазона частот или, предпочтительно, отдельно для разных полос частот аудиосигнала.

Настоящее изобретение приводит к уменьшению или даже устранению артефактов, которые до сих пор были неизбежными, не вызывая увеличения требуемой скорости передачи данных для передачи значений параметров.

Как описано выше со ссылкой на фиг.2 и 3, предпочтительный вариант осуществления настоящего изобретения выполняет сглаживание межканальных разностей уровней, когда рассматриваемый отрезок сигнала имеет тональную характеристику. Межканальные разности уровней, которые вычисляются в кодере и квантуются в кодере, передаются в декодер, для выполнения операции адаптивного к сигналу сглаживания. Адаптивным компонентом является определение тональности применительно к определению пороговой величины, которая включает фильтрацию межканальных разностей уровней для тональных составляющих спектра и которая отключает такую обработку для шумоподобных и переходных составляющих спектра. В этом варианте не требуется дополнительной информации кодера для выполнения алгоритмов адаптивного сглаживания.

Следует отметить, что соответствующая изобретению постобработка также может использоваться для других концепций параметрического кодирования многоканальных сигналов, например параметрической стереофонии MP3/AAC, MP3 объемного звучания и сходных способов.

1. Многоканальный синтезатор для формирования многоканального выходного сигнала из входного сигнала, при этом входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, при этом квантованные параметры восстановления квантуются в соответствии с правилом квантования и ассоциируются с последующими временными отрезками входного канала, при этом выходной сигнал имеет некоторое количество синтезированных выходных каналов, и количество синтезированных выходных каналов больше 1 или больше количества входных каналов, содержащий

постпроцессор (10) для определения заключительно обработанного параметра восстановления или заключительно обработанной величины, выведенной из параметра восстановления для обрабатываемого временного отрезка входного сигнала, причем постпроцессор (10) предназначен для приема текущих или предшествующих квантованных и предпочтительно кодированных параметров восстановления для последующих временных отрезков входного сигнала и для определения заключительно обработанного параметра восстановления или заключительно обработанной величины на его выходе для подлежащего обработке временного отрезка выходного сигнала из условия, что значение заключительно обработанного параметра восстановления или заключительно обработанной величины отличается от значения, получаемого с использованием повторного квантования квантованного параметра восстановления в соответствии с правилом квантования; и

блок (12) многоканального восстановления для восстановления временного отрезка упомянутого количества синтезированных выходных каналов с использованием временного отрезка входного канала и заключительно обработанного параметра восстановления, либо заключительно обработанного значения, причем на входы блока (12) многоканального восстановления поступают последовательные временные отрезки входного сигнала, заключительно обработанные параметрвы восстановления с постпроцессора и/или другие параметры восстановления, которые не подвергаются постобработке, а выходом блока (12) многоканального восстановления является многоканальный выходной сигнал.

2. Многоканальный синтезатор по п.1, дополнительно содержащий анализатор (16) входного сигнала для анализа входного сигнала, чтобы определять характеристику сигнала для обрабатываемого временного отрезка входного сигнала, при этом постпроцессор (10) обеспечивает определение заключительно обработанного параметра восстановления, зависящего от характеристики сигнала.

3. Многоканальный синтезатор по п.2, в котором постпроцессор (10) обеспечивает определение заключительно обработанного параметра восстановления, когда заранее определенная характеристика сигнала определяется анализатором (16) входного сигнала, и обход постпроцессора (10), когда заранее определенная характеристика сигнала не определяется анализатором входного сигнала для временного отрезка входного сигнала.

4. Многоканальный синтезатор по п.3, в котором анализатор (16) входного сигнала обеспечивает определение характеристики сигнала как заранее определенной характеристики сигнала, когда значение характеристики сигнала находится в заданном отношении к пороговой величине.

5. Многоканальный синтезатор по п.2, в котором характеристика сигнала является характеристикой тональности или характеристикой переходных процессов обрабатываемого отрезка входного сигнала.

6. Многоканальный синтезатор по п.1, в котором постпроцессор (10) обеспечивает выполнение сглаживающей функции, так что последовательность заключительно обработанных параметров восстановления является более сглаженной во времени по сравнению с последовательностью не прошедших постобработку обратно квантованных параметров восстановления.

7. Многоканальный синтезатор по п.1, в котором постпроцессор (10) обеспечивает выполнение сглаживающей функции, при этом постпроцессор (10) включает в себя цифровой фильтр, имеющий низкочастотную характеристику, причем фильтр принимает в качестве входных данных, по меньшей мере, один параметр восстановления, связанный с предшествующим временным отрезком входного сигнала.

8. Многоканальный синтезатор по п.1, в котором постпроцессор (10) обеспечивает выполнение функции интерполяции с использованием параметра восстановления, связанного, по меньшей мере, с одним предшествующим временным отрезком, или с использованием параметра восстановления, связанного, по меньшей мере, с одним последующим временным отрезком.

9. Многоканальный синтезатор по п.1, в котором постпроцессор (10) предназначен для определения измененного параметра восстановления как не совпадающего ни с одним уровнем квантования, заданным правилом квантования, и обратного квантования измененного параметра восстановления с использованием обратного квантователя, обеспечивающего отображение измененного параметра восстановления в обратно квантованный измененный параметр восстановления, не совпадающий с обратно квантованным значением, заданным посредством отображения обратным квантователем любого уровня квантования.

10. Многоканальный синтезатор по п.9, в котором правило квантования является логарифмическим правилом квантования.

11. Многоканальный синтезатор по п.1, в котором постпроцессор (10) предназначен для обратного квантования квантованных параметров восстановления в соответствии с правилом квантования, изменения полученных обратно квантованных параметров восстановления и отображения измененных параметров в соответствии с нелинейной или линейной функцией.

12. Многоканальный синтезатор по п.1, в котором постпроцессор (10) предназначен для обратного квантования квантованных параметров восстановления в соответствии с правилом квантования, отображения полученных обратно квантованных параметров в соответствии с нелинейной или линейной функцией и изменения полученных отображенных параметров восстановления.

13. Многоканальный синтезатор по п.1, в котором постпроцессор (10) обеспечивает определение обратно квантованного параметра восстановления, связанного с последующим временным отрезком входного сигнала в соответствии с правилом квантования, и в котором постпроцессор (10) дополнительно обеспечивает определение заключительно обработанного параметра восстановления на основе, по меньшей мере, одного обратно квантованного параметра восстановления, по меньшей мере, для одного предшествующего временного отрезка входного сигнала.

14. Многоканальный синтезатор по п.1, в котором временной отрезок входного сигнала имеет связанное с ним множество квантованных параметров восстановления для различных полос частот входного сигнала, при этом постпроцессор (10) обеспечивает определение заключительно обработанных параметров восстановления для различных полос частот входного сигнала.

15. Многоканальный синтезатор по п.1, в котором входной сигнал является суммарным спектром, полученным посредством объединения, по меньшей мере, двух исходных каналов многоканального аудиосигнала, и

квантованный параметр восстановления является параметром межканальной разности уровней, параметром межканальной разности времени, параметром межканальной разности фаз либо параметром межканальной когерентности.

16. Многоканальный синтезатор по п.2, в котором анализатор (16) входного канала обеспечивает определение степени, количественно указывающей, сколько характеристик сигнала имеет входной сигнал, и

постпроцессор (10) обеспечивает выполнение постобработки с интенсивностью, зависящей от этой степени.

17. Многоканальный синтезатор по п.1, в котором постпроцессор (10) обеспечивает использование квантованного параметра восстановления, связанного с обрабатываемым временным отрезком, при определении заключительно обработанного параметра восстановления для обрабатываемого временного отрезка.

18. Многоканальный синтезатор по п.1, в котором правило квантования таково, что разница между двумя соседними уровнями квантования больше, чем разница между двумя числами, определяемая точностью процессора для выполнения численных расчетов.

19. Многоканальный синтезатор по п.1, в котором квантованные параметры восстановления являются энтропийно кодированными и связанными с временным отрезком в энтропийно кодированном виде, и

постпроцессор (10) обеспечивает энтропийное декодирование энтропийно кодированного параметра восстановления, используемого для определения заключительно обработанных параметров восстановления.

20. Многоканальный синтезатор по п.7, в котором цифровой фильтр (10а) является фильтром IIR.

21. Многоканальный синтезатор по п.1, в котором постпроцессор (10) обеспечивает реализацию правила постобработки таким образом, что разница между заключительно обработанными параметрами восстановления для последующих временных отрезков меньше, чем разница между не прошедшими постобработку параметрами восстановления, выведенными посредством повторного квантования из квантованных параметров восстановления, связанных с последующими временными отрезками.

22. Многоканальный синтезатор по п.1, в котором заключительно обработанная величина выводится из квантованного параметра восстановления только с использованием функции отображения, однозначно отображающей входное значение в выходное значение в соответствии с правилом отображения, для получения не прошедшей постобработку величины, и постпроцессор обеспечивает постобработку не прошедшей постобработку величины для получения заключительно обработанной величины.

23. Многоканальный синтезатор по п.1, в котором квантованный параметр восстановления является параметром разности, указывающим параметризованную разность между двумя абсолютными величинами, связанными с входными каналами, и заключительно обработанная величина является абсолютным значением, используемым для восстановления выходного канала, соответствующего одному из входных каналов.

24. Многоканальный синтезатор по п.1, в котором квантованный параметр восстановления является межканальной разностью уровней, и заключительно обработанная величина указывает абсолютный уровень выходного канала, или квантованный параметр восстановления является межканальной разностью времени, и заключительно обработанная величина указывает абсолютную привязку ко времени выходного канала, или квантованный параметр восстановления является критерием межканальной когерентности, и заключительно обработанная величина указывает абсолютный уровень когерентности выходного канала, или квантованный параметр восстановления является межканальной разностью фаз, и заключительно обработанная величина указывает абсолютное значение фазы выходного канала.

25. Способ формирования многоканального выходного сигнала из входного сигнала, при этом входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, при этом квантованные параметры восстановления квантуются в соответствии с правилом квантования и ассоциируются с последующими временными отрезками входного канала, при этом выходной сигнал имеет некоторое количество синтезированных выходных каналов, и количество синтезированных выходных каналов больше 1 или больше количества входных каналов, содержащий этапы, на которых

принимают текущие или предшествующие квантованные и предварительно кодированные параметры восстановления для последующих временных отрезков входного сигнала,

определяют (10) заключительно обработанный параметр восстановления или заключительно обработанную величину, выведенную из параметра восстановления для обрабатываемого временного отрезка входного сигнала, чтобы значение заключительно обработанного параметра восстановления или заключительно обработанной величины отличалось от значения, получаемого с использованием повторного квантования квантованного параметра восстановления в соответствии с правилом квантования; и

восстанавливают (12) временной отрезок количества синтезированных выходных каналов с использованием временного отрезка входного канала и заключительно обработанного параметра восстановления, либо заключительно обработанного значения, причем на этапе восстановления (12) используют последовательные временные отрезки входного сигнала, заключительно обработанные параметры восстановления с постпроцессора и/или другие параметры восстановления, которые не подвергаются постобработке, и в результате этапа восстановления (12) получают многоканальный выходной сигнал