Способы улучшения характеристик многоканальной реконструкции на основе прогнозирования

Для многоканальной реконструкции аудиосигналов на основе, по меньшей мере, одного основного канала используют меру энергии для компенсации потерь энергии в результате предиктивного повышающего микширования. Мера энергии может быть применена в кодере или в декодере. Кроме того, декоррелированный сигнал добавляют к выходным каналам, сгенерированным с использованием процедуры повышающего микширования, вносящего потерю энергии. Энергия декоррелированного сигнала меньше, чем или равна ошибке энергии, введенной предиктивным повышающим микшированием. Таким образом, решают проблемы, возникающие в способах повышающего микширования, основанных на прогнозировании, таких как повышающее микширование сигналов, которые кодированы с использованием методики реконструкции высокой частоты, в результате чего получают правильную корреляцию между каналами повышающего микширования или адаптируют повышающее микширование для произвольного понижающего микширования. Технический результат - обеспечение повышения качества конструированного многоканального выходного сигнала. 17 н. и 37 з.п. ф-лы, 18 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к многоканальной реконструкции аудиосигналов на основе доступного стереосигнала и дополнительных данных управления.

Уровень техники

Развитие кодирования звука в последнее время сделало возможным восстановление многоканального представления аудиосигнала на основе стерео- (или моно-) сигнала и соответствующих данных управления. Эти способы существенно отличаются от использовавшегося ранее решения на основе матрицы, такого как Dolby Prologic, поскольку дополнительные данные управления передают для управления восстановлением, также называемым повышающим микшированием, окружающих каналов на основе передаваемых моно- или стереоканалов.

Таким образом, параметрические многоканальные аудиодекодеры реконструируют N каналов на основе М передаваемых каналов, когда N>М, и дополнительных данных управления. Дополнительные данные управления требуют существенно меньшей скорости передачи данных, чем для передачи дополнительных N-M каналов, что делает кодирование очень эффективным, одновременно обеспечивая совместимость как с М-канальными устройствами, так и с N-канальными устройствами.

Такие параметрические способы кодирования окружающего звука обычно содержат параметризацию окружающего сигнала на основе РИК (IID, разность интенсивности между каналами) и КМК (ICC, когерентность между каналами). Эти параметры описывают отношения мощности и корреляцию между парами каналов в процессе повышающего микширования. Другие параметры, также используемые в предшествующем уровне техники, содержат параметры прогнозирования, используемые для прогнозирования промежуточных или выходных каналов в процедуре повышающего микширования.

Один из наиболее привлекательных вариантов использования способа на основе прогнозирования, как описано в предшествующем уровне техники, представляет система, которая восстанавливает конфигурацию 5.1 каналов из двух переданных каналов. В такой конфигурации доступна стереопередача на стороне декодера, которая представляет собой понижающее микширование исходных 5.1 многоканальных сигналов. В этом контексте особенно интересно было бы обеспечить возможность, как можно более точно выделить центральный канал из стереосигнала, поскольку центральный канал обычно микшируют с понижением, как с использованием левого, так и правого каналов, микшированных с понижением. Это выполняется посредством оценки двух коэффициентов прогнозирования, описывающих величину каждого из двух передаваемых каналов, используемых для построения центрального канала. Эти параметры оценивают для разных областей частот, аналогично указанным выше параметрам РИК и КМК.

Однако поскольку параметры прогнозирования не описывают отношение мощности двух сигналов, а основаны на сопоставлении формы колебаний в смысле среднеквадратической ошибки, способ по своей сущности становится чувствительным к любой модификации формы колебаний стереосигнала после расчета параметров прогнозирования.

Дальнейшее развитие аудиокодирования в последние годы позволило ввести способы высокочастотной реконструкции как очень полезный инструмент, используемый в аудиокодеках при низких значениях скорости передачи данных. Один из примеров представляет собой ДСД (SBR, дублирование спектрального диапазона) [WO 98/57436], в котором используются стандартизированные кодеки MPEG (Стандарт Экспертной группы по вопросам движущегося изображения), такие как MPEG-4 High Efficiency AAC (высокоэффективное усовершенствованное аудиокодирование). Для всех этих способов характерно то, что они восстанавливают высокие частоты на стороне декодера из сигнала с узкой полосой частот, кодированного с помощью основного центрального кодека, и с использованием небольшого количества дополнительной направляющей информации. Аналогично случаю параметрической реконструкции многоканальных сигналов на основе одного или двух каналов количество данных управления, требуемых для восстановления отсутствующих компонентов сигнала (в случае ДСД, на высоких частотах), значительно меньше, чем количество данных, которые потребовалось бы для кодирования всего сигнала с использованием кодека формы колебаний.

Однако следует понимать, что восстановленный сигнал в области высоких частот по восприятию равен исходному сигналу в области высоких частот, в то время как действительная форма колебаний существенно отличается. Кроме того, для кодеров формы сигнала обычно используют кодирование стереосигналов с применением предварительной обработки стереосигнала с низкой скоростью передачи данных, что означает, что выполняют ограничения бокового сигнала среднего/бокового представления стереосигнала.

Когда требуется обеспечить многоканальное представление на основе сигнала стереокодека, с использованием формата MPEG-4 High Efficiency AAC или любого другого кодека, в котором применяются методики высокоэффективного восстановления, требуется учитывать эти и другие аспекты кодека, используемого для кодирования стереосигнала с понижающим микшированием.

Более того, как правило, для записи, доступной как многоканальный аудиосигнал, доступно специализированное стереосмешение, которое не является автоматизированной версией понижающего микширования многоканального сигнала. Такой подход обычно называется "артистическим понижающим микшированием". Такое понижающее микширование нельзя выразить в виде линейной комбинации многоканальных сигналов.

Задача настоящего изобретения состоит в предоставлении улучшенной концепции многоканального понижающего микширования/кодера или повышающего микширования/декодера, которая позволит обеспечить более высокое качество реконструированного многоканального выходного сигнала.

Эта задача решается с помощью многоканального синтезатора в соответствии с пунктом 1 формулы изобретения, кодера для обработки многоканального входного сигнала в соответствии с пунктом 30 формулы изобретения, способа генерирования, по меньшей мере, трех выходных каналов, в соответствии с пунктом 42 формулы изобретения, способа кодирования в соответствии с пунктом 43 формулы изобретения, кодированного многоканального сигнала в соответствии с пунктом 44 формулы изобретения, носителя данных в соответствии с пунктом 45 формулы изобретения.

Сущность изобретения

Настоящее изобретение относится к проблеме модификации формы колебаний микшированного с понижением многоканального сигнала, когда используют способы повышающего микширования на основе прогнозирования. Это включает в себя, когда сигнал понижающего микширования кодируют с помощью кодека, выполняющего предварительную стереообработку, высокочастотное восстановление и другие схемы кодирования, которые существенно модифицируют форму колебаний сигнала. Кроме того, изобретение направлено на решение проблемы, которая возникает при использовании предиктивных технологий повышающего микширования для артистического понижающего микширования, то есть для сигнала не автоматизированного понижающего микширования из многоканального сигнала.

Настоящее изобретение характеризуется следующими признаками:

- Оценка параметров прогнозирования на основе модифицированной формы колебаний вместо формы колебаний после понижающего микширования;

- Использование способов на основе прогнозирования только в тех частотных диапазонах, где это является предпочтительным;

- Коррекция потери энергии и неточностей корреляции между каналами, вводимых в процедуре повышающего микширования на основе прогнозирования.

Краткое описание чертежей

Настоящее изобретение будет описано ниже с использованием иллюстративных примеров, не ограничивающих объем или сущность изобретения, со ссылкой на прилагаемые чертежи, на которых:

на фиг.1 представлена реконструкция на основе прогнозирования трех каналов из двух каналов;

на фиг.2 иллюстрируется предиктивное повышающее микширование с компенсацией энергии;

на фиг.3 представлена компенсация энергии предиктивного повышающего микширования;

на фиг.4 показан блок оценки параметра прогнозирования для стороны кодера с компенсацией энергии сигнала, обработанного с понижающим микшированием;

на фиг.5 представлено предиктивное повышающее микширование с реконструкцией корреляции;

на фиг.6 представлен модуль микширования для смешивания декоррелированного сигнала с сигналом повышающего микширования при повышающем микшировании с реконструкцией корреляции;

на фиг.7 показана иллюстрация альтернативного модуля микширования для смешивания декоррелированного сигнала с сигналом после повышающего микширования при повышающем микшировании с реконструкцией корреляции;

на фиг.8 представлена оценка параметра прогнозирования на стороне кодера;

на фиг.9 показана оценка параметра прогнозирования на стороне кодера;

на фиг.10 показана иллюстрация оценки параметра прогнозирования на стороне кодера;

на фиг.11 показано устройство повышающего микшировании в соответствии с настоящим изобретением;

на фиг.12 показан график энергии, представляющий результат повышающего микширования, вносящего потери энергии, и предпочтительной компенсации;

на фиг.13 показана таблица предпочтительных способов компенсации энергии;

на фиг.14a показана схема предпочтительного многоканального кодера;

на фиг.14b показана блок-схема последовательности операций предпочтительного способа, выполняемого устройством по фиг.14a;

на фиг.15a показан многоканальный кодер, имеющий функцию дублирования спектрального диапазона для генерирования другой параметризации по сравнению с устройством, показанным на фиг.14a;

на фиг.15b представлена в виде таблицы иллюстрация избирательного по частоте генерирования и передачи параметрических данных;

на фиг.16a показан декодер в соответствии с настоящим изобретением, иллюстрирующий расчет коэффициентов матрицы повышающего микширования;

на фиг.16b представлено подробное описание расчета параметра для предиктивного повышающего микширования;

на фиг.17 показаны передатчик и приемник системы передачи данных;

на фиг.18 показано устройство аудиозаписи, имеющее кодер, и проигрыватель звука, имеющий декодер, в соответствии с настоящим изобретением.

Подробное описание предпочтительного варианта осуществления

Описанные ниже варианты выполнения представляют собой просто иллюстрацию принципов настоящего изобретения. Следует понимать, что модификации и варианты описанных здесь компоновок и деталей будут очевидны для других людей - специалистов в данной области техники. Поэтому предполагается, что ограничения определены только объемом приведенной ниже формулы изобретения патента, а не конкретными деталями, представленными в виде описания и пояснения вариантов его выполнения.

Следует подчеркнуть, что следующий расчет параметров, варианты применения, повышающее микширование, понижающее микширование, или любые другие действия могут быть выполнены на основе избирательного подхода к частотному диапазону, то есть для поддиапазонов в наборе фильтров.

Для того чтобы кратко представить преимущества настоящего изобретения, вначале будет приведено подробное описание предиктивного повышающего микширования, известного из предшествующего уровня техники. Предположим, что на фиг.1 схематично представлено повышающее микширование трех каналов на основе двух каналов, полученных после понижающего микширования, где ссылочной позицией 101 представлен левый исходный канал, ссылочной позицией 102 представлен центральный исходный канал, ссылочной позицией 103 представлен правый исходный канал, ссылочной позицией 104 представлен модуль понижающего микширования и выделения параметра на стороне кодера, ссылочными позициями 105 и 106 обозначены параметры прогнозирования, ссылочной позицией 107 обозначен левый канал после понижающего микширования, ссылочной позицией 108 представлен правый канал после понижающего микширования, ссылочной позицией 109 представлен модуль предиктивного повышающего микширования и ссылочными позициями 110, 111 и 112 представлены реконструированные левый, центральный и правый каналы, соответственно.

Примем следующие определения, где X представляет собой матрицу размером 3×L, содержащую три сегмента l(k), r(k), c(k) сигнала, k=0, ..., L-1 в качестве строк.

Аналогично, пусть два сигнала l₀(k), r₀(k) после понижающего микширования формируют строки матрицы X₀. Процесс понижающего микширования описан как

X0=DX

(1)

где матрица понижающего микширования определена как

(2)

Предпочтительный выбор матрицы понижающего микширования может быть представлен как

(3)

что означает, что левый сигнал l₀(k) понижающего микширования будет содержать только l(k) и αc(k), и сигнал r₀(k) будет содержать только r(k) и αc(k). Такая матрица понижающего микширования является предпочтительной, поскольку она назначает равные части центрального канала левому и правому каналам понижающего микширования, и поскольку она не назначает какую-либо часть исходного правого канала левому каналу понижающего микширования или наоборот.

Повышающее микширование определяется как

(4)

где C представляет собой матрицу повышающего микширования размером 3×2.

Предиктивное повышающее микширование, как известно из предшествующего уровня техники, основано на идее решения сверхопределенной системы

(5)

для C в смысле наименьших квадратов. Это приводит к нормальным уравнениям

(6)

При умножении левой части уравнения (6) на D получим DCX₀X₀ ^"=X₀X₀ ^", которая, в общем случае, когда X₀X₀*=DXX*D* не является вырожденной, при этом подразумевается, что

(7)

где I_n обозначает n единичных матриц. Это уравнение уменьшает пространство C параметра до размерности два.

Учитывая приведенное выше, матрица повышающего микширования может быть полностью определена на стороне декодера, если известна матрица D понижающего микширования, и будут переданы два элемента матрицы C, например,

с₁₁ и с₂₂.

Остаточные сигналы (ошибка прогнозирования) определяются уравнением

(8)

При умножении левой части на D получим

(9)

в соответствии с (7). Из этого следует, что существует векторный сигнал x_r строки 1×L, такой, что

(10)

где ν представляет собой единичный вектор размером 3x1, проходящий через ядро (нулевое пространство) матрицы D. Например, в случае понижающего микширования (3) можно использовать уравнение

(11)

В общем, когда ν=[ν_l, ν_r, ν_e]^T и , это означает только, что с учетом весового коэффициента, остаточный сигнал является общим для всех трех каналов,

(12)

В соответствии с принципом ортогональности остаточный x_r(k) является ортогональным ко всем трем прогнозируемым сигналам .

Решаемые проблемы и улучшения, полученные с помощью предпочтительных вариантов выполнения настоящего изобретения

Очевидно, что при использовании повышающего микширования на основе прогнозирования в соответствии с предшествующим уровнем техники, кратко описанным выше, возникают следующие проблемы:

Способ основан на сопоставлении формы колебаний в смысле минимальных среднеквадратичных ошибок, что неприменимо для систем, в которых не поддерживается форма колебаний сигналов после понижающего микширования.

Способ не обеспечивает правильную структуру корреляции между реконструированными каналами (как будет описано ниже).

Способ не восстанавливает правильное количество энергии в реконструируемых каналах.

Компенсация энергии

Как указано выше, одна из проблем, связанных с многоканальной реконструкцией на основе прогнозирования, состоит в том, что ошибка прогнозирования соответствует потере энергии трех реконструируемых каналов. Ниже представлено теоретическое обоснование такой потери энергии и решение в соответствии с предпочтительными вариантами выполнения. Вначале выполнен теоретический анализ и затем приведен предпочтительный вариант выполнения настоящего изобретения в соответствии с кратко описанной ниже теорией.

Пусть E, и Er представляют сумму энергии исходных сигналов в X, прогнозируемых сигналов в и сигналов ошибки прогнозирования в Xr, соответственно. Из принципа ортогональности следует, что

(13)

Суммарное усиление прогнозирования может быть определено как , но ниже будет более удобно учитывать параметр

(14)

Следовательно, измеряет общую относительную энергию предиктивного повышающего микширования.

Учитывая такое значение ρ, становится возможным выполнить повторную регулировку в каждом канале, применяя коэффициент усиления компенсации , так что для z=1, r, c. В частности целевая энергия определяется уравнением (12),

(15)

таким образом, требуется решить уравнение

(16)

Здесь, поскольку ν представляет единичный вектор,

(17)

и из определения (14) ρ и (13) следует, что

(18)

После объединения всего этого вместе получим коэффициент усиления

(19)

Очевидно, что при использовании такого способа, в дополнение к передаче ρ, в декодере необходимо рассчитывать распределение энергии декодированных каналов. Кроме того, обеспечивается правильная реконструкция только энергии, в то время как структура корреляции за пределами диагонали игнорируется.

Возможно получить значение коэффициента усиления, которое обеспечивает сохранение суммарной энергии, но не обеспечивает то, что энергия в отдельных каналах будет правильной. Суммарное значение коэффициента усиления для всех каналов g_z=g, которое обеспечивает сохранение общей энергии, получают путем определения уравнения . Таким образом,

(20)

В соответствии с принципом линейности, такой коэффициент усиления можно применять в кодере для сигналов после понижающего микширования, и поэтому требуется передавать дополнительный параметр.

На фиг.2 схематично представлен предпочтительный вариант выполнения настоящего изобретения, который повторно создает три канала, при поддержании правильной энергии выходных каналов. Сигналы l₀ и r₀ после понижающего микширования подают в модуль 201 повышающего микширования вместе с параметрами с₁ и c₂ прогнозирования. Модуль повышающего микширования восстанавливает матрицу C повышающего микширования, основываясь на знании матрицы D понижающего микширования и полученных параметров прогнозирования. Три выходных канала блока 201 подают в блок 202 вместе с параметром ρ регулирования. В трех каналах регулируют коэффициент усиления как функцию переданного параметра ρ и на выход подают сигналы каналов со скорректированной энергией.

На фиг.3 показан более подробный вариант выполнения модуля 202 регулирования. Три канала повышающего микширования подают в модуль 304 регулирования, а также в модули 301, 302 и 303, соответственно. Модули 301-303 оценки энергии выполняют оценку энергии трех сигналов после повышающего микширования и передают измеренное значение энергии в модуль 304 регулирования. Сигнал ρ управления (представляющий прогнозируемый коэффициент усиления), полученный из кодера, также подают в модуль 304 регулирования. Модуль регулирования выполняет уравнение (19), которое приведено выше.

В альтернативном варианте выполнения настоящего изобретения коррекция энергии может быть выполнена на стороне кодера. На фиг.4 представлен вариант выполнения кодера, где после понижающего микширования регулируют коэффициент усиления для сигналов l₀ 107 и r₀ 108 с помощью модулей 401 и 402, в соответствии со значением коэффициента усиления, рассчитанным в модуле 403. Значение коэффициента усиления получают в соответствии с приведенным выше уравнением (20). Как указано выше, этот вариант выполнения настоящего изобретения имеет преимущество, поскольку не требуется рассчитывать энергию трех восстановленных каналов после предиктивного повышающего микширования. Однако это обеспечивает только то, что суммарная энергия трех восстановленных каналов будет правильной. Такой подход не обеспечивает, что энергия в индивидуальных каналах будет правильной.

На фиг.4 под понижающим микшером показан предпочтительный пример матрицы понижающего микширования, соответствующей уравнению (3). Однако в понижающем микшере может применяться любая общая матрица понижающего микширования, в соответствии с уравнением (2).

Как будет описано ниже, для настоящего случая понижающего микширования, на входе которого используется три канала и на выходе получают два канала, требуются, по меньшей мере, два дополнительных параметра c₁, с₂ повышающего микширования. Когда матрица D является переменной или не полностью известна декодеру, в дополнение к параметрам 105 и 106 также требуется передавать дополнительную информацию по использованному понижающему микшированию со стороны кодера на сторону декодера.

Структура корреляции

Одна из проблем процедуры повышающего микширования, описанной для предшествующего уровня техники, состоит в том, что она не позволяет восстановить правильную корреляцию между восстановленными каналами. Поскольку, как было указано выше, центральный канал прогнозирует как линейную комбинацию левого канала после понижающего микширования и правого канала после понижающего микширования, и левый, и правый каналы восстанавливают путем вычитания прогнозируемого центрального канала из левого и правого каналов после понижающего микширования. Очевидно, что в результате ошибки прогнозирования возникают остатки исходного центрального канала в прогнозируемом левом и правом каналах. Это подразумевает, что корреляции между тремя каналами не будет той же для реконструированных каналов, какой она была для исходных трех каналов.

В предпочтительном варианте выполнения описано, что прогнозируемые три канала следует комбинировать с декоррелированными сигналами, в соответствии с измеренной ошибкой прогнозирования.

Основные теоретические положения для достижения правильной структуры корреляции будут описаны ниже. Специальная структура остаточного сигнала может использоваться для реконструкции полной, размером 3×3, структуры XX* корреляции, путем замены остаточного сигнала в декодере декоррелированным сигналом х_d.

Вначале отметим, что нормальные уравнения (6) приводят к X_rX₀ ^*=0, в результате чего

(21)

Следовательно, поскольку

(22)

где для последнего равенства были применены уравнения (10) и (17).

Допустим, что х_d представляет собой сигнал, декоррелированный из всех декодированных сигналов так, что Улучшенный сигнал

(23)

затем имеет матрицу корреляции

(24)

Для полного воспроизведения исходной матрицы (22) корреляции достаточно, чтобы

(25)

Если x_d был получен путем декорреляции сигнала после понижающего микширования, скажем, , после чего следует коэффициент усиления γ, тогда будет справедливым следующее выражение

(26)

Такой коэффициент усиления может быть рассчитан в кодере. Однако если требуется использовать более хорошо определенный параметр из (14), в декодере должна быть выполнена оценка и . С учетом этого, более привлекательно сгенерировать x_d c использованием трех декорреляторов

(26а)

поскольку в этом случае , так что (25) удовлетворяется путем выбора

(27)

На фиг.5 представлен один вариант выполнения настоящего изобретения для предиктивного повышающего микширования трех каналов из двух каналов понижающего микширования, при поддержании правильной структуры корреляции между каналами. На фиг.5 используются те же модули 109, 110, 111 и 112, что и по фиг.1, и не будут здесь дополнительно описаны. Три сигнала после повышающего микширования, поступающие с выхода модуля 109, подают в модули 501, 502 и 503 декорреляции. Они генерируют взаимно декоррелированные сигналы. Декоррелированные сигналы суммируют и подают в модули 504, 505 и 506 микширования, где их микшируют с выходным сигналом модуля 109. Микширование сигналов предиктивного повышающего микширования с их же декоррелированными версиями является существенным свойством настоящего изобретения. На фиг.6 представлен один вариант выполнения модулей 504, 505 и 506 микширования. В этом варианте выполнения настоящего изобретения уровень декоррелированного сигнала регулируют с помощью модуля 601 на основе сигнала γ управления. Декоррелированный сигнал затем добавляют к сигналу, полученному после предиктивного повышающего микширования в модуле 602.

В третьем предпочтительном варианте выполнения используются декорреляторы 501, 502, 503 для каналов повышающего микширования. Декоррелированный сигнал также может быть сгенерирован декоррелятором 501', который принимает в качестве входного сигнала сигнал канала после понижающего микширования или даже сигналы всех каналов понижающего микширования. Кроме того, в случае более одного канала понижающего микширования, как показано на фиг.5, сигнал декорреляции также может быть сгенерирован с помощью отдельных декорреляторов для левого основного канала l₀ и правого основного канала r₀ и путем комбинирования выхода этих отдельных декорреляторов. Эта возможность, по существу, является такой же, как возможность, представленная на фиг.5, но отличается от возможности, показанной на фиг.5, тем, что используются основные каналы до повышающего микширования.

Кроме того, в связи с фиг.5 можно отметить, что микширующие модули 504, 505 и 506 не только принимают коэффициент γ, который равен для всех трех каналов, поскольку этот коэффициент зависит только от меры ρ энергии, но также и принимают специфичный для канала коэффициент νl, νc и νr, который определяют, как описано со ссылкой на уравнения (10) и (11). Этот параметр, однако, не требуется передавать из кодера в декодер, когда для декодера известно понижающее микширование, используемое в кодере. Вместо этого, эти параметры в матрице ν, как показано в уравнении (10) и (11), предпочтительно заранее программируют в микширующих модулях 504, 505 и 506 так, чтобы эти специфичные для канала взвешивающие коэффициенты не требовалось передавать (но, конечно, они могут быть переданы, в случае необходимости).

На фиг.6 показано, что взвешивающее устройство 601 регулирует энергию декоррелированного сигнала, используя произведение γ, и параметра vz, зависящего от понижающего микширования, специфичного для канала, где z обозначает l, r или c. В этом контексте следует отметить, что уравнение (26a) обеспечивает то, что энергия х_d будет равна суммарной энергии левого, правого и центрального каналов после повышающего микширования с прогнозированием. Поэтому устройство 601 может быть выполнено просто как преобразователь масштаба с использованием коэффициента GI масштабирования. Когда, однако, декоррелированный сигнал генерируют альтернативно, модуль 504, 505, 506 микширования должен выполнять абсолютную регулировку энергии декоррелированного сигнала, добавленного с помощью устройства 602 суммирования так, чтобы энергия сигнала, добавленная в сумматоре 602, была равна энергии остаточного сигнала, например, энергии, которая была потеряна в результате предиктивного повышающего микширования без сохранения энергии.

Что касается специфичного для канала параметра νz, зависящего от понижающего микширования, те же замечания, которые были выражены со ссылкой на фиг.6, также применимы для фиг.7.

Кроме того, здесь следует отметить, что варианты выполнения, показанные на фиг.6 и фиг.7, основаны на понимании того, что, по меньшей мере, часть энергии, потерянной при предиктивном повышающем микшировании, добавляют с использованием сигнала декорреляции. Для получения правильных значений энергии сигнала и частей коррекции в "сухом" компоненте сигнала (нескоррелированном) и во "влажном" компоненте сигнала (декоррелированном) следует убедиться, что "сухой" сигнал, подаваемый в модуль 504 микширования, не был заранее масштабирован. Когда, например, основные каналы были заранее скорректированы на стороне декодера (как показано на фиг.4), такая предварительная корреляция, показанная на фиг.4, должна быть скомпенсирована путем умножения канала на (относительную) меру ρ энергии перед вводом сигнала из этого канала в модуль 504, 505 или 506 микширования. Кроме того, та же процедура должна быть выполнена, когда такая коррекция энергии была выполнена на стороне декодера перед вводом сигналов каналов понижающего микширования в повышающий микшер 109, как показано на фиг.5.

Когда только часть остаточной энергии должна быть охвачена декоррелированным сигналом, предварительная корреляция должна быть устранена только частично, путем предварительного масштабирования сигнала, вводимого в модуль 504, 505, 506 микширования, с помощью коэффициента, зависящего от ρ, который, однако, ближе к единице, чем сам коэффициент ρ. Естественно, такой частично компенсирующий коэффициент предварительного масштабирования будет зависеть от сигнала κ, генерируемого кодером, подаваемого на вход 605 по фиг.7. Когда требуется выполнить такое частичное предварительное масштабирование, весовой коэффициент, применяемый в G₂, становится ненужным. Вместо этого, ответвление от входа 604 в сумматор 602 будет таким же, как на фиг.6.

Управление степенью декорреляции

В предпочтительном варианте выполнения изобретения описано, что степенью декорреляции, добавляемой к прогнозируемым сигналам повышающего микширования, можно управлять из кодера, при этом поддерживая правильную выходную энергию. Это происходит в результате того, что в типичном примере "интервью" сухой речи в центральном канале и окружающих звуков в левом и правом каналах замена ошибки прогнозирования в центральном канале декоррелированным сигналом может быть нежелательной.

В соответствии с предпочтительным вариантом выполнения настоящего изобретения может использоваться альтернативная процедура микширования, представленная на фиг.5. Ниже будет показано, как в соответствии с настоящим изобретением проблемы сохранения общей энергии и правильного воспроизведения корреляции могут быть разделены, и степенью декорреляции можно управлять с помощью параметра κ.

Предположим, что компенсация (20) коэффициента усиления, для сохранения общей энергии, была выполнена в сигнале после понижающего микширования, в результате чего вначале получают декодированный сигнал. Исходя из этого, декоррелированный сигнал d с той же суммарной энергиейбудет получен, например, используя три декоррелятора, как и в предыдущем разделе. Суммарный сигнал после повышающего микширования затем будет определен в соответствии с

(29)

где представляет собой переданный параметр. Выбор κ=1 соответствует сохранению суммарной энергии без добавления сигнала декорреляции, и κ=ρ соответствует полному воспроизведению структуры корреляции 3x3. Получим

(30)

таким образом, суммарная энергия будет сохранена для всех , как можно видеть, путем расчета следов (суммы диагональных значений) матриц в (30). Однако правильная отдельная энергия будет получена только для κ=ρ.

На фиг.7 показан вариант выполнения модулей 504, 505 и 506 микширования по фиг.5 в соответствии с теорией, представленной выше. В этом альтернативном варианте модулей микширования параметр γ управления поступает в модули 702 и 701. Коэффициент усиления, используемый для модуля 702, соответствует κ, в соответствии с уравнением (29), приведенным выше, и коэффициент усиления, используемый для модуля 701, соответствует в соответствии с уравнением (29), приведенным выше.

Описанный выше вариант выполнения настоящего изобретения позволяет использовать в системе механизм детектирования на стороне кодера, который выполняет оценку величины декорреляции, которая должна быть добавлена при повышающем микшировании на основе прогнозирования. В варианте выполнения, описанном со ссылкой на фиг.7, добавляют указанную величину декоррелированного сигнала и применяют коррекцию энергии так, чтобы суммарная энергия трех каналов была правильной, и при этом все еще обеспечивалась возможность замены произвольной величины ошибки прогнозирования декоррелированным сигналом.

Это означает, что, например, для трех окружающих сигналов, например, для произведения классической музыки с большим количеством окружающих сигналов, кодер может детектировать отсутствие "сухого" центрального канала и может позволить декодеру заменить полностью всю ошибку прогнозирования декоррелированным сигналом, воссоздавая, таким образом, окружающие звуки для звука из трех каналов, таким образом, как было бы невозможно, используя только способы на основе прогнозирования предшествующего уровня техники. Кроме того, в случае сигнала с сухим центральным каналом, например, речи в центральном канале и окружающих звуков в левом и правом каналах, кодер детектирует, что замена ошибки прогнозирования декоррелированным сигналом не является психоакустически правильной, и, вместо этого, позволяет декодеру регулировать уровни трех реконструированных каналов таким образом, чтобы энергия в трех каналах была правильной. Очевидно, что эти крайние примеры, представленные выше, представляют два возможных результата изобретения. Оно не ограничено охватом только крайних случаев, представленных в приведенных выше примерах.

Адаптация коэффициентов прогнозирования для модифицированных форм колебаний

Как обрисовано выше, оценку параметров прогнозирования получают путем минимизации среднеквадратической ошибки, с учетом исходных трех каналов X и матрицы D понижающего микширования. Однако во многих ситуациях нельзя полагаться на то, что сигнал понижающего микширования может быть описан как матрица D понижающего микширования, умноженная на матрицу X, описывающую исходный многоканальный сигнал.

Один очевидный пример этого может быть представлен использованием так называемого "артистического понижающего микширования", то есть когда два канала понижающего микширования не могут быть описаны как линейная комбинация многоканального сигнала. Другой пример может представлять собой сигнал понижающего микширования, кодированный перцептуальным аудиокодеком, в котором используется предварительная стереообработка или другие инструменты, для повышения эффективности кодирования. В предшествующем уровне техники общеизвестно, что множество перцептуальных аудиокодеков основаны на среднем/боковом стереокодировании, где боковой сигнал ослабляют в соответствии с условием, ограниченным скоростью передачи данных, в результате чего получают выход, который имеет более узкое стереоизображение, чем у сигнала, использованного для кодирования.

На фиг.8 показан предпочтительный вариант выполнения настоящего изобретения, где выделение параметра на стороне кодера, помимо многоканального сигнала, также имеет доступ к модифицированному сигналу понижающего микширования. Модифицированное понижающее микширование генерируют здесь с помощью модуля 801. Если передают только два параметра матрицы C, знание матрицы D на стороне декодера необходимо для того, чтобы обеспечить возможность повышающего микширования и получить, по меньшей мере, среднеквадратическую ошибку для всех каналов понижающего микширования. Однако в настоящем варианте выполнения описывается, что можно заменить сигналы l₀ и r₀ понижающего микширования на стороне кодера сигналами l'₀ и r'₀ понижающего микширования, которые были получены в результате использования матрицы D понижающего микширования, которая не обязательно является той же, какая предполагается в декодере. Использование альтернативного понижающего микширования для оценки параметра на стороне кодера гарантирует только правильное воспроизведение центрального канала на стороне декодера. Благодаря передаче дополнительной информации из кодера в декодер может быть получено более точное повышающее микширование трех каналов. В одном крайнем случае могут быть переданы все шесть элементов матрицы C. Однако в настоящем варианте выполнения описано, что поднабор матрицы C может быть передан, если он сопровождается информацией, относящейся к матрице D понижающего микширования, используемой в 802.

Как указано выше, в перцептуальных аудиокодеках используют среднее/боковое кодирование для стереокодирования при малых скоростях передачи битов. Кроме того, обычно используется предварительная стереообработка для уменьшения энергии бокового сигнала в условиях ограниченной скорости передачи битов. Это выполняют на основе психоакустического восприятия того, что уменьшение ширины стереосигнала является предпочтительным артефактом кодирования по сравнению с воспринимаемыми на слух искажениями квантизации и ограничениями полосы пропускания.

Следовательно, если используется предварительная стереообработка, уравнение (3) понижающего микширования может быть выражено как

(31)

где γ представляет собой ослабление бокового сигнала. Как указано выше, матрица D должна быть известна на стороне декодера для обеспечения возможности правильной реконструкции трех каналов.

Следовательно, в настоящем варианте выполнения описано то, что коэффициент ослабления должен быть передан в декодер.

На фиг.9 представлен другой вариант выполнения настоящего изобретения, в котором сигналы l₀ и r₀ понижающего микширования, поступающие с выхода 104, подают в устройство 901 предварительной стереообработки, которая ограничивает боковой сигнал [l₀-r₀) среднего/бокового представления сигнала понижающего микширования с коэффициентом γ. Этот параметр передают в декодер.

Параметризация для сигналов кодека ВВЧ

Если повышающее микширование на основе прогнозирования используется со способами восстановления высокой частоты (ВВЧ, HFR), такими как ДСД [WO 98/57436], параметры прогнозирования, оценка которых выполняется на стороне кодера, не будут соответствовать восстановленному сигналу в высокочастотном диапазоне на стороне декодера. В настоящем варианте выполнения описано использование альтернативной структуры повышающего микширования, которое не основано на поддержании формы колебаний сигнала для восстановления трех каналов из двух. Предложенная процедура повышающего микширования разработана для восстановления правильной энергии всех каналов повышающего микширования, в случае некоррелированных шумовых сигналов. Предположим, что используется матрица D_α понижающего микширования, как определено в (3). На этом основании определим матрицу C повышающего микширования. Затем повышающее микширование определяется с помощью уравнения

(32)

Стремясь только к восстановлению правильной энергии сигнала l(k), r(k) и c(k) повышающего микширования, в случае, когда значения энергии представляют собой L, R и C, матрицу повышающего микширования выбирают таким образом, чтобы диагональные элементы и XX ^* были одинаковыми, в соответствии с:

(35)

Соответствующее выражение для матрицы понижающего микширования будет представлять собой

Установка диагонального элемента , равным диагональному элементу XX ^*, преобразуется в три уравнения, определяющих взаимосвязь между элементами в C и L, R и C

(38)

Основываясь на приведенном выше, может быть определена матрица повышающего микширования. Предпочтительно определить матрицу повышающего микширования, которая не добавляет сигнал правого канала понижающего микширования к левому каналу повышающего микширования, и наоборот. Следовательно, соответствующая матрица повышающего микширования будет представлять собой

(39)

В результате этого получим матрицу C в соответствии с:

(40)

Можно показать, что элементы матрицы C могут быть восстановлены на стороне декодера из этих переданных двух параметров и .

На фиг.10 представлен предпочтительный вариант выполнения настоящего изобретения. Здесь используются те же модули 101-112, что и на фиг.1, и они не будут дополнительно подробно описаны здесь. Три исходных сигнала 101-103 поступают в модуль 1001 оценки. Этот модуль выполняет оценку двух параметров, например и , из которых может быть получена матрица C на стороне декодера. Эти параметры, вместе с параметрами, поступающими с выхода модуля 104, подают в модуль 1002 выбора. В одном предпочтительном варианте выполнения модуль 1002 выбора выводит параметры из модуля 104, если эти параметры соответствуют частотному диапазону, который кодирован с помощью кодека формы колебаний, и выводит эти параметры из модуля 1001, если параметры соответствуют частотному диапазону, реконструированному с помощью ВВЧ. Модуль 1002 выбора также выводит информацию 1005, по которой параметризацию используют для разных частотных диапазонов сигнала.

На стороне декодера модуль 1004 получает переданные параметры и направляет их в модуль 109 повышающего микширования с прогнозированием или в модуль 1003 повышающего микширования на основе энергии, в соответствии с описанным выше, в зависимости от индикации, заданной параметром 1005. Модуль 1003 повышающего микширования на основе энергии выполняет матрицу C повышающего микширования в соответствии с уравнением (40).

Матрица C повышающего микширования, как представлено в уравнении (40), имеет равные веса (δ) для получения оценки (декодера) сигнала c(k) от двух сигналов l₀(k), r₀(k) понижающего микширования. На основе того наблюдения, что относительное количество сигнала c(k) может отличаться в двух сигналах l₀(k), r₀(k) понижающего микширования (то есть C/L не равно C/R), также можно рассмотреть следующую обобщенную матрицу повышающего микширования:

(41)

Для оценки c(k) в данном варианте выполнения также требуется передача двух параметров c₁ и c₂ управления, которые, например, равны c₁=α²C/(L+α²X) и c₂=α²X/(R+α²C). Возможные варианты выполнения для функций f₁ матрицы повышающего микширования затем определяются следующими уравнениями

Передача сигналов с разной параметризацией для диапазона ДСД в соответствии с настоящим изобретением не ограничивается ДСД. Приведенную выше параметризацию можно использовать в любом частотном диапазоне, когда ошибка прогнозирования повышающего микширования на основе прогнозирования считается слишком большой. Следовательно, модуль 1002 может выводить параметры из модуля 1001 или 104 в зависимости от множества критериев, таких как способ кодирования переданных сигналов, ошибка прогнозирования и т.д.

Предпочтительный способ улучшенной реконструкции множества каналов на основе прогнозирования включает в себя на стороне кодера выделение разных многоканальных параметризаций для разных частотных диапазонов и на стороне декодера приложения этих параметризаций к частотным диапазонам для реконструкции множества каналов.

Дополнительный предпочтительный вариант выполнения настоящего изобретения включает в себя способ улучшенной многоканальной реконструкции на основе прогнозирования, включающий в себя на стороне кодера выделение информации по используемого процессу понижающего микширования и затем передачу этой информации в декодер и на стороне декодера применение повышающего микширования на основе выделенных параметров прогнозирования и информации о понижающем микшировании для реконструкции множества каналов.

Дополнительный предпочтительный вариант выполнения настоящего изобретения включает в себя способ улучшенной реконструкции множества каналов на основе прогнозирования, в котором на стороне кодера энергию сигнала понижающего микширования регулируют в соответствии с ошибкой прогнозирования, полученной для выделенных параметров предиктивного повышающего микширования.

Другой предпочтительный вариант выполнения настоящего изобретения относится к способу многоканальной реконструкции на основе улучшенного прогнозирования, в котором на стороне декодера энергия, потерянная в результате ошибки прогнозирования, компенсируется путем применения коэффициента усиления в каналах повышающего микширования.

Еще один вариант выполнения настоящего изобретения относится к способу улучшенной многоканальной реконструкции на основе прогнозирования, в котором на стороне декодера энергия, потерянная в результате ошибки прогнозирования, замещается декоррелированным сигналом.

Дополнительный предпочтительный вариант выполнения настоящего изобретения относится к способу улучшенной многоканальной реконструкции на основе прогнозирования, в котором на стороне декодера часть энергии, потерянной в результате ошибки прогнозирования, замещается декоррелированным сигналом, и часть потерянной энергии заменяют путем применения коэффициента усиления к каналам повышающего микширования. Сообщение об этой части потерянной энергии предпочтительно поступает в виде сигнала от кодера.

Дополнительный предпочтительный вариант выполнения настоящего изобретения направлен на устройство, предназначенное для улучшенной многоканальной реконструкции на основе прогнозирования, содержащее средство регулирования энергии сигнала понижающего микширования в соответствии с ошибкой прогнозирования, полученной для выделенных параметров предиктивного повышающего микширования.

В дополнительном предпочтительном варианте выполнения настоящее изобретение направлено на устройство, предназначенное для улучшенной многоканальной реконструкции на основе прогнозирования, содержащее средство, предназначенное для компенсации потерянной энергии, в результате ошибки прогнозирования, путем применения коэффициента усиления к каналам повышающего микширования.

В дополнительном предпочтительном варианте выполнения настоящее изобретение направлено на устройство, предназначенное для улучшенной многоканальной реконструкции на основе прогнозирования, содержащее средство замены энергии, потерянной в результате ошибки прогнозирования, сигналом декорреляции.

В дополнительном предпочтительном варианте выполнения настоящее изобретение направлено на устройство, предназначенное для улучшенной многоканальной реконструкции на основе прогнозирования, содержащее средство замены части энергии, потерянной в результате ошибки прогнозирования, декоррелированным сигналом, и части потерянной энергии, путем применения коэффициента усиления к каналам повышающего микширования.

В дополнительном предпочтительном варианте выполнения настоящее изобретение направлено на кодер, предназначенный для улучшенной многоканальной реконструкции на основе прогнозирования, включающей регулирование энергии сигнала понижающего микширования в соответствии с ошибкой прогнозирования, полученной для выделенных параметров предиктивного повышающего микширования.

В дополнительном предпочтительном варианте выполнения настоящее изобретение направлено на декодер, предназначенный для улучшенной многоканальной реконструкции на основе прогнозирования, включающей компенсацию потери энергии в результате ошибки прогнозирования путем применения коэффициента усиления к каналам повышающего микширования.

В дополнительном предпочтительном варианте выполнения настоящее изобретение относится к декодеру, предназначенному для улучшенной многоканальной реконструкции на основе прогнозирования, включающей замену энергии, потерянной в результате ошибки прогнозирования, декоррелированным сигналом.

В дополнительном предпочтительном варианте выполнения настоящее изобретение направлено на декодер, предназначенный для улучшенной многоканальной реконструкции на основе прогнозирования, включающей в себя замену части энергии, потерянной в результате ошибки прогнозирования, декоррелированным сигналом, и части потерянной энергии, путем применения коэффициента усиления к каналам понижающего микширования.

На фиг.11 показан многоканальный синтезатор, предназначенный для генерирования, по меньшей мере, трех выходных каналов 1100 с использованием входного сигнала, имеющего, по меньшей мере, один основной канал 1102, причем этот, по меньшей мере, один основной канал получен из исходного многоканального сигнала. Многоканальный синтезатор, показанный на фиг.11, включает в себя устройство 1104 повышающего микшера, которое может быть выполнено, как показано на одной из фиг.2-10. В общем, устройство 1104 повышающего микшера при работе выполняет повышающее микширование, по меньшей мере, одного из основных каналов, используя правило повышающего микширования так, что получают, по меньшей мере, три выходных канала. Повышающий микшер 1104 во время работы генерирует, по меньшей мере, три выходных канала в соответствии с измеренным значением 1106 энергии и, по меньшей мере, в соответствии с двумя другими параметрами 1108 повышающего микширования, используя правило повышающего микширования с введением потерянной энергии, так, что, по меньшей мере, три выходных канала имеют энергию, которая выше, чем энергия сигналов, полученных только на основе правила повышающего микширования, вносящего потери энергии. Таким образом, независимо от ошибки энергии, возникающей в зависимости от правила повышающего микширования, вносящего потери энергии, в результате изобретения, получают компенсацию энергии, в котором компенсация энергии может быть выполнена путем масштабирования и/или добавления декоррелированного сигнала. Эти, по меньшей мере, два разных параметра 1108 повышающего микширования и мера 1106 энергии включены во входной сигнал.

Предпочтительно, мера энергии представляет собой меру, связанную с потерей энергии, вносимой правилом повышающего микширования. Она может представлять собой абсолютную меру ошибки энергии, вносимой повышающим микшированием, или энергию сигнала повышающего микширования (который обычно имеет меньшую энергию, чем исходный сигнал), или она может представлять собой относительную меру, такую как соотношение между энергией исходного сигнала и энергией сигнала повышающего микширования, или соотношение между ошибкой энергии и энергией исходного сигнала, или даже соотношение между ошибкой энергии и энергией сигнала повышающего микширования. Относительная мера энергии может использоваться как корректирующий коэффициент, но, тем не менее, она представляет собой меру энергии, поскольку она зависит от ошибки энергии, вносимой в сигнал повышающего микширования, генерируемый в соответствии с правилом повышающего микширования, вносящим потери энергии, или другими словами правилом повышающего микширования "не сохраняющего энергию".

Пример правила повышающего микширования, вносящего потери энергии (правило повышающего микширования "не сохраняющего энергию"), представляет собой повышающее микширование, использующее переданные коэффициенты прогнозирования. В случае не идеального прогнозирования фрейма или поддиапазона фрейма, на выходной сигнал повышающего микширования воздействует ошибка прогнозирования, соответствующая потере энергии. Естественно, ошибка прогнозирования изменяется от фрейма к фрейму, поскольку в случае практически идеального прогнозирования (малая ошибка прогнозирования) должна быть выполнена только незначительная компенсация (путем масштабирования или добавления декоррелированного сигнала), в то время как в случае большей ошибки прогнозирования (не идеальное прогнозирование) требуется выполнять большую компенсацию. Поэтому мера энергии также изменяется между значением, обозначающим отсутствие или только небольшую компенсацию, и значением, обозначающим большую компенсацию.

Когда меру энергии рассматривают как значение когерентности между каналами (КМК), что является естественным, когда компенсацию выполняют путем добавления декоррелированного сигнала, масштабированного в зависимости от меры энергии, предпочтительно используемая относительная мера (ρ) энергии обычно изменяется от 0,8 до 1,0, где 1,0 обозначает, что сигналы повышающего микширования являются декоррелированными в соответствии с требованием или что декоррелированный сигнал не был добавлен, или что энергия результата предиктивного повышающего микширования равна энергии исходного сигнала, или что ошибка прогнозирования равна нулю.

Однако настоящее изобретение также можно использовать совместно с другими правилами повышающего микширования, вносящими потери энергии, то есть правилами, которые не основаны на сопоставлении формы колебаний, но основаны на других методиках, таких как использование кодовых книг, согласование спектра, или любых других правилах повышающего микширования без учета сохранения энергии.

Обычно компенсация энергии может быть выполнена до или после применения правила повышающего микширования, вносящего потери энергии. В качестве альтернативы, компенсация потери энергии может быть даже включена в правило повышающего микширования, например, путем изменения исходных коэффициентов матрицы, с использованием меры энергии так, что новое правило повышающего микширования будет сгенерировано и будет использоваться повышающим микшером. Такое новое правило повышающего микширования основано на правиле повышающего микширования, вносящем потери энергии, и на мере энергии. Другими словами, данный вариант выполнения связан с ситуацией, в которой компенсация энергии "примешивается" к "расширенному" правилу повышающего микширования, в результате чего выполняют компенсацию энергии и/или добавление декоррелированного сигнала путем применения одной или нескольких матриц повышающего микширования к входному вектору (один или больше основных каналов), для получения (после одной или нескольких операций матрицы) выходного вектора (реконструированного многоканального сигнала, имеющего, по меньшей мере, три канала).

Предпочтительно, устройство повышающего микшера принимает два основных канала l₀, r₀ и выводит три реконструированных канала l, r и c.

Далее, со ссылкой на фиг.12, представлен пример ситуации с энергией в разных положениях пути кодера-декодера. Блок 1200 представляет энергию многоканального аудиосигнала, такого как сигнал, имеющий, по меньшей мере, левый канал, правый канал и центральный канал, как показано на фиг.1. Для варианта выполнения по фиг.12, предполагается, что входные каналы 101, 102, 103 по фиг.1 являются полностью нескоррелированными и что понижающий микшер работает на основе сохранения энергии. В этом случае энергия одного или больше основных каналов, обозначенных блоком 1202, идентична энергии 1200 многоканального исходного сигнала. Когда исходные многоканальные сигналы скоррелированы друг с другом, энергия 1202 основного канала может быть ниже, чем энергия исходного многоканального сигнала, когда, например, левый и правый каналы (частично) взаимно компенсируют друг друга.

Однако в следующем описании предполагается, что энергия 1202 основных каналов остается той же, что и энергия 1200 исходного многоканального сигнала.

В позиции 1204 представлена энергия сигналов повышающего микширования, когда сигналы повышающего микширования (например, 110, 111, 112 по фиг.1) генерируют с использованием повышающего микширования, не сохраняющего энергию, или предиктивного повышающего микширования, как описано со ссылкой на фиг.1. Поскольку, как будет описано ниже со ссылкой на фиг.14a и 14b, такое предиктивное повышающее микширование вносит ошибку E_r энергии, энергия 1204 результата повышающего микширования будет меньше, чем энергия основных каналов 1202.

Повышающий микшер 1104 во время работы формирует выходные каналы, которые имеют энергию, большую, чем энергия 1204. Предпочтительно, устройство 1104 повышающего микшера выполняет полную компенсацию так, что результат 1100 повышающего микширования по фиг.11 имеет энергию, показанную в позиции 1206.

Предпочтительно результат повышающего микширования, энергия которого показана в позиции 1204, не просто масштабируют с увеличением, как показано на фиг.2, или масштабируют индивидуально с увеличением, как показано на фиг.3, или масштабируют с увеличением на стороне кодера, как показано на фиг.4. Вместо этого, остальную энергию E_r, которая соответствует ошибке, возникающей в результате предиктивного повышающего микширования, применяют для "заполнения" с использованием декоррелированного сигнала. В другом предпочтительном варианте выполнения такая ошибка E_r энергии только частично охватывается декоррелированным сигналом, в то время как остальная часть ошибки энергии компенсируется повышающим масштабированием с увеличением результата повышающего микширования. Полный охват ошибки энергии декоррелированным сигналом показан на фиг.5 и фиг.6, в то время как "частичное решение" представлено на фиг.7.

На фиг.13 показано множество способов компенсации энергии, например, способов, которые имеют общее свойство, состоящее в том, что на основе меры энергии, которая зависит от ошибки энергии, получают энергию выходных каналов, которая выше, чем чистый результат предиктивного повышающего микширования, то есть результат (не скорректированной) потери энергии, введенной правилом повышающего микширования.

Пункт номер 1 в таблице по фиг.13 относится к компенсации энергии на стороне декодера, которую выполняют после повышающего микширования. Этот вариант представлен на фиг.2 и, кроме того, дополнительно описан со ссылкой на фиг.3, на которой показаны специфичные для канала коэффициенты g_Z масштабирования с увеличением, которые не зависят только от меры ρ энергии, но которые, кроме того, зависят от зависящих от канала коэффициентов ν_Z понижающего микширования, где z обозначает l, r или c.

Пункт номер 2 на фиг.13 включает в себя способ компенсации энергии на стороне кодера, который выполняют после понижающего микширования, которое представлено на фиг.4. Этот вариант выполнения является предпочтительным, поскольку меру ρ или γ энергии не требуется передавать из кодера в декодер.

Пункт номер 3 в таблице по фиг.13 относится к компенсации энергии на стороне декодера, которую выполняют перед повышающим микшированием. При рассмотрении фиг.2 учитывают коррекцию энергии 202, которую выполняют после того, как повышающее микширование по фиг.2 будет выполнено перед блоком 201 повышающего микширования по фиг.2. Этот вариант выполнения позволяет получить более простое воплощение, по сравнению с фиг.2, поскольку здесь не требуется использовать коэффициенты коррекции, специфичные для каналов, как показано на фиг.3, хотя могут возникать потери качества.

Пункт номер 4 по фиг.13 относится к дополнительному варианту выполнения, в котором коррекцию на стороне кодера выполняют перед понижающим микшированием. Как показано на фиг.1, каналы 101, 102, 103 будут масштабированы с увеличением, с соответствующим коэффициентом компенсации, в результате чего сигнал на выходе понижающего микшера будет увеличен после понижающего микширования, как показано в позиции 1208 на фиг.12. Таким образом, вариант выполнения пункта номер четыре по фиг.13 имеет то же следствие для выходного сигнала основных каналов в кодере, что и вариант выполнения номер два настоящего изобретения.

Пункт номер 5 в таблице по фиг.13 относится к варианту выполнения, показанному на фиг.5, где декоррелированный сигнал получают из каналов, сгенерированных правилом 109 повышающего микширования, не сохраняющим энергию, показанным на фиг.5.

Вариант выполнения для пункта номер 6 в таблице, показанной на фиг.13, относится к варианту выполнения, в котором только часть остаточной энергии компенсируется декоррелированным сигналом. Этот вариант выполнения представлен на фиг.7.

Вариант выполнения для пункта номер 8 по фиг.13 аналогичен варианту выполнения для пунктов номер 5 или 6, но декоррелированный сигнал получают из основных каналов перед повышающим микшированием, как представлено модулем 501' на фиг.5.

Далее будет подробно описан предпочтительный вариант выполнения кодера. На фиг.14a представлен кодер, предназначенный для обработки многоканального входного сигнала 1400, имеющего, по меньшей мере, два канала и предпочтительно имеющего, по меньшей мере, три канала l, c, r.

Кодер включает в себя калькулятор 1402 меры энергии, предназначенный для расчета меры ошибки, зависящей от разности энергии между энергией многоканального входного сигнала 1400 или, по меньшей мере, одного основного канала 1404, и сигнала 1406 повышающего микширования, сгенерированного в результате операции 1407 повышающего микширования, без сохранения энергии.

Кроме того, кодер включает в себя выходной интерфейс 1408, предназначенный для вывода, по меньшей мере, одного основного канала, после масштабирования (401, 402) с коэффициентом 403 масштабирования, в зависимости от меры энергии, или для вывода самой меры энергии.

В предпочтительном варианте выполнения кодер включает в себя понижающий микшер 1410, предназначенный для генерирования, по меньшей мере, одного основного канала 1404 из исходного множества каналов 1400. Для генерирования параметров повышающего микширования также присутствует калькулятор 1414 разности и оптимизатор 1416 параметра. Эти элементы во время работы выполняют поиск наиболее соответствующих параметров 1412 повышающего микширования, по меньшей мере, два из этого набора соответствующих параметров повышающего микширования выводят через выходной интерфейс, как выходные параметры в предпочтительном варианте выполнения. Калькулятор разности предпочтительно во время работы выполняет расчет минимального значения среднеквадратической ошибки между исходным многоканальным сигналом 1400 и сигналом повышающего микширования, сгенерированным повышающим микшером, для параметров, вводимых по линии 1412 параметра. Такая процедура оптимизации параметра может быть выполнена с использованием нескольких разных процедур оптимизации, причем все они выполняются с целью получения наилучшего соответствия результата 1406 повышающего микширования с помощью определенной матрицы повышающего микширования, включенной в повышающий микшер 1408.

Функции кодера, показанного на фиг.14a, представлены на фиг.14b. После этапа 1440 понижающего микширования, выполненного понижающим микшером 1410, основной канал или множество основных каналов могут быть выведены, как показано в позиции 1442. Затем выполняют этап 1444 оптимизации параметра повышающего микширования, который, в зависимости от определенной стратегии оптимизации, может представлять собой итеративную или не итеративную процедуру. Однако итеративные процедуры являются предпочтительными. Обычно процедура оптимизации параметра повышающего микширования может быть выполнена таким образом, чтобы разность между результатом повышающего микширования и исходным сигналом была как можно меньшей. В зависимости от варианта воплощения эта разность может представлять собой разность, относящуюся к отдельному каналу, или комбинированную разность. Обычно этап 1444 оптимизации параметра повышающего микширования во время работы сводит к минимуму функцию стоимости, которая может быть получена из индивидуальных каналов или из комбинированных каналов так, чтобы для одного канала была принята большая разность (ошибка), когда достигают намного лучшего согласования, например, для других двух каналов.

Затем, когда будет найден набор параметров наилучшего соответствия, например, матрица повышающего микширования с наилучшим соответствием, по меньшей мере, два параметра повышающего микширования из набора параметров, сгенерированных на этапе 1444, выводят в выходной интерфейс, как показано на этапе 1446.

Кроме того, после окончания этапа 1444 оптимизации параметра повышающего микширования может быть рассчитана и выведена мера энергии, как обозначено на этапе 1448. Обычно мера энергии зависит от ошибки 1210 энергии. В предпочтительном варианте выполнения мера энергии представляет собой коэффициент ρ, который зависит от соотношения энергии результата 1406 повышающего микширования и энергии исходного сигнала 1400, как показано на фиг.2. В качестве альтернативы, рассчитанная и выведенная мера энергии может представлять собой абсолютное значение для ошибки 1210 энергии или может представлять собой абсолютное значение энергии результата 1406 повышающего микширования, который конечно зависит от ошибки энергии. В этом контексте следует отметить, что мера энергии, выводимая выходным интерфейсом 1408, предпочтительно квантизирована и снова предпочтительно кодирована по энтропии, с использованием любого известного кодера энтропии, такого как арифметический кодер, кодер Гаффмана или кодер группового кодирования, который является особенно полезным, когда существует множество последовательных идентичных мер энергии. В качестве альтернативы или дополнительно, меры энергии для последующих участков времени или фреймов могут быть закодированы по-разному, причем такое разное кодирование предпочтительно выполняют перед кодированием энтропии.

Далее делается ссылка на фиг.15a, представляющую альтернативный вариант выполнения понижающего микшера, который, в соответствии с предпочтительным вариантом выполнения настоящего изобретения, скомбинирован с кодером по фиг.14a. Вариант, показанный на фиг.15a, охватывает вариант воплощения ДСД, хотя этот вариант выполнения также можно использовать в случаях, в которых не выполняют спектральное дублирование диапазона, но в которых передают полную ширину пропускания основных каналов. На фиг.15a кодер включает в себя понижающий микшер 1500, предназначенный для понижающего микширования исходного сигнала 1500, для получения, по меньшей мере, одного основного канала 1504. В варианте выполнения, не связанном с ДСД, по меньшей мере, один основной канал 1504 вводят в кодер 1506 ядра, который может представлять собой кодер УАК (AAC, усовершенствованное аудиокодирование) для моносигналов, в случае одного основного канала, или который может представлять собой любой стереокодер в случае, например, двух основных стереоканалов. На выходе основного кодера 1506 выводят поток битов, включающий в себя кодированный основной канал или включающий в себя множество кодированных основных каналов, (1508).

Когда вариант выполнения, показанный на фиг.15a, имеет функцию ДСД, по меньшей мере, один основной канал 1504 фильтруют через фильтр 1510 низкой частоты перед вводом в кодер ядра. Естественно, функции блоков 1510 и 1506 могут быть выполнены с помощью одного устройства кодера, которое выполняет фильтрацию нижней частоты и основное кодирование в пределах одного алгоритма кодирования.

Кодированные основные каналы на выходе 1508 включают в себя только низкочастотные основные каналы 1504 в кодированной форме. Информацию высокочастотного диапазона рассчитывают с помощью калькулятора 1512 спектральной огибающей ДСД, который соединен с кодером 1514 информации ДСД, предназначенным для генерирования и вывода кодированной информации на стороне ДСД через вывод 1516.

Исходный сигнал 1502 вводят в калькулятор 1520 энергии, который генерирует значение энергии каналов (для определенного периода времени исходных каналов l, c, r, где значения энергии каналов обозначены как L, C, R, на выходе блока 1520). Значения энергии L, C, R канала вводят в блок 1522 калькулятора параметра. Калькулятор 1522 параметра выводит два параметра c1, c2 повышающего микширования, которые могут представлять собой, например, параметры c₁, c₂, обозначенные на фиг.15a. Естественно, другие (например, линейные) комбинации энергии, включающие энергии всех входных каналов, могут быть сгенерированы калькулятором 1522 параметра для передачи в декодер. Естественно, другие переданные параметры повышающего микширования приведут к другому способу расчета остающихся элементов матрицы повышающего микширования. Как обозначено в связи с уравнением (40) или уравнениями (41-44), матрица повышающего микширования для варианта выполнения, направленного на энергию, показанного на фиг.15, имеет, по меньшей мере, четыре ненулевых элемента, в которых элементы в третьей строке равны друг другу. Таким образом, калькулятор 1522 параметра может использовать любую комбинацию значений L, C, R энергии, по которым, например, могут быть получены четыре элемента в матрице повышающего микширования, такие как индикация (40) или (41) матрицы повышающего микширования.

В варианте выполнения, представленном на фиг.15a, показан кодер, который во время работы выполняет сохранение энергии или, в общем, выполняет повышающее микширование на основе энергии для всей полосы пропускания сигнала. Это означает, что на стороне кодера, которая показана на фиг.15a, генерируют выход параметрического представления с помощью калькулятора 1522 параметра для всего сигнала. Это означает, что для каждого поддиапазона кодированного основного канала рассчитывают и выводят соответствующий набор параметров. Когда рассматривают, например, кодированный основной канал, который представляет собой, например, сигнал с полной полосой пропускания, имеющий десять поддиапазонов, калькулятор параметра может выводить десять параметров c₁ и c₂ для каждого поддиапазона кодированного основного канала. Однако, когда кодированный основной канал представляет собой, например, низкочастотный сигнал в среде ДСД, охватывающий только пять нижних поддиапазонов, калькулятор 1522 параметра выводит набор параметров для каждого из пяти нижних поддиапазонов и дополнительно для каждого из пяти верхних поддиапазонов, хотя сигнал на выходе 1508 не включает в себя соответствующий поддиапазон. Это происходит из-за того, что такой поддиапазон может быть воссоздан на стороне декодера, как будет описано ниже со ссылкой на фиг.16a.

Предпочтительно, однако, и как описано со ссылкой на фиг.10, калькулятор 1520 энергии и калькулятор 1522 параметра работают только в отношении высокочастотной части исходного сигнала, в то время как параметры для низкочастотной части исходного сигнала рассчитывают с помощью калькулятора 104 предиктивного параметра, показанного на фиг.10, который соответствует предиктивному повышающему микшеру 109, показанному на фиг.10.

На фиг.15b показано схематичное представление параметрического изображения, выводимого модулем 1002 выбора по фиг.10. Таким образом, параметрическое представление в соответствии с настоящим изобретением включает в себя (с кодированным основным каналом (каналами) или без них и, в случае необходимости, даже без меры энергии) набор предиктивных параметров для низкочастотного диапазона, например, для поддиапазонов от 1 до i и параметров для высокочастотных поддиапазонов, например, для поддиапазонов от i+1 до N. В качестве альтернативы, предиктивные параметры и параметры стиля энергии могут быть смешаны, например, так, что поддиапазон, имеющий параметры стиля энергии, может быть расположен между поддиапазонами, имеющими предиктивные параметры. Кроме того, фрейм, имеющий только предиктивные параметры, может следовать за фреймом, имеющим только параметры стиля энергии. Поэтому, в общих словах, настоящее изобретение, как описано со ссылкой на фиг.10, относится к разным параметризациям, которые могут отличаться в направлении частоты, как показано на фиг.15b, или которые могут быть разными в направлении времени, когда после фрейма, имеющего только предиктивные параметры, следует фрейм, имеющий только параметры стиля энергии. Естественно, распределение или параметризация поддиапазонов может изменяться от фрейма к фрейму, так что, например, поддиапазон i может иметь первый (например, предиктивный) параметр, установленный, как показано на фиг.15b, в первом фрейме и может иметь второй параметр (например, стиль энергии), установленный в другом фрейме.

Кроме того, настоящее изобретение также можно использовать, когда используют параметризацию, отличающуюся от предиктивной параметризации, как показано на фиг.14a, или параметризацию стиля энергии, как показано по фиг.15a. Также можно использовать другие примеры параметризации, помимо предиктивной или стиля энергии, если только какой-либо целевой параметр или целевое событие обозначают, что качество повышающего микширования, скорость битов понижающего микширования, расчетная эффективность на стороне кодера или на стороне декодера или, например, потребление энергии, например, устройств, работающих от батарей, и т.д. указывает для определенного поддиапазона или фрейма, что первая параметризация лучше, чем вторая параметризация. Естественно, целевая функция также может представлять собой комбинацию разных отдельных целей/событий, как представлено выше. Пример события может представлять собой высокочастотный диапазон реконструированного ДСД и т.д.

Кроме того, следует отметить, что расчет по частоте или избирательно по времени и параметры передачи могут быть переданы в виде явно переданных сигналов, как показано в позиции 1005 на фиг.10. В качестве альтернативы, передача сигналов также может быть выполнена не явно, как описано со ссылкой на фиг.16a. В этом случае используют заранее определенные правила для декодера, например, такие, что декодер автоматически принимает, что переданные параметры представляют собой параметры стиля энергии для поддиапазонов, принадлежащих высокочастотному диапазону, показанному на фиг.15b, например, для поддиапазонов, которые были реконструированы спектральным дублированием диапазона или с помощью методики регенерирования высокой частоты.

Кроме того, следует отметить, что расчет на стороне кодера одного, двух или даже большего количества разных параметризаций и выбор на стороне кодера, причем передаваемая параметризация основана на решении, принятом с использованием любой доступной информации на стороне кодера (информация может быть в действительности использована для целевой функции или информация сигналов может использоваться по другим причинам, таким как обработка ДСД и передача сигналов), может быть выполнен с передачей или без передачи меры энергии. Даже когда предпочтительную коррекцию энергии не выполняют вообще, например, когда результат повышающего микширования "без сохранения энергии" (предиктивное повышающее микширование) выполняют без коррекции энергии, или когда не выполняют соответствующую предварительную компенсацию на стороне кодера, предпочтительное переключение между разными параметризациями используют для получения лучшего выходного качества во множестве каналов и/или при сниженной скорости передачи битов.

В частности, предпочтительное переключение между разными параметризациями, в зависимости от доступной информации на стороне кодера, можно использовать с добавлением или без него декоррелированного сигнала, полностью или, по меньшей мере, частично охватывающего ошибку энергии, полученную в результате предиктивного повышающего микширования, как показано со ссылкой на фиг. 5-7. В этом контексте добавление декоррелированного сигнала, как описано со ссылкой на фиг.5, выполняют только для поддиапазонов/фреймов, для которых переданы предиктивные параметры повышающего микширования, в то время как другие меры для декорреляции используют для поддиапазонов или фреймов, в которых были переданы параметры стиля энергии. Такие меры представляют собой, например, масштабирование с уменьшением влажного сигнала и генерирование декоррелированного сигнала, и масштабирование декоррелированного сигнала так, что получают уменьшенную степень декорреляции по сравнению с тем, что, например, требуется переданной мерой корреляции между каналами, такой как КМК, когда соответствующим образом масштабированные декоррелированные сигналы добавляют к сухому сигналу.

Далее, со ссылкой на фиг.16a, описано для иллюстрации воплощение на стороне декодера предпочтительного блока 201 повышающего микширования и соответствующей коррекции энергии в позиции 202. Как описано со ссылкой на фиг.11, переданные параметры 1108 повышающего микширования выделяют из принятого входного сигнала. Эти переданные параметры повышающего микширования предпочтительно вводят в калькулятор 1600 для расчета остальных параметров повышающего микширования, когда матрица 1602 повышающего микширования, включающая в себя компенсацию энергии, должна выполнять предиктивное повышающее микширование и предшествующую или последующую коррекцию энергии. Процедура расчета остальных параметров повышающего микширования описана ниже со ссылкой на фиг.16b.

Расчет параметров повышающего микширования основан на уравнении, показанном на фиг.16b, которое также повторяется как уравнение (7). В варианте выполнения с тремя входными сигналами/двумя выходными сигналами матрица D понижающего микширования имеет шесть переменных. Кроме того, матрица C повышающего микширования также имеет шесть переменных. Однако с правой стороны уравнения (7) присутствуют только четыре значения. Поэтому, в случае неизвестного понижающего микширования и неизвестного повышающего микширования можно получить двенадцать неизвестных переменных из матриц D и C, и только четыре уравнения для определения этих двенадцати переменных. Однако понижающее микширование известно, поэтому количество переменных, которые являются неизвестными, уменьшается до коэффициентов матрицы C повышающего микширования, которая имеет шесть переменных, хотя здесь все еще остаются четыре уравнения для определения этих шести переменных. Поэтому способ оптимизации, как описано в связи с этапом 1444 по фиг.14b и как представлено на фиг.14a, используют для определения, по меньшей мере, двух переменных матрицы повышающего микширования, которые предпочтительно представляют собой с₁₁ и c₂₂. Теперь, поскольку существуют четыре неизвестных, например, c₁₂, c₂₁, c₃₁ и c₃₂, и поскольку существуют четыре уравнения, например, одно уравнение для каждого элемента в единичной матрице I с правой стороны уравнения по фиг.16b, остальные неизвестные переменные матрицы повышающего микширования могут быть рассчитаны известным способом. Этот расчет выполняют в калькуляторе 1600 для расчета остальных параметров повышающего микширования.

Матрица повышающего микширования в устройстве 1602 установлена в соответствии с двумя переданными параметрами повышающего микширования, как представлено пунктирной линией 1604, и остальными четырьмя параметрами повышающего микширования, рассчитанными блоком 1600. Такую матрицу повышающего микширования затем применяют в основных каналах, вводимых через линию 1102. В зависимости от варианта выполнения, меру энергии для коррекции низкочастотного диапазона передают через линию 1106, что позволяет сгенерировать и вывести скорректированное повышающее микширование. Когда выполняют только предиктивное повышающее микширование для низкочастотного диапазона, о чем, например, не явно передают в виде сигналов по линии 1606, и когда в линии 1108 присутствуют параметры повышающего микширования стиля энергии для высокочастотного диапазона, об этом факте сигнал для соответствующего поддиапазона передают в калькулятор 1600 и в устройство 1602 матрицы повышающего микширования. В случае стиля энергии предпочтительно рассчитать элементы матрицы повышающего микширования для матрицы (40) или (41) повышающего микширования. С этой целью используются переданные параметры, как обозначено ниже уравнения (40), или соответствующие параметры, как обозначено ниже уравнения (41). В данном варианте выполнения переданные параметры c₁, c₂ повышающего микширования нельзя непосредственно использовать для коэффициента повышающего микширования, но коэффициенты повышающего микширования матрицы повышающего микширования, как показано в уравнении (40) или (41), должны быть рассчитаны с использованием переданных параметров c₁ и c₂ повышающего микширования.

Для высокочастотного диапазона матрица повышающего микширования, как определено для параметров повышающего микширования на основе энергии, используется для повышающего микширования части высокочастотного диапазона многоканальных выходных сигналов. После этого низкочастотную часть и высокочастотную часть диапазона комбинируют в модуле 1608 комбинирования низко/высокочастотной частей для вывода полной полосы пропускания реконструированных выходных каналов l, r, c. Как показано на фиг.16a, высокочастотный диапазон основных каналов генерируют с использованием декодера для декодирования передаваемых низкочастотных основных каналов, в котором этот декодер представляет собой монодекодер для монофонического основного канала и представляет собой стереодекодер для двух основных стереоканалов. Такой декодированный основной канал (каналы) низкочастотного диапазона вводят в устройство 1614 ДСД, которое дополнительно принимает информацию об огибающей, рассчитанной устройством 1512 по фиг.15a. Основываясь на низкочастотной части и высокочастотной части информации огибающей, генерируют основные каналы высокочастотной части для получения основных каналов полной полосы пропускания по линии 1102, которые передают в устройство 1602 матрицы повышающего микширования.

Предпочтительные способы, или устройства, или компьютерные программы могут быть выполнены или включены в несколько устройств. На фиг.17 показана система передачи, имеющая передатчик, включающий в себя кодер в соответствии с изобретением, и имеющая приемник, включающий в себя декодер в соответствии с изобретением. Канал передачи может быть беспроводным или кабельным каналом. Кроме того, как показано на фиг.18, кодер может быть включен в устройство аудиозаписи или декодер может быть включен в аудиопроигрыватель. Аудиозаписи из устройства аудиозаписи могут быть распределены в аудиопроигрыватель через сеть Интернет или через носитель информации, распространяемый с использованием ресурсов почты или с использованием курьера, или с помощью других вариантов распространения носителей информации, таких как карты памяти, CD или DVD.

В зависимости от требований конкретного воплощения способов в соответствии с изобретением способы в соответствии с изобретением могут быть выполнены в виде аппаратных или программных средств. Вариант воплощения может быть выполнен с использованием цифрового носителя информации, в частности в виде диска или CD, на котором записаны электронно-считываемые сигналы управления, которые могут взаимодействовать с программируемой компьютерной системой, так чтобы были выполнены способы в соответствии с настоящим изобретением. В общем, настоящее изобретение, поэтому, представляет собой компьютерный программный продукт с программным кодом, записанным на машиночитаемый носитель, причем программный код выполнен с возможностью выполнения, по меньшей мере, одного из способов в соответствии с настоящим изобретением, когда компьютерные программные продукты выполняются на компьютере. Другими словами, способы в соответствии с изобретением, поэтому, представляют собой компьютерную программу, имеющую программный код, предназначенный для выполнения способов в соответствии с настоящим изобретением, когда компьютерная программа выполняется на компьютере.

1. Многоканальный синтезатор для генерирования, по меньшей мере, трех выходных каналов (1100), используя входной сигнал, имеющий, по меньшей мере, один основной канал (1102), причем основной канал получают из исходного многоканального сигнала (101, 102, 103), содержащий:
повышающий микшер (1104), предназначенный для повышающего микширования, по меньшей мере, одного основного канала на основе правила (201, 1407) повышающего микширования, вносящего потери энергии, таким образом, что получают, по меньшей мере, три выходных канала,
в котором повышающий микшер (1104) во время работы генерирует, по меньшей мере, три выходных канала в ответ на меру (1106) энергии и, по меньшей мере, два разных параметра (1108) повышающего микширования, так что, по меньшей мере, три выходных канала имеют энергию большую, чем энергия сигнала, полученного только с использованием правила повышающего микширования, вносящего потери энергии, вместо ошибки энергии, причем ошибка энергии зависит от правила повышающего микширования, вносящего потери энергии, и
в котором, по меньшей мере, два разных параметра (1108) повышающего микширования и мера энергии для управления повышающим микшером включены во входной сигнал,
в котором правило повышающего микширования, вносящее потери энергии, представляет собой предиктивное правило повышающего микширования, в котором используют матрицу повышающего микширования, имеющую коэффициенты матрицы, которые основаны на коэффициентах прогнозирования, и
в котором, по меньшей мере, два разных параметра повышающего микширования представляют собой два разных элемента (с₁₁, c₂₂) матрицы повышающего микширования или представляют собой параметры, из которых получают два разных элемента матрицы повышающего микширования.

2. Многоканальный синтезатор по п.1, в котором мера энергии прямо или опосредованно обозначает соотношение энергии результата повышающего микширования с использованием правила повышающего микширования, вносящего потери энергии, к энергии исходного многоканального сигнала, или отношение ошибки энергии к энергии или к исходному многоканальному сигналу, или ошибке энергии в абсолютном выражении.

3. Многоканальный синтезатор по п.1 или 2, в котором повышающий микшер включает в себя калькулятор (1600), предназначенный для получения матрицы повышающего микширования, на основе, по меньшей мере, двух параметров повышающего микширования и информации о правиле понижающего микширования, использованного для генерирования, по меньшей мере, одного основного канала из исходного многоканального сигнала.

4. Многоканальный синтезатор по п.1 или 2, в котором повышающий микшер выполнен с возможностью обработки левого основного канала и правого основного канала и вывода левого выходного сигнала, правого выходного сигнала и центрального сигнала, в котором левый основной канал и правый основной канал представляют собой совместимое со стерео представление многоканального сигнала.

5. Многоканальный синтезатор по п.1 или 2, в котором повышающий микшер (1104) выполнен с возможностью индивидуального масштабирования (304), по меньшей мере, трех выходных каналов с использованием коэффициентов масштабирования, в котором коэффициент (g_z) масштабирования для выходного канала зависит от энергии результата повышающего микширования правила повышающего микширования, вносящего потери энергии, и от энергии выходного канала после повышающего микширования с использованием правила повышающего микширования, вносящего потери энергии, и информации о понижающем микшировании (v) для генерирования, по меньшей мере, основного канала.

6. Многоканальный синтезатор по п.5, в котором коэффициент масштабирования определяется следующим образом:
,
в котором ν_z представляет собой коэффициент, зависящий от понижающего микширования, для выходного канала z, в котором ρ представляет собой меру энергии, в котором представляет собой энергию многоканального сигнала, сгенерированного правилом повышающего микширования, вносящего потери энергии, и в котором представляет энергию выходного канала, который должен быть масштабирован правилом повышающего микширования, вносящего потери энергии.

7. Многоканальный синтезатор по одному из пп.1 или 2, в котором повышающий микшер (1104) дополнительно содержит декоррелятор (501, 502, 503, 501', 503'), предназначенный для генерирования декоррелированного сигнала из, по меньшей мере, одного основного канала или из, по меньшей мере, одного из выходных сигналов правила повышающего микширования, вносящего потери энергии, и
в котором повышающий микшер выполнен с возможностью использования декоррелированного сигнала, так чтобы величина энергии декоррелированного сигнала в выходном канале была меньше или равна величине ошибки энергии, определяемой по значению меры энергии.

8. Многоканальный синтезатор по п.7, в котором повышающий микшер выполнен с возможностью генерирования сигнала декорреляции, имеющего энергию, равную энергии выходного канала, масштабированного с уменьшением с использованием коэффициента масштабирования с уменьшением, причем коэффициент масштабирования с уменьшением зависит от величины меры энергии, и
в котором повышающий микшер выполнен с возможностью суммирования декоррелированного сигнала и выходного сигнала правила (109) повышающего микширования, вносящего потери энергии.

9. Многоканальный синтезатор по п.7, в котором декоррелятор выполнен с возможностью индивидуального декоррелирования, по меньшей мере, трех выходных каналов путем суммирования декоррелированного сигнала, взвешенного с коэффициентом (ν), специфичным для канала, и взвешенного с использованием меры (ρ) энергии, а также суммирования (602) взвешенного декоррелированного сигнала с выходным сигналом повышающего микшера (109), выполняя правило повышающего микширования, вносящее потери энергии.

10. Многоканальный синтезатор по п.8, в котором декоррелятор выполнен с возможностью фильтрации входного сигнала с использованием цифрового фильтра.

11. Многоканальный синтезатор по п.8, в котором коэффициент масштабирования с уменьшением получают следующим образом:

где γ представляет собой коэффициент масштабирования с уменьшением, и в котором с представляет собой меру энергии.

12. Многоканальный синтезатор по п.1 или 2, в котором повышающий микшер (1104) выполнен с возможностью суммирования для частичной или полной компенсации потерь энергии, обусловленных правилом повышающего микширования, вносящим потери энергии, декоррелированного сигнала, имеющего энергию меньшую, чем ошибка энергии, и большую, чем 0, по меньшей мере, с одним каналом, сгенерированным с помощью правила повышающего микширования, вносящего потери энергии.

13. Многоканальный синтезатор по п.12, в котором, когда энергия декоррелированного сигнала меньше, чем ошибка энергии, повышающий микшер выполняет масштабирование с увеличением, по меньшей мере, одного основного канала или сигнала, сгенерированного с помощью правила повышающего микширования, так чтобы комбинированная энергия сигнала, масштабированного с увеличением, или сигнала повышающего микширования, сгенерированного с использованием масштабированного с увеличением, по меньшей мере, одного основного канала, и добавляемого декоррелированного сигнала была равна или меньше, чем энергия исходного сигнала.

14. Многоканальный синтезатор по п.13, в котором энергию добавляемого декоррелированного сигнала определяют по коэффициенту декорреляции, причем высокое значение коэффициента декорреляции, близкое к 1, обозначает, что следует добавить меньший уровень декоррелированного сигнала, в то время как меньшее значение коэффициента декорреляции, близкое к 0, обозначает, что следует добавить больший уровень декоррелированного сигнала, и
в котором меру декорреляции выделяют из входного сигнала.

15. Многоканальный синтезатор по п.12, в котором, по меньшей мере, один основной канал представляет собой масштабированную версию основного канала, сгенерированного матрицей понижающего микширования, причем коэффициент масштабирования зависит от меры энергии, так что информация (605) декорреляции представляет собой единственную передаваемую меру энергии, также зависящую от энергии ошибки.

16. Многоканальный синтезатор по п.13, в котором мера энергии, включенная во входной сигнал, включает в себя первое значение энергии, зависящее от ошибки (ρ) энергии, и включает в себя второе значение энергии, зависящее от степени корреляции (k).

17. Многоканальный синтезатор по п.1 или 2, в котором входной сигнал включает в себя, в добавление к двум разным параметрам повышающего микширования, информацию о понижающем микшировании, лежащем в основе, по меньшей мере, одного основного канала,
в котором повышающий микшер выполнен с возможностью использования дополнительной информации понижающего микширования для генерирования матрицы (802) повышающего микширования.

18. Многоканальный синтезатор по п.17, в котором информация (γ) расчета предварительной стереообработки (901) включена во входной сигнал как информация о понижающем микшировании.

19. Многоканальный синтезатор по п.1 или 2, в котором входной сигнал дополнительно включает в себя индикацию (1005) режима повышающего микшера, обозначающую в первом состоянии, что следует выполнять первое правило повышающего микширования, и обозначающую во втором состоянии, что следует выполнять другое правило повышающего микширования, и
в котором повышающий микшер (1104) выполнен с возможностью расчета параметров для правила повышающего микширования с использованием, по меньшей мере, двух разных параметров (1108) повышающего микширования, в зависимости от индикации (1005) режима повышающего микшера.

20. Многоканальный синтезатор по п.19, в котором индикация режима повышающего микшера выполнена с возможностью передачи сигнала о режиме повышающего микшера в поддиапазоне или во фрейме.

21. Многоканальный синтезатор по п.19, в котором первое правило повышающего микширования представляет собой правило предиктивного повышающего микширования, и в котором второе правило повышающего микширования представляет собой правило повышающего микширования, имеющее параметры повышающего микширования, зависящие от энергии.

22. Многоканальный синтезатор по п.20, в котором второе правило повышающего микширования выполняют следующим образом:

где L представляет собой величину энергии левого входного канала;
С представляет собой величину энергии центрального входного канала;
R представляет собой величину энергии правого входного канала; и
α представляет собой параметр, определенный понижающим микшированием.

23. Многоканальный синтезатор по п.19, в котором второе правило повышающего микширования является таким, что правый канал понижающего микширования не добавляют к левому каналу повышающего микширования и наоборот.

24. Многоканальный синтезатор по п.19, в котором первое правило повышающего микширования определяют путем согласования формы колебаний между формами колебаний исходного многоканального сигнала и формами колебаний сигналов, генерируемых с помощью первого правила повышающего микширования.

25. Многоканальный синтезатор по п.19, в котором первое или второе правило повышающего микширования определяют следующим образом:
,
где функции f₁, f₂, f₃ обозначают функции переданных двух разных параметров c₁, c₂ повышающего микширования и,
где эти функции определяются следующим образом:

f₂(c₁,c₂)=0
,
где α представляет собой вещественный параметр.

26. Многоканальный синтезатор по п.19, дополнительно содержащий модуль 1614 дублирования спектрального диапазона (ДСД), предназначенный для генерирования полосы, по меньшей мере, одного основного канала, не включенного в передаваемый основной канал, используя часть, по меньшей мере, одного основного канала, включенного во входной сигнал, и
в котором многоканальный синтезатор выполнен с возможностью применения второго правила повышающего микширования в реконструированном диапазоне, по меньшей мере, основного канала и применения первого правила повышающего микширования в диапазоне основного канала, который включен во входной сигнал.

27. Многоканальный синтезатор по п.26, в котором индикация режима повышающего микшера представляет собой передачу сигналов (1606) дублирования спектрального диапазона ДСД, включенных во входной сигнал.

28. Кодер, предназначенный для обработки многоканального входного сигнала, содержащий калькулятор (1402) меры энергии, предназначенный для расчета меры (ρ) энергии в зависимости от разности энергии между многоканальным входным сигналом или, по меньшей мере, одним основным каналом, полученным из многоканального входного сигнала, и сигналом повышающего микширования, сгенерированным с помощью правила повышающего микширования, вносящего потери энергии; и
выходной интерфейс (1408), предназначенный для вывода, по меньшей мере, одного основного канала, после масштабирования (401, 402) с использованием коэффициента (403) масштабирования, зависящего от меры энергии, или для вывода меры энергии.

29. Кодер по п.28, в котором меру (ρ) энергии определяют на основе соотношения энергии сигнала повышающего микширования, сгенерированного путем повышающего микширования, по меньшей мере, одного основного канала, с использованием правила повышающего микширования, вносящего энергию, и энергии исходного многоканального сигнала, а коэффициент масштабирования определяют путем инвертирования меры энергии.

30. Кодер по п.28 или 29, дополнительно содержащий калькулятор степени корреляции, предназначенный для определения степени корреляции (k), и в котором выходной интерфейс выполнен с возможностью вывода меры (k) корреляции на основе степени корреляции.

31. Кодер по п.28 или 29, дополнительно содержащий калькулятор (1407, 1414, 1416) параметра повышающего микшера, предназначенный для расчета, по меньшей мере, двух разных параметров (1412) повышающего микширования, и
в котором выходной интерфейс выполнен с возможностью вывода, по меньшей мере, двух разных параметров повышающего микширования.

32. Кодер по п.28 или 29, который дополнительно содержит устройство (1410) понижающего микшера, предназначенное для расчета, по меньшей мере, одного основного канала, и
в котором выходной интерфейс (1408) выполнен с возможностью вывода информации о работе понижающего микширования.

33. Кодер по п.32, в котором устройство понижающего микшера включает в себя предварительный стереопроцессор, и в котором выходной интерфейс выполнен с возможностью вывода информации о предварительном стереопроцессоре.

34. Кодер по п.31, в котором калькулятор параметра повышающего микшера выполнен с возможностью проведения оптимизации (1444) параметра, используя формы колебаний каналов повышающего микширования, для генерирования, по меньшей мере, двух параметров повышающего микширования, которые должны быть переданы в декодер, на основе оптимальных параметров повышающего микширования, и для расчета и вывода меры энергии на основе сигналов, генерируемых путем повышающего микширования, по меньшей мере, одного основного канала, используя оптимальные параметры повышающего микширования.

35. Кодер по п.28 или 29, дополнительно содержащий генератор (104, 1001, 1520, 1522, 1414, 1416) параметра, предназначенный для генерирования конкретного параметрического представления среди множества разных параметрических представлений, на основе информации, доступной в кодере;
в котором выходной интерфейс (1408) выполнен с возможностью вывода сгенерированного параметрического представления и информации, не явно или явно обозначающей представление конкретного параметра среди множества разных представлений параметра.

36. Кодер по п.35, в котором множество разных представлений параметра включает в себя первое параметрическое представление для схемы предиктивного повышающего микширования на основе формы колебаний и второе параметрическое представление для правила повышающего микширования, которое не основано на форме колебаний.

37. Кодер по п.36, в котором правило повышающего микширования, не основанное на форме колебаний, представляет собой правило повышающего микширования с сохранением энергии.

38. Кодер по п.35, в котором первое параметрическое представление представляет собой представление параметра, параметры которого определяют, используя процедуру оптимизации, и
в котором второе параметрическое представление определяют путем расчета (1502) значений энергии исходных каналов и путем расчета параметров (1522) на основе комбинаций значений энергии.

39. Кодер по п.28 или 29, дополнительно содержащий модуль (1512, 1514) дублирования спектральной полосы, предназначенный для генерирования информации на стороне дублирования спектральной полосы, по меньшей мере, для одной полосы исходного входного сигнала, которая не включена в основной канал на выходе кодера.

40. Способ генерирования, по меньшей мере, трех выходных каналов (1100), используя входной сигнал, имеющий, по меньшей мере, один основной канал (1102), причем основной канал получают из исходного многоканального сигнала (101, 102, 103), содержащий:
повышающее микширование (1104), по меньшей мере, одного основного канала на основе правила повышающего микширования (201, 1408), вносящего потери энергии, так, что получают, по меньшей мере, три выходных канала,
в котором на этапе повышающего микширования, по меньшей мере, три выходных канала генерируют в ответ на меру (1106) энергии и, по меньшей мере, два разных параметра (1108) повышающего микширования так, что, по меньшей мере, три выходных канала имеют энергию большую, чем энергия сигнала, полученного только при использовании правила повышающего микширования, вносящего потери энергии вместо ошибки энергии, причем ошибка энергии зависит от правила повышающего микширования, вносящего потери энергии, и
в котором, по меньшей мере, два разных параметра (1108) повышающего микширования и мера энергии включены во входной сигнал для управления повышающим микшером
в котором правило повышающего микширования, вносящее потери энергии, представляет собой предиктивное правило повышающего микширования, в котором используют матрицу повышающего микширования, имеющую коэффициенты матрицы, которые основаны на коэффициентах прогнозирования, и
в котором, по меньшей мере, два разных параметра повышающего микширования представляют собой два разных элемента (с₁₁, c₂₂) матрицы повышающего микширования или представляют собой параметры, из которых получают два разных элемента матрицы повышающего микширования.

41. Способ обработки многоканального входного сигнала, содержащий:
расчет (1402) меры (ρ) ошибки в зависимости от разности энергии между многоканальным входным сигналом или, по меньшей мере, одним основным каналом, полученным из многоканального входного сигнала, и сигналом повышающего микширования, сгенерированным в результате выполнения операции повышающего микширования, вносящего потери энергии; и
вывод (1408), по меньшей мере, одного основного канала, после масштабирования (401, 402) с коэффициентом (403) масштабирования, который зависит от меры энергии, или вывод меры энергии.

42. Кодированный сигнал многоканальной информации, по меньшей мере, один основной канал которого масштабирован с использованием меры энергии, в зависимости от разности значений энергии между входным многоканальным сигналом или, по меньшей мере, одним основным каналом, полученным из входного многоканального сигнала, и сигналом повышающего микширования, сгенерированным в результате выполнения операции повышающего микширования, вносящего потери энергии, или имеющим меру энергии, в котором правило повышающего микширования, вносящее потери энергии, представляет собой предиктивное правило повышающего микширования, в котором используют матрицу повышающего микширования, имеющую коэффициенты матрицы, которые основаны на коэффициентах прогнозирования, и в котором, по меньшей мере, два разных параметра повышающего микширования представляют собой два разных элемента
(с₁₁, c₂₂) матрицы повышающего микширования или представляют собой параметры, из которых получают два разных элемента матрицы повышающего микширования.

43. Устройство аудиозаписи многоканального аудиосигнала, имеющее кодер по п.28 или 29.

44. Передатчик многоканального аудиосигнала, имеющий кодер по п.28 или 29.

45. Приемник многоканального аудиосигнала, имеющий многоканальный синтезатор по п.1 или 2.

46. Система передачи и приема многоканального аудиосигнала, имеющая передатчик по п.44 и приемник по п.45.

47. Способ передачи многоканального аудиосигнала, причем способ содержит способ обработки по п.41.

48. Способ приема многоканального аудиосигнала, включающий в себя способ генерирования по п.40.

49. Способ приема многоканального аудиосигнала по п.48 и передачи многоканального аудиосигнала по п.47.

50. Аудиопроигрыватель многоканального аудиосигнала, имеющий многоканальный синтезатор по п.1 или 2.

51. Способ записи многоканального аудиосигнала, причем способ содержит способ обработки по п.41.

52. Способ воспроизведения многоканального аудиосигнала, включающий в себя способ генерирования по п.40.

53. Машиночитаемый носитель, на котором сохранена компьютерная программа, предназначенная для исполнения, при ее выполнении на компьютере, способа по п.40.

54. Машиночитаемый носитель, на котором сохранена компьютерная программа, предназначенная для исполнения, при ее выполнении на компьютере, способа по п.41.