Устройство и способ для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания

Изобретение относится к области обработки аудиосигнала. Техническим результатом является обеспечение улучшенного формирования сигнала с расширенной полосой пропускания при исключении дополнительной задержки. Устройство для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания содержит модуль формирования патчей, модуль обработки сигналов и модуль комбинирования. Модуль формирования патчей выполнен с возможностью осуществлять алгоритм гармонического патчирования для того, чтобы получать сигнал после патчирования. Модуль формирования патчей выполнен с возможностью осуществлять алгоритм гармонического патчирования для текущего временного блока с расширенной полосой пропускания из множества последовательных временных блоков с расширенной полосой пропускания с использованием предшествующего во времени временного блока с ограниченной полосой пропускания из множества последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. 3 н. и 13 з.п. ф-лы, 17 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к обработке аудиосигналов и, в частности, к устройству и способу для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания.

УРОВЕНЬ ТЕХНИКИ

Хранение или передача аудиосигналов зачастую подчиняются строгим ограничениям скорости передачи битов. В прошлом, кодеры принудительно существенно уменьшали полосу пропускания передаваемого аудиосигнала, когда была доступна только очень низкая скорость передачи битов. Современные аудиокодеки в настоящее время имеют возможность кодировать широкополосные сигналы посредством использования способов расширения полосы пропускания (BWE), как описано в работах авторов M. Dietz, L. Liljeryd, K. Kjörling и O. Kunz "Spectral Band Replication, the novel approach in audio coding", in 112th AES Convention, Мюнхен, май 2002 года; авторов S. Meltzer, R. Böhm и F. Henn "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)", in 112th AES Convention, Мюнхен, май 2002 года; авторов T. Ziegler, A. Ehret, P. Ekstrand и M. Lutzky "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm", in 112th AES Convention, Мюнхен, май 2002 года; в Международном стандарте ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension", ISO/IEC, 2002 года; "Speech bandwidth extension method and apparatus" авторов Vasu Iyengar и др.; E. Larsen, R. M. Aarts и M. Danessis "Efficient high-frequency bandwidth extension of music and speech", In AES 112th Convention, Мюнхен, Германия, май 2002 года; авторов R. M. Aarts, E. Larsen и O. Ouweltjes "The unified approach to low- and high frequency bandwidth extension", In AES 115th Convention, Нью-Йорк, США, октябрь 2003 года; автора K. Käyhkö "A Robust Wideband Enhancement for Narrowband Speech Signal", Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio Signal Processing, 2001 год; авторов E. Larsen и R. M. Aarts "Audio Bandwidth Extension – Application to psychoacoustics, Signal Processing and Loudspeaker Design", John Wiley and Sons, Ltd, 2004 год; авторов E. Larsen, R. M. Aarts и M. Danessis "Efficient high-frequency bandwidth extension of music and speech", In AES 112th Convention, Мюнхен, Германия, май 2002 года; автора J. Makhoul "Spectral Analysis of Speech by Linear Prediction", IEEE Transactions on Audio and Electroacoustics, AU-21(3), июнь 1973 года; заявке на патент (США) 08/951,029, Ohmori, et al. "Audio band width extending system and method"; и патенте (США) 6,895,375, Malah, D и Cox, R. V. "System for bandwidth extension of Narrow-band speech". Эти алгоритмы основываются на параметрическом представлении высокочастотного (HF) контента, который формируется из низкочастотной части (LF) декодированного сигнала, посредством транспозиции в спектральную HF-область ("патчирования") и применения постобработки на основе параметров. LF-часть кодируется с помощью любого аудио- или речевого кодера. Например, способы расширения полосы пропускания, описанные в работах M. Dietz, L. Liljeryd, K. Kjörling и O. Kunz "Spectral Band Replication, a novel approach in audio coding", in 112th AES Convention, Мюнхен, май 2002 года; S. Meltzer, R. Böhm и F. Henn "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)", in 112th AES Convention, Мюнхен, май 2002 года; T. Ziegler, A. Ehret, P. Ekstrand и M. Lutzky "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm", in 112th AES Convention, Мюнхен, май 2002 года; и в Международном стандарте ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension", ISO/IEC, 2002 "Speech bandwidth extension method and apparatus", Vasu Iyengar и др., основываются на модуляции с одной боковой полосой (SSB), зачастую также называемой "способом перезаписи", для формирования нескольких HF-патчей.

В последнее время, новый алгоритм, который использует банк фазовых вокодеров, как описано в работах автора M. Puckette "Phase-locked Vocoder", IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995"; автора Röbel, A.: "Transient detection and preservation in the phase vocoder"; citeseer.ist.psu.edu/679246.html; авторов Laroche L., Dolson M.: "Improved phase vocoder timescale modification of audio", IEEE Trans. Speech and Audio Processing, издание 7, номер 3, стр. 323-332; патенте (США) 6,549,884, Laroche, J. и Dolson, M.: "Phase-vocoder pitch-shifting, for the generation of the different patches", представлены, как описано в работе авторов Frederik Nagel, Sascha Disch, "A harmonic bandwidth extension method for audio codecs", ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, CNF IEEE, Taipei, Тайвань, апрель 2009 года. Этот способ разработан, чтобы исключать акустическую неровность, которая зачастую наблюдается в сигналах, подвергнутых SSB-расширению полосы пропускания. Хотя и является полезным для многих тональных сигналов, этот способ, называемый "гармоническим расширением полосы пропускания" (HBE), имеет предрасположенность к ухудшениям качества переходных частей, содержащихся в аудиосигнале, как описано в работе авторов Frederik Nagel, Sascha Disch, Nikolaus Rettelbach "A phase vocoder driven bandwidth extension method with novel transient handling for audio codecs", 126th AES Convention, Мюнхен, Германия, май 2009 года, поскольку не гарантируется поддержание вертикальной когерентности по подполосам частот в стандартном алгоритме на основе фазового вокодера, и кроме того, пересчет фаз должен выполняться для временных блоков преобразования, или альтернативно, гребенки фильтров. Следовательно, возникает необходимость специальной обработки для частей сигнала, содержащих переходные части. Кроме того, фазовые вокодеры на основе суммирования с перекрытием, применяемые в HBE-алгоритме, вызывают дополнительную задержку, которая является слишком высокой для того, чтобы быть приемлемой для использования в вариантах применения, разработанных для целей связи.

Как указано выше, существующие схемы расширения полосы пропускания могут применять один способ патчирования к данному сигнальному блоку за раз, будь это патчирование на основе SSB, как описано в работах авторов M. Dietz, L. Liljeryd, K. Kjörling и O. Kunz "Spectral Band Replication, the novel approach in audio coding", in 112th AES Convention, Мюнхен, май 2002 года; авторов S. Meltzer, R. Böhm и F. Henn "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)", in 112th AES Convention, Мюнхен, май 2002 года; авторов T. Ziegler, A. Ehret, P. Ekstrand и M. Lutzky, "Enhancing mp3 with SBR: "Features and Capabilities of the new mp3PRO Algorithm", in 112th AES Convention, Мюнхен, май 2002 года; и в Международном стандарте ISO/IEC 14496-3:2001/FPDAM 1 "Bandwidth Extension", ISO/IEC, 2002, "Speech bandwidth extension method and apparatus", Vasu Iyengar и др., или патчирование на основе HBE-вокодера, поясненное в работах авторов Frederik Nagel, Sascha Disch "A harmonic bandwidth extension method for audio codecs", in ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, CNF IEEE, Taipei, Тайвань, апрель 2009 года, на основе технологий фазового вокодера, как описано в работах автора M. Puckette "Phase-locked Vocoder", IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995"; автора Röbel, A.: "Transient detection and preservation in the phase vocoder"; citeseer.ist.psu.edu/679246.html; авторов Laroche L., Dolson M.: "Improved phase vocoder timescale modification of audio", IEEE Trans. Speech and Audio Processing, издание 7, номер 3, стр. 323-332; патенте (США) 6,549,884, Laroche, J. и Dolson, M.: "Phase-vocoder pitch-shifting".

Альтернативно, может использоваться комбинация патчирования на основе HBE и SSB, как описано в предварительной заявке на патент (США) 61/312,127. Кроме того, современные аудиокодеры, как описано в работах авторов Neuendorf, Max; Gournay, Philippe; Multrus, Markus; Lecomte, Jérémie; Bessette, Bruno; Geiger, Ralf; Bayer, Stefan; Fuchs, Guillaume; Hilpert, Johannes; Rettelbach, Nikolaus; Salami, Redwan; Schuller, Gerald; Lefebvre, Roch; Grill, Bernhard, "Unified Speech and Audio Coding Scheme for High Quality at Lowbitrates", ICASSP 2009, 19-24 апреля 2009 года, Taipei, Тайвань; авторов Bayer, Stefan; Bessette, Bruno; Fuchs, Guillaume; Geiger, Ralf; Gournay, Philippe; Grill, Bernhard; Hilpert, Johannes; Lecomte, Jérémie; Lefebvre, Roch; Multrus, Markus; Nagel, Frederik; Neuendorf, Max; Rettelbach, Nikolaus; Robilliard, Julien; Salami, Redwan; Schuller, Gerald "A Novel Scheme for Low Bitrate Unified Speech and Audio Coding, 126th AES Convention", 7 мая 2009 года, Мюнхен, предлагают возможность переключения способа патчирования глобально на основе временных блоков между альтернативными схемами патчирования.

Традиционное патчирование с SSB-перезаписью имеет такой недостаток, что оно вводит нежелательную неровность в аудиосигнал. Тем не менее, оно является вычислительно простым и сохраняет временную огибающую переходных частей.

В аудиокодеках с использованием HBE-патчирования, недостаток заключается в том, что качество воспроизведения переходных частей зачастую является субоптимальным. Кроме того, вычислительная сложность значительно повышается по сравнению с очень простым в вычислительном отношении способом SSB-перезаписи. Кроме того, HBE-патчирование вводит дополнительную алгоритмическую задержку, которая превышает допустимый диапазон для применения в сценариях связи.

Дополнительный недостаток обработки предшествующего уровня техники заключается в том, что комбинация патчирования на основе HBE и SSB в одном временном блоке не исключает дополнительную задержку, вызываемую посредством HBE.

Задача настоящего изобретения заключается в том, чтобы предоставлять принцип для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания, обеспечивающий возможность улучшенного перцепционного качества при исключении таких недостатков.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Это задача решается посредством устройства по п. 1 и способа по п. 15.

Согласно варианту осуществления настоящего изобретения, устройство для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания содержит модуль формирования патчей, модуль обработки сигналов и модуль комбинирования. Аудиосигнал с ограниченной полосой пропускания содержит множество последовательных временных блоков с ограниченной полосой пропускания, при этом каждый временной блок с ограниченной полосой пропускания имеет, по меньшей мере, один ассоциированный параметр репликации полос спектра, содержащий полосу базовых частот. Сигнал с расширенной полосой пропускания содержит множество последовательных временных блоков с расширенной полосой пропускания. Модуль формирования патчей выполнен с возможностью формирования патчированного (подвергнутого патчированию) сигнала, содержащего полосу верхних частот, с использованием временного блока с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. Модуль формирования патчей выполнен с возможностью осуществлять алгоритм гармонического патчирования для того, чтобы получать патчированный сигнал. Модуль формирования патчей выполнен с возможностью осуществлять алгоритм гармонического патчирования для текущего временного блока с расширенной полосой пропускания из множества последовательных временных блоков с расширенной полосой пропускания с использованием предшествующего во времени временного блока с ограниченной полосой пропускания из множества последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. Модуль обработки сигналов выполнен с возможностью обработки сигнала до патчирования или патчированного сигнала, сформированного с использованием предшествующего во времени временного блока с ограниченной полосой пропускания, с использованием параметра репликации полос спектра, ассоциированного с текущим временным блоком с ограниченной полосой пропускания для того, чтобы получать обработанный патчированный сигнал, содержащий полосу верхних частот. Предшествующий во времени временной блок с ограниченной полосой пропускания идет во времени перед текущим временным блоком с ограниченной полосой пропускания во множестве последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. Модуль комбинирования выполнен с возможностью комбинирования аудиосигнала с ограниченной полосой пропускания, содержащего полосу базовых частот, и обработанного патчированного сигнала, содержащего полосу верхних частот, чтобы получать сигнал с расширенной полосой пропускания.

Базовая концепция, лежащая в основе настоящего изобретения, заключается в том, что вышеуказанное улучшенное перцепционное качество может достигаться, если патчированный сигнал, содержащий полосу верхних частот, формируется с использованием временного блока с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания, алгоритм гармонического патчирования выполняется для того, чтобы получать патчированный сигнал, алгоритм гармонического патчирования выполняется для текущего временного блока с расширенной полосой пропускания из множества последовательных временных блоков с расширенной полосой пропускания с использованием предшествующего во времени временного блока с ограниченной полосой пропускания из множества последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания, и если сигнал до патчирования или патчированный сигнал обработан с использованием параметра репликации полос спектра, ассоциированного с текущим временным блоком с ограниченной полосой пропускания для того, чтобы получать обработанный патчированный сигнал, содержащий полосу верхних частот, при этом предшествующий во времени временной блок с ограниченной полосой пропускания идет во времени перед текущим временным блоком с ограниченной полосой пропускания во множестве последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. Таким образом, можно исключать негативное влияние дополнительной задержки, вызываемой посредством HBE-алгоритма, на сигнал с расширенной полосой пропускания. Следовательно, может значительно улучшаться перцепционное качество сигнала с расширенной полосой пропускания.

Согласно варианту осуществления, модуль формирования патчей выполнен с возможностью осуществления алгоритма гармонического патчирования с использованием обработки суммирования с перекрытием, по меньшей мере, между двумя временными блоками с ограниченной полосой пропускания. Посредством использования обработки суммирования с перекрытием дополнительная задержка вводится в алгоритм гармонического патчирования.

Согласно варианту осуществления, способ для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания, причем аудиосигнал с ограниченной полосой пропускания содержит множество последовательных временных блоков с ограниченной полосой пропускания, при этом каждый временной блок с ограниченной полосой пропускания имеет, по меньшей мере, один ассоциированный параметр репликации полос спектра, содержащий полосу базовых частот, а сигнал с расширенной полосой пропускания содержит множество последовательных временных блоков с расширенной полосой пропускания, содержит формирование патчированного сигнала, содержащего полосу верхних частот, выполнение алгоритма гармонического патчирования для того, чтобы получать патчированный сигнал, обработку сигнала до патчирования или патчированного сигнала для того, чтобы получать обработанный патчированный сигнал, содержащий полосу верхних частот, и комбинирование аудиосигнала с ограниченной полосой пропускания, содержащего полосу базовых частот, и обработанного патчированного сигнала, содержащего полосу верхних частот, чтобы получать сигнал с расширенной полосой пропускания. Этап формирования содержит формирование патчированного сигнала, содержащего полосу верхних частот, с использованием временного блока с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. Этап выполнения содержит выполнение алгоритма гармонического патчирования для текущего временного блока с расширенной полосой пропускания из множества последовательных временных блоков с расширенной полосой пропускания с использованием предшествующего во времени временного блока с ограниченной полосой пропускания из множества последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. Этап обработки содержит обработку сигнала до патчирования или патчированного сигнала с использованием параметра репликации полос спектра, ассоциированного с текущим временным блоком с ограниченной полосой пропускания для того, чтобы получать обработанный патчированный сигнал, содержащий полосу верхних частот. Здесь, предшествующий во времени временной блок с ограниченной полосой пропускания идет во времени перед текущим временным блоком с ограниченной полосой пропускания во множестве последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания.

Кроме того, варианты осуществления настоящего изобретения относятся к концепции для улучшения перцепционного качества стационарных частей аудиосигналов без задействования переходных частей. Чтобы удовлетворять обоим требованиям, может вводиться схема, которая применяет смешанное патчирование, состоящее из гармонического патчирования и патчирования с перезаписью.

Некоторые варианты осуществления согласно изобретению предоставляют лучшее перцепционное качество относительно традиционного HBE, которое вводит дополнительную алгоритмическую задержку по сравнению с SSB. Она может компенсироваться в этом изобретении посредством использования стационарности сигнала с использованием кадров из предшествующего уровня техники для формирования высокочастотного контента для гармонических сигналов.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Ниже поясняются варианты осуществления настоящего изобретения со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1 показывает блок-схему варианта осуществления устройства для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания;

Фиг. 2 показывает блок-схему варианта осуществления модуля формирования патчей для выполнения алгоритма гармонического патчирования в области гребенки фильтров;

Фиг. 3 показывает блок-схему примерной реализации блока нелинейной обработки варианта осуществления модуля формирования патчей в соответствии с фиг. 2;

Фиг. 4 показывает блок-схему варианта осуществления модуля формирования патчей для выполнения алгоритма патчирования с перезаписью в области гребенки фильтров;

Фиг. 5a показывает схематичную иллюстрацию примерной схемы расширения полосы пропускания с использованием алгоритма гармонического патчирования и алгоритма патчирования с перезаписью;

Фиг. 5b показывает примерный спектр, полученный из схемы расширения полосы пропускания по фиг. 5a;

Фиг. 6a показывает дополнительную схематичную иллюстрацию примерной схемы расширения полосы пропускания с использованием алгоритма гармонического патчирования и алгоритма патчирования с перезаписью;

Фиг. 6b показывает примерный спектр, полученный из схемы расширения полосы пропускания по фиг. 6a;

Фиг. 7a показывает схематичную иллюстрацию примерной схемы расширения полосы пропускания с использованием только алгоритма патчирования с перезаписью;

Фиг. 7b показывает примерный спектр, полученный из схемы расширения полосы пропускания по фиг. 7a;

Фиг. 8a показывает схематичную иллюстрацию примерной схемы расширения полосы пропускания с использованием только алгоритма гармонического патчирования;

Фиг. 8b показывает примерный спектр, полученный из схемы расширения полосы пропускания по фиг. 8a;

Фиг. 9 показывает блок-схему варианта осуществления модуля формирования патчей варианта осуществления устройства в соответствии с фиг. 1;

Фиг. 10 показывает блок-схему дополнительного варианта осуществления модуля формирования патчей варианта осуществления устройства в соответствии с фиг. 1;

Фиг. 11 показывает схематичную иллюстрацию примерной схемы патчирования;

Фиг. 12 показывает примерную реализацию операции обеспечения непрерывности фазы/перекрестного затухания между различными временными блоками с расширенной полосой пропускания; и

Фиг. 13 показывает блок-схему дополнительного варианта осуществления устройства для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

ФИГ. 1 показывает блок-схему варианта осуществления устройства 100 для формирования сигнала 135 с расширенной полосой пропускания из аудиосигнала 105 с ограниченной полосой пропускания. Здесь, аудиосигнал 105 с ограниченной полосой пропускания содержит множество последовательных временных блоков с ограниченной полосой пропускания, при этом каждый временной блок с ограниченной полосой пропускания имеет, по меньшей мере, один ассоциированный параметр 121 репликации полос спектра, содержащий полосу базовых частот. Кроме того, сигнал 135 с расширенной полосой пропускания содержит множество последовательных временных блоков с расширенной полосой пропускания. Как показано на фиг. 1, устройство 100 содержит модуль 110 формирования патчей, модуль 120 обработки сигналов и модуль 130 комбинирования. Модуль 110 формирования патчей выполнен с возможностью формирования патчированного сигнала 115, содержащего полосу верхних частот, с использованием временного блока с ограниченной полосой пропускания аудиосигнала 105 с ограниченной полосой пропускания. В варианте осуществления по фиг. 1, модуль 110 формирования патчей выполнен с возможностью осуществлять алгоритм гармонического патчирования для того, чтобы получать патчированный сигнал 115. Например, модуль 110 формирования патчей выполнен с возможностью осуществлять алгоритм гармонического патчирования для текущего временного блока (m') с расширенной полосой пропускания из множества последовательных временных блоков с расширенной полосой пропускания с использованием предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания из множества последовательных временных блоков с ограниченной полосой пропускания аудиосигнала 105 с ограниченной полосой пропускания. Как примерно проиллюстрировано на фиг. 1, модуль 120 обработки сигналов выполнен с возможностью обработки сигнала 105 до патчирования (необязательной) или патчированного сигнала 115, сформированного с использованием предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания, с использованием параметра 121 репликации полос спектра (SBR), ассоциированного с текущим временным блоком (m) с ограниченной полосой пропускания для того, чтобы получать обработанный патчированный сигнал 125, содержащий полосу верхних частот. В варианте осуществления по фиг. 1, предшествующий во времени временной блок (m-1) с ограниченной полосой пропускания идет во времени перед текущим временным блоком (m) с ограниченной полосой пропускания во множестве последовательных временных блоков с ограниченной полосой пропускания аудиосигнала 105 с ограниченной полосой пропускания. Модуль 130 комбинирования выполнен с возможностью комбинирования аудиосигнала 105 с ограниченной полосой пропускания, содержащего полосу базовых частот, и обработанного патчированного сигнала 125, содержащего полосу верхних частот, чтобы получать сигнал 135 с расширенной полосой пропускания.

Что касается варианта осуществления по фиг. 1, индекс m может соответствовать отдельному временному блоку с ограниченной полосой пропускания из множества последовательных временных блоков с ограниченной полосой пропускания аудиосигнала 105 с ограниченной полосой пропускания, в то время как индекс m' может соответствовать отдельному временному блоку с расширенной полосой пропускания из множества последовательных временных блоков с расширенной полосой пропускания, полученных из модуля 110 формирования патчей.

Например, модуль 110 формирования патчей, показанный в варианте осуществления по фиг. 1, использует модуль гармонической транспозиции на основе DFT или модуль гармонической транспозиции на основе QMF, к примеру, описанный в разделах 7.5.3 и 7.5.4 MPEG-аудиостандарта ISO/IEC FDIS 23003-3, 2011, соответственно.

В вариантах осуществления, модуль 120 обработки сигналов может содержать модуль регулирования огибающей для регулирования огибающей патчированного сигнала 115 в зависимости от SBR-параметра 121, чтобы получать подвергнутый регулированию огибающей или обработанный патчированный сигнал 125.

Фиг. 2 показывает блок-схему варианта осуществления модуля 110 формирования патчей варианта осуществления устройства 100 в соответствии с фиг. 1 для выполнения алгоритма гармонического патчирования в области гребенки фильтров. Ссылаясь на фиг. 2, устройство 100 может содержать QMF-гребенку 210 аналитических фильтров, вариант осуществления модуля 110 формирования патчей и QMF-гребенку 220 синтетических фильтров.

Например, QMF-гребенка 210 аналитических фильтров выполнена с возможностью преобразования декодированного низкочастотного сигнала 205 во множество 215 подполосных сигналов. Множество 215 подполосных сигналов, показанных на фиг. 2, может представлять полосу базовых частот аудиосигнала 105 с ограниченной полосой пропускания, показанного на фиг. 1.

В варианте осуществления по фиг. 2, модуль 110 формирования патчей выполнен с возможностью управления множеством 215 подполосных сигналов, предоставленных посредством QMF-гребенки 210 аналитических фильтров, и выводит множество 217 подполосных сигналов после патчирования для QMF-гребенки 220 синтетических фильтров. Множество 217 подполосных патчированных сигналов, показанных на фиг. 2, может представлять патчированный сигнал 115, показанный на фиг. 1.

QMF-гребенка 220 синтетических фильтров, например, выполнена с возможностью преобразования множества 217 из подполосных патчированных сигналов в сигнал 135 с расширенной полосой пропускания.

Что касается варианта осуществления по фиг. 2, подполосные патчированные сигналы 217, принятые посредством QMF-гребенки 220 синтетических фильтров, обозначаются посредством 1, 2, 3,..., представляющих различные подполосные патчированные сигналы, характеризуемые посредством все более высоких частот.

Как примерно проиллюстрировано на фиг. 2, модуль 110 формирования патчей выполнен с возможностью получения первой группы 219-1 подполосных патчированных сигналов, второй группы 219-2 подполосных патчированных сигналов и третьей группы 219-3 подполосных патчированных сигналов из множества 215 подполосных сигналов. Например, модуль 110 формирования патчей выполнен с возможностью непосредственно подавать первую группу 219-1 подполосных патчированных сигналов из QMF-гребенки 210 аналитических фильтров в QMF-гребенку 220 синтетических фильтров. На фиг. 2 также примерно проиллюстрировано то, что модуль 110 формирования патчей содержит множество 250 блоков нелинейной обработки.

Множество 250 блоков нелинейной обработки может содержать первую группу 252 блоков нелинейной обработки и вторую группу 254 блоков нелинейной обработки. Например, первая группа 252 блоков нелинейной обработки модуля 110 формирования патчей выполнена с возможностью осуществления нелинейной обработки, чтобы получать вторую группу 219-2 подполосных патчированных сигналов. Помимо этого, вторая группа 254 блоков нелинейной обработки модуля 110 формирования патчей может быть выполнена с возможностью осуществления нелинейной обработки, чтобы получать третью группу 219-3 подполосных патчированных сигналов. В варианте осуществления по фиг. 2, первая группа 252 блоков нелинейной обработки содержит первый блок 253-1 нелинейной обработки и второй блок 253-2 нелинейной обработки, в то время как вторая группа 254 блоков нелинейной обработки содержит первый блок 255-1 нелинейной обработки и второй блок 255-2 нелинейной обработки.

Например, первый блок 253-1 нелинейной обработки и второй блок 253-2 нелинейной обработки первой группы 252 блоков нелинейной обработки выполнены с возможностью осуществлять нелинейную обработку, в которой фазы первого сигнала подполосы верхних частот 261 и второго сигнала 263 подполосы верхних частот умножены на коэффициент (σ) расширения полосы пропускания в два, чтобы получать соответствующие нелинейно обработанные выходные сигналы 271-1, 271-2, соответственно. Помимо этого, первый блок 255-1 нелинейной обработки и второй блок 255-2 нелинейной обработки второй группы 254 блоков нелинейной обработки могут быть выполнены с возможностью осуществлять нелинейную обработку, в которой фазы первого сигнала подполосы верхних частот 261 и второго сигнала 263 подполосы верхних частот умножены на коэффициент (σ) расширения полосы пропускания в три, чтобы получать соответствующие нелинейно обработанные выходные сигналы 273-1, 273-2, соответственно.

Нелинейно обработанные выходные сигналы 271-1, 271-2, выводимые посредством первого блока 253-1 нелинейной обработки и второго блока 253-2 нелинейной обработки, могут быть обработаны посредством соответствующих блоков 122-1, 122-2 обработки сигналов модуля 120 обработки сигналов, соответственно. Как примерно проиллюстрировано на фиг. 2, модуль 120 обработки сигналов выполнен с возможностью обработки нелинейно обработанных выходных сигналов 271-1, 271-2 с использованием параметра 121 репликации полос спектра по фиг. 1. На фиг. 2 примерно показано то, что на выходе модуля 120 обработки сигналов получается вторая группа 219-2 подполосных патчированных сигналов. В частности, вторая группа 219-2 подполосных патчированных сигналов может соответствовать первой полосе целевых частот (или первому верхнему патчу), сформированной из полосы базовых частот, при этом первый верхний патч основан на коэффициенте (σ) расширения полосы пропускания в два.

Помимо этого, нелинейно обработанные выходные сигналы 273-1, 273-2, выводимые посредством первого блока 255-1 нелинейной обработки и второго блока 255-2 нелинейной обработки, могут составлять третью группу 219-3 подполосных патчированных сигналов, принимаемых посредством QMF-гребенки 220 синтетических фильтров. В частности, третья группа 219-3 подполосных патчированных сигналов может соответствовать второй полосе целевых частот (или второму верхнему патчу), сформированной из полосы базовых частот, при этом вторая полоса целевых частот основана на коэффициенте (σ) расширения полосы пропускания в три.

Что касается варианта осуществления по фиг. 2, нелинейно обработанный выходной сигнал для верхнего патча (например, нелинейно обработанный выходной сигнал 271-2) и нелинейно обработанный выходной сигнал для другого верхнего патча (например, нелинейно обработанный выходной сигнал 273-1) могут суммироваться или комбинироваться, как указано на фиг. 2 посредством пунктирной линии 211.

В частности, посредством предоставления модуля 110 формирования патчей, показанного на фиг. 2, можно формировать сигнал 135 с расширенной полосой пропускания с использованием первой группы 219-1 подполосных патчированных сигналов, соответствующих полосе базовых частот, второй группы 219-2 подполосных патчированных сигналов, соответствующих первому верхнему патчу, и третьей группе 219-3 подполосных патчированных сигналов, соответствующих второму верхнему патчу.

Фиг. 3 показывает блок-схему примерной реализации блока 300 нелинейной обработки варианта осуществления модуля 110 формирования патчей в соответствии с фиг. 2. Блок 300 нелинейной обработки, показанный на фиг. 3, может соответствовать одному из блоков 250 нелинейной обработки, показанных на фиг. 2. В примерной реализации по фиг. 3, блок 300 нелинейной обработки содержит блок 309 кодирования со взвешиванием, блок 310 фазового умножения, модуль 320 прореживания и модуль 330 растягивания во времени (например, с использованием стадии суммирования с перекрытием (OLA)). Например, блок 310 фазового умножения выполнен с возможностью умножения фазы подполосного сигнала 305 на коэффициент (σ) расширения полосы пропускания для того, чтобы получать подполосный сигнал 315 после фазового умножения. Кроме того, модуль 320 прореживания может быть выполнен с возможностью прореживания подполосного сигнала 315 после фазового умножения, чтобы получать прореженный подполосный сигнал 325. Кроме того, модуль 330 растягивания во времени может быть выполнен с возможностью растягивания во времени прореженного подполосного сигнала 325, чтобы получать растянутый во времени выходной сигнал 335, который временно распределяется во времени. Предпочтительно, блок 330 выполняет обработку суммирования с перекрытием с большим размером перескока по сравнению с размером перескока, используемым при кодировании со взвешиванием в блоке 309, с тем чтобы получать операцию растягивания во времени. Подполосный сигнал 305, вводимый в блок 310 фазового умножения, показанный на фиг. 3, может соответствовать одному из подполосных сигналов 215, вводимых в модуль 110 формирования патчей, показанный на фиг. 2, в то время как растянутый во времени выходной сигнал 335, предоставленный посредством модуля 330 растягивания во времени, показанного на фиг. 3, может соответствовать нелинейно обработанному выходному сигналу, предоставленному посредством одного из блоков 250 нелинейной обработки модуля 110 формирования патчей, показанного на фиг. 2. В частности, растянутый во времени выходной сигнал 335 может быть обработан посредством использования обработки сигналов, так что получается сигнал 135 с расширенной полосой пропускания.

В примерной реализации по фиг. 3, блок 310 фазового умножения может реализовываться с возможностью управления подполосным сигналом 305 с использованием коэффициента (σ) расширения полосы пропускания. Например, коэффициент расширения полосы пропускания σ=2 и σ=3 может использоваться для того, чтобы предоставлять первый верхний патч и второй верхний патч для сигнала 135 с расширенной полосой пропускания, соответственно, как описано со ссылкой на фиг. 2. Кроме того, модуль 320 прореживания блока 300 нелинейной обработки, показанный на фиг. 3, может реализовываться посредством преобразователя частоты дискретизации для преобразования частоты дискретизации подполосного сигнала 315 после фазового умножения в зависимости от коэффициента (σ) расширения полосы пропускания. Если, например, коэффициент расширения полосы пропускания σ=2 используется посредством модуля 320 прореживания, то каждая вторая выборка подполосного сигнала 315 после фазового умножения должна удаляться из него. Это приводит к случаю, в котором прореженный сигнал 325, выводимый посредством модуля 320 прореживания, фактически характеризуется посредством половины длительности подполосного сигнала 315 после фазового умножения и имеющего расширенную полосу пропускания.

Кроме того, модуль 330 растягивания во времени может быть выполнен с возможностью осуществлять растягивание во времени прореженного подполосного сигнала 325 на коэффициент растягивания во времени в два (например, с использованием обработки суммирования с перекрытием посредством OLA-стадии), так что растянутый во времени выходной сигнал 335, выводимый посредством модуля 330 растягивания во времени, снова должен иметь исходную длительность подполосного сигнала 305, вводимого в блок 310 фазового умножения.

В примерной реализации по фиг. 3, модуль 320 прореживания и модуль 330 растягивания во времени также могут размещаться в обратном порядке относительно направления обработки сигналов. Это указывается на фиг. 3 посредством двойной стрелки 311. В случае если модуль 330 растягивания во времени предоставляется перед модулем 320 прореживания, подполосный сигнал 315 после фазового умножения сначала должен быть растянут во времени, чтобы получать растянутый во времени сигнал, а затем прорежен, чтобы предоставлять прореженный выходной сигнал для сигнала с расширенной полосой пропускания. Если, например, подполосный сигнал 315 после фазового умножения сначала растягивается во времени на коэффициент растягивания во времени в два, растянутый во времени сигнал должен характеризоваться посредством длительности, в два раза превышающей длительность подполосного сигнала 315 после фазового умножения. Последующее прореживание на соответствующий коэффициент прореживания в два, например, приводит к случаю, в котором прореженный выходной сигнал снова должен иметь исходную длительность подполосного сигнала 305, вводимого в блок 310 фазового умножения и имеющего расширенную полосу пропускания.

Ссылаясь на фиг. 3, здесь указывается то, что в любом случае, операция растягивания во времени, выполняемая посредством модуля 330 растягивания во времени с использованием обработки суммирования с перекрытием, приводит к дополнительной задержке алгоритма гармонического патчирования, к примеру, в модуле 110 формирования патчей. Этот эффект дополнительной задержки вследствие операции растягивания во времени в алгоритме гармонического патчирования указывается на фиг. 3 посредством стрелки 350. Тем не менее, варианты осуществления настоящего изобретения предоставляют такое преимущество, что эта дополнительная задержка может эффективно компенсироваться посредством применения алгоритма гармонического патчирования к предшествующему во времени временному блоку (m-1) с ограниченной полосой пропускания для получения текущего временного блока (m') с расширенной полосой пропускания, как описано со ссылкой на фиг. 1.

В вариантах осуществления, связанных с фиг. 3, модуль 110 формирования патчей может быть выполнен с возможностью осуществления алгоритма гармонического патчирования с использованием обработки суммирования с перекрытием, по меньшей мере, между двумя временными блоками с ограниченной полосой пропускания.

Фиг. 4 показывает блок-схему варианта осуществления модуля 110 формирования патчей для выполнения алгоритма патчирования с перезаписью в области гребенки фильтров. Модуль 110 формирования патчей, показанный на фиг. 4, может реализовываться в устройстве 100, показанном на фиг. 1. Это означает то, что в устройстве 100 по фиг. 1, модуль 110 формирования патчей может быть выполнен с возможностью осуществлять, помимо алгоритма гармонического патчирования, описанного со ссылкой на фиг. 2, алгоритм патчирования с перезаписью, который должен быть описан со ссылкой на фиг. 4.

Что касается варианта осуществления по фиг. 4, устройство 100 может содержать QMF-гребенку 410 аналитических фильтров, модуль 110 формирования патчей, указываемый в цепочке обработки посредством "патчирования", модуль 120 обработки сигналов, указываемый в цепочке обработки посредством "обработки сигналов", и QMF-гребенку 420 синтетических фильтров. Например, QMF-гребенка 410 аналитических фильтров выполнена с возможностью преобразования декодированного низкочастотного сигнала 205 во множество 415 подполосных сигналов. Помимо этого, посредством взаимодействия модуля 110 формирования патчей и модуля 120 обработки сигналов, множество 417 подполосных патчированных сигналов может предоставляться для QMF-гребенки 420 синтетических фильтров. QMF-гребенка 420 синтетических фильтров, в свою очередь, может быть выполнена с возможностью преобразовывать множество 417 подполосных патчированных сигналов в сигнал 135 с расширенной полосой пропускания.

На фиг. 4, подполосные патчированные сигналы 417, принятые посредством QMF-гребенки 420 синтетических фильтров, примерно обозначаются посредством 1, 2,..., 6 и могут представлять различные подполосные патчированные сигналы, имеющие все более высокие частоты.

Что касается варианта осуществления по фиг. 4, модуль 110 формирования патчей выполнен с возможностью непосредственного перенаправления множества 415 подполосных сигналов для первой группы 419-1 подполосных патчированных сигналов из QMF-гребенки 410 аналитических фильтров в QMF-гребенку 420 синтетических фильтров. Следует отметить, что целевая полоса частот не должна обязательно быть первой полосой частот LF-области. Более того, исходная область в типичных случаях начинается с более высокого номера полосы частот. Это, в частности, применимо к элементам 1 и 4 на фиг. 4.

Помимо этого, модуль 110 формирования патчей может быть выполнен с возможностью отклонения подполосных сигналов 415, предоставленных посредством QMF-гребенки 410 аналитических фильтров и их перенаправления для второй группы 419-2 подполосных патчированных сигналов, принимаемых посредством QMF-гребенки 420 синтетических фильтров. На фиг. 4 также примерно проиллюстрировано то, что модуль 120 обработки сигналов содержит множество блоков 122-1, 122-2, 122-3 обработки сигналов и работает в зависимости от параметра 121 репликации полос спектра. Например, блоки 122-1, 122-2, 122-3 обработки сигналов выполнены с возможностью обработки подполосных патчированных сигналов, отклоненных из множества 415 подполосных сигналов, предоставленных посредством QMF-гребенки 410 аналитических фильтров, чтобы получать вторую группу 419-2 подполосных патчированных сигналов, принимаемых посредством QMF-гребенки 420 синтетических фильтров. В варианте осуществления по фиг. 4, первая группа 419-1 подполосных патчированных сигналов, полученных из модуля 110 формирования патчей, может соответствовать полосе базовых частот декодированного низкочастотного сигнала 205 или сигнала 135 с расширенной полосой пропускания, тогда как вторая группа 419-2 подполосных патчированных сигналов, полученных из модуля 110 формирования патчей, может соответствовать первой целевой полосе верхних частот (или первому верхнему патчу) сигнала 135 с расширенной полосой пропускания. Аналогично тому, как реализовано для первой полосы целевых верхних частот, вторая целевая полоса верхних частот (или второй верхний патч) может формироваться посредством взаимодействия модуля 110 формирования патчей и модуля 120 обработки сигналов, показанных в варианте осуществления по фиг. 4.

Например, алгоритм патчирования с перезаписью, выполняемый с помощью модуля 110 формирования патчей в области гребенки фильтров, как показано в варианте осуществления по фиг. 4, может представлять нелинейный алгоритм патчирования, к примеру, с использованием модуляции с одной боковой полосой (SSB).

Что касается варианта осуществления по фиг. 4, QMF-гребенка 410 аналитических фильтров может быть 32-полосной гребенкой аналитических фильтров, выполненной с возможностью предоставления, например, 32 подполосных сигналов 415. Кроме того, QMF-гребенка 420 синтетических фильтров может быть 64-полосной гребенкой синтезирующих фильтров, выполненной с возможностью приема, например, 64 подполосных патчированных сигналов 417.

В частности, вариант осуществления модуля 110 формирования патчей, показанный на фиг. 4, по существу может использоваться для того, чтобы реализовывать схему высокоэффективного усовершенствованного кодирования аудио (HE-AAC), к примеру, заданную в MPEG-4-аудиостандарте.

Фиг. 5a показывает схематичную иллюстрацию 510 примерной схемы расширения полосы пропускания с использованием алгоритма 515 гармонического патчирования и алгоритма 525 патчирования с перезаписью. На схематичной иллюстрации 510 по фиг. 5a, вертикальная ось (ордината) указывает частоту 504, в то время как горизонтальная ось (абсцисса) указывает время 502. На фиг. 5a, примерно проиллюстрировано множество 511 последовательных временных блоков с ограниченной полосой пропускания. Последовательные временные блоки 511 с ограниченной полосой пропускания примерно указываются на фиг. 5a посредством "кадра n", "кадра n+1", "кадра n+2" и "кадра n+3". Частотный спектр последовательных временных блоков 511 с ограниченной полосой пропускания по существу представляет полосу базовых частот, или LF (базовую) 505. Помимо этого, фиг. 5a примерно иллюстрирует множество 513 из последовательных временных блоков с расширенной полосой пропускания. Частотный спектр временных блоков 513 с расширенной полосой пропускания по существу соответствует первой полосе целевых верхних частот (патчу I 507) или второй полосе целевых верхних частот (патчу II 509). Последовательные временные блоки 513 с расширенной полосой пропускания, соответствующие патчу I 507, примерно обозначаются на фиг. 5a посредством "f(кадр n-1)", "f(кадр n)", "f(кадр n+1)" и "f(кадр n+2)". Кроме того, последовательные временные блоки с расширенной полосой пропускания, соответствующие патчу II 509, примерно обозначаются на фиг. 5a посредством "f(кадр n-1)", "g(f(кадр n))", "g(f(кадр n+1))" и "g(f(кадр n+2))". Здесь, функциональная зависимость f(...) может указывать применение алгоритма гармонического патчирования, в то время как функциональная зависимость g(...) может указывать применение алгоритма патчирования с перезаписью. На схематичной иллюстрации 510 по фиг. 5a, LF (базовая) 505 может быть включена в аудиосигнал 105 с ограниченной полосой пропускания и патч I 507, и патч II 509 могут быть включены в сигнал 135 с расширенной полосой пропускания, к примеру, как показано в устройстве 100 по фиг. 1 Сигнал 135 также включает в себя LF (базовую), поскольку она указывается на чертеже как предоставленная на выходе модуля комбинирования. Со ссылкой на фиг. 1 уже описано то, что каждый временной блок с ограниченной полосой пропускания имеет, по меньшей мере, один ассоциированный параметр репликации полос спектра.

Фиг. 5b показывает примерный спектр 550, полученный из схемы расширения полосы пропускания по фиг. 5a. На фиг. 5b, вертикальная ось (ордината) соответствует амплитуде 553, в то время как горизонтальная ось (абсцисса) соответствует частоте 551 спектра 550. На фиг. 5b примерно проиллюстрировано то, что спектр 550 содержит полосу базовых частот или LF (базовую) 505, первую полосу целевых верхних частот или патч I 507 и вторую полосу целевых верхних частот или патчи II 509. Помимо этого, частота разделения (fx), двойная частота разделения (2*fx) и тройная частота разделения (3*fx) примерно проиллюстрированы на частотной оси спектра 550.

В вариантах осуществления, связанных с фиг. 1, 5a и 5b, модуль 110 формирования патчей может быть выполнен с возможностью применения алгоритма 515 гармонического патчирования к предшествующему во времени временному блоку (m-1) с ограниченной полосой пропускания с использованием коэффициента (σ1) расширения полосы пропускания в два. Кроме того, модуль 110 формирования патчей может быть выполнен с возможностью формирования из полосы 505 базовых частот предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания первой полосы 507 целевых частот текущего временного блока (m') с расширенной полосой пропускания. Кроме того, модуль 110 формирования патчей может быть выполнен с возможностью применения алгоритма 525 патчирования с перезаписью для перезаписи первой полосы 507 целевых частот текущего временного блока (m') с расширенной полосой пропускания, сформированной из полосы 505 базовых частот предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания, ко второй полосе 509 целевых частот текущего временного блока (m') с расширенной полосой пропускания. На фиг. 5a, алгоритм 515 гармонического патчирования указывается посредством косой стрелки, в то время как алгоритм 525 патчирования с перезаписью указывается посредством прямой стрелки.

Как примерно проиллюстрировано в спектре 550 по фиг. 5b, полоса 505 базовых частот может содержать частоты в пределах до частоты разделения (fx). Кроме того, посредством применения алгоритма 515 гармонического патчирования с использованием примерного коэффициента расширения полосы пропускания σ1=2, получается первая полоса 507 целевых частот, содержащая частоты в пределах от частоты разделения (fx) до двойной частоты разделения (2*fx). Кроме того, посредством применения алгоритма 525 патчирования с перезаписью, получается вторая полоса 509 целевых частот, содержащая частоты в пределах от двойной частоты разделения (2*fx) до тройной частоты разделения (3*fx).

Фиг. 6a показывает дополнительную схематичную иллюстрацию примерной схемы расширения полосы пропускания с использованием алгоритма 515 гармонического патчирования и алгоритма 625 патчирования с перезаписью. Фиг. 6b показывает примерный спектр 650, полученный из схемы расширения полосы пропускания по фиг. 6a. Элементы 504, 502, 511, 513, 505, 507, 509 и 515 на схематичной иллюстрации 610 по фиг. 6a и элементы 553, 551, 505, 507, 509 и 515 в примерном спектре 650 по фиг. 6b могут соответствовать элементам с идентичными номерами на схематичной иллюстрации 510 по фиг. 5a и в примерном спектре 550 по фиг. 5b. Следовательно, повторное описание этих элементов опускается.

Ссылаясь на фиг. 1, 6a и 6b, модуль 110 формирования патчей может быть выполнен с возможностью применения алгоритма 515 гармонического патчирования к предшествующему во времени временному блоку (m-1) с ограниченной полосой пропускания с использованием коэффициента (σ1) расширения полосы пропускания в два. Кроме того, модуль 110 формирования патчей может быть выполнен с возможностью формирования из полосы 505 базовых частот предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания первой полосы 507 целевых частот текущего временного блока (m') с расширенной полосой пропускания. Кроме того, модуль 110 формирования патчей может быть выполнен с возможностью применения алгоритма 625 патчирования с перезаписью для перезаписи полосы 505 базовых частот текущего временного блока (m) с ограниченной полосой пропускания ко второй полосе 509 целевых частот текущего временного блока (m') с расширенной полосой пропускания.

Как примерно проиллюстрировано в спектре 650 по фиг. 6b, полоса 505 базовых частот может содержать частоты в диапазоне вплоть до частоты разделения (fx), первая полоса 507 целевых частот, полученная из применения алгоритма 515 гармонического патчирования с использованием примерного коэффициента расширения полосы пропускания σ1=2, может содержать частоты в пределах от частоты разделения (fx) до двойной частоты разделения (2*fx), в то время как вторая полоса 509 целевых частот, полученная из применения алгоритма 625 патчирования с перезаписью, может содержать частоты в пределах от двойной частоты разделения (2*fx) до тройной частоты разделения (3*fx).

Фиг. 7a показывает схематичную иллюстрацию 710 примерной схемы расширения полосы пропускания с использованием только алгоритма 715; 625 патчирования с перезаписью. Фиг. 7b показывает примерный спектр 750, полученный из схемы расширения полосы пропускания по фиг. 7a. Элементы 504, 502, 511, 513, 505, 507, 509 на схематичной иллюстрации 710 по фиг. 7a и элементы 553, 551, 505, 507, 509 в примерном спектре 750 по фиг. 7b могут соответствовать элементам с идентичными номерами на схематичной иллюстрации 510 по фиг. 5a и в примерном спектре 550 по фиг. 5b, соответственно. Следовательно, повторное описание этих элементов опускается.

Ссылаясь на фиг. 1, 7a и 7b, модуль 110 формирования патчей может быть выполнен с возможностью применения алгоритма 715 патчирования с перезаписью для перезаписи полосы 505 базовых частот текущего временного блока (m) с ограниченной полосой пропускания к первой полосе 507 целевых частот текущего временного блока (m') с расширенной полосой пропускания. Кроме того, модуль 110 формирования патчей может быть выполнен с возможностью применения алгоритма 625 патчирования с перезаписью для перезаписи полосы 505 базовых частот текущего временного блока (m) с ограниченной полосой пропускания ко второй полосе 509 целевых частот текущего временного блока (m') с расширенной полосой пропускания. Аналогично, такие алгоритмы патчирования с перезаписью также могут применяться к предшествующему во времени временному блоку (m-1) с ограниченной полосой пропускания (см., например, фиг. 7a).

Как примерно проиллюстрировано в спектре 750 по фиг. 7b, полоса 505 базовых частот может содержать частоты в диапазоне вплоть до частоты разделения (fx), первая полоса 507 целевых частот, полученная из применения алгоритма 715 патчирования с перезаписью, может содержать частоты в пределах от частоты разделения (fx) до двойной частоты разделения (2*fx), в то время как вторая полоса 509 целевых частот, полученная из применения алгоритма 625 патчирования с перезаписью, может содержать частоты в пределах от двойной частоты разделения (2*fx) до тройной частоты разделения (3*fx).

Фиг. 8a показывает схематичную иллюстрацию 810 примерной схемы расширения полосы пропускания с использованием только алгоритма 515; 825 гармонического патчирования. Фиг. 8b показывает примерный спектр 850, полученный из схемы расширения полосы пропускания по фиг. 8a. Элементы 504, 502, 511, 513, 505, 507 и 509 на схематичной иллюстрации 810 по фиг. 8a и элементы 553, 551, 505, 507 и 509 в примерном спектре 850 по фиг. 8b могут соответствовать элементам с идентичными номерами, показанными на схематичной иллюстрации 510 по фиг. 5a и в примерном спектре 550 по фиг. 5b, соответственно. Следовательно, повторное описание этих элементов опускается.

Ссылаясь на фиг. 1, 8a и 8b, модуль 110 формирования патчей может быть выполнен с возможностью применения алгоритма 825 гармонического патчирования к предшествующему во времени временному блоку (m-1) с ограниченной полосой пропускания с использованием коэффициента (σ1) расширения полосы пропускания в два. Кроме того, модуль 110 формирования патчей может быть выполнен с возможностью формирования из полосы 505 базовых частот предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания первой полосы 507 целевых частот текущего временного блока (m') с расширенной полосой пропускания. Кроме того, модуль 110 формирования патчей может быть выполнен с возможностью применения алгоритма 515 гармонического патчирования к предшествующему во времени временному блоку (m-1) с ограниченной полосой пропускания с использованием коэффициента (σ2) расширения полосы пропускания в три. Кроме того, модуль 110 формирования патчей может быть выполнен с возможностью формирования из полосы 505 базовых частот предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания второй полосы 509 целевых частот текущего временного блока (m') с расширенной полосой пропускания.

Как примерно проиллюстрировано в спектре 850 по фиг. 8b, полоса 505 базовых частот может содержать частоты в диапазоне вплоть до частоты разделения (fx), первая полоса 507 целевых частот, полученная из применения алгоритма 515 гармонического патчирования с использованием примерного коэффициента расширения полосы пропускания σ1=2, может содержать частоты в пределах от частоты разделения (fx) до двойной частоты разделения (2*fx), в то время как вторая полоса 509 целевых частот, полученная из применения алгоритма 825 гармонического патчирования с использованием примерного коэффициента расширения полосы пропускания σ2=3, может содержать частоты в пределах от двойной частоты разделения (2*fx) до тройной частоты разделения (3*fx).

Фиг. 9 показывает блок-схему варианта осуществления модуля 110 формирования патчей варианта осуществления устройства 100 в соответствии с фиг. 1. Как показано на фиг. 9, устройство 100 дополнительно может содержать модуль 910 предоставления для предоставления информации 911 алгоритма патчирования. В варианте осуществления по фиг. 9, модуль 110 формирования патчей может быть выполнен с возможностью осуществления, помимо алгоритма 515 гармонического патчирования с использованием предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания, алгоритма 925 патчирования с перезаписью с использованием предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания или последующего во времени временного блока с ограниченной полосой пропускания (m+1) для соответствующих предшествующих или последующих блоков. В частности, последующий во времени временной блок с ограниченной полосой пропускания (m+1) идет во времени после текущего временного блока (m) с ограниченной полосой пропускания. В варианте осуществления по фиг. 9, модуль 110 формирования патчей может кроме того быть выполнен с возможностью использования патчированного сигнала 115 для текущего временного блока (m') с расширенной полосой пропускания, сформированного из алгоритма 515 гармонического патчирования в ответ на информацию 911 алгоритма патчирования.

В частности, посредством предоставления варианта осуществления модуля 110 формирования патчей, показанного на фиг. 9, можно поблочно использовать различные последовательные временные блоки с расширенной полосой пропускания для сигнала 135 с расширенной полосой пропускания. Здесь, поблочное использование различных последовательных временных блоков с расширенной полосой пропускания по существу выполняется в ответ на информацию 911 алгоритма патчирования.

В вариантах осуществления, модуль 910 предоставления (необязательно) может быть выполнен с возможностью предоставления информации 911 алгоритма патчирования с использованием вспомогательной информации 111, кодированной в аудиосигнале 105 с ограниченной полосой пропускания. Например, аудиосигнал 105 с ограниченной полосой пропускания может быть представлен посредством кодированного аудиосигнала (потока битов). Вспомогательная информация 111, которая принимается посредством модуля 910 предоставления, например, может извлекаться из потока битов посредством использования синтаксического анализатора потоков битов.

Альтернативно, модуль 910 предоставления может быть выполнен с возможностью предоставления информации 911 алгоритма патчирования в зависимости от анализа сигналов для аудиосигнала 105 с ограниченной полосой пропускания. Например, устройство 100 может кроме того содержать анализатор 912 сигналов, выполненный с возможностью получать сигнал 913 результатов анализа для модуля 910 предоставления в зависимости от анализа сигналов для аудиосигнала 105 с ограниченной полосой пропускания.

Например, модуль 910 предоставления может быть выполнен с возможностью определения флага 915 переходной части из каждого временного блока с ограниченной полосой пропускания аудиосигнала 105 с ограниченной полосой пропускания. В этом случае, анализатор 912 сигналов может быть включен в модуль 910 предоставления. Что касается варианта осуществления по фиг. 9, модуль 110 формирования патчей выполнен с возможностью использования патчированного сигнала 115 для текущего временного блока (m') с расширенной полосой пропускания, сформированного из алгоритма 515 гармонического патчирования, когда стационарность аудиосигнала 105 с ограниченной полосой пропускания указывается посредством флага 915 переходной части. Кроме того, модуль 110 формирования патчей может быть выполнен с возможностью использования патчированного сигнала 115, сформированного из алгоритма 925 патчирования с перезаписью, когда нестационарность аудиосигнала 105 с ограниченной полосой пропускания указывается посредством флага 915 переходной части.

Например, стационарность аудиосигнала 105 с ограниченной полосой пропускания (или отсутствие переходного события в аудиосигнале с ограниченной полосой пропускания) может соответствовать флагу 915 переходной части, обозначаемому посредством «0», в то время как нестационарность аудиосигнала 105 с ограниченной полосой пропускания (или присутствие переходного события в аудиосигнале с ограниченной полосой пропускания) может соответствовать флагу 915 переходной части, обозначаемому посредством «1».

Фиг. 10 показывает блок-схему дополнительного варианта осуществления модуля 110 формирования патчей варианта осуществления устройства 100 в соответствии с фиг. 1. Согласно варианту осуществления по фиг. 10, модуль 110 формирования патчей выполнен с возможностью осуществления алгоритма 515 гармонического патчирования, содержащего первую временную задержку 1010 между предшествующим во времени временным блоком (m-1) с ограниченной полосой пропускания и текущим временным блоком (m') с расширенной полосой пропускания. Кроме того, модуль 110 формирования патчей может быть выполнен с возможностью осуществления алгоритма 925 патчирования с перезаписью с использованием текущего временного блока (m) с ограниченной полосой пропускания. В частности, алгоритм 925 патчирования с перезаписью содержит вторую временную задержку 1020. Что касается варианта осуществления по фиг. 10, первая временная задержка 1010 алгоритма 515 гармонического патчирования превышает вторую временную задержку 1020 алгоритма 925 патчирования с перезаписью.

Например, модуль 110 формирования патчей, показанный на фиг. 10, может содержать фазовый вокодер для выполнения алгоритма 515 гармонического патчирования, содержащего первую временную задержку 1010. Фазовый вокодер, в частности, может быть выполнен с возможностью использования обработки суммирования с перекрытием, по меньшей мере, между двумя временными блоками с ограниченной полосой пропускания.

Фиг. 11 показывает схематичную иллюстрацию примерной схемы 1100 патчирования. Схема 1100 патчирования по фиг. 11, например, реализована с помощью модуля 110 формирования патчей, показанного в устройстве 100 по фиг. 1. На фиг. 11, показан примерный график 1101 аудиосигнала 105 с ограниченной полосой пропускания. Как примерно проиллюстрировано на графике 1101, аудиосигнал 105 с ограниченной полосой пропускания содержит множество 511 последовательных временных блоков с ограниченной полосой пропускания, содержащих полосу базовых частот, к примеру, показанную на схематичной иллюстрации 510 по фиг. 5a. Кроме того, вертикальная ось (ордината) аудиосигнала 105 с ограниченной полосой пропускания соответствует амплитуде 1110, в то время как горизонтальная ось (абсцисса) графика 1101 соответствует времени 1120.

На фиг. 11, последовательные временные блоки 511 с ограниченной полосой пропускания указываются посредством соответствующего номера 1102 кадра («0», «1», «2»,...), соответственно. Кроме того, последовательные временные блоки 511 с ограниченной полосой пропускания могут указываться посредством соответствующего флага 915 переходной части (например, обозначаться посредством «1» или «0»), соответственно, который может определяться из каждого временного блока с ограниченной полосой пропускания аудиосигнала 105 с ограниченной полосой пропускания, к примеру, посредством использования модуля 910 предоставления, показанного на фиг. 9. На фиг. 11 также примерно проиллюстрировано то, что аудиосигнал 105 с ограниченной полосой пропускания может содержать переходное событие 1105 в переходной области 1107. Это примерное переходное событие 1105, например, обнаружено посредством детектора переходных событий.

Что касается схематичной иллюстрации 1100 по фиг. 11, модуль 110 формирования патчей может быть выполнен с возможностью непрерывного применения алгоритма 515 гармонического патчирования к каждому временному блоку с ограниченной полосой пропускания аудиосигнала 105 с ограниченной полосой пропускания. Это примерно проиллюстрировано на фиг. 11 посредством стрелки 1130, обозначаемой посредством "HBE всегда выполняется в фоновом режиме".

Согласно другому варианту осуществления, вышеуказанный детектор переходных событий выполнен с возможностью обнаружения переходного события 1105 в аудиосигнале 105 с ограниченной полосой пропускания. Например, модуль 110 формирования патчей выполнен с возможностью осуществления алгоритма 1025 патчирования с перезаписью, когда переходное событие 1105 обнаруживается в аудиосигнале 105 с ограниченной полосой пропускания. Кроме того, модуль 110 формирования патчей может быть выполнен с возможностью неосуществления алгоритма 515 гармонического патчирования с использованием обработки суммирования с перекрытием, по меньшей мере, между двумя временными блоками с ограниченной полосой пропускания, когда переходное событие 1105 обнаруживается в аудиосигнале 105 с ограниченной полосой пропускания. Это по существу соответствует другой ситуации, в которой в переходной области 1107 аудиосигнала 105 с ограниченной полосой пропускания, алгоритм 1025 патчирования с перезаписью выполняется в то время, когда алгоритм гармонического патчирования не выполняется в фоновом режиме.

Кроме того, фиг. 11 схематично иллюстрирует результат 1111 патчирования выполнения соответствующего алгоритма патчирования для множества последовательных временных блоков с расширенной полосой пропускания сигнала 135 с расширенной полосой пропускания. Этот результат 1111 патчирования указывается на фиг. 11 посредством "патчирования (исходного кадра)". В частности, результат 1111 патчирования указывает патчированный сигнал, сформированный из соответствующего алгоритма патчирования (т.е. алгоритма гармонического патчирования, обозначаемого посредством "HBE", или алгоритма патчирования с перезаписью, обозначаемого посредством "перезаписи"), который применяется к соответствующему временному блоку с ограниченной полосой пропускания с номером 1102 кадра (т.е. к исходному кадру). Различные временные блоки с расширенной полосой пропускания, соответствующие результату 1111 патчирования, дополнительно могут обрабатываться для увеличения перцепционного качества сигнала 135 с расширенной полосой пропускания, как описано в контексте фиг. 12.

Фиг. 12 показывает примерную реализацию операции 1210 обеспечения непрерывности фазы/перекрестного затухания между различными временными блоками 1202, 1204 с расширенной полосой пропускания, полученными из различных алгоритмов патчирования, к примеру, проиллюстрированных на фиг. 11. Ссылаясь на фиг. 11 и 12, модуль 110 формирования патчей может быть выполнен с возможностью осуществления алгоритма 515 гармонического патчирования и алгоритма 1025 патчирования с перезаписью. В частности, блок 1202, показанный на фиг. 12 (полученный из алгоритма 515 гармонического патчирования, проиллюстрированного на фиг. 11), может соответствовать текущему временному блоку (m') с расширенной полосой пропускания, в то время как блок 1204, показанный на фиг. 12 (полученный из алгоритма 1025 патчирования с перезаписью, проиллюстрированного на фиг. 11), может соответствовать предшествующему во времени временному блоку (m'-1) с расширенной полосой пропускания или последующему во времени временному блоку (m'+1) с расширенной полосой пропускания. Здесь, предшествующий во времени временной блок (m'-1) с расширенной полосой пропускания идет во времени перед текущим временным блоком (m') с расширенной полосой пропускания, а последующий во времени временной блок (m'+1) с расширенной полосой пропускания идет во времени после текущего временного блока (m') с расширенной полосой пропускания.

Согласно фиг. 12, модуль 110 формирования патчей может быть выполнен с возможностью осуществления обеспечения непрерывности 1210 фазы между текущим временным блоком (m') с расширенной полосой пропускания, сформированным из алгоритма 515 гармонического патчирования, и предшествующим во времени временным блоком (m'-1) с расширенной полосой пропускания или последующим во времени временным блоком (m'+1) 1204 с расширенной полосой пропускания, сформированным из алгоритма 1025 патчирования с перезаписью. В результате непрерывности 1210 фазы, получается сигнал 1215 с непрерывностью фазы. На фиг. 12, проиллюстрирован примерный сигнал 1212, полученный после обеспечения непрерывности фазы. Например, обеспечение непрерывности 1210 фазы выполняется таким образом, что текущий временной блок (m') 1202 с расширенной полосой пропускания и предшествующий во времени временной блок (m'-1) с расширенной полосой пропускания или последующий во времени временной блок (m'+1) 1204 с расширенной полосой пропускания содержат плавный и непрерывный переход фазы в своей граничной области 1213. Например, обеспечение непрерывности 1210 фазы выполняется таким образом, что примерный синусоидальный сигнал блока 1204 содержит фазу в своей начальной точке, идентичную фазе примерного синусоидального сигнала предыдущего блока 1202 в его конечной точке в граничной области 1213. Посредством выполнения обеспечения непрерывности 1210 фазы, можно не допускать разрывности или скачка фазы в сигнале 1215 с непрерывностью фазы.

Кроме того, модуль 110 формирования патчей может быть выполнен с возможностью осуществления операции 1210 перекрестного затухания между текущим временным блоком (m') 1202 с расширенной полосой пропускания, сформированным из алгоритма 515 гармонического патчирования, и предшествующим во времени временным блоком (m'-1) с расширенной полосой пропускания или последующим во времени временным блоком (m'+1) 1204 с расширенной полосой пропускания, сформированным из алгоритма 1025 патчирования с перезаписью, чтобы получать сигнал 1215 с перекрестным затуханием. В результате операции 1210 перекрестного затухания, текущий временной блок (m') 1202 с расширенной полосой пропускания и предшествующий во времени временной блок (m'-1) с расширенной полосой пропускания или последующий во времени временной блок (m'+1) с расширенной полосой пропускания должны, по меньшей мере, частично перекрываться в своей переходной области 1217. На фиг. 12, проиллюстрирован примерный сигнал 1214, полученный после операции перекрестного затухания. Например, операция 1210 перекрестного затухания выполняется таким образом, что начальная область каждого из последовательных блоков 1202, 1204 взвешивается посредством примерного весового коэффициента в пределах от 0 до 1, конечная область каждого из последовательных блоков 1202, 1204 взвешивается посредством примерного весового коэффициента в пределах от 1 до 0, и два последовательных блока 1202, 1204 перекрываются во времени в своей переходной области 1217. Область перекрестного затухания в этой переходной области 1217, например, может соответствовать перекрытию последовательных блоков 1202, 1204 в 50%. Посредством выполнения операции 1210 перекрестного затухания, можно не допускать артефактов защелкивания на границах блоков и в силу этого ухудшения перцепционного качества.

На схематичной иллюстрации 1100 по фиг. 11, операция 1210 обеспечения непрерывности фазы/перекрестного затухания, описанная со ссылкой на фиг. 12, примерно проиллюстрирована посредством стрелок 1132, обозначаемых посредством "области перекрестного затухания и фазового совмещения". В частности, стрелки 1132 указывают то, что операция 1210 обеспечения непрерывности фазы/перекрестного затухания предпочтительно выполняется, когда возникает переход от патчированного сигнала, сформированного из алгоритма 515 гармонического патчирования, к патчированному сигналу, сформированному из алгоритма 1025 патчирования с перезаписью, соответствующего переходу от непереходной области к переходной области 1107 в аудиосигнале 105 с ограниченной полосой пропускания (или наоборот). Таким образом, можно не допускать ухудшения перцепционного качества для сигнала 135 с расширенной полосой пропускания, к примеру, вследствие артефактов разрывности фазы или защелкивания на границах блоков.

На фиг. 11 также схематично проиллюстрировано то, что во время перехода между временными блоками с расширенной полосой пропускания, полученными из идентичного типа алгоритма патчирования с перезаписью, алгоритм патчирования с перезаписью непрерывно выполнен без операции 1210 обеспечения непрерывности фазы/перекрестного затухания. Это примерно проиллюстрировано на фиг. 11 посредством стрелки 1134, обозначаемой посредством "перезаписи (без перекрестного затухания)". Это по существу соответствует случаю, в котором операция перекрестного затухания не выполняется для временных блоков с расширенной полосой пропускания, соответствующих переходной области 1107 аудиосигнала 105 с ограниченной полосой пропускания.

Кроме того, стрелка 1136, обозначаемая посредством "перезаписи с перекрестным затуханием и фазовым совмещением", примерно проиллюстрирована на фиг. 11. Эта стрелка 1136 указывает то, что для временных блоков с расширенной полосой пропускания, соответствующих переходной области 1107, операция 1210 обеспечения непрерывности фазы/перекрестного затухания не выполняется (к примеру, как указано посредством стрелки 1134), в то время как в переходной области между патчированным сигналом, сформированным из алгоритма гармонического патчирования, и патчированным сигналом, сформированным из алгоритма патчирования с перезаписью (т.е. при использовании алгоритмов патчирования другого типа), операция 1210 обеспечения непрерывности фазы/перекрестного затухания выполняется (к примеру, как указано посредством стрелок 1132).

Фиг. 13 показывает блок-схему дополнительного варианта осуществления устройства 100 для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания. Согласно варианту осуществления по фиг. 13, сигнал с расширенной полосой пропускания может быть представлен посредством выхода 135 для временной области, в то время как аудиосигнал с ограниченной полосой пропускания может быть представлен посредством множества 215, 415 подполосных сигналов, к примеру, описанных со ссылкой на фиг. 2 и 4. В варианте осуществления по фиг. 13, устройство 100 содержит базовый декодер 1310, QMF-гребенку 210, 410 аналитических фильтров по фиг. 2 и 4, модуль 110 формирования патчей, модуль 1320 регулирования огибающей и QMF-гребенку 220, 420 синтетических фильтров по фиг. 2 и 4. Кроме того, модуль 110 формирования патчей, показанный на фиг. 13, содержит первый модуль патчирования для выполнения алгоритма 515 гармонического патчирования, второй модуль патчирования для выполнения алгоритма 525 патчирования с перезаписью и модуль комбинирования для выполнения операции 1210 обеспечения непрерывности фазы/перекрестного затухания, к примеру, описанный со ссылкой на фиг. 12.

В частности, базовый декодер 1310 может быть выполнен с возможностью предоставления декодированного низкочастотного сигнала 205 из потока 1305 битов, представляющего аудиосигнал с ограниченной полосой пропускания. QMF-гребенка 210, 410 аналитических фильтров может быть выполнена с возможностью преобразования декодированного низкочастотного сигнала 205 во множество 215, 415 подполосных сигналов. Первый модуль патчирования, обозначаемый посредством "HBE-патчирования (кадра n-1)", может быть выполнен с возможностью управления множеством 215, 415 подполосных сигналов таким образом, чтобы получать первый патчированный сигнал 1307 с использованием предшествующего во времени временного блока с ограниченной полосой пропускания (здесь обозначаемого посредством кадра n-1). Кроме того, второй модуль патчирования модуля 110 формирования патчей может быть выполнен с возможностью управления множеством 215, 415 подполосных сигналов таким образом, чтобы получать второй патчированный сигнал 1309 с использованием текущего временного блока с ограниченной полосой пропускания (здесь обозначаемого посредством кадра n). Кроме того, модуль комбинирования модуля 110 формирования патчей, который обозначается посредством "модуля комбинирования с непрерывностью фазы и перекрестным затуханием", может быть выполнен с возможностью комбинировать первый патчированный сигнал 1307 и второй патчированный сигнал 1309 с использованием операции 1210 обеспечения непрерывности фазы/перекрестного затухания для получения сигнала 1215 с непрерывностью фазы/перекрестным затуханием, представляющего патчированный сигнал 115. Здесь, следует отметить, что модуль 110 формирования патчей, показанный на фиг. 13, может быть выполнен с возможностью принимать информацию переключения (например, флаг переходной части), соответствующую информации 911 алгоритма патчирования, как описано на фиг. 9. Например, модуль 110 формирования патчей выполнен с возможностью осуществлять алгоритм 515 гармонического патчирования посредством первого модуля патчирования, когда флаг переходной части указывает стационарность аудиосигнала с ограниченной полосой пропускания, и выполнять алгоритм 525 патчирования с перезаписью, когда флаг переходной части указывает нестационарность аудиосигнала с ограниченной полосой пропускания. Модуль 1320 регулирования огибающей может быть выполнен с возможностью регулирования огибающей сигнала 1215 с непрерывностью фазы/перекрестным затуханием, предоставленного посредством модуля 110 формирования патчей, в зависимости от SBR-параметра 121, чтобы получать подвергнутый регулированию огибающей сигнал 1325. Кроме того, QMF-гребенка 220, 420 синтетических фильтров может быть выполнена с возможностью комбинирования подвергнутого регулированию огибающей сигнала 1325, предоставленного посредством модуля 1320 регулирования огибающей, и множества 215, 415 подполосных сигналов, предоставленных посредством QMF-гребенки 210, 410 аналитических фильтров, чтобы получать выход 135 для временной области, представляющий сигнал с расширенной полосой пропускания.

Хотя настоящее изобретение описано в контексте блок-схем, на которых блоки представляют фактические или логические аппаратные компоненты, настоящее изобретение также может реализовываться посредством компьютерно-реализованного способа. Во втором случае, блоки представляют соответствующие этапы способа, причем эти этапы означают функциональности, выполняемые посредством соответствующих логических или физических аппаратных блоков.

Описанные варианты осуществления являются просто иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и подробностей, описанных в данном документе, должны быть очевидными для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема прилагаемой формулы изобретения, а не посредством конкретных подробностей, представленных посредством описания и пояснения вариантов осуществления в данном документе.

Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства. Некоторые или все этапы способа могут быть выполнены посредством (или с использованием) устройства, такого как, например, микропроцессор, программируемый компьютер либо электронная схема. В некоторых вариантах осуществления, некоторые из одного или более самых важных этапов способа могут выполняться посредством этого устройства.

В зависимости от определенных требований к реализации, варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например, гибкого диска, DVD, Blu-Ray, CD, ROM, PROM и EPROM, EEPROM или флэш-памяти, имеющего сохраненные электронночитаемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой, так что осуществляется соответствующий способ. Следовательно, цифровой носитель хранения данных может быть компьютерно-читаемым.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронночитаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.

В общем, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт работает на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.

Другими словами, следовательно, вариант осуществления изобретаемого способа представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.

Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой носитель хранения данных (цифровой носитель хранения данных или компьютерно-читаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе. Носитель данных, цифровой носитель хранения данных или носитель с записанными данными типично является материальным и/или энергонезависимым.

Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.

Дополнительный вариант осуществления согласно изобретению содержит устройство или систему, выполненную с возможностью передавать (например, электронно или оптически) компьютерную программу для осуществления одного из способов, описанных в данном документе, в приемное устройство. Приемное устройство, например, может представлять собой компьютер, мобильное устройство, запоминающее устройство и т.п. Устройство или система, например, может содержать файловый сервер для передачи компьютерной программы в приемное устройство.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может быть использовано для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого устройства.

Вышеописанные варианты осуществления являются просто иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и подробностей, описанных в данном документе, должны быть очевидными для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема нижеприведенной формулы изобретения, а не посредством конкретных подробностей, представленных посредством описания и пояснения вариантов осуществления в данном документе.

Варианты осуществления настоящего изобретения предоставляют принцип для схемы гармонического расширения полосы пропускания с низкой задержкой для аудиосигналов.

В общих словах, варианты осуществления согласно настоящему изобретению используют схему смешанного патчирования, которая состоит из комбинации патчирования на основе SSB и патчирования на основе HBE, посредством которой алгоритмическая задержка HBE на основе фазового вокодера не компенсируется, т.е. HBE-патчирование задерживается по сравнению с базовой кодированной LF-частью. Некоторые варианты осуществления согласно изобретению предоставляют применение способа смешанного патчирования на основе временных блоков. Согласно некоторым вариантам осуществления, патчирование на основе SSB должно применяться в переходных областях, в которых важно обеспечивать вертикальную когерентность по подполосам частот, а патчирование на основе HBE должно использоваться для стационарных частей, для которых важно поддерживать гармоническую структуру сигнала. Варианты осуществления изобретения предоставляют такое преимущество, что вследствие стационарной природы тональных областей сигнала, задержка патчирования на основе HBE не оказывает негативного влияния на сигнал с расширенной полосой пропускания, поскольку переключение между обоими алгоритмами патчирования должно управляться посредством надежной зависимой от сигнала классификации. Например, алгоритм патчирования для данного временного блока может передаваться через поток битов. Для полного покрытия различных областей HF-спектра, BWE (расширение полосы пропускания) содержит, например, несколько патчей. Для операции SSB-перезаписи может использоваться низкочастотная информация. В HBE, верхние патчи могут формироваться посредством нескольких фазовых вокодеров, либо патчи высшего порядка, которые занимают верхние спектральные области, могут формироваться посредством вычислительно эффективного патчирования с SSB-перезаписью, а патчи низшего порядка, покрывающие средние спектральные области, для которых требуется сохранение гармонической структуры, предпочтительно посредством HBE-патчирования. Отдельное сочетание способов патчирования может быть статическим во времени или, предпочтительно, передаваться в служебных сигналах в потоке битов.

Некоторые алгоритмы нового патчирования, показанного для двух патчей, проиллюстрированы на фиг. 7a и 8a. Тем не менее, SSB и HBE могут комбинироваться, как описано со ссылкой на фиг. 5a (или фиг. 6a). Применение HBE обозначается как f(кадр x). Примечательно, что HBE-обработка может заменяться другими технологиями расширения полосы пропускания, которые используют преимущество стационарности сигналов, к примеру, другими способами суммирования с перекрытием.

Варианты осуществления изобретения предоставляют преимущество улучшенного перцепционного качества стационарных частей сигнала и более низкой алгоритмической задержки по сравнению с обычным HBE-патчированием.

Изобретаемая обработка является полезной для улучшения аудиокодеков, которые основываются на схеме расширения полосы пропускания. Эта обработка, в частности, является полезной, если оптимальное перцепционное качество на данной скорости передачи битов является очень важным, и одновременно требуется низкая полная задержка в системе.

Наиболее очевидные варианты применения представляют собой аудиодекодеры, используемые для сценариев связи, которые требуют очень небольшой временной задержки.

1. Устройство (100) для формирования сигнала (135) с расширенной полосой пропускания из аудиосигнала (105) с ограниченной полосой пропускания, причем аудиосигнал (105) с ограниченной полосой пропускания содержит множество последовательных временных блоков (511) с ограниченной полосой пропускания, при этом каждый временной блок с ограниченной полосой пропускания имеет, по меньшей мере, один ассоциированный параметр (121) репликации полос спектра, содержащий полосу базовых частот, а сигнал (135) с расширенной полосой пропускания содержит множество последовательных временных блоков (513) с расширенной полосой пропускания, причем устройство (100) содержит:

- модуль (110) формирования патчей для формирования патчированного сигнала (115), содержащего полосу верхних частот, с использованием временного блока с ограниченной полосой пропускания аудиосигнала (105) с ограниченной полосой пропускания;

при этом модуль (110) формирования патчей выполнен с возможностью осуществлять алгоритм (515) гармонического патчирования для того, чтобы получать патчированный сигнал (115);

при этом модуль (110) формирования патчей выполнен с возможностью осуществлять алгоритм (515) гармонического патчирования для текущего временного блока (m') с расширенной полосой пропускания из множества последовательных временных блоков (513) с расширенной полосой пропускания с использованием предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания из множества последовательных временных блоков (511) с ограниченной полосой пропускания аудиосигнала (105) с ограниченной полосой пропускания;

- модуль (120) обработки сигналов для обработки сигнала (105) до патчирования или патчированного сигнала (115), сформированного с использованием предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания, с использованием параметра (121) репликации полос спектра, ассоциированного с текущим временным блоком (m) с ограниченной полосой пропускания для того, чтобы получать обработанный патчированный сигнал (125), содержащий полосу верхних частот;

при этом предшествующий во времени временной блок (m-1) с ограниченной полосой пропускания идет во времени перед текущим временным блоком (m) с ограниченной полосой пропускания во множестве последовательных временных блоков (511) с ограниченной полосой пропускания аудиосигнала (105) с ограниченной полосой пропускания; и

- модуль (130) комбинирования для комбинирования аудиосигнала (105) с ограниченной полосой пропускания, содержащего полосу базовых частот, и обработанного патчированного сигнала (125), содержащего полосу верхних частот, чтобы получать сигнал (135) с расширенной полосой пропускания.

2. Устройство (100) по п. 1,

- в котором модуль (110) формирования патчей выполнен с возможностью осуществления алгоритма (515) гармонического патчирования с использованием обработки суммирования с перекрытием, по меньшей мере, между двумя временными блоками с ограниченной полосой пропускания.

3. Устройство (100) по п. 1,

- в котором модуль (110) формирования патчей выполнен с возможностью применения алгоритма (515) гармонического патчирования к предшествующему во времени временному блоку (m-1) с ограниченной полосой пропускания с использованием коэффициента (σ1) расширения полосы пропускания в два;

- при этом модуль (110) формирования патчей выполнен с возможностью формирования из полосы (505) базовых частот предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания первой полосы (507) целевых частот текущего временного блока (m') с расширенной полосой пропускания; и

- при этом модуль (110) формирования патчей выполнен с возможностью применения алгоритма (525) патчирования с перезаписью для перезаписи первой полосы (507) целевых частот текущего временного блока (m') с расширенной полосой пропускания, сформированного из полосы (505) базовых частот предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания, ко второй полосе (509) целевых частот текущего временного блока (m') с расширенной полосой пропускания.

4. Устройство (100) по п. 1,

- в котором модуль (110) формирования патчей выполнен с возможностью применения алгоритма (515) гармонического патчирования к предшествующему во времени временному блоку (m-1) с ограниченной полосой пропускания с использованием коэффициента (σ1) расширения полосы пропускания в два;

- при этом модуль (110) формирования патчей выполнен с возможностью формирования из полосы (505) базовых частот предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания первой полосы (507) целевых частот текущего временного блока (m') с расширенной полосой пропускания;

- при этом модуль (110) формирования патчей выполнен с возможностью применения алгоритма (825) гармонического патчирования к предшествующему во времени временному блоку (m-1) с ограниченной полосой пропускания с использованием коэффициента (σ2) расширения полосы пропускания в три; и

- при этом модуль (110) формирования патчей выполнен с возможностью формирования из полосы (505) базовых частот предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания второй полосы (509) целевых частот текущего временного блока (m') с расширенной полосой пропускания.

5. Устройство (100) по п. 1,

- в котором модуль (110) формирования патчей выполнен с возможностью непрерывного применения алгоритма (515) гармонического патчирования к каждому временному блоку с ограниченной полосой пропускания аудиосигнала (105) с ограниченной полосой пропускания.

6. Устройство (100) по п. 1, дополнительно содержащее:

- модуль (910) предоставления для предоставления информации (911) алгоритма патчирования;

- при этом модуль (110) формирования патчей выполнен с возможностью осуществления алгоритма (925) патчирования с перезаписью для предшествующего во времени временного блока с расширенной полосой пропускания с использованием предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания или последующего во времени временного блока (m+1) с ограниченной полосой пропускания для последующего во времени временного блока с расширенной полосой пропускания, причем последующий во времени временной блок (m+1) с ограниченной полосой пропускания идет во времени после текущего временного блока (m) с ограниченной полосой пропускания;

- при этом модуль (110) формирования патчей выполнен с возможностью использования патчированного сигнала (115) для текущего временного блока (m') с расширенной полосой пропускания, сформированного из алгоритма (515) гармонического патчирования в ответ на информацию (911) алгоритма патчирования.

7. Устройство (100) по п. 6,

- в котором модуль (910) предоставления выполнен с возможностью предоставления информации (911) алгоритма патчирования с использованием вспомогательной информации (111), кодированной в аудиосигнале (105) с ограниченной полосой пропускания.

8. Устройство (100) по п. 6,

- в котором модуль (910) предоставления выполнен с возможностью предоставления информации (911) алгоритма патчирования в зависимости от анализа сигналов для аудиосигнала (105) с ограниченной полосой пропускания.

9. Устройство (100) по п. 7,

- в котором модуль (910) предоставления выполнен с возможностью определения флага (915) переходной части для каждого временного блока с ограниченной полосой пропускания аудиосигнала (105) с ограниченной полосой пропускания;

- при этом модуль (110) формирования патчей выполнен с возможностью использования патчированного сигнала (115) для текущего временного блока (m') с расширенной полосой пропускания, сформированного из алгоритма (515) гармонического патчирования, когда стационарность аудиосигнала (105) с ограниченной полосой пропускания указывается посредством флага (915) переходной части; и

- при этом модуль (110) формирования патчей выполнен с возможностью использования патчированного сигнала (115), сформированного из алгоритма (925) патчирования с перезаписью, когда нестационарность аудиосигнала (105) с ограниченной полосой пропускания указывается посредством флага (915) переходной части.

10. Устройство (100) по п. 1,

- в котором модуль (110) формирования патчей выполнен с возможностью осуществления алгоритма (515) гармонического патчирования, содержащего первую временную задержку (1010) между предшествующим во времени временным блоком (m-1) с ограниченной полосой пропускания и текущим временным блоком (m') с расширенной полосой пропускания;

- при этом модуль (110) формирования патчей выполнен с возможностью осуществления алгоритма (925) патчирования с перезаписью с использованием текущего временного блока (m) с ограниченной полосой пропускания, причем алгоритм (925) патчирования с перезаписью содержит вторую временную задержку (1020);

- при этом первая временная задержка (1010) алгоритма (515) гармонического патчирования превышает вторую временную задержку (1020) алгоритма (925) патчирования с перезаписью.

11. Устройство (100) по п. 10,

- в котором модуль (110) формирования патчей содержит фазовый вокодер для выполнения алгоритма (515) гармонического патчирования, содержащего первую временную задержку (1010); и

- при этом фазовый вокодер выполнен с возможностью использования обработки суммирования с перекрытием, по меньшей мере, между двумя временными блоками с ограниченной полосой пропускания.

12. Устройство (100) по п. 1, дополнительно содержащее:

- детектор переходных событий для обнаружения переходного события (1105) в аудиосигнале (105) с ограниченной полосой пропускания;

- при этом модуль (110) формирования патчей выполнен с возможностью осуществления алгоритма (1025) патчирования с перезаписью, когда переходное событие (1105) обнаруживается в аудиосигнале (105) с ограниченной полосой пропускания; и

- при этом модуль (110) формирования патчей выполнен с возможностью неосуществления алгоритма (515) гармонического патчирования с использованием обработки суммирования с перекрытием, по меньшей мере, между двумя временными блоками с ограниченной полосой пропускания, когда переходное событие (1105) обнаруживается в аудиосигнале (105) с ограниченной полосой пропускания.

13. Устройство (100) по п. 1,

- в котором модуль (110) формирования патчей выполнен с возможностью осуществления алгоритма (1025) патчирования с перезаписью; и

- при этом модуль (110) формирования патчей выполнен с возможностью осуществления обеспечения непрерывности (1210) фазы между текущим временным блоком (m') с расширенной полосой пропускания, сформированным из алгоритма (515) гармонического патчирования, и предшествующим во времени временным блоком (m'-1) с расширенной полосой пропускания или последующим во времени временным блоком (m'+1) с расширенной полосой пропускания, сформированным из алгоритма (1025) патчирования с перезаписью, причем предшествующий во времени временной блок (m'-1) с расширенной полосой пропускания идет во времени перед текущим временным блоком (m') с расширенной полосой пропускания, а последующий во времени временной блок (m'+1) с расширенной полосой пропускания идет во времени после текущего временного блока (m') с расширенной полосой пропускания.

14. Устройство (100) по п. 1,

- в котором модуль (110) формирования патчей выполнен с возможностью осуществления алгоритма (1025) патчирования с перезаписью;

- при этом модуль (110) формирования патчей выполнен с возможностью осуществления операции (1210) перекрестного затухания между текущим временным блоком (m') с расширенной полосой пропускания, сформированным из алгоритма (515) гармонического патчирования, и предшествующим во времени временным блоком (m'-1) с расширенной полосой пропускания или последующим во времени временным блоком (m'+1) с расширенной полосой пропускания, сформированным из алгоритма (1025) патчирования с перезаписью, причем предшествующий во времени временной блок (m'-1) с расширенной полосой пропускания идет во времени перед текущим временным блоком (m') с расширенной полосой пропускания, а последующий во времени временной блок (m'+1) с расширенной полосой пропускания идет во времени после текущего временного блока (m') с расширенной полосой пропускания, и

- при этом текущий временной блок (m') с расширенной полосой пропускания и предшествующий во времени временной блок (m'-1) с расширенной полосой пропускания или последующий во времени временной блок (m'+1) с расширенной полосой пропускания, по меньшей мере, частично перекрываются в своей переходной области (1217).

15. Способ (100) для формирования сигнала (135) с расширенной полосой пропускания из аудиосигнала (105) с ограниченной полосой пропускания, причем аудиосигнал (105) с ограниченной полосой пропускания содержит множество последовательных временных блоков (511) с ограниченной полосой пропускания, при этом каждый временной блок с ограниченной полосой пропускания имеет, по меньшей мере, один ассоциированный параметр репликации полос спектра, содержащий полосу базовых частот, а сигнал (135) с расширенной полосой пропускания содержит множество последовательных временных блоков (513) с расширенной полосой пропускания, причем способ (100) содержит этапы, на которых:

- формируют (110) патчированный сигнал (115), содержащий полосу верхних частот, с использованием временного блока с ограниченной полосой пропускания аудиосигнала (105) с ограниченной полосой пропускания;

- выполняют (110) алгоритм гармонического патчирования для того, чтобы получать патчированный сигнал (115);

- выполняют (110) алгоритм гармонического патчирования для текущего временного блока (m') с расширенной полосой пропускания из множества последовательных временных блоков (513) с расширенной полосой пропускания с использованием предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания из множества последовательных временных блоков (511) с ограниченной полосой пропускания аудиосигнала (105) с ограниченной полосой пропускания;

- обрабатывают (120) сигнал (105) до патчирования или патчированный сигнал (115), сформированный с использованием предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания, с использованием параметра (121) репликации полос спектра, ассоциированного с текущим временным блоком (m) с ограниченной полосой пропускания для того, чтобы получать обработанный патчированный сигнал (125), содержащий полосу верхних частот;

при этом предшествующий во времени временной блок (m-1) с ограниченной полосой пропускания идет во времени перед текущим временным блоком (m) с ограниченной полосой пропускания во множестве последовательных временных блоков (511) с ограниченной полосой пропускания аудиосигнала (105) с ограниченной полосой пропускания; и

- комбинируют (130) аудиосигнал (105) с ограниченной полосой пропускания, содержащий полосу базовых частот, и обработанный патчированный сигнал (125), содержащий полосу верхних частот, чтобы получать сигнал (135) с расширенной полосой пропускания.

16. Компьютерно-читаемый носитель, содержащий компьютерную программу, имеющую программный код для осуществления способа (100) по п. 15, когда компьютерная программа выполняется на компьютере.