Устройство и способ аудиообработки, и программа
Изобретение относится к средствам аудиообработки. Технический результат заключается в повышении эффективности аудиообработки. Отображают, на основе позиционной информации объекта для аудиообъекта, с помощью блока отображения, изображение информации об аудиообъекте, указывающее положение аудиообъекта. Выбирают заданный аудиообъект из одного или более аудиообъектов. Осуществляют установку параметра, относящегося к аудиоинформации аудиообъекта, выбранного блоком выбора. Осуществляют обработку регулировки, на основе параметра, аудиохарактеристик аудио аудиообъекта относительно сигнала звукового фона для звукового фона. При этом обработка сигнала аудиообъекта осуществляется так, что относительно увеличивается громкость аудио для аудиообъекта посредством понижения громкости звукового фона. 3 н. и 7 з.п. ф-лы, 10 ил.
Область техники, к которой относится изобретение
Представленная технология относится к устройству и способу аудиообработки и программе и, более конкретно, к устройству и способу аудиообработки и программе, выполненным с возможностью более простой регулировки аудиохарактеристик.
Уровень техники
В последние годы аудиотехнологии объектов используются в кинофильмах, играх и т.п. и были также разработаны схемы кодирования, работающие с аудиообъектами. Например, аудиостандарт MPEG (Moving Picture Experts Group)-H Part 3:3D, являющийся международным стандартом, известен как стандарт, связанный с кодированием аудиоинформации объекта (обратитесь, например, ниже к NPL 1).
Как и в случае предшествующего уровня техники, для схемы кодирования, упомянутой выше, с 2-хканальной стереосхемой и мультиканальными стереосхемами, такими как канал 5.1, движущимися аудиоисточниками и т.п., можно обращаться как с аудиообъектами, чтобы кодировать позиционную информацию аудиообъектов в виде метаданных вместе с данными сигналов аудиообъектов. Такая схема облегчает манипулирование конкретным источником звука во время воспроизведения, что было трудно осуществимо на практике со схемами кодирования на предшествующем уровне техники. Более конкретно, эта схема позволяет регулирование громкости и добавление эффектов для каждого аудиообъекта в виде манипулирования, например, конкретным источником звука.
Перечень литературы
Непатентная литература
NPL 1: Международный стандарт ISO/IEC 23008-3, первая редакция 2015-10-15 Information technology-High efficiency coding and media delivery in heterogeneous environments-Part 3: 3D audio (Информационная технология - Высокоэффективное кодирование и доставка медиаинформации в неоднородных средах - Часть 3: 3D-аудиоинформация).
Раскрытие сущности изобретения
Технические проблемы
Однако, на практике трудно было регулировать громкость и т.п. аудиообъектов во время воспроизведения видеоинформации, содержащей битовые потоки аудиообъектов, кодированные с помощью такой технологии кодирования аудиоинформации объектов, как упомянуто выше.
Более конкретно, в случае, когда желаемый аудиообъект выбирается из двух или более аудиообъектов с тем, чтобы выполнять регулировку громкости и т.п., крайне трудно выбрать желаемый аудиообъект, только прослушивая выводимый сигнал.
Поэтому, представленная технология определяет направления решения идентифицированных выше и других проблем, связанных со способами и устройствами предшествующего уровня техники, и решает такие проблемы с помощью устройства, способа и программы, выполненных с возможностью более простой регулировки аудиохарактеристик.
Решение проблем
Устройство аудиообработки, соответствующее подходу, используемому в представленной технологии, имеет блок управления отображением, выполненный с возможностью отображения, основываясь на позиционной информации объекта для аудиообъекта, с помощью блока отображения, информации аудиообъекта, указывающей положение аудиообъекта, и блок выбора, выполненный с возможностью выбора заданного аудиообъекта из множества аудиообъектов.
Устройство аудиообработки может дополнительно иметь блок установки параметров, выполненный с возможностью установки параметра, относящегося к аудиоинформации аудиообъекта, выбранного блоком выбора.
Устройство аудиообработки может дополнительно иметь блок регулировки сигнала, выполненный с возможностью осуществления, на основе параметра процесса, регулировки аудиохарактеристик аудиоинформации аудиообъекта по меньшей мере для сигнала аудиообъекта аудиообъекта или фонового звукового сигнала звукового фона.
Параметр может быть параметром для регулировки громкости или регулировки качества звука.
Устройство аудиообработки дополнительно может иметь блок рендеринга, выполненный с возможностью выполнения рендеринга сигнала аудиообъекта для аудиообъекта.
Параметр может быть параметром, указывающим положение аудиообъекта, и блок рендеринга выполняет процесс рендеринга на основе параметра.
Блок управления отображением может вызывать отображение изображения информации аудиообъекта в виде наложения на положение, определяемое позиционной информацией объекта, видеоинформации, сопровождаемой аудиоинформацией аудиообъекта, отображаемого блоком отображения.
Если положение, определяемое позиционной информацией объекта, находится за пределами экрана отображения блока отображения, блок управления отображением может заставить изображение информации аудиообъекта отображаться на краю экрана отображения.
Блок выбора может выбрать аудиообъект в соответствии с манипуляцией техническими характеристиками, производимой пользователем в определенном месте на изображении информации аудиообъекта.
Устройство аудиообработки может дополнительно иметь блок декодирования аудиообъекта, выполненный с возможностью декодирования битового потока аудиообъектов с целью получения сигнала аудиообъекта для аудиообъекта и позиционной информации объекта.
Способ или программа аудиообработки, соответствующие другому подходу представленной технологии, имеют основанные на позиционной информации объекта для аудиообъекта этапы, на которых, заставляют блок отображения выводить на дисплей изображение информации об аудиообъекте, указывающей положение аудиообъекта, и выбирать заданный аудиообъект из одного или множества аудиообъектов.
В одном из подходов представленной технологии, основываясь на позиционной информации об объекте для аудиообъекта, изображение информации об аудиообъекте, указывающей положение аудиообъекта, отображается на блоке отображения и заданный аудиообъект выбирается из одного или более аудиообъектов.
Преимущества использования изобретения
В соответствии с одним из аспектов представленной технологии, аудиохарактеристики могут регулироваться более просто.
Следует заметить, что описанные здесь результаты не создают ограничений, поэтому любые другие результаты, описанные в представленном раскрытии, также могут иметь место.
Краткое описание чертежей
Фиг. 1 – пример конфигурации устройства видео/аудиообработки.
Фиг. 2 - блок-схема последовательности выполнения операций процесса воспроизведения контента.
Фиг. 3 – диаграмма, представляющая информацию аудиообъекта.
Фиг. 4 – диаграмма, представляющая систему координат позиционной информации объекта.
Фиг. 5 - диаграмма, описывающая связь между информацией об угле изображения и экраном дисплея блока отображения видеоинформации.
Фиг. 6 – диаграмма, представляющая регулирование аудиохарактеристик аудиообъекта.
Фиг 7 – пример конфигурации устройства аудиообработки.
Фиг. 8 – диаграмма, представляющая информацию об аудиообъекте.
Фиг. 9 - блок-схема последовательности выполнения операций процесса воспроизведения контента.
Фиг. 10 – пример конфигурации компьютера.
Осуществление изобретения
Ниже, со ссылкой на чертежи, описываются варианты осуществления, к которым применима представленная технология.
Первый вариант осуществления
Пример конфигурации устройства видео/аудиообработки
Представленная технология выполнена с возможностью визуализации позиционной информации аудиообъекта, отображая посредством наложения такое изображение, как например, прямоугольная рамка, указывающая, что аудиообъект существует в соответствующем положении на экране отображения устройства отображения, основываясь на позиционной информации объекта, присутствующей в битовом потоке аудиообъектов. Дополнительно, с помощью представленной технологии, если аудиообъект находится вне диапазона отображения на экране отображения, изображение отображается вместе с информацией, указывающей, что аудиообъект находится вне диапазона отображения в направлении, соответствующем рамке экрана отображения, размещенной посредством наложения, так чтобы визуализировать позиционную информацию аудиообъекта. Такая схема позволяет пользователю устройства выбирать аудиообъект на основе отображаемой информации, с легкостью манипулируя, таким образом, регулированием громкости и т.п.
На фиг. 1 представлен пример конфигурации одного из вариантов осуществления устройства видео/аудиообработки, к которому применима представленная технология.
Устройство 11 видео/аудиообработки, показанное на фиг. 1, имеет блок 21 демультиплексирования, блок 22 видеодекодирования, блок 23 отображения видеоинформации, блок 24 декодирования аудиообъектов, блок 25 управления отображением информации об аудиообъекте, блок 26 манипулирования, блок 27 регулирования сигнала, блок 28 декодирования звукового фона, блок 29 регулирования сигнала и блок 30 рендеринга.
Для воспроизведения контента, содержащего видеоинформацию и аудиоинформацию, входной битовый поток подается на устройство 11 видео/аудиообработки. Более конкретно, контент, полученный из входного битового потока, содержит видеоинформацию, аудиоинформацию аудиообъекта, сопровождающую эту видеоинформацию, и звуковой фон.
Блок 21 демультиплексирования разделяет входной битовый поток, поступающий извне, на битовый видеопоток, битовый поток аудиообъектов и битовый поток звукового фона.
Здесь, битовый видеопоток является битовым потоком, содержащим видеосигнал для воспроизведения видеоинформации (или изображения) контента, и блок 21 демультиплексирования подает битовый видеопоток, полученный с помощью демультиплексирования, на блок 22 видеодекодирования.
Также, битовый поток аудиообъектов является битовым потоком, содержащим аудиосигналы для воспроизведения аудиоинформации, сопровождающей видеоинформацию контента, сигнал аудиообъекта для воспроизведения аудиоинформации аудиообъекта и информацию об аудиообъекте, являющуюся метаданными этого аудиообъекта.
Блок 21 демультиплексирования подает битовый поток аудиообъектов, полученный посредством демультиплексирования, на блок 24 декодирования аудиообъектов.
В дополнение к аудиосигналам для воспроизведения аудиоинформации, сопровождающей видеоинформацию контента, битовый поток звукового фона является битовым потоком, содержащим другую аудиоинформацию, отличную от аудиоинформации аудиообъекта, то есть, сигнал звукового фона для воспроизведения звукового фона. Блок 21 демультиплексирования подает битовый поток звукового фона, полученный посредством демультиплексирования, на блок 28 декодирования звукового фона.
Блок 22 видеодекодирования декодирует битовый видеопоток, поданный от блока 21 демультиплексирования, и подает результирующий видеосигнал на блок 23 отображения видеоинформации.
Блок 23 отображения видеоинформации, содержащий, например, устройство отображения, такое как панель жидкокристаллического дисплея, отображает видеоинформацию (или изображение) контента, основываясь на видеосигнале, подаваемом от блока 22 видеодекодирования.
Блок 24 декодирования аудиообъектов декодирует битовый поток аудиообъектов, поданный от блока 21 демультиплексирования, с тем чтобы получить информацию об аудиообъектах и сигнал аудиообъектов.
Блок 24 декодирования аудиообъектов подает информацию об аудиообъекте полученную путем декодирования, на блок 25 управления отображением информации об аудиообъекте и на блок 30 рендеринга и одновременно подает сигнал аудиообъекта, полученный посредством декодирования, на блок 27 регулирования сигнала.
На основе информации об аудиообъекте, поданной от блока 24 декодирования аудиообъектов, блок 25 управления отображением информации об аудиообъекте формирует изображение информации об аудиообъекте, которая является информацией об изображении, указывающей положение аудиообъекта, и подает сформированное изображение информации об аудиообъекте на блок 23 отображения видеоинформации. Блок 23 отображения видеоинформации посредством наложения отображает изображение информации об аудиообъекте, подаваемой от блока 25 управления отображением информации об аудиообъекте, на видеоинформацию контента, отображаемую на основе видеосигнала, подаваемого от блока 22 декодирования видеоинформации, тем самым визуально представляя пользователю устройства положение аудиообъекта.
Блок 26 манипулирования имеет приемный блок для приема сигналов от удаленного контроллера, сенсорную панель, расположенную на блоке 23 отображения видеоинформации, кнопки, мышь и, например, клавиатуру, и принимает операции манипулирования, совершаемые пользователем, чтобы выводить сигналы в соответствии с манипулированием пользователем.
Более конкретно, пользователь устройства манипулирует блоком 26 манипулирования, который следит за изображением информации об аудиообъекте, отображаемой на блоке 23 отображения видеоинформации, и выполняет манипулирование для регулирования аудиохарактеристик, например, для регулирования громкости и т.п., аудиоинформации выбранного аудиообъекта. Принимая манипулирование регулированием аудиохарактеристик, производимым пользователем, блок 26 манипулирования формирует информацию о регулировании сигнала для регулирования аудиохарактеристик в соответствии с манипулированием, и подает сформированную информацию о регулировании сигнала на блок 27 регулирования сигнала или на блок 29 регулирования сигнала.
Следует заметить, что в дальнейшем описание будет продолжаться, предполагая, что блок 26 манипулирования содержит сенсорную панель, интегрированную с блоком 23 отображения видеоинформации, то есть, наложенную на экран дисплея блока 23 отображения видеоинформации.
На основе информации о регулировании сигнала, поданной от блока 26 манипулирования, блок 27 регулирования сигнала выполняет регулирование аудиохарактеристик, таких как громкость и качество звука, регулируя амплитуду и т.д. сигнала аудиообъекта, поступающего от блока 24 декодирования аудиообъектов, подавая, таким образом, полученный в результате сигнал аудиообъекта на блок 30 рендеринга.
Например, если в качестве аудиохарактеристики регулируется громкость, то выполняется регулирование амплитуды сигнала аудиообъекта. Если в качестве аудиохарактеристики выполняется регулирование качества сигнала, то с помощью процесса фильтрации выполняется регулирование коэффициента усиления, используя каждой полосы частот сигнала аудиообъекта свой коэффициент фильтрации, добавляя, таким образом, к аудиоинформации, например, эффект, основанный на сигнале аудиообъекта.
Блок 28 декодирования звукового фона декодирует битовый поток звукового фона, поступающий от блока 21 демультиплексирования, и подает результирующий сигнал звукового фона на блок 29 регулирования сигнала.
На основе информации о регулировании сигнала, поданной от блока 26 манипулирования, блок 29 регулирования сигнала выполняет регулирование таких аудиохарактеристик, как громкость и качество звука, регулируя амплитуду и т.д. сигнала звукового фона, поступающего от блока 28 декодирования звукового фона, подавая, таким образом, результирующий сигнал звукового фона на блок 30 рендеринга.
В устройстве 11 видео/аудиообработки блок регулирования сигнала, содержащий блок 27 регулирования сигнала и блок 29 регулирования сигнала, выполняет процесс регулирования аудиохарактеристик, таких как громкость и качество звука по меньшей мере для сигнала аудиообъекта или сигнала звукового фона. В результате регулируются аудиохарактеристики аудиоинформации аудиообъекта.
При регулировании аудиохарактеристик аудиоинформации аудиообъекта процесс, который должен быть соответствующим образом выполнен для сигнала аудиообъекта, такой как, например, относительное увеличение громкости аудиоинформации аудиообъекта путем снижения громкости фонового сигнала, и процесс, который должен выполняться для сигнала звукового фона, объединяются, чтобы реализовать регулирование аудиохарактеристик для аудиоинформации аудиосигнала.
На основе информации аудиообъекта, поданной от блока 24 декодирования аудиообъектов, блок 30 рендеринга выполняет рендеринг на сигнале аудиообъекта, подаваемом от блока 27 регулирования сигнала.
Кроме того, блок 30 рендеринга выполняет процесс смешивания для синтезирования сигнала аудиообъекта, полученного посредством рендеринга, с сигналом звукового фона, полученного от блока 29 регулирования сигнала, таким образом, обеспечивая на выходе результирующий аудиосигнал. Принимая этот выходной аудиосигнал, громкоговоритель воспроизводит аудиоинформацию контента на основе выходного аудиосигнала. В этот момент аудиоинформация и фоновый сигнал аудиообъекта воспроизводятся в качестве аудиоинформации контента.
Описание процесса воспроизведения контента
Ниже описывает порядок работы устройства 11 видео/аудиообработки. То есть, ниже, со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 2, описывается процесс воспроизведения контента, который должен выполняться устройством 11 видео/аудиообработки.
На этапе S11 блок 21 демультиплексирования разделяет входной битовый поток, поступающий извне, чтобы получить битовый видеопоток, битовый поток аудиообъектов и битовый поток звукового фона.
Блок 21 демультиплексирования подает битовый видеопоток, битовый поток аудиообъектов и битовый поток звукового фона, полученные при демультиплексировании, на блок 22 видеодекодирования, блок 24 декодирования аудиообъектов и блок 28 декодирования звукового фона, соответственно.
На этапе S12 блок 22 видеодекодирования декодирует битовый видеопоток, подаваемый от блока 21 демультиплексирования, и направляет результирующий видеосигнал на блок 23 отображения видеоинформации. На основе видеосигнала, подаваемого от блока 22 видеодекодирования, блок 23 отображения видеоинформации отображает изображение (или видеоинформацию) контента. То есть, воспроизводится видеоинформация контента.
На этапе S13 блок 28 декодирования звукового фона декодирует битовый поток звукового фона, поступающий от блока 21 демультиплексирования, и подает результирующий сигнал звукового фона на блок 29 регулирования сигнала.
На этапе S14 блок 24 декодирования аудиообъектов декодирует битовый поток аудиообъектов, подаваемый от блока 21 демультиплексирования, с тем чтобы получить информацию об аудиообъекте и сигнал аудиообъекта.
Здесь, сигнал аудиообъекта является колебательным сигналом аудиоинформации аудиообъекта и сигнал аудиообъекта получают для каждого одного или более аудиообъектов, декодируя битовый поток аудиообъектов. Например, сигналом аудиообъекта является, например, сигнал PCM (Pulse Code Modulation, импульсно кодовой модуляции).
С другой стороны, информация об аудиообъекте является метаданными, содержащими информацию, указывающую, где в пространстве располагается аудиообъект, являющийся источником звука, причем эти метаданные кодируются в формате, показанном, например, на фиг. 3.
В информации об аудиообъекте, показанной на фиг. 3, "num_objects" указывает количество аудиобъектов, содержащихся в битовом потоке аудиообъектов.
Дополнительно, "tcimsbf" является сокращением "Two’s complement integer, most significant (sign) bit first" (целое число, дополнительное до двух, первый самый старший (знаковый) бит) для бита знака, указывающего первое дополнение до двух.
"uimsbf" является сокращением "Unsigned integer, most significant bit first" (целое число без знака, первый самый старший бит), самым старшим битом, указывающим первое целое число без знака.
Кроме того, "gain_factor[i]" указывает коэффициент усиления i-ого аудиообъекта, содержащегося в битовом потоке аудиообъектов.
"position_azimuth[i]", "position_elevation[i]" и "position_radius[i] - каждый указывает позиционную информацию i-ого аудиообекта в битовом потоке аудиообъектов.
Более конкретно, "position_azimuth[i]" указывает азимут положения аудиообъекта в сферической системе координат и "position_elevation[i]" указывает угол места объекта для аудиообъекта в сферической системе координат. Дополнительно, "position_radius[i]" указывает расстояние до положения аудиообъекта, то есть, радиус, в сферической системе координат.
В дальнейшем, информация об аудиообъекте, содержащая "position_azimuth[i]", "position_elevation[i]" и "position_radius[i]", указывающая положение аудиообъекта, также упоминается как позиционная информация объекта.
Дополнительно, в дальнейшем, содержащаяся в информации об аудиообъекте информация "gain_factor[i]", указывающая коэффициент усиления аудиообъекта, также упоминается как информация о коэффициенте усиления.
Информация об аудиообъекте, в которой содержатся позиционная информация об объекте и информация о коэффициенте усиления для каждого аудиообъекта, является метаданными аудиообъекта.
Здесь, соотношение между сферической системой координат и трехмерной ортогональной системой координат показано на фиг. 4.
На фиг. 4 ось X, ось Y и ось Z, которые взаимно перпендикулярны и проходят через начало координат O, обеспечивают оси трехмерной ортогональной системы координат. Например, в трехмерной ортогональной системе координат положение аудиообъекта OB11 в пространстве выражается как (X1, Y1, Z1), используя значение X1, которое является координатой X, указывающей положение вдоль оси X-axis, значение Y1, которое является координатой Y, указывающей положение вдоль оси Y, и значение Z1, которое является координатой Z, указывающей положение вдоль оси Z.
С другой стороны, в сферической системе координат положение аудиообъекта OB11 в пространстве выражается, используя азимут position_azimuth, угол места position_elevation и радиус position_radius.
Теперь, пусть прямая линия, соединяющая начало координат O и положение аудиообъекта OB11 в пространстве, будет прямой линией r, а прямая линия, полученная проецированием этой прямой линии r на плоскость XY, будет прямой линией L.
В этом случае, угол θ между осью X и прямой линией L является азимутом position_azimuth, указывающим положение аудиообъекта OB11. Дополнительно, угол φ между прямой линией r и плоскостью XY является углом места position_elevation, указывающим аудиообъект OB11, и длина прямой линии r является радиусом position_radius, указывающим положение аудиообъекта OB11.
Например, положение начала координат O является положением пользователя, наблюдающего видеоинформацию (или изображение) контента, положительное направление для направления X (направление оси X), то есть, направление вперед на фиг. 4, является направлением вперед, если смотреть от пользователя, и положительное направление для направления Y (направление оси Y), то есть, направление вправо на фиг. 4, является направлением влево, если смотреть от пользователя.
Таким образом, в информации об аудиообъекте положение каждого аудиообъекта представляется сферическими координатами.
Положение и коэффициент усиления аудиообъекта, указанного информацией об аудиообъекте, как она описана выше, являются физическими величинами, значения которых варьируются для каждого заданного временного интервала. Во время воспроизведения контента положение локализации звукового изображения аудиообъекта может перемещаться в соответствии с изменением в информации об аудиообъекте.
Снова вернемся к описанию блок-схемы последовательности выполнения операций, показанной на фиг. 2. Блок 24 декодирования аудиообъектов декодирует битовый поток аудиообъектов, так чтобы получить информацию об аудиообъекте и сигнал аудиообъекта.
Блок 24 декодирования аудиообъектов подает сигнал аудиообъекта, полученный путем декодирования, на блок 25 управления отображением информации об аудиообъекте и на блок 30 рендеринга и одновременно подает сигнал аудиообъекта, полученный посредством декодирования, на блок 27 регулирования сигнала.
На этапе S15 блок 25 управления отображением информации об аудиообъекте вычисляет положение аудиообъекта на экране дисплея, основываясь на информации об аудиообъекте, поданной от блока 24 декодирования аудиообъектов.
Например, в международном стандарте "INTERNATIONAL STANDARD ISO/IEC 23008-3 First edition 2015-10-15 Information technology-High efficiency coding and media delivery in heterogeneous environments-Part 3: 3D audio" (здесь далее упоминается как ссылочный документ 1), информация, содержащаяся в битовом потоке и связанная с экраном устройства воспроизведения, предполагаемым на стороне создания видеоинформации, может описываться как информация об углах изображения в горизонтальном направлении и информация об углах изображения в вертикальном направлении; однако, если эти позиции информации об углах изображения не описываются, для информации об углах изображения используются значения по умолчанию.
Ниже приводится пример, в котором положение аудиообъекта на экране дисплея вычисляется, используя для информации об углах изображения значения по умолчанию.
Например, в отношении блока 23 отображения видеоинформации, пусть информация об углах изображения, указывающая угол изображения в горизонтальном направлении, то есть, в направлении Y блока 23 отображения видеоинформации, если смотреть от начала координат O в пространстве, будет равна screen_azimuth, а в вертикальном направлении, то есть, в направлении Y блока 23 отображения видеоинформации, если смотреть от начала координат O в пространстве, будет равна screen_elevation.
В этом случае, значение по умолчанию информации об углах изображения screen_azimuth в горизонтальном направлении и значение по умолчанию информации об углах изображения screen_elevation в вертикальном направлении будут такими, как указывается в нижеследующем выражении (1).
Выражение 1
Дополнительно, соотношения между информацией об углах изображения screen_azimuth и информацией об углах изображения information screen_elevation и экраном отображения блока 23 отображения видеоинформации являются такими, как показано на фиг. 5.
В этом примере положение O' центра экрана дисплея блока 23 отображения видеоинформации и начало координат O, которым является положение пользователя в пространстве на диаграмме, являются одним и тем же положением в вертикальном направлении.
Также, дополнительно, пусть двумерная ортогональная система координат с положением О' центра, являющегося началом координат, направлением вправо, являющимся положительным направлением для направления х на диаграмме, и направлением вверх, являющимся положительным направлением для направления y на диаграмме, является системой координат xy и положение этой системы координат xy представляется как (x, y), используя координату x и координату y.
Дополнительно, пусть ширина (длина) в направлении x экрана дисплея блока 23 отображения видеоинформации равна screen_width и ширина (длина) в направлении y блока 23 отображения видеоинформации равна screen_height. Следует заметить, что эти значения screen_width и screen_height являются известными значениями.
В этом случае, положение PS11 края на правой стороне и положение PS12 края на левой стороне экрана дисплея на чертеже блока 23 отображения видеоинформации в координатах xy являются положением PS11 = (screen_width/2,0) и положением PS12 = (-screen_width/2,0), соответственно.
Аналогично, на чертеже экрана дисплея блока 23 отображения видеоинформации положение PS 13 верхнего края и положение PS14 нижнего края в координатах xy являются положением PS13 = (0, screen_height/2) и положением PS14 = (0, -screen_height/2), соответственно.
Дополнительно, угол AG31 между вектором VB31 с началом координат O, являющимся начальной точкой, и положением O' центра, являющимся конечной точкой, и вектором VB32 с началом координат O, являющимся начальной точкой, и положением PS11, являющимся конечной точкой, равен -screen_azimuth. Аналогично, угол AG32 между вектором VB31 и вектором VB33 с началом координат O, являющимся начальной точкой, и положением PS12, являющимся конечной точкой, равен screen_azimuth.
Кроме того, угол AG33 между вектором VB31 и вектором VB34 с началом координат O, являющимся начальной точкой, и положением PS13, являющимся конечной точкой, равен screen_elevation. Угол AG34 между вектором VB31 и вектором VB35 с началом координат O, являющимся начальной точкой, и положением PS14, являющимся конечной точкой, равен -screen_elevation.
Блок 25 управления отображением информации об аудиообъекте вычисляет выражение (2), исходя из информации об углах изображения screen_azimuth и информации об углах изображения screen_elevation, которые являются значениями по умолчанию длин screen_width и screen_height блока 23 отображения видеоинформации и являются известными значениями, и позиционной информации об объектах, содержащейся в информации об аудиообъекте, вычисляя, таким образом, положение аудиообъекта на экране дисплея блока 23 отображения видеоинформации.
Выражение 2
Следует заметить, что в выражении (2) position_azimuth и position_elevation являются указаниями азимута и угла места, определяющими положение аудиообъекта, формирующими позиционную информацию объекта.
Если выражение (2) вычислено, как описано выше, координата x и координата y указывают положение аудиообъекта на экране дисплея блока 23 отображения видеоинформации, то есть, они определяют изображение контента. В дальнейшем, положение аудиообъекта на экране дисплея блока 23 отображения видеоинформации, полученное, как описано выше, также упоминается как положение объекта на экране.
Следует заметить, что для аудиообъекта, который не удовлетворяет ограничительным условиям, показанном в выражении (2), то есть, |position_azimuth| < |screen_azimuth| и |position_elevation| < |screen_elevation|, блок 25 управления отображением информациии об аудиообъекте получает, например, такое положение объекта на экране, как показано ниже.
То есть, если условие |position_azimuth| < |screen_azimuth| не удовлетворяется, координата x аудиообъекта, указываемая положением объекта на экране, равна x = -screen _width/2, если position_azimuth имеет положительное значение; если position_azimuth имеет отрицательное значение, то x = screen_width/2.
Если условие |position_elevation| < |screen_elevation| не удовлетворяется, координата y аудиообъекта, указываемая положением объекта на экране, равна y = screen_height/2, если position_elevation имеет положительное значение; если position_elevation имеет отрицательное значение, то y = -screen_height/2.
Следовательно, для аудиообъекта, не удовлетворяющего ограничительным условиям, показанным в выражении (2), положение объекта на экране для этого аудиообъекта является положением на краю экрана дисплея блока 23 отображения видеоинформации. То есть, положение объекта на экране является положением, указанным информацией об угле изображения блока 23 отображения видеоинформации.
Аудиообъект, не удовлетворяющий таким ограничительным условиям выражения (2), приведенного выше, являются объектом, расположенным вне изображения, который не может наблюдаться на изображении контента, то есть, объектом, расположенным вне экрана дисплея блока 23 отображения видеоинформации.
Следовательно, для аудиообъекта, для которого положение объекта на экране, полученное посредством позиционной информации об объекте, находится за пределами экрана дисплея блока 23 отображения видеоинформации, положение, ближайшее к положению объекта на экране, которое является положением на краю экрана дисплея блока 23 отображения видеоинформации, является конечным положением объекта на экране. Следует заметить, что если положение объекта на экране находится за пределами экрана дисплея, как в другом случае, положение пересечения прямой линии, соединяющей это положение объекта на экране и положение О' центра и край экрана дисплея блока 23 отображения видеоинформации, может, например, использоваться в качестве конечного положения объекта на экране.
Снова обратимся к описанию блок-схемы последовательности выполнения операций, показанной на фиг. 2. На этапе S16 блок 25 управления отображением информации об аудиообъекте управляет блоком 23 отображения видеоинформации, основываясь на положении объекта на экране, таким образом отображая с помощью наложения изображение информации об аудиообъекте, указывающее существование аудиообъекта, на изображении (или на видеоинформации) контента.
Это положение отображения изображения информации об аудиообъекте является положением объекта на экране, то есть, положением на экране дисплея блока 23 отображения видеоинформации, которое определяется позиционной информацией объекта. Другими словами, изображение информации об аудиообъекте отображается в положении на изображении (или видеоинформации) контента, которое определяется позиционной информацией объекта.
Например, на основе положения объекта на экране, полученного в процессе на этапе S15, блок 25 управления отображением информации об аудиообъекте в качестве информации об изображении формирует изображение информации для аудиообъектов для отображения изображения прямоугольной рамки, являющегося изображением прямоугольной рамки, имеющей заданный размер, с положением объекта в центре экрана. Например, размер изображения прямоугольной рамки в качестве позиционной информации объекта может иметь заданный размер или размер, определяемый радиусом position_radius.
Однако, изображение прямоугольной рамки аудиообъекта, не удовлетворяющего ограничительным условиям приведенного выше выражения (2), является изображением прямоугольной рамки, отличающимся от изображения прямоугольной рамки аудиообъекта, удовлетворяющего ограничительным условиям. При этом, другие изображения прямоугольной рамки отличаются друг от друга по форме или размеру прямоугольной рамки или могут отличаться, например, по цвету формы дисплея и т.п.
Блок 25 управления отображением информации об аудиообъекте подает изображение информации об аудиообъекте, сформированное, как описанное выше, на блок 23 отображения видеоинформации, отображая, таким образом, изображение информации об аудиообъекте на изображении контента посредством наложения.
В этом случае, изображение информации об аудиообъекте для аудиообъекта, для которой положение объекта на экране не удовлетворяет ограничительным условиям выражения (2), а именно, получается из позиционной информации объекта, который находится за пределами экрана дисплея блока 23 отображения видеоинформации, отображается в положении края экрана дисплея блока 23 отображения видеоинформации, являющегося ближайшим к этому положению объекта на экране. То есть, изображение информации об аудиообъекте отображается на краю изображения контента.
Когда процесс на этапе S16 выполнен, изображение, показанное на фиг. 6, отображается, например, на блоке 23 отображения видеоинформации.
В примере, показанном на фиг. 6, три человека HM11-HM13 отображаются как аудиообъекты на изображении контента, отображаемом на блоке 23 отображения видеоинформации.
На участках в области лица этих людей HM11-HM13, изображения информации об аудиообъекте изображений FR11-FR13 аудиообъектов соответственно отображаются посредством наложения. Следовательно, наблюдая эти изображения FR11-FR13 прямоугольных рамок, пользователь способен с легкостью распознавать аудиообъекты.
Дополнительно, на фиг. 6 на краю экрана отображения блока 23 отображения видеоинформации отображается изображение FR14 прямоугольной рамки, указывающей существование аудиообъекта, не удовлетворяющего ограничительным условиям выражения (2), то есть, аудиообъекта, находящегося за пределами экрана дисплея.
В частности, в этом примере изображение FR14 прямоугольной рамки отображается пунктирными линиями, чтобы указать, что аудиообъект, соответствующий изображению FR14 прямоугольной рамки, находится за пределами экрана дисплея. То есть, форма отображения изображения FR14 прямоугольной рамки отличается от других изображений FR11-FR13 прямоугольной рамки.
В этом примере изображение FR11 прямоугольной рамки и изображение FR13 прямоугольной рамки также отображаются пунктирными линиями; в случае отображения пунктирными линиями изображения FR14 прямоугольной рамки, однако, форма отображения, отличная от формы отображения изображения FR11 прямоугольной рамки и изображения FR13 прямоугольной рамки, используется для различения.
Поскольку аудиообъект, соответствующий изображению FR14 прямоугольной рамки, располагается за пределами экрана отображения, пользователь не в состоянии подтвердить присутствие этого аудиообъекта на изображении контента. Однако, наблюдая изображение FR14 прямоугольной рамки, пользователь может распознать существование аудиообъекта на пределами экрана отображения. Например, наблюдая изображение FR14 прямоугольной рамки, пользователь может распознать, что, если смотреть от пользователя, то с левой стороны дисплея существует невидимый аудиообъект.
Допустим в этом состоянии, что пользователь, использующий устройство, выбирает посредством щелчка мыши, например, изображение FR12 прямоугольной рамки, отображаемое на участке области лица человека HM12. Эта операция выбора позволяет выбрать человека HM12 с помощью отображаемого изображения FR12 прямоугольной рамки.
Затем, изображение FR12 прямоугольной рамки, отображаемое для выбранного человека HM12, отображается с использованием выделения. В этом примере изображение FR12 прямоугольной рамки выполнено непрерывными линиями, указывая, что изображение FR12 прямоугольной рамки отображается с использованием выделения. Это позволяет пользователю визуально понять, какой аудиообъект был выбран.
В отличие от этого, изображение FR11 прямоугольной рамки, изображение FR13 прямоугольной рамки и изображение FR14 прямоугольной рамки невыбранных людей рисуются пунктирными линиями, указывая, что что они не отображаются с использованием выделения, то есть, отображаются обычным способом. Следовательно, когда выбирается изображение FR12 прямоугольной рамки, состояние дисплея с изображением FR12 прямоугольной рамки меняется с обычного состояния дисплея, рисуемого пунктирными линиями, на выделенное состояние дисплея, рисуемое сплошными линиями.
Дополнительно, в этом примере вместе с выбором и выделением отображения изображения FR12 прямоугольной рамки, в непосредственной близости от изображения FR12 прямоугольной рамки отображается изображение CT11 команды регулирования для регулирования аудиохарактеристик аудиоинформации, поступающей от выбранного человека HM12.
Здесь, для примера отображается изображение CT11 команды регулирования, то есть, изображение для регулирования громкости аудиоинформации человека HM12. Следует заметить, что манипулирование изображением команды регулирования позволяет регулировать не только громкость, но и качество звука. Однако, для краткости описания ниже описывается пример только с регулированием громкости.
Пользователь, являющийся пользователем устройства, может выполнять манипулирование на участке, обозначенной стрелкой, которая показанна на этом изображении CT11 команды регулирования, так чтобы с большей легкостью и интуитивно регулировать громкость аудиоинформации аудиообъекта. Для большей конкретности, пользователь может увеличивать громкость, касаясь верхнего участка на диаграмме на участке стрелки изображения CT11 команды регулирования и, напротив, может уменьшать громкость, касаясь нижнего участка на диаграмме на участке стрелки. Кроме того, величины увеличения/уменьшения громкости могут определяться, например, количеством касаний пользователем участка стрелки или продолжительностью времени, в течение которого пользователь касается участка стрелки.
Дополнительно, пользователь может снова нажать пальцем на изображение FR12 прямоугольной рамки в состоянии, когда отображается изображение CT11 команды регулирования, отменяя, тем самым, выбор человека HM12, с тем, чтобы вернуть дисплей в состояние, в котором изображение CT11 команды регулирования не отображается.
Обратимся к описанию блок-схемы последовательности выполнения операций, показанной на фиг. 2. На этапе S17 блок 26 манипулирования выбирает аудиообъект, аудиохарактеристики которого должны регулироваться, в соответствии с манипулированием пользователем, который является пользователем устройства.
Например, выбор аудиообъекта пользователем выполняется, когда пользователь указывает изображение прямоугольной рамки, отображаемое для этого аудиообъекта, то есть, изображение информации об аудиообъекте. В этом случае, для регулирования аудиохарактеристик пользователь может выбрать только один аудиообъект из одного или более аудиообъектов или последовательно выбирать два или более аудиообъектов для регулирования аудиохарактеристик.
Блок 26 манипулирования выбирает аудиообъект в соответствии с манипулированием пользователем для указания изображения информации об аудиообъекте.
Более конкретно, в примере, показанном на фиг. 6, например, если пользователь выполняет манипулирование, касаясь пальцем изображения FR12 прямоугольной рамки, блок 26 манипулирования выбирает человека HM12, соответствующего изображению FR12 прямоугольной рамки, в качестве аудиообъекта, для которого следует выполнить регулирование аудиохарактеристик, основываясь на сигнале, сформированном в соответствии с манипулированием пользователем блока 26 манипулирования.
Как описано выше, для выбора человека, соответствующего изображению прямоугольной рамки, блок 26 манипулирования может функционировать как блок выбора аудиообъекта для выбора аудиообъекта в соответствии с манипулированием, производимым пользователем.
Дополнительно, при выборе аудиообъекта, акустические характеритики которого должны регулироваться, блок 26 манипулирования управляет блоком 23 отображения видеоинформации, отображает, используя выделение, изображение прямоугольной рамки (изображение информации об аудиообъекте), соответствующей выбранному аудиообъекту и одновременно отображает изображение команды регулирования в непосредственной близости от этого изображения прямоугольной рамки. В результате, в примере, показанном на фиг. 6, изображение FR12 прямоугольной рамки отображается с использованием выделения и, в то же время, отображается изображение CT11 команды регулирования.
Затем пользователь, являющийся пользователем устройства, выполняет манипулирование для изображения команды регулирования, тем самым подавая команду на регулирование аудиохарактеристик аудиоинформации аудиообъекта. Следует заметить, что регулироваться может не только аудиоинформация аудиообъекта, но также и аудиохарактеристики звукового фона.
На этапе S18, основываясь на сигнале, сформированном в соответствии с манипулированием пользователем на изображении команды регулирования, блок 26 манипулирования формирует информацию для регулирования аудиохарактеристик аудиоинформации выбранного аудиообъекта.
Например, если подается команда регулирования громкости аудиоинформации аудиообъекта, то, например, блок 26 манипулирования формирует информацию регулирования сигнала для увеличения или уменьшения громкости на заданную командой величину. В этом случае, информация регулирования сигнала содержит информацию, указывающую, например, величину регулирования громкости, то есть, величину увеличения или уменьшения громкости, в качестве параметра.
Дополнительно, если подается команда регулирования громкости аудиоинформации аудиообъекта, например, блок 26 манипулирования выбирает коэффициент фильтрации для использования в процессе фильтрации для добавления эффекта, соответствующего этой команде, так чтобы формировать информацию регулирования сигнала, которая содержит информацию, указывающую выбранный коэффициент фильтрации в качестве параметра.
Информация регулирования сигнала, сформированная, как описано выше, содержит параметр, связанный с аудиоинформацией, такой как информация, указывающая информацию регулирования громкости, и информация, указывающая коэффициент фильтрации, то есть, параметр, указывающий степень регулирования при регулировании аудиохарактеристик. Поэтому блок 26 манипулирования может также функционировать как блок установки параметров, который устанавливает параметр для регулирования аудиохарактеристик с помощью манипулирования, выполняемого пользователем так, чтобы сформировать информацию регулирования сигнала, содержащую установленный параметр.
Блок 26 манипулирования подает информацию регулирования сигнала, сформированную как описано выше, на блок 27 регулирования сигнала и на блок 29 регулирования сигнала или на блок 27 регулирования сигнала и на блок 29 регулирования сигнала.
На этапе S19 блок 27 регулирования сигнала или блок 29 регулирования сигнала регулирует аудиохарактеристики, основываясь на информации регулирования сигнала, подаваемой от блока 26 манипулирования.
Если информация регулирования сигнала подается, например, только на блок 27 регулирования сигнала, то блок 27 регулирования сигнала регулирует такие аудиохарактеристики, как регулирование громкости и регулирование качества звука сигнала аудиообъекта, подаваемого от блока 24 декодирования аудиообъектов, основываясь на информации регулирования сигнала, подаваемой от блока 26 манипулирования. Далее, блок 27 регулирования сигнала подает сигнал аудиообъекта с отрегулированными аудиохарактеристиками, на блок 30 рендеринга. Дополнительно, блок 29 регулирования сигнала без изменений подает сигнал звукового фона, поданный от блока 28 декодирования звукового фона, на блок 30 рендеринга.
Более конкретно, блок 27 регулирования сигнала выполняет, например, регулирование громкости или регулирует амплитуду сигнала аудиообъекта, основываясь на информации регулирования сигнала. Дополнительно, блок 27 регулирования сигнала выполняет регулирование качества звука посредством процесса фильтрации сигнала аудиообъекта, используя коэффициент фильтрации, указанный информацией регулирования сигнала, добавляя, таким образом, к аудиоинформации, например, эффект.
В отличие от этого, если информация регулирования сигнала подается, например, только на блок 29 регулирования сигнала, то блок 29 регулирования сигнала выполняет регулирование таких аудиохарактеристик, как регулирование громкости и регулирование сигнала звукового фона, подаваемого от блока 28 декодирования звукового фона, основываясь на информации регулирования сигнала, подаваемой от блока 26 манипулирования. Далее, блок 29 регулирования сигнала подает сигнал звукового фона с отрегулированными аудиохарактеристиками, на блок 30 рендеринга. Дополнительно, блок 27 регулирования сигнала без изменений подает сигнал аудиообъекта, поданный от блока 24 декодирования аудиообъектов, на блок 30 рендеринга.
Дополнительно, информация регулирования сигнала подается одновременно, например, на блок 27 регулирования сигнала и на блок 29 регулирования сигнала, затем выполняется регулирование аудиохарактеристик сигнала аудиообъекта и сигнала звукового фона в блоке 27 регулирования сигнала и в блоке 29 регулирования сигнала, соответственно. Затем сигнал аудиообъекта и сигнал звукового фона с отрегулированными аудиохарактеристиками подаются на блок 30 рендеринга.
Здесь существуют различные типы способов регулирования аудиохарактеристик; то есть, регулирование аудиохарактеристик может выполняться любыми способами, пока может реализовываться регулирование аудиохарактеристик аудиоинформации аудиообъекта, указанного пользователем. Например, также практически можно относительно увеличивать громкость аудиоинформации выбранного аудиообъекта, уменьшая амплитуды всех сигналов аудиообъектов и сигнала звукового фона, отличных от сигнала аудиообъекта выбранного аудиообъекта.
Дополнительно, практически также возможно регулировать аудиохарактеристики в блоке 30 рендеринга, изменяя информацию коэффициента усиления gain_factor[i], содержащуюся в информации об аудиообъекте, показанной на фиг. 3, вместо того, чтобы напрямую регулировать амплитуды и т.д. сигнала аудиообъекта и сигнала звукового фона.
В таком случае блок 26 манипулирования формирует информацию регулирования сигнала, которая содержит информацию, указывающую варьирование информации о коэффициенте усиления gain_factor[i], как параметре, и подает сформированную информацию на блок 30 рендеринга. Эта информация, указывающая варьирование информации о коэффициенте усиления, является информацией, регулирующей громкость аудиоинформации, поэтому эта информация может быть параметром, связанным с аудиоинформацией аудиообъекта.
На основе информации о регулировании сигнала, получаемой от блока 26 манипулирования, блок 30 рендеринга изменяет информацию о коэффициенте усиления, содержащуюся в информации об аудиообъекте, подаваемой от блока 24 декодирования аудиообъектов, и, используя измененную информацию о коэффициенте усиления, выполняет процесс этапа S20, который описывается ниже.
На этапе S20, основываясь на информации об аудиообъекте, поданной от блока 24 декодирования аудиообъектов, блок 30 рендеринга выполняет рендеринг для сигнала аудиообъекта, подаваемого от блока 27 регулирования сигнала.
Кроме того, блок 30 рендеринга выполняет процесс смешивания для синтезирования сигнала аудиообъекта, полученного посредством рендеринга, с сигналом звукового фона, полученного от блока 29 регулирования сигнала, и выводит результирующий выходной аудиосигнал, заершая процесс воспроизведения контента.
Например, в устройстве 11 видео/аудиообработки сигнал звукового фона воспроизводится в так называемой многоканальной стереосхеме, такой как 2-хканальная или 5.1-канальная схема, используемые на предшествующем уровне техники.
В отличие от этого, для сигнала аудиообъекта схема рендеринга аудиообъекта описывается в ссылочном документе 1, согласно которому рендеринг выполняется блоком 30 рендеринга, воспроизводя, таким образом, аудиоинформацию. Более конкретно, с помощью схемы, именуемой VBAP (Vector Base Amplitude Panning), каждый сигнал аудиообъекта приводится в соответствие с громкоговорителем в среде воспроизведения, воспроизводя, таким образом, аудиоинформацию.
То есть, в блоке 30 рендеринга информация о коэффициенте усиления, содержащаяся в информации об аудиообъекте, показанной на фиг. 3, умножается на сигнал аудиообъекта, так чтобы выполнить регулирование коэффициента усиления, и процесс в VBAP выполняется на основе сигнала аудиообъекта, регулируемого через коэффициент усиления.
С помощью VBAP сигнал аудиообъекта приводится в соответствие с коэффициентом усиления, указанным для каждого из трех громкоговорителей, ближайших к положению в пространстве аудиообъекта, указанного с помощью позиционной информации аудиообъекта, содержащейся в информации об аудиообъекте, показанной на фиг. 3.
Как описано выше, VBAP является технологией выполнения локализации звука в положении в пространстве аудиообъекта, используя выходные сигналы трех громкоговорителей, расположенных в непосредственной близости от положения аудиообъекта в пространстве, указанном позиционной информацией объекта.
Подробности по VBAP смотрите, например, в документе "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", AES, том 45, выпуск 6, стр. 456-266, июнь 1997 (также упоминается далее как ссылочный документ 2). Следует заметить, что в ссылочных документах 1 и 2 количество громкоговорителей равно 3; однако, на практике локализация звука может также выполняться с 4 и более громкоговорителями.
Дополнительно, выше был описан пример, в котором сигнал звукового фона кодируется и декодируется посредством многоканальной стереосхемы; однако, на практике также можно использовать схему, в которой пространство в непосредственной близости от наблюдателя, обозначенного как HOA (Higher Order Ambisonic) и описанного в стандарте ссылочного документа 1, выражается с помощью сферической гармонической функции как ортогональной основы.
Как описано выше, устройство 11 видео/аудиообработки формирует изображение информации аудиообъекта на основе информации об аудиообъекте, с тем, чтобы отображать сформированное изображение информации аудиообъекта на изображении контента, используя способ наложения, и в то же самое время формирует информацию регулирования сигнала в соответствии с манипулированием, производимым пользователем, чтобы регулировать аудиохарактеристики аудиоинформации.
Таким образом, отображение изображения информации об аудиообъекте, полученного посредством способа наложения информации об аудиообъекте на изображение контента, позволяет пользователю просто и интуитивно выбирать аудиообъект, выполняя, тем самым, регулирование аудиохарактеристик регулирования громкости и т.п.
Второй вариант осуществления
Пример конфигурации устройства аудиообработки
Между тем, в описанном выше первом варианте осуществления использовался пример, в котором изображение информации аудиообъекта, полученное путем использования позиционной информации объекта для аудиообъекта, отображается на изображении (или видеоинформации) контента посредством наложения. Однако, представленная технология применима также, если видеоинформация в качестве контента ничем не сопровождается.
Во втором варианте осуществления описывается случай, когда во входном битовом потоке не содержится никакой битовый видеопоток, то есть, случай, в котором входной битовый поток содержит только битовый аудиопоток объекта и битовый поток звукового фона.
В таком случае, устройство аудиообработки, в котором применяется представленная технология, имеет такую конфигурацию, как, например, показана на фиг. 7. Следует заметить, что, со ссылкой на фиг. 7, компоненты, схожие с теми, которые показаны на фиг. 1, обозначаются теми же самыми ссылочными позициями и их описание повторяться не будет.
Устройство 81 аудиообработки, показанное на фиг. 7, имеет блок 21 демультиплексирования, блок 23 отображения видеоинформации, блок 24 декодирования аудиообъектов, блок 25 управления отображением информации об аудиообъекте, блок 26 манипулирования, блок 27 регулирования сигнала, блок 28 декодирования звукового фона, блок 29 регулирования сигнала и блок 30 рендеринга.
Конфигурация этого устройства 81 аудиообработки отличается от конфигурации устройства 11 видео/аудиообработки, в которой блок 22 видеодекодирования отсутствует и которая, в целом, по другим пунктам схожа с конфигурацией устройства 11 видео/аудиообработки.
Однако, в устройстве 81 аудиообработки информация об аудиообъекте, полученная блоком 24 декодирования аудиообъектов, также подается на блок 26 манипулирования. Дополнительно, в соответствии с манипулированием, выполняемым пользователем, являющимся пользователем устройства, блок 26 манипулирования должным образом изменяет позиционную информацию объекта для аудиообъекта, подавая, таким образом, измененную позиционную информацию об объекте на блок 30 рендеринга.
Например, если создается контент только чисто аудиоинформации, не содержащий видеоинформации, то положение аудиообъекта в заданном положении может изменяться. Поэтому, если в контенте содержится видеоинформация, перемещение положения аудиообъекта вызывает смещение между положением аудиообъекта и положением видеообъекта, соответствующего аудиообъекту; однако, в случае, когда контент имеет только аудиоинформацию, такое смещение не возникает.
Также, в этом случае, информация об аудиообъекте содержится в битовом потоке аудиообъектов, поэтому изображение информации об аудиообъекте может отображаться на блоке 23 отображения видеоинформации. Следовательно, наблюдая это изображение информации об аудиообъекте, пользователь, являющийся пользователем устройства, способен манипулировать или редактировать контент, в то же время визуально контролируя положение аудиообъекта. Такой вариант осуществления пригоден для случая, в котором операция редактирования в студии выполняется, например, для контента, содержащего только аудиоинформацию.
В устройстве 81 аудиообработки изображение информации об аудиообъекте отображается так, как показано, например, на фиг. 8.
В примере, показанном на фиг. 8, экран дисплея блока отображения видеоинформации имеет область R11 отображения положения объекта, область R12 отображения метаданных объекта и область R13 отображения переходного процесса во времени.
Область R11 отображения положения объекта отображает изображение информации об аудиообъекте, указывающей положение аудиообъекта. В представленном варианте осуществления изображение информации об аудиообъекте отображается в месте, указанном позиционной информацией объекта.
В этом примере область R11 отображения положения объекта отображает каждую ось трехмерной ортогональной системы координат, указанной стрелкой A11, и в то же время изображение FR31 информации об аудиообъекте и изображение FR32 информации об аудиообъекте соответственно указывают положение каждого из двух аудиообъектов. Здесь трехмерная ортогональная система координат, указанная стрелкой А11, является трехмерной ортогональной системой координат, имеющей ось Х, ось Н и ось Z, показанные на фиг. 4.
Дополнительно, в этом примере изображение FR31 информации об аудиообъекте вычерчивается пунктирными линиями, тогда как изображение FR32 информации об аудиообъекте вычерчивается сплошными линиями, указывая, таким образом, что изображение FR32 информации об аудиообъекте выбрано и находится в выделенном состоянии. То есть, каждое из изображений информации об аудиообъектах отображается в различных форматах отображения в зависимости от состояния выбора. На фиг. 8 отображается способ, которым перемещается изображение FR32 информации об аудиообъектах.
Наблюдая изображение информации об аудиообъектах, отображаемое в области R11 отображения положения объекта, пользователь, являющийся пользователем устройства, способен визуально контролировать положение аудиообъекта в пространстве.
Область R12 отображения метаданных объекта отображает метаданные аудиообъекта в выбранном состоянии, который был извлечен из битового потока аудиообъектов, то есть, информацию, содержащуюся в информации об аудиообъекте. Например, для информации, содержащейся в информации об аудиообъектах, отображаются позиционная информация объекта и информация о коэффициенте усиления.
Область R13 отображения переходного процесса во времени для положения объекта отображает положение изображения информации об аудиообъектах в выбранном состоянии, то есть, положение в пространстве в каждый момент времени пребывания аудиообъекта в выбранном состоянии.
Более конкретно, область R13 отображения переходного процесса во времени для положения объекта имеет область R21 отображения координаты X, область R22 отображения координаты Y и область R23 отображения координаты Z, боковые направления области R21 отображения координаты X, области R22 отображения координаты Y и области R23 отображения координаты Z, указывающие на чертеже направление движения во времени.
Для аудиообъектов, соответствующих изображениям информации об аудиообъектах в области R11 отображения положения объектов, область R21 отображения координаты X отображает информацию PL11 о переходном процессе положения, указывающую координату X, которая является положением в направлении по оси X в пространстве в любой момент времени пребывания аудиообъекта в выбранном состоянии. Другими словами, информация PL11 о переходном процессе положения является информацией, указывающей переходной процесс во времени для координаты Х аудиообъекта.
Аналогично, область R22 отображения координаты Y отображает информацию PL12 о переходном процессе положения, указывающую координату Y, которая является положением в направлении по оси Y в пространстве в любой момент времени пребывания аудиообъекта в выбранном состоянии. Аналогично, область R23 отображения координаты Y отображает информацию PL13 о переходном процессе положения, указывающую координату Z, которая является положением в направлении по оси Z в пространстве в любой момент времени пребывания аудиообъекта в выбранном состоянии.
Дополнительно, курсор CR11 отображается в в положении для одного момента времени по временной оси в области R21 отображения координаты Х–области R23 отображения координаты Z.
В этом примере, когда пользователь, который является пользователем устройства, манипулируя блоком 26 манипулирования, выбирает изображение информации желаемого аудиообъекта, отображаемое в области R11 отображения положения объекта, для положения аудиообъекта в любой момент времени отображается информация PL11 о переходном процессе положения-информация PL13 о переходном процессе положения, указывающая изображение информации о выбранном аудиообъекте. В примере, показанном на фиг. 8, аудиообъект, соответствующий изображению FR32 информации об аудиообъекте, находится в выбранном состоянии.
Дополнительно, перемещая курсор CR11 в желаемое положение в направлении временной оси, пользователь может указать требуемый момент времени. Когда время указывается курсором CR11, область R11 отображения положения объекта отображает в положении в пространстве каждого аудиообъекта во время, указанное курсором CR11, изображение информации об аудиообъекте для этого аудиообъекта.
Следовательно, в этом примере изображение FR32 информации об аудиообъекте в выбранном состоянии отображается в положении в пространстве, указанном координатой X, координатой Y и координатой Z, в котором курсор CR11 располагается в информации PL11 о переходном процессе положения–информации PL13 о переходном процессе положения.
Если в этом состоянии пользователь перемещает изображение FR32 информации об аудиообъекте в выбранное состояние, как показано на фиг. 8, координата X, координата Y и координата Z, в которых располагается курсор CR11 в информации PL11 о переходном процессе положения–информации PL13 о переходном процессе положения, изменяется во времени. То есть, манипулирование пользователем изображением FR32 информации об аудиообъекте отражается на информации PL11 о переходном процессе положения-информации PL13 о переходном процессе положения.
Дополнительно, если пользователь изменяет изображение информации об аудиообъекте в выбранном состоянии на изображение FR31 информации об аудиообъекте, отображение области R12 отображение области метаданных объекта и области R13 переходного процесса во времени положения объекта также обновляется на отображение изображения FR31 информации об аудиообъекте, помещенного в новое выбранное состояние.
Также дополнительно, в этом примере, чтобы с легкостью выполнять манипулирование изменением положений в пространстве аудиообъекта, пользователю также разрешается вращать или расширять/сжимать саму трехмерную ортогональную систему координат, указанную стрелкой А11.
Как описано выше, в соответствии с устройством 81 аудиообработки, действия по манипулированию и редактированию аудиообъектов, содержащихся во входном битовом потоке, могут легко выполняться, в то же время визуально контролируя эти действия по манипулированию и редактированию.
Кроме того, в примере, показанном на фиг. 8, как и в случае, описанном со ссылкой на фиг. 6, аудиообъект может быть выбран так, чтобы отображать изображение команды регулирования и т.п., выполняя, таким образом, регулирование таких аудиохарактеристик, как регулирование громкости и регулирование качества звука, для выбранного аудиообъекта.
Описание процесса воспроизведения контента
Ниже описывает порядок работы устройства 81 аудио/видеообработки. То есть, ниже, со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 9, описывается процесс воспроизведения контента, который должен выполняться устройством 81 аудиообработки.
Когда процесс воспроизведения контента начат, выполняется обработка на этапе S51; однако, поскольку эта обработка подобна обработке на этапе S11, показанном на фиг. 2, ее описание повторно не приводится. Следует заметить, однако, что на этапе S51 входной битовый поток разделяется на битовый поток аудиообъектов и битовый поток звукового фона.
Когда входной битовый поток демультиплексирован, выполняются операции по обработке на этапах S51 и S52; однако, поскольку эти операции по обработке подобны операциям по обработке на этапах S13 и S14 на фиг. 2, их описание повторно не приводится. Следует заметить, однако, что на этапе S53 информация об аудиообъектах, полученная посредством декодирования битового потока аудиообъектов, подается на блок 25 управления отображением информации об аудиообъектах, блок 26 манипулирования и блок 30 рендеринга.
На этапе S54 на основе информации об аудиообъектах, подаваемой от блока 24 декодирования аудиообъектов, блок 25 управления отображением информации об аудиообъектах управляет блоком 23 отображения видеоинформации, отображая, таким образом, изображение информации об аудиообъектах.
То есть, на основе информации об аудиообъектах, блок 25 управления отображением информации об аудиообъекте формирует изображение информации об аудиообъекте и подает сформированное изображение информации об аудиообъекте на блок 23 отображения видеоинформации для отображения изображения информации об аудиообъекте.
Следовательно, например, экран, показанный на фиг. 8, отображается на блоке 23 отображения видеоинформации. То есть, посредством обработки на этапе S54 на блоке 23 отображения видеоинформации изображение информации об аудиообъекте отображается в положении, указанном позиционной информацией объекта, содержащейся в информации об аудиообъекте, и, в то же самое время, отображаются метаданные и информация о переходном процессе положения аудиообъекта.
Когда изображение информации об аудиообъекте отображается, как описано выше, пользователь, который является пользователем устройства, манипулирует блоком 26 манипулирования, чтобы изменить положения аудиообъекта, и выполняет регулирование громкости и регулирование качества звука.
На этапе S55 блок 26 манипулирования изменяет позиционную информацию объекта для аудиообъекта в соответствии с манипулированием, выполненным пользователем.
Например, в примере, показанном на фиг. 8, если пользователь перемещает изображение FR32 информации об аудиообъекте, блок 26 манипулирования изменяет позиционную информацию объекта для соответствующего аудиообъекта согласно этому перемещению изображения FR32 информации об аудиообъекте.
Позиционная информация объекта, используемая в процессе рендеринга, является информацией для указания положения аудиообъекта в пространстве, то есть, положения локализации звукового изображения аудиообъекта в пространстве. Следовательно, обработка изменения позиционной информации объекта может быть обработкой установочных параметров, связанных с аудиоинформацией аудиообъекта.
На этапе S56 блок 26 манипулирования формирует информацию регулирования сигнала в соответствии с манипулированием, выполненным пользователем. На этапе S56 выполняется обработка, подобная обработке на этапе S18 на фиг. 2. Следует заметить, что на этапе S56 параметр для регулирования аудиохарактеристик может устанавливаться в соответствии с перемещением положения изображения информации об аудиообъекте, формируя, таким образом, информацию регулирования сигнала, содержащую этот параметр.
Блок 26 манипулирования подает информацию регулирования сигнала, сформированную как описано выше, на блок 27 регулирования сигнала, на блок 29 регулирования сигнала или на блок 27 регулирования сигнала и на блок 29 регулирования сигнала. Кроме того, блок 26 манипулирования подает измененную позиционную информацию объекта, полученную посредством обработки на этапе S55, на блок 30 рендеринга.
Когда информация регулирования сигнала сформирована, последовательно выполняются операции обработки на этапах S57 и S58, после которых процесс воспроизведения контента заканчивается; однако, поскольку эти операции обработки подобны операциям обработки на этапах S19 и S20 на фиг. 2, их описание повторно не приводится.
Следует заметить, однако, что на этапе S58 блок 30 рендеринга выполняет процесс рендеринга, используя измененную позиционную информацию объекта, подаваемую от блока 26 манипулирования, и информация о коэффициенте усиления, содержащаяся в информации об аудиообъекте, подается от блока 24 декодирования аудиообъектов.
Как описано выше, на основе информации об аудиообъекте устройство 81 аудиообработки генерирует и отображает изображение информации аудиообъекта, и в то же самое время формирует информацию регулирования сигнала в соответствии с манипулированием, производимым пользователем, так чтобы регулировать аудиохарактеристики аудиоинформации и изменять позиционную информацию объекта. Следовательно, пользователь может более легко и интуитивно выбирать аудиообъект, с тем, чтобы регулировать аудиохарактеристики и перемещать позицию аудиообъекта. То есть, пользователь может легко выполнять действия по манипулированию и редактированию аудиообъекта, в то же время контролируя эти действия.
Ряд операций обработки может выполняться с помощью аппаратурного обеспечения или программного обеспечения. Для выполнения ряда операций обработки посредством программного обеспечения, на компьютер устанавливаются программы, составляющие это программное обеспечение. Следует заметить, что компьютер содержит компьютер, встроенный в специализированные аппаратные средства, и универсальный персональный компьютер, который может, например, при установке различных программ, исполнять различные функции.
На фиг. 10 приведена блок-схема, показывающая пример конфигурации аппаратурного обеспечения компьютера для выполнения последовательности операций обработки с помощью программ.
В компьютере CPU (центральный процессор) 501, ROM (постоянное запоминающее устройство) 502 и RAM (оперативное запоминающее устройство) 503 соединяются друг с другом через шину 504.
Шина 504 дополнительно соединяется с интерфейсом 505 ввода-вывода. Интерфейс 505 ввода–вывода соединяется с устройством 506 ввода, устройством 507 вывода, блоком 508 записи, блоком 509 связи и дисководом 510.
Устройство 506 ввода содержит клавиатуру, мышь, микрофон и т.п. Устройство 507 вывода содержит дисплей, громкоговоритель и т.п. Блок 508 записи содержит дисковод жесткого диска, энергонезависимую память и т.п. Блок 509 связи содержит сетевой интерфейс и т.п. Дисковод 510 приводит в действие съемный носитель 511, такой как магнитный диск, оптический диск, магнито-оптический диск, полупроводниковую память и т.д.
В компьютере, конфигурированном таким образом, как описано выше, CPU 501, например, загружает в RAM 503 программы, хранящиеся в блоке 508 записи, через интерфейс 505 ввода-вывода и шину 104 и выполняет загруженные программы, чтобы выполнять последовательность операций обработки.
Программы, которые должны выполняться компьютером (CPU 501), могут предоставляться, например, записанными на съемном носителе в виде пакетного носителя и т.п. Кроме того, эта программа может предоставляться через проводную или беспроводную среду передачи, такую как локальная сеть, Интернет или цифровое спутниковое вещание.
Программы могут быть установлены в блок 508 записи через интерфейс 505 ввода-вывода, монтируя на дисковод 510 съемный носитель 511, в который установлены программы. Дополнительно, программы могут быть получены блоком 509 связи посредством проводного или беспроводного носителя передачи, так чтобы устанавливаться в блоке 508 записи. Кроме того, программы могут устанавливаться в ROM 502 или в блок 508 записи заранее.
Следует заметить, что программы, которые должны выполняться, могут быть программами, выполняемыми во временной последовательности согласно описанной здесь последовательности, или программами, выполняемыми параллельно по мере необходимости на основе запросов.
Следует заметить, что варианты осуществления представленной технологии не ограничиваются описанными выше вариантами осуществления и, следовательно, изменяются, и в вариантах осуществления могут быть произведены различные изменения, не отступая от объема защиты представленной технологии.
Например, представленная технология может принимать конфигурацию, работающего в облаке компьютера, в котором одна функция действует распределенно и совместно обрабатывается двумя или более устройствами, действующими через сеть.
Каждый этап, описанный в блок-схемах последовательности выполнения операций, описанных выше, может выполняться на одном устройстве или на двух и более устройствах разделенным способом.
Дополнительно, если две или более операций обработки содержатся в одном этапе, эти две или более операций обработки, содержащихся в этом одном этапе, могут выполняться одним устройством или двумя или более устройствами разделенным способом.
Следует заметить, что представленная технология может принимать нижеследующую конфигурацию.
(1) Устройство аудиообработки, содержащее:
блок управления отображением, выполненный с возможностью, основываясь на позиционной информации объекта для аудиообъекта, отображения, посредством блока отображения изображения, информации об аудиообъекте, указывающей позицию аудиообъекта; и
блок выбора, выполненный с возможностью выбора заданного аудиообъекта из одного или более аудиообъектов.
(2) Устройство аудиообработки по (1), дополнительно содержащее:
блок установки параметров, выполненный с возможностью установки параметра, относящегося к аудиоинформации аудиообъекта, выбранного блоком выбора.
(3) Устройство аудиообработки по (2), дополнительно содержащее:
блок регулировки сигнала, выполненный с возможностью выполнения обработки регулировки, на основе параметра, аудиохарактеристик аудиоинформации аудиообъекта для сигнала аудиообъекта по меньшей мере одного аудиообъекта или звукового фонового сигнала для звукового фона.
(4) Устройство аудиообработки по (3), в котором параметр является параметром для регулирования громкости или для регулирования качества звука.
(5) Устройство аудиообработки по любому из (2)-(4), дополнительно содержащее:
блок рендеринга, выполненный с возможностью выполнения обработки рендеринга сигнала аудиообъекта для аудиообъекта.
(6) Устройство аудиообработки по (5), в котором
параметр является параметром для указания позиции аудиообъекта; и
блок рендеринга выполняет обработку рендеринга, основываясь на параметре.
(7) Устройство аудиообработки по любому из (1)-(6), дополнительно содержащее:
блок управления отображением, вызывающий отображение изображения информации об аудиообъекте посредством наложения на положение, определяемое позиционной информацией объекта, в видеоинформации, сопровождающей аудиоинформацию аудиообъекта, отображаемую блоком отображения.
(8) Устройство аудиообработки по (7), в котором
если положение, определяемое позиционной информацией объекта, находится за пределами экрана отображения блока отображения, блок управления отображением выполнен с возможностью вызова отображения изображения информации аудиообъекта на краю экрана отображения.
(9) Устройство аудиообработки по (7) или (8), в котором блок выбора выполнен с возможностью выбора аудиообъекта в соответствии с указанием манипулирования пользователем в положении на изображении информации аудиообъекта.
(10) Устройство аудиообработки по любому из (1)-(9), дополнительно содержащее:
блок декодирования аудиообъекта, выполненный с возможностью декодирования битового потока аудиообъекта, так чтобы получить сигнал аудиообъекта для аудиообъекта и позиционную информацию объекта.
(11) Способ обработки аудиоинформации, содержащий этапы, на которых:
отображают, основываясь на позиционной информации объекта для аудиообъекта, на блоке отображения изображение информации об аудиообъекте, указывающее положение аудиообъекта; и
выбирают заданный аудиообъект из одного или более аудиообъектов.
(12) Программа, вызывающая, при выполнении компьютером, выполнение обработки, содержащей этапы, на которых:
отображают, основываясь на позиционной информации объекта для аудиообъекта, на блоке отображения изображение информации об аудиообъекте, указывающее положение аудиообъекта; и
выбирают заданный аудиообъект из одного или более аудиообъектов.
Перечень ссылочных позиций
11 Устройство видео/аудиообработки
21 Блок демультиплексирования
23 Блок отображения видеоинформации
24 Блок декодирования аудиообъектов
25 Блок управления отображением информации об аудиообъекте
26 Блок манипулирования
27 Блок регулирования сигнала
28 Блок декодирования звукового фона
29 Блок регулирования сигнала
30 Блок рендеринга
1. Устройство (11, 81) аудиообработки, содержащее:
блок (25) управления отображением, выполненный с возможностью отображения, на основе позиционной информации объекта для аудиообъекта, посредством блока отображения, изображения информации об аудиообъекте, указывающего позицию аудиообъекта;
блок выбора, выполненный с возможностью выбора заданного аудиообъекта из одного или более аудиообъектов;
блок (26) установки параметров, выполненный с возможностью установки параметра, относящегося к аудиоинформации аудиообъекта, выбранного блоком выбора; и
блок (27) регулировки сигнала, выполненный с возможностью осуществления обработки регулировки, на основе параметра, аудиохарактеристик аудио аудиообъекта относительно сигнала звукового фона для звукового фона; при этом
обработка сигнала аудиообъекта осуществляется так, что относительно увеличивается громкость аудио для аудиообъекта посредством понижения громкости звукового фона.
2. Устройство аудиообработки по п. 1, в котором:
параметр является параметром регулировки громкости или регулировки качества звука.
3. Устройство аудиообработки по п. 1, дополнительно содержащее:
блок (30) рендеринга, выполненный с возможностью осуществления обработки рендеринга сигнала аудиообъекта для аудиообъекта.
4. Устройство аудиообработки по п. 3, в котором:
параметр является параметром для указания позиции аудиообъекта; а
блок рендеринга выполнен с возможностью осуществления обработки рендеринга, на основе параметра.
5. Устройство аудиообработки по п. 1, в котором:
блок (25) управления отображением выполнен с возможностью вызова отображения изображения информации об аудиообъекте посредством наложения на положение, определяемое позиционной информацией объекта, в видеоинформации, сопровождающей аудиоинформацию аудиообъекта, отображаемую блоком отображения.
6. Устройство аудиообработки по п. 5, в котором:
когда положение, определяемое позиционной информацией объекта, расположено за пределами экрана отображения блока отображения, блок управления отображением выполнен с возможностью вызова отображения изображения информации аудиообъекта на краю экрана отображения.
7. Устройство аудиообработки по п. 5, в котором:
блок выбора выполнен с возможностью выбора аудиообъекта в соответствии с указанием манипулирования пользователем в положение на изображении информации аудиообъекта.
8. Устройство аудиообработки по п. 1, дополнительно содержащее:
блок (24) декодирования аудиообъекта, выполненный с возможностью декодирования битового потока аудиообъекта, для получения сигнала аудиообъекта для аудиообъекта и позиционной информации объекта.
9. Способ аудиообработки, содержащий этапы, на которых:
отображают, на основе позиционной информации объекта для аудиообъекта, с помощью блока отображения, изображение информации об аудиообъекте, указывающее положение аудиообъекта;
выбирают заданный аудиообъект из одного или более аудиообъектов;
осуществляют установку параметра, относящегося к аудиоинформации аудиообъекта, выбранного блоком выбора;
осуществляют обработку регулировки, на основе параметра, аудиохарактеристик аудио аудиообъекта относительно сигнала звукового фона для звукового фона; при этом
обработка сигнала аудиообъекта осуществляется так, что относительно увеличивается громкость аудио для аудиообъекта посредством понижения громкости звукового фона.
10. Носитель информации, хранящий программу, вызывающую, при исполнении компьютером, выполнение обработки, содержащей этапы, на которых:
отображают, на основе позиционной информации объекта для аудиообъекта, с помощью блока отображения, изображение информации об аудиообъекте, указывающее положение аудиообъекта;
выбирают заданный аудиообъект из одного или более аудиообъектов;
осуществляют установку параметра, относящегося к аудиоинформации аудиообъекта, выбранного блоком выбора;
осуществляют обработку регулировки, на основе параметра, аудиохарактеристик аудио аудиообъекта относительно сигнала звукового фона для звукового фона; при этом
обработка сигнала аудиообъекта осуществляется так, что относительно увеличивается громкость аудио для аудиообъекта посредством понижения громкости звукового фона.
