Устройство обработки информации и способ обработки информации

Изобретение относится к области вычислительной техники. Технический результат заключается в повышении эффективности получения предварительно заданного типа аудиоданных из числа множества типов аудиоданных. Технический результат достигается за счет назначения дорожки каждому типу вводимых нескольких потоков аудиоданных, относящихся к множеству типов аудио, генерирования файла аудиоданных, в котором поток аудиоданных назначен так, чтобы соответствовать дорожке, при этом информацию, относящуюся к назначенной дорожке, сохраняют в заголовке сгенерированного файла. 4 н. и 14 з.п. ф-лы, 95 ил.

 

Область техники, к которой относится изобретение

Настоящее раскрываемое изобретение относится к устройству обработки информации и способу обработки информации, а более конкретно, к устройству обработки информации и способу обработки информации, которые способны повысить эффективность получения предварительно заданного типа аудиоданных из числа множества типов аудиоданных.

Уровень техники

Одним из недавно появившихся самых популярных новых сервисов потоковой передачи данных является "избыточные" видеоданные (OTT-V), передаваемые через сеть "Интернет". В качестве лежащей в основе этого технологии используется (смотри, например, непатентный документ 1) стадия стандарта экспертной группы по вопросам движущегося изображения - динамическая адаптивная потоковая передача данных посредством HTTP-протокола (MPEG-DASH).

В стандарте MPEG-DASH, поставляющий сервер подготавливает группу видеоданных, имеющих различные размеры экранного изображения и скорости кодирования, для одного элемента контента (информационно значимого содержимого), и воспроизводящее оконечное устройство запрашивает, в зависимости от условий линии передачи данных, группу видеоданных, имеющих оптимальный размер экрана и скорость кодирования, таким образом, достигается адаптивная потоковая поставка данных.

Список упоминаемых документов

Непатентный документ

Непатентный документ 1: MPEG-DASH (Dynamic Adaptive Streaming over HTTP) (MPEG-DASH (Динамическая адаптивная потоковая передача данных посредством HTTP-протокола (Протокола передачи гипертекста))) (URL: http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

Сущность изобретения

Задачи, решаемые изобретением

Однако никакого внимания не уделяется повышению эффективности получения предварительно задаваемого типа аудиоданных из числа множества типов аудиоданных видеоконтента.

Настоящее раскрываемое изобретение было сделано ввиду вышеупомянутых обстоятельств и способно повысить эффективность получения предварительно задаваемого типа аудиоданных из числа множества типов аудиоданных.

Решения задач

Устройство обработки информации, соответствующее некоторому первому аспекту настоящего раскрываемого изобретения, представляет собой устройство обработки информации, включающее в себя получающий блок, который получает аудиоданные на предварительно заданной дорожке файла, в котором множество типов аудиоданных разделены на множество дорожек в зависимости от этих типов, и эти дорожки упорядочены.

Способ обработки информации, соответствующий первому аспекту настоящего раскрываемого изобретения, корреспондирует устройству обработки информации, соответствующему первому аспекту настоящего раскрываемого изобретения.

В первом аспекте настоящего раскрываемого изобретения, получают аудиоданные предварительно заданной дорожки в файле, в котором множество типов аудиоданных разделены на множество дорожек в зависимости от этих типов, и эти дорожки упорядочены.

Устройство обработки информации, соответствующее некоторому второму аспекту настоящего раскрываемого изобретения, представляет собой устройство обработки информации, включающее в себя генерирующий блок, который генерирует файл, в котором множество типов аудиоданных разделены на множество дорожек в зависимости от этих типов, и эти дорожки упорядочены.

Способ обработки информации, соответствующий второму аспекту настоящего раскрываемого изобретения, корреспондирует устройству обработки информации, соответствующему второму аспекту настоящего раскрываемого изобретения.

Во втором аспекте настоящего раскрываемого изобретения, генерируется файл, в котором множество типов аудиоданных разделены на множество дорожек в зависимости от этих типов и эти дорожки упорядочены.

Отметим, что устройства обработки информации, соответствующие первому и второму аспектам, можно реализовать, заставляя компьютер исполнять некоторую программу.

Кроме того, для реализации устройств обработки информации, соответствующих первому и второму аспектам, программа, исполняемая компьютером, может быть предоставлена посредством передачи этой программы через передающую среду, или посредством записи этой программы на носитель записи.

Результаты изобретения

В соответствии с первым аспектом настоящего раскрываемого изобретения, могут быть получены аудиоданные. Кроме того, в соответствии с первым аспектом настоящего раскрываемого изобретения, предварительно заданный тип аудиоданных из числа множества типов аудиоданных может быть получен эффективным образом.

В соответствии со вторым аспектом настоящего раскрываемого изобретения, может быть сгенерирован файл. Кроме того, в соответствии со вторым аспектом настоящего раскрываемого изобретения, может быть сгенерирован файл, который повышает эффективность получения предварительно заданного типа аудиоданных из числа множества типов аудиоданных.

Краткое описание чертежей

Фиг. 1 представляет собой схему, на которой проиллюстрирован план некоторого первого примера системы обработки информации, в которой применено настоящее раскрываемое изобретение.

Фиг. 2 представляет собой схему, на которой показан пример файла.

Фиг. 3 представляет собой схему, на которой проиллюстрирован объект.

Фиг. 4 представляет собой схему, на которой проиллюстрирована информация о месте расположения объекта.

Фиг. 5 представляет собой схему, на которой проиллюстрирована информация о размере кадра изображения.

Фиг. 6 представляет собой схему, на которой показана структура MPD-файла.

Фиг. 7 представляет собой схему, на которой показано соотношение между "Period" ("Периодом"), "Representation" ("Представлением") и "Segment" ("Сегментом").

Фиг. 8 представляет собой схему, на которой показана иерархическая структура MPD-файла.

Фиг. 9 представляет собой схему, на которой показано соотношение между структурой MPD-файл и осью времени.

Фиг. 10 представляет собой схему, на которой проиллюстрировано приводимое в качестве примера описание MPD-файла.

Фиг. 11 представляет собой структурную схему, на которой показан пример конфигурации устройства генерации файлов.

Фиг. 12 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерации файлов в устройстве генерации файлов.

Фиг. 13 представляет собой структурную схему, на которой показан пример конфигурации блока потокового воспроизведения.

Фиг. 14 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс потокового воспроизведения в блоке потокового воспроизведения.

Фиг. 15 представляет собой схему, на которой проиллюстрировано приводимое в качестве примера описание MPD-файла.

Фиг. 16 представляет собой схему, на которой проиллюстрировано другое приводимое в качестве примера описание MPD-файла.

Фиг. 17 представляет собой схему, на которой показан пример организации потока аудиоданных.

Фиг. 18 представляет собой схему, на которой показано приводимое в качестве примера описание поля gsix.

Фиг. 19 представляет собой схему, на которой показан пример информации, указывающей отношение соответствия между записью о группе "сэмплов" и идентификатором объекта.

Фиг. 20 представляет собой схему, на которой показано приводимое в качестве примера описание поля AudioObjectSampleGroupEntry (ЗаписьОгруппеСэмпловЗвуковыхОбъектов).

Фиг. 21 представляет собой схему, на которой показано приводимое в качестве примера описание поля присвоения типа.

Фиг. 22 представляет собой схему, на которой проиллюстрирован план некоторого второго примера системы обработки информации, в которой применено настоящее раскрываемое изобретение.

Фиг. 23 представляет собой структурную схему, на которой показан пример конфигурации блока потокового воспроизведения в системе обработки информации, в которой применено настоящее раскрываемое изобретение.

Фиг. 24 представляет собой схему, на которой проиллюстрирован способ определения места расположения объекта.

Фиг. 25 представляет собой схему, на которой проиллюстрирован способ определения места расположения объекта.

Фиг. 26 представляет собой схему, на которой проиллюстрирован способ определения места расположения объекта.

Фиг. 27 представляет собой схему, на которой показана зависимость между горизонтальным углом θ_Ai и горизонтальным углом .

Фиг. 28 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс потокового воспроизведения в блоке потокового воспроизведения, показанном на фиг. 23.

Фиг. 29 представляет собой блок-схему алгоритма, на которой проиллюстрированы подробности процесса определения места расположения, который показан на фиг. 28.

Фиг. 30 представляет собой блок-схему алгоритма, на которой проиллюстрированы подробности процесса оценки горизонтального угла , который (процесс) показан на фиг. 29.

Фиг. 31 представляет собой схему, на которой проиллюстрирован план дорожек формата МР4 файла трехмерных аудиоданных.

Фиг. 32 представляет собой схему, на которой показана структура поля moov.

Фиг. 33 представляет собой схему, на которой проиллюстрирован план дорожек в соответствии с некоторым первым вариантом воплощения, в котором применено настоящее раскрываемое изобретение.

Фиг. 34 представляет собой схему, на которой показан приводимый в качестве примера синтаксис записи о "сэмплах" базовой дорожки.

Фиг. 35 представляет собой схему, на которой показан приводимый в качестве примера синтаксис записи о "сэмплах" дорожки канальных аудиоданных, показанной на фиг. 33.

Фиг. 36 представляет собой схему, на которой показан приводимый в качестве примера синтаксис записи о "сэмплах" дорожки объектных аудиоданных, показанной на фиг. 33.

Фиг. 37 представляет собой схему, на которой показан приводимый в качестве примера синтаксис записи о "сэмплах" дорожки HOA-аудиоданных, показанной на фиг. 33.

Фиг. 38 представляет собой схему, на которой показан приводимый в качестве примера синтаксис записи о "сэмплах" дорожки объектных метаданных, показанной на фиг. 33.

Фиг. 39 представляет собой схему, на которой показан некоторый первый пример структуры сегмента.

Фиг. 40 представляет собой схему, на которой показан некоторый второй пример структуры сегмента.

Фиг. 41 представляет собой схему, на которой показано приводимое в качестве примера описание поля присвоения уровня.

Фиг. 42 представляет собой схему, на которой показано приводимое в качестве примера описание MPD-файла в первом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Фиг. 43 представляет собой схему, на которой показано определение Существенного Свойства.

Фиг. 44 представляет собой схему, на которой проиллюстрирован план системы обработки информации в первом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Фиг. 45 представляет собой структурную схему, на которой показан пример конфигурации устройства генерации файлов, показанного на фиг. 44.

Фиг. 46 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерации файлов в устройстве генерации файлов, показанном на фиг. 45.

Фиг. 47 представляет собой структурную схему, на которой показан пример конфигурации блока потокового воспроизведения, реализованного в воспроизводящем видеоданные оконечном устройстве, показанном на фиг. 44.

Фиг. 48 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс воспроизведения канальных аудиоданных, выполняемый в блоке потокового воспроизведения, показанном на фиг. 47.

Фиг. 49 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс указания объекта, выполняемый в блоке потокового воспроизведения, показанном на фиг. 47.

Фиг. 50 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс воспроизведения аудиоданных конкретного объекта, выполняемый в блоке потокового воспроизведения, показанном на фиг. 47.

Фиг. 51 представляет собой схему, на которой проиллюстрирован план дорожек в некотором втором варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Фиг. 52 представляет собой схему, на которой показан приводимый в качестве примера синтаксис записи о "сэмплах" базовой дорожки, показанной на фиг. 51.

Фиг. 53 представляет собой схему, на которой показана структура базового "сэмпла".

Фиг. 54 представляет собой схему, на которой показан приводимый в качестве примера синтаксис базового "сэмпла".

Фиг. 55 представляет собой схему, на которой показан пример данных экстрактора.

Фиг. 56 представляет собой схему, на которой проиллюстрирован план дорожек в некотором третьем варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Фиг. 57 представляет собой схему, на которой проиллюстрирован план дорожек в четвертом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Фиг. 58 представляет собой схему, на которой показано приводимое в качестве примера описание MPD-файла в четвертом варианте воплощения, в которому применено настоящее раскрываемое изобретение.

Фиг. 59 представляет собой схему, на которой проиллюстрирован план системы обработки информации в четвертом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Фиг. 60 представляет собой структурную схему, на которой показан пример конфигурации устройства генерации файлов, показанного на фиг. 59.

Фиг. 61 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерации файлов в устройстве генерации файлов, показанном на фиг. 60.

Фиг. 62 представляет собой структурную схему, на которой показан пример конфигурации блока потокового воспроизведения, реализованного в воспроизводящем видеоданные оконечном устройстве, показанном на фиг. 59.

Фиг. 63 представляет собой блок-схему алгоритма, на которой проиллюстрирован пример процесса воспроизведения канальных аудиоданных, выполняемый в блоке потокового воспроизведения, показанном на фиг. 62.

Фиг. 64 представляет собой блок-схему алгоритма, на которой проиллюстрирован некоторый первый пример процесса воспроизведения объектных аудиоданных, выполняемый в блоке потокового воспроизведения, показанном на фиг. 62.

Фиг. 65 представляет собой блок-схему алгоритма, на которой проиллюстрирован некоторый второй пример процесса воспроизведения объектных аудиоданных, выполняемый в блоке потокового воспроизведения, показанном на фиг. 62.

Фиг. 66 представляет собой блок-схему алгоритма, на которой проиллюстрирован некоторый третий пример процесса воспроизведения объектных аудиоданных, выполняемый в блоке потокового воспроизведения, показанном на фиг. 62.

Фиг. 67 представляет собой схему, на которой показан пример объекта, выбираемого на основе приоритета.

Фиг. 68 представляет собой схему, на которой проиллюстрирован план дорожек в некотором пятом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Фиг. 69 представляет собой схему, на которой проиллюстрирован план дорожек в некотором шестом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Фиг. 70 представляет собой схему, на которой показана иерархическая структура трехмерных аудиоданных.

Фиг. 71 представляет собой схему, на которой проиллюстрирован некоторый первый пример процесса на Web-сервере.

Фиг. 72 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс разделения на дорожки, выполняемый на Web-сервере.

Фиг. 73 представляет собой схему, на которой проиллюстрирован некоторый первый пример процесса в блоке обработки данных при декодировании аудиоданных.

Фиг. 74 представляет собой блок-схему алгоритма, на которой проиллюстрированы подробности первого примера процесса декодирования в блоке обработки данных при декодировании аудиоданных.

Фиг. 75 представляет собой схему, на которой проиллюстрирован некоторый второй пример процесса в блоке обработки данных при декодировании аудиоданных.

Фиг. 76 представляет собой блок-схему алгоритма, на которой проиллюстрированы подробности второго примера процесса декодирования в блоке обработки данных при декодировании аудиоданных.

Фиг. 77 представляет собой схему, на которой проиллюстрирован некоторый второй пример процесса на Web-сервере.

Фиг. 78 представляет собой схему, на которой проиллюстрирован некоторый третий пример процесса в блоке обработки данных при декодировании аудиоданных.

Фиг. 79 представляет собой блок-схему алгоритма, на которой проиллюстрированы подробности третьего примера процесса декодирования в блоке обработки данных при декодировании аудиоданных.

Фиг. 80 представляет собой схему, на которой показан некоторый второй пример синтаксиса информации о конфигурации, расположенной в базовом "сэмпле".

Фиг. 81 представляет собой приводимый в качестве примера синтаксис информации о Конфигурации для ЕХТ-элемента, показанной на фиг. 80.

Фиг. 82 представляет собой схему, на которой показан приводимый в качестве примера синтаксис информации о Конфигурации для Экстрактора, показанной на фиг. 81.

Фиг. 83 представляет собой схему, на которой показан некоторый второй пример синтаксиса данных секции-кадра, расположенной в базовом "сэмпле".

Фиг. 84 представляет собой схему, на которой показан приводимый в качестве примера синтаксис данных Экстрактора, показанных на фиг. 83.

Фиг. 85 представляет собой схему, на которой показан некоторый третий пример синтаксиса информации о Конфигурации, расположенной в базовом "сэмпле".

Фиг. 86 представляет собой схему, на которой показан некоторый третий пример синтаксиса данных секции-кадра, расположенной в базовом "сэмпле".

Фиг. 87 представляет собой схему, на которой показан пример конфигурации потока аудиоданных в некотором седьмом варианте воплощения системы обработки информации, в которой (системе) применено настоящее раскрываемое изобретение.

Фиг. 88 представляет собой схему, на которой проиллюстрирован план дорожек в седьмом варианте воплощения изобретения.

Фиг. 89 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерации файла в седьмом варианте воплощения изобретения.

Фиг. 90 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс воспроизведения аудиоданных в седьмом варианте воплощения изобретения.

Фиг. 91 представляет собой схему, на которой проиллюстрирован план дорожек в некотором восьмом варианте воплощения системы обработки информации, в которой (системе) применено настоящее раскрываемое изобретение.

Фиг. 92 представляет собой схему, на которой показан пример конфигурации файла аудиоданных.

Фиг. 93 представляет собой схему, на которой показан другой пример конфигурации файла аудиоданных.

Фиг. 94 представляет собой схему, на которой показан еще один другой пример конфигурации файла аудиоданных.

Фиг. 95 представляет собой структурную схему, на которой показан пример конфигурации аппаратного обеспечения компьютера.

Способ для осуществления изобретения

Способы для осуществления настоящего раскрываемого изобретения (в дальнейшем именуемые вариантами его воплощения) будут описаны ниже в следующем порядке.

0. Предпосылка настоящего раскрываемого изобретения (фиг. 1-30)

1. Первый вариант воплощения изобретения (фиг. 31-50)

2. Второй вариант воплощения изобретения (фиг. 51-55)

3. Третий вариант воплощения изобретения (фиг. 56)

4. Четвертый вариант воплощения изобретения (фиг. 57-67)

5. Пятый вариант воплощения изобретения (фиг. 68)

6. Шестой вариант воплощения изобретения (фиг. 69)

7. Объяснение иерархической структуры трехмерных аудиоданных (фиг. 70)

8. Объяснение первого примера процесса на Web-сервере (фиг. 71 и 72)

9. Объяснение первого примера процесса в блоке обработки данных при декодировании аудиоданных (фиг. 73 и 74)

10. Объяснение второго примера процесса в блоке обработки данных при декодировании аудиоданных (фиг. 75 и 76)

11. Объяснение второго примера процесса на Web-сервере (фиг. 77)

12. Объяснение третьего примера процесса в блоке обработки данных при декодировании аудиоданных (фиг. 78 и 79)

13. Второй пример синтаксиса базового "сэмпла" (фиг. 80-84)

14. Третий пример синтаксиса базового "сэмпла" (фиг. 85 и 86)

15. Седьмой вариант воплощения изобретения (фиг. 87-90)

16. Восьмой вариант воплощения изобретения (фиг. 91-94)

17. Девятый вариант воплощения изобретения (фиг. 95)

Предпосылка настоящего раскрываемого изобретения

План первого примера системы обработки информации

Фиг. 1 представляет собой схему, на которой проиллюстрирован план некоторого первого примера системы обработки информации, в которой применено настоящее раскрываемое изобретение.

Система (10) обработки информации, показанная на фиг. 1, имеет конфигурацию, в который Web-сервер (12), который соединен с устройством (11) генерации файлов, и воспроизводящее видеоданные оконечное устройство (14) соединены посредством сети "Интернет" (13).

В системе (10) обработки информации, Web-сервер (12) поставляет (поклеточные потоковые) данные изображения видеоконтента воспроизводящему видеоданные оконечному устройству (14) секциями-клетками способом, соответствующим стандарту MPEG-DASH.

В частности, устройство (11) генерации файлов получает данные изображения видеоконтента и кодирует эти данные изображения по секциям-клеткам для того, чтобы сгенерировать поток видеоданных. Устройство (11) генерации файлов обрабатывает поток видеоданных каждой клетки, преобразуя в файловый формат с интервалами времени в пределах от нескольких секунд до приблизительно десяти секунд, который именуется сегментом. Устройство (11) генерации файлов загружает полученный в результате этого файл изображения каждой клетки на Web-сервер (12).

Кроме того, устройство (11) генерации файлов получает аудиоданные видеоконтента для каждого объекта (который будет описан подробно позже) и кодирует данные изображения по секциям-объектам для того, чтобы сгенерировать поток аудиоданных. Устройство (11) генерации файлов обрабатывает поток аудиоданных каждого объекта, преобразуя его в файловый формат с секциями-сегментами, и загружает полученный в результате этого файл аудиоданных каждого объекта на Web-сервер (12).

Отметим, что объект представляет собой источник звука. Аудиоданные каждого объекта получаются посредством микрофона или тому подобного, прикрепленного к объекту. Объект может представлять собой такой объект, как неподвижная микрофонная стойка, или может представлять собой некоторое движущееся тело, такой как человек.

Устройство (11) генерации файлов кодирует метаданные аудиоданных, включающие в себя информацию о месте расположения объектов (информацию о месте расположения звука), указывающую место расположения каждого объекта (место, в котором получены аудиоданные), и идентификатор объекта, который является идентификатором, уникальным для объекта. Устройство (11) генерации файлов обрабатывает закодированные данные, полученные посредством кодирования метаданных аудиоданных, преобразуя в файловый формат, организованный посегментно, и загружает полученный в результате этого файл метаданных аудиоданных на Web-сервер (12).

Кроме того, устройство (11) генерации файлов генерирует файл описания мультимедийного воспроизведения (MPD-файл) (управляющую информацию), управляющий файлом изображения и файлом аудиоданных и включающий в себя информацию о размере кадра изображения, которая указывает размер кадра изображений видеоконтента, и информацию о месте расположения клеток, которая указывает место расположение каждой клетки на изображении. Устройство (11) генерации файлов загружает MPD-файл на Web-сервер (12).

Web-сервер (12) хранит файл изображения, файл аудиоданных, файл метаданных аудиоданных, и MPD-файл, которые загружены из устройства (11) генерации файлов.

В примере, показанном на фиг. 1, Web-сервер (12) хранит группу сегментов, состоящую из множества сегментов, состоящих из файлов изображения клетки с идентификатором клетки, имеющим значение "1", и группу сегментов, состоящую из множества сегментов, состоящих из файлов изображения клетки с идентификатором клетки, имеющим значение "2". Web-сервер (12) также хранит группу сегментов, состоящую из множества сегментов, состоящих из файлов аудиоданных объекта с идентификатором объекта, имеющим значение "1", и группу сегментов, состоящую из множества сегментов, состоящих из файлов аудиоданных объекта с идентификатором объекта, имеющим значение "2". Хотя это и не показано на фигуре, группа сегментов, состоящая из файлов метаданных аудиоданных, хранится аналогичным образом.

Отметим, что файл с идентификатором клетки, имеющим значение "I", в дальнейшем именуется как "клетка #i", а объект с идентификатором объекта, имеющим значение "I", в дальнейшем именуется как "объект #i".

Web-сервер (12) функционирует в качестве передатчика и передает хранящиеся на нем файл изображения, файл аудиоданных, файл метаданных аудиоданных, MPD-файл и тому подобное на воспроизводящее видеоданные оконечное устройство (14) в ответ на запрос от этого воспроизводящего видеоданные оконечного устройства (14).

Воспроизводящее видеоданные оконечное устройство (14) исполняет, например, программное обеспечение для управления потоковой передачей данных (в дальнейшем именуемое как управляющее программное обеспечение) (21), программное обеспечение (22) воспроизведения видеоданных и клиентское программное обеспечение для доступа к Протоколу передачи гипертекста (HTTP-протоколу) (в дальнейшем, именуемое как программное обеспечение доступа) (23).

Управляющее программное обеспечение (21) представляет собой программное обеспечение для управления данными, поставляемыми посредством потоковой передачи с Web-сервера (12). В частности, управляющее программное обеспечение (21) позволяет воспроизводящему видеоданные оконечному устройству (14) получать MPD-файл с Web-сервера (12).

Кроме того, управляющее программное обеспечение (21) указывает клетку в области отображения на основе области отображения, которая представляет собой область на изображении, используемую для отображения видеоконтента, указанного программным обеспечением (22) воспроизведения видеоданных, и информации о месте расположения клеток, входящей в состав MPD-файла. Управляющее программное обеспечение (21) отдает программному обеспечению (23) доступа команду выдать запрос на передачу файла изображения указанной клетки.

Кроме того, управляющее программное обеспечение (21) отдает программному обеспечению (23) доступа команду выдать запрос на передачу файла метаданных аудиоданных. Управляющее программное обеспечение (21) указывает объект, соответствующий изображению в области отображения, на основе области отображения, информации о размере кадра изображения, входящей в состав MPD-файла, и информации о месте расположения объектов, входящей в состав файла метаданных аудиоданных. Управляющее программное обеспечение (21) отдает программному обеспечению (23) доступа команду выдать запрос на передачу файла аудиоданных указанного объекта.

Программное обеспечение (22) воспроизведения видеоданных представляет собой программное обеспечение для воспроизведения файла изображения и файла аудиоданных, полученных от Web-сервера (12). В частности, когда пользователь указывает область отображения, программное обеспечение (22) воспроизведения видеоданных указывает эту указанную область отображения управляющему программному обеспечению (21). Программное обеспечение (22) воспроизведения видеоданных декодирует, в ответ на это указание, файл изображения и файл аудиоданных, полученные от Web-сервера (12), и программное обеспечение (22) воспроизведения видеоданных синтезирует и выводит декодированные файлы.

Программное обеспечение (23) доступа представляет собой программное обеспечение для управления связью с Web-сервером (12) через сеть "Интернет" (13) с использованием HTTP (Протокола передачи гипертекста). В частности, программное обеспечение (23) доступа позволяет воспроизводящему видеоданные оконечному устройству (14), в ответ на команду от управляющего программного обеспечения (21), передать запрос на передачу файла изображения, файла аудиоданных и файла метаданных аудиоданных. Кроме того, программное обеспечение (23) доступа позволяет воспроизводящему видеоданные оконечному устройству (14) принимать файл изображения, файл аудиоданных и файл метаданных аудиоданных, передаваемые с Web-сервера (12) в ответ на запрос о передаче.

Пример клетки

Фиг. 2 представляет собой схему, на которой показан пример клетки.

Как показано на фиг. 2, изображение видеоконтента разделено на множество клеток. Каждой клетке присваивается идентификатор клетки, который представляет собой ее порядковый номер, начиная с 1. В примере, показанном на фиг. 2, изображение видеоконтента разделено на четыре клетки: с #1 по #4.

Объяснение объекта

Фиг. 3 представляет собой схему, на которой проиллюстрирован объект.

В примере, показанном на фиг. 3, проиллюстрировано восемь звуковых объектов на изображении, полученные как аудиоданные видеоконтента. Каждому объекту присвоен идентификатор объекта, который является порядковым номером, начинающимся от 1. Объекты: с #1 по #5, представляют собой движущиеся тела, а объекты: с #6 по #8, представляют собой неподвижные материальные тела. Кроме того, в примере, показанном на фиг. 3, изображение видеоконтента разделено на 7 (по ширине) × 5 (по высоте) клеток.

В этом случае, как показано на фиг. 3, когда пользователь указывает область (31) отображения, состоящую из 3 (по ширине) × 2 (по высоте) клетки, область (31) отображения включает в себя только объекты #1, #2 и #6. Таким образом, воспроизводящее видеоданные оконечное устройство (14) получает и воспроизводит, например, только файлы аудиоданных объектов #1, #2 и #6 с Web-сервера (12).

Объекты в области (31) отображения могут быть указаны на основе информации о размере кадра изображения и информации о месте расположения объектов, как описывается ниже.

Объяснение информации о месте расположения объекта

Фиг. 4 представляет собой схему, на которой проиллюстрирована информация о месте расположения объекта.

Как показано на фиг. 4, информация о месте расположения объекта включает в себя горизонтальный угол θ_A (-180°≤θ_A≤180°), вертикальный угол γ_A (-90°≤γ_A≤90°) и расстояние r_A (0<r_A) до объекта (40). Горизонтальный угол θ_A представляет собой угол в горизонтальном направлении, образованный прямой линией, соединяющей объект (40) и начало (О) координат, и плоскостью YZ, например, в случае, когда позиция съемки в центре изображения может быть задано как начало (О) координат (исходная координата); горизонтальное направление изображения задается как направление X; вертикальное направление изображения задается как направление Y; а направление глубины XY, задается как направление Z. Вертикальный угол γ_A представляет собой угол в вертикальном направлении, образованный прямой линией, соединяющей объект (40) и начало (О) координат, и плоскостью XZ. Расстояние r_A представляет собой расстояние между объектом (40) и началом (О) координат.

Помимо этого, предположим здесь, что угол поворота влево и вверх задается как положительный угол, а угол поворота вправо и вниз задается как отрицательный угол.

Объяснение информации о размера кадра изображения

Фиг. 5 представляет собой схему, на которой проиллюстрирована информация размере кадра изображения.

Как показано на фиг. 5, информация о размере кадра изображения включает в себя горизонтальный угол θ_v1 левого края, горизонтальный угол θ_v2 правого края, вертикальный угол γ_v1 верхнего края, вертикальный угол γ_v2 нижнего края, и расстояние r_v в кадре изображения.

Горизонтальный угол θ_v1 представляет собой угол в горизонтальном направлении, образованном прямой линией, соединяющей левый край кадра изображения и начало (О) координат, и плоскостью YZ, например, в случае, когда позиция съемки в центре изображения задается как начало (О) координат (исходная координата); горизонтальное направление изображения задается как направление X; вертикальное направление изображения задается как направление Y; а направление глубины, перпендикулярное плоскости XY, задается как направление Z. Горизонтальный угол θ_v2 представляет собой угол в горизонтальном направлении, образованный прямой линией, соединяющей правый край кадра изображения и начало (О) координат, и плоскостью YZ. Таким образом, угол, полученный посредством объединения горизонтального угла θ_v1 и горизонтального угла θ_v2 представляет собой горизонтальный угол зрения.

Вертикальный угол γ_v1 представляет собой угол, образованный плоскостью XZ и прямой линией, соединяющей верхний край кадра изображения и начало (О) координат, а вертикальный угол γ_v2 представляет собой угол, образованный плоскостью XZ и прямой линией, соединяющей нижний край кадра изображения и начало (О) координат. Угол, полученный посредством объединения вертикальных углов γ_v1 и γ_v2 становится вертикальным углом зрения. Расстояние r_v представляет собой расстояние между началом (О) координат и плоскостью изображения.

Как было описано выше, информация о месте расположения объекта представляет относительное положение объекта (40) и начала (О) координат, а информация о размере кадра изображения представляет относительное положение кадра изображения и начала (О) координат. Таким образом, имеется возможность определить (распознать) место расположения каждого объекта на изображении на основе информации о месте расположения объекта и информации о размере кадра изображения. В результате, имеется возможность определить указать объект в области (31) отображения.

Объяснение структуры MPD-файла

Фиг. 6 представляет собой схему, на которой проиллюстрирована структура MPD-файла.

В ходе анализа (синтаксического анализа) MPD-файла, воспроизводящее видеоданные оконечное устройство (14) выбирает оптимальный атрибут среди атрибутов "Представления", входящего в состав "Периода" MPD-файла (мультимедийное воспроизведение на фиг. 6).

Воспроизводящее видеоданные оконечное устройство (14) получает файл, обращаясь к URL (Унифицированному указателю ресурса) или тому подобному из "Initialization Segment" ("Сегмента инициализации") в заголовке выбранного "Representation" ("Представления"), и обрабатывает полученный файл. После этого, воспроизводящее видеоданные оконечное устройство (14) получает файл, обращаясь к URL-указателю или тому подобному последующего "Media Segment" ("Мультимедийного сегмента") и воспроизводит полученный файл.

Отметим, что в MPD-файле, соотношение между "Period" ("Периодом"), "Representation" ("Представлением") и "Segment" ("Сегментом") становится таким, как показано на фиг. 7. Другими словами, одним элементом видеоконтента можно управлять в более длинной единице времени, чем сегмент, посредством "Периода", и можно управлять в секциях-сегментах посредством "Сегмента" в каждом "Периоде". Кроме того, в каждый "Период", имеется возможность управлять видеоконтентом в секциях-атрибутах потока данных посредством "Представления".

Таким образом, MPD-файл имеет иерархическую структуру, показанную на фиг. 8, начинающуюся с "Period" ("Периода"). Кроме того, структура MPD-файла, упорядоченная по оси времени, превращается в конфигурацию, которая показана на фиг. 9. Как ясно из Фиг. 9, в одном и том же сегменте имеется множество элементов "Representation" ("Представление"). Воспроизводящее видеоданные оконечное устройство (14) выбирает адаптивным образом любой из числа этих элементов, и, таким образом, имеется возможность получить файл изображения и файл аудиоданных в области отображения, выбранной пользователем, и воспроизвести полученный файл.

Объяснение описания MPD-файла

Фиг. 10 представляет собой схему, на которой проиллюстрировано описание MPD-файла.

Как было описано выше, в системе (10) обработки информации, информация о размере кадра изображения включена в состав MPD-файла, позволяя воспроизводящему видеоданные оконечному устройству (14) указывать объект в области отображения. Как показано на фиг. 10, Схема (urn:mpeg:DASH:viewingAngle:2013 (um:mpeg:DASH:уголНаблюдения:2013)), используемая для определения новой информации о размере кадра изображения (угле наблюдения), расширена за счет использования элемента DescriptorType (ДескрипторногоТипа), представляющего собой Viewpoint (Точка наблюдения), и таким образом информация о размере кадра изображения располагается в "Адаптационном наборе" ("Adaptation Set") для аудиоданных и "Adaptation Set" для изображения. Информация о размере кадра изображения может быть расположена только в "Адаптационном наборе" для изображения.

Кроме того, в "Адаптационном Наборе" для аудиоданных в MPD-файле описывается "Представление" для файла метаданных аудиоданных. В "Segment" ("Сегменте") из этого "Representation" ("Представления") описывается URL (Унифицированный указатель ресурса) или тому подобное, как информация для указания файла метаданных аудиоданных (audiometadata.mp4 (метаданныеаудиоданных.mp4)). В этом случае, описывается, что файл, указываемый в "Segment" ("Сегменте"), является файлом метаданных аудиоданных (objectaudiometadata (метаданныеобъектныхаудиоданных)), используя элемент Role (Роль).

"Representation" ("Представление") для файла аудиоданных каждого объекта также описывается в "Адаптационном Наборе" для аудиоданных, входящем в состав MPD-файла. В "Segment" ("Сегменте") из этого "Representation" ("Представления") описывается URL-указатель или тому подобное, как информация для указания файла аудиоданных (audioObje1.mp4 (звуковойОбъект1.mp4), audioObje5.mp4 (звуковойОбъект5.mp4)) каждого объекта. В этом случае, идентификаторы (1 и 5) объекта для объектов, соответствующих файлу аудиоданных, также описываются посредством расширения Viewpoint (Точка наблюдения).

Отметим, хотя это и не показано на фигуре, что информация о месте расположения клеток располагается в "Адаптационном Наборе" для изображения.

Пример конфигурации устройства генерации файлов

Фиг. 11 представляет собой структурную схему, на которой показан пример конфигурации устройства (11) генерации файлов.

Устройство (11) генерации файлов, показанное на фиг. 11, включает в себя блок (51) обработки данных при разбиении экранного изображения, блок (52) обработки данных при кодировании изображения, блок (53) генерации файла изображения, блок (54) генерации информации об изображении, блок (55) обработки данных при кодировании аудиоданных, блок (56) генерации файла аудиоданных, блок (57) генерации MPD-файла и блок (58) обработки данных при загрузке сервера.

Блок (51) обработки данных при разбиении экранного изображения, входящий в состав устройства (11) генерации файлов, разбивает данные изображения видеоконтента, вводимого извне, на клеточные элементы. Блок (51) обработки данных при разбиении экранного изображения снабжает блок (54) генерации информации об изображении информацией о месте расположения клеток. Кроме того, блок (51) обработки данных при разбиении экранного изображения снабжает блок (52) обработки данных при кодировании изображения данными изображения, сконфигурированными в секции-клетки.

Блок (52) обработки данных при кодировании изображения кодирует данные изображения, которые сконфигурированы в секции-клетки, и подаются из блока (51) обработки данных при разбиении экранного изображения, для каждой клетки для того, чтобы сгенерировать поток видеоданных. Блок (52) обработки данных при кодировании изображения снабжения блок (53) генерации файла изображения потоком видеоданных каждой клетки.

Блок (53) генерации файла изображения обрабатывает поток видеоданных каждой клетки, подаваемый из блока (52) обработки данных при кодировании изображения, преобразуя их в файловый формат с секциями-сегментами, и снабжает блок (57) генерации MPD-файла полученным в результате этого файлом изображения каждой клетки.

Блок (54) генерации информации об изображении снабжает блок (57) генерации MPD-файла информацией о месте расположения клеток, подаваемой из блока (51) обработки данных при разбиении экранного изображения, и информацией о размере кадра изображения, введенной извне, как информацией об изображении.

Блок (55) обработки данных при кодировании аудиоданных кодирует аудиоданные, которые сконфигурированы в секции-клетки видеоконтента, вводимого извне, для каждого объекта, и генерирует поток аудиоданных. Кроме того, блок (55) обработки данных при кодировании аудиоданных кодирует информацию о месте расположения объекта по каждому объекту, вводимую извне, и метаданные аудиоданных, включающие в себя идентификатор объекта и тому подобное, генерируя закодированные данные. Блок (55) обработки данных при кодировании аудиоданных снабжает блок (56) генерации файла аудиоданных потоком аудиоданных каждого объекта и закодированными данными метаданных аудиоданных.

Блок (56) генерации файла аудиоданных функционирует в качестве блока генерации файла аудиоданных, обрабатывает поток аудиоданных каждого объекта, подаваемый из блока (55) обработки данных при кодировании аудиоданных, преобразуя его в файловый формат с секциями-сегментами, и снабжает блок (57) генерации MPD-файла полученным в результате этого файлом аудиоданных каждого объекта.

Кроме того, блок (56) генерации файла аудиоданных функционирует в качестве блока генерации метафайла, обрабатывает закодированные данные звуковых метаданных, подаваемые из блока (55) обработки данных при кодировании аудиоданных, преобразуя их в файловый формат с секциями-сегментами, и снабжает блок (57) генерации MPD-файла полученным в результате этого файлом метаданных аудиоданных.

Блок (57) генерации MPD-файла определяет URL-указатель или тому подобное Web-сервера (12) для хранения файла изображения каждой клетки, подаваемого из блока (53) генерации файла изображения. Кроме того, блок (57) генерации MPD-файла определяет URL-указатель или тому подобное Web-сервера (12) для хранения файл аудиоданных каждого объекта и файла метаданных аудиоданных, каковые файлы подаются из блока (56) генерации файла аудиоданных.

Блок (57) генерации MPD-файла располагает информацию об изображении, подаваемую из блока (54) генерации информации об изображении, в "AdaptationSet" ("АдаптационномНаборе") для изображения, имеющемся в MPD-файле. Кроме того, блок (57) генерации MPD-файла располагает информацию о размере кадра изображения среди порций информации об изображении в "AdaptationSet" ("АдаптационномНаборе") для аудиоданных, имеющемся в MPD-файле. Блок (57) генерации MPD-файла располагает URL-указатель или тому подобное файла изображения каждой клетки в "Segment" ("Сегменте"), входящем в состав "Representation" ("Представления") для файла изображения этой клетки.

Блок (57) генерации MPD-файла располагает URL-указатель или тому подобное файла аудиоданных каждого объекта в "Segment" ("Сегменте"), входящем в состав "Representation" ("Представления") для файла аудиоданных этого объекта. Кроме того, блок (57) генерации MPD-файла функционирует в качестве блока генерации информации и располагает URL-указатель или тому подобное, как информацию для указания файла метаданных аудиоданных, в "Сегменте", входящем в состав "Представления" для файла метаданных аудиоданных. Блок (57) генерации MPD-файла снабжает блок (58) обработки данных при загрузке сервера MPD-файлом, в котором разнообразные типы информации располагаются так, как это описано выше, файлом изображения, файлом аудиоданных и файлом метаданных аудиоданных.

Блок (58) обработки данных при загрузке сервера загружает файл изображения каждой клетки, файл аудиоданных каждого объекта, файл метаданных аудиоданных и MPD-файл, которые подаются из блока (57) генерации MPD-файла, на Web-сервер (12).

Объяснение процесса в устройстве генерации файлов

Фиг. 12 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерации файлов в устройстве (11) генерации файлов, показанном на фиг. 11.

На этапе S11, показанном на фиг. 12, блок (51) обработки данных при разбиении экранного изображения, входящий в состав устройства (11) генерации файлов данных изображения, разбивает данные изображения видеоконтента, вводимого извне, на клеточные элементы. Блок (51) обработки данных при разбиении экранного изображения снабжает блок (54) генерации информации об изображении информацией о месте расположения этих клеток. Кроме того, блок (51) обработки данных при разбиении экранного изображения снабжает блок (52) обработки данных при кодировании изображения данными изображения, сконфигурированными в секции-клетки.

На этапе S12, блок (52) обработки данных при кодировании изображения кодирует данные изображения, которые сконфигурированы в секции-клетки и подаются из блока (51) обработки данных при разбиении экранного изображения, для каждой клетки для того, чтобы сгенерировать поток видеоданных каждой клетки. Блок (52) обработки данных при кодировании изображения снабжает блок (53) генерации файла изображения потоком видеоданных каждой клетки.

На этапе S13, блок (53) генерации файла изображения обрабатывает поток видеоданных каждой клетки, подаваемые из блока (52) обработки данных при кодировании изображения, преобразуя его в файловый формат с секциями-сегментами, для того, чтобы сгенерировать файл изображения каждой клетки. Блок (53) генерации файла изображения, снабжает блок (57) генерации MPD-файла файлом изображения каждой клетки.

На этапе S14, блок (54) генерации информации об изображении получает извне информацию о размере кадра изображения. На Этапе S15, блок (54) генерации информации об изображении генерирует информацию об изображении, включающую в себя информацию о месте расположения клеток, подаваемую из блока (51) обработки данных при разбиении экранного изображения, и информацию о размере кадра изображения, и снабжает блок (57) генерации MPD-файла этой информацией об изображении.

На этапе S16, блок (55) обработки данных при кодировании аудиоданных кодирует аудиоданные, которые сконфигурированы в секции-объекты видеоконтента, вводимого извне, для каждого объекта, и генерирует поток аудиоданных каждого объекта. Кроме того, блок (55) обработки данных при кодировании аудиоданных кодирует информацию о месте расположения объекта по каждому объекту, вводимую извне, и метаданные аудиоданных, включающие в себя идентификатор объекта, для того, чтобы сгенерировать закодированные данные. Блок (55) обработки данных при кодировании аудиоданных снабжает этим потоком аудиоданных каждого объекта и закодированными данными метаданных аудиоданных блок (56) генерации файла аудиоданных.

На этапе S17, блок (56) генерации файла аудиоданных обрабатывает поток аудиоданных каждого объекта, подаваемый из блока (55) обработки данных при кодировании аудиоданных, преобразуя его в файловый формат, с секциями-сегментами, для того, чтобы сгенерировать файл аудиоданных каждого объекта. Кроме того, блок (56) генерации файла аудиоданных обрабатывает закодированные данные метаданных аудиоданных, подаваемые из блока (55) обработки данных при кодировании аудиоданных, преобразуя их в файловый формат с секциями-сегментами, для того, чтобы сгенерировать файл метаданных аудиоданных. Блок (56) генерации файла аудиоданных снабжает блок (57) генерации MPD-файла файлом аудиоданных каждого объекта и файлом метаданных аудиоданных.

На этапе S18, блок (57) генерации MPD-файла генерирует MPD-файл, включающий в себя информацию об изображении, подаваемую из блока (54) генерации информации об изображении, URL-указатель или тому подобное каждого файла. Блок (57) генерации MPD-файла снабжает блок (58) обработки данных при загрузке сервера, MPD-файлом, файлом изображения каждой клетки, файлом аудиоданных каждого объекта и файлом метаданных аудиоданных.

На этапе S19, блок (58) обработки данных при загрузке сервера загружает файл изображения каждой клетки, файл аудиоданных каждого объекта, файла метаданных аудиоданных и MPD-файл, которые подаются из блока (57) генерации MPD-файла, на Web-сервер (12). После этого, процесс завершен.

Пример функциональной конфигурации воспроизводящего видеоданные оконечного устройства

Фиг. 13 представляет собой структурную схему, на которой показан пример конфигурации блока потокового воспроизведения, который реализован таким образом, что воспроизводящее видеоданные оконечное устройство (14), показанное на фиг. 1, исполняет управляющее программное обеспечение (21), программное обеспечение (22) воспроизведения видеоданных и программное обеспечение (23) доступа.

Блок (90) потокового воспроизведения, показанный на фиг. 13, включает в себя блок (91) получения MPD-файла, блок (92) обработки MPD-файла, блок (93) получения файла метаданных, блок (94) выбора аудиоданных, блок (95) получения файла аудиоданных, блок (96) обработки данных при декодировании аудиоданных, блок (97) обработки данных при синтезе аудиоданных, блок (98) выбора изображения, блок (99) получения файла изображения, блок (100) обработки данных при декодировании изображения, и блок (101) обработки данных при синтезе изображения.

Блок (91) получения MPD-файла, входящий в состав блока (90) потокового воспроизведения, функционирует в качестве приемника, получает MPD-файл от Web-сервера (12) и снабжает этим MPD-файлом блок (92) обработки MPD-файла.

Блок (92) обработки MPD-файла извлекает из MPD-файла, подаваемого из блока (91) получения MPD-файла, информацию, такую как URL-указатель, которая описана в "Segment" ("Сегменте") для файла метаданных аудиоданных, и снабжает этой извлеченной информацией блок (93) получения файла метаданных. Кроме того, блок (92) обработки MPD-файла извлекает из MPD-файла информацию о размере кадра изображения, которая описана в "AdaptationSet" ("АдатационномНаборе") для изображения, и снабжает этой извлеченной информацией блок (94) выбора аудиоданных. Блок (92) обработки MPD-файла извлекает из MPD-файла информацию, такую как URL-указатель, которая описана в "Сегменте" для файла аудиоданных, по объекту, запрашиваемому из блока (94) выбора аудиоданных, и снабжает этой извлеченной информацией блок (94) выбора аудиоданных.

Блок (92) обработки MPD-файла извлекает из MPD-файла информацию о месте расположения клеток, описанную в "AdaptationSet" ("АдаптационномНаборе") для изображения и снабжает этой извлеченной информацией блок (98) выбора изображения. Блок (92) обработки MPD-файла извлекает из MPD-файла информацию, такую как URL-указатель, которая описана в "Segment" ("Сегменте") для файла изображения клетки, запрашиваемой из блока (98) выбора изображения, и снабжает этой извлеченной информацией блок (98) выбора изображения.

На основе информации, такой как URL-указатель, подаваемой из блока (92) обработки MPD-файла, блок (93) получения файла метаданных запрашивает Web-сервер (12), чтобы тот прислал файл метаданных аудиоданных, указанный этим URL-указателем, и получает этот файл метаданных аудиоданных. Блок (93) получения файла метаданных снабжает блок (94) выбора аудиоданных информацией о месте расположения объектов, включенной в состав файла метаданных аудиоданных.

Блок (94) выбора аудиоданных функционирует в качестве блока определения места расположения, и вычисляет место расположения каждого объекта на изображении, основываясь на информации о размере кадра изображения, подаваемой из блока (92) обработки MPD-файла, и информации о месте расположения объектов, подаваемой из блока (93) получения файла метаданных. Блок (94) выбора аудиоданных выбирает, на основе места расположения каждого объекта на изображении, объект в области отображения, указанной пользователем. Блок (94) выбора аудиоданных запрашивает блок (92) обработки MPD-файла, чтобы тот прислал информацию, такую как URL-указатель файла аудиоданных выбранного объекта. Блок (94) выбора аудиоданных снабжает информацией, такой как URL-указатель, подаваемой из блока (92) обработки MPD-файла в ответ на этот запрос, блок (95) получения файла аудиоданных.

Блок (95) получения файла аудиоданных функционирует в качестве приемника. На основе информации, такой как URL-указатель, подаваемой из блока (94) выбора аудиоданных, блок (95) получения файла аудиоданных запрашивает Web-сервер (12), чтобы тот прислал файл аудиоданных, который указан этим URL-указателем и сконфигурирован в секции-объекты, и получает этот файл аудиоданных. Блок (95) получения файла аудиоданных снабжает полученным файлом аудиоданных, сконфигурированным в секции-объекты, блок (96) обработки данных при декодировании аудиоданных.

Блок (96) обработки данных при декодировании аудиоданных декодирует поток аудиоданных, входящий в состав файла аудиоданных, который подается из блока (95) получения файла аудиоданных и сконфигурирован в секции-объекты, для того, чтобы сгенерировать аудиоданные по секциям-объектам. Блок (96) обработки данных при декодировании аудиоданных снабжает этими аудиоданными в секциях-объектах блок (97) обработки данных при синтезе аудиоданных.

Блок (97) обработки данных при синтезе аудиоданных синтезирует аудиоданные, которые подаются из блока (96) обработки данных при декодировании аудиоданных и сконфигурированы по секциям-объектам, и выводит синтезированные данные.

Блок (98) выбора изображения выбирает клетку в области отображения, указанной пользователем, на основе информации о месте расположения клеток, подаваемой из блока (92) обработки MPD-файла. Блок (98) выбора изображения запрашивает блок (92) обработки MPD-файла, чтобы тот прислал информацию, такую как URL-указатель для файла изображения выбранной клетки. Блок (98) выбора изображения снабжает информацией, такой как URL-указатель, подаваемой из блока (92) обработки MPD-файла в ответ на этот запрос, блок (99) получения файла изображения.

На основе информации, такой как URL-указатель, подаваемой из блока (98) выбора изображения, блок (99) получения файла изображения запрашивает Web-сервер (12), чтобы тот прислал файл изображения, который указан этим URL-указателем и сконфигурирован в секции-клетки, и получает этот файл изображения. Блок (99) получения файла изображения снабжает полученным файлом изображения с секциями-клетками блок (100) обработки данных при декодировании изображения.

Блок (100) обработки данных при декодировании изображения декодирует поток видеоданных, входящий в состав файла изображения, который подается из блока (99) получения файла изображения и сконфигурирован в секции-клетки, для генерирования данных изображения в секциях-клетках. Блок (100) обработки данных при декодировании изображения снабжает этими данными изображения в секциях-клетках блок (101) обработки данных при синтезе изображения.

Блок (101) обработки данных при синтезе изображения осуществляет синтез данных изображения, которые подаются из блока (100) обработки данных при декодировании изображения и сконфигурированы в секции-клетки, и выводит эти синтезированные данные.

Объяснение процесса в оконечном устройстве воспроизведения движущегося изображения

Фиг. 14 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс потокового воспроизведения в блоке (90) потокового воспроизведения (смотри фиг. 13) в воспроизводящем видеоданные оконечном устройстве (14).

На этапе S31, показанном на фиг. 14, блок (91) получения MPD-файла, входящий в состав блока (90) потокового воспроизведения, получает MPD-файл от Web-сервера (12) и снабжает этим MPD-файлом блок (92) обработки MPD-файла.

На этапе S32, блок (92) обработки MPD-файла получает из MPD-файла, подаваемого из блока (91) получения MPD-файла, информацию о размере кадра изображения и информацию о месте расположения клеток, которые описаны в "AdaptationSet" ("АдаптационномНаборе") для изображения. Блок (92) обработки MPD-файла снабжает информацией о размере кадра изображения блок (94) выбора аудиоданных и снабжает информацией о месте расположения клеток блок (98) выбора изображения. Кроме того, блок (92) обработки MPD-файла извлекает информацию, такую как URL-указатель, описанную в "Segment" ("Сегменте") для файла метаданных аудиоданных, и снабжает этой извлеченной информацией блок (93) получения файла метаданных.

На этапе S33, на основе информации, такой как URL-указатель, подаваемой из блока (92) обработки MPD-файла, блок (93) получения файла метаданных запрашивает Web-сервер (12), чтобы тот прислал файл метаданных аудиоданных, указанный этим URL-указателем, и получает этот файл метаданных аудиоданных. Блок (93) получения файла метаданных снабжает блок (94) выбора аудиоданных информацией о месте расположения объектов, включенной в состав файла метаданных аудиоданных.

На этапе S34, блок (94) выбора аудиоданных выбирает, на основе информации о размере кадра изображения, подаваемой из блока (92) обработки MPD-файла, и информации о месте расположения объектов, подаваемой из блока (93) получения файла метаданных, объект в области отображения, указанной пользователем. Блок (94) выбора аудиоданных запрашивает блок (92) обработки MPD-файла, чтобы тот прислал информацию, такую как URL-указатель, для файла аудиоданных выбранного объекта.

Блок (92) обработки MPD-файла извлекает из MPD-файла информацию, такую как URL-указатель, которая описана в "Segment" ("Сегменте") для файла аудиоданных, по объекту, запрашиваемому из блока (94) выбора аудиоданных, и снабжает этой извлеченной информацией блок (94) выбора аудиоданных. Блок (94) выбора аудиоданных снабжает информацией, такой как URL-указатель, подаваемой из блока (92) обработки MPD-файла, блок (95) получения файла аудиоданных.

На этапе S35, на основе информации, такой как URL-указатель, подаваемой из блока (94) выбора аудиоданных, блок (95) получения файла аудиоданных запрашивает Web-сервер (12), чтобы тот прислал файл аудиоданных выбранного объекта, который указан этим URL-указателем, и получает этот файл аудиоданных. Блок (95) получения файла аудиоданных снабжает полученным файлом аудиоданных с секциями-объектами блок (96) обработки данных при декодировании аудиоданных.

На этапе S36, блок (98) выбора изображения выбирает, на основе информации о месте расположения клеток, подаваемой из блока (92) обработки MPD-файла, клетку в области отображения, указанной пользователем. Блок (98) выбора изображения запрашивает блок (92) обработки MPD-файла, чтобы тот прислал информацию, такую как URL-указатель, для файла изображения выбранной клетки.

Блок (92) обработки MPD-файла извлекает из MPD-файла информацию, такую как URL-указатель, которая описана в "Segment" ("Сегменте") для файла изображения объекта, запрашиваемого из блока (98) выбора изображения, и снабжает этой извлеченной информацией блок (98) выбора изображения. Блок (98) выбора изображения снабжает информацией, такой как URL-указатель, подаваемой из блока (92) обработки MPD-файла, блок (99) получения файла изображения.

На этапе S37, на основе информации, такой как URL-указатель, подаваемой из блока (98) выбора изображения, блок (99) получения файла изображения запрашивает Web-сервер (12), чтобы тот прислал файл изображения выбранной клетки, который указан этим URL-указателем, и получает этот файл изображения. Блок (99) получения файла изображения снабжает полученным файлом изображения с секциями-клетками, блок (100) обработки данных при декодировании изображения.

На этапе S38, блок (96) обработки данных при декодировании аудиоданных декодирует поток аудиоданных, входящий в состав файла аудиоданных, который подается из блока (95) получения файла аудиоданных и сконфигурирован в секции-объекты, для того, чтобы сгенерировать аудиоданные в секциях-объектах. Блок (96) обработки данных при декодировании аудиоданных снабжает этими аудиоданными в секциях-объектах, блок (97) обработки данных при синтезе аудиоданных.

На этапе S39, блок (100) обработки данных при декодировании изображения декодирует поток видеоданных, входящий в состав файла изображения, который подается из блока (99) получения файла изображения и сконфигурирован в секции-клетки, для генерирования данных изображения в секциях-клетках. Блок (100) обработки данных при декодировании изображения снабжает данными изображения в секциях-клетках блок (101) обработки данных при синтезе изображения.

На этапе S40, блок (97) обработки данных при синтезе аудиоданных синтезирует аудиоданные, которые подаются из блока (96) обработки данных при декодировании аудиоданных и сконфигурированы в секции-объекты, и выводит синтезированные данные. На этапе S41, блок (101) обработки данных при синтезе изображения осуществляет синтез данных изображения, которые подаются из блока (100) обработки данных при декодировании изображения и сконфигурированы в секции-клетки, и выводит синтезированные данные. После этого процесс завершен.

Как было описано выше, Web-сервер (12) передает информацию о размере кадра изображения и информацию о месте расположения объектов. Таким образом, воспроизводящее видеоданные оконечное устройство (14) может указать, например, объект в области отображения для того, чтобы избирательно получить файл аудиоданных указанного объекта так, чтобы файл аудиоданных соответствовал изображению в области отображения. Это позволяет воспроизводящему видеоданные оконечному устройству (14) получать только необходимый файл аудиоданных, что ведет к повышению эффективности передачи.

Отметим, что, как показано на фиг. 15, идентификатор объекта (информация, указывающая объект) может быть описан в "AdaptationSet" ("АдаптационномНаборе") для изображения, входящем в состав MPD-файла, как информация для указания объекта, соответствующего аудиоданным, подлежащим воспроизведению одновременно с этим изображением. Идентификатор объекта можно описать, расширяя Scheme (Схему) (urn:mpeg:DASH:audioObj:2013) для определения новой информации идентификатора объекта (audioObj (звуковойОбъект)), используя элемент DescriptorType (ДескрипторногоТипа), представляющий собой Viewpoint (Точка наблюдения). В этом случае, воспроизводящее видеоданные оконечное устройство (14) выбирает файл аудиоданных объекта, соответствующего идентификатору объекта, описанному в "AdaptationSet" ("АдаптационномНаборе") для изображения, и получает этот файл аудиоданных для воспроизведения.

Вместо того, чтобы генерировать файл аудиоданных по секциям-объектам, закодированные данные всех объектов можно мультиплексировать в единый поток аудиоданных для того, чтобы сгенерировать единый файл аудиоданных.

В этом случае, как показано на фиг. 16, в "AdaptationSet" ("АдаптационномНаборе") для аудиоданных, входящем в состав MPD-файла, предусматривается одно "Representation" ("Представление") для файла аудиоданных, и URL-указатель или тому подобное для файла аудиоданных (audioObje.mp4 (звуковойОбъект.mp4)), включающего в себя закодированные данные всех объектов описан в "Segment" ("Сегменте"). При этом, идентификаторы объектов (1, 2, 3, 4 и 5) для всех объектов, соответствующих этому файлу аудиоданных, описываются посредством расширения Viewpoint ("Точки наблюдения").

В дополнение к этому, в этом случае, как показано на фиг. 17, закодированные данные (Звуковой объект) для каждого объекта располагаются, как некоторый "подсэмпл" (подфрагмент фрагмента данных), в поле mdat файла аудиоданных (в дальнейшем, когда это уместно, также именуемого как мультимедийный файл аудиоданных), получаемого при обращении к "Media Segment" ("Мультимедийному сегменту") MPD-файла.

В частности, данные располагаются в мультимедийном файле аудиоданных в секциях-подсегментах, которые всегда короче чем сегмент. Место расположения данных в секциях-подсегментах определяется полем sidx. Кроме того, данные в секциях-подсегментах состоят из поля moof и поля mdat. Поле mdat состоит из множества "сэмплов" (фрагментов данных), а закодированные данные каждого объекта располагаются как каждый "подсэмпл" (подфрагмент) "сэмпла".

Кроме того, рядом с полем sidx мультимедийного файла аудиоданных располагается поле gsix, в котором описывается информация о "сэмпле". Таким образом, поле gsix, в котором описывается информация о "сэмпле", предусмотрено отдельно от поля moof, и, таким образом, воспроизводящее видеоданные оконечное устройство (14) может быстро получать информацию о "сэмпле".

Как показано на фиг. 18, в поле gsix описывается grouping_type (тип_группирования), представляющий типы записей о группах "сэмплов", каждая из которых состоит из одного или более "сэмплов" или "подсэмплов", которыми управляет это поле gsix. Например, в случае, когда тип записи о группе "сэмплов" представляет собой "подсэмпл" закодированных данных в секциях-объектах, тип записи о группе "сэмплов" представляет собой "obja", как это показано на фиг. 17. В мультимедийном файле аудиоданных располагается множество полей gsix с grouping_type (типом_группирования).

Кроме того, как показано на фиг. 18, в поле gsix описываются индекс (entry_index (индекс_записи)) каждой записи о группе "сэмплов" и байтовый диапазон (range_size (размер_диапазона)), как информация о месте расположения данных, указывающая место расположения в мультимедийном файле аудиоданных. Отметим, что в случае, когда индекс (entry_index) представляет собой 0, соответствующий байтовый диапазон указывает байтовый диапазон поля moof (a1 в примере, показанном на фиг. 17).

Информация, указывающая то, какой объект используется, для предоставления каждой записи о группе "сэмплов" возможности соответствовать "подсэмплу" закодированных данных, описывается в файле аудиоданных, получаемом посредством обращения к "Initialization Segment" ("Сегменту инициализации") MPD-файла (в дальнейшем, когда это уместно, также именуемого как файл инициализации аудиоданных).

В частности, как показано на фиг. 19, эта информация указывается посредством использования поля (typa) присвоения типа в поле mvex, которое связано с полем AudioObjectSampleGroupEntry (ЗаписьОгруппеСэмпловЗвуковыхОбъектов) в поле описания группы "сэмплов" (поле sgpd) в поле sbtl файла инициализации аудиоданных.

Другими словами, как показано в разделе А на фиг. 20, в каждом поле AudioObjectSampleGroupEntry описывается идентификатор объекта (audio_object_id (идентификатор_звукового_объекта)), соответствующий закодированным данным, входящим в состав этого "сэмпла". Например, как показано в разделе В на фиг. 20, в каждом из четырех полей AudioObjectSampleGroupEntry описываются идентификаторы объектов, представляющие собой 1, 2, 3 и 4.

С другой стороны, как показано на фиг. 21, в поле присвоения типа, для каждого AudioObjectSampleGroupEntry описывается некоторый индекс, как параметр (grouping_type_parameter (параметр_типа_группирования)) Записи о группе "сэмплов", соответствующей этому полю AudioObjectSampleGroupEntry.

Мультимедийный файл аудиоданных и файл инициализации аудиоданных сконфигурированы так, как описано выше. Таким образом, когда воспроизводящее видеоданные оконечное устройство (14) получает закодированные данные объекта, выбранного как объект в области отображения, из поля stbl файла инициализации аудиоданных извлекается AudioObjectSampleGroupEntry, в котором описан идентификатор объекта для этого выбранного объекта. После этого, из поля mvex считывается индекс Записи о группе "сэмплов", соответствующий этой извлеченной AudioObjectSampleGroupEntry. После этого, из поля sidx файла аудиоданных считывается место расположения данных в секциях-подсегментах, и из поля gsix считывается байтовый диапазон Записи о группе "сэмплов", относящейся к считанному индексу. После этого, на основе места расположения данных в секциях-подсегментах и байтового диапазона получают закодированные данные, расположенные в поле mdat. Таким образом, получают закодированные данные выбранного объекта.

Хотя, в вышеприведенном описании, индекс Записи о группе "сэмплов" и идентификатор объекта в поле AudioObjectSampleGroupEntry связаны друг с другом через поле mvex, они могут быть связаны друг с другом напрямую. В этом случае, индекс Записи о группе "сэмплов" описывается в поле AudioObjectSampleGroupEntry.

Кроме того, в случае когда файл аудиоданных состоит из множества дорожек, поле sgpd может храниться в поле mvex, что позволяет дорожкам совместно использовать поле sgpd.

План второго примера системы обработки информации

Фиг. 22 представляет собой схему, на которой проиллюстрирован план некоторого второго примера системы обработки информации, в которой применено настоящее раскрываемое изобретение.

Отметим, что элементы, показанные на фиг. 22, которые являются одинаковыми с элементами, показанными на фиг. 3, обозначены теми же самыми ссылочными позициями.

В примере, показанном на фиг. 22, как и в случае с фиг. 3, изображение видеоконтента разделено на 7 (по ширине) × 5 (по высоте) клеток, и, в качестве аудиоданных видеоконтента, получены аудиоданные объектов: с #1 по #8.

В этом случае, когда пользователь указывает область (31) отображения, состоящую из 3 (по ширине) × 2 (по высоте) клетки, область (31) отображения преобразована (расширенная) в область, имеющую тот же самый размер, что и размер изображения видеоконтента, благодаря чему получают отображаемое изображение (111) в некотором втором примере, как это показано на фиг. 22. аудиоданные объектов: с #1 по #8, синтезируются на основе мест расположения объектов: с #1 по #8, на отображаемом изображении (111) и выводятся вместе с отображаемым изображением (111). Другими словами, в дополнение к аудиоданным объектов #1, #2 и #6, которые находятся внутри области (31) отображения, выводятся аудиоданные объектов: с #3 по #5, #7 и #8, которые находятся вне области (31) отображения.

Пример конфигурации блока потокового воспроизведения

Конфигурация второго примера системы обработки информации, в которой применено настоящее раскрываемое изобретение, является той же самой, что и конфигурация системы (10) обработки информации, показанной на фиг. 1, за исключением конфигурации блока потокового воспроизведения, и, таким образом, ниже будет описываться только блок потокового воспроизведения.

Фиг. 23 представляет собой структурную схему, на которой показан пример конфигурации блока потокового воспроизведения в системе обработки информации, в которой применено настоящее раскрываемое изобретение.

Компоненты, показанные на фиг. 23, которые являются одинаковыми с компонентами, показанными на фиг. 13, обозначены теми же самыми ссылочными позициями, и повторное объяснение опускается, когда это уместно.

Конфигурация блока (120) потокового воспроизведения, показанная на фиг. 23, отличается от конфигурации блока (90) потокового воспроизведения, показанной на фиг. 13, тем, что вместо блока (92) обработки MPD-файла, блока (97) обработки данных при синтезе аудиоданных и блока (101) обработки данных при синтезе изображения, соответственно, предусматриваются новые блок (121) обработки MPD-файла, блок (123) обработки данных при синтезе аудиоданных и блок (124) обработки данных при синтезе изображения, и дополнительно предусматривается блок (122) определения места расположения.

Блок (121) обработки MPD-файла, входящий в состав блока (120) потокового воспроизведения, извлекает из MPD-файла, подаваемого из блока (91) получения MPD-файла, информацию, такую как URL (Унифицированный указатель ресурса), которая описана в "Segment" ("Сегменте") для файла метаданных аудиоданных, и снабжает этой извлеченной информацией блок (93) получения файла метаданных. Кроме того, блок (121) обработки MPD-файла извлекает из MPD-файла информацию о размере кадра изображения видеоконтента (далее именуемую как информация о размере кадра изображения контента), которая описана в "AdaptationSet" ("АдатационномНаборе") для изображения, и снабжает этой извлеченной информацией блок (122) определения места расположения. Блок (121) обработки MPD-файла извлекает из MPD-файла информацию, такую как URL-указатель, которая описана в "Сегменте" для файла аудиоданных, по всем объектам, и снабжает этой извлеченной информацией блок (95) получения файла аудиоданных.

Блок (121) обработки MPD-файла извлекает из MPD-файла информацию о месте расположения клеток, описанную в "AdaptationSet" ("АдаптационномНаборе") для изображения и снабжает этой извлеченной информацией блок (98) выбора изображения. Блок (121) обработки MPD-файла извлекает из MPD-файла информацию, такую как URL-указатель, которая описана в "Segment" ("Сегменте") для файла изображения клетки, запрашиваемой из блока (98) выбора изображения, и снабжает этой извлеченной информацией блок (98) выбора изображения.

Блок (122) определения места расположения получает информацию о месте расположения объектов, которая входит в состав файла метаданных аудиоданных, полученного блоком (93) получения файла метаданных, и информацию о размере кадра изображения контента, которая подается из блока (121) обработки MPD-файла. Кроме того, блок (122) определения места расположения получает информацию о размере кадра изображения области отображения, которая представляет собой информацию о размере кадра изображения области отображения, указанной пользователем. Блок (122) определения места расположения, основываясь на информации о месте расположения объектов, информации о размере кадра изображения контента и информации о размере кадра изображения области отображения определяет (распознает) место расположения каждого объекта в области отображения. Блок (122) определения места расположения сообщает это определенное место расположения каждого объекта блоку (123) обработки данных при синтезе аудиоданных.

Блок (97) обработки данных при синтезе аудиоданных синтезирует аудиоданные в секциях-объектах, подаваемые из блока (96) обработки данных при декодировании аудиоданных, основываясь на месте расположения объекта, сообщенном из блока (122) определения места расположения. В частности, блок (123) обработки данных при синтезе аудиоданных определяет аудиоданные, подлежащие распределению каждому громкоговорителю для каждого объекта на основе места расположения объекта и места расположения каждого громкоговорителя, который выводит звук. Блок (123) обработки данных при синтезе аудиоданных синтезирует аудиоданные каждого объекта для каждого громкоговорителя и выводит эти синтезированные аудиоданные в качестве аудиоданных для каждого громкоговорителя. Детализированное описание способа синтезирования аудиоданных каждого объекта на основе места расположения объекта раскрыто, например, в работе: Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol. 45, no. 6, pp. 456.466, 1997 (Вилли Пулкки, "Виртуальное позиционирование источника звука с использованием амплитудного панорамирование на основе вектора", журнал Общества инженеров-звукотехников, том 45, номер 6, страницы 456-466, 1997 г.

Блок (124) обработки данных при синтезе изображения синтезирует данные изображения в секциях-клетках, подаваемые из блока (100) обработки данных при декодировании изображения. Блок (124) обработки данных при синтезе изображения функционирует в качестве преобразователя, и преобразует размер изображения, соответствующего синтезированным данным изображения, в размер видеоконтента для того, чтобы сгенерировать отображаемое изображение. Блок (124) обработки данных при синтезе изображения выводит это отображаемое изображение.

Объяснение способа определения места расположения объекта

Фиг. 24-26, представляют собой схемы, на каждой из которых проиллюстрирован способ определения места расположения объекта, выполняемый блоком (122) определения места расположения, показанным на фиг. 23.

Из видеоконтента извлекается область (31) отображения, и размер области (31) отображения преобразовывается к размеру видеоконтента, так, чтобы было сгенерировано отображаемое изображение (111). Таким образом, отображаемое изображение (111) имеет размер, эквивалентный размеру, полученному посредством сдвига центра (С) области (31) отображения в центр (С') отображаемого изображения (111), как это показано на фиг. 24, и посредством преобразования размера области (31) отображения к размеру видеоконтента, как это показано на фиг. 25.

Таким образом, блок (122) определения места расположения вычисляет, по нижеследующей Формуле (1), величину (θ_shift) сдвига в горизонтальном направлении, когда центр (О) области (31) отображения сдвигается в центр (О') отображаемого изображения (111).

Математическая формула 1

В Формуле (1), представляет горизонтальный угол на левом краю области (31) отображения, входящий в состав информации о размере кадра изображения области отображения, а представляет горизонтальный угол на правом конце области (31) отображения, входящий в состав информации о размере кадра изображения области отображения. Кроме того, θ_v1 представляет горизонтальный угол на левом краю в информации о размере кадра изображения контента, a θ_v2 представляет горизонтальный угол на правом краю в информации о размере кадра изображения контента.

Затем, блок (122) определения места расположения вычисляет, по нижеследующей Формуле (2), горизонтальный угол на левом краю области (31) отображения и горизонтальный угол на правом ее краю после того, как центр (О) области (31) отображения был сдвинут в центр (О') отображаемого изображения (111) с использованием величины (θ_shift) сдвига. Математическая формула 2

В соответствии с Формулой (2), горизонтальный угол и горизонтальный угол вычисляются таким образом, чтобы не выходить за рамки диапазона: от -180° до 180°.

Отметим, что, как было описано выше, отображаемое изображение (111) имеет размер, эквивалентный размеру, полученному посредством сдвига центра (О) области (31) отображения в центр (О') отображаемого изображения (111) и посредством преобразования размера области (31) отображения к размеру видеоконтента. Таким образом, для горизонтальных углов θ_V1 и θ_V2 удовлетворяется нижеследующая Формула (3).

Математическая формула 3

Блок (122) определения места расположения вычисляет величину (θ_shift) сдвига, горизонтальный угол и горизонтальный угол способом, который описан выше, и затем вычисляет горизонтальный угол каждого объекта на отображаемом изображении (111). В частности, блок (122) определения места расположения вычисляет, по нижеследующей Формуле (4), горизонтальный угол объекта #i после того, как центр (С) области (31) отображения был сдвинут в центр (С') отображаемого изображения (111), с использованием величины (θ_shift) сдвига.

Математическая формула 4

В Формуле (4), θ_Ai представляет горизонтальный угол объекта #i, входящий в состав информации о месте расположения объекта. Кроме того, в соответствии с Формулой (4), горизонтальный угол вычисляется таким образом, чтобы не выходить за рамки диапазона: от -180° до 180°.

Затем, в случае, когда объект #i присутствует в области (31) отображения, то есть, когда удовлетворяется условие: , блок (122) определения места расположения вычисляет горизонтальный угол объекта #i на отображаемом изображении (111) по нижеследующей формуле (5). Математическая формула 5

В соответствии с формулой (5), горизонтальный угол вычисляется посредством продления расстояния между местом расположения объекта #i на отображаемом изображении (111) и центром (С') отображаемого изображения (111) в соответствии с отношением между размером области (31) отображения и размером отображаемого изображения (111).

С другой стороны, в случае, когда в области (31) отображения не присутствует никакого объекта #i, то есть, когда удовлетворяется условие: или , блок (122) определения места расположения вычисляет горизонтальный угол объекта #i на отображаемом изображении (111) по нижеследующей Формуле (6).

Математическая формула 6

В соответствии с Формулой (6), в случае, когда объект #i присутствует в положении (151) с правой стороны области (31) отображения , как это показано на фиг. 26, горизонтальный угол вычисляется посредством расширения горизонтального угла в соответствии с отношением между углом R1 и углом R2. Отметим, что угол R1 представляет собой угол, измеряемый от правого края отображаемого изображения (111) до положения (154) непосредственно сзади наблюдателя (153), а угол R2 представляет собой угол, измеряемый от правого края области (31) отображения, чей центр сдвинут к положению (154).

Кроме того, в соответствии с Формулой (6), в случае, когда объект #i присутствует в положении (155) с левой стороны области (31) отображения , горизонтальный угол вычисляется посредством расширения горизонтального угла в соответствии с отношением между углом R3 и углом R4. Отметим, что угол R3 представляет собой угол, измеряемый от левого края отображаемого изображения (111) до положения (154), а угол R4 представляет собой угол, измеряемый от левого края области (31) отображения, чей центр сдвинут к положению (154).

Кроме того, блок (122) определения места расположения вычисляет вертикальный угол способом, аналогичным горизонтальному углу . В частности, блок (122) определения места расположения вычисляет, по нижеследующей формуле (7), величину (γ_shift) перемещения в вертикальном направлении, когда центр (С) области (31) отображения сдвигается в центр (С') отображаемого изображения (111).

Математическая формула 7

В Формуле (7), представляет вертикальный угол на верхнем краю области (31) отображения, входящий в состав информации о размере кадра изображения области отображения, а представляет вертикальный угол на нижнем ее краю. Кроме того, γ_v1 представляет вертикальный угол на верхнем краю в информации о размере кадра изображения контента, a γ_v2 представляет вертикальный угол на нижнем краю в информации о размере кадра изображения контента.

Затем, блок (122) определения места расположения вычисляет, по нижеследующей Формуле (8), вертикальный угол на верхнем краю области (31) отображения и вертикальный угол на нижнем ее краю после того, как центр (С) области (31) отображения был сдвинут в центр (С') отображаемого изображения (111) с использованием величины (γ_shift) перемещения.

Математическая формула 8

В соответствии с Формулой (8), вертикальный угол и горизонтальный угол вычисляются таким образом, чтобы не выходить за рамки диапазона: от - 90° до 90°.

Блок (122) определения места расположения вычисляет величину (γ_shift) перемещения, вертикальный угол и вертикальный угол способом, который описан выше, и затем вычисляет место расположения каждого объекта на отображаемом изображении (111). В частности, блок (122) определения места расположения вычисляет, по нижеследующей формуле (9), вертикальный угол объекта #i после того, как центр (С) области (31) отображения был сдвинут в центр (С') отображаемого изображения (111), с использованием величины (γ_shift) перемещения.

Математическая формула 9

В формуле (9), γ_Ai представляет вертикальный угол объекта #i, входящий в состав информации о месте расположения объекта. Кроме того, в соответствии с формулой (4), вертикальный угол вычисляется таким образом, чтобы не выходить за рамки диапазона: от -90° до 90°.

Затем, блок (122) определения места расположения вычисляет вертикальный угол объекта #i на отображаемом изображении (111) по нижеследующей Формуле (10).

Математическая формула 10

Кроме того, блок (122) определения места расположения определяет расстояние до объекта #i на отображаемом изображении (111) как расстояние (r_A1) до объекта #i, входящее в состав информации о месте расположения объекта. Блок (122) определения места расположения сообщает блоку (97) обработки данных при синтезе аудиоданных горизонтальный угол , вертикальный угол и расстояние (r_A1) до объекта #i, которые получены так, как было описано выше, как место расположения объекта #i.

Фиг. 27 представляет собой схему, на которой показана зависимость между горизонтальным углом θ_Ai и горизонтальным углом .

В графике, показанном на фиг. 27, горизонтальная ось представляет горизонтальный угол θ_Ai, а вертикальная ось представляет горизонтальный угол .

Как показано на фиг. 27, в случае, когда удовлетворяется условие: , горизонтальный угол θ_Ai сдвинут на величину (θ_shift) перемещения и увеличен, и затем горизонтальный угол θ_Ai становится равным горизонтальному углу . Кроме того, в случае, когда удовлетворяется условие: или , горизонтальный угол θ_Ai сдвинут на величину (θ_shift) перемещения и уменьшен, и затем горизонтальный угол θ_Ai становится равным горизонтальному углу .

Объяснение процесса в блоке потокового воспроизведения

Фиг. 28 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс потокового воспроизведения в блоке (120) потокового воспроизведения, показанном на фиг. 23.

На этапе S131, показанном на фиг. 28, блок (91) получения MPD-файла, входящий в состав блока (120) потокового воспроизведения получает MPD-файл от Web-сервера (12) и снабжает этим MPD-файлом блок (121) обработки MPD-файла.

На этапе S132, блок (92) обработки MPD-файла получает из MPD-файла, подаваемого из блока (91) получения MPD-файла, информацию о размере кадра изображения контента и информацию о месте расположения клеток, которые (информации) описаны в "AdaptationSet" ("АдаптационномНаборе") для изображения. Блок (121) обработки MPD-файла снабжает информацией о размере кадра изображения блок (122) определения места расположения и снабжает информацией о месте расположения клеток блок (98) выбора изображения. Кроме того, блок (121) обработки MPD-файла извлекает информацию, такую как URL (Унифицированный указатель ресурса), описанную в "Segment" ("Сегменте") для файла метаданных аудиоданных, и снабжает этой извлеченной информацией блок (93) получения файла метаданных.

На этапе S133, на основе информации, такой как URL-указатель, подаваемой из блока (121) обработки MPD-файла, блок (93) получения файла метаданных запрашивает Web-сервер (12), чтобы тот прислал файл метаданных аудиоданных, указанный этим URL-указателем, и получает этот файл метаданных аудиоданных. Блок (93) получения файла метаданных снабжает блок (122) определения места расположения информацией о месте расположения объектов, включенной в состав файла метаданных аудиоданных.

На этапе S134, блок (122) определения места расположения выполняет процесс определения места расположения для определения места расположения каждого объекта на отображаемом изображении, основываясь на информации о месте расположения объектов, информации о размере кадра изображения контента и информации о размере кадра изображения области отображения. Процесс определения места расположения будет описан подробно со ссылкой на фиг. 29, которая описывается позже.

На этапе S135, блок (121) обработки MPD-файла извлекает из MPD-файла информацию, такую как URL-указатель, описанную в "Segment" ("Сегменте") для файла аудиоданных, всех объектов, и снабжает этой извлеченной информацией блок (95) получения файла аудиоданных.

На этапе S136, на основе информации, такой как URL-указатель, подаваемой из блока (121) обработки MPD-файла, блок (95) получения файла аудиоданных запрашивает Web-сервер (12), чтобы тот прислал файл аудиоданных всех объектов, который указан этим URL-указателем, и получает этот файл аудиоданных. Блок (95) получения файла аудиоданных снабжает полученным файлом аудиоданных с секциями-объектами, блок (96) обработки данных при декодировании аудиоданных.

Процесс на этапах: с S137 по S140, аналогичен процессу на этапах: с S36 по S39, показанному на фиг. 14, и, соответственно, его описание будет опущено.

На этапе S141, блок (123) обработки данных при синтезе аудиоданных синтезирует и выводит аудиоданные с секциями-объектами, подаваемых, из блока (96) обработки данных при декодировании аудиоданных, на основе места расположения каждого объекта, которое сообщено из блока (122) определения места расположения.

На этапе S142, блок (124) обработки данных при синтезе изображения осуществляет синтез данных изображения по секциям-клеткам, которые (данные) подаются из блока (100) обработки данных при декодировании изображения.

На этапе S143, блок (124) обработки данных при синтезе изображения преобразует размер изображения, соответствующего синтезированным данным изображения, в размер видеоконтента, и генерирует отображаемое изображение. После этого, блок (124) обработки данных при синтезе изображения выводит отображаемое изображение, и процесс завершен.

Фиг. 29 представляет собой блок-схему алгоритма, на которой проиллюстрированы подробности процесса определения места расположения, выполняемого на этапе S134, показанном на фиг. 28. Этот процесс определения места расположения выполняется, например, для каждого объекта.

На этапе S151, показанном на фиг. 29, блок (122) определения места расположения выполняет процесс оценки горизонтального угла для того, чтобы оценить горизонтальный угол на отображаемом изображении. Подробности процесса оценки горизонтального угла будут описаны со ссылкой на фиг. 30, которая описывается позже.

На этапе S152, блок (122) определения места расположения выполняет процесс оценки вертикального угла для того, чтобы оценить вертикальный угол ум на отображаемом изображении. Подробности процесс оценки вертикального угла аналогичны подробностям процесса оценки горизонтального угла на этапе S151, за исключением того, что вместо горизонтального направления используется вертикальное направление, и, соответственно, детализированное описание этого процесса будет опущено.

На этапе S153, блок (122) определения места расположения определяет расстояние на отображаемом изображении как расстояние r_Ai, входящее в состав информации о месте расположения объекта, подаваемой из блока (93) получения файла метаданных.

На этапе S154, блок (122) определения места расположения выводит, в блок (123) обработки данных при синтезе аудиоданных, горизонтальный угол , вертикальный угол и расстояние , как место расположения объекта #i. После этого, процесс возвращается на этап S134, показанный на фиг. 28, и переходит на этап S135.

Фиг. 30 представляет собой блок-схему алгоритма, на которой проиллюстрированы подробности процесса оценки горизонтального угла на этапе S151, показанном на фиг. 29.

На этапе S171, показанном на фиг. 30, блок (122) определения места расположения получает горизонтальный угол θ_Ai, входящий в состав информации о месте расположения объекта, подаваемой из блока (93) получения файла метаданных.

На этапе S172, блок (122) определения места расположения получает информацию о размере кадра изображения контента, подаваемую из блока (121) обработки MPD-файла, и информацию о размере кадра изображения области отображения, указываемую пользователем.

На этапе S173, блок (122) определения места расположения вычисляет величину (θ_shift) перемещения по вышеупомянутой Формуле (1) на основе информации о размере кадра изображения контента и информации о размере кадра изображения области отображения.

На этапе S174, блок (122) определения места расположения вычисляет, горизонтальные углы и по вышеупомянутой Формуле (2), используя величину (θ_shift) перемещения и размер кадра изображения области отображения.

На этапе S175, блок (122) определения места расположения вычисляет горизонтальный угол по вышеупомянутой формуле (4), используя горизонтальный угол θ_Ai и величину (θ_shift) перемещения.

На этапе S176, блок (122) определения места расположения определяет то, присутствует ли объект #i в области (31) отображения (горизонтальный угол объекта #i находится между горизонтальными углами на обоих краях области (31) отображения), то есть, удовлетворяется ли условие: , или нет.

В случае, когда на этапе S176 определено, что объект #i присутствует в области (31) отображения, то есть, в случае, когда условие удовлетворяется, процесс переходит на этап S177. На этапе S177, блок (122) определения места расположения вычисляет горизонтальный угол по вышеупомянутой формуле (5) на основе информации о размере кадра изображения контента, горизонтальных углах и и горизонтальном угле

С другой стороны, в случае, когда на этапе S176 определено, что объект #i не присутствует в области (31) отображения, то есть в случае, когда удовлетворяется условие: или , процесс переходит на этап S178. На этапе S178, блок (122) определения места расположения вычисляет горизонтальный угол по вышеупомянутой формуле (6) на основе информации о размере кадра изображения контента, горизонтального угла или и горизонтального угла .

После процесса на этапе S177 или на этапе S178, процесс возвращается на этап S151, показанный на фиг. 29, и переходит на этап S152.

Отметим, что во втором примере, размер отображаемого изображения является тем же самым, что и размер видеоконтента, но вместо этого размер отображаемого изображения может отличаться от размера видеоконтента.

Кроме того, во втором примере, не синтезируются и выводятся аудиоданные всех объектов, но вместо этого только аудиоданные некоторых объектов (например, объекта в области отображения, объекта на некотором предварительно заданном удалении от области отображения и так далее). Способ для выбора объекта аудиоданных, которые подлежат выведению, может быть определен заранее, или может быть указан пользователем.

Кроме того, в вышеупомянутом описании, используются только аудиоданные в секциях-объектах, но аудиоданные могут включать в себя аудиоданные представляющие собой канальные аудиоданные, аудиоданные с амбиофоническим эффектом (эффектом "окружающего" звука) более высокого порядка (HOA-аудиоданные), аудиоданные с пространственным кодированием звуковых объектов (SAOC-аудиоданные), и метаданные (информация о сцене, динамические или статические метаданные) аудиоданных. В этом случае, например, не только закодированные данные каждого объекта, но также и закодированных данные этих порций данных организованы как "подсэмплы".

Первый вариант воплощения

План формата файла трехмерных аудиоданных

Перед описанием первого варианта воплощения, в котором применено настоящее раскрываемое изобретение, опишем, со ссылкой на фиг. 31, план дорожек формата МР4 файла трехмерных аудиоданных.

В МР4_файле, информацией кодека видеоконтента и информацией о месте расположения, указывающей место расположения в файле, можно управлять для каждой дорожки. В формате МР4 файла трехмерных аудиоданных, все потоки аудиоданных (элементарный поток (ES)) трехмерных аудиоданных (канальных аудиоданных/Объектных аудиоданных/HOA-аудиоданных/метаданных) записываются как одна дорожка в секциями - "сэмплами " (кадрами). Кроме того, информация кодека (Профиль/уровень/конфигурация аудиосредств) трехмерного аудио хранится как запись о "сэмплах".

Канальные аудиоданные, составляющие трехмерные аудиоданные, представляют собой аудиоданные с секциями-каналами; Объектные аудиоданные представляют собой аудиоданные с секциями-объектами; HOA-аудио данные (аудиоданные с амбиофоническим эффектом (эффектом "окружающего" звука) более высокого порядка) представляют собой сферические аудиоданные; и метаданные представляют собой метаданные Канальных аудиоданных/Объектных аудиоданных/HOA-аудиоданных. В этом случае, в качестве Объектных аудиоданных используются аудиоданные с секциями-объектами, но вместо этого могут использоваться SAOC-аудиоданные (аудиоданные с пространственным кодированием звукового объекта).

Структура поля moov

На фиг. 32 показана структура поля moov МР4-файла.

Как показано на фиг. 32, в МР4-файле, данные изображения и аудиоданные записываются на различных дорожках. На фиг. 32 не проиллюстрированы подробности дорожки аудиоданных, но дорожка аудиоданных аналогична дорожке данных изображения. Запись о "сэмплах" входит в состав описания "сэмплов", расположенного в поле stsd в пределах поля moov.

Кстати, при вещании или воспроизведении из локального запоминающего устройства, Web-сервер поставляет все потоки аудиоданных, и воспроизводящее видеоданные оконечное устройство (клиент) декодирует потоки аудиоданных необходимых ему трехмерных аудиоданных, проводя при этом синтаксический анализ всех потоков аудиоданных, и выводит (воспроизводит) потоки аудиоданных. В случае, когда скорость передачи битов (Bitrate) является высокой, или когда имеется ограничение на скорость считывания из локального запоминающего устройства, существует потребность в том, чтобы уменьшить нагрузку на процесс декодирования, получая только поток аудиоданных необходимых трехмерных аудиоданных.

Кроме того, при потоковом воспроизведении, существует потребность в том, чтобы воспроизводящее видеоданные оконечное устройство (клиент) получало только закодированные данные необходимых ему трехмерных аудиоданных, чтобы, таким образом, получать поток аудиоданных со скоростью кодирования, оптимальной для среды воспроизведения.

Соответственно, в настоящем раскрываемом изобретении, закодированные данные трехмерных аудиоданных разделены на дорожки для каждого типа данных, и эти дорожки расположены в файле аудиоданных, что позволяет эффективно получать только предварительно заданный тип закодированных данных. Таким образом, можно уменьшить нагрузку на систему при вещании и воспроизведении из локального запоминающего устройства. Кроме того, при потоковом воспроизведении, можно, в соответствии с полосой частот, воспроизводить закодированные данные самого высокого качества необходимых трехмерных аудиоданных. Кроме того, поскольку необходимо записывать только информацию о месте расположения потока аудиоданных для трехмерных аудиоданных в пределах файла аудиоданных в секциях-дорожках подсегментов, то количество информации о месте расположения можно уменьшить по сравнению со случаем, при котором закодированные данные в секциях-объектах располагаются в "подсэмплах".

План дорожек

Фиг. 33 представляет собой схему, на которой проиллюстрирован план дорожек в первом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Как показано на фиг. 33, в первом варианте воплощения изобретения, Канальные аудиоданные/Объектные аудиоданные/HOA-аудиоданные/метаданные, составляющие трехмерные аудиоданные задаются, соответственно, как потоки аудиоданных различных дорожек (дорожки Канальных аудиоданных/дорожки (дорожек) Объектных аудиоданных/дорожки HOA-аудиоданных/дорожки Объектных метаданных). На дорожке объектных метаданных располагается поток аудиоданных, относящийся к метаданным аудиоданных.

Кроме того, в качестве дорожки для размещения информации о трехмерных аудиоданных в целом, предусмотрена базовая дорожка (Base Track). На базовой дорожке, показанной на фиг. 33, в записи о "сэмплах" расположена информация о трехмерных аудиоданных в целом, в то время как никакого "сэмпла" в записи о "сэмплах" не расположено. Кроме того, Базовая дорожка, дорожка Канальных аудиоданных, дорожка (дорожки) Объектных аудиоданных, дорожка HOA-аудиоданных, и дорожка Объектных метаданных записываются как один и тот же файл аудиоданных (3dauio.mp4).

Track Reference (Ссылка на дорожку) расположена, например, в некотором поле дорожки, и представляет отношение ссылки между соответствующей дорожкой и другой дорожкой. В частности, Ссылка на дорожку представляет идентификатор, уникальный для дорожки в других дорожках, на которые даются ссылки, (в дальнейшем именуемый идентификатором дорожки). В примере, показанном на фиг. 33, идентификаторы дорожки, относящиеся к Базовой дорожке, дорожке Канальных аудиоданных, дорожке HOA-аудиоданных, дорожке Объектных метаданных и дорожке (дорожкам) Объектных аудиоданных, представляют собой, соответственно, 1, 2, 3, 4, 10… Ссылки на дорожку, имеющиеся на Базовой дорожке, представляют собой 2, 3, 4, 10…, и Ссылки на дорожку, имеющиеся на дорожке Канальных аудиоданных/дорожке HOA-аудиоданных/дорожке Объектных метаданных/дорожке (дорожках) Объектных аудиоданных, представляют собой 1, что соответствует идентификатору дорожки, относящемуся к Базовой дорожке.

Соответственно, Базовая дорожка и дорожка Канальных аудиоданных/дорожка HOA-аудиоданных/дорожка Объектных метаданных/дорожка (дорожки) Объектных аудиоданных имеют отношение ссылки. В частности, к Базовой дорожке обращаются во время воспроизведения дорожки Канальных аудиоданных/дорожки HOA-аудиоданных/дорожки Объектных метаданных/дорожки (дорожек) Объектных аудиоданных.

Приводимый в качестве примера синтаксис записи о "сэмплах" базовой дорожки

Фиг. 34 представляет собой схему, на которой показан приводимый в качестве примера синтаксис записи о "сэмплах" базовой дорожки, показанной на фиг. 33.

В качестве информации о трехмерных аудиоданных в целом, configuration Version (версияКонфигурации), MPEGHAudioProfile (профильАудиоданныхMPEGH) и MPEGHAudioLevel (уровеньАудиоданныхMPEGH), показанные на фиг. 34, представляют, соответственно, информацию о конфигурации, информацию о профиле и информацию об уровне для всего потока аудиоданных для трехмерных аудиоданных (поток аудиоданных для нормальных трехмерных аудиоданных). Кроме того, в качестве информации о трехмерных аудиоданных в целом, ширина и высота, показанные на фиг. 34, представляют, соответственно, количество пикселей в горизонтальном направлении видеоконтента и количество пикселей в вертикальном направлении видеоконтента. В качестве информации о трехмерных аудиоданных в целом, theta1, theta2, gamma1 и gamma2 представляют, соответственно, горизонтальный угол θ_v1 на левом краю кадра изображения, горизонтальный угол θ_v2 на правом краю кадра изображения, вертикальный угол γ_v1 на верхнем краю кадра изображения и вертикальный угол γ_v2 на нижнем краю кадра изображения, в информации о размере кадра изображения видеоконтента.

Приводимый в качестве примера синтаксис записи о "сэмплах" дорожки канальных аудиоданных Фиг. 35 представляет собой схему, на которой показан приводимый в качестве примера синтаксис записи о "сэмплах" дорожки канальных аудиоданных (Channel audio track), показанной на фиг. 33.

На фиг. 35 показано, что configurationVersion (версияКонфигурации), MPEGHAudioProfile (профильАудиоданныхMPEGH) и MPEGHAudioLevel (уровеньАудиоданныхMPEGH) представляют, соответственно, информацию о конфигурации, информацию о профиле и информацию об уровне Канальных аудиоданных.

Приводимый в качестве примера синтаксис записи о "сэмплах" дорожки объектных аудиоданных

Фиг. 36 представляет собой схему, на которой показан приводимый в качестве примера синтаксис записи о "сэмплах" дорожки объектных аудиоданных ((Object audio track)), показанной на фиг. 33.

ConfigurationVersion (версияКонфигурации), MPEGHAudioProfile (профильАудиоданныхMPEGH) и MPEGHAudioLevel (уровеньАудиоданныхMPEGH), показанные на фиг. 36, представляют, соответственно, информацию о конфигурации, информацию о профиле и информацию об уровне в одних или более Объектных аудиоданных, входящих в состав дорожки объектных аудиоданных. object_is_fixed (объект_является_неподвижным) указывает на то, является ли один или более объектов объектных аудиоданных, входящих в состав дорожки объектных аудиоданных неподвижным или нет. В случае, когда поле object_is_fixed (объект_является_неподвижным) указывает 1, оно указывает на то, что объект является неподвижным, а в случае, когда поле object_is_fixed указывает 0, оно указывает на то, что объект сдвигается. mpegh3daConfig представляет конфигурацию идентификационной информации одного или более объектов объектных аудиоданных, входящих в состав дорожки объектных аудиоданных.

Кроме того, objectTheta1 (тета1объекта)/objectTheta2 (тета2объекта)/objectGamma1 (гамма1объекта)/objectGamma2 (гамма2объекта)/objectRength представляют информацию об объекте для одних или более Объектных аудиоданных, входящих в состав дорожки объектных аудиоданных. Эта информация об объекте представляет собой информацию, которая действительна в случае, когда соблюдается Object_is_fixed=1.

maxobjectTheta1 (максимальнаяТета1объекта), maxobjectTheta2 (максимальнаяТета2объекта), maxobjectGamma1 (максимальнаяГамма1объекта), maxobjectGamma2 (максимальнаяГамма2объекта) и maxobjectRength представляют максимальные значения информации об объекте в случае, когда один или более объектов Объектных аудиоданных, входящих в состав дорожки объектных аудиоданных, сдвигаются.

Приводимый в качестве примера синтаксис записи о "сэмплах" дорожки HOA-аудиоданных

Фиг. 37 представляет собой схему, на которой показан приводимый в качестве примера синтаксис записи о "сэмплах" дорожки HOA-аудиоданных, показанной на фиг. 33.

ConfigurationVersion (версияКонфигурации), MPEGHAudioProfile (профильАудиоданныхMPEGH) и MPEGHAudioLevel (уровеньАудиоданныхMPEGH), показанные на фиг. 37, представляют, соответственно, информацию о конфигурации, информацию о профиле и информацию об уровне HOA-аудиоданных.

Приводимый в качестве примера синтаксис записи о "сэмплах" дорожки объектных метаданных

Фиг. 38 представляет собой схему, на которой показан приводимый в качестве примера синтаксис записи о "сэмплах" дорожки объектных метаданных (Object metadata track), показанной на фиг. 33.

ConfigurationVersion (версияКонфигурации), показанная на фиг. 38, представляет информацию о конфигурации метаданных.

Первый пример структуры сегмента файла аудиоданных, состоящего из трехмерных аудиоданных

Фиг. 39 представляет собой схему, на которой показан некоторый первый пример структуры сегмента файла аудиоданных, состоящего из трехмерных аудиоданных, в первом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

В структуре сегмента, показанной на фиг. 39, Начальный сегмент состоит из поля ftyp и поля moov. В поле moov расположены поля trak для каждой дорожки, входящей в состав файла аудиоданных. В поле moov расположено поле mvex, включающее в себя информацию, указывающую отношение соответствия между идентификатором дорожки для каждой дорожки и уровнем, используемым в поле ssix в пределах мультимедийного сегмента.

Кроме того, мультимедийный сегмент состоит из поля sidx, поля ssix и одного или более подсегментов. В поле sidx расположена информация о месте расположения, указывающая место расположения в файле аудиоданных каждого подсегмента. Поле ssix включает в себя информацию о месте расположения потока аудиоданных на каждом уровне, организованном в поле mdat. Отметим, что каждый уровень соответствует каждой дорожке. Кроме того, информация о месте расположения некоторой первой дорожки представляет собой информацию о месте расположения данных, состоящих из потоков аудиоданных поля moof и первой дорожки.

Подсегмент предусматривается для любой продолжительности времени. В подсегменте предусматривается пара, состоящая из поля moof и поля mdat, которые являются общими для всех дорожек. В поле mdat, потоки аудиоданных всех дорожек располагаются все вместе для любой продолжительности времени. В поле moof расположена информация управления потоками аудиоданных. Потоки аудиоданных каждой дорожки, расположенные в поле mdat, являются непрерывными для каждой дорожки.

В примере, показанном на фиг. 39, Track1 (Дорожка1), имеющая идентификатор дорожки, составляющий 1, представляет собой Базовую дорожку, а дорожки: с Track2 по trackN, имеющие идентификаторы дорожки, составляющие: с 2 по N, представляют собой, соответственно, Дорожку Канальных Аудиоданных, дорожку (дорожки) Объектных аудиоданных, дорожку HOA-аудиоданных и дорожку Объектных метаданных. То же самое справедливо в отношении фиг. 40, которая будет описана позже.

Второй пример структуры сегмента файла аудиоданных, состоящего из трехмерных аудиоданных

Фиг. 40 представляет собой схему, на которой показан некоторый второй пример структуры сегмента файла аудиоданных, состоящего из трехмерных аудиоданных, в первом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Структура сегмента, показанная на фиг. 40, отличается от структуры сегмента, показанной на фиг. 39 тем, что поле moof и поле mdat предусматриваются для каждой дорожки.

В частности, Начальный сегмент, показанный на фиг. 40, аналогичен Начальному сегменту, показанному на фиг. 39. Как и мультимедийный сегмент, показанный на фиг. 39, мультмедийный сегмент, показанный на фиг. 40, состоит из поля sidx, поля ssix и одного или более подсегментов. Кроме того, как и в поле sidx, показанном на фиг. 39, в поле sidx расположена информация о месте расположения каждого подсегмента. Поле ssix включает в себя информацию о месте расположения данных каждого уровня, которые состоят из поля moof и поля mdat.

Подсегмент предусматривается для любой продолжительности времени. В подсегменте предусматривается пара, состоящая из поля moof и поля mdat, для каждой дорожки. В частности, потоки аудиоданных каждой дорожки располагаются все вместе (перемежаются и хранятся) для любой продолжительности времени в поле mdat каждой дорожки, а в поле moof располагается информация управления потоками аудиоданных.

Как показано на фиг. 39 и 40, потоки аудиоданных для каждой дорожки располагаются все вместе для любой продолжительности времени, так что эффективность получения потоков аудиоданных через HTTP-протокол (Протокол передачи гипертекста) или тому подобное была повышена по сравнению со случаем, при котором потоки аудиоданных располагаются все вместе в секциях-"сэмплах".

Приводимое в качестве примера описание поля mvex

Фиг. 41 представляет собой схему, на которой показано приводимое в качестве примера описание поля присвоения уровня, которое расположено в поле mvex, показанном на фиг. 39 и 40.

Поле присвоения уровня представляет собой поле для установления ассоциативной связи идентификатора дорожки, имеющегося у каждой дорожки, с уровнем, используемым в поле ssix. В примере, показанном на фиг. 41, базовая дорожка, имеющая идентификатор дорожки, представляющий собой 1, ассоциативно связана с уровнем 0, а дорожка канальных аудиоданных, имеющая идентификатор дорожки, представляющий собой 2, ассоциативно связана с уровнем 1. Кроме того, дорожка HOA-аудиоданных, имеющая идентификатор дорожки, представляющий собой 3, ассоциативно связана с уровнем 2, а дорожка объектных метаданных, имеющая идентификатор дорожки, представляющий собой 4, ассоциативно связана с уровнем 3. Помимо этого, дорожка объектных аудиоданных, имеющая идентификатор дорожки, представляющий собой 10, ассоциативно связана с уровнем 4.

Приводимое в качестве примера описание MPD-файла

Фиг. 42 представляет собой схему, на которой показано приводимое в качестве примера описание MPD-файла в первом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Как показано на фиг. 42, в MPD-файле описываются "Representation" ("Представление") для управления сегментом файла (3daudio.mp4) аудиоданных, состоящего из трехмерных аудиоданных, "SubRepresentation" ("Подпредставление") для управления дорожками, входящими в состав сегмента, и тому подобное.

В состав "Representation" ("Представления") и "SubRepresentation" ("Подпредставления") включены "codecs" ("кодеки"), представляющие тип кодека соответствующего сегмента или дорожки в коде, определенном в формате файла трехмерных аудиоданных. Кроме того, в состав "Representation" ("Представления") включены "id" ("идентификатор"), "associationId" ("идентификаторАссоциативной связи"), и "assciationType" ("типАссоциативнойСвязи").

"id" представляет идентификатор "Представления", в состав которого входит "id" ("идентификатор"), "associationId" ("идентификаторАссоциативной связи") представляет информацию, указывающую на отношение ссылки между соответствующей дорожкой и другой дорожкой, и представляет "id" дорожки ссылки. "assciationType" (("типАссоциативнойСвязи")) представляет код, указывающий значение отношения ссылки (зависимое отношение) по отношению к дорожке ссылки. Например, используется то же самое значение, что и значение ссылки на дорожку в стандарте МР4.

Кроме того, в состав "SubRepresentation" ("Подпредставлении") входит "level" ("уровень"), который представляет собой значение, заданное в поле присвоения уровня как значение, представляющее соответствующую дорожку и соответствующий уровень. В состав "SubRepresentation" ("Подпредставления"), входит "dependency Level" ("уровеньЗависимости"), который является значением, представляющим уровень, соответствующий другой дорожке, имеющей отношение ссылки (зависимость), (в дальнейшем именуемой дорожкой ссылки).

Кроме того, "SubRepresentation" включает в себя <EssentialProperty schemeIdUri="urn:mpeg:DASH:3daudio:2014", value="audioType, contentkind, priority"> (<СущественноеСвойство идентификаторСхемыUri="urn:mpeg:DASH:3daudio:2014", значение = "типАудиоданных, разновидностьсодержания, приоритет">) как информацию, необходимую для выбора трехмерных аудиоданных.

Кроме того "SubRepresentation" ("Подпредставление") на дорожке Объектных аудиоданных включает в себя <EssentialProperty schemeIdUri="urn:mpeg:DASH:viewingAngle:2014", value = "θ, γ, r"> (<СущественноеСвойство идентификаторСхемыUri = "urn:mpeg:DASH:уголНаблюдения:2014", значение = "θ, γ, r">). В случае, когда объект, соответствующий "Подпредставлению" является неподвижным, θ, γ и r представляют, соответственно, горизонтальный угол, вертикальный угол, и расстояние в информации о месте расположения объекта. С другой стороны, в случае, когда объект сдвигается, значения θ, γ и r представляют, соответственно, максимальное значение горизонтального угла, максимальное значение вертикального угла и максимальное значение расстояния среди максимальных значений информации о месте расположения объекта.

Фиг. 43 представляет собой схему, на которой показано определение Существенного Свойства, показанного на фиг. 42.

С верхней левой стороны фиг. 43 определен AudioType (ТипАудиоданных) из состава<EssentialProperty schemeIdUri= "urn:mpeg:DASH:3daudio:2014" value= " audioType, contentkind, priority"> (<СущественноеСвойство идентификаторСхемыUri = "urn:mpeg:DASH:3daudio:2014", значение = "типАудиоданных, разновидностьсодержания, приоритет">). AudioType представляет тип трехмерных аудиоданных соответствующей дорожки.

В примере, показанном на фиг. 43, в случае, когда AudioType (ТипАудиоданных) указывает 1, это указывает на то, что аудиоданные соответствующей дорожки представляют собой Канальные аудиоданные трехмерных аудиоданных, а в случае, когда AudioType указывает 2, это указывает на то, что аудиоданные соответствующей дорожки представляют собой HOA-аудиоданные. Кроме того, в случае, когда AudioType указывает 3, это указывает на то, что аудиоданные соответствующей дорожки представляют собой Объектные аудиоданные, а случае, когда AudioType представляет собой 4, это указывает на то, что аудиоданные соответствующей дорожки представляют собой метаданные.

Кроме того, с правой стороны фиг. 43 определена contentkind (разновидностьсодержания) из состава<EssentialProperty schemeIdUri= "urn:mpeg:DASH:3daudio:2014" value= " audioType, contentkind, priority"> (<СущественноеСвойство идентификаторСхемыUri = "urn:mpeg:DASH:3daudio:2014", значение = "типАудиоданных, разновидностьсодержания, приоритет">). contentkind представляет содержание соответствующих аудиоданных. В примере, показанном на фиг. 43, например, в случае, когда contentkind указывает 3, соответствующие аудиоданные представляют собой музыку.

Как показано в нижней левой части фиг. 43, Priority (Приоритет) определяется посредством 23008-3 и представляет приоритет обработки соответствующего Объекта. Значение, представляющее приоритет обработки Объекта, описывается как Приоритет только тогда, когда это значение не изменяется на протяжении потока аудиоданных, в то время как в случае, когда значение изменяется на протяжении потока аудиоданных, описывается значение "0".

План системы обработки информации

Фиг. 44 представляет собой схему, на которой проиллюстрирован план системы обработки информации, которая (система) соответствует первому варианту воплощения, в котором применено настоящее раскрываемое изобретение.

Компоненты, показанные на фиг. 44, которые являются одинаковыми с компонентами, показанными на фиг. 1, обозначены теми же самыми ссылочными позициями. Повторное объяснение опускается, когда это уместно.

Система (140) обработки информации, показанная на фиг. 44, имеет конфигурацию, в который Web-сервер (142), который соединен с устройством (141) генерации файлов, соединен с воспроизводящим видеоданные оконечным устройством (141) посредством сети "Интернет".

В системе (140) обработки информации, Web-сервер (142) поставляет (поклеточно потоковым способом) поток видеоданных видеоконтента воспроизводящему видеоданные оконечному устройству (144) секциями-клетками способом, соответствующим стандарту MPEG-DASH. Кроме того, в системе (140) обработки информации, Web-сервер (142) поставляет воспроизводящему видеоданные оконечному устройству (144) поток аудиоданных, представляющий собой Объектные аудиоданные, Канальные аудиоданные или HOA-аудиоданные, соответствующие клетке, подлежащей воспроизведению.

Устройство (141) генерации файлов, входящее в состав системы (140) обработки информации, являются аналогичным устройству (11) генерации файлов, показанному на фиг. 11, за исключением, например, того, что в первом варианте воплощения изобретения файл аудиоданных генерируется блок (56) генерации файла аудиоданных и в первом варианте воплощения изобретения MPD-файл генерируется блоком (57) генерации MPD-ФАЙЛА.

В частности, устройство (141) генерации файлов получает данные изображения видеоконтента и кодирует эти данных изображения по секциям-клеткам для того, чтобы сгенерировать поток видеоданных. Устройство (141) генерации файлов обрабатывает поток видеоданных каждой клетки, преобразуя его в файловый формат. Устройство (141) генерации файлов загружает файл изображения каждой клетки, полученный в результате этого процесса, на Web-сервер (142).

Кроме того, устройство (141) генерации файлов получает трехмерные аудиоданные видеоконтента и кодирует эти трехмерные аудиоданные для каждого типа (Канальных аудиоданных/Объектных аудиоданных/HOA-аудиоданных/метаданных) трехмерных аудиоданных для того, чтобы сгенерировать поток аудиоданных. Устройство (141) генерации файлов назначает дорожки потоку аудиоданных для каждого типа трехмерных аудиоданных. Устройство (141) генерации файлов генерирует файл аудиоданных со структурой сегментов, показанной на фиг. 39 или 40, в которой поток аудиоданных каждой дорожки располагается в секциях-подсегментах, и загружает этот файл аудиоданных на Web-сервер (142).

Устройство (141) генерации файлов генерирует MPD-файл, включающий в себя информацию о размере кадра изображения, информацию о месте расположения клеток и информацию о месте расположения объектов. Устройство (141) генерации файлов загружает MPD-файл на Web-сервер (142).

Web-сервер (142) хранит файл изображения, файл аудиоданных и MPD-файл, которые загружены из устройства (141) генерации файлов.

В примере, показанном на фиг. 44, Web-сервер (142) хранит группу сегментов, образованную из файлов изображения множества сегментов клетки #1, и группу сегментов, образованную из файлов изображения множества сегментов клетки #2. Web-сервер (142) также хранит группу сегментов, образованную из файлов аудиоданных, состоящих из трехмерных аудиоданных.

Web-сервер (142) передает, воспроизводящему видеоданные оконечному устройству (144), файл изображения, файл аудиоданных, MPD-файл и тому подобное, хранящиеся на Web-сервере, в ответ на запрос, поступающий от воспроизводящего видеоданные оконечного устройства (144).

Воспроизводящее видеоданные оконечное устройство (144) исполняет управляющее программное обеспечение (161), программное обеспечение (162) воспроизведения видеоданных, программное обеспечение (163) доступа и тому подобное.

Управляющее программное обеспечение (161) представляет собой программное обеспечение для управления данными, подлежащими потоковой передаче с Web-сервера (142). В частности, управляющее программное обеспечение (161) заставляет воспроизводящее видеоданные оконечное устройство (144) получить MPD-файл от Web-сервера (142).

Кроме того, управляющее программное обеспечение (161) указывает клетку в области отображения на основе области отображения, заданной из программного обеспечения (162) воспроизведения видеоданных, и информации о месте расположения клеток, входящей в состав MPD-файла. После этого, управляющее программное обеспечение (161) отдает программному обеспечению (163) доступа команду передать запрос на файл изображения этой клетки.

В случае, когда воспроизведению подлежат Объектные аудиоданные, управляющее программное обеспечение (161) отдает программному обеспечению (163) доступа команду передать запрос на информацию о размере кадра изображения в файле аудиоданных, кроме того, управляющее программное обеспечение (161) отдает программному обеспечению (163) доступа команду передать запрос на поток аудиоданных, представляющий собой метаданные. Управляющее программное обеспечение (161) указывает объект, соответствующий изображению в области отображения, на основе информации о размере кадра изображения и информации о месте расположения объекта, входящих в состав этого потока аудиоданных, представляющий собой метаданные, которые передаются с Web-сервера (142) в соответствии с этой командой, и области отображения. После этого, управляющее программное обеспечение (161) отдает программному обеспечению (163) доступа команду передать запрос на поток аудиоданных этого объекта.

Кроме того, в случае, когда воспроизведению подлежат Канальные аудиоданные или HOA-аудиоданные, управляющее программное обеспечение (161) отдает программному обеспечению (163) доступа команду передать запрос на поток аудиоданных Канальных аудиоданных или HOA-аудиоданных.

Программное обеспечение (162) воспроизведения видеоданных представляет собой программное обеспечение для воспроизведения файла изображения и файла аудиоданных, которые получены от Web-сервера (142). В частности, когда пользователь указывает область отображения, программное обеспечение (162) воспроизведения видеоданных отдает управляющему программному обеспечению (161) команду передать данные об этой области отображения. Кроме того, программное обеспечение (162) воспроизведения видеоданных декодирует файл изображения и файл аудиоданных, полученные от Web-сервера (12) в соответствии с этой командой. Программное обеспечение (162) воспроизведения видеоданных осуществляет синтез и вывод этих данных изображения по секциям-клеткам, полученных в результате декодирования. Кроме того, программное обеспечение (162) воспроизведения видеоданных синтезирует и выводит, согласно тому, что требуется, Объектные аудиоданные, Канальные аудиоданные или HOA-аудиоданные, которые получены в результате декодирования.

Программное обеспечение (163) доступа представляет собой программное обеспечение для управления связью с Web-сервером (142) через сеть "Интернет" (13) с использованием HTTP (Протокола передачи гипертекста). В частности, программное обеспечение (163) доступа заставляет воспроизводящее видеоданные оконечное устройство (144), в ответ на команду от управляющего программного обеспечения (161), передавать запрос на информацию о размере кадра изображения или предварительно заданный поток аудиоданных в файле изображения и файле аудиоданных. Кроме того, программное обеспечение (163) доступа заставляет воспроизводящее видеоданные оконечное устройство (144) принимать информацию о размере кадра изображения или предварительно заданный поток аудиоданных в файле изображения и файле аудиоданных, которые передаются с Web-сервера (142) в ответ на запрос о передаче.

Пример конфигурации устройства генерации файлов

Фиг. 45 представляет собой структурную схему, на которой показан пример конфигурации устройства (141) генерации файлов, показанного на фиг. 44.

Компоненты, показанные на фиг. 45, которые являются одинаковыми с компонентами, показанными на фиг. 11, обозначены теми же самыми ссылочными позициями. Повторное объяснение опускается, когда это уместно.

Конфигурация устройства (141) генерации файлов, показанного на фиг. 45, отличается от конфигурации устройства (11) генерации файлов, показанного на фиг. 11, тем, что вместо блока (55) обработки данных при кодировании аудиоданных, блока (56) генерации файла аудиоданных, блок (57) генерации MPD-файла и блока (58) обработки данных при загрузке сервера предусматриваются блок (171) обработки данных при кодировании аудиоданных, блок (172) генерации файла аудиоданных, блок (173) генерации MPD-файла и блок (174) обработки данных при загрузке сервера.

В частности, блок (171) обработки данных при кодировании аудиоданных, входящий в состав устройства (141) генерации файлов, кодирует трехмерные аудиоданные видеоконтента, вводимого извне, для каждого типа (Канальных аудиоданных/объектных аудиоданных /HOA-аудиоданных/метаданных) для того, чтобы сгенерировать поток аудиоданных. Блок (171) обработки данных при кодировании аудиоданных снабжает этим потоком аудиоданных для каждого типа трехмерных аудиоданных блок (172) генерации файла аудиоданных.

Блок (172) генерации файла аудиоданных распределяет дорожки потоку аудиоданных, который подается из блока (171) обработки данных при кодировании аудиоданных, для каждого типа трехмерных аудиоданных. Блок (172) генерации файла аудиоданных генерирует файл аудиоданных со структурой сегментов, показанной на фиг. 39 или 40, в которой поток аудиоданных каждой дорожки располагается в секциях-подсегментах. При этом, блок (172) генерации файла аудиоданных сохраняет информацию о размере кадра изображения, введенную извне, в записи о "сэмплах". Блок (172) генерации файла аудиоданных снабжает этим сгенерированным файлом аудиоданных блок (173) генерации MPD-файла.

Блок (173) генерации MPD-файла определяет URL (Унифицированный указатель ресурса) или тому подобное Web-сервера (142), который сохраняет файл изображения каждой клетки, подаваемый из блока (53) генерации файла изображения. Кроме того, блок (173) генерации MPD-файла определяет URL-указатель или тому подобное Web-сервера (142), который сохраняет файл аудиоданных, подаваемый из блока (172) генерации файла аудиоданных.

Блок (173) генерации MPD-файла размещает информацию об изображении, подаваемую из блока (54) генерации информации об изображении, в "AdaptationSet" ("АдаптационномНаборе") для изображения в MPD-файле. Кроме того, блок (173) генерации MPD-файла размещает URL-указатель или тому подобное файла изображения каждой клетки в "Segment" ("Сегменте") в "Representation" ("Представлении") для файла изображения этой клетки.

Блок (173) генерации MPD-файла размещает URL-указатель или тому подобное файла аудиоданных в "Segment" ("Сегменте") в "Representation" ("Представлении") для этого файла аудиоданных. Кроме того, блок (173) генерации MPD-файла размещает информацию о месте расположения объекта или тому подобное по каждому объекту, введенную извне, в "Sub Representation" ("Подпредставлении") для дорожки Объектных метаданных этого объекта. Блок (173) генерации MPD-файла подает в блок (174) обработки данных при загрузке сервера MPD-файл, в котором различные порции информации расположены так, как это описано выше, и файл изображения и файл аудиоданных.

Блок (174) обработки данных при загрузке сервера загружает файл изображения, файл аудиоданных и MPD-файл каждой клетки, подаваемый из блока (173) генерации MPD-файла, на Web-сервер (142).

Объяснение процесса в устройстве генерации файлов

Фиг. 46 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерации файлов в устройстве (141) генерации файлов, показанном на фиг. 45.

Процесс на этапах: с S191 по S195, показанных на фиг. 46, является аналогичным процессу на этапах: c S11 по S15, показанных на фиг. 12, и, соответственно, его описание опускается.

На этапе S196, блок (171) обработки данных при кодировании аудиоданных кодирует трехмерные аудиоданные видеоконтента, вводимого извне, для каждого типа (Канальных аудиоданных/Объектных аудиоданных/HOA-аудиоданных/метаданных) для того, чтобы сгенерировать поток аудиоданных. Блок (171) обработки данных при кодировании аудиоданных снабжает этим потоком аудиоданных для каждого типа трехмерных аудиоданных блок (172) генерации файла аудиоданных.

На этапе S197, блок (172) генерации файла аудиоданных назначает дорожки потоку аудиоданных, который подается из блока (171) обработки данных при кодировании аудиоданных, для каждого типа трехмерных аудиоданных.

На этапе S198, блок (172) генерации файла аудиоданных генерирует файл аудиоданных со структурой сегментов, показанной на фиг. 39 или 40, в котором поток аудиоданных каждой дорожки располагается в секциях-подсегментах. При этом, блок (172) генерации файла аудиоданных сохраняет информацию о размере кадра изображения, введенную извне, в записи о "сэмплах". Блок (172) генерации файла аудиоданных снабжает этим сгенерированным файлом аудиоданных блок (173) генерации MPD-файла.

На этапе S199, блок (173) генерации MPD-файла генерирует MPD-файл, включающий в себя информацию об изображении, подаваемую из блока (54) генерации информации об изображении, URL-указатель каждого файла и информацию о месте расположения объектов. Блок (173) генерации MPD-файла снабжает блок (174) обработки данных при загрузке сервера файлом изображения, файлом аудиоданных и MPD-файлом.

На этапе S200, блок (174) обработки данных при загрузке сервера загружает файл изображения, файл аудиоданных и MPD-файл, которые подаются из блока (173) генерации MPD-файла, на Web-сервер (142). После этого процесс завершен.

Пример функциональной конфигурации воспроизводящего видеоданные оконечного устройства

Фиг. 47 представляет собой структурную схему, на которой показан пример конфигурации блока потокового воспроизведения, который реализован таким образом, что воспроизводящее видеоданные оконечное устройство (144), показанное на фиг. 44, исполняет управляющее программное обеспечение (161), программное обеспечение (162) воспроизведения видеоданных и программное обеспечение (163) доступа.

Компоненты, показанные на фиг. 47, которые являются одинаковыми с компонентами, показанными на фиг. 13, обозначены теми же самыми ссылочными позициями. Повторное объяснение опускается, когда это уместно.

Конфигурация блока (190) потокового воспроизведения, показанного на фиг. 47, отличается от конфигурации блока (90) потокового воспроизведения, показанного на фиг. 13, тем, что вместо блока (92) обработки MPD-файла, блока (94) выбора аудиоданных, блока (95) получения файла аудиоданных, блока (96) обработки данных при декодировании аудиоданных и блока (97) обработки данных при синтезе аудиоданных предусматриваются блок (191) обработки MPD-файла, блок (193) выбора аудиоданных, блок (192) получения файла аудиоданных, блок (194) обработки данных при декодировании аудиоданных и блок (195) обработки данных при синтезе аудиоданных, а блок (93) получения файла метаданных не предусмотрен.

Блок (190) потокового воспроизведения аналогичен блоку (90) потокового воспроизведения, показанному на фиг. 13, за исключением, например, способа получения аудиоданных, подлежащих воспроизведению, выбранного объекта.

В частности, блок (191) обработки MPD-файла, входящий в состав блока (190) потокового воспроизведения, извлекает из MPD-файла, подаваемого из блока (91) получения MPD-файла, информацию, такую как URL (Унифицированный указатель ресурса) файла аудиоданных сегмента, подлежащего воспроизведению, которая описана в "Segment" ("Сегменте") для файла аудиоданных, и снабжает этой извлеченной информацией блок (192) получения файла аудиоданных.

Блок (191) обработки MPD-файла извлекает из MPD-файла информацию о месте расположения клеток, описанную в "AdaptationSet" ("АдаптационномНаборе") для изображения, и снабжает этой извлеченной информацией блок (98) выбора изображения. Блок (191) обработки MPD-файла извлекает из MPD-файла информацию, такую как URL-указатель, описанную в "Segment" ("Сегменте") для файла изображения клетки, запрошенной из блока (98) выбора изображения, и снабжает этой извлеченной информацией блок (98) выбора изображения.

В случае, когда воспроизведению подлежат объектные аудиоданные, блок (192) получения файла аудиоданных запрашивает, на основе информации, такой как URL-указатель, подаваемой из блока (191) обработки MPD-файла, Web-сервер (142), чтобы тот передал Initial Segment (Начальный сегмент) Базовой дорожки в файле аудиоданных, указанном этим URL-указателем, и получает Начальный сегмент Базовой дорожки.

Кроме того, на основе информации, такой как URL-указатель файла аудиоданных, блок (192) получения файла аудиоданных запрашивает Web-сервер (142), чтобы тот передал поток аудиоданных дорожки объектных метаданных в файле аудиоданных, указанном этим URL-указателем, и получает этот поток аудиоданных дорожки объектных метаданных. Блок (192) получения файла аудиоданных снабжает блок (193) выбора аудиоданных информацией о месте расположения объектов, входящей в состав потока аудиоданных дорожки объектных метаданных, информацией о размере кадра изображения, входящей в состав Начального сегмента Базовой дорожки, и информацией, такой как URL-указатель файла аудиоданных.

Кроме того, в случае, когда воспроизведению подлежат Канальные аудиоданные, блок (192) получения файла аудиоданных запрашивает, на основе информации, такой как URL-указатель файла аудиоданных, Web-сервер (142), чтобы тот передал поток аудиоданных дорожки Канальных аудиоданных в файле аудиоданных, указанном этим URL-указателем, и получает этот поток аудиоданных дорожки Канальных аудиоданных. Блок (192) получения файла аудиоданных снабжает этим полученным потоком аудиоданных дорожки Канальных аудиоданных блок (194) обработки данных при декодировании аудиоданных.

В случае, когда воспроизведению подлежат HOA-аудиоданные, блок (192) получения файла аудиоданных выполняет процесс, аналогичный процессу, выполняемому в случае, когда воспроизведению подлежат Канальные аудиоданные. В результате этого, поток аудиоданных дорожки HOA-аудиоданных подается в блок (194) обработки данных при декодировании аудиоданных.

Отметим, что определение того, какие аудиоданные из числа: Объектных аудиоданных, Канальных аудиоданных и HOA-аудиоданных, подлежат воспроизведению, осуществляется, например, в соответствии с командой, поступающей от пользователя.

Блок (193) выбора аудиоданных вычисляет место расположения каждого объекта на изображении на основе информации о размере кадра изображения и информации о месте расположения объектов, подаваемых из блока (192) получения файла аудиоданных. Блок (193) выбора аудиоданных выбирает объект в области отображения, указываемой пользователем, на основе места расположения каждого объекта на изображении. На основе информации, такой как URL-указатель файла аудиоданных, подаваемой из блока (192) получения файла аудиоданных, блок (193) выбора аудиоданных запрашивает Web-сервер (142), чтобы тот передал поток аудиоданных дорожки Объектных аудиоданных для выбранного объекта в файле аудиоданных, указанном этим URL-указателем, и получает этот поток аудиоданных дорожки Объектных аудиоданных. Блок (193) выбора аудиоданных снабжает полученным потоком аудиоданных дорожки Объектных аудиоданных блок (194) обработки данных при декодировании аудиоданных.

Блок (194) обработки данных при декодировании аудиоданных декодирует поток аудиоданных дорожки Канальных аудиоданных или дорожки HOA-аудиоданных, подаваемый из блока (192) получения файла аудиоданных, или декодирует поток аудиоданных дорожки Объектных аудиоданных, подаваемый из блока (193) выбора аудиоданных. Блок (194) обработки данных при декодировании аудиоданных снабжает блок (195) обработки данных при синтезе аудиоданных одними аудиоданными из числа: Канальных аудиоданных, HOA-аудиоданных и Объектных аудиоданных, которые получены в результате декодирования.

Блок (195) обработки данных при синтезе аудиоданных синтезирует и выводит Объектные аудиоданные, Канальные аудиоданные или HOA-аудиоданные, подаваемые из блока (194) обработки данных при декодировании аудиоданных, согласно тому, что необходимо.

Объяснение процесса в воспроизводящем видеоданные оконечном устройстве

Фиг. 48 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс воспроизведения канальных аудиоданных, выполняемый в блоке (190) потокового воспроизведения, показанном на фиг. 47. Этот процесс воспроизведения канальных аудиоданных выполняется, например, в случае, когда пользователь выбирает в качестве объекта, подлежащего воспроизведению, Канальные аудиоданные.

На этапе S221, показанном на фиг. 48, блок (191) обработки MPD-файла анализирует MPD-файл, подаваемый из блока (91) получения MPD-файла, и указывает "SubRepresentation" ("Подпредставление") Канальных аудиоданных сегмента, подлежащего воспроизведению, на основе существенного свойства и кодека, описанных в "SubRepresentation" ("Подпредставлении"). Кроме, того, блок (191) обработки MPD-файла извлекает, из MPD-файла, информацию, такую как URL-указатель, описанную в "Segment" ("Сегменте") для файла аудиоданных сегмента, подлежащего воспроизведению, и снабжает этой извлеченной информацией блок (192) получения файла аудиоданных.

На этапе S222, блок (191) обработки MPD-файла указывает уровень Базовой дорожки, которая является дорожкой ссылки, на основе dependencyLevel (уровняЗависимости) в "SubRepresentation" ("Подпредставлении"), указанном на этапе S221, и снабжает этим указываемым уровнем Базовой дорожки блок (192) получения файла аудиоданных.

На этапе S223, блок (192) получения файла аудиоданных запрашивает Web-сервер (142), чтобы тот передал Initial Segment (Начальный Сегмент) для сегмента, подлежащего воспроизведению, на основе информации, такой как URL-указатель, подаваемой из блока (191) обработки MPD-файла, и получает этот Начальный Сегмент.

На этапе S224, блок (192) получения файла аудиоданных получает, из Поля присвоения уровня в Начальном Сегменте, идентификаторы дорожек, соответствующие уровням дорожки канальных аудиоданных и Базовой дорожки, которая является дорожкой ссылки.

На этапе S225, блок (192) получения файла аудиоданных получает, на основе идентификаторов дорожки, принадлежащих дорожке канальных аудиоданных и Базовой дорожке, которая является дорожкой ссылки, запись о "сэмплах" Начального Сегмента в поле trak, соответствующем идентификатору дорожки начального сегмента. Блок (192) получения файла аудиоданных снабжает блок (194) обработки данных при декодировании аудиоданных информацией кодека, входящей в состав полученной записи о "сэмплах".

На этапе S226, на основе информации, такой как URL-указатель, подаваемой из блока (191) обработки MPD-файла, блок (192) получения файла аудиоданных посылает запрос Web-серверу (142) и получает поле sidx и поле ssix из заголовка файла аудиоданных сегмента, подлежащего воспроизведению.

На этапе S227, блок (192) получения файла аудиоданных получает, из поля sidx и поля ssix, которые получены на этапе S223, информацию о месте расположения дорожки ссылки и дорожки канальных аудиоданных сегмента, подлежащего воспроизведению. В этом случае, поскольку Базовая дорожка, которая является дорожкой ссылки, не включает в себя никакого потока аудиоданных, информация о месте расположении дорожки ссылки отсутствует.

На этапе S228, блок (192) получения файла аудиоданных, на основе информации о месте расположения дорожки канальных аудиоданных и информации, такой как URL-указатель файла аудиоданных сегмента, подлежащего воспроизведению, запрашивает Web-сервер (142), чтобы тот передал поток аудиоданных дорожки канальных аудиоданных, расположенной в поле mdat, и получает этот поток аудиоданных дорожки канальных аудиоданных. Блок (192) получения файла аудиоданных снабжает полученным потоком аудиоданных дорожки канальных аудиоданных блок (194) обработки данных при декодировании аудиоданных.

На этапе S229, блок (194) обработки данных при декодировании аудиоданных декодирует поток аудиоданных дорожки канальных аудиоданных на основе информации кодека, предоставленной из блока (192) получения файла аудиоданных. Блок (192) получения файла аудиоданных снабжает канальными аудиоданными, полученными в результате декодирования, блок (195) обработки данных при синтезе аудиоданных.

На этапе S230, блок (195) обработки данных при синтезе аудиоданных выводит эти канальные аудиоданные. После этого, процесс завершен.

Отметим, что, хотя это и не показано на чертежах, процесс воспроизведения HOA-аудиоданных, предназначенный для воспроизведения HOA-аудиоданных блоком (190) потокового воспроизведения, выполняется способом, аналогичным процессу воспроизведения канальных аудиоданных, показанному на фиг. 48.

Фиг. 49 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс указания объекта, выполняемый в блоке (190) потокового воспроизведения, показанном на фиг. 47. Этот процесс указания объекта выполняется, например, в случае, когда пользователь выбирает в качестве объекта, подлежащего воспроизведению, Объектные аудиоданные, и область воспроизведения изменяется.

На этапе S251, показанном на фиг. 49, блок (193) выбора аудиоданных получает область отображения, указываемую пользователем посредством пользовательской операции или тому подобного.

На этапе S252, блок (191) обработки MPD-файла анализирует MPD-файл, подаваемый из блока (91) получения MPD-файла, и указывает "SubRepresentation" ("Подпредставление") метаданных сегмента, подлежащего воспроизведению, на основе существенного свойства и кодека, описанных в "SubRepresentation" ("Подпредставлении"). Кроме, того, блок (191) обработки MPD-файла извлекает, из MPD-файла, информацию, такую как URL-указатель файла аудиоданных сегмента, подлежащего воспроизведению, которая описана в "Segment" ("Сегменте") для файла аудиоданных и снабжает этой извлеченной информацией блок (192) получения файла аудиоданных.

На этапе S253, блок (191) обработки MPD-файла указывает уровень Базовой дорожки, которая является дорожкой ссылки, на основе dependencyLevel (уровняЗависимости) в "SubRepresentation" ("Подпредставлении"), указанном на этапе S221, и снабжает этим указываемым уровнем Базовой дорожки блок (192) получения файла аудиоданных.

На этапе S254, блок (192) получения файла аудиоданных запрашивает Web-сервер (142), чтобы тот передал Initial Segment (Начальный сегмент) для сегмента, подлежащего воспроизведению, на основе информации, такой как URL-указатель, подаваемой из блока (191) обработки MPD-файла, и получает этот начальный сегмент.

На этапе S255, блок (192) получения файла аудиоданных получает, из Поля присвоения уровня в начальном сегменте, идентификаторы дорожек, соответствующие уровням дорожки объектных метаданных и Базовой дорожки, которая является дорожкой ссылки.

На этапе S256, блок (192) получения файла аудиоданных получает, на основе идентификаторов дорожки для дорожки объектных метаданных и Базовой дорожки, которая является дорожкой ссылки, запись о "сэмплах" начального сегмента в поле trak, соответствующем идентификатору дорожки начального сегмента. Блок (192) получения файла аудиоданных снабжает блок (193) выбора аудиоданных информацией о размере кадра изображения, входящей в состав записи о "сэмплах" Базовой дорожки, которая является дорожкой ссылки. Кроме того, блок (192) получения файла аудиоданных снабжает блок (193) выбора аудиоданных Начальным Сегментом.

На этапе S257, на основе информации, такой как URL-указатель, подаваемой из блока (191) обработки MPD-файла, блок (192) получения файла аудиоданных посылает запрос Web-серверу (142) и получает поле sidx и поле ssix из заголовка файла аудиоданных сегмента, подлежащего воспроизведению.

На этапе S258, блок (192) получения файла аудиоданных получает, из поля sidx и поля ssix, полученных на этапе S257, информацию о месте расположения дорожки ссылки и дорожки объектных метаданных сегмента, подлежащего воспроизведению. В этом случае, поскольку Базовая дорожка, которая является дорожкой ссылки, не включает в себя никакого потока аудиоданных, информация о месте расположении дорожки ссылки отсутствует. Блок (192) получения файла аудиоданных передает поле sidx и поле ssix в блок (193) выбора аудиоданных.

На этапе S259, блок (192) получения файла аудиоданных, на основе информации о месте расположения дорожки объектных метаданных и информации, такой как URL-указатель файла аудиоданных сегмента, подлежащего воспроизведению, запрашивает Web-сервер (142), чтобы тот передал поток аудиоданных дорожки объектных метаданных, расположенной в поле mdat, и получает этот поток аудиоданных дорожки объектных метаданных.

На этапе S260, блок (192) получения файла аудиоданных декодирует поток аудиоданных дорожки объектных метаданных, полученный на этапе S259, на основе информации кодека, входящей в состав записи о "сэмплах", полученной на этапе S256. Блок (192) получения файла аудиоданных снабжает блок (193) выбора аудиоданных информацией о месте расположения объектов, входящей в состав метаданных, полученных в результате декодирования. Кроме того, блок (192) получения файла аудиоданных снабжает блок (193) выбора аудиоданных информацией, такой как URL-указатель файла аудиоданных, поданной из блока (191) обработки MPD-файла.

На этапе S261, блок (193) выбора аудиоданных выбирает объект в области отображения на основе информации о размере кадра изображения и информации о месте расположения объектов, подаваемых из блока (192) получения файла аудиоданных, и на основе области отображения, указываемой пользователем. После этого, процесс завершен.

Фиг. 50 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс воспроизведения аудиоданных конкретного объекта, выполняемый блоком (190) потокового воспроизведения, после процесса указания объекта, который (процесс) показан на фиг. 49.

На этапе S281, показанном на фиг. 50, блок (191) обработки MPD-файла анализирует MPD-файл, подаваемый из блока (91) получения MPD-файла, и указывает "SubRepresentation" ("Подпредставление") объектных аудиоданных выбранного объекта, на основе существенного свойства и кодека, описанных в "SubRepresentation" ("Подпредставлении").

На этапе S282, блок (191) обработки MPD-файла указывает уровень Базовой дорожки, которая является дорожкой ссылки, на основе dependencyLevel (уровняЗависимости) в "SubRepresentation" ("Подпредставлении"), указанном на этапе S281, и снабжает этим указываемым уровнем Базовой дорожки блок (192) получения файла аудиоданных.

На этапе S283, блок (192) получения файла аудиоданных получает, из Поля присвоения уровня в Initial Segment (Начальном Сегменте), идентификаторы дорожек, соответствующие уровням дорожки объектных аудиоданных и Базовой дорожки, которая является дорожкой ссылки, и снабжает этими идентификаторами дорожек блок (193) выбора аудиоданных.

На этапе S284, блок (192) получения файла аудиоданных получает, на основе идентификаторов дорожки, принадлежащих дорожке объектных аудиоданных и Базовой дорожке, которая является дорожкой ссылки, запись о "сэмплах" Начального Сегмента в поле trak, соответствующем идентификатору дорожки начального сегмента. Этот Начальный Сегмент подается из блока (192) получения файла аудиоданных на этапе S256, показанном на фиг. 49. Блок (193) выбора аудиоданных снабжает информацией кодека, входящей в состав полученной записи о "сэмплах", блок (194) обработки данных при декодировании аудиоданных.

На этапе S285, блок (193) выбора аудиоданных получает, из поля sidx и поля ssix, подаваемых на этапе S258 из блока (192) получения файла аудиоданных, информацию о месте расположения дорожки ссылки и дорожки объектных аудиоданных выбранного объекта подсегмента, подлежащего воспроизведению. В этом случае, поскольку Базовая дорожка, которая является дорожкой ссылки, не включает в себя никакого потока аудиоданных, информация о месте расположении дорожки ссылки отсутствует.

На этапе S286, блок (193) выбора аудиоданных, на основе информации о месте расположения дорожки объектных аудиоданных и информации, такой как URL-указатель файла аудиоданных сегмента, подлежащего воспроизведению, запрашивает Web-сервер (142), чтобы тот передал поток аудиоданных дорожки объектных аудиоданных выбранного объекта, которая расположена в поле mdat, и получает этот поток аудиоданных дорожки объектных метаданных. Блок (193) выбора аудиоданных снабжает этим полученным потоком аудиоданных дорожки объектных аудиоданных блок (194) обработки данных при декодировании аудиоданных.

На этапе S287, блок (194) обработки данных при декодировании аудиоданных декодирует поток аудиоданных дорожки объектных аудиоданных на основе информации кодека, предоставленной из блока (193) выбора аудиоданных. Блок (193) выбора аудиоданных снабжает объектными аудиоданными, полученными в результате декодирования, блок (195) обработки данных при синтезе аудиоданных.

На этапе S288, блок (195) обработки данных при синтезе аудиоданных синтезирует и выводит объектные аудиоданные, подаваемые из блока (194) обработки данных при декодировании аудиоданных. После этого, процесс завершен.

Как было описано выше, в системе (140) обработки информации, устройство (141) генерации файлов генерирует файл аудиоданных, в котором трехмерные аудиоданные разделена на множество дорожек в зависимости от этих типов трехмерных аудиоданных, и эти дорожки упорядочены. Воспроизводящее видеоданные оконечное устройство (144) получает поток аудиоданных предварительно заданного типа трехмерных аудиоданных в этом файле аудиоданных. Соответственно, воспроизводящее видеоданные оконечное устройство (144) может эффективно получать поток аудиоданных предварительно заданных типов трехмерных аудиоданных. Следовательно, можно сказать, что устройство (141) генерации файлов генерирует файл аудиоданных, способный повысить эффективность получения потока аудиоданных предварительно заданного типа трехмерных аудиоданных.

Второй вариант воплощения изобретения

План дорожек

Фиг. 51 представляет собой схему, на которой проиллюстрирован план дорожек в некотором втором варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Как показано на фиг. 51, второй вариант воплощения изобретения отличается от первого варианта воплощения изобретения тем, что записывается базовый "сэмпл" в качестве "сэмпла" Базовой дорожки. Базовый сэмпл образован из информации, к которой следует обращаться за "сэмплом" Канальных аудиоданных/Объектных аудиоданных/HOA-аудиоданных/метаданных. "Сэмпл" Канальных аудиоданных/Объектных аудиоданных/HOA-аудиоданных/метаданных, к которому следует обращаться посредством ссылочной информацией, входящей в состав базового "сэмпла", расположен в порядке расположения этой ссылочной информации, что позволяет генерировать поток аудиоданных для трехмерных аудиоданных прежде, чем эти трехмерные аудиоданные разделены на дорожки.

Приводимый в качестве примера синтаксис записи о "сэмплах" базовой дорожки

Фиг. 52 представляет собой схему, на которой показан приводимый в качестве примера синтаксис записи о "сэмплах" базовой дорожки, показанной на фиг. 51.

Синтаксис, показанный на фиг. 52, является таким же, как синтаксис, показанный на фиг. 34, за исключением того, что вместо "mha1", представляющего то, что запись о "сэмплах" является записью о "сэмплах" для Базовой дорожки, показанной на фиг. 33, описан "mha2", представляющий то, что запись о "сэмплах" является записью о "сэмплах" для Базовой дорожки, показанной на фиг. 51.

Приводимая в качестве примера структура базового "сэмпла"

Фиг. 53 представляет собой схему, на которой показана приводимая в качестве примера структура базового "сэмпла".

Как показано на фиг. 53, базовый "сэмпл" сконфигурирован с использованием экстрактора (извлекателя) Канальных аудиоданных/Объектных аудио данных/HOA-аудиоданных/метаданные в секциях-"сэмплах" как "подсэмпла". Экстрактор Канальных аудиоданных/Объектных аудиоданных /HOA-аудиоданных/метаданных, состоит из типа экстрактора и смещения и размера "подсэмпла" соответствующей дорожки Канальных аудиоданных /дорожки (дорожек) Объектных аудиоданных/дорожки HOA-аудиоданных/дорожки Объектных метаданных. Это смещение представляет собой разность между позицией базового "сэмпла" в файле "подсэмпла" базового "сэмпла" и позицией дорожки Канальных аудиоданных /дорожки (дорожек) Объектных аудиоданных/дорожки HOA-аудиоданных/дорожки Объектных метаданных в файле "сэмпла". Другими словами, смещение представляет собой информацию, указывающую место расположения в пределах файла "сэмпла" другой дорожки, соответствующей "подсэмплу" базового "сэмпла", включающему в себя это смещение.

Фиг. 54 представляет собой схему, на которой показан приводимый в качестве примера синтаксис базового "сэмпла".

Как показано на фиг. 54, в базовом "сэмпле", SCE-элемент для хранения объектных аудиоданных в "сэмпле" дорожки Объектных аудиоданных заменен элементом ЕХТ для хранения экстрактора.

Фиг. 55 представляет собой схему, на которой показан пример данных экстрактора.

Как показано на фиг. 55, в экстракторе описаны тип экстрактора и смещение и размер "подсэмпла" соответствующей дорожки Канальных аудиоданных/дорожка (дорожек) Объектных аудиоданных/дорожки HOA-аудиоданных/дорожки Объектных метаданных.

Отметим, что экстрактор может быть расширен с использованием структуры Уровня Сетевой Абстракции (NAL-уровня), которая определена в стандарте Усовершенствованного кодирования видеоданных (AVC)/Высокоэффективного кодирования видеоданных (HEVC), так, чтобы можно было хранить информацию об элементах и конфигурации аудиоданных.

Система обработки информации и процесс, выполняемый системой обработки информации, во втором варианте воплощения изобретения аналогичны таковым по первому варианту воплощения изобретения, и, соответственно, их описания опускаются.

Третий вариант воплощения изобретения

План дорожек)

Фиг. 56 представляет собой схему, на которой проиллюстрирован план дорожек в некотором третьем варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Как показано на фиг. 56, третий вариант воплощения изобретения отличается от первого варианта воплощения изобретения тем, что базовый "сэмпл" и "сэмпл" метаданных записываются как "сэмпл" базовой дорожки, а дорожка объектных метаданных не предусматривается.

Система обработки информации и процесс, выполняемый системой обработки информации, в третьем варианте воплощения изобретения аналогичны таковым по первому варианту воплощения изобретения, за исключением того, что, чтобы получить информацию о месте расположения объектов, вместо дорожки Объектных метаданных получают поток аудиоданных базовой дорожки. Соответственно, описания этих системы и процесса опускаются.

Четвертый вариант воплощения изобретения

План дорожек

Фиг. 57 представляет собой схему, на которой проиллюстрирован план дорожек в четвертом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Как показано на фиг. 57, четвертый вариант воплощения изобретения отличается от первого варианта воплощения изобретения тем, что дорожки повторно записываются как различные файлы (3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3da_meta.mp4). В этом случае, при получении файла требуемой дорожки посредством HTTP (Протокола передачи гипертекста) могут быть получены только аудиоданные требуемой дорожки. Соответственно, аудиоданные требуемой дорожки могут быть эффективно получены посредством HTTP-протокола.

Приводимое в качестве примера описание MPD-файла

Фиг. 58 представляет собой схему, на которой показано приводимое в качестве примера описание MPD-файла в соответствии с четвертым вариантом воплощения, в которому применено настоящее раскрываемое изобретение.

Как показано на фиг. 58, в MPD-файле описывается "Representation" ("Представление") или тому подобное, что управляет сегментом каждого файла аудиоданных (3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3da_meta.mp4) трехмерных аудиоданных.

"Representation" ("Представление") включает в себя "codecs" ("кодеки"), "id" ("идентификатор"), "associationId" ("идентификаторАссоциативнойСвязи"), и "assciationType" ("типАссоциативнойСвязи"). Кроме того, "Representation" ("Представление") дорожки Канальных аудиоданных/дорожки (дорожек) Объектных аудиоданных/дорожки HOA-аудиоданных/дорожки Объектных метаданных также включает в себя "<EssentialProperty schemeIdUri= "urn:mpeg:DASH:3daudio:2014" value=" audioType, contentkind, priority">" ("<СущественноеСвойство идентификаторСхемыUri = "urn:mpeg:DASH:трехмерныеаудиоданные:2014", значение = "audioType (типАудиоданных), разновидностьсодержания, приоритет">". Кроме того, "Representation" ("Представление") дорожки (дорожек) Объектных аудиоданных включает в себя <EssentialProperty schemeIdUri="urn:mpeg:DASH:viewingAngle:2014" value="θ, γ, r"> (<СущественноеСвойство идентификаторСхемыUri = "urn:mpeg:DASH:уголНаблюдения:2014", значение = "θ, γ, r">.

План системы обработки информации

Фиг. 59 представляет собой схему, на которой проиллюстрирован план системы обработки информации в четвертом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Компоненты, показанные на фиг. 59, которые являются одинаковыми с компонентами, показанными на фиг. 1, обозначены теми же самыми ссылочными позициями. Повторное объяснение опускается, когда это уместно.

Система (210) обработки информации, показанная на фиг. 59, имеет конфигурацию, в которой Web-сервер (212), который соединен с устройством (211) генерации файлов и воспроизводящим видеоданные оконечным устройством (214), соединены посредством сети "Интернет".

В системе (210) обработки информации, Web-сервер (212) поставляет (поклеточно потоковым способом) поток видеоданных видеоконтента воспроизводящему видеоданные оконечному устройству (214) секциями-клетками способом, соответствующим стандарту MPEG-DASH. Кроме того, в системе (210) обработки информации, Web-сервер (212) поставляет воспроизводящему видеоданные оконечному устройству (214) файл аудиоданных, представляющий собой объектные аудиоданные, канальные аудиоданные или HOA-аудиоданные, соответствующие файлу, подлежащему воспроизведению.

В частности, устройство (211) генерации файлов получает данные изображения видеоконтента и кодирует эти данные изображения по секциям-клеткам для того, чтобы сгенерировать поток видеоданных. Устройство (211) генерации файлов обрабатывает поток видеоданных каждой клетки, преобразуя в файловый формат для каждого сегмента. Устройство (211) генерации файлов загружает файл изображения каждого файла, полученного в результате вышеописанного процесса, на Web-сервер (212).

Кроме того, устройство (211) генерации файлов получает трехмерные аудиоданные видеоконтента и кодирует эти трехмерные аудиоданные для каждого типа (канальных аудиоданных/объектных аудиоданных/HOA-аудиоданных/метаданных) трехмерных аудиоданных для того, чтобы сгенерировать поток аудиоданных. Устройство (211) генерации файлов назначает дорожки потоку аудиоданных для каждого типа трехмерных аудиоданных. Устройство (211) генерации файлов генерирует файл аудиоданных, в котором поток аудиоданных организован для каждой дорожки, и загружает этот файл аудиоданных на Web-сервер (212).

Устройство (211) генерации файлов генерирует MPD-файл, включающий в себя информацию о размере кадра изображения, информацию о месте расположения клеток и информацию о месте расположения объектов. Устройство (211) генерации файлов загружает MPD-файл на Web-сервер (212).

Web-сервер (212) хранит файл изображения, загруженный из устройства (211) генерации файлов, файл аудиоданных для каждого типа трехмерных аудиоданных и MPD-файл.

В примере, показанном на фиг. 59, Web-сервер (212) хранит группу сегментов, образованную из файлов изображения множества сегментов клетки #1, и группу сегментов, образованную из файлов изображения множества сегментов клетки #2. Web-сервер (212) также хранит группу сегментов, образованную из файла аудиоданных Канальных аудиоданных, и группу сегментов файла аудиоданных объекта #1.

Web-сервер (212) передает, воспроизводящему видеоданные оконечному устройству (214), файл изображения, предварительно заданный тип файла аудиоданных трехмерных аудиоданных, MPD-файл и тому подобное, которые хранятся на Web-сервере, в ответ на запрос, поступающий от воспроизводящего видеоданные оконечного устройства (214).

Воспроизводящее видеоданные оконечное устройство (214) исполняет управляющее программное обеспечение (221), программное обеспечение (222) воспроизведения видеоданных, программное обеспечение (223) доступа и тому подобное.

Управляющее программное обеспечение (221) представляет собой программное обеспечение для управления данными, подлежащими потоковой передаче с Web-сервера (212). В частности, управляющее программное обеспечение (221) заставляет воспроизводящее видеоданные оконечное устройство (214) получить MPD-файл от Web-сервера (212).

Кроме того, управляющее программное обеспечение (221) указывает клетку в MPD-файле на основе области отображения, заданной из программного обеспечения (222) воспроизведения видеоданных, и информации о месте расположения клеток, входящей в состав MPD-файла. После этого, управляющее программное обеспечение (221) отдает программному обеспечению (223) доступа команду отправить запрос на передачу файла изображения этой клетки.

В случае, когда воспроизведению подлежат Объектные аудиоданные, управляющее программное обеспечение (221) отдает программному обеспечению (223) доступа команду отправить запрос на передачу файла аудиоданных Базовой дорожки. Кроме того, управляющее программное обеспечение (221) отдает программному обеспечению (223) доступа команду отправить запрос на передачу файла аудиоданных дорожки Объектных метаданных. Управляющее программное обеспечение (221) получает информацию о размере кадра изображения, в файле аудиоданных Базовой дорожки, который передан с Web-сервера (142) в соответствии с этой командой, и информацию о месте расположения объектов, входящую в состав файла аудиоданных метаданных. Управляющее программное обеспечение (221)указывает объект, соответствующий изображению в области отображения, на основе информации о размере кадра изображения, информации о месте расположения объектов и области отображения. Кроме того, управляющее программное обеспечение (221) отдает программному обеспечению (223) доступа команду отправить запрос на передачу файла аудиоданных этого объекта.

Кроме того, в случае, когда воспроизведению подлежат Канальные аудиоданные или HOA-аудиоданные, управляющее программное обеспечение (221) отдает программному обеспечению (223) доступа команду отправить запрос на передачу файла аудиоданных Канальных аудиоданных или HOA-аудиоданных.

Программное обеспечение (222) воспроизведения видеоданных представляет собой программное обеспечение для воспроизведения файла изображения и файла аудиоданных, которые получены от Web-сервера (212). В частности, когда пользователь указывает область отображения, программное обеспечение (222) воспроизведения видеоданных отдает управляющему программному обеспечению (221) команду об этой области отображения. Кроме того, программное обеспечение (222) воспроизведения видеоданных декодирует файл изображения и файл аудиоданных, полученные от Web-сервера (212) в соответствии с этой командой. Программное обеспечение (222) воспроизведения видеоданных осуществляет синтез и вывод этих данных изображения по секциям-клеткам, полученных в результате декодирования. Кроме того, программное обеспечение (222) воспроизведения видеоданных синтезирует и выводит, согласно тому, что требуется, Объектные аудиоданные, Канальные аудиоданные или HOA-аудиоданные, полученные в результате декодирования.

Программное обеспечение (223) доступа представляет собой программное обеспечение для управления связью с Web-сервером (212) через сеть "Интернет" (13) с использованием HTTP (Протокола передачи гипертекста). В частности, программное обеспечение (223) доступа заставляет воспроизводящее видеоданные оконечное устройство (214), в ответ на команду от управляющего программного обеспечения (221), передавать запрос на передачу файла изображения и предварительно заданного файла аудиоданных. Кроме того, программное обеспечение (223) доступа заставляет воспроизводящее видеоданные оконечное устройство (214) принимать файл изображения и предварительно заданный файл аудиоданных, которые передаются с Web-сервера (212) в соответствии с запросом о передаче.

Пример конфигурации устройства генерации файлов

Фиг. 60 представляет собой структурную схему устройства (211) генерации файлов, показанного на фиг. 59.

Компоненты, показанные на фиг. 60, которые являются одинаковыми с компонентами, показанными на фиг. 45, обозначены теми же самыми ссылочными позициями. Повторное объяснение опускается, когда это уместно.

Конфигурация устройства (211) генерации файлов, показанного на фиг. 60, отличается от конфигурации устройства (141) генерации файлов, показанного на фиг. 45, тем, что вместо блока (172) генерации файла аудиоданных, блока (173) генерации MPD-файла и блока (174) обработки данных при загрузке сервера предусматриваются, соответственно, блок (241) генерации файла аудиоданных, блок (242) генерации MPD-файла и блок (243) обработки данных при загрузке сервера.

В частности, блок (241) генерации файла аудиоданных, входящий в состав устройства (211) генерации файлов, назначает дорожки потоку аудиоданных, который подается из блока (171) обработки данных при кодировании аудиоданных, для каждого типа трехмерных аудиоданных. Блок (241) генерации файла аудиоданных генерирует файл аудиоданных, в котором поток аудиоданных организован для каждой дорожки. При этом, блок (241) генерации файла аудиоданных сохраняет информацию о размере кадра изображения, вводимую извне, в записи о "сэмплах" Базовой дорожки. Блок (241) генерации файла аудиоданных снабжает этим файлом аудиоданных для каждого типа трехмерных аудиоданных блок (242) генерации MPD-файла.

Блок (242) генерации MPD-файла определяет URL (Унифицированный указатель ресурса) или тому подобное Web-сервера (212), который сохраняет файл изображения каждой клетки, подаваемый из блока (53) генерации файла изображения. Кроме того, блок (242) генерации MPD-файла определяет, для каждого типа трехмерных аудиоданных, URL-указатель или тому подобное Web-сервера (212), который сохраняет файл аудиоданных, подаваемый из блока (241) генерации файла аудиоданных.

Блок (242) генерации MPD-файла размещает, в "AdaptationSet" ("АдаптационномНаборе") для изображения в MPD-файле, информацию об изображении, подаваемую из блока (54) генерации информации об изображении. Кроме того, блок (242) генерации MPD-файла размещает URL-указатель или тому подобное файла изображения каждой клетки в "Segment" ("Сегменте") в "Representation" ("Представлении") для файла изображения этой клетки.

Блок (242) генерации MPD-файла размещает, для каждого типа трехмерных аудиоданных, URL-указатель или тому подобное файла аудиоданных в "Segment" ("Сегменте") в "Representation" ("Представлении") для этого файла аудиоданных. Кроме того, блок (242) генерации MPD-файла размещает информацию о месте расположения объекта или тому подобное по каждому объекту, введенную извне, в "Representation" ("Представлении") для дорожки Объектных метаданных этого объекта. Блок (242) генерации MPD-файла подает в блок (174) обработки данных при загрузке сервера MPD-файл, в котором различные порции информации расположены так, как это описано выше, файл изображения и файл аудиоданных для каждого типа трехмерных аудиоданных.

Блок (243) обработки данных при загрузке сервера загружает файл изображения каждой клетки, подаваемый из блока (242) генерации MPD-файла, файл аудиоданных для каждого типа трехмерных аудиоданных и MPD-файл на Web-сервер (212).

Объяснение процесса в устройстве генерации файлов

Фиг. 61 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерации файлов в устройстве (211) генерации файлов, показанном на фиг. 60.

Процесс на этапах: с S301 по S307, показанных на фиг. 61, является аналогичным процессу на этапах: с S191 по S197, показанных на фиг. 46, и, соответственно, его описание опускается.

На этапе S308, блок (241) генерации файла аудиоданных генерирует файл аудиоданных, в котором поток аудиоданных организован для каждой дорожки. При этом, блок (241) генерации файла аудиоданных сохраняет информацию о размере кадра изображения, вводимую извне, в записи о "сэмплах" в файле аудиоданных Базовой дорожки. Блок (241) генерации файла аудиоданных снабжает этим сгенерированным файлом аудиоданных для каждого типа трехмерных аудиоданных блок (242) генерации MPD-файла.

На этапе S309, блок (242) генерации MPD-файла генерирует MPD-файл, включающий в себя информацию об изображении, подаваемую из блока (54) генерации информации об изображении, URL-указатель каждого файла и информацию о месте расположения объектов. Блок (242) генерации MPD-файла подает в блок (243) обработки данных при загрузке сервера файл изображения, файл аудиоданных для каждого типа трехмерных аудиоданных и MPD-файл.

На этапе S310, блок (243) обработки данных при загрузке сервера загружает файл изображения, подаваемый из блока (242) генерации MPD-файла, файл аудиоданных для каждого типа трехмерных аудиоданных и MPD-файл на Web-сервер (212). После этого, процесс завершен.

Пример функциональной конфигурации воспроизводящего видеоданные оконечного устройства

Фиг. 62 представляет собой структурную схему, на которой показан пример конфигурации блока потокового воспроизведения, который реализован таким образом, что воспроизводящее видеоданные оконечное устройство (214), показанное на фиг. 59, исполняет управляющее программное обеспечение (221), программное обеспечение (222) воспроизведения видеоданных и программное обеспечение (223) доступа.

Компоненты, показанные на фиг. 62, которые являются одинаковыми с компонентами, показанными на фиг. 13 и 47, обозначены теми же самыми ссылочными позициями. Повторное объяснение опускается, когда это уместно.

Конфигурация блока (260) потокового воспроизведения, показанного на фиг. 62, отличается от конфигурации блока (90) потокового воспроизведения, показанного на фиг. 13, тем, что вместо блока (92) обработки MPD-файла, блока (93) получения файла метаданных, блока (94) выбора аудиоданных, блока (95) получения файла аудиоданных, блока (96) обработки данных при декодировании аудиоданных и блока (97) обработки данных при синтезе аудиоданных предусматриваются соответственно блок (261) обработки MPD-файла, блок (262) получения файла метаданных, блок (263) выбора аудиоданных, блок (264) получения файла аудиоданных, блок (194) обработки данных при декодировании аудиоданных и блок (195) обработки данных при синтезе аудиоданных.

В частности, в случае, когда воспроизведению подлежат Объектные аудиоданные, блок (261) обработки MPD-файла, входящий в состав блока (260) потокового воспроизведения, извлекает, из MPD-файла, подаваемого из блока (91) получения MPD-файла, информацию, такую как URL-указатель, описанную в "Segment" ("Сегменте") файла аудиоданных дорожки объектных метаданных сегмента, подлежащего воспроизведению, и снабжает этой извлеченной информацией блок (262) получения файла метаданных. Кроме того, блок (261) обработки MPD-файла извлекает, из MPD-файла, информацию, такую как URL-указатель, описанную в "Segment" ("Сегменте") файла аудиоданных дорожки объектных аудиоданных объекта, запрашиваемого из блока (263) выбора аудиоданных, и снабжает этой извлеченной информацией блок (263) выбора аудиоданных. Кроме того, блок (261) обработки MPD-файла извлекает, из MPD-файла, информацию, такую как URL-указатель, описанную в "Segment" ("Сегменте") файла аудиоданных Базовой дорожки сегмента, подлежащего воспроизведению, и снабжает этой извлеченной информацией блок (262) получения файла метаданных.

Кроме того, в случае, когда воспроизведению подлежат Канальных аудиоданные или HOA-аудиоданные, блок (261) обработки MPD-файла извлекает, из MPD-файла, информацию, такую как URL-указатель, описанную в "Segment" ("Сегменте") файла аудиоданных дорожки Канальных аудиоданных или дорожки HOA-аудиоданных сегмента, подлежащего воспроизведению. Блок (261) обработки MPD-файла снабжает блок (264) получения файла аудиоданных этой информацией, такой как URL-указатель, через блок (263) выбора аудиоданных.

Отметим, что определение того, какие аудиоданные из числа: Объектных аудиоданных, Канальных аудиоданных и HOA-аудиоданных, подлежат воспроизведению, осуществляется, например, в соответствии с командой, поступающей от пользователя.

Блок (261) обработки MPD-файла извлекает, из MPD-файла, информацию о месте расположения клеток, описанную в "AdaptationSet" ("АдаптационномНаборе") для изображения, и снабжает этой извлеченной информацией о месте расположения клеток блок (98) выбора изображения. Блок (261) обработки MPD-файла извлекает, из MPD-файла, информацию, такую как URL-указатель, описанную в "Segment" ("Сегменте") для файла изображения клетки, запрошенной из блока (98) выбора изображения, и снабжает этой извлеченной информацией блок (98) выбора изображения.

На основе информации, такой как URL-указатель, подаваемой из блока (261) обработки MPD-файла, блок (262) получения файла метаданных запрашивает Web-сервер (212), чтобы тот передал файл аудиоданных дорожки объектных метаданных, указанной этим URL-указателем, и получает этот файл аудиоданных дорожки объектных метаданных. Блок (93) получения файла метаданных снабжает блок (263) выбора аудиоданных информацией о месте расположения объектов, входящей в состав файла аудиоданных дорожки объектных метаданных.

Кроме того, на основе информации, такой как URL-указатель файла аудиоданных, блок (262) получения файла метаданных запрашивает Web-сервер (142), чтобы тот передал Initial Segment (Начальный Сегмент) файла аудиоданных Базовой дорожки, указанной этим URL-указателем, и получает этот начальный сегмент. Блок (262) получения файла метаданных снабжает блок (263) выбора аудиоданных информацией о размере кадра изображения, входящей в состав записи о "сэмплах" в начальном сегменте.

Блок (263) выбора аудиоданных вычисляет место расположения каждого объекта на изображении на основе информации о размере кадра изображения и информации о месте расположения объекта, подаваемой из блока (262) получения файла метаданных. Блок (263) выбора аудиоданных выбирает объект в области отображения, указываемой пользователем, на основе места расположения каждого объекта на изображении. Блок (263) выбора аудиоданных запрашивает блок (261) обработки MPD-файла, чтобы тот передал информацию, такую как URL-указатель файла аудиоданных дорожки объектных аудиоданных для выбранного объекта. Блок (263) выбора аудиоданных снабжает блок (264) получения файла аудиоданных информацией, такой как URL-указатель, подаваемой, в соответствии с этим запросом, из блока (261) обработки MPD-файла.

На основе информации, такой как URL-указатель файла аудиоданных дорожки объектных аудиоданных, дорожки Канальных аудиоданных или дорожки HOA-аудиоданных, подаваемой из блока (263) выбора аудиоданных, блок (264) получения файла аудиоданных запрашивает Web-сервер (12), чтобы тот передал поток аудиоданных файла аудиоданных, указанного этим URL-указателем, и получает этот поток аудиоданных файла аудиоданных. Блок (95) получения файла аудиоданных снабжает этим полученным файлом аудиоданных с секциями-объектами блок (194) обработки данных при декодировании аудиоданных.

Объяснение процесса в воспроизводящем видеоданные оконечном устройстве

Фиг. 63 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс воспроизведения канальных аудиоданных, выполняемый в блоке (260) потокового воспроизведения, показанном на фиг. 62. Этот процесс воспроизведения канальных аудиоданных выполняется, например, в случае, когда пользователь выбирает в качестве объекта, подлежащего воспроизведению, Канальные аудиоданные.

На этапе S331, показанном на фиг. 63, блок (261) обработки MPD-файла анализирует MPD-файл, подаваемый из блока (91) получения MPD-файла, и указывает "Representation" ("Представление") Канальных аудиоданных сегмента, подлежащего воспроизведению, на основе существенного свойства и кодека, описанных в "Representation" ("Представлении"). Кроме, того, блок (261) обработки MPD-файла извлекает информацию, такую как URL-указатель файла аудиоданных дорожки Канальных данных сегмента, подлежащего воспроизведению, описанную в "Segment" ("Сегменте"), входящем в состав этого "Representation" ("Представления"), и снабжает этой извлеченной информацией через блок (263) выбора аудиоданных блок (264) получения файла аудиоданных.

На этапе S332, блок (261) обработки MPD-файла указывает "Representation" ("Представление") Базовой дорожки, которая является дорожкой ссылки, на основе associationId (идентификатораАссоциативнойСвязи) в "Representation" ("Представлении"), указанном на этапе S331. Блок (261) обработки MPD-файла извлекает информацию, такую как URL-указатель файла аудиоданных дорожки ссылки, описанную в "Segment" ("Сегменте"), входящем в состав этого "Представления", и снабжает этим извлеченным файлом через блок (263) выбора аудиоданных блок (264) получения файла аудиоданных.

На этапе S333, блок (264) получения файла аудиоданных запрашивает Web-сервер (212), чтобы тот передал Initial Segment (Начальный Сегмент) файлов аудиоданных дорожки Канальных аудиоданных сегмента, подлежащего воспроизведению, и дорожки ссылки на основе информации, такой как URL-указатель, подаваемой из блока (263) выбора аудиоданных, и получает этот Начальный Сегмент.

На этапе S334, блок (264) получения файла аудиоданных получает запись о "сэмплах" в поле trak полученного Initial Segment (Начального Сегмента). Блок (264) получения файла аудиоданных подает в блок (194) обработки данных при декодировании аудиоданных информацию кодека, входящую в состав этой полученной записи о "сэмплах".

На этапе S335, блок (264) получения файла аудиоданных отправляет запрос Web-серверу (142) на основе информации, такой как URL-указатель, подаваемой из блока (263) выбора аудиоданных, и получает поле sidx и поле ssix из заголовка файла аудиоданных дорожки Канальных аудиоданных сегмента, подлежащего воспроизведению.

На этапе S336, блок (264) получения файла аудиоданных получает из поля sidx и поля ssix, полученных на этапе S333, информацию о месте расположения подсегмента, подлежащего воспроизведению.

На этапе S337, блок (263) выбора аудиоданных, на основе информации о месте расположения, полученной на этапе S337, и информации, такой как URL-указатель файла аудиоданных дорожки канальных аудиоданных сегмента, подлежащего воспроизведению, запрашивает Web-сервер (142), чтобы тот передал поток аудиоданных дорожки канальных аудиоданных, расположенный в поле mdat в этом файле аудиоданных, и получает этот поток аудиоданных дорожки канальных аудиоданных. Блок (263) выбора аудиоданных снабжает этим полученным потоком аудиоданных дорожки канальных аудиоданных блок (194) обработки данных при декодировании аудиоданных.

На этапе S338, блок (194) обработки данных при декодировании аудиоданных декодирует поток аудиоданных дорожки канальных аудиоданных, подаваемый из блока (263) выбора аудиоданных, на основе информации кодека, подаваемой из блока (264) получения файла аудиоданных. Блок (263) выбора аудиоданных снабжает канальными аудиоданными, полученными в результате декодирования, блок (195) обработки данных при синтезе аудиоданных.

На этапе S339, блок (195) обработки данных при синтезе аудиоданных выводит эти канальные аудиоданные. После этого, процесс завершен.

Хотя это и не показано на чертежах, процесс воспроизведения HOA-аудиоданных, предназначенный для воспроизведения HOA-аудиоданных блоком (260) потокового воспроизведения, выполняется способом, аналогичным процессу воспроизведения канальных аудиоданных, показанному на фиг. 63.

Фиг. 64 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс воспроизведения объектных аудиоданных, выполняемый в блоке (260) потокового воспроизведения, показанном на фиг. 62. Этот процесс воспроизведения объектных аудиоданных выполняется, например, в случае, когда пользователь выбирает в качестве объекта, подлежащего воспроизведению, Объектные аудиоданные, и область воспроизведения изменяется.

На этапе S351, показанном на фиг. 64, блок (263) выбора аудиоданных получает область отображения, указываемую пользователем посредством пользовательской операции или тому подобного.

На этапе S352, блок (261) обработки MPD-файла анализирует MPD-файл, подаваемый из блока (91) получения MPD-файла, и указывает "Representation" ("Представление") метаданных сегмента, подлежащего воспроизведению, на основе существенного свойства и кодека, описанных в "Representation" ("Представлении"). Кроме, того, блок (261) обработки MPD-файла извлекает информацию, такую как URL-указатель файла аудиоданных дорожки объектных метаданных сегмента, подлежащего воспроизведению, которая описана в "Segment" ("Сегменте"), входящем в состав этого "Representation" ("Представления"), и снабжает этой извлеченной информацией блок (262) получения файла метаданных.

На этапе S353, блок (261) обработки MPD-файла указывает "Representation" ("Представление") Базовой дорожки, которая является дорожкой ссылки, на основе associationId (идентификатораАссоциативнойСвязи) в "Representation" ("Представлении"), указанном на этапе S352. Блок (261) обработки MPD-файла извлекает информацию, такую как URL-указатель файла аудиоданных дорожки ссылки, описанную в "Segment" ("Сегменте"), входящем в состав этого "Представления", и снабжает этой извлеченной информацией блок (262) получения файла метаданных.

На этапе S354, блок (262) получения файла метаданных запрашивает Web-сервер (212), чтобы тот передал Initial Segment (Начальный Сегмент) файлов аудиоданных дорожки объектных метаданных сегмента, подлежащего воспроизведению, и дорожки ссылки, основываясь на информации, такой как URL-указатель, подаваемой из блока (261) обработки MPD-файла, и получает этот Начальный Сегмент.

На этапе S355, блок (262) получения файла метаданных получает запись о "сэмплах" в поле trak полученного Initial Segment (Начального Сегмента). Блок (262) получения файла метаданных снабжает блок (264) получения файла аудиоданных информацией о размере кадра изображения, входящей в состав этой записи о "сэмплах", входящей в состав Базовой дорожки, которая является дорожкой ссылки.

На этапе S356, блок (262) получения файла метаданных отправляет запрос Web-серверу (142) на основе информации, такой как URL-указатель, подаваемой из блока (261) обработки MPD-файла, и получает поле sidx и поле ssix из заголовка файла аудиоданных дорожки объектных метаданных сегмента, подлежащего воспроизведению.

На этапе S357, блок (262) получения файла метаданных получает из поля sidx и поля ssix, полученных на этапе S356, информацию о месте расположения подсегмента, подлежащего воспроизведению.

На этапе S358, блок (262) получения файла метаданных, на основе информации о месте расположения, полученной на этапе S357, и информации, такой как URL-указатель файла аудиоданных дорожки объектных метаданных сегмента, подлежащего воспроизведению, запрашивает Web-сервер (142), чтобы тот передал поток аудиоданных дорожки объектных метаданных, расположенной в поле mdat в файле аудиоданных, получает этот поток аудиоданных дорожки объектных метаданных.

На этапе S359, блок (262) получения файла метаданных декодирует поток аудиоданных дорожки объектных метаданных, полученный на этапе S358, на основе информации кодека, входящей в состав записи о "сэмплах", полученной на этапе S355. Блок (262) получения файла метаданных снабжает блок (263) выбора аудиоданных информацией о месте расположения объектов, входящей в состав метаданных, полученных в результате декодирования.

На этапе S360, блок (263) выбора аудиоданных, на основе информации о размере кадра изображения и информации о месте расположения объектов, подаваемой из блока (262) получения файла метаданных, и на основе области отображения, указываемой пользователем, выбирает объект в области отображения. Блок (263) выбора аудиоданных запрашивает блок (261) обработки MPD-файла, чтобы тот передал информацию, такую как URL-указатель файла аудиоданных дорожки объектных аудиоданных для выбранного объекта.

На этапе S361, блок (261) обработки MPD-файла анализирует MPD-файл, подаваемый из блока (91) получения MPD-файла, и указывает "Representation" ("Представление") объектных аудиоданных выбранного объекта на основе существенного свойства и кодека, описанных в "Representation" ("Представлении"). Кроме того, блок (261) обработки MPD-файла извлекает информацию, такую как URL-указатель файла аудиоданных дорожки объектных аудиоданных выбранного объекта для сегмента, подлежащего воспроизведению, описанную в "Segment" ("Сегменте"), входящем в состав "Representation" ("Представления"), и снабжает этой извлеченной информацией, через блок (263) выбора аудиоданных, блок (264) получения файла аудиоданных.

На этапе S362, блок (261) обработки MPD-файла, на основе associationId (идентификатораАссоциативнойСвязи) в "Representation" ("Представлении"), указанном на этапе S361, указывает "Representation" ("Представление") Базовой дорожки, которая является дорожкой ссылки. Блок (261) обработки MPD-файла извлекает информацию, такую как URL-указатель файла аудиоданных дорожки ссылки, описанную в "Segment" ("Сегменте"), входящем в состав этого "Представления", и снабжает этой извлеченной информацией, через блок (263) выбора аудиоданных, блок (264) получения файла аудиоданных.

На этапе S363, блок (264) получения файла аудиоданных, на основе информации, такой как URL-указатель, подаваемой из блока (263) выбора аудиоданных, запрашивает Web-сервер (212), чтобы тот передал Initial Segment (Начальный Сегмент) файлов аудиоданных дорожки объектных аудиоданных сегмента, подлежащего воспроизведению, и дорожки ссылки, и получает этот Начальный Сегмент.

На этапе S364, блок (264) получения файла аудиоданных получает запись о "сэмплах" в поле trak полученного Initial Segment (Начального Сегмента). Блок (264) получения файла аудиоданных снабжает информацией кодека, входящей в состав этой записи о "сэмплах", блок (194) обработки данных при декодировании аудиоданных.

На этапе S365, блок (264) получения файла аудиоданных, на основе информации, такой как URL-указатель, подаваемой из блока (263) выбора аудиоданных, отправляет запрос Web-серверу (142), и получает поле sidx и поле ssix из заголовка файла аудиоданных дорожки объектных аудиоданных сегмента, подлежащего воспроизведению.

На этапе S366, блок (264) получения файла аудиоданных получает из поля sidx и поля ssix, полученных на этапе S365, информацию о месте расположения подсегмента, подлежащего воспроизведению.

На этапе S367, блок (264) получения файла аудиоданных, на основе информации о месте расположения, полученной на этапе S366, и информации, такой как URL-указатель файла аудиоданных дорожки объектных аудиоданных сегмента, подлежащего воспроизведению, запрашивает Web-сервер (142), чтобы тот передал поток аудиоданных дорожки объектных аудиоданных, расположенной в поле mdat в пределах этого файла аудиоданных, и получает этот поток аудиоданных дорожки объектных аудиоданных. Блок (264) получения файла аудиоданных снабжает этим полученным потоком аудиоданных дорожки объектных аудиоданных блок (194) обработки данных при декодировании аудиоданных.

Процесс на этапах S368 и S369 является аналогичным процессу на этапах S287 и S288, показанных на фиг. 50, и, соответственно, его описание опускается.

Отметим, что в вышеприведенном описании, блок (263) выбора аудиоданных выбирает все объекты в области отображения. Однако, блок (263) выбора аудиоданных может выбирать в области отображения только объекты с высоким приоритетом обработки, или может выбирать только звуковой объект некоторого предварительно заданного содержания.

Фиг. 65 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс воспроизведения объектных аудиоданных, выполняемый в случае, когда блок (263) выбора аудиоданных выбирает среди объектов в области отображения только объекты с высоким приоритетом обработки.

Процесс воспроизведения объектных аудиоданных, показанный на фиг. 65, аналогичен процессу воспроизведения объектных аудиоданных, показанному на фиг. 64, за исключением того, что вместо этапа S360, показанного на фиг. 64, выполняется процесс на этапе S390, показанный на фиг. 65. В частности, процесс на этапах: с S381 по S389, и этапах: с S391 по S399, показанный на фиг. 65, аналогичен процессу на этапах: с S351 по S359, и этапах: с S361 по S369, показанному на фиг. 64. Соответственно, ниже будет описан только процесс на этапе S390.

На этапе S390, показанном на фиг. 65, блок (264) получения файла аудиоданных выбирает в области отображения объект с высоким приоритетом обработки, основываясь на информации о размере кадра изображения, информации о месте расположения объектов, области отображения и приоритете каждого объекта. В частности, блок (264) получения файла аудиоданных указывает каждый объект в области отображения, основываясь на информации о размере кадра изображения, информации о месте расположения объектов и области отображения. Блок (264) получения файла аудиоданных выбирает, из числа указанных объектов, объект, имеющий приоритет, равный или более высокий, чем некоторое предварительно заданное значение. Отметим, что, например, блок (261) обработки MPD-файла анализирует MPD-файл, при этом получая приоритет из "Representation" ("Представления") объектных аудиоданных указанного объекта. Блок (263) выбора аудиоданных запрашивает блок (261) обработки MPD-файла, чтобы тот передал информацию, такую как URL-указатель файла аудиоданных дорожки объектных аудиоданных для выбранного объекта.

Фиг. 66 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс воспроизведения объектных аудиоданных, выполняемый в случае, когда блок (263) выбора аудиоданных выбирает среди объектов в области отображения только звуковые объекты предварительно заданного содержания с высоким приоритетом обработки.

Процесс воспроизведения объектных аудиоданных, показанный на фиг. 66, аналогичен процессу воспроизведения объектных аудиоданных, показанному на фиг. 64, за исключением того, что вместо этапа S360, показанного на фиг. 64, выполняется процесс на этапе S420, показанный на фиг. 66. В частности, процесс на этапах: с S381 по S389, и этапах: с S391 по S399, показанный на фиг. 66, аналогичен процессу на этапах: с S411 по S419, и этапах: с S421 по S429, показанному на фиг. 64. Соответственно, ниже будет описан только процесс на этапе S420.

На этапе S420, показанном на фиг. 66, блок (264) получения файла аудиоданных выбирает в области отображения звуковой объект предварительно заданного содержания с высоким приоритетом обработки, основываясь на информации о размере кадра изображения, информации о месте расположения объектов, области отображения, приоритете каждого объекта и contentkind (разновидностьсодержания). В частности, блок (264) получения файла аудиоданных указывает каждый объект в области отображения, основываясь на информации о размере кадра изображения, информации о месте расположения объектов и области отображения. Блок (264) получения файла аудиоданных выбирает, из числа указанных объектов, объект, который имеет приоритет, равный или более высокий, чем некоторое предварительно заданное значение, и имеет contentkind (разновидностьсодержания), указанную некоторым предварительно заданным значением.

Отметим, что, например, блок (261) обработки MPD-файла анализирует MPD-файл, при этом получая приоритет и contentkind (разновидностьсодержания) из "Representation" ("Представления") объектных аудиоданных указанного объекта. Блок (263) выбора аудиоданных запрашивает блок (261) обработки MPD-файла, чтобы тот передал информацию, такую как URL-указатель файла аудиоданных дорожки объектных аудиоданных для выбранного объекта.

Фиг. 67 представляет собой схему, на которой показан пример объекта, выбираемого на основе приоритета.

В примере, показанном на фиг. 67, объекты: с #1 (object1 (объект1)) по #4 (object4 (объект4)) представляют собой объекты в области отображения, и из числа этих объектов в области отображения выбираются объекты, имеющие приоритет, равный или меньший чем 2. Предположим что чем меньше это число, тем выше приоритет обработки. Кроме того, на фиг. 67, обведенные окружностью числа представляют значение приоритета соответствующего объекта.

В примере, показанном на фиг. 67, в случае, когда приоритеты объектов: с #1 по #4, составляют, соответственно, 1, 2, 3 и 4, выбираются объект #1 и объект #2. Далее, приоритеты объектов: с #1 по #4, изменяются на, соответственно, 3, 2,1 и 4, выбираются объект #2 и объект #3. Далее, когда приоритеты объектов: с #1 по #4, изменяются на 3, 4, 1 и 2, выбираются объект #3 и объект #4.

Как было описано выше, из числа объектов в области отображения избирательно получают только поток аудиоданных объектных аудиоданных для объектов, имеющих высокий приоритет обработки, полоса частот между Web-сервером (142, 212) и воспроизводящим видеоданные оконечным устройством (144, 214) используется эффективно. То же самое справедливо и в случае, когда объект выбирается на основе contentkind (разновидностьсодержания) объекта.

Пятый вариант воплощения изобретения

План дорожек

Фиг. 68 представляет собой схему, на которой проиллюстрирован план дорожек в некотором пятом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Как показано на фиг. 68, пятый вариант воплощения изобретения отличается от второго варианта воплощения изобретения тем, что дорожки записываются как различные файлы (3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3da_meta.mp4).

Система обработки информации и процесс, выполняемый системой обработки информации, в соответствии с пятым вариантом воплощения изобретения аналогичны таковым по четвертому варианту воплощения изобретения, и, соответственно, их описания опускаются.

Шестой вариант воплощения изобретения

План дорожек

Фиг. 69 представляет собой схему, на которой проиллюстрирован план дорожек в некотором шестом варианте воплощения, в котором применено настоящее раскрываемое изобретение.

Как показано на фиг. 69, шестой вариант воплощения изобретения отличается от третьего варианта воплощения изобретения тем, что дорожки повторно записываются как различные файлы (3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3 da_meta.mp4).

Система обработки информации и процесс, выполняемый системой обработки информации, в соответствии с шестым вариантом воплощения изобретения аналогичны таковым по четвертому варианту воплощения изобретения, за исключением того, что, чтобы получить информацию о месте расположения объектов, вместо дорожки Объектных метаданных получают поток аудиоданных Базовой дорожки. Соответственно, описания этих системы и процесса опускаются.

Отметим, что также в вариантах воплощения: с первого по третий, пятом варианте воплощения изобретения и шестом варианте воплощения изобретения, объект в области отображения может быть выбран на основе приоритета или contentkind (разновидность содержания) объекта.

Кроме того, в вариантах воплощения: с первого по шестой, блок потокового воспроизведения может получать поток аудиоданных объектов, находящихся вне области отображения, и синтезировать и выводить объектные аудиоданные этих объектов, как блок (120) потокового воспроизведения, показанный на фиг. 23.

Кроме того, в вариантах воплощения: с первого по шестой, информацию о месте расположения объектов получают из метаданных, но вместо этого информацию о месте расположения объектов можно получать из MPD-файла.

Объяснение иерархической структуры трехмерных аудиоданных

Фиг. 70 представляет собой схему, на которой показана иерархическая структура трехмерных аудиоданных.

Как показано на фиг. 70, в качестве аудиоданных в трехмерных аудиоданных используются элементы аудиоданных (Элементы), которые различаются для каждого вида аудиоданных. В качестве типов элементов аудиоданных имеются Элемент Единственного Канала (SCE-элемент) и Элемент Пары Каналов (CPE-элемент). Тип элемента аудиоданных, являющегося аудиоданными для одного канала, представляет собой SCE-элемент), а тип элемента аудиоданных, являющегося аудиоданными для двух каналов, представляет собой СРЕ-элемент.

Элементы аудиоданных, относящиеся к одному и тому же типу аудиоданных (Каналу/Объекту/SAOC-объектам (Пространственного кодирования звуковых объектов)/HOA (аудиоданным с амбиофоническим эффектом более высокого порядка)) образуют группу. Примеры типа группы (GroupType) включают в себя каналы, объекты, SAOC-объекты и HOA. Две или больше групп могут, согласно тому, что необходимо, образовывать группу переключения или предварительно заданный набор групп.

Группа переключения определяет группу элементов аудиоданных, которые подлежат взаимоисключающему воспроизведению. В частности, как показано на фиг. 70, когда имеются группа Объектных аудиоданных для английского языка (EN) и группа Объектных аудиоданных для французского языка (FR), воспроизведению подлежит одна из этих групп. Соответственно, Группа переключения образована из группы Объектных аудиоданных для английского языка, имеющей идентификатор группы, представляющий собой 2, и группы Объектных аудиоданных для французского языка, имеющей идентификатор группы, представляющий собой 3. Таким образом, Объектные аудиоданные для английского языка и Объектные аудиоданные для французского языка воспроизводятся взаимоисключающим образом.

С другой стороны, Предварительно заданный набор групп определяет некоторое сочетание групп, запланированное производителем контента.

В качестве метаданных трехмерных аудиоданных использую элементы Ext (Ext-элементы), которые различаются для каждого вида метаданных. Примеры типа Ext-элементов включают в себя объектные метаданные, Метаданные SAOC 3D, HOA-метаданные, DRC-метаданные, SpatialFrame (ПространственныйКадр) и SaocFrame (SaocКадр). Ext-элементы Объектных метаданных представляют собой все метаданные Объектных аудиоданных, а Ext-элементы Метаданных SAOC 3D представляют собой все метаданные SAOC-аудиоданных. Кроме того, Ext-элементы HOA-метаданных представляют собой все метаданные HOA-аудиоданных, а Ext-элементы метаданных динамического управления диапазоном (DRC) представляют собой все метаданные Объектных аудиоданных, SAOC-аудиоданных и HOA-аудиоданных.

Как было описано выше, аудиоданные трехмерных аудиоданных разделены на секции элементов аудиоданных, типов групп, групп, групп переключения и предварительно заданных наборов групп. Соответственно, вместо деления аудиоданных на дорожки для каждого типа группы (в этом случае, однако, объектные аудиоданные разделены на каждый объект), как в вариантах воплощения: с первого по шестой, аудиоданные могут быть разделены на элементы аудиоданных, группы, Группы переключения или предварительно заданные наборы групп.

Кроме того, метаданные трехмерных аудиоданных разделены на секции типа Ext-элемента (ExtElementType) или элемента аудиоданных, соответствующего этим метаданным. Соответственно, вместо деления метаданных по каждому типу Ext-элемента, как в вариантах воплощения: с первого по шестой, метаданные могут быть разделены по каждому элементу аудиоданных, соответствующему этим метаданным.

Предположим, что в нижеследующем описании аудиоданные разделены по каждому элементу аудиоданных; метаданные разделены по каждому типу Ext-элемента; и данные различных дорожек упорядочены. То же самое справедливо и в случае, когда используются другие секции деления.

Объяснение первого примера процесса на Web-сервере

Фиг. 71 представляет собой схему, на которой проиллюстрирован некоторый первый пример процесса на Web-сервере (142, 212).

В примере, показанном на фиг. 71, трехмерные аудиоданные, соответствующие файлу аудиоданных, загружаемому из устройства (141, 211) генерации файлов, состоят из канальных аудиоданных пяти каналов, объектных аудиоданных трех объектов и метаданных объектных аудиоданных (Объектных метаданных).

Канальные аудиоданные пяти каналов разделены на канальных аудиоданные переднего центрального (FC) канала, канальные аудиоданные передних левого/правого (FL, FR) каналов, и канальные аудиоданные задних левого/правого (RL, RR) каналов, которые организованы как данные различных дорожек. Кроме того, объектные аудиоданные каждого объекта организованы как данные различных дорожек. Помимо этого, Объектные метаданные организованы как данные одной дорожки.

Кроме того, как показано на фиг. 71, каждый поток аудиоданных трехмерных аудиоданных состоит из информации о конфигурации и данных в секциях-кадрах ("сэмплах"). В примере, показанном на фиг. 71, в потоке аудиоданных файла аудиоданных, канальные аудиоданные пяти каналов, объектные аудиоданные трех объектов и информация о конфигурации, состоящая из Объектных метаданных, расположены все вместе, и элементы данных каждого кадра расположены все вместе.

В этом случае, как показано на фиг. 71, Web-сервер (142, 212) разделяет, для каждой дорожки, поток аудиоданных файла аудиоданных, загружаемого из устройства (141, 211) генерации файлов, и генерирует поток аудиоданных, состоящий из семи дорожек. В частности, Web-сервер (142, 212) извлекает, из потока аудиоданных файла аудиоданных, информацию о конфигурации каждой дорожки и аудиоданные в соответствии с информацией, такой как поле ssix, и генерируется поток аудиоданных каждой дорожки. Поток аудиоданных каждой дорожки состоит из информации о конфигурации дорожки и аудиоданных каждого кадра.

Фиг. 72 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс разделения на дорожки, выполняемый на Web-сервере (142, 212). Этот процесс разделения на дорожки начинается, например, тогда, когда файл аудиоданных загружается из устройства (141, 211) генерации файлов.

На этапе S441, показанном на фиг. 72, Web-сервер (142, 212) сохраняет файл аудиоданных, загружаемый из устройства (141) генерации файлов.

На этапе S442, Web-сервер (142, 212) разделяет поток аудиоданных, составляющий файл аудиоданных, для каждой дорожки в соответствии с информацией, такой как поле ssix файла аудиоданных.

На этапе S443, Web-сервер (142, 212) сохраняет поток аудиоданных каждой дорожки. После этого, процесс завершен. Этот поток аудиоданных передается с Web-сервера (142, 212) на воспроизводящее видеоданные оконечное устройство (144, 214), когда этот поток аудиоданных затребуют из блока (192, 264) получения файла аудиоданных, входящего в состав воспроизводящего видеоданные оконечного устройства (144, 214).

Объяснение первого примера процесса в блоке обработки данных при декодировании аудиоданных

Фиг. 73 представляет собой схему, на которой проиллюстрирован некоторый первый пример процесса в блоке (194) обработки данных при декодировании аудиоданных, когда Web-сервер (142, 212) выполняет процесс, описанный выше со ссылкой на фиг. 71 и 72.

В примере, показанном на фиг. 73, Web-сервер (142, 212) сохраняет поток аудиоданных каждой дорожки, показанной на фиг. 71. Дорожки, подлежащие воспроизведению, представляют собой дорожки канальных аудиоданных передних левого/правого каналов, канальные аудиоданные задних левого/правого каналов, объектные аудиоданные первого объекта, и Объектные метаданные. То же самое справедливо и для фиг. 75, которая будет описана позже.

В этом случае, блок (192, 264) получения файла аудиоданных получает дорожки канальных аудиоданных передних левого/правого каналов, канальных аудиоданных задних левого/правого каналов, объектных аудиоданных первого объекта, и Объектных метаданных.

Блок (194) обработки данных при декодировании аудиоданных сначала извлекает из потока аудиоданных дорожки Объектных метаданных, полученного блоком (192, 264) получения файла аудиоданных, поток аудиоданных, состоящий из метаданных объектных аудиоданных первого объекта.

После этого, как показано на фиг. 73, блок (194) обработки данных при декодировании аудиоданных синтезирует поток аудиоданных дорожки аудиоданных, подлежащих воспроизведению и извлеченный поток аудиоданных, состоящий из метаданных. В частности, блок (194) обработки данных при декодировании аудиоданных генерирует поток аудиоданных, в котором расположены все вместе элементы информации о Конфигурации, входящие в состав всех потоков аудиоданных, и расположены все вместе элементы данных каждого кадра. Кроме того, блок (194) обработки данных при декодировании аудиоданных декодирует этот сгенерированный поток аудиоданных.

Как было описано выше, в случае, когда потоки аудиоданных, подлежащие воспроизведению, включают в себя поток аудиоданных, отличный от потока аудиоданных дорожки одноканальных аудиоданных, воспроизведению подлежат потоки аудиоданных двух или больше дорожек. Соответственно, эти потоки аудиоданных синтезируются перед декодированием.

С другой стороны, когда воспроизведению подлежит только поток аудиоданных дорожки одноканальных аудиоданных, нет необходимости синтезировать поток аудиоданных. Соответственно, блок (194) обработки данных при декодировании аудиоданных сразу декодирует поток аудиоданных, полученный блоком (192, 264) получения файла аудиоданных.

Фиг. 74 представляет собой блок-схему алгоритма, на которой проиллюстрированы подробности первого примера процесса декодирования в блоке (194) обработки данных при декодировании аудиоданных, когда Web-сервер (142, 212) выполняет процесс, описанный выше со ссылкой на фиг. 71 и 72. Этот процесс декодирования представляет собой, по меньшей мере, один из процессов на этапе S229, показанного на фиг. 48, и на этапе S287, показанного на фиг. 50, которые выполняются в случае, когда дорожки, подлежащие воспроизведению, включают в себя дорожку, отличную от дорожки одноканальных аудиоданных.

На этапе S461, показанном на фиг. 74, блок (194) обработки данных при декодировании аудиоданных присваивает "0" всем количествам элементов, представляющим количество элементов, включенных в состав генерируемого потока аудиоданных. На этапе S462, блок (194) обработки данных при декодировании аудиоданных устанавливает в ноль (очищает) информацию о типах всех элементов, указывающую тип элементов, включенных в состав генерируемого потока аудиоданных.

На этапе S463, блок (194) обработки данных при декодировании аудиоданных задает, в качестве дорожки, подлежащей обработке, дорожку из числа дорожек, подлежащих воспроизведению, которая не была определена как дорожка, подлежащая обработке. На этапе S464, блок (194) обработки данных при декодировании аудиоданных получает количество и тип элементов, входящих в состав дорожки, подлежащей обработке, например, из потока аудиоданных этой дорожки, подлежащей обработке.

На этапе S465, блок (194) обработки данных при декодировании аудиоданных прибавляет это количество полученных элементов к суммарному количеству элементов. На этапе S466, блок (194) обработки данных при декодировании аудиоданных добавляет тип полученных элементов к информации о типах всех элементов.

На этапе S467, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли дорожки, подлежащие воспроизведению, заданы в качестве дорожек подлежащих обработке. В случае, когда на этапе S467 определено, что не все дорожки, подлежащие воспроизведению, заданы в качестве дорожки, подлежащей обработке, процесс возвращается на этап S463, и процесс на этапах: с S463 по S467, повторяется до тех пор, пока все дорожки, подлежащие воспроизведению, не будут заданы в качестве дорожки, подлежащей обработке.

С другой стороны, в случае, когда на этапе S467 определено, что все дорожки, подлежащие воспроизведению, заданы в качестве дорожек, подлежащих обработке, процесс переходит на этап S468. На этапе S468, блок (194) обработки данных при декодировании аудиоданных размещает суммарное количество элементов и информацию о типах всех элементов в некотором предварительно заданном месте в генерируемом потоке аудиоданных.

На этапе S469, блок (194) обработки данных при декодировании аудиоданных задает, в качестве дорожки, подлежащей обработке, дорожку из числа дорожек, подлежащих воспроизведению, которая не была определена как дорожка, подлежащая обработке. На этапе S470, блок (194) обработки данных при декодировании аудиоданных задает, в качестве элемента, подлежащего обработке, элемент из числа элементов, входящих в состав дорожки, подлежащей обработке, который не был определен как элемент, подлежащий обработке.

На этапе S471, блок (194) обработки данных при декодировании аудиоданных получает, из потока аудиоданных дорожек, подлежащих обработке, информацию о Конфигурации элементов, подлежащих обработке, и размещает эту информацию о Конфигурации в генерируемом потоке аудиоданных. При этом, элементы информации о Конфигурации для всех элементов всех дорожек, подлежащих воспроизведению, располагаются последовательно.

На этапе S472, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли элементы, входящие в состав дорожки, подлежащей обработке, заданы в качестве элементов, подлежащих обработке. В случае, когда на этапе S472 определено, что не все эти элементы заданы в качестве элемента подлежащего обработке, процесс возвращается на этап S470, и процесс на этапах: с S470 по S472, повторяется до тех пор, пока все элементы не будут заданы в качестве элемента, подлежащего обработке.

С другой стороны, в случае, когда на этапе S472 определено, что все элементы заданы в качестве элементов, подлежащих обработке, процесс переходит на этап S473. На этапе S473, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли дорожки, подлежащие воспроизведению, заданы в качестве дорожек подлежащих обработке. В случае, когда на этапе S473 определено, что не все дорожки, подлежащие воспроизведению, заданы в качестве дорожки, подлежащей обработке, процесс возвращается на этап S469, и процесс на этапах: с S469 по S473, повторяется до тех пор, пока все дорожки, подлежащие воспроизведению, не будут заданы в качестве дорожки, подлежащей обработке.

С другой стороны, в случае, когда на этапе S473 определено, что все дорожки, подлежащие воспроизведению, заданы в качестве дорожек, подлежащих обработке, процесс переходит на этап S474. На этапе S474, блок (194) обработки данных при декодировании аудиоданных определяет кадр, подлежащий обработке. В ходе процесса на этапе S474, выполняемого в первый раз, в качестве кадра, подлежащего обработке, определяется головной кадр. В ходе процесса на этапе S474, выполняемого во второй и последующие разы, в качестве нового кадра, подлежащего обработке, определяется кадр, следующий за текущим кадром, подлежащим обработке.

На этапе S475, блок (194) обработки данных при декодировании аудиоданных задает, в качестве дорожки, подлежащей обработке, дорожку из числа дорожек, подлежащих воспроизведению, которая не была определена как дорожка, подлежащая обработке. На этапе S476, блок (194) обработки данных при декодировании аудиоданных задает, в качестве элемента, подлежащего обработке, элемент из числа элементов, входящих в состав дорожки, подлежащей обработке, который не был определен как элемент, подлежащий обработке.

На этапе S477, блок (194) обработки данных при декодировании аудиоданных определяет то, является ли элемент, подлежащий обработке, ЕХТ-элементом. В случае, когда на этапе S477 определено, что элемент, подлежащий обработке, не является ЕХТ-элементом, процесс переходит на этап S478.

На этапе S478, блок (194) обработки данных при декодировании аудиоданных получает, из потока аудиоданных дорожек, подлежащих обработке, аудиоданные кадра, подлежащего обработке, элемента, подлежащего обработке, и размещает эти аудиоданные в генерируемом потоке аудиоданных. При этом, данные в одном и том же кадре всех элементов всех дорожек, подлежащих воспроизведению, располагаются последовательно. После процесса на этапе S478, процесс переходит на этап S481.

С другой стороны, в случае, когда на этапе S477 определено, что элемент, подлежащий обработке, является ЕХТ-элементом, процесс переходит на этап S479. На этапе S479, блок (194) обработки данных при декодировании аудиоданных получает, из потока аудиоданных дорожек, подлежащих обработке, метаданные всех объектов в кадре, подлежащем обработке, элемента, подлежащего обработке.

На этапе S480, блок (194) обработки данных при декодировании аудиоданных размещает метаданные объектов, подлежащих воспроизведению, из числа полученных метаданных всех объектов, в генерируемом потоке аудиоданных. При этом, элементы данных в одном и том же кадре всех элементов всех дорожек, подлежащих воспроизведению, располагаются последовательно. После процесса на этапе S480, процесс переходит на этап S481.

На этапе S481, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли элементы, входящие в состав дорожки, подлежащей обработке, заданы в качестве элементов, подлежащих обработке. В случае, когда на этапе S481 определено, что не все эти элементы заданы в качестве элемента подлежащего обработке, процесс возвращается на этап S476, и процесс на этапах: с S476 по S481, повторяется до тех пор, пока все элементы не будут заданы в качестве элемента, подлежащего обработке.

С другой стороны, в случае, когда на этапе S481 определено, что все элементы заданы в качестве элементов, подлежащих обработке, процесс переходит на этап S482. На этапе S482, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли дорожки, подлежащие воспроизведению, заданы в качестве дорожек подлежащих обработке. В случае, когда на этапе S482 определено, что не все дорожки, подлежащие воспроизведению, заданы в качестве дорожки, подлежащей обработке, процесс возвращается на этап S475, и процесс на этапах: с S475 по S482, повторяется до тех пор, пока все дорожки, подлежащие воспроизведению, не будут заданы в качестве дорожки, подлежащей обработке.

С другой стороны, в случае, когда на этапе S482 определено, что все дорожки, подлежащие воспроизведению, заданы в качестве дорожек, подлежащих обработке, процесс переходит на этап S483.

На этапе S483, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли кадры заданы в качестве кадров, подлежащих обработке. В случае, когда на этапе S483 определено, что не все кадры заданы в качестве кадра, подлежащего обработке, процесс возвращается на этап S474 и процесс на этапах: с S474 по S483 повторяется до тех пор, пока все кадры не будут заданы в качестве кадра, подлежащего обработке.

С другой стороны, в случае, когда на этапе S483 определено, что все кадры заданы в качестве кадров, подлежащих обработке, процесс переходит на этап S484. На этапе S484, блок (194) обработки данных при декодировании аудиоданных декодирует сгенерированный поток аудиоданных. В частности, блок (194) обработки данных при декодировании аудиоданных декодирует поток аудиоданных, в котором расположены суммарное количество элементов, информация о типах всех элементов, информация о Конфигурации, аудиоданные и метаданные объектов, подлежащих воспроизведению. Блок (194) обработки данных при декодировании аудиоданных снабжает аудиоданными (Объектными аудиоданными, Канальными аудиоданными, HOA-аудиоданными), полученными в результате декодирования, блок (195) обработки данных при синтезе аудиоданных. После этого, процесс завершен.

Объяснение второго примера процесса в блоке обработки данных при декодировании аудиоданных

Фиг. 75 представляет собой схему, на которой проиллюстрирован некоторый второй пример процесса в блоке (194) обработки данных при декодировании аудиоданных, когда Web-сервер (142, 212) выполняет процесс, описанный выше со ссылкой на фиг. 71 и 72.

Как показано на фиг. 75, второй пример процесса в блоке (194) обработки данных при декодировании аудиоданных отличается от первого примера этого процесса тем, что потоки аудиоданных всех дорожек располагаются в генерируемом потоке аудиоданных, и размещается поток или флаг, указывающий результат декодирования, составляющий ноль (в дальнейшем именуемый нулевым потоком), в качестве потока аудиоданных дорожек, которые не подлежат воспроизведению.

В частности, блок (192, 264) получения файла аудиоданных получает информацию о Конфигурации, входящую в состав потоков аудиоданных всех дорожек, хранящихся на Web-сервере (142, 212), и данные каждого кадра, входящие в состав потоков аудиоданных дорожек, подлежащих воспроизведению.

Как показано на фиг. 75, блок (194) обработки данных при декодировании аудиоданных располагает элементы информации о Конфигурации всех дорожек все вместе в генерируемом потоке аудиоданных. Кроме того, блок (194) обработки данных при декодировании аудиоданных располагает, в генерируемом потоке аудиоданных, данные каждого кадра дорожек, подлежащих воспроизведению, и нулевой поток, как данные каждого кадра дорожек, которые не подлежат воспроизведению.

Как было описано выше, поскольку блок (194) обработки данных при декодировании аудиоданных располагает, в генерируемом потоке аудиоданных, нулевой поток в качестве потока аудиоданных дорожек, которые не подлежат воспроизведению, то также присутствует поток аудиоданных объектов, которые не подлежат воспроизведению. Соответственно, можно включать метаданные объектов, которые подлежат воспроизведению, в состав генерируемого потока аудиоданных. Это устраняет необходимость для блока (194) обработки данных при декодировании аудиоданных извлекать из потока аудиоданных дорожки Объектных метаданных поток аудиоданных, состоящий из метаданных объектов, подлежащих воспроизведению.

Отметим, что нулевой поток может быть размещен как информация о Конфигурации дорожек, которые не подлежат воспроизведению.

Фиг. 76 представляет собой блок-схему алгоритма, на которой проиллюстрированы подробности второго примера процесса декодирования в блоке (194) обработки данных при декодировании аудиоданных, когда Web-сервер (142, 212) выполняет процесс, описанный выше со ссылкой на фиг. 71 и 72. Этот процесс декодирования представляет собой, по меньшей мере, один процесс из числа: процесса на этапе S229, показанного на фиг. 48, и процесса на этапе S287, показанного на фиг. 50, которые выполняются в случае, когда дорожки, подлежащие воспроизведению, включают в себя дорожку, отличную от дорожки одноканальных аудиоданных.

Процесс на этапах S501 и S502, показанных на фиг. 76, является аналогичным процессу на этапах S461 и S462, показанных на фиг. 74, и, соответственно, его описание опускается.

На этапе S503, блок (194) обработки данных при декодировании аудиоданных задает, в качестве дорожки, подлежащей обработке, дорожку, из числа дорожек, соответствующих потокам аудиоданных, хранящимся на Web-сервере (142, 212), которая не была определена как дорожка, подлежащая обработке.

Процесс на этапах: с S504 по S506, является аналогичным процессу на этапах: с S464 по S466, и, соответственно, его описание опускается.

На этапе S507, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли дорожки, соответствующие потокам аудиоданных, хранящимся на Web-сервере (142, 212), заданы в качестве дорожек, подлежащих обработке. В случае, когда на этапе S507 определено, что не все дорожки заданы в качестве дорожки, подлежащей обработке, процесс возвращается на этап S503, и процесс на этапах: с S503 по S507, повторяется до тех пор, пока все дорожки не будут заданы в качестве дорожки, подлежащей обработке.

С другой стороны, в случае, когда на этапе S507 определено, что все дорожки заданы в качестве дорожек, подлежащих обработке, процесс переходит на этап S508. На этапе S508, блок (194) обработки данных при декодировании аудиоданных размещает суммарное количество элементов и информацию о типах всех элементов в некотором предварительно заданном месте в генерируемом потоке аудиоданных.

На этапе S509, блок (194) обработки данных при декодировании аудиоданных задает, в качестве дорожки, подлежащей обработке, дорожку из числа дорожек, соответствующих потокам аудиоданных, хранящимся на Web-сервере (142, 212), которая не была определена как дорожка, подлежащая обработке. На этапе S510, блок (194) обработки данных при декодировании аудиоданных задает, в качестве элемента, подлежащего обработке, элемент из числа элементов, входящих в состав дорожки, подлежащей обработке, который не был определен как элемент, подлежащий обработке.

На этапе S511, блок (194) обработки данных при декодировании аудиоданных получает, из потока аудиоданных дорожки, подлежащей обработке, информацию о Конфигурации элемента, подлежащего обработке, и генерирует информацию о Конфигурации в генерируемом потоке аудиоданных. При этом, элементы информации о Конфигурации для всех элементов всех дорожек, соответствующих потокам аудиоданных, хранящимся на Web-сервере (142, 212), располагаются последовательно.

На этапе S512, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли элементы, входящие в состав дорожек, подлежащих обработке, заданы в качестве элементов, подлежащих обработке. В случае, когда на этапе S512 определено, что не все эти элементы заданы в качестве элемента подлежащего обработке, процесс возвращается на этап S510, и процесс на этапах: с S510 по S512, повторяется до тех пор, пока все элементы не будут заданы в качестве элемента, подлежащего обработке.

С другой стороны, в случае, когда на этапе S512 определено, что все элементы заданы в качестве элементов, подлежащих обработке, процесс переходит на этап S513. На этапе S513, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли дорожки, соответствующие потокам аудиоданных, хранящимся на Web-сервере (142, 212), заданы в качестве дорожек, подлежащих обработке. В случае, когда на этапе S513 определено, что не все эти дорожки заданы в качестве дорожки, подлежащей обработке, процесс возвращается на этап S509, и процесс на этапах: с S509 по S513, повторяется до тех пор, пока все дорожки не будут заданы в качестве дорожки, подлежащей обработке.

С другой стороны, в случае, когда на этапе S513 определено, что все дорожки заданы в качестве дорожек, подлежащих обработке, процесс переходит на этап S514. На этапе S514, блок (194) обработки данных при декодировании аудиоданных определяет кадр, подлежащий обработке. В ходе процесса на этапе S514, выполняемого в первый раз, головной кадр определяют как кадр, подлежащий обработке. В ходе процесса на этапе S514, выполняемого в первый раз, в качестве кадра, подлежащего обработке, определяется головной кадр. В ходе процесса на этапе S514, выполняемого во второй и последующие разы, в качестве нового кадра, подлежащего обработке, определяется кадр, следующий за текущим кадром, подлежащим обработке.

На этапе S515, блок (194) обработки данных при декодировании аудиоданных задает, в качестве дорожки, подлежащей обработке, дорожку из числа дорожек, соответствующих потокам аудиоданных, хранящимся на Web-сервере (142, 212), которая не была определена как дорожка, подлежащая обработке.

На этапе S516, блок (194) обработки данных при декодировании аудиоданных определяет то, является ли дорожка, подлежащая обработке, дорожкой, подлежащей воспроизведению. В случае, когда на этапе S516 определено, что дорожка, подлежащая обработке, является дорожкой, подлежащей воспроизведению, процесс переходит на этап S517.

На этапе S517, блок (194) обработки данных при декодировании аудиоданных задает, в качестве элемента, подлежащего обработке, элемент из числа элементов, входящих в состав дорожки, подлежащей обработке, который не был определен как элемент, подлежащий обработке.

На этапе S518, блок (194) обработки данных при декодировании аудиоданных получает, из потока аудиоданных дорожки, подлежащей обработке, аудиоданные кадра, подлежащего обработке, элемента, подлежащего обработке, и размещает этот поток аудиоданных в генерируемом потоке аудиоданных. При этом, элементы данных в одном и том же кадре всех элементов всех дорожек, соответствующих потокам аудиоданных, хранящимся на Web-сервере (142, 212), располагаются последовательно.

На этапе S519, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли элементы, входящие в состав дорожки, подлежащей обработке, заданы в качестве элемента, подлежащего обработке. В случае, когда на этапе S519 определено, что не все эти элементы заданы в качестве элемента подлежащего обработке, процесс возвращается на этап S517, и процесс на этапах: с S517 по S519, повторяется до тех пор, пока все элементы не будут заданы в качестве элемента, подлежащего обработке.

С другой стороны, в случае, когда на этапе S519 определено, что все элементы заданы в качестве элемента, подлежащего обработке, процесс переходит на этап S523.

Кроме того, в случае, когда на этапе S516 определено, что дорожка, подлежащая обработке, не является дорожкой, подлежащей воспроизведению, процесс переходит на этап S520. На этапе S520, блок (194) обработки данных при декодировании аудиоданных задает, в качестве элемента, подлежащего обработке, элемент из числа элементов, входящих в состав дорожки, подлежащей обработке, который не был определен как элемент, подлежащий обработке.

На этапе S521, блок (194) обработки данных при декодировании аудиоданных размещает нулевой поток в генерируемом потоке аудиоданных как данные кадра, подлежащего обработке, элемента, подлежащего обработке. При этом, элементы данных в одном и том же кадре всех элементов всех дорожек, соответствующих потокам аудиоданных, хранящимся на Web-сервере (142, 212), располагаются последовательно.

На этапе S522, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли элементы, входящие в состав дорожки, подлежащей обработке, заданы в качестве элемента, подлежащего обработке. В случае, когда на этапе S522 определено, что не все эти элементы заданы в качестве элемента подлежащего обработке, процесс возвращается на этап S520, и процесс на этапах: с S520 по S522, повторяется до тех пор, пока все элементы не будут заданы в качестве элемента, подлежащего обработке.

С другой стороны, в случае, когда на этапе S522 определено, что все элементы заданы в качестве элемента, подлежащего обработке, процесс переходит на этап S523.

На этапе S523, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли дорожки, соответствующие потокам аудиоданных, хранящимся на Web-сервере (142, 212), заданы в качестве дорожки, подлежащей обработке. В случае, когда на этапе S522 определено, что не все эти дорожки заданы в качестве дорожки, подлежащей обработке, процесс возвращается на этап S515, и процесс на этапах: с S515 по S523, повторяется до тех пор, пока все дорожки, подлежащие воспроизведению, не будут заданы в качестве дорожки, подлежащей обработке.

С другой стороны, в случае, когда на этапе S523 определено, что все дорожки заданы в качестве дорожки, подлежащей обработке, процесс переходит на этап S524.

На этапе S524, блок (194) обработки данных при декодировании аудиоданных определяет то, все ли кадры заданы в качестве кадра подлежащего обработке. В случае, когда на этапе S524 определено, что не все кадры заданы в качестве кадра, подлежащего обработке, процесс возвращается на этап S514 и процесс на этапах: с S514 по S524, повторяется до тех пор, пока все кадры не будут заданы в качестве кадра, подлежащего обработке.

С другой стороны, в случае, когда на этапе S524 определено, что все кадры заданы в качестве кадров, подлежащих обработке, процесс переходит на этап S525. На этапе S525, блок (194) обработки данных при декодировании аудиоданных декодирует сгенерированный поток аудиоданных. В частности, блок (194) обработки данных при декодировании аудиоданных декодирует поток аудиоданных, в котором расположены суммарное количество элементов, информация о типах всех элементов, информация о Конфигурации и данные всех дорожек, соответствующих потокам аудиоданных, хранящимся на Web-сервере (142, 212). Блок (194) обработки данных при декодировании аудиоданных снабжает аудиоданными (Объектными аудиоданными, Канальными аудиоданными, HOA-аудиоданными), полученными в результате декодирования, блок (195) обработки данных при синтезе аудиоданных. После этого, процесс завершен.

Объяснение второго примера процесса на Web-сервере

Фиг. 77 представляет собой схему, на которой проиллюстрирован некоторый второй пример процесса на Web-сервере (142, 212).

Второй пример процесса на Web-сервере (142, 212), показанный на фиг. 77, является таким же как и первый пример, показанный на фиг. 71, за исключением того, что Объектные метаданные каждого объекта располагаются в файле аудиоданных как данные различных дорожек.

Соответственно, как показано на фиг. 77, Web-сервер (142, 212) разделяет, для каждой дорожки, поток аудиоданных файла аудиоданных, загружаемого из устройства (141, 211) генерации файлов, и генерирует поток аудиоданных девяти дорожек.

В этом случае, процесс разделения на дорожки, выполняемый на Web-сервере (142, 212), аналогичен процессу разделения на дорожки, показанному на фиг. 72, и, соответственно, его описание опускается.

Объяснение третьего примера блока обработки данных при декодировании аудиоданных

Фиг. 78 представляет собой схему, на которой проиллюстрирован процесс в блоке (194) обработки данных при декодировании аудиоданных, когда Web-сервер (142, 212) выполняет процесс, со ссылкой на фиг. 77.

В примере, показанном на фиг. 78, Web-сервер (142, 212) хранит поток аудиоданных каждой дорожки, показанной на фиг. 77. Дорожки, подлежащие воспроизведению, представляют собой дорожки канальных аудиоданных передних левого/правого каналов, канальные аудиоданные задних левого/правого каналов, объектные аудиоданные первого объекта, и Объектные метаданные первого объекта.

В этом случае, блок (192, 264) получения файла аудиоданных получает потоки аудиоданных дорожек канальных аудиоданных переднего левого/правого каналов, канальных аудиоданных задних левого/правого каналов, объектных аудиоданных первого объекта и Объектных метаданных первого объекта. Блок (194) обработки данных при декодировании аудиоданных синтезирует полученные потоки аудиоданных дорожек, подлежащих воспроизведению, и декодирует сгенерированный поток аудиоданных.

Как было описано выше, в случае, когда Объектные метаданные расположены как данные различных дорожек для каждого объекта, для блока (194) обработки данных при декодировании аудиоданных нет необходимости извлекать поток аудиоданных Объектных метаданных объектов, подлежащих воспроизведению. Соответственно, блок (194) обработки данных при декодировании аудиоданных может с легкостью сгенерировать поток аудиоданных, подлежащий декодированию.

Фиг. 79 представляет собой блок-схему алгоритма, на которой проиллюстрированы подробности процесса декодирования в блоке (194) обработки данных при декодировании аудиоданных, когда Web-сервер (142, 212) выполняет процесс, описанный выше в отношении Фиг. 77. Этот процесс декодирования представляет собой один процесс из числа: процесса на этапе S229, показанного на фиг. 48, и процесса на этапе S287, показанного на фиг. 50, которые выполняются в случае, когда дорожки, подлежащие воспроизведению, включают в себя дорожку, отличную от дорожки одноканальных аудиоданных.

Процесс декодирования, показанный на фиг. 79, аналогичен процессу декодирования, показанному на фиг. 74, за исключением того, что процессы на этапах: S477, S479 и S480, не выполняются, и в ходе процесса на этапе S478 размещают не только аудиоданные, но также и метаданные. В частности, процесс на этапах: с S541 по S556, показанных на фиг. 79, аналогичен этапам: с S461 по S476, показанным на фиг. 74. В ходе процесса на этапе S557, показанного на фиг. 79, данные кадра, подлежащего обработке, элемента, подлежащего обработке располагаются так, как в ходе процесса на этапе S478. Кроме того, процесс на этапах: с S558 по S561, аналогичен процессу на этапах: с S481 по S484, показанных на фиг. 74.

Отметим, что в вышеприведенном описании, поток аудиоданных, подлежащий декодированию, генерируется воспроизводящим видеоданные оконечным устройством (144, 214), но вместо этого, Web-сервер (142, 212) может генерировать некоторую комбинацию потоков аудиоданных, которые предполагаются комбинацией дорожек, подлежащих воспроизведению. В этом случае, воспроизводящее видеоданные оконечное устройство (144, 214) может воспроизвести аудиоданные дорожек, подлежащих воспроизведению, только получая от Web-сервера (142, 212) потоки аудиоданных с комбинацией дорожек, подлежащих воспроизведению, и декодируя эти потоки аудиоданных.

Кроме того, блок (194) обработки данных при декодировании аудиоданных может декодировать, для каждой дорожки, потоки аудиоданных дорожек, подлежащих воспроизведению, которые получено от Web-сервера (142, 212). В этом случае, блоку (194) обработки данных при декодировании аудиоданных необходимо синтезировать аудиоданные и метаданные, полученные в результате декодирования.

Второй пример синтаксиса базового "сэмпла"

Второй пример синтаксиса информации о конфигурации, расположенной в базовом "сэмпле"

Фиг. 80 представляет собой схему, на которой показан некоторый второй пример синтаксиса информации о конфигурации, расположенной в базовом "сэмпле".

В примере, показанном на фиг. 80, в качестве информации о Конфигурации описывается количество элементов (numElements), расположенных в базовом "сэмпле". Кроме того, в качестве типа (usacElementType) каждого элемента, расположенного в базовом "сэмпле", описывается "ID_USAC_EXT", представляющий ЕХТ-элемент, и также описывается информация о Конфигурации для ЕХТ-элемента каждого элемента (mpegh3daExtElementCongfig).

Фиг. 81 представляет собой схему, на которой показан приводимый в качестве примера синтаксис информации (mpegh3daExtElementCongfig) о Конфигурации для ЕХТ-элемента, показанной на фиг. 80.

Как показано на фиг. 81, в качестве информации (mpegh3daExtElementCongfig) о конфигурации для ЕХТ-элемента, показанного на фиг. 80, описывается "ID_EXT_ELE_EXTRACTOR", представляющий экстрактор. Кроме того, описывается информация о конфигурации для экстрактора (ExtractorConfig).

Фиг. 82 представляет собой схему, на которой показан приводимый в качестве примера синтаксис информации (ExtractorConfig) о конфигурации для экстрактора, показанной на фиг. 81.

Как показано на фиг. 82, в качестве информации (ExtractorConfig) о конфигурации для экстрактора, показанной на фиг. 81, описывается тип элемента (usac Element Type Extractor), к которому должен обращаться экстрактор. Кроме того, в случае, когда тип элемента (usac Element Type Extractor) представляет собой "ID_USAC_EXT", который представляет Ext-элемент, описывается тип (usacExtElementTypeExtractor) Ext-элемента. Помимо этого, описываются размер (configLength) и место расположения (configOffset) информации о конфигурации элемента ("подсэмпла"), подлежащему обращению.

Второй пример синтаксиса данных секции-кадра, расположенной в базовом "сэмпле"

Фиг. 83 представляет собой схему, на которой показан некоторый второй пример синтаксиса данных в секциях-кадрах, расположенных в базовом "сэмпле".

Как показано на фиг. 83, в качестве данных в секциях-кадрах, расположенных в базовом "сэмпле", описывается "ID_EXT_ELE_EXTRACTOR", который представляет экстрактор как тип Ext-элемента, который является элементом данных. Также описываются данные об экстракторе (метаданные экстрактора).

Фиг. 84 представляет собой схему, на которой показан приводимый в качестве примера синтаксис данных экстрактора (метаданных экстрактора), показанных на фиг. 83.

Как показано на фиг. 84, в качестве данных экстрактора (метаданных экстрактора), показанных на фиг. 83, описываются размер (elementLength (длинаЭлемента)) и место расположения (elementOffset (смещениеЭлемента)) данных элемента, к которому должен обращаться экстрактор.

Третий пример синтаксиса базового "сэмпла"

Третий пример синтаксиса информации о конфигурации, расположенной в базовом "сэмпле"

Фиг. 85 представляет собой схему, на которой показан некоторый третий пример синтаксиса информации о конфигурации, расположенной в базовом "сэмпле".

В примере, показанном на фиг. 85, в качестве информации о конфигурации описывается количество элементов (numElements), расположенных в базовом "сэмпле". Кроме того, в качестве флага экстрактора (flagExtractor), указывающего на то, является ли "сэмпл", в котором расположена информация о конфигурации экстрактором, описывается "1", указывающая экстрактор. Помимо этого, в качестве elementLengthPresent (имеющаясяДлинаЭлемента) описывается "1".

Кроме того, в качестве типа каждого элемента (usacElementType) расположенного в базовом "сэмпле", описывается тип элемента, к которому должен обращаться этот элемент. В случае, когда тип элемента (usacElementType) представляет собой "ID_USAC_EXT", который представляет Ext-элемент, описывается тип Ext-элемента (usacExtElementType). Кроме того, описывается размер (configLength (длинаИнформацииОконфигурации)) и место расположения (configOffset (смещениеИнформацииОконфигурации)) информации о конфигурации элемента, подлежащего обращению.

Третий пример синтаксиса данных в секциях-кадрах, расположенных в базовом "сэмпле"

Фиг. 86 представляет собой схему, на которой показан некоторый третий пример синтаксиса данных в секциях-кадрах, расположенных в базовом "сэмпле".

Как показано на фиг. 86, в качестве данных в секциях-кадрах, расположенных в базовом "сэмпле", описывается размер (elementLength (длинаЭлемента)) и место расположения (elementOffset (смещениеЭлемента)) данных элемента, подлежащего обращению посредством этих данных.

Седьмой вариант воплощения изобретения

Пример конфигурации потока аудиоданных

Фиг. 87 представляет собой схему, на которой показан пример конфигурации потока аудиоданных, хранящегося в файле аудиоданных в некотором седьмом варианте воплощения системы обработки информации, в которой (системе) применено настоящее раскрываемое изобретение.

Как показано на фиг. 87, в седьмом варианте воплощения изобретения, файл аудиоданных хранит закодированные данные в секциях-"сэмплах" трехмерных аудиоданных для каждого типа группы (в этом случае, однако, объектные аудиоданные хранятся по каждому объекту), и поток аудиоданных (поток трехмерных аудиоданных), размещенный как "подсэмпл".

Кроме того, файл аудиоданных хранит некоторый "путеводный" поток данных (поток данных, указывающий на трехмерные аудиоданные), в котором в качестве "подсэмпла" задан экстрактор, включающий в себя размер, место расположения и тип группы для закодированных данных в секциях - "сэмплах" трехмерных аудиоданных для каждого типа группы. Конфигурация экстрактора аналогична конфигурации, описанной выше, и тип группы описывается как тип экстрактора.

План дорожек

Фиг. 88 представляет собой схему, на которой проиллюстрирован план дорожек в седьмом варианте воплощения изобретения.

Как показано на фиг. 88, в седьмом варианте воплощения изобретения, различные дорожки назначаются, соответственно, потоку аудиоданных и "путеводному" потоку данных. Идентификатор дорожки, представляющий собой "2", дорожки соответствующего "путеводного" потока данных описывается как Track Reference (Ссылка на Дорожку) дорожки потока аудиоданных. Кроме того, идентификатор дорожки, представляющий собой "1", дорожки соответствующего потока аудиоданных описан как Track Reference (Ссылка на Дорожку) дорожки "путеводного" потока данных.

Синтаксис записи о "сэмплах" дорожки потока аудиоданных представляет собой синтаксис, показанный на фиг. 34, а синтаксис записи о "сэмплах" дорожки "путеводного" потока данных включает в себя синтаксис, показанный на фиг. 35-38.

Объяснение процесса в устройстве генерации файлов

Фиг. 89 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерации файла в седьмом варианте воплощения изобретения.

Отметим, что устройство генерации файлов, соответствующее седьмому варианту воплощения изобретения, является таким же, как устройство (141) генерации файлов, показанное на фиг. 45, за исключением процессов в блоке (171) обработки данных при кодировании аудиоданных и блоке (172) генерации файла аудиоданных. Соответственно, устройство генерации файлов, блок обработки данных при кодировании аудиоданных и блок генерации файла аудиоданных, соответствующие седьмому варианту воплощения изобретения, в дальнейшем упоминаются как, соответственно, устройство (301) генерации файлов, блок (341) обработки данных при кодировании аудиоданных и блок (342) генерации файла аудиоданных.

Процесс на этапах: с S601 по S605, показанных на фиг. 89, является аналогичным процессу на этапах: с S191 по S195, показанных на фиг. 46, и, соответственно, его описание опускается.

На этапе S606, блок (341) обработки данных при кодировании аудиоданных кодирует, для каждого типа группы, трехмерные аудиоданные видеоконтента, вводимого извне, и генерирует поток аудиоданных, показанный на фиг. 87. Блок (341) обработки данных при кодировании аудиоданных снабжает этим сгенерированным потоком аудиоданных блок (342) генерации файла аудиоданных.

На этапе S607, блок (342) генерации файла аудиоданных получает, из потока аудиоданных, подаваемого из блока (341) обработки данных при кодировании аудиоданных, информацию о "подсэмплах". Информация о "подсэмплах" указывает размер, место расположения и тип группы для закодированных данных в секциях - "сэмплах" трехмерных аудиоданных каждого типа группы.

На этапе S608, блок (342) генерации файла аудиоданных генерирует, на основе информации о "подсэмплах", "путеводный" поток данных, показанный на фиг. 87. На этапе S609, блок (342) генерации файла аудиоданных мультиплексирует поток аудиоданных и "путеводный" поток данных как различные дорожки, и генерирует файл аудиоданных. При этом, блок (342) генерации файла аудиоданных сохраняет информацию о размере кадра изображения, вводимую извне, в записи о "сэмплах". Блок (342) генерации файла аудиоданных снабжает этим сгенерированным файлом аудиоданных блок (173) генерации MPD-файла.

Процесс на этапах S610 и S611 являются аналогичными процессу на этапах S199 и S200, показанных на фиг. 46, и, соответственно, его описание опускается.

Объяснение процесса в воспроизводящем видеоданные оконечном устройстве

Фиг. 90 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс воспроизведения аудиоданных в блоке потокового воспроизведения, относящемся к воспроизводящему видеоданные оконечному устройству, в седьмом варианте воплощения изобретения.

Отметим, что блок потокового воспроизведения, соответствующий седьмому варианту воплощения изобретения, является таким же, как блок (190) потокового воспроизведения, показанный на фиг. 47, за исключением того, что процессы в блоке (191) обработки MPD-файла, блоке (192) получения файла аудиоданных и блоке (194) обработки данных при декодировании аудиоданных являются другими, а блок (193) выбора аудиоданных не предусмотрен. Соответственно, блок потокового воспроизведения, блок обработки MPD-файла, блок получения файла аудиоданных и блок обработки данных при декодировании аудиоданных, соответствующие седьмому варианту воплощения изобретения, в дальнейшем упоминаются как, соответственно, блок (360) потокового воспроизведения, блок (381) обработки MPD-файла, блок (382) получения файла аудиоданных и блок (383) обработки данных при декодировании аудиоданных.

На этапе S621, показанном на фиг. 90, блок (381) обработки MPD-файла, входящий в состав блока (360) потокового воспроизведения, анализируют MPD-файл, подаваемый из блока (91) получения MPD-файла, получает информацию, такую как URL (Унифицированный указатель ресурса) файла аудиоданных сегмента, подлежащего воспроизведению, и снабжает этой полученной информацией блок (382) получения файла аудиоданных.

На этапе S622, блок (382) получения файла аудиоданных, на основе информации, такой как URL-указатель, подаваемой из блока (381) обработки MPD-файла, запрашивает Web-сервер, чтобы тот передал Initial Segment (начальный сегмент) сегмента, подлежащего воспроизведению, и получает этот начальный сегмент.

На этапе S623, блок (382) получения файла аудиоданных получает идентификатор дорожки, принадлежащий дорожке потока аудиоданных, как дорожку ссылки из записи о "сэмплах" дорожки "путеводного" потока данных (в дальнейшем именуемой как "путеводная" дорожка) в поле moov в Initial Segment (начальном сегменте).

На этапе S624, блок (382) получения файла аудиоданных, на основе информации, такой как URL-указатель, подаваемой из блока (381) обработки MPD-файла, запрашивает Web-сервер, чтобы тот передал поле sidx и поле ssix из заголовка мультимедийного сегмента, относящегося к сегменту, подлежащего воспроизведению, и получает это поле sidx и это поле ssix.

На этапе S625, блок (382) получения файла аудиоданных получает из поля sidx и поля ssix, которые получены на этапе S624, информацию о месте расположения "путеводной" дорожки.

На этапе S626, блок (382) получения файла аудиоданных, на основе информации о месте расположения "путеводной" дорожки, которая (информация) получена на этапе S625, запрашивает Web-сервер, чтобы тот передал "путеводный" поток данных, и получает этот "путеводный" поток данных. Кроме того, блок (382) получения файла аудиоданных получает, из "путеводного" потока данных, экстрактор для типа группы трехмерных аудиоданных, подлежащих воспроизведению. Отметим, что в случае, когда трехмерные аудиоданные, подлежащие воспроизведению, представляют собой объектные аудиоданные, объект, подлежащий воспроизведению, выбирается на основе информации о месте расположения объекта и информации о размере кадра изображения.

На этапе S627, блок (382) получения файла аудиоданных получает из поля sidx и поля ssix, которые получены на этапе S624, информацию о месте расположения дорожки ссылки. На этапе S628, блок (382) получения файла аудиоданных, на основе информации о месте расположения дорожки ссылки, полученной на этапе S627, и информации о "подсэмплах", входящей в состав полученного экстрактора, определяет информацию о месте расположения потока аудиоданных для типа группы трехмерных аудиоданных, подлежащих воспроизведению.

На этапе S629, блок (382) получения файла аудиоданных, на основе информации о месте расположения, определенной на этапе S627, запрашивает Web-сервер, чтобы тот передал поток аудиоданных, относящийся к типу группы трехмерных аудиоданных, подлежащих воспроизведению, и получает этот поток аудиоданных. Блок (382) получения файла аудиоданных снабжает этим полученным потоком аудиоданных блок (383) обработки данных при декодировании аудиоданных.

На этапе S630, блок (383) обработки данных при декодировании аудиоданных декодирует поток аудиоданных, подаваемый из блока (382) получения файла аудиоданных, и снабжает аудиоданными, полученными в результате декодирования, блок (195) обработки данных при синтезе аудиоданных.

На этапе S631, блок (195) обработки данных при синтезе аудиоданных выводит эти аудиоданные. После этого, процесс завершен.

Отметим, что в седьмом варианте воплощения изобретения, дорожка потока аудиоданных и "путеводная" дорожка хранятся в одном и том же файле аудиоданных, но могут храниться в различных файлах.

Восьмой вариант воплощения изобретения

План дорожек

Фиг. 91 представляет собой схему, на которой проиллюстрирован план дорожек в некотором восьмом варианте воплощения системы обработки информации, в которой (системе) применено настоящее раскрываемое изобретение.

Файл аудиоданных, соответствующий восьмому варианту воплощения изобретения, отличается от файла аудиоданных, соответствующего седьмому варианту воплощения изобретения, тем, что сохраняемый "путеводный" поток данных представляет собой поток данных, предназначенный для каждого типа группы. В частности, "путеводный" поток данных, соответствующий восьмому варианту воплощения изобретения, генерируется для каждого типа группы, и экстрактор, включающий в себя размер, место расположения и тип группы закодированных данных в секциях - "сэмплах" трехмерных аудиоданных каждого типа группы расположен как "сэмпл" в каждом "путеводном" потоке данных. Отметим, что в случае, когда трехмерные аудиоданные включают в себя объектные аудиоданные множества объектов, экстрактор расположен как "подсэмпл" для каждого объекта.

Кроме того, как показано на фиг. 91, в восьмом варианте воплощения изобретения, потоку аудиоданных и каждому "путеводному" потоку данных назначаются различные дорожки. Дорожка потока аудиоданных является такой же, как дорожка потока аудиоданных, показанная на фиг. 88, и, соответственно, ее описание опускается.

В качестве Track Reference (Ссылки на Дорожку) "путеводной" дорожки типов групп: "Каналы", "Объекты", "HOA" и "метаданные", описывается идентификатор дорожки, представляющий собой "1", дорожки соответствующего потока аудиоданных.

Синтаксис записи о "сэмплах" "путеводной" дорожки каждого из типов групп: "Каналы", "Объекты", "HOA" и "метаданные", является таким же, как синтаксис, показанный на фиг. 35-38, за исключением информации, указывающей тип записи о "сэмплах". Информация, указывающая тип записи о "сэмплах" "путеводной" дорожки каждого из типов групп: "Каналы", "Объекты", "HOA" и "метаданные", аналогична информации, показанной на фиг. 35-38, за исключением того, что число "1" в этой информации заменено на "2". Число "2" представляет запись о "сэмплах" "путеводной" дорожки.

Пример конфигурации файла аудиоданных

Фиг. 92 представляет собой схему, на которой показан пример конфигурации файла аудиоданных.

Как показано на фиг. 92, файл аудиоданных хранит все дорожки, показанные на фиг. 91. В частности, этот файл аудиоданных хранит поток аудиоданных и "путеводный" поток данных для каждого типа группы.

Процесс генерации файла в устройстве генерации файлов, соответствующий восьмому варианту воплощения изобретения, аналогичен процессу генерации файла, показанному на фиг. 89, за исключением того, что вместо "путеводного" потока данных, показанного на фиг. 87, "путеводный" поток данных генерируется для каждого типа группы.

Кроме того, процесс воспроизведения аудиоданных в блоке потокового воспроизведения, относящемся к воспроизводящему видеоданные оконечному устройству, соответствующий восьмому варианту воплощения изобретения, аналогичен процессу воспроизведения аудиоданных, показанному на фиг. 90, за исключением того, что на этапе S623 получают идентификатор дорожки, принадлежащий "путеводной" дорожке для типа группы, подлежащего воспроизведению, так же как и идентификатор дорожки, принадлежащий дорожке ссылки; на этапе S625 получают информацию о месте расположения "путеводной" дорожки для типа группы, подлежащего воспроизведению; и на этапе S626 получают "путеводный" поток данных, относящийся к типу группы, подлежащему воспроизведению.

Отметим, что в восьмом варианте воплощения изобретения, дорожка потока аудиоданных и "путеводная" дорожки хранятся в одном и том же файле аудиоданных, но могут храниться в различных файлах.

Например, как показано на фиг. 93, дорожка потока аудиоданных может храниться в одном файле аудиоданных (МР4-файл потока трехмерных аудиоданных), и "путеводная" дорожка может храниться в одном файле аудиоданных (МР4-файл потока данных, указывающего на трехмерные аудиоданные). Кроме того, как показано на фиг. 94, "путеводная" дорожка может быть разделена на множество хранимых файлов аудиоданных. В примере, показанном на фиг. 94, "путеводные" дорожки хранятся в различных файлах аудиоданных.

Кроме того, в восьмом варианте воплощения изобретения, "путеводный" поток данных генерируется для каждого типа группы, даже в случае, когда тип группы указывает объекты. Однако, в случае, когда тип группы указывает объекты, "путеводный" поток данных может быть сгенерирован для каждого объекта. В этом случае, "путеводным" потокам данных для каждого объекта назначаются различные дорожки.

Как было описано выше, в файле аудиоданных, соответствующем седьмому и восьмому вариантам воплощения изобретения, все потоки аудиоданных с трехмерными аудиоданными, хранятся на одной дорожке. Соответственно, воспроизводящее видеоданные оконечное устройство может, получив эту дорожку, воспроизводить все потоки аудиоданных с трехмерными аудиоданными.

Кроме того, "путеводный" поток данных хранится в файле аудиоданных, соответствующем седьмому и восьмому вариантам воплощения изобретения. Соответственно, воспроизводящее видеоданные оконечное устройство получает, из числа всех потоков аудиоданных с трехмерными аудиоданными, только поток аудиоданных требуемого типа группы, не обращаясь при этом к полю moof, в которое описывается таблица, которая связывает "подсэмпл" с размером или местом расположения этого "подсэмпла", что делает возможным воспроизведение этого потока аудиоданных.

Кроме того, в файле аудиоданных, соответствующем седьмому и восьмому вариантам воплощения изобретения, воспроизводящее видеоданные оконечное устройство можно заставить получать поток аудиоданных для каждого типа группы, сохраняя только все потоки аудиоданных с трехмерными аудиоданными и "путеводный" поток данных. Соответственно, нет необходимости подготавливать поток аудиоданных с трехмерными аудиоданными для каждого типа группы отдельно от всех генерируемых потоков аудиоданных с трехмерными аудиоданными в целях вещания или локального хранения, для того, чтобы сделать возможным получение этого потока аудиоданных для каждого типа группы.

Отметим, что в седьмом и восьмом вариантах воплощения изобретения, экстрактор генерируется для каждого типа группы, но может быть сгенерирован по секциям-элементам аудиоданных, группам, Группам переключения или Предварительно заданным наборам групп.

Когда экстрактор сгенерирован в по секциям-группам, запись о "сэмплах" каждой "путеводной" дорожки по восьмому варианту воплощения изобретения включает в себя информацию о соответствующей группе. Информация о группе состоит, например, из информации, указывающей идентификатор группы и содержания данных элемента, классифицированного как группа. В случае, когда группа образует Группу переключения, запись о "сэмплах" "путеводной" дорожки группы включает в себя также информацию о Группе переключения. Информация о Группе переключения состоит, например, из идентификатора Группы переключения и идентификатора группы, которая образует Группу переключения. Запись о "сэмплах" "путеводной" дорожки по седьмому варианту воплощения изобретения включает в себя информацию, входящую в состав записи о "сэмплах" всех "путеводных" дорожек по восьмому варианту воплощения изобретения.

Кроме того, структуры сегментов в седьмом и восьмом вариантах воплощения изобретения являются такими же как структуры сегментов, показанные на фиг. 39 и 40.

Девятый вариант воплощения изобретения

Объяснение компьютера, к которому применяется настоящее раскрываемое изобретение

Последовательность процессов на Web-сервере, описанная выше, может также быть исполнена посредством аппаратного обеспечения или программного обеспечения. В случае, когда эта последовательность процессов выполняется посредством программного обеспечения, программа, составляющая программное обеспечение, устанавливается на компьютер. Примеры компьютера включают в себя компьютер, встроенный в специализированное аппаратное обеспечение, и универсальный персональный компьютер, способный исполнять разнообразные функции, при установке на него разнообразных программы.

Фиг. 95 представляет собой структурную схему, на которой показан пример конфигурации аппаратного обеспечения компьютера, который исполняет некоторую последовательность процессов для Web-сервера, используя программу.

В этом компьютере, центральный процессор (CPU) 601, постоянное запоминающее устройство (ROM) 602 и оперативное запоминающее устройство (RAM) 603 соединены между собой посредством шины (604).

Шина (604) также соединена с интерфейсом (605) ввода/вывода. Интерфейс (605) ввода/вывода соединен с каждым блоком из числа: входного блока (606), выходного блока (607), запоминающего блока (608), блока (609) связи и накопителя (610).

Входной блок (606) образован клавиатурой, "мышью", микрофоном и тому подобным. Выходной блок (607) образован устройством отображения, громкоговорителем и тому подобным. Запоминающий блок (608) образован аппаратными средствами, энергонезависимым запоминающим и тому подобным. Блок (609) связи образован сетевым интерфейсом и тому подобным. Накопитель (610) приводит в действие съемный носитель (611) информации, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

В компьютере, сконфигурированном так, как это описано выше, центральный процессор (601) загружает, например, программу, хранящуюся в запоминающем блоке (608) в оперативном запоминающем устройстве (603) через интерфейс (605) ввода/вывода и шину (604), и выполняет эту программу, выполняя, таким образом, последовательность процессов, описанных выше.

Программа, исполняемая компьютером (центральным процессором (601)), может быть предоставлена, будучи записанной на съемном носителе (611) информации, служащем, например, как компактный носитель информации или тому подобное. Кроме того, программа может быть предоставлена через проводную или беспроводную передающую среду, такую как локальная сеть, сеть "Интернет" или цифровое спутниковое вещание.

Программу можно установить в запоминающий блок (608) через интерфейс (605) ввода/вывода, загружая съемный носитель (611) в накопитель (610). Кроме того, программа может быть принята блоком (609) связи и установлена в запоминающий блок (608) через проводную или беспроводную передающую среду. В дополнение к этому, программа может быть установлена заранее в постоянное запоминающее устройство (602) или запоминающий блок (608).

Отметим, что программа, исполняемая компьютером, может представлять собой программу, которая выполняет процессы последовательно во времени в порядке, описанном в настоящем описании, или может представлять собой программу, которая выполняет процессы, например, параллельно или в нужные моменты времени, когда они запускаются.

Воспроизводящее видеоданные оконечное устройство, описанное выше, может иметь конфигурацию аппаратного обеспечения, которая является аналогичной конфигурации компьютера, показанного на фиг. 95. В этом случае, например, центральный процессор (601) может исполнять управляющее программное обеспечение (161, 221), программное обеспечение (162, 222)) воспроизведения видеоданных и программное обеспечение (163, 223) доступа. Процесс в воспроизводящем видеоданные оконечном устройстве (144, 214) может исполняться посредством аппаратного обеспечения.

В настоящем описании, термин "система" имеет значение набора из множества компонентов (таких как устройство или блок (часть)), и не принимает во внимание то, располагаются ли все компоненты в одном и том же корпусе. Следовательно, система может представлять собой либо множество устройств, которые размещены в отдельных корпусах и соединены через сеть, либо множество модулей внутри единственного корпуса.

Отметим, что варианты воплощения настоящего раскрываемого изобретения не ограничены вышеописанными вариантами его воплощения, и могут быть изменены различными способами, не выходя при этом за рамки сути настоящего раскрываемого изобретения.

Например, устройство (141, 211) генерации файлов вместо того, чтобы генерировать файл изображения по секциям-клеткам, может генерировать поток видеоданных, мультиплексируя закодированные данные всех клеток таким образом, чтобы сгенерировать один файл изображения.

Настоящее раскрываемое изобретение может быть применено не только к трехмерным аудиоданным стандарта MPEG-H, но также и в обычных кодеках аудиоданных, способных создавать поток данных для каждого объекта.

Кроме того, настоящее раскрываемое изобретение может также быть применено в системе обработки информации, которая выполняет вещание и воспроизведение из локального запоминающего устройства, так же как и потоковое воспроизведение.

Кроме того, настоящее раскрываемое изобретение может иметь нижеследующие конфигурации.

(1) Устройство обработки информации, включающее в себя получающий блок, который получает аудиоданные предварительно заданной дорожки в файле, в котором множество типов аудиоданных разделены на множество дорожек в зависимости от этих типов, и эти дорожки упорядочены.

(2) Устройство обработки информации, соответствующее вышеприведенному пункту (1), в котором эти типы сконфигурированы таким образом, чтобы представлять собой элемент аудиоданных, тип этого элемента или группу, к которой отнесен этот элемент.

(3) Устройство обработки информации, соответствующее вышеприведенному пункту (1) или (2), дополнительно включающий в себя декодирующий блок, который декодирует аудиоданные предварительно заданной дорожки, полученные получающим блоком.

(4) Устройство обработки информации, соответствующее вышеприведенному пункту (3), в котором, в случае, когда имеется множество предварительно заданных дорожек, декодирующий блок синтезирует аудиоданные этих предварительно заданных дорожек, полученные получающим блоком, и декодирует эти синтезированные аудиоданные.

(5) Устройство обработки информации, соответствующее вышеприведенному пункту (4), в котором

файл сконфигурирован таким образом, чтобы аудиоданные по секциям множества объектов были разделены на дорожки, различные для каждого объекта, и эти дорожки упорядочены, и элементы метаданных всех этих аудиоданных по секциям-объектам были расположены все вместе на дорожке, отличной от этой дорожки,

получающий блок сконфигурирован таким образом, чтобы в качестве аудиоданных предварительно заданной дорожки получать аудиоданные дорожки объекта, подлежащего воспроизведению, и получает эти метаданные, и

декодирующий блок сконфигурирован таким образом, чтобы извлекать из метаданных, полученных получающим блоком, метаданные объекта, подлежащего воспроизведению, и синтезировать эти метаданные с аудиоданными, полученными получающим блоком.

(6) Устройство обработки информации, соответствующее вышеприведенному пункту (4), в котором

файл сконфигурирован таким образом, чтобы аудиоданные по секциям множества объектов были разделены на дорожки, различные для каждого объекта, и эти дорожки упорядочены, и элементы метаданных всех этих аудиоданных по секциям-объектам были расположены все вместе на дорожке, отличной от этой дорожки, и

получающий блок сконфигурирован таким образом, чтобы в качестве аудиоданных предварительно заданной дорожки получать аудиоданные дорожки объекта, подлежащего воспроизведению, и получает эти метаданные, и

декодирующий блок сконфигурирован таким образом, чтобы синтезировать с аудиоданными и метаданными, полученными получающим блоком, нулевые данные, причем нулевые данные указывают результат декодирования, составляющий ноль, как аудиоданные дорожки, которая не подлежит воспроизведению.

(7) Устройство обработки информации, соответствующее вышеприведенному пункту (4), в котором

файл сконфигурирован таким образом, чтобы аудиоданные по секциям множества объектов были разделены на дорожки, различные для каждого объекта, и эти дорожки упорядочены, и элементы метаданных этих аудиоданных по секциям-объектам были расположены на различных дорожках для каждого объекта,

получающий блок сконфигурирован таким образом, чтобы в качестве аудиоданных предварительно заданной дорожки получать аудиоданные дорожки объекта, подлежащего воспроизведению, и получает метаданные объекта, подлежащего воспроизведению, и

декодирующий блок сконфигурирован таким образом, чтобы синтезировать аудиоданные и метаданные, полученные получающим блоком.

(8) Устройство обработки информации, соответствующее любому одному из вышеприведенных пунктов: с (1) по (7), в котором элементы аудиоданных этого множества дорожек сконфигурированы таким образом, чтобы быть расположенными в одном файле.

(9) Устройство обработки информации, соответствующее любому одному из вышеприведенных пунктов: с (1) по (7), в котором элементы аудиоданных этого множества дорожек сконфигурированы таким образом, чтобы быть расположенными в различных файлах для каждой дорожки.

(10) Устройство обработки информации, соответствующее любому одному из вышеприведенных пунктов: с (1) по (9), в котором файл сконфигурирован таким образом, чтобы информация об этом множестве типов аудиоданных была расположена как дорожка, отличная от этого множества дорожек.

(11) Устройство обработки информации, соответствующее вышеприведенному пункту (10), в котором информация об этом множестве типов аудиоданных сконфигурирована таким образом, чтобы включать в себя информацию о размере кадра изображения, указывающую размер кадра изображения, относящийся к данным изображения, соответствующим этим аудиоданным.

(12) Устройство обработки информации, соответствующее любому одному из вышеприведенных пунктов: с (1) по (9), в котором файл сконфигурирован таким образом, чтобы, в качестве аудиоданных дорожки, отличной от этого множества дорожек, была расположена информация, указывающая место расположения аудиоданных другой дорожки, соответствующих этим аудиоданным.

(13) Устройство обработки информации, соответствующее любому одному из вышеприведенных пунктов: с (1) по (9), в котором файл сконфигурирован таким образом, чтобы, в качестве данных дорожки, отличной от этого множества дорожек, были расположены информация, указывающая место расположения аудиоданных другой дорожки, соответствующих этим данным, и метаданные этих аудиоданных другой дорожки.

(14) Устройство обработки информации, соответствующее вышеприведенному пункту (13), в котором эти метаданные аудиоданных сконфигурированы таким образом, чтобы включать в себя информацию, указывающую место расположения, в котором получают эти аудиоданные.

(15) Устройство обработки информации, соответствующее любому одному из вышеприведенных пунктов: с (1) по (14), в котором файл сконфигурирован таким образом, чтобы включать в себя информацию, указывающую на отношение ссылки между дорожкой и другой дорожкой.

(16) Устройство обработки информации, соответствующее любому одному из вышеприведенных пунктов: с (1) по (15), в котором файл сконфигурирован таким образом, чтобы включать в себя информацию кодека аудиоданных каждой дорожки.

(17) Устройство обработки информации, соответствующее любому одному из вышеприведенных пунктов: с (1) по (16), в котором этот предварительно заданный тип аудиоданных представляет собой информацию, указывающую место расположения, в котором получают другой тип аудиоданных.

(18) Способ обработки информации, включающий в себя этап получения, на котором получают, посредством устройства обработки информации, аудиоданные предварительно заданной дорожки в файле, в котором множество типов аудиоданных разделены на множество дорожек в зависимости от этих типов, и эти дорожки упорядочены.

(19) Устройство обработки информации, включающее в себя генерирующий блок, который генерирует файл, в котором множество типов аудиоданных разделены на множество дорожек в зависимости от этих типов, и эти дорожки упорядочены.

(20) Способ обработки информации, включающий в себя этап генерации, на котором генерируют, посредством устройства обработки информации, файл, в котором множество типов аудиоданных разделены на множество дорожек в зависимости от этих типов, и эти дорожки упорядочены.

Перечень ссылочных позиций

141 Устройство генерации файлов

144 Оконечное устройство воспроизведения движущегося изображения

172 Блок генерации файла аудиоданных

192 Блок получения файла аудиоданных

193 Блок выбора аудиоданных

211 Устройство генерации файлов

214 Оконечное устройство воспроизведения движущегося изображения

241 Блок генерации файла аудиоданных

264 Блок получения файла аудиоданных

1. Устройство обработки информации, содержащее блок генерации файла аудиоданных, выполненный с возможностью:

назначения дорожек каждому типу вводимых нескольких потоков аудиоданных, относящихся к множеству типов аудиоданных,

генерирования файла аудиоданных, в котором поток аудиоданных назначен так, чтобы соответствовать дорожке, и

блок генерации дополнительно сохраняет информацию, относящуюся к назначенной дорожке, в заголовке сгенерированного файла.

2. Устройство обработки информации по п. 1, в котором этот тип сконфигурирован как: Канальные аудиоданные, Пообъектные Объектные аудиоданные, HOA – аудиоданные или метаданные.

3. Устройство обработки информации по п. 1, дополнительно содержащее кодирующий блок, который кодирует это множество типов аудиоданных для каждого типа аудиоданных.

4. Устройство обработки информации по п. 1, в котором блок генерации файлов дополнительно сконфигурирован с возможностью сохранения информации о множестве типов аудиоданных в файл аудиоданных.

5. Устройство обработки информации по п. 4, в котором информацию, относящуюся к назначенной дорожке, сохраняют в “сэмплах", где "сэмпл" расположен в поле moov.

6. Устройство обработки информации по п. 1, в котором тип аудиоданных каждой дорожки из множества дорожек отличается.

7. Устройство обработки информации по п. 1, в котором информацию, относящуюся к назначенной дорожке, сохраняют на одной из множества дорожек.

8. Устройство обработки информации по п. 1, в котором информацию, относящуюся к назначенной дорожке, располагают как базовую дорожку, при этом базовая дорожка отличается от множества дорожек.

9. Устройство обработки информации по любому из пп. 7, 8, дополнительно содержащее блок генерирования описания мультимедийного воспроизведения (MPD), выполненный с возможностью генерирования MPD-файла, в котором информация управления файлом аудиоданных сохранена в части "Представление" для управления сегментами файла аудиоданных.

10. Устройство обработки информации по п. 9, в котором информация управления файлом аудиоданных включает информацию расположения объекта для каждого из множества объектов в файле.

11. Устройство обработки информации по п. 1, в котором файл выполнен с возможностью хранения информации кодека множества типов аудиоданных каждой из множества дорожек.

12. Устройство обработки информации, содержащее блок генерации файлов аудиоданных, выполненный с возможностью:

назначения дорожек каждому типу вводимых нескольких потоков аудиоданных, относящихся к множеству типов аудиоданных, и

генерирования множества файлов аудиоданных, содержащих файл аудиоданных множества файлов аудиоданных для каждого типа аудиоданных, в котором поток аудиоданных назначен так, чтобы соответствовать дорожке.

13. Устройство обработки информации по п. 12, в котором информацию, относящуюся к назначенной дорожке, сохраняют на одной из множества дорожек.

14. Устройство обработки информации по п. 12, в котором информацию, относящуюся к назначенной дорожке, располагают как базовую дорожку, при этом базовая дорожка отличается от множества дорожек.

15. Устройство обработки информации по любому из пп. 12-14, дополнительно содержащее блок генерирования описания мультимедийного воспроизведения (MPD), выполненный с возможностью генерирования MPD-файла, в котором информация управления файлом аудиоданных сохранена в части "Представление" для управления сегментами файла аудиоданных.

16. Устройство обработки информации по п. 15, в котором информация управления файлом аудиоданных включает информацию расположения объекта для каждого из множества объектов в файле.

17. Способ обработки информации, содержащий этап генерации файла аудиоданных, на котором:

назначают дорожки каждому типу вводимых нескольких потоков аудиоданных, относящихся к множеству типов аудио,

генерируют файл аудиоданных, в котором поток аудиоданных назначен так, чтобы соответствовать дорожке, при этом информацию, относящуюся к назначенной дорожке, сохраняют в заголовке сгенерированного файла.

18. Способ обработки информации, содержащий этап генерации файла аудиоданных, на котором:

назначают дорожки каждому типу вводимых нескольких потоков аудиоданных, относящихся к множеству типов аудиоданных; и

генерируют множество файлов аудиоданных, содержащих файл аудиоданных множества файлов аудиоданных для каждого типа аудиоданных, в котором поток аудиоданных назначен так, чтобы соответствовать дорожке.