Устройство и способ для отображения фотоданных и видеоданных

Предложены устройство и способ для отображения мультимедиаданных, описываемых в соответствии с форматом MusicPhotoVideo (MPV). Устройство проверяет, содержит ли объект, выбранный пользователем, один элемент фотоданных и один или более элементов видеоданных. Затем извлекается ссылочная информация, необходимая для отображения фотоданных и одного или более элементов видеоданных. После этого фотоданные и один или более элементов видеоданных извлекаются на основе извлеченной ссылочной информации и последовательно отображаются. 5 н. и 7 з.п. ф-лы, 16 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение имеет отношение к устройству и способу для воспроизведения фотоданных и видеоданных (в дальнейшем именуются как 'данные AV') и носителю данных, на котором записана программа для выполнения способа воспроизведения, и, более точно, к управлению фотоданными и видеоданными в числе данных мультимедиа в формате MultiPhotoVideo или MusicPhotoVideo (оба именуются в дальнейшем как 'MPV') и к предоставлению этой возможности пользователям.

УРОВЕНЬ ТЕХНИКИ

MPV является спецификацией промышленного стандарта, предназначенного для создания оглавления мультимедийных данных, изданного Optical Storage Technology Association (Ассоциация по технологиям оптического хранения данных) (в дальнейшем именуется как 'OSTA'), международной торговой ассоциацией, учрежденной производителями оптических накопителей в 2002. То есть MPV является спецификацией стандарта для более удобного предоставления разнообразия музыки, фотоданных и видеоданных или для управления и обработки данных мультимедиа. Определение MPV и другие спецификации стандартов доступны для использования через официальный сайт OSTA (www.osta.org).

В последнее время медиаданные, содержащие цифровые изображения, видео, цифровой звук, текст и т.п., обрабатываются и воспроизводятся при помощи персональных компьютеров (ПК). Часто использовались устройства для воспроизведения медиаконтента, например цифровые фотокамеры, цифровые видеокамеры, цифровые аудиоплееры (то есть устройства воспроизведения цифровых аудиоданных, таких как Moving Picture Experts Group Layer-3 Audio (MP3), Windows Media Audio (WMA) и так далее), и соответственно в больших количествах были созданы различные виды медиаданных.

Однако персональные компьютеры главным образом использовались, чтобы управлять данными мультимедиа, созданными в больших количествах; при этом от пользователя требовался опыт работы с файлами. Кроме того, когда данные мультимедиа создаются на определенном оборудовании, атрибуты данных, порядок воспроизведения данных и способы воспроизведения данных создаются в зависимости от данных мультимедиа. Когда персональные компьютеры получают к ним доступ, атрибуты не сохраняются, а передаются только исходные данные. Другими словами, существует очень слабая функциональная совместимость, касающаяся данных и атрибутов данных, между бытовой электроникой, персональными компьютерами и устройствами воспроизведения цифрового контента.

Опишем пример слабой функциональной совместимости. Изображение захвачено с использованием цифровой фотокамеры, и вместе с фактическими данными изображений, которые являются исходными данными, сохраняются такие данные, как определенные при помощи функции демонстрации слайдов атрибуты очередности показа для идентификации захваченного изображения на цифровой фотокамере, интервалы времени между изображениями, связи между изображениями, чьи атрибуты, определенные при помощи функции панорамной съемки, потребовались, и атрибуты, определенные при помощи функции последовательного фотографирования. На этом этапе, если цифровая фотокамера передает изображения на телевизионный приемник при помощи кабеля AV, пользователь может видеть данные мультимедиа, чьи соответствующие атрибуты воспроизведены. Однако если цифровая фотокамера имеет доступ к персональному компьютеру при помощи универсальной последовательной шины (USB), на компьютер передаются только исходные данные, а их соответствующие атрибуты не сохраняются.

Описанное выше показывает, что функциональная совместимость персонального компьютера по метаданным, таким как атрибуты данных, сохраненные в цифровой фотокамере, очень слаба или нет никакой функциональной совместимости персонального компьютера с цифровой фотокамерой.

Чтобы усилить касающуюся данных функциональную совместимость между цифровыми устройствами, была проведена стандартизация для MPV.

Спецификации MPV определяют Манифест, Метаданные и Практику для комплектов управления и воспроизведения данных мультимедиа, например цифровых изображений, видео, звука и т.д., сохраненных на носителях данных (или устройстве), содержащих оптический диск, карту памяти, компьютерный жесткий диск, или обменивающихся информацией с помощью протокола сети Интернет (IP).

Стандартизация для MPV в настоящее время совершенствуется OSTA (Optical Storage Technology Association - Ассоциация по технологиям оптического хранения данных) и I3A (International Imaging Industry Association - Международная Ассоциация Фотопромышленности). MPV использует открытые спецификации и главным образом предлагает облегчить обработку, обмен и воспроизведение наборов цифровых изображений, видео, цифровой звукозаписи и текста и так далее.

MPV в общих чертах классифицирован в Основной Спецификации MPV (0.90WD) и Профиле.

Основная часть состоит из трех основных факторов, таких как Коллекция, Метаданные и Идентификация.

Коллекция содержит Манифест в качестве элемента Корня и включает в себя Метаданные, Альбом, Отмеченный Цифровой_Объект и Список Цифровых Объектов, и т.д. Цифровой объект относится к данным мультимедиа, соответствующим формату MPV, сгруппированным в два вида: Простой цифровой медиаобъект (например, цифровые изображения, цифровая звукозапись, текст и т.д.) и Составной цифровой медиаобъект (например, цифровое изображение, объединенное с цифровой звукозаписью (Кадр_со_звуком), цифровые изображения, снятые последовательно (Пакет кадров серийной_съемки), и панорамные цифровые изображения (Пакет_кадров_панорамной_съемки), и т.д.). Фиг.1 иллюстрирует примеры Кадра_со_звуком, Пакета_кадров_серийной_съемки и Пакета_кадров_панорамной_съемки.

Метаданные принимают формат расширяемого языка разметки (XML - extensible markup language) и имеют пять видов идентификаторов для распознавания.

1. LastURL - имя пути и имя файла рассматриваемого цифрового объекта (Путь к объекту),

2. InstancelD - уникальный идентификатор для каждого цифрового объекта (уникальный для каждого объекта: например, Exif 2.2),

3. Document ID - одинаковый для исходных данных и для модифицированных данных,

4. ContentID - создается всякий раз, когда рассматриваемый цифровой объект используется с определенной целью, и

5. id - локальная переменная в метаданных.

Есть семь профилей: Основной профиль, профиль Представления, профиль Захвата/Редактирования, профиль Архива, профиль Интернета, профиль Печати и профиль Контейнера.

MPV поддерживает управление файлами разных типов при помощи метаданных XML, что дает возможность воспроизведения различных данных мультимедиа, записанных на носителях данных. В частности, MPV поддерживает JPEG (Joint Photographic Experts Group - Объединенная группа экспертов по машинной обработке фотографических изображений), МРЗ, WMA (Windows Media Audio), WMV (Windows Media Video), MPEG-1 (Moving Picture Experts Group-1 - Группа экспертов по кинематографии-1), MPEG-2, MPEG-4, и форматы цифровых фотокамер, например AVI-видео (Audio Video Interleaved) и Quick Time MJPEG-видео (Motion Joint Photographic Experts Group - Объединенная группа экспертов по обработке динамических изображений). Диски, созданные с учетом спецификаций MPV, являются совместимыми с ISO9660 уровень 1, Joliet, а также с мультисессионными CD (компакт-дисками), цифровым универсальным диском DVD, картами памяти, жесткими дисками и Интернетом, таким образом, позволяя пользователям управлять и обрабатывать разнообразные данные мультимедиа.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Техническая задача

Однако новые форматы различных данных мультимедиа не определены в спецификациях формата MPV, то есть необходимы новые форматы цифровых объектов, и желательно добавление функции для предоставления данных мультимедиа.

Техническое решение

Соответственно, настоящее изобретение предлагает предоставление форматов новых данных мультимедиа в дополнение к различным форматам данных мультимедиа, определенных в текущих форматах MPV, и расширяет использование данных мультимедиа различных видов, предлагая способ предоставления пользователям данных мультимедиа, соответствующих формату MPV, различными способами.

В соответствии с аспектом настоящего изобретения, предоставлено устройство для воспроизведения данных мультимедиа, описываемых в соответствии с форматом MusicPhotoVideo (MPV), причем проверяется, содержит ли выбранный пользователем объект один элемент фотоданных и один или более элементов видеоданных, извлекается ссылочная информация, необходимая для воспроизведения фотоданных и одного или более элементов видеоданных, и фотоданные и один или более элементов видеоданных извлекаются, используя извлеченную ссылочную информацию, и последовательно воспроизводятся, используя заранее заданный способ воспроизведения.

В иллюстративном варианте осуществления объект включает в себя информацию о времени воспроизведения, когда воспроизводятся фотоданные, и информацию о позиции, в которой воспроизводятся фотоданные. Кроме того, желательно, чтобы способ воспроизведения содержал первый способ воспроизведения, при котором видеоданные воспроизводятся после того, как воспроизведены фотоданные, и второй способ воспроизведения, при котором фотоданные воспроизводятся после того, как воспроизведены видеоданные.

В соответствии с другим аспектом настоящего изобретения, предоставлено устройство для воспроизведения данных мультимедиа, описываемых в соответствии с форматом MusicPhotoVideo (MPV), причем проверяется, содержит ли выбранный пользователем объект один элемент видеоданных и один или более элементов фотоданных, извлекается ссылочная информация, необходимая для воспроизведения видеоданных и фотоданных, и видеоданные и один или более элементов фотоданных извлекаются, используя извлеченную ссылочную информацию, и последовательно воспроизводятся, используя заранее заданный способ воспроизведения.

В иллюстративном варианте осуществления объект включает в себя информацию о времени воспроизведения, когда воспроизводился каждый элемент фотоданных, и информацию о позиции, в которой воспроизводились фотоданные. Способ воспроизведения может содержать первый способ воспроизведения, при котором фотоданные воспроизводятся перед тем, как воспроизведены видеоданные, второй способ воспроизведения, в котором фотоданные воспроизводятся в то время, пока воспроизводятся видеоданные, третий способ воспроизведения, в котором фотоданные воспроизводятся после того, как воспроизведение видеоданных завершено, и четвертый способ воспроизведения, который является комбинацией, по меньшей мере, двух или более способов воспроизведения.

В соответствии с другим аспектом настоящего изобретения, предоставлен способ для воспроизведения данных мультимедиа, описываемых в соответствии с форматом MusicPhotoVideo (MPV), причем способ содержит этапы, на которых: проверяют, содержит ли выбранный пользователем объект один элемент фотоданных и один или более элементов видеоданных; извлекают ссылочную информацию, необходимую для воспроизведения фотоданных и видеоданных; и извлекают фотоданные и один или более элементов видеоданных, используя извлеченную ссылочную информацию, и последовательно воспроизводят их, используя заранее заданный способ воспроизведения.

В иллюстративном варианте осуществления объект включает в себя информацию о времени воспроизведения, когда воспроизводились фотоданные, и информацию о позиции, в которой воспроизводились фотоданные. Кроме того, желательно, чтобы способ воспроизведения содержал первый способ воспроизведения, в котором видеоданные воспроизводились после того, как воспроизведены фотоданные, и второй способ воспроизведения, в котором фотоданные воспроизводились после того, как воспроизведены видеоданные.

В соответствии с еще одним аспектом настоящего изобретения, предоставлен способ для воспроизведения данных мультимедиа, описываемых в соответствии с форматом MusicPhotoVideo (MPV), причем способ содержит этапы, на которых: проверяют, содержит ли выбранный пользователем объект один элемент видеоданных и один или более элементов фотоданных; извлекают ссылочную информацию, необходимую для воспроизведения видеоданных и фотоданных; и извлекают видеоданные и один или более элементов фотоданных, используя извлеченную ссылочную информацию, и последовательно воспроизводят их, используя заранее заданный способ воспроизведения.

Здесь цифровой объект может включать в себя информацию о времени воспроизведения, когда воспроизводились фотоданные, и информацию о позиции, в которой воспроизводились фотоданные, и способ воспроизведения может содержать первый способ воспроизведения, в котором фотоданные воспроизводятся перед тем, как воспроизведены видеоданные, второй способ воспроизведения, в котором фотоданные воспроизводятся в то время, пока воспроизводятся видеоданные, третий способ воспроизведения, при котором фотоданные воспроизводятся после того, как воспроизведение видеоданных завершено, и четвертый способ воспроизведения, который является комбинацией, по меньшей мере, двух или более способов воспроизведения.

В соответствии с дополнительным аспектом настоящего изобретения, предоставлен носитель информации, на котором записана программа для воспроизведения данных мультимедиа, описываемых в соответствии с форматом MusicPhotoVideo (MPV), причем программа проверяет, содержит ли выбранный пользователем цифровой объект один элемент фотоданных и один или более элементов видеоданных, извлекает ссылочную информацию, необходимую для воспроизведения фотоданных и одного или более элементов видеоданных, и фотоданные и один или более элементов видеоданных извлекаются, используя извлеченную ссылочную информацию, и последовательно воспроизводятся, используя заранее заданный способ воспроизведения, причем заранее заданный способ воспроизведения содержит первый способ воспроизведения, при котором видеоданные воспроизводятся после того, как воспроизведены фотоданные, и второй способ воспроизведения, при котором фотоданные воспроизводятся после того, как воспроизведены видеоданные.

В иллюстративном варианте осуществления объект включает в себя информацию о времени воспроизведения, когда воспроизводились фотоданные, и информацию о позиции, в которой воспроизводились фотоданные.

В соответствии с другим аспектом настоящего изобретения, предоставлен носитель информации, на котором записана программа для воспроизведения данных мультимедиа, описываемых в соответствии с форматом MusicPhotoVideo (MPV), причем программа проверяет, содержит ли выбранный пользователем объект один элемент видеоданных и один или более элементов фотоданных, извлекает ссылочную информацию, необходимую для воспроизведения видеоданных и фотоданных, и видеоданные и один или более элементов фотоданных извлекаются, используя извлеченную ссылочную информацию, и последовательно воспроизводятся, используя заранее заданный способ воспроизведения, причем заранее заданный способ воспроизведения содержит первый способ воспроизведения, при котором фотоданные воспроизводятся перед тем, как воспроизведены видеоданные, второй способ воспроизведения, при котором фотоданные воспроизводятся в то время, пока воспроизводятся видеоданные, третий способ воспроизведения, при котором фотоданные воспроизводятся после того, как воспроизведение видеоданных завершено, и четвертый способ воспроизведения, который является комбинацией, по меньшей мере, двух или более способов воспроизведения.

Цифровой объект может включать в себя информацию о времени воспроизведения, когда воспроизводились фотоданные, и информацию о позиции, в которой воспроизводились фотоданные.

В соответствии с другим аспектом настоящего изобретения, предоставлен способ воспроизведения данных мультимедиа, содержащий этапы, на которых: проверяют, содержит ли объект для воспроизведения один или более элементов фотоданных и один или более элементов видеоданных; извлекают ссылочную информацию, необходимую для воспроизведения одного или более элементов фотоданных и одного или более элементов видеоданных; и воспроизводят один или более элементов фотоданных и один или более элементов видеоданных, используя извлеченную ссылочную информацию на основе метаданных.

В соответствии с другим аспектом настоящего изобретения, предоставлен способ воспроизведения данных мультимедиа, содержащий этапы, на которых: генерируют метаданные, включающие в себя ссылочную информацию для указания на подлежащий воспроизведению объект, и информацию воспроизведения для воспроизведения объекта; и воспроизводят объект, используя сгенерированные метаданные, при этом объект содержит один или более элементов фотоданных и один или более элементов видеоданных, и воспроизводится при помощи объекта, соответствующего ссылочной информации.

В соответствии с еще одним аспектом настоящего изобретения, предоставлено устройство для воспроизведения данных мультимедиа, содержащее: запоминающее устройство под управлением процессора, причем запоминающее устройство содержит программное обеспечение, предоставляющее устройству возможность: проверять, содержит ли объект для воспроизведения один или более элементов фотоданных и один или более элементов видеоданных; извлекать ссылочную информацию, необходимую для воспроизведения одного или более элементов фотоданных и одного или более элементов видеоданных; и воспроизводить один или более элементов фотоданных и один или более элементов видеоданных, используя извлеченную ссылочную информацию на основе метаданных, включающих в себя информацию о времени, когда фотоданные будут воспроизводиться, и информацию о позиции, в которой воспроизводятся фотоданные.

В соответствии с еще одним аспектом настоящего изобретения, предоставлено устройство для воспроизведения данных мультимедиа, содержащее: запоминающее устройство под управлением процессора, причем запоминающее устройство содержит программное обеспечение, предоставляющее устройству возможность: генерировать метаданные, включающие в себя ссылочную информацию для указания на подлежащий воспроизведению объект, и информацию воспроизведения для воспроизведения объекта; и воспроизводить объект, используя сгенерированные метаданные, при этом объект содержит один или более элемент фотоданных и один или более элемент видеоданных, и воспроизводится при помощи объекта, соответствующего ссылочной информации, при этом информация воспроизведения включает в себя информацию о времени, когда фотоданные будут воспроизводиться, и информацию о позиции, в которой воспроизводятся фотоданные.

В разнообразных иллюстративных вариантах осуществления метаданные могут быть представлены на языке разметки, а язык разметки может описываться в соответствии с форматом Музыка фото/видео (MPV); ссылочная информация может относиться к информации идентификации для идентификации объекта; метаданные могут включать в себя информацию о времени, когда фотоданные будут воспроизводиться, и информацию о позиции, в которой воспроизводятся фотоданные; метаданные дополнительно могут включают в себя информацию об атрибутах объектов, а воспроизведение может включать в себя первый способ воспроизведения, в котором видеоданные воспроизводятся после того, как воспроизведены фотоданные, и второй способ воспроизведения, в котором фотоданные воспроизводятся после того, как воспроизведены видеоданные.

Описание чертежей

Вышеупомянутые и другие особенности и преимущества настоящего изобретения будут лучше видны из подробного описания иллюстративных вариантов осуществления настоящего изобретения в совокупности с прилагаемыми чертежами, на которых:

Фиг.1 - иллюстративная диаграмма типов цифровых объектов, описанных в спецификациях MusicPhotoVideo (MPV);

Фиг.2 - иллюстративная диаграмма, схематично показывающая конфигурацию цифрового объекта <PhotoWithVideo>, согласующегося с вариантом осуществления настоящего изобретения;

Фиг.3 - иллюстративная диаграмма, схематично определяющая элемент <PhotoDur>, согласующийся с вариантом осуществления настоящего изобретения;

Фиг.4 - иллюстративная диаграмма, схематично определяющая элемент <PhotoLocation>, согласующийся с вариантом осуществления настоящего изобретения;

Фиг.5 - иллюстративная диаграмма, схематично показывающая определение типов для элемента <PhotoLocation>, согласующегося с вариантом осуществления настоящего изобретения, и

Фиг.6 - иллюстративная диаграмма пространственного взаиморасположения между элементами <PhotoLocation>;

Фиг.7 - иллюстративная диаграмма, показывающая определение типов для элемента <PhotoWithVideo>, согласующегося с вариантом осуществления настоящего изобретения;

Фиг.8 - иллюстративная диаграмма, схематично показывающая конфигурацию цифрового объекта <VideoWithPhoto>, согласующегося с вариантом осуществления настоящего изобретения;

Фиг.9 - иллюстративная диаграмма, схематично определяющая элемент <PhotoDurSeq>, согласующийся с вариантом осуществления настоящего изобретения;

Фиг.10 - иллюстративная диаграмма, показывающая определение типов для элемента <VideoWithPhoto>, согласующегося с вариантом осуществления настоящего изобретения;

Фиг.11 - иллюстративная диаграмма, схематично определяющая элемент <PhotoWithVideoRef>, согласующийся с вариантом осуществления настоящего изобретения;

Фиг.12 - иллюстративная диаграмма, схематично определяющая элемент <VideoWithPhotoRef>, согласующийся с вариантом осуществления настоящего изобретения;

Фиг.13 - иллюстративная диаграмма, схематично определяющая элемент <PhotoRefGroup>, согласующийся с вариантом осуществления настоящего изобретения;

Фиг.14 - блок-схема, иллюстрирующая способ воспроизведения цифрового объекта 'PhotoWithVideo', согласующегося с вариантом осуществления настоящего изобретения; и

Фиг.15 и 16 - блок-схема, иллюстрирующая способ воспроизведения цифрового объекта 'VideoWithPhoto', согласующегося с вариантом осуществления настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Ниже устройство и способ для воспроизведения фотоданных и видеоданных, соответствующих форматам MPV, согласующиеся с аспектом настоящего изобретения, будут описаны более подробно в совокупности с прилагаемыми чертежами.

В настоящем изобретении используется XML, чтобы предоставить данные мультимедиа в соответствии с форматом MPV. Таким образом, настоящее изобретение будет описано согласно схеме XML.

В настоящем описании предоставлены различные данные мультимедиа, предполагая новые цифровые объекты 'AudioWithVideo' и 'VideoWithAudio', не предусмотренные OSTA. Для описания новых цифровых объектов используются следующие обозначения 'smpv' и 'mpv' для приписывания к 'пространству имен' в XML, причем первое означает пространство имен, относящееся к новому элементу, предложенному в настоящем изобретении, а последнее означает пространство имен, относящееся к элементу, предложенному OSTA. Будут описаны определения и примеры этих новых цифровых объектов.

1. Цифровой объект 'PhotoWithVideo'

'PhotoWithVideo' является цифровым объектом, который объединяет отдельный цифровой фотообъект и, по меньшей мере, один цифровой видеообъект. Если цифровой объект описан с использованием XML, он может именоваться как элемент <PhotoWithVideo>. Цифровой фотообъект и цифровой видеообъект рассматриваются как элемент в файле, описанном с использованием XML.

Цифровой фотообъект может быть представлен как <mpv:StillRef>, <mpv:StillMultiShotSequenceRef>, и <mpv:StillPanoramaRef>, а цифровой видеообъект может быть представлен как <smpv:VideoPartRef>, <mpv:VideoRef>, <smpv:VideoWithAudioRef> и <smpv:AudioWithVideoRef>.

Элемент <VideoPartRef> ссылается на элемент <VideoPart>, который представляет собой часть цифрового видеообъекта. Элемент <VideoPart> включает в себя дочерние элементы, определенные как<smpv:start>,<smpv:stop>и<smpv:dur>. По меньшей мере, один из дочерних элементов должен иметь конкретное значение.

Элемент <SMPV:start> может быть определен как <xs:element name="SMPV:start" type="xs:long" minOccurs="0"/>. Начальный момент для части всего времени цифрового видеообъекта, на который ссылаются, представлен в секундах. Если значение не задано, начальный момент может быть вычислен исходя из значений <SMPV:stop> и <SMPV:dur>, используя следующее уравнение: [SMPV:start]=[SMPV:stop]-[SMPV:dur]. Если не определены значения <SMPV:stop> или <SMPV:dur>, значение <SMPV:start> становится равным нулю.

Элемент <SMPV:stop> может быть определен как <xs:element name="SMPV:stop" type="xs:long" minOccurs="0"/>. Время останова для части всего времени цифрового видеообъекта, на который ссылаются, представлен в секундах. Если значение не задано, время останова может быть вычислено исходя из значений <SMPV:start> и <SMPV:dur>, используя следующее уравнение: [SMPV:stop]=[SMPV:start]+[SMPV:dur]. Если значение <SMPV:dur> не определено, но определено значение <SMPV:start>, значение <SMPV:stop> приравнивается к времени останова исходного цифрового объекта. С другой стороны, если не определено значение <SMPV:start>, но определено значение <SMPV:dur>, значение <SMPV:stop> приравнивается к значению <SMPV:dur>.

Элемент <SMPV:dur> может быть определен как <xs:element name="SMPV:dur" type="xs:long" minOccurs="0"/>, что представляет собой фактическое время воспроизведения из полного времени цифрового видеообъекта, на который ссылаются. Если значение <SMPV:dur> не задано, оно может быть вычислено следующим образом: [SMPV:dur]=[SMPV:stop]-[SMPV:start]. Фиг.2 схематично определяет конфигурацию цифрового объекта <PhotoWithVideo>.

Обратимся к диаграмме элемента <PhotoWithVideo> на Фиг.2, элемент <PhotoWithVideo> содержит многочисленные дочерние элементы, использующие 'mpv' и 'smpv' как пространства имен.

В связи с тем, что элемент, использующий 'mpv' как пространство имен, был описан на сайте OSTA www.osta.org, в настоящем описании не будет приводиться его разъяснение. Итак, теперь будут описаны элементы, использующие 'smpv' как пространство имен.

(1) Элемент <PhotoDur>

Элемент <PhotoDur> представляет собой время в секундах, за которое отдельный цифровой фотообъект воспроизводится. Элемент <PhotoDur> является необходимым элементом для определения элемента <PhotoWithVideo>. Фиг.3 схематично показывает элемент <PhotoDur>.

(2) <PhotoLocation> Элемент

Элемент <PhotoLocation> определяет позицию цифрового фотообъекта. То есть элемент <PhotoLocation> представляет собой временное или пространственное местоположение, в котором воспроизводится отдельный цифровой фотообъект, в то время как воспроизводятся различные цифровые видеообъекты. Фиг.4 схематично определяет элемент <PhotoLocation>. На Фиг.4, среди дочерних элементов, формирующих элемент <PhotoLocation>, элемент <PhotoRole> представляет собой временную зависимость.

Элемент <PhotoLocation> в основном используется в цифровом объекте 'PhotoWithVideo'. Соответствующие примеры элемента <PhotoRole> включают в себя 'Title', обозначающее, что цифровой фотообъект должен быть воспроизведен перед началом воспроизведения соответствующего цифрового видеообъекта, и 'End', обозначающее, что цифровой фотообъект должен быть воспроизведен после окончания воспроизведения соответствующего цифрового видеообъекта.

Обычно элемент <PhotoLeft>, элемент <PhotoTop>, элемент <PhotoWidth> и элемент <PhotoHeight>, представляющие пространственное взаиморасположение цифрового фотообъекта, редко используются в элементе 'PhotoWithVideo'. Фиг.5 показывает определение типов элемента <PhotoLocation>, и Фиг.6 показывает пространственное взаиморасположение между каждым из элемента <PhotoLeft>, элемента <PhotoTop>, элемента <PhotoWidth> и элемента <PhotoHeight>, формирующих элемент <PhotoLocation>.

Фиг.7 показывает определение типов элемента <PhotoWithVideo>.

Теперь, с помощью примеров, будет описан способ определения цифрового объекта PhotoWithVideo, использующего элементы, описанные выше.

Пример 1)

'Пример 1' определяет что фотоданное, именующееся 'S001', должно воспроизводиться в течение 5 секунд перед воспроизведением видеоданного, именующегося 'V001'. Например, фотоданное, именующееся 'SOUl', может использоваться для воспроизведения названия воспроизводимого видео или сообщений относительно копирования данных.

Пример 2)

'Пример 2' определяет, что фотоданное, именуемое 'S002', должно воспроизводиться в течение 2 секунд после воспроизведения видеоданного, именуемого 'V001'.

2. Цифровой объект 'VideoWithPhoto'

'VideoWithPhoto' является цифровым объектом, который объединяет отдельный цифровой видеообъект и один или более цифровой фотообъект. Цифровой объект, описанный с использованием XML, может именоваться как элемент <VideoWithPhoto>. Цифровые фотообъекты и цифровой видеообъект, описанные с использованием XML, рассматриваются как элементы. В этом случае цифровой фотообъект может быть представлен как 'mpv:StillRef', 'mpv:StillMultiShotSequenceRef', или 'mpv:StillPanoramaRef' и цифровой видеообъект может быть представлен как 'SMPV:VideoPartRef, 'mpv:VideoRef', 'SMPV:VideoWithAudioRef' или 'SMPV:AudioWithVideoRef'. Цифровой объект 'VideoWithPhoto' используется для воспроизведения большого количества фотоданных, во время воспроизведения отдельного видеоданного. Таким образом, различные виды фотоданных могут быть воспроизведены за заданное время, во время и после воспроизведения отдельного видеоданного. Фиг.8 схематично показывает структуру элемента 'VideoWithPhoto'. Как показано на Фиг.8, элемент <VideoWithPhoto> включает в себя большое количество элементов, использующих соответственно 'mpv' и 'smpv' как пространства имен.

Элементы, имеющие 'mpv' в качестве пространства имен, описаны на официальной домашней странице OSTA (www.osta.org) в предложенной спецификации MPV, их описание будет опущено в настоящем описании. Соответственно, только элементы, имеющие 'smpv' в качестве пространства имен, будут описаны ниже, за исключением информации, изложенной выше в разделе цифрового объекта 'PhotoWithVideo'.

(1) Элемент<PhotoDurSeq>

Элемент <PhotoDurSeq> обозначает продолжительность воспроизведения каждого фотоданного. Элемент <PhotoDurSeq> является значением относительного времени, представленным в секундах. Время воспроизведения может быть представлено в десятичном представлении. Если значение элемента <PhotoDurSeq> не установлено, невозможно узнать длительность воспроизведения. Таким образом, значение элемента <PhotoDurSeq> должно быть определено.

Значение элемента <PhotoDurSeq> будет кратко описано следующим образом:

[Уравнение 1]

PhotoDurSeq = <значение времени> (";"<значение времени>);

[Уравнение 2]

значение времени = (<секунды>|<неизвестная длительность>)

[Уравнение 3]

неизвестная длительность = пустая строка

[Уравнение 4]

секунды = <десятичное число>(<десятичное число>).

[Уравнение 1] означает, что значение элемента <PhotoDurSeq> может быть представлено как 'значение времени', и, когда есть два или больше фотоданных, время показа каждого фотоданного можно выделить, используя ";".

[Уравнение 2] означает, что 'значение времени' в [Уравнение 1] может быть представлено как 'секунды' или 'неизвестная длительность'.

[Уравнение 3] означает, что 'неизвестная длительность' в [Уравнение 2] представляет собой, что 'значение времени' не установлено.

[Уравнение 4] означает, что значение 'секунды' в [Уравнение 2] представлено десятичным числом, и время воспроизведения соответствующих фотоданных представлено в виде десятичной дроби.

Например, 'значение времени' '12.2' означает, что время воспроизведения соответствующего фотоданного - 12,2 секунды. В качестве другого примера, 'значение времени' '20;8.9' означает, что количество соответствующих фотоданных 2, время воспроизведения первого фотоданного 20 секунд, и время воспроизведения второго фотоданного 8,9 секунд.

Фиг.8 определяет элемент <StartSeq>, который является дочерним элементом элемента <VideoWithPhoto>, в котором значение элемента <StartSeq> представляет собой время начала воспроизведения видеоданного. Здесь элемент <StartSeq> представлен в секундах и является относительным значением времени, основывающимся на времени начала воспроизведения видеоданного, которое также задается в десятичном представлении. Например, когда значение элемента <StartSeq> не установлено, предполагается, что соответствующее значение - 0 секунд. Другими словами, начальный момент соответствует времени начала воспроизведения соответствующего видеоданного. Если значение элемента <StartSeq> больше, чем полное время воспроизведения соответствующего видеоданного, фотоданное воспроизводится после завершения воспроизведения соответствующего видеоданного. В этом случае предполагается, что значением элемента <StartSeq> является '0'. Отрицательное (-) значение <StartSeq> означает, что фотоданное воспроизводится перед воспроизведением видеоинформации. Поэтому в этом случае значение элемента <PhotoRole> должно быть установлено. Если значение <StartSeq> является положительным (+) и меньшим, чем полное время воспроизведения соответствующего видеоданного, фотоданное и видеоданное могут перекрыть друг друга. Таким образом, должна быть определена пространственная позиция элемента <PhotoLocation>. Фиг.9 кратко описывает элемент <PhotoDurSeq>.

Теперь на примерах будет описан способ определения цифрового объекта 'VideoWithPhoto', использующего элементы, описанные выше.

Пример 1)

'Пример 1' определяет что фотоданное, именующееся 'S001', должно воспроизводиться в течение 5 секунд перед воспроизведением видеоданного, именующегося 'V001'. Например, фотоданное, именующееся 'S001', может использоваться для воспроизведения названия воспроизводимого видео или сообщений относительно копирования данных.

Пример 2)

'Пример 2' определяет, что фотоданное, именуемое 'S001', должно воспроизводиться в течение 5 секунд перед воспроизведением видеоданного, именуемого 'V001'. Через 5 секунд после воспроизведения видеоданного фотоданное, именуемое 'S002', воспроизводится в течение 3 секунд. Затем, когда воспроизведение видеоданного завершено, фотоданное, именуемое 'S003', воспроизводится в течение 7 секунд. Фиг.10 иллюстрирует определение типов для элемента <VideoWithPhoto>.

(2) <PhotoWithVideoRef>

Элемент <PhotoWithVideoRef> сформирован для осуществления ссылки на элемент <PhotoWithVideo>. Фиг.11 кратко описывает элемент <PhotoWithVideoRef>.

(3) <VideoWithPhotoRef>

Элемент <VideoWithPhotoRef> сформирован для осуществления ссылки на элемент <VideoWithPhoto>. Фиг.12 кратко описывает элемент <VideoWithPhotoRef>.

При этом настоящее изобретение определяет группу ссылок для обращения к цифровым фотообъектам, которая называется 'PhotoRefGroup' и кратко описана на Фиг.13.

Фиг.14 является блок-схемой, иллюстрирующей процесс воспроизведения цифрового объекта 'PhotoWithVideo', согласующегося с вариантом осуществления настоящего изобретения, в частности, иллюстрирующей процесс воспроизведения 'PhotoWithVideo', в котором цифровой фотообъект объединен с цифровым видеообъектом.

Когда пользователь запускает программное обеспечение для воспроизведения MVP-файла, он выбирает цифровой объект 'PhotoWithVideo' в отдельном альбоме на этапе S1300. Затем создается порожденный процесс или дочерний процессор и собирается информация о соответствующих цифровых фотообъектах и информация о цифровых видеообъектах.

Другими словами, идентификаторы ссылок для цифровых фотообъектов, формирующих выбранный пользователем цифровой объект 'PhotoWithVideo', извлекаются на этапе S1305. Затем информация о цифровом фотообъекте извлекается из Списка_Цифровых_Объектов, используя извлеченный идентификатор ссылки, несмотря на то, что это не показано на блок-схеме. В другом порожденном процессе или дочернем процессоре сначала идентификатор ссылки для цифрового видеообъекта, объединенного с цифровым фотообъектом, извлекается на этапе S1310. Затем информация о цифровом видеообъекте извлекается из Списка_Цифровых__Объектов, используя идентификатор ссылки для цифрового видеообъекта, несмотря на то, что это не показано на блок-схеме.

Когда извлечена и информация о соответствующих цифровых фотообъектах, и информация о цифровых видеообъектах, информация об элементе <PhotoLocation>, описанном в MPV-файле, извлекается на этапе S1315. Другими словами, необходимо решить, когда воспроизводить цифровой фотообъект во время воспроизведения цифрового видеообъекта.

Если информация об элементе <PhotoLocation> представляет собой 'Title', сначала воспроизводится цифровой фотообъект, а затем воспроизводится цифровой видеообъект на этапах S1320, 1325 и 1330.

Если информация об элементе <PhotoLocation> представляет собой 'End', сначала воспроизводится цифровой видеообъект, а затем воспроизводится цифровой фотообъект на этапах S1335, 1340 и 1345.

Если информация об элементе <PhotoLocation> не является ни 'Title', ни 'End', никакой цифровой объект не воспроизводится и процесс прекращается. То есть процесс возвращается к программной форме, на этапе S1350.

Фиг.15 и 16 являются схемой последовательности операций, иллюстрирующей процесс воспроизведения цифрового объекта 'VideoWithPhoto', согласующегося с вариантом осуществления настоящего изобретения.

Пользователь запускает программное обеспечение, способное к выполнению любого файла, записанного согласно формату MPV, и выбирает цифровой объект 'VideoWithPhoto' в определенном альбоме S1400. Затем генерируется порожденный процесс или дочерний процессор, который собирает информацию о цифровом фотообъекте и цифровом видеообъекте.

Другими словами, идентификаторы ссылок для цифровых видеообъектов, формирующих выбранный пользователем цифровой объект 'VideoWithPhoto', извлекаются на этапе S1405. Затем информация о цифровом видеообъекте извлекается из Списка_Цифровых_Объектов, используя извлеченный идентификатор ссылки, несмотря на то, что это не показано на блок-схеме. В другом порожденном процессе или дочернем процессоре, сначала идентификатор ссылки для цифрового фотообъекта, объединенного с цифровым видеообъектом, извлекается на этапе S1410. Затем информация о цифровом видеообъекте извлекается из Списка_Цифровых_Объектов, используя извлеченный идентификатор ссылки для цифрового фотообъекта, несмотря на то, что это не показано на блок-схеме. На данном этапе множество цифровых фотообъектов, формирующих цифровой объект 'VideoWithPhoto', упорядочивается, используя информацию об элементе <PhotoDurSeq>, элементе <StartSeq> или элементе <PhotoLocation>, последовательно в порядке воспроизведения на этапе S1415.

На этапе S1420 множество цифровых фотообъектов образуют несколько групп: первая группа, содержащая цифровые фотообъекты, воспроизводимые перед воспроизведением цифрового видеообъекта, формирующего цифровой объект 'VideoWithPhoto'; вторая группа содержит цифровые фотообъекты, воспроизводимые во время воспроизведения цифрового видеообъекта; и третья группа содержит цифровые фотообъекты, воспроизводимые после воспроизведения цифрового видеообъекта. В это время информация о группировании может быть сохранена в отдельной базе данных на этапе S1425.

Когда этапы S1405 и S1420 прекращены, на этапе S1430 цифровой фотообъект, принадлежащий к первой группе, сначала воспроизводится в информации о группировании, выполненном на этапе S1420. Затем цифровой видеообъект, который нужно воспроизвести, инициализируется на этапе S1435, и цифровой видеообъект и цифровой фотообъект, принадлежащие ко второй группе, одновременно воспроизводятся согласно заданной информации воспроизведения на этапах S1440 и 1445.

Если воспроизведение цифрового видеообъекта завершено, цифровой фотообъект, принадлежащий к третьей группе, воспроизводится на этапе S1450.

Данные мультимедиа, предоставленные в формате MPV, могут быть описаны в виде документов XML, которые могут быть заменены рядом прикладных документов согласно таблицам стилей, приложенным к документам XML. В настоящем изобретении были применены таблицы стилей для замены документа XML на документ HTML (HyperText Markup Language - язык разметки гипертекста), посредством чего пользователю предоставлена возможность управлять аудиоданными и видеоданным через браузер. Кроме того, могут быть применены таблицы стилей для замены документа XML на документ WML (Wireless Markup Language - язык разметки для беспроводной связи) или документ cHTML (Compact HyperText Markup Language - компактный язык разметки гипертекста), таким образом, предоставляя пользователю возможность получить доступ к аудиоданным и видеоданным, описанным в формате MPV через мобильные терминалы, такие как карманный компьютер (PDA personal digital assistant), сотовый телефон, смартфон и так далее.

Промышленная применимость

Как описано выше, настоящее изобретение предоставляет пользователям новую форму данных мультимедиа цифровых объектов в комбинации аудиоданных и видеоданных, таким образом, предоставляя пользователям возможность генерировать и использовать различные данные мультимедиа, описанные в формате MPV.

Хотя настоящее изобретение было описано в связи с иллюстративными вариантами осуществления, которые показаны на прилагаемых чертежах, они являются всего лишь примерами настоящего изобретения. Также специалистам в данной области техники понятно, что, кроме этого, в них могут быть применены различные изменения, модификации и аналоги. Таким образом, действительный технический объем настоящего изобретения должен быть определен в соответствии с прилагаемой формулой изобретения.

1. Способ воспроизведения данных мультимедиа, содержащий этапы, на которых:

проверяют, содержит ли объект для воспроизведения один или более элемент фотоданных и один или более элемент видеоданных;

извлекают ссылочную информацию, необходимую для воспроизведения одного или более элементов фотоданных и одного или более элементов видеоданных; и

воспроизводят один или более элемент фотоданных и один или более элемент видеоданных, используя извлеченную ссылочную информацию на основе метаданных.

2. Способ по п.1, в котором метаданные представлены на языке разметки.

3. Способ по п.2, в котором язык разметки описывается в соответствии с форматом Музыка фото/видео (MPV).

4. Способ по п.1, в котором ссылочная информация относится к информации идентификации для идентификации объекта.

5. Способ по п.1, в котором метаданные включают в себя информацию о времени, когда фотоданные будут воспроизводиться, и информацию о позиции, в которой воспроизводятся фотоданные.

6. Способ по п.5, в котором метаданные дополнительно включают в себя информацию об атрибутах объектов,

7. Способ по п.1, в котором воспроизведение включает в себя первый способ воспроизведения, в котором видеоданные воспроизводятся после того, как воспроизведены фотоданные, и второй способ воспроизведения, в котором фотоданные воспроизводятся после того, как воспроизведены видеоданные.

8. Способ воспроизведения данных мультимедиа, содержащий этапы, на которых:

генерируют метаданные, включающие в себя ссылочную информацию для указания на подлежащий воспроизведению объект, и информацию воспроизведения для воспроизведения объекта; и

воспроизводят объект, используя сгенерированные метаданные, при этом объект содержит один или более элемент фотоданных и один или более элемент видеоданных, и воспроизводится при помощи объекта, соответствующего ссылочной информации, причем метаданные представлены на языке разметки, причем язык разметки описывается в соответствии с форматом Музыка фото/видео (MPV).

9. Способ воспроизведения данных мультимедиа, содержащий этапы, на которых:

генерируют метаданные, включающие в себя ссылочную информацию для указания на подлежащий воспроизведению объект, и информацию воспроизведения для воспроизведения объекта; и

воспроизводят объект, используя сгенерированные метаданные, при этом объект содержит один или более элемент фотоданных и один или более элемент видеоданных, и воспроизводится при помощи объекта, соответствующего ссылочной информации,

причем информация воспроизведения включает в себя информацию о времени, когда фотоданные будут воспроизводиться, и информацию о позиции, в которой фотоданные будут воспроизводиться.

10. Способ по п.9, в котором метаданные дополнительно включают в себя информацию об атрибутах объектов.

11. Устройство для воспроизведения данных мультимедиа, содержащее:

запоминающее устройство под управлением процессора, причем запоминающее устройство содержит программное обеспечение, предоставляющее устройству возможность:

проверять, содержит ли объект для воспроизведения один или более элемент фотоданных и один или более элемент видеоданных;

извлекать ссылочную информацию, необходимую для воспроизведения одного или более элементов фотоданных и одного или более элементов видеоданных; и

воспроизводить один или более элемент фотоданных и один или более элемент видеоданных, используя извлеченную ссылочную информацию на основе метаданных, включающих в себя информацию о времени, когда фотоданные будут воспроизводиться, и информацию о позиции, в которой воспроизводятся фотоданные.

12. Устройство для воспроизведения данных мультимедиа, содержащее:

запоминающее устройство под управлением процессора, причем запоминающее устройство содержит программное обеспечение, предоставляющее устройству возможность:

генерировать метаданные, включающие в себя ссылочную информацию для указания на подлежащий воспроизведению объект, и информацию воспроизведения для воспроизведения объекта; и

воспроизводить объект, используя сгенерированные метаданные, при этом объект содержит один или более элемент фотоданных и один или более элемент видеоданных, и воспроизводится при помощи объекта, соответствующего ссылочной информации,

при этом информация воспроизведения включает в себя информацию о времени, когда фотоданные будут воспроизводиться, и информацию о позиции, в которой воспроизводятся фотоданные.