Система и способ для формирования и воспроизведения файла изображений, включающего в себя двумерное изображение и трехмерное стереоскопическое изображение
Предложены носитель записи, способ-устройство воспроизведения файла с носителя. Носитель содержит поле мультимедийных данных файла изображений, включающего в себя одну или более выборок данных изображений. Также носитель содержит поле заголовка мультимедиа, включающее в себя поле данных типа изображения, указывающее, является ли каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений. Техническим результатом является предоставление формата файла трехмерного стереоскопического изображения на основе существующего формата двумерного изображения. 3 н. и 29 з.п. ф-лы, 11 ил., 9 табл.
Область техники, к которой относится изобретение
Настоящее изобретение относится к системе и способу для формирования и воспроизведения файла изображений, которое включает в себя двумерное (2D) изображение и трехмерное (3D) стереоскопическое изображение, на основе мультимедийных стандартов для двумерных изображений. Более конкретно, настоящее изобретение относится к формату файла, допускающему альтернативное формирование и воспроизведение двумерного изображения и трехмерного стереоскопического изображения, и системе, и способу для альтернативного формирования и воспроизведения двумерного изображения и трехмерного стереоскопического изображения с использованием формата файла.
Уровень техники
Стандарты форматов файлов, используемые для сохранения двумерных изображений, известны в данной области техники. В общем, Экспертная группа по киноизображению (MPEG), которая является международной организацией по стандартизации в области техники мультимедиа, опубликовала стандарты MPEG-2, MPEG-4, MPEG-7 и MPEG-21 с момента первой стандартизации MPEG-1 в 1988 году. Поскольку множество стандартов разработано, возникла потребность сформировать один профиль посредством комбинирования различных стандартных технологий. В ответ на эту потребность, деятельность по стандартизации мультимедийных приложений MPEG-A (Приложение MPEG: ISO/ICE 230000) проведена для сохранения и воспроизведения двумерных изображений.
Тем не менее до настоящего времени, формат файла для сохранения трехмерного стереоскопического изображения еще не стандартизирован. Кроме того, структура формата файла, который включает в себя как двумерные, так и трехмерные стереоскопические изображения, в общем портативном терминале или система и способ для формирования и воспроизведения таких изображений с использованием структуры такого формата файла еще не реализованы. Это важно, поскольку при формировании файла изображений в форме трехмерного стереоскопического изображения, пользователь не может ничего делать, но просматривает нетрехмерное стереоскопическое изображение в файле изображений как трехмерное стереоскопическое изображение, что вызывает быструю утомляемость глаз у пользователя. При этом, например, такое изображение может быть изображением, в котором все изображение выполнено с помощью символов.
Сущность изобретения
Аспект настоящего изобретения заключается в том, чтобы разрешать, по меньшей мере, вышеуказанные проблемы и/или недостатки и предоставлять, по меньшей мере, преимущества, описанные ниже. Соответственно, аспект настоящего изобретения заключается в том, чтобы предоставлять формат файла для формирования, сохранения и воспроизведения трехмерного стереоскопического изображения.
Другой аспект настоящего изобретения состоит в том, чтобы предоставлять формат файла для трехмерного стереоскопического изображения на основе формата файла, используемого для того, чтобы формировать, сохранять и воспроизводить существующее двумерное изображение.
Еще один аспект настоящего изобретения состоит в том, чтобы предоставлять систему и способ для формирования и воспроизведения файла трехмерного стереоскопического изображения посредством использования формата файла для трехмерного стереоскопического изображения.
В частности, настоящее изобретение предоставляет формат файла, который включает в себя как трехмерное стереоскопическое изображение, так и двумерное изображение, так что пользователь может просматривать трехмерное стереоскопическое изображение и двумерное изображение согласно формату файла. Формат файла в соответствии с настоящим изобретением предусматривает сохранение как двумерных, так и трехмерных стереоскопических изображений в рамках одного файла изображений. Например, трехмерное стереоскопическое изображение может, в общем, предоставляться в рамках одного трехмерного стереоскопического изображения для содержимого новостей, например, и двумерное изображение может предоставляться в изображении, включающем в себя только заголовок, чтобы обеспечивать пользователю удобство.
В соответствии с аспектом настоящего изобретения, устройство включает в себя модуль хранения, чтобы принимать и сохранять файл изображений, процессор, чтобы синтаксически анализировать поле мультимедийных данных файла изображений, включающего в себя одну или более выборок данных изображений, и синтаксически анализировать поле заголовка мультимедиа, включающее в себя поле данных типа изображения, указывающее то, является каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений, чтобы формировать изображение, соответствующее одному из двумерного изображения и трехмерного стереоскопического изображения, на основе поля данных типа изображения файла изображений, и дисплей, чтобы отображать сформированное изображение согласно полю данных типа изображения файла изображений.
В соответствии с другим аспектом настоящего изобретения, машинореализуемый способ включает в себя прием файла изображений, синтаксический анализ поля мультимедийных данных файла изображений, включающего в себя одну или более выборок данных изображений, синтаксический анализ поля заголовка мультимедиа, включающего в себя поле данных типа изображения, указывающее то, является каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений, и формирование изображения, соответствующего одному из двумерного изображения и трехмерного стереоскопического изображения, на основе поля данных типа изображения файла изображений.
В соответствии с еще одним аспектом настоящего изобретения, машиночитаемый носитель, сохраняющий структуру данных, включает в себя поле мультимедийных данных, включающее в себя одну или более выборок данных изображений, и поле заголовка мультимедиа, включающее в себя поле данных типа изображения, указывающее то, является каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений.
Другие аспекты, преимущества и выраженные признаки изобретения должны стать очевидными специалистам в данной области техники из последующего подробного описания, которое, при рассмотрении вместе с прилагаемыми чертежами, раскрывает примерные варианты осуществления изобретения.
Краткое описание чертежей
Вышеуказанные и другие примерные аспекты, признаки и преимущества примерных вариантов осуществления настоящего изобретения должны стать более понятными из последующего подробного описания, рассматриваемого вместе с прилагаемыми чертежами, из которых:
Фиг.1 является блок-схемой, иллюстрирующей формат хранения файла двумерных изображений согласно предшествующему уровню техники;
Фиг.2A является блок-схемой, иллюстрирующей формат хранения файла изображений согласно примерному варианту осуществления настоящего изобретения;
Фиг.2B является блок-схемой, иллюстрирующей формат хранения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;
Фиг.2C является блок-схемой, иллюстрирующей формат хранения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;
Фиг.2D является блок-схемой, иллюстрирующей формат хранения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;
Фиг.2F является блок-схемой, иллюстрирующей формат хранения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;
Фиг.2G является блок-схемой, иллюстрирующей формат хранения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;
Фиг.2H является блок-схемой, иллюстрирующей формат хранения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;
Фиг.3 является блок-схемой, иллюстрирующей устройство формирования файлов изображений согласно примерному варианту осуществления настоящего изобретения;
Фиг.4 является блок-схемой, иллюстрирующей устройство воспроизведения файлов изображений согласно примерному варианту осуществления настоящего изобретения;
Фиг.5 является блок-схемой последовательности операций способа, иллюстрирующей способ для формирования файла изображений согласно примерному варианту осуществления настоящего изобретения;
Фиг.6 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно примерному варианту осуществления настоящего изобретения;
Фиг.7 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;
Фиг.8 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;
Фиг.9 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;
Фиг.10 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения; и
Фиг.11 является блок-схемой последовательности операций способа, иллюстрирующей способ для реализации произвольного доступа согласно настоящему изобретению.
Следует отметить, что на всех чертежах аналогичные номера ссылок используются для того, чтобы иллюстрировать идентичные или аналогичные элементы, признаки и структуры.
Подробное описание примерных вариантов осуществления
Последующее описание со ссылкой на прилагаемые чертежи предоставляется для того, чтобы помогать в полном понимании примерных вариантов осуществления изобретения, как задано посредством формулы изобретения и ее эквивалентов. Оно включает в себя различные подробности, чтобы помогать в этом понимании, но они должны рассматриваться просто как примерные. Соответственно, специалисты в данной области техники должны признавать, что различные изменения и модификации вариантов осуществления, описанных в данном документе, могут быть сделаны без отступления от сущности и объема изобретения.
Перед описанием формата для сохранения трехмерного (3D) стереоскопического изображения согласно примерному варианту осуществления настоящего изобретения описывается формат хранения файла двумерных (2D) изображений на основе традиционного стандарта международной организации по стандартизации (ISO). Фиг.1 является схемой, иллюстрирующей формат файла двумерного изображения на основе традиционного стандарта ISO 14496-12. Ссылаясь на фиг.1, формат 100 файла двумерных изображений включает в себя файловую зону 110 Ftyp верхнего уровня, зону 120 Moov и зону 130 Mdat. Зона 130 Mdat является зоной данных формата файла и включает в себя фактические данные 132 изображений в рамках дорожки 131 изображений и речевые данные 134 в рамках речевой дорожки 133. Каждая из дорожек включает в себя соответствующие данные изображений и речевые данные, сохраненные в единице кадра.
Зона 120 Moov соответствует зоне заголовка формата файла и имеет основанную на объектах структуру. Зона 120 Moov включает в себя все фрагменты информации, требуемые для того, чтобы воспроизводить файл, включая информацию содержимого (к примеру, частота кадров, скорость передачи битов, размер изображения и т.д.) и информацию синхронизации, используемую для того, чтобы поддерживать функцию воспроизведения ускоренной перемотки вперед/перемотки обратно (FF/REW). В частности, зона 120 Moov включает в себя такую информацию, как число кадров в рамках данных изображений и речевых данных, размер каждого кадра и т.д., тем самым позволяя восстанавливать и воспроизводить данные изображений и речевые данные посредством синтаксического анализа зоны 120 Moov в ходе воспроизведения.
В отличие от предшествующего уровня техники, примерные варианты осуществления настоящего изобретения включают в себя формат хранения файла изображений, который предусматривает как двумерные, так и трехмерные стереоскопические изображения, и систему для формирования и воспроизведения файлов изображений с использованием формата хранения настоящего изобретения. В частности, примерные варианты осуществления настоящего изобретения отличаются в том, что каждая часть файла изображений может реализовываться в форме двумерного изображения или трехмерного стереоскопического изображения согласно характеристикам содержимого. Например, в секциях, которые включают в себя много символов, отображение секции как трехмерного стереоскопического изображения вызывает быструю утомляемость глаз у пользователя. Следовательно, секция сохраняется и воспроизводится как двумерное изображение. Часть, требующая ритмичного перемещения или трехмерного эффекта, сохраняется и воспроизводится как трехмерное стереоскопическое изображение. Соответственно, формат файла изображений, соответствующего характеристике содержимого, реализуется.
В дальнейшем в этом документе, формат хранения файла изображений, выполненного с возможностью включать в себя двумерные изображения и трехмерные стереоскопические изображения согласно примерному варианту осуществления настоящего изобретения, описывается со ссылкой на фиг.2A и 2B. Как упомянуто выше, согласно примерным вариантам осуществления настоящего изобретения, файлы 201 и 202 изображений, включающие в себя двумерное изображение и трехмерное стереоскопическое изображение, включают в себя поле (т.е. поле) с информацией по файлу изображений, касающейся двумерного изображения и трехмерного стереоскопического изображения.
В соответствии с настоящим изобретением, поле, включающее в себя информацию по файлу изображений, касающуюся файла двумерных изображений и трехмерного стереоскопического изображения, может вставляться в файловую зону, зону Moov или зону дорожек непосредственно или как часть метаполя либо может вставляться в поле таблицы выборок (к примеру, поле "Stbl"), которая включает в себя информацию выборки в зоне дорожек. Выборка упоминается как базовая единица для разделения изображения в рамках формата файла, такая как кадр.
Фиг.2A иллюстрирует формат хранения файла изображений, в котором файл трехмерных стереоскопических изображений включается в один поток изображений. Как показано на фиг.2A, структура 201 данных файла изображений включает в себя файловую зону 210 Ftyp верхнего уровня, зону 220 Moov, соответствующую зоне заголовка, зону 240 Mdata, соответствующую зоне данных, и зону 230 метаданных. Здесь, зона 240 Mdata включает в себя дорожку 241 изображений и речевую дорожку 245, при этом данные изображений сохраняются в дорожке 241 изображений, а речевые данные сохраняются в речевой дорожке 245. Дорожка 241 изображений включает в себя первые данные изображений для двумерного изображения (обозначаемые как "1") и вторые, и третьи данные изображений для трехмерного стереоскопического изображения (обозначаемые как "2" и "3"). Здесь вторые данные изображений и третьи данные изображений могут быть данными изображений для просмотра левым глазом и данными изображений для просмотра правым глазом одного объекта, соответственно. Например, если данные изображений для просмотра правым глазом и для просмотра левым глазом, представляющие один объект, сфотографированный c вида для просмотра левым глазом и вида для просмотра правым глазом, перемежаются и отображаются, пользователь может видеть трехмерный эффект.
Фиг.2A иллюстрирует пример, в котором каждый фрагмент 242, 243 и 244 включает в себя выборки данных для данных трехмерных стереоскопических изображений, данных двумерных изображений и данных трехмерных стереоскопических изображений, соответственно. Последовательность данных изображений задается как двумерное изображение или трехмерное стереоскопическое изображение согласно характеристике каждой части конкретного содержимого. Дополнительно, если схема хранения вторых данных изображений и третьих данных изображений трехмерного стереоскопического изображения, сохраненного во фрагментах 242 и 244, является заранее определенной в соответствии с настоящим изобретением, файл изображений может быть сформирован и воспроизведен любым требуемым способом. Например, фиг.2A показывает пример способа, в котором фрагменты трехмерного 242 и 244 стереоскопического изображения включают в себя каждые из вторых данных изображений (т.е. выборку 2) и третьих данных изображений (т.е. выборку 3), попеременно сохраненные, где каждая выборка является единицей кадра. Альтернативно, может быть предусмотрена схема, в которой вторые данные изображений и третьи данные изображений сохраняются рядом как единица кадра, или данные изображений могут быть разделены на данные небольшого размера, которые должны сохраняться перемежающимся способом, как единица кадра.
Речевые данные 246, 247 и 248, включенные в речевую дорожку 245, являются речевыми данными для каждого фрагмента 242, 243 и 244, соответственно. Речевые данные синхронизируются с данными изображений фрагментов 242, 243 и 244, которые должны быть воспроизведены.
Зона 220 Moov соответствует зоне заголовка структуры данных и включает в себя информацию 221, касающуюся дорожки изображений, и информацию 222, касающуюся речевой дорожки. Информация 221, касающаяся дорожки изображений, включает в себя общую информацию, используемую для того, чтобы воспроизводить файл, включающий в себя информацию содержимого, такую как частота кадров, скорость передачи битов, размер изображения и т.д., и информацию синхронизации, используемую для того, чтобы поддерживать функцию воспроизведения, такую как ускоренная перемотка вперед/перемотка обратно (FF/REW). В частности, зона 220 Moov включает в себя информацию, такую как общее число кадров данных изображений в рамках дорожки 241 изображений и речевые данные в рамках речевой дорожки 245, размер каждого кадра и т.д. Следовательно, можно восстанавливать и воспроизводить данные изображений и речевые данные посредством синтаксического анализа зоны 220 Moov в ходе воспроизведения.
Настоящее изобретение включает в себя поле, включающее в себя идентификационную информацию, указывающую то, предназначен каждый кадр, сформированный посредством первых данных изображений, вторых данных изображений и третьих данных изображений, для двумерного изображения или трехмерного стереоскопического изображения. Как показано на фиг.2A, зона 230 Moov включает в себя поле 231, которое представляет, включают в себя каждые из данных изображений, сохраненных в единице кадра в рамках файла изображений, данные изображений для двумерного изображения или данные изображений для трехмерного стереоскопического изображения. В примерном варианте осуществления флаг может назначаться каждому кадру и задаваться, чтобы представлять характеристику изображения кадра. Идентификационная информация включает в себя, например, информацию по числу фрагментов, содержащих последовательные кадры для двумерного изображения и для трехмерного стереоскопического изображения. Соответственно, файл изображений может быть восстановлен и воспроизведен в форме двумерного изображения или трехмерного стереоскопического изображения с использованием этой информации. Описание восстановления и воспроизведения файла изображений в форме двумерного изображения или трехмерного стереоскопического изображения иллюстрируется в таблицах 1 и 2 ниже.
| Таблица 1 | |||
| Номер кадра | 1 … 300 | 301 … 500 | 501 … 900 |
| Тип | Трехмерное стереоскопическое изображение | Двумерное изображение | Трехмерное стереоскопическое изображение |
| Stereo_Flag | 1 … 1 | 0 … 0 | 1 … 1 |
| Таблица 2 | |
| Entry_Count=3 | |
| Sample_Count | Stereo_Flag |
| 300 | 1 |
| 200 | 0 |
| 400 | 1 |
Как показано в таблицах 1 и 2 и фиг.2A, первый фрагмент 242 включает в себя вторые данные изображений и третьи данные изображений для трехмерного стереоскопического изображения, второй фрагмент 243 включает в себя первые данные изображений для двумерного изображения, и третий фрагмент 244 включает в себя вторые данные изображений и третьи данные изображений для трехмерного стереоскопического изображения. Здесь идентификационная информация 231 указывает sample_count и флаг, показанный в таблице 2. Соответственно, изображение, сохраненное во фрагментах 242, 243 и 244, может быть восстановлено и воспроизведено посредством обращения к информации 231, указывающей то, является сохраненное изображение в структуре 201 данных двумерным изображением или трехмерным стереоскопическим изображением. Идентификационная информация включает в себя информацию для декодирования вторых данных изображений и третьих данных изображений и информацию для синтезирования вторых данных изображений и третьих данных изображений, и на информацию 231 ссылаются в ходе воспроизведения.
Другой примерный вариант осуществления настоящего изобретения описывается со ссылкой на фиг.2B. Фиг.2B является блок-схемой, иллюстрирующей формат хранения файла трехмерных стереоскопических изображений согласно другому примерному варианту осуществления настоящего изобретения. В примерном варианте осуществления, показанном на фиг.2B, предусмотрено две дорожки изображений, а не одна дорожка изображений, как показано на фиг.2A. Структура 202 данных файла трехмерных стереоскопических изображений включает в себя файловую зону 250 Ftyp верхнего уровня, зону 260 Moov, соответствующую зоне заголовка, зону 280 Mdata, соответствующую зоне данных, и зону 270 метаданных. Описания, которые являются практически идентичными описаниям по фиг.2A, не повторяются для краткости.
Кратко, информация 261 и 262 на первой дорожке изображений и второй дорожке изображений и информация 263 на речевой дорожке является практически идентичной информации 221 и 222 по фиг.2A, фрагменты 293, 294 и 295 являются практически идентичными фрагментам 242, 243 и 244, речевая дорожка 289, включающая в себя речевые данные 290, 291 и 292, является практически идентичной речевой дорожке 245, включающей в себя речевые данные 246, 247 и 248, и информация 272 является практически идентичной информации 231. Первая дорожка 281 изображений включает в себя вторые данные 282 и 284 изображений, соответствующие изображению с одного угла просмотра (к примеру, изображению для просмотра левым глазом), и первые данные 283 изображений, соответствующие двумерному изображению. Вторая дорожка 285 изображений включает в себя третьи данные 286 и 288 изображений, соответствующие изображению с другого угла просмотра (к примеру, изображению для просмотра правым глазом), и первые данные 287 изображений, соответствующие двумерному изображению. Таким образом, данные изображений для просмотра левым глазом и данные изображений для просмотра правым глазом сохраняются в различных дорожках изображений, соответственно, и первые данные 283 изображений и первые данные 287 изображений соответствуют идентичному изображению. Соответственно, идентификационная информация 272, указывающая то, что изображение является двумерным изображением или трехмерным стереоскопическим изображением, также включает в себя информацию о том, какие из двух данных двумерных изображений (т.е. между первыми данными 283 изображений и первыми данными 287 изображений) должны использоваться для двумерного изображения, в дополнение к вышеуказанной информации. Таким образом, данные изображений, которые должны использоваться для двумерного изображения, могут быть определены согласно информации о том, какая дорожка изображений из первой дорожки 281 изображений и второй дорожки 285 изображений задана как основная дорожка изображений.
Таблица 3 представляет информационное поле, выступающее в качестве стандарта для формата хранения файла изображений, включающего в себя двумерное изображение и трехмерное стереоскопическое изображение в соответствии с настоящим изобретением. Стандарты, в общем, задаются в соответствии с базовым форматом мультимедиа ISO, ISO/IEC 14496-12.
| Таблица 3 | |
| [Определение] | |
| Box Type (Тип поля): 'svmi' | |
| Container (Контейнер): Meta Box('meta') или Sample Table Box ('stbl') | |
| Mandatory (Обязательное): Yes | |
| Quantity (Количество): Exactly on | |
| [Синтаксис] | |
| aligned(8) class StereoscopicVideoInformationBox extends FullBox('svmi', | |
| version = 0, 0) { //информация стереоскопического зрительного типа |
|
| unsigned int(8) stereoscopic_composition_type; | |
| unsigned int(1) is_left_first; | |
| unsigned int(7) reserved; | |
| //информация стереоскопических фрагментов | |
| unsigned int(1) is_all_stereo; | |
| unsigned int(7) reserved; | |
| if(is_all_stereo = 0) { unsigned int(1) is_main_media; |
|
| unsigned int(7) reserved; | |
| unsigned int(32) entry_count; | |
| for(i=0; i<entry_count; i++) { |
|
| unsigned int(32) sample_count; | |
| unsigned int(8) stereo_flag; } } |
|
| } | |
| [Семантика] stereoscopic_composition_type: структурная форма кадра содержимого стереоскопического видео (0: рядом, 1: с перемежением по вертикальным строкам, 2: последовательно по кадрам, 3: моноскопическое левое изображение, 4: моноскопическое правое изображение) is_left_first представляет то, какое из левого изображения и правого изображения сначала кодируется is_all_stereo представляет, что фрагмент в рамках ES - это фрагмент "все стерео" (0: моно, 1: стерео) is main_media представляет то, что моноскопическое содержимое в рамках ES - это основное мультимедиа (0: вспомогательное мультимедиа, 1: основное мультимедиа) entry_count: число фрагментов, включающих в себя выборку, имеющую последовательные значения sample_count: число выборок, имеющих последовательные значения stereo_flag представляет, что текущий кадр - это стерео или моно (0: моно, 1: стерео) |
Поле информации изображений (к примеру, поле "Svmi") может быть полем, сохраняющим информацию по стерео/моно для каждой выборки, включенной в файл изображений (ES). Соответственно, контейнер, включающий в себя поле информации изображений (к примеру, поле "Svmi"), может быть метаполем или полем таблицы выборок (к примеру, полем "Stbl"). Контейнер ссылается на более высокий уровень поля, включающего в себя текущее поле. Следовательно, контейнер, включающий в себя поле информации изображений (к примеру, поле "Svmi"), может быть зоной 270 метаданных, как показано на фиг.2B и в таблице 4A, показанной ниже, и также может быть включен в поле таблицы выборок (к примеру, поле "Stbl"), как показано в таблице 4B ниже. Соответственно, новые части, добавленные в контейнер, представляются в таблицах 3, 6, 8 и 9, показанных ниже. Согласно настоящему изобретению, контейнер, включающий в себя поле информации изображений (к примеру, поле "Svmi"), ссылается на метаполе или поле таблицы выборок (к примеру, поле "Stbl"). Тем не менее следует понимать, что он может перемещаться свободно в более надлежащее местоположение любой из таблиц полей в базовом формате мультимедийных файлов ISO, ISO/IEC 14496-12.
| Таблица 4A | ||||
| meta | метаданные | |||
| hdlr | обработчик | |||
| dinf | поле информации о данных | |||
| dref | опорное поле dta | |||
| ipmc | поле управления IPMP | |||
| iloc | местоположение элемента | |||
| ipro | защита элемента | |||
| sinf | информационное поле схемы защиты | |||
| frma | поле исходного формата | |||
| imif | информационное поле IPMP | |||
| schm | поле типа схемы | |||
| schi | информационное поле схемы | |||
| linf | информация элемента | |||
| xml | XML-контейнер | |||
| bxml | двоичный XML-контейнер | |||
| pitm | ссылка на первичный элемент | |||
| svmi | поле мультимедийной информации стереоскопического видео |
Таблица 4B представляет таблицу полей, в которой поле информации изображений (к примеру, поле "Svmi") может вставляться в контейнер подполя "Stbl", например, в структуре файла формата приложения стереоскопического видео ISO/IEC 23000-11. Дополнительно, каждое поле информации изображений (к примеру, поле "Svmi") согласно примерному варианту осуществления настоящего изобретения может быть включено в файловую зону, зону Moov или зону дорожек.
| Таблица 4B | ||||||
| Ftyp | тип файла и совместимость | |||||
| pdin | информация о ходе загрузки | |||||
| moov | контейнер для всех метаданных | |||||
| mvhd | заголовок фильма, полные объявления | |||||
| trak | контейнер для отдельной дорожки или потока | |||||
| tkhd | заголовок дорожки, общая информация о дорожке | |||||
| tref | контейнер ссылок на дорожки | |||||
| edts | контейнер списков редактирования | |||||
| elst | список редактирования | |||||
| mdia | контейнер для мультимедийной информации в дорожке | |||||
| mdhd | заголовок мультимедиа, общая информация о мультимедиа | |||||
| bdlr | обработчик, объявляет тип мультимедиа (обработчика) | |||||
| minf | контейнер мультимедийной информации | |||||
| vmhd | заголовок мультимедиа для видео, общая информация (только видеодорожка) | |||||
| smhd | заголовок мультимедиа для звука, общая информация (только звуковая дорожка) | |||||
| hmhd | заголовок мультимедиа с подсказками, общая информация (только дорожка с подсказками) | |||||
| nmhd | нулевой заголовок мультимедиа, общая информация (только некоторые дорожки) | |||||
| dinf | поле информации о данных, контейнер | |||||
| dref | поле ссылок на данные, объявляет источник(и) мультимедиа | |||||
| данные в дорожке | ||||||
| stbl | поле таблицы выборок, контейнер для пространственно/временной таблицы | |||||
| stsd | описания выборок (типы кодеков, инициализация и т.д.) | |||||
| stts | (декодирование) время до дискретизации | |||||
| stsc | выборок на участок, информация частичного смещения данных | |||||
| stsz | размеры выборок (кадрирование) | |||||
| stz2 | компактные размеры выборок (кадрирование) | |||||
| stco | смещение участка, информация частичного смещения данных | |||||
| co64 | 64-разрядное смещение участка | |||||
| stss | таблица выборок синхроимпульсов (точка произвольного доступа) | |||||
| svmi | мультимедийная информация стереоскопического видео | |||||
| ipmc | поле управления IPMP | |||||
| dat | контейнер мультимедийных данных | |||||
| eta | метаданные | |||||
| dlr | обработчик, объявляет тип метаданных (обработчика) | |||||
| loc | местоположение элемента | |||||
| inf | информация элемента | |||||
| ml | XML-контейнер | |||||
| xml | двоичный XML-контейнер | |||||
| cdi | информация стереоскопической камеры и дисплея |
Фиг.2B-2F иллюстрируют формат хранения файла изображений согласно различным примерным вариантам осуществления настоящего изобретения.
Фиг.2B иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя два потока изображений (к примеру, левое изображение и правое изображение, сохраненные в отдельных потоках изображений), в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к зоне Moov (т.е. Moov 260).
Фиг.2C иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя один поток изображений, в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к файловой зоне (т.е. Ftyp 210).
Фиг.2D иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя два потока изображений (т.е. левое изображение и правое изображение сохраняются в отдельных потоках изображений), в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к файловой зоне (т.е. Ftyp 250).
Фиг.2E иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя один поток изображений, в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к зоне дорожек (т.е. Track 221).
Фиг.2F иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя два потока изображений (т.е. левое изображение и правое изображение сохраняются в отдельных потоках изображений), в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к соответствующей зоне дорожек (т.е. Track 261 и Track 262).
Фиг.2A-2F иллюстрируют примерные варианты осуществления настоящей заявки, в которых поле информации изображений (к примеру, поле "Svmi"), включающее в себя информацию по файлу изображений, который содержит как двумерное изображение, так и трехмерное стереоскопическое изображение, включается в метаполе так, чтобы вставляться в файловую зону, зону Moov и зону дорожек.
Фиг.2G и 2H иллюстрируют примерные варианты осуществления, в которых поле информации изображений (к примеру, поле "Svmi"), включающее в себя информацию по файлу изображений, который содержит как двумерное изображение, так и трехмерное стереоскопическое изображение, вставляется в поле таблицы выборок (к примеру, поле "Stbl"), которое включает в себя примерную информацию файла изображений в зоне дорожек. В целях пояснения выборка упоминается как базовая единица для разделения изображения в рамках формата файла, такая как кадр.
Фиг.2G иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя один поток изображений, в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к полю таблицы выборок (к примеру, полю "Stbl").
Фиг.2H иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя два потока изображений (т.е. левое изображение и правое изображение сохраняются в отдельных потоках изображений), в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к полю таблицы выборок (к примеру, полю "Stbl").
Как проиллюстрировано на фиг.2A-2H, поле информации изображений (к примеру, поле "Svmi") может быть добавлено к уровню файла и уровню дорожки существующего формата файла изображений, а не к уровню Moov, так что файл изображений может формироваться посредством различных форматов файла изображений.
В дальнейшем в этом документе, альтернативные примерные варианты осуществления настоящего изобретения, отличающиеся от примерного варианта осуществления таблиц 2 и 3, и новое модифицированное поле информации изображений (к примеру, поле "Svmi") вводятся.
В примерном варианте осуществления в случае, если содержимое включает в себя как двумерное изображение, так и трехмерное стереоскопическое изображение, синтаксис и семантика модифицированного поля информации изображений описываются, как показано в таблице 6.
| Таблица 5 | ||||||
| Тип | S1 (стерео) | S2 (стерео) | S3 (стерео) | M1 (моно) | M2 (моно) | S4 (стерео) |
| Число кадров | 100 | 100 | 100 | 200 | 300 | 100 |
| Таблица 6 | |
| [Определение] | |
| Box Type: 'svmi' | |
| Container: Meta Box('meta') или Sample Table Box ('stbl') | |
| Mandatory: Yes | |
| Quantity: Exactly one | |
| [Синтаксис] | |
| aligned(8) class StereoscopicVideoInformationBox extends | |
| FullBox('svmi', | |
| version = 0, 0) { //информация стереоскопического зрительного типа |
|
| unsigned int(8) stereoscopic_composition_type; | |
| unsigned int(1) is_left_first; | |
| unsigned int(7) reserved; | |
| //информация стереоскопических фрагментов | |
| unsigned int(32) entry_count; | |
| for(i=0; i<entry_count; i++) { unsigned int(32) sample_count; |
|
| unsigned int(1) stereo_flag; | |
| unsigned int(7) reserved; | |
| unsigned int(32) item_count; } } |
|
| [Семантика] stereoscopic_composition_type: тип структуры кадра содержимого стереоскопического видео (0: рядом, 1: с перемежением по вертикальным строкам, 2: последовательно по кадрам, 3: моноскопическое левое изображение, 4: моноскопическое правое изображение) is_left_first представляет то, какое из левого и правого изображения сначала кодируется entry_count: число фрагментов, в которых тип фрагмента |
|
| сдвигается от стерео к моно или от моно к стерео sample_count: число выборок, имеющих последовательные значения stereo_flag представляет то, является текущий кадр стерео или моно (0: моно, 1: стерео) item_count: число фрагментов, включенных в запись |
Содержимое таблицы 5 с использованием синтаксиса таблицы 6 представляется как таблица
| Таблица 7 | ||
| Entry_Count=3 | ||
| Sample_Count | Stereo_Flag | Item_Count |
| 300 | 1 | 3 |
| 500 | 0 | 2 |
| 100 | 1 | 1 |
Если entry_count задается как семантика таблицы 3, возникает проблема невозможности распознавать структуру фрагмента в рамках текущей записи. Соответственно, в примерном варианте осуществления, syntax_value item_count включается, чтобы разрешать вышеуказанную проблему. Таким образом, когда entry_count задается согласно семантике таблицы 6, только если содержимое включает в себя значение флага, различающее то, что стерео является первым или моно является первым, синтаксис stereo_flag может опускаться, что задается следующим образом.
| Таблица 8 | |
| [Определение] | |
| Box Type: 'svmi' | |
| Container: Meta Box('meta') или Sample Table Box ('stbl') | |
| Mandatory: Yes | |
| Quantity: Exactly one | |
| [Синтаксис] | |
| aligned(8) class StereoscopicVideoInformationBox extends FullBox('svmi', | |
| version = 0,0) { //информация стереоскопического зрительного типа |
|
| unsigned int(8) stereoscopic_composition_type; | |
| unsigned int(1) is_left_first; | |
| unsigned int(7) reserved; | |
| //информация стереоскопических фрагментов | |
| unsigned int(32) entry_count; | |
| unsigned int(1) is_stereo_first; | |
| unsigned int(7) reserved; | |
| for(i=0; i<entry_count; i++) { unsigned int(32) sample_count; unsigned int(32) item_count; } } |
|
| [Семантика] stereoscopic_composition_type: тип структуры кадра содержимого стереоскопического видео (0: рядом, 1: с перемежением по вертикальным строкам, 2: последовательно по кадрам, 3: моноскопическое левое изображение, 4: моноскопическое правое изображение) |
|
| is_left_first представляет то, какое из левого изображения и правого изображения сначала кодируется entry_count: число фрагментов, в которых тип фрагмента сдвигается от стерео к моно или от моно к стерео is_stereo_flag представляет, какой тип изображения является первым, показанным в содержимом, смешанном со стерео и моно (0: сначала моно, 1: сначала стерео) sample_count: число выборок, имеющих последовательные значения item_count: число фрагментов, включенных в запись |
Если значение информации последовательности изображений (is_stereo_first) равно 1, содержимое конструируется в последовательность S→M→S→M→…, где "S" - это стерео, а "M" - это моно, а если значение информации последовательности изображений (is_stereo_first) равно 0, содержимое конструируется в последовательность M→S→M→S→….
В еще одном примерном варианте осуществления синтаксис sample_count исключается. В этом случае, может распознаваться то, является каждый фрагмент стерео или моно, но не может распознаваться то, какое число кадров является стерео или моно. Следовательно, число или стерео- или монокадров может быть определено с использованием значений синтаксиса поля местоположений элементов, заданного в формате мультимедийного файла ISO, и синтаксиса подполей поля таблицы выборок (к примеру, поля "Stbl").
| Таблица 9 | |
| [Определение] | |
| Box Type: 'svmi' | |
| Container: Meta Box('meta') или Sample Table Box ('stbl') | |
| Mandatory: Yes | |
| Quantity: Exactly one | |
| [Синтаксис] | |
| aligned(8) class StereoscopicVideoInformationBox extends FullBox('svmi', | |
| version = 0, 0) { //информация стереоскопического зрительного типа |
|
| unsigned int(8) stereoscopic_composition_type; | |
| unsigned int(1) is_left_first; | |
| unsigned int(7) reserved; | |
| //информация стереоскопических фрагментов | |
| unsigned int(32) entry_count; | |
| for(i=0; i<entry_count; i++) { unsigned int(1) stereo_flag; |
|
| unsigned int(1) reserved; } } [Семантика] |
|
| stereoscopic_composition_type: тип структуры кадра содержимого стереоскопического видео (0: рядом, 1: с перемежением по вертикальным строкам, 2: последовательно по кадрам, 3: моноскопическое левое изображение, 4: моноскопическое правое изображение) is_left_first представляет то, какое из левого и правого изображения сначала кодируется entry_count: число фрагментов в рамках ES stereo_flag представляет то, является текущий кадр стерео или моно (0: моно, 1: стерео) |
Дополнительно, когда терминал выполняет произвольный доступ к содержимому, он сдвигается в требуемое местоположение при одновременном последовательном считывании размера кадра сначала с использованием значений поля размера выборки (к примеру, поля "Stsz"). Если значение синтаксиса sample_count поля информации изображений (к примеру, поля "Svmi"), заданного в настоящем изобретении, используется, число кадров каждого фрагмента и начальный адрес и размер каждого фрагмента в поле местоположений элементов (к примеру, поле "Iloc") может распознаваться. Следовательно, произвольный доступ к заранее определенному местоположению более эффективно выполняется с использованием этих значений.
Далее описывается примерная система для формирования и воспроизведения файлов изображений с использованием структур 201-208 данных файлов изображений, показанных на фиг.2A-2H. Система, в общем, включает в себя устройство формирования файлов изображений и устройство воспроизведения файлов изображений. Во-первых, устройство формирования файлов изображений согласно примерному варианту осуществления настоящего изобретения описывается со ссылкой на фиг.3.
Как показано на фиг.3, устройство формирования файлов изображений согласно настоящему изобретению включает в себя первую камеру 311, вторую камеру 312, модуль 320 ввода, процессор 330 сигналов изображений, модуль 340 хранения, модуль 350 кодирования и модуль 360 формирования файлов. Первая камера 311 фотографирует объект с вида для просмотра левым глазом или вида для просмотра правым глазом и затем выводит вторые данные изображений. Вторая камера 312 фотографирует объект с вида, отличающегося от вида первой камеры 311, и затем выводит третьи данные изображений. Следует понимать, что несколько видов с различных углов могут использоваться без отступления от объема настоящего изобретения. Затем, первые данные 310 изображений для двумерного изображения вводятся вместе со вторыми данными изображений и третьими данными изображений через модуль 320 ввода.
Первые данные изображений, вторые данные изображений и третьи данные изображений предварительно обрабатываются посредством процессора 330 сигналов изображений. Здесь операция предварительной обработки включает в себя преобразование аналогового внешнего значения изображения, т.е. аналоговых значений световых и цветовых компонентов, сформированных посредством прибора с зарядовой связью (CCD) или датчика на основе комплементарной структуры метал-оксид-полупроводник (CMOS), например, в цифровое значение.
Модуль 340 хранения сохраняет первые данные изображений, вторые данные изображений и третьи данные изображений, предварительно обработанные посредством процессора 330 сигналов изображений, и предоставляет сохраненные данные изображений в модуль 350 кодирования. Фиг.3 показывает модуль 340 хранения, но он не показывает отдельно структуру хранения для буферизации между элементами, показанными на фиг.3, которая может быть включена. Модуль 350 кодирования кодирует первые данные изображений, вторые данные изображений и третьи данные изображений из модуля 340 хранения. Операция кодирования, выполняемая посредством модуля 350 кодирования, является кодированием данных, которые могут пропускаться при необходимости.
Модуль 360 формирования файлов формирует файл 370 изображений посредством использования первых данных изображений, вторых данных изображений и третьих данных изображений, кодированных посредством модуля 350 кодирования. В этом случае, первые данные изображений, вторые данные изображений и третьи данные изображений сохраняются в зоне данных (к примеру, зоне Mdata), и информация, используемая для того, чтобы формировать первые данные изображений (т.е. двумерное изображение) и вторые данные изображений, и третьи данные изображений (т.е. трехмерное стереоскопическое изображение), сохраняется в заголовке (к примеру, зоне Moov и зоне метаданных). Сформированный файл 370 изображений вводится и передается в устройство воспроизведения файлов стереоскопических изображений, и затем устройство воспроизведения файлов изображений формирует и воспроизводит двумерное изображение и трехмерное стереоскопическое изображение из файла 370 изображений. В дальнейшем в этом документе описывается примерное устройство воспроизведения файлов изображений.
Фиг.4 является блок-схемой, иллюстрирующей устройство воспроизведения файлов изображений согласно примерному варианту осуществления настоящего изобретения. Как показано на фиг.4, устройство воспроизведения файлов изображений включает в себя модуль 420 синтаксического анализа файлов, модуль 430 декодирования, модуль 440 хранения, модуль 450 воспроизведения и дисплей 460.
Модуль 420 синтаксического анализа файлов принимает и синтаксически анализирует файл 410 изображений (к примеру, файл 370 изображений по фиг.3), например, сформированный посредством модуля 360 формирования файлов из устройства формирования файлов изображений. В этом случае, модуль 420 синтаксического анализа файлов синтаксически анализирует информацию, сохраненную, соответственно, в зоне Moov и зоне метаданных, и затем извлекает первые данные изображений, вторые данные изображений и третьи данные изображений, сохраненные в зоне Mdata.
Модуль 430 декодирования декодирует извлекаемые первые данные изображений, вторые данные изображений и третьи данные изображений. В примерном варианте осуществления декодирование выполняется в случае, если устройство формирования файлов изображений кодирует данные с использованием модуля 350 кодирования. Таким образом, если кодирование пропускается посредством устройства формирования файлов, декодирование пропускается посредством устройства воспроизведения файлов. Затем декодированные данные сохраняются в модуле 440 хранения.
Модуль 450 воспроизведения воспроизводит двумерное изображение, сформированное из первых данных изображений, сохраненных в модуле 440 хранения, и трехмерное стереоскопическое изображение синтезируется из вторых данных изображений и третьих данных изображений, сохраненных в модуле 440 хранения, в соответствии с идентификационной информацией. Затем дисплей 460 отображает воспроизведенное двумерное изображение и трехмерное стереоскопическое изображение. Дисплей 460 может использовать барьерный жидкокристаллический дисплей (ЖК-дисплей). В примерном варианте осуществления барьерный ЖК-дисплей отключается, если фрагмент файла изображений является двумерным изображением, и барьерный ЖК-дисплей включается, если фрагмент файла изображений является трехмерным стереоскопическим изображением, так что изображение может отображаться надлежащим образом.
Далее описывается примерный способ для формирования и воспроизведения файла изображений посредством использования структур данных файла изображений в соответствии с настоящим изобретением.
Фиг.5 является блок-схемой последовательности операций способа, иллюстрирующей способ для формирования файла изображений согласно примерному варианту осуществления настоящего изобретения. Как показано на фиг.5, способ включает в себя этап S510 ввода, этап S520 предварительной обработки, этап S530 кодирования и этап S540 формирования файлов.
На этапе S510, первые данные изображений для формирования двумерного изображения и вторые данные изображений, и третьи данные изображений для формирования трехмерного стереоскопического изображения вводятся. Например, объект фотографируется с вида для просмотра левым глазом и/или с вида для просмотра правым глазом, и вторые данные изображений, и третьи данные изображений выводятся. На этапе S520, первые данные изображений, вторые данные изображений и третьи данные изображений, введенные на этапе S510, предварительно обрабатываются, и данные изображений, сформированные посредством CCD или CMOS-датчика, преобразуются из аналоговых значений в цифровые значения. На этапе S530, предварительно обработанные первые данные изображений, вторые данные изображений и третьи данные изображений кодируются согласно заранее определенной схеме кодирования. Этап S530 может пропускаться при необходимости. На этапе S540, файл изображений формируется посредством использования первых данных изображений, вторых данных изображений и третьих данных изображений, кодированных в модуле 350 кодирования. В этом случае, файл изображений может быть сформирован согласно любой из структур данных файла изображений, описанных на фиг.2A-2H.
Фиг.6 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений в соответствии с примерным вариантом осуществления настоящего изобретения. Как показано на фиг.6, способ для воспроизведения файла изображений включает в себя этап S610 синтаксического анализа файлов, этап S620 декодирования, этап S630 воспроизведения и этап S640 отображения.
На этапе S610, первые данные изображений, вторые данные изображений и третьи данные изображений извлекаются посредством использования информации, сохраненной в зоне Moov и зоне метаданных файла изображений, сформированного в соответствии с настоящим изобретением. В частности, данные изображений извлекаются с использованием идентификационной информации, описанной выше. На этапе S620, первые данные изображений, вторые данные изображений и третьи данные изображений декодируются. Если этап кодирования пропущен при формировании файла изображений, этап S620 декодирования также пропускается. На этапе S630, первые данные изображений, вторые данные изображений и третьи данные изображений, декодированные на этапе S620, синтезируются в двумерное изображение и трехмерное стереоскопическое изображение, которое должно быть воспроизведено. Затем, на этапе S640, двумерное изображение и трехмерное стереоскопическое изображение, сформированные на этапе S630, отображаются на дисплее 460. С другой стороны, дисплей 460 может использовать барьерный ЖК-дисплей, при этом барьерный ЖК-дисплей отключается, если фрагмент файла изображений является двумерным изображением, и барьерный ЖК-дисплей включается, если фрагмент файла изображений является трехмерным стереоскопическим изображением, так что изображение может надлежащим образом отображаться.
Фиг.7-10 иллюстрируют работу терминала от синтаксического анализа до воспроизведения файла изображений согласно различным примерным вариантам осуществления настоящего изобретения.
Фиг.7 описывает примерный вариант осуществления, который включает в себя синтаксический анализ и воспроизведение файла изображений, сформированного в соответствии с настоящим изобретением. Вариант осуществления по фиг.7 относится к формату файла изображений, включающего в себя поле информации изображений (к примеру, поле "Svmi"), показанное в таблице 3. Поле информации изображений (к примеру, поле "Svmi") включает в себя множество полей. Основная функция полей состоит в том, чтобы предоставлять информацию, указывающую то, является каждый кадр файла изображений двумерным изображением или трехмерным стереоскопическим изображением, информацию, предоставляющую значение флага, чтобы управлять активацией или неактивацией дисплея (к примеру, ЖК-дисплея).
Как показано на фиг.7, файловое поле (к примеру, поле "Ftyp") в файле изображений синтаксически анализируется на этапе S710. В примерном варианте осуществления поле Ftyp предоставляется согласно традиционному стандарту ISO/IEC 14496-12. На этапах S720-S740, соответственно, поле Moov, поле дорожек и метаполе файла изображений синтаксически анализируются. В примерном варианте осуществления поле Moov и поле дорожек также могут предоставляться согласно традиционному стандарту ISO/IEC 14496-12. На этапе S750, каждое поле для поля информации изображений (к примеру, поле "Svmi") файла изображений в соответствии с настоящим изобретением синтаксически анализируется, чтобы определять то, содержит каждый кадр в рамках дорожки изображений двумерное изображение или трехмерное стереоскопическое изображение. Информация главным образом предоставляется через поле sample_count и entry_count.
Здесь, entry_count упоминается как число фрагментов в рамках файла изображений. Например, 6 изображений могут сохраняться в файле изображений в следующей последовательности: трехмерное стереоскопическое изображение (1), трехмерное стереоскопическое изображение (2), трехмерное стереоскопическое изображение (3), двумерное изображение (1), двумерное изображение (2) и другое трехмерное стереоскопическое изображение (4). В этом примере, каждое из изображений упоминается как фрагмент. Тем не менее следует понимать, что единицей фрагмента может быть кадр, набор кадров, имеющих последовательное значение, или интервал, посредством которого делятся трехмерное стереоскопическое изображение и двумерное изображение. Sample_count упоминается как число последовательных кадров, включенных в каждый фрагмент.
Соответственно, entry_count идентифицируется, чтобы определять число фрагментов в рамках изображения, и sample_count идентифицируется, чтобы определять общее число кадров, включенных в каждый фрагмент. Затем, stereo_flag идентифицируется, и информация флага набора кадров, включенных в текущий кадр, т.е. соответствующий фрагмент, идентифицируется. Через информацию флага то, является соответствующий фрагмент трехмерным стереоскопическим изображением или двумерным изображением, может быть определено. Затем каждый идентифицированный кадр декодируется в форме трехмерного стереоскопического изображения или двумерного изображения на этапе S760.
На этапе S770, согласно синтаксически проанализированной информации stereo_flag в рамках поля информации изображений (к примеру, поля "Svmi") барьерный ЖК-дисплей управляется так, что, если значение равно "1," барьерный ЖК-дисплей активируется, а если значение равно "0," барьерный ЖК-дисплей не активируется. Таким образом, в случае трехмерного стереоскопического изображения значение stereo_flag может быть задано как "1", так что барьерный ЖК-дисплей тем самым активируется, и в случае двумерного изображения значение stereo_flag может быть задано как "0", так что барьерный ЖК-дисплей не активируется, тем самым предоставляя управление барьерным ЖК-дисплеем. Тем временем, декодированный кадр воспроизводится и отображается на активированном или неактивированном барьерном ЖК-дисплее, так что пользователь может видеть изображение.
Фиг.8 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения. Как показано на фиг.8, файловое поле (к примеру, поле "Ftyp") файла изображений синтаксически анализируется на этапе S810. Затем, поле Moov, поле дорожек и метаполе файла изображений синтаксически анализируются на этапах S820, S830 и S840, соответственно. Затем, каждое поле для поля информации изображений (к примеру, поля "Svmi") файла изображений в соответствии с настоящим изобретением синтаксически анализируется, чтобы определять то, содержит каждый кадр в рамках дорожки изображений двумерное изображение или трехмерное стереоскопическое изображение, на этапе S850.
Entry_count в настоящем примерном варианте осуществления отличается от entry_count предыдущего примерного варианта осуществления. Entry_count в настоящем примерном варианте осуществления упоминается как число фрагментов, в которых тип фрагмента (т.е. двумерный или трехмерный) сдвигается от стерео к моно или от моно к стерео. С использованием предыдущего примера файла изображений, даже если 6 изображений из трехмерного стереоскопического изображения (1), трехмерного стереоскопического изображения (2), трехмерного стереоскопического изображения (3), двумерного изображения (1), двумерного изображения (2) и трехмерного стереоскопического изображения (4) включаются в один файл изображений последовательно, изображение делится на основе сдвига типа трехмерного стереоскопического изображения и двумерного изображения. Соответственно, entry_count 3 (т.е. фрагменты трехмерного изображения (1)-(3), фрагменты двумерного изображения (1)-(2) и фрагмент трехмерного изображения (4)). Entry_count идентифицируется, чтобы определять число фрагментов в рамках изображения, и sample_count идентифицируется, чтобы определять общее число кадров, включенных в каждый фрагмент. Затем, stereo_flag идентифицируется, и информация флага по набору кадров, включенных в текущий кадр, т.е. соответствующий фрагмент, идентифицируется. Через информацию флага то, является соответствующий фрагмент трехмерным стереоскопическим изображением или двумерным изображением, может быть определено. Затем, item_count идентифицируется, чтобы идентифицировать число фрагментов в рамках каждой записи (в рамках каждого интервала стерео и моно) изображения, идентифицированного в entry_count. Единицей фрагмента может быть кадр, набор кадров, имеющих последовательные значения, или интервал, посредством которого делятся трехмерное стереоскопическое изображение и двумерное изображение. Этапы декодирования и отображения изображения (этапы S860 и S870) являются идентичными работе терминала предыдущего примерного варианта осуществления, показанного на фиг.7.
Фиг.9 иллюстрирует способ для синтаксического анализа и воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения. Как показано на фиг.9, файловое поле (к примеру, поле "Ftyp") синтаксически анализируется в файле изображений на этапе S910. Затем, поле Moov, поле дорожек и метаполе файла изображений синтаксически анализируются на этапах S920, S930 и S940, соответственно. Затем, каждое поле для поля информации изображений (к примеру, поля "Svmi") файла изображений в соответствии с настоящим изобретением синтаксически анализируется, чтобы определять то, содержит каждый кадр в рамках дорожки изображений двумерное изображение или трехмерное стереоскопическое изображение, на этапе S950.
Entry_count в настоящем примерном варианте осуществления является идентичным entry_count примерного варианта осуществления по фиг.8. Таким образом, entry_count в этом примерном варианте осуществления также упоминается как число фрагментов, в которых тип фрагмента сдвигается от стерео к моно или от моно к стерео. Entry_count идентифицируется, число фрагментов в рамках изображения идентифицируется, и последовательность кодирования (is_left_first) идентифицируется, чтобы идентифицировать, какой интервал изображения между трехмерным стереоскопическим изображением и двумерным изображением сначала формируется в соответствующем изображении. Например, значение последовательности кодирования (is_left_first) может быть задано равным "1", чтобы указывать, что содержимое размещается в последовательности S→M→S→M, а значение может быть задано равным "0", чтобы указывать, что содержимое размещается в последовательности M->S->M->S. Затем, sample_count идентифицируется, чтобы определять общее число кадров, включенных в каждый фрагмент. Затем item_count идентифицируется, чтобы идентифицировать число фрагментов в рамках каждой записи (в рамках каждого интервала между стерео и моно) изображения, идентифицированного от entry_count. Единицей фрагмента может быть кадр, набор кадров, имеющих последовательные значения, или интервал, посредством которого делятся трехмерное стереоскопическое изображение и двумерное изображение. Затем каждый идентифицированный кадр декодируется как трехмерное стереоскопическое изображение или двумерное изображение на этапе S960. Затем барьерный ЖК-дисплей управляется с помощью информации, полученной через синтаксический анализ последовательности кодирования (is_stereo_first) в рамках поля информации изображений. Кодированный кадр воспроизводится и отображается на активированном или неактивированном барьерном ЖК-дисплее, чтобы давать возможность пользователю просматривать изображение на этапе S970.
Фиг.10 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения. Как показано на фиг.10, файловое поле (к примеру, поле "Ftyp") в файле изображений синтаксически анализируется на этапе S1010. Затем поле Moov, поле дорожек и метаполе файла изображений синтаксически анализируются на этапах S1010, S1020 и S1030, соответственно. Затем каждое поле для поля информации изображений (к примеру, поле "Svmi") файла изображений в соответствии с настоящим изобретением синтаксически анализируется, чтобы определять то, содержит каждый кадр в рамках дорожки изображений двумерное изображение или трехмерное стереоскопическое изображение, на этапе S1050.
Entry_count в текущем примерном варианте осуществления является идентичным entry_count примерного варианта осуществления по фиг.7, в котором он упоминается как число фрагментов в рамках файла изображений. С использованием предыдущего примера файла изображений, даже если 6 изображений из трехмерного стереоскопического изображения (1), трехмерного стереоскопического изображения (2), трехмерного стереоскопического изображения (3), двумерного изображения (1), двумерного изображения (2) и трехмерного стереоскопического изображения (4) включаются в один файл изображений последовательно, каждое изображение включает в себя множество кадров, причем каждое изображение упоминается как фрагмент. Как описано выше, единицей фрагмента может быть кадр, набор кадров, имеющих последовательные значения, или интервал, посредством которого делятся трехмерное стереоскопическое изображение и двумерное изображение. Sample_count упоминается как число последовательных кадров, включенных в каждый фрагмент. Entry_count идентифицируется, чтобы определять число фрагментов в рамках изображения, и stereo_flag идентифицируется, и информация флага набора кадров, включенных в каждый фрагмент, идентифицируется. Через информацию флага то, является соответствующий фрагмент трехмерным стереоскопическим изображением или двумерным изображением, может быть определено. Затем поле местоположений элементов (к примеру, поле "Iloc") идентифицируется, начальный адрес и размер фрагмента идентифицируются, и размер выборки в поле размера выборки (к примеру, поле "Stsz") идентифицируется, чтобы идентифицировать, сколько кадров включено в каждый фрагмент, на этапе S1060. Этапы декодирования и отображения изображения (этапы S1070 и S1080) являются идентичными работе терминала первого примерного варианта осуществления, показанного на фиг.7.
Фиг.11 является блок-схемой последовательности операций способа, иллюстрирующей способ для реализации произвольного доступа файла изображений согласно настоящему изобретению. Фиг.11 иллюстрирует работу терминала, когда последовательность произвольного доступа формируется в ходе декодирования и воспроизведения изображения, например, когда ползунок воспроизведения сдвигается к изображению временной зоны, которую следует просматривать, например, в ходе воспроизведения одночасового изображения.
На этапе S1100, информация временной метки идентифицируется из поля, включающего в себя информацию временной метки (к примеру, "TimeStamp"), чтобы идентифицировать кадр, к которому необходимо произвольно осуществлять доступ (т.е. точку произвольного доступа, в дальнейшем называемую "RAP"). На этапе S1110, entry_count поля информации изображений (к примеру, поля "Svmi") идентифицируется, и число фрагментов в рамках изображения идентифицируется. В это время единицей фрагмента может быть кадр, набор кадров, имеющих последовательные значения, или интервал, посредством которого делятся трехмерное стереоскопическое изображение и двумерное изображение. На этапах S1120 и S1130, соответственно, sample_count идентифицируется, фрагмент, включающий в себя RAP, идентифицируется, и поле местоположений элементов (к примеру, поле "Iloc") идентифицируется, чтобы идентифицировать начальный адрес соответствующего фрагмента через такую информацию, как смещение соответствующего фрагмента. На этапах S1140 и S1150, соответственно, sample_size идентифицируется в поле размера выборки (к примеру, поле "Stsz"), и sample_size добавляется один за другим из начального адреса соответствующего фрагмента, идентифицированного в поле местоположений элементов (к примеру, поле "Iloc"), чтобы узнавать RAP. Затем декодирование RAP начинается согласно последовательности произвольного доступа на этапе S1160. Если последовательность произвольного доступа сформирована, традиционный способ определяет RAP через вычисление sample_size всего изображения. Тем не менее, согласно настоящему изобретению, только выборка в рамках фрагмента, включающего в себя RAP, должна вычисляться.
Фиг.11 иллюстрирует примерный вариант осуществления с использованием только entry_count и sample_count. Тем не менее следует понимать, что операция произвольного доступа настоящего изобретения может применяться к другим примерным вариантам осуществления. Дополнительно, этапы для идентификации item_count и т.п. могут добавляться или исключаться в зависимости от примерного варианта осуществления в рамках логической последовательности операций в работе терминала без отступления от объема настоящего изобретения. Еще дополнительно, подробности интерпретации поля информации изображений (к примеру, поля "Svmi") или работы терминала могут варьироваться в зависимости от местоположения поля информации изображений, местоположения параметра в рамках поля и т.п., без отступления от объема настоящего изобретения.
Подробности этапов для синтаксического анализа формата файла и работы терминала, которые конкретно не описываются здесь, могут реализовываться на основе стандартов ISO/EC 14496-12 и ISO/IEC 23000-11 и могут использоваться вместе с различными вариантами осуществления настоящего изобретения.
Как описано выше, настоящее изобретение задает структуру данных файла изображений, который может включать в себя как двумерное изображение, так и трехмерное стереоскопическое изображение посредством использования верифицированной стандартной технологии двумерных изображений, чтобы упрощать процесс верификации, выступающий в качестве нового стандарта. Соответственно, настоящее изобретение дает возможность реализации как двумерного изображения, так и трехмерного стереоскопического изображения в рамках одного файла изображений по мере необходимости. В частности, система и способ для использования формата файлов изображений согласно настоящему изобретению дают возможность отображения изображений, необязательных для просмотра в форме трехмерного стереоскопического изображения (т.е. двумерных изображений в рамках файла изображений для отображения трехмерного стереоскопического изображения), согласно тому, чтобы снимать быструю утомляемость глаз пользователя. Дополнительно, настоящее изобретение имеет преимущество в том, что содержимое, смешанное с трехмерным стереоскопическим изображением и двумерным изображением, может быть эффективно воспроизведено посредством управления включением и выключением барьерного ЖК-дисплея терминала с использованием поля информации изображений (к примеру, поля "Svmi").
Несмотря на то что настоящее изобретение показано и описано со ссылкой на его конкретные примерные варианты осуществления, специалистам в данной области техники следует понимать, что различные изменения по форме и содержанию могут быть сделаны без отступления от духа и области применения изобретения, заданной прилагаемой формулой изобретения и ее эквивалентами.
1. Машиночитаемый носитель, имеющий сохраненную на нем структуру данных, содержащую:
поле мультимедийных данных, включающее в себя одну или более выборок данных изображений; и
поле заголовка мультимедиа, включающее в себя поле данных типа изображения, указывающее то, является каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений.
2. Машиночитаемый носитель по п.1, в котором поле заголовка включает в себя поле дорожек, и поле данных типа изображения находится в поле дорожек.
3. Машиночитаемый носитель по п.2, в котором поле (261, 262) дорожек включает в себя поле (264, 265) метаданных уровня дорожки, и поле данных типа изображения находится в поле метаданных уровня дорожки.
4. Машиночитаемый носитель по п.2, в котором поле дорожек включает в себя поле таблицы выборок, и поле данных типа изображения находится в поле таблицы выборок.
5. Машиночитаемый носитель по п.1, в котором поле данных типа изображения включает в себя флаг, обозначающий каждую из одной или более выборок данных изображений как одно из данных двумерных изображений и данных трехмерных стереоскопических изображений.
6. Машиночитаемый носитель по п.1, в котором поле данных типа изображения включает в себя поле счетчика выборок, указывающее числовой счетчик последовательных выборок данных изображений одинакового типа.
7. Машиночитаемый носитель по п.1, в котором поле данных типа изображения включает в себя поле счетчика записей, указывающее числовой счетчик переходов между выборками данных изображений, которые являются данными двумерных изображений и данными трехмерных стереоскопических изображений.
8. Машиночитаемый носитель по п.1, в котором поле мультимедийных данных включает в себя, по меньшей мере, одну дорожку изображений.
9. Машиночитаемый носитель по п.8, в котором дорожка изображений включает в себя множество выборок данных трехмерных стереоскопических изображений, причем каждая из множества выборок данных трехмерных стереоскопических изображений представляет изображение с различного угла просмотра.
10. Машиночитаемый носитель по п.9, в котором каждая из множества выборок данных трехмерных стереоскопических изображений представляет одно из изображения для просмотра левым глазом и изображения для просмотра правым глазом, и множество выборок данных трехмерных стереоскопических изображений размещаются попеременно между изображением для просмотра левым глазом и изображением для просмотра правым глазом.
11. Машиночитаемый носитель по п.10, в котором каждая из множества выборок данных трехмерных стереоскопических изображений представляет кадр.
12. Машиночитаемый носитель по п.10, в котором две из множества выборок данных трехмерных стереоскопических изображений представляют кадр, так что каждый кадр состоит из изображения для просмотра левым глазом и изображения для просмотра правым глазом, размещаемых рядом.
13. Машиночитаемый носитель по п.8, в котором поле мультимедийных данных включает в себя первую дорожку изображений и вторую дорожку изображений.
14. Машиночитаемый носитель по п.13, в котором:
первая дорожка изображений включает в себя множество выборок данных трехмерных стереоскопических изображений, причем каждая из множества выборок данных трехмерных стереоскопических изображений представляет изображение с угла для просмотра левым глазом, и
вторая дорожка изображений включает в себя множество выборок данных трехмерных стереоскопических изображений, причем каждая из множества выборок данных трехмерных стереоскопических изображений представляет изображение с угла для просмотра правым глазом.
15. Способ воспроизведения файла изображения, содержащий этапы, на которых:
принимают файл изображений;
синтаксически анализируют поле мультимедийных данных файла изображений, включающего в себя одну или более выборок данных изображений;
синтаксически анализируют поле заголовка мультимедиа, включающее в себя поле данных типа изображения, указывающее то, является ли каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений; и
формируют изображение, соответствующее одному из двумерного изображения и трехмерного стереоскопического изображения, на основе поля данных типа изображения файла изображений.
16. Способ по п.15, в котором поле заголовка включает в себя поле дорожек, и поле данных типа изображения находится в поле дорожек.
17. Способ по п.16, в котором поле (261, 262) дорожек включает в себя поле (264, 265) метаданных уровня дорожки, и поле данных типа изображения находится в поле метаданных уровня дорожки.
18. Способ по п.16, в котором поле дорожек включает в себя поле таблицы выборок, и поле данных типа изображения находится в поле таблицы выборок.
19. Способ по п.15, в котором поле данных типа изображения включает в себя флаг, обозначающий каждую из одной или более выборок данных изображений как одно из данных двумерных изображений и данных трехмерных стереоскопических изображений.
20. Способ по п.19 дополнительно содержащий этап, на котором:
управляют барьерным жидкокристаллическим дисплеем (ЖК-дисплеем) на основе флага так, чтобы включать дисплей, если флаг задан как данные трехмерных стереоскопических изображений, и отключать, если флаг задан как данные двумерных изображений.
21. Способ по п.15, в котором поле данных типа изображения включает в себя поле счетчика выборок, указывающее числовой счетчик последовательных выборок данных изображений одинакового типа.
22. Способ по п.15, в котором поле данных типа изображения включает в себя поле счетчика записей, указывающее числовой счетчик переходов между выборками данных изображений, которые являются данными двумерных изображений и данными трехмерных стереоскопических изображений.
23. Способ по п.15, в котором поле мультимедийных данных включает в себя, по меньшей мере, одну дорожку изображений.
24. Способ по п.23, в котором дорожка изображений включает в себя множество выборок данных трехмерных стереоскопических изображений, причем каждая из множества выборок данных трехмерных стереоскопических изображений представляет изображение с различного угла просмотра.
25. Способ по п.24, в котором каждая из множества выборок данных трехмерных стереоскопических изображений представляет одно из изображения для просмотра левым глазом и изображения для просмотра правым глазом, и множество выборок данных трехмерных стереоскопических изображений размещаются попеременно между изображением для просмотра левым глазом и изображением для просмотра правым глазом.
26. Способ по п.25, в котором каждая из множества выборок данных трехмерных стереоскопических изображений представляет кадр.
27. Способ по п.25, в котором две из множества выборок данных трехмерных стереоскопических изображений представляют кадр, так что каждый кадр состоит из изображения для просмотра левым глазом и изображения для просмотра правым глазом, размещаемых рядом.
28. Способ по п.23, в котором поле мультимедийных данных включает в себя первую дорожку изображений и вторую дорожку изображений.
29. Способ по п.28, в котором:
первая дорожка изображений включает в себя множество выборок данных трехмерных стереоскопических изображений, причем каждая из множества выборок данных трехмерных стереоскопических изображений представляет изображение с угла для просмотра левым глазом, и
вторая дорожка изображений включает в себя множество выборок данных трехмерных стереоскопических изображений, причем каждая из множества выборок данных трехмерных стереоскопических изображений представляет изображение с угла для просмотра правым глазом.
30. Устройство воспроизведения файла изображения, содержащее:
модуль хранения, чтобы принимать и сохранять файл изображений;
процессор, чтобы синтаксически анализировать поле мультимедийных данных файла изображений, включающего в себя одну или более выборок данных изображений, и синтаксически анализировать поле заголовка мультимедиа, включающее в себя поле данных типа изображения, указывающее то, является ли каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений, чтобы формировать изображение, соответствующее одному из двумерного изображения и трехмерного стереоскопического изображения, на основе поля данных типа изображения файла изображений; и
дисплей, чтобы отображать сформированное изображение согласно полю данных типа изображения файла изображений.
31. Устройство по п.30, в котором поле данных типа изображения включает в себя флаг, обозначающий каждую из одной или более выборок данных изображений как одно из данных двумерных изображений и данных трехмерных стереоскопических изображений.
32. Устройство по п.31, в котором дисплей включает в себя барьерный жидкокристаллический дисплей (ЖК-дисплей), и процессор управляет дисплеем на основе флага так, чтобы включать барьерный ЖК-дисплей, если флаг задан как данные трехмерных стереоскопических изображений, и отключать барьерный ЖК-дисплей, если флаг задан как данные двумерных изображений.
