Способ и система для визуализации набора мультимедиа объектов на 3d дисплее

Изобретение относится к области представления коллекции (набора) мультимедиа объектов на трехмерных дисплеях и направлено на создание в реальном времени реалистичного трехмерного перехода между такими мультимедиа объектами, как двумерные и трехмерные изображения и видео, визуализируемые в произвольной последовательности. Предложены способ и система, причем способ визуализации мультимедиа слайдшоу на трехмерном дисплее предусматривает выполнение следующих операций: выбирают набор мультимедиа объектов для показа; визуализируют выбранные двумерные и трехмерные мультимедиа объекты последовательно так, что переход между текущим и следующим мультимедиа объектом осуществляется в трехмерном режиме дисплея следующим образом: строят трехмерную сцену, состоящую из одного или нескольких трехмерных объектов; накладывают текущий и следующий мультимедиа объекты на трехмерные объекты сцены в качестве текстур; выбирают начальную позицию, ориентацию и размер трехмерных объектов, способ текстурирования и текстурные координаты таким образом, чтобы в результате визуализации сцены в трехмерном режиме дисплея результирующее плоское изображение текущего мультимедиа объекта располагалось на экране в нейтральной позиции по оси глубины в плоскости экрана трехмерного дисплея, выбирают конечную позицию, ориентацию и размер трехмерных объектов, способ текстурирования и текстурные координаты таким образом, чтобы в результате визуализации сцены в трехмерном режиме дисплея результирующее плоское изображение следующего мультимедиа объекта располагалось на экране в нейтральной позиции по оси глубины в плоскости экрана трехмерного дисплея, выполняют последовательные преобразования трехмерных объектов в пространстве сцены таким образом, что в результате визуализации сцены создается трехмерный анимационный эффект для мультимедиа объектов. Система состоит из набора модулей, выполненных с возможностью реализации заявленного способа. 2 н. и 5 з.п. ф-лы, 6 ил.

 

Изобретение относится к области представления коллекции (набора) мультимедиа объектов на трехмерных дисплеях. Более конкретно, изобретение относится к динамической визуализации коллекции мультимедиа объектов в виде слайдшоу на трехмерных дисплеях. Любые плоские (двумерные) или стерео (трехмерные) изображения или видео могут рассматриваться в качестве мультимедиа объектов, между которыми создается трехмерный анимированный переход на трехмерном дисплее.

Известно множество способов и систем, посвященных показу плоских изображений или фотографий в виде слайдшоу на двумерном дисплее. Например, патент США №5,353,391 [1] описывает способ и устройство для генерации и просмотра перехода между двумя последовательностями изображений. Определяются части обеих последовательностей изображений, затем из списка возможных переходов создается шаблон перехода; указанные части последовательностей изображений используются согласно указанному шаблону перехода для создания третьей последовательности изображений.

Некоторые патенты рассматривают псевдо трехмерный эффект перехода на двумерном дисплее. Например, выложенная заявка на патент США 20110176720 [2] описывает способ, состоящий в разделении пространства двумерного дисплея на области и отображении последовательности выбранных изображений в областях дисплея так, чтобы обеспечивать видимость трехмерного эффекта.

В последнее время трехмерные дисплеи и трехмерные телевизоры стали очень популярны, однако основной объем визуальных ресурсов таких как фотографии и видео остается двумерным. Поэтому много патентов посвящены преобразованию двумерных изображений и видео в трехмерные. Например, патент США №8,253,729 [3] описывает преобразование двумерной видеопоследовательности в трехмерную стереоскопическую видеопоследовательность. Способ включает создание информации о глубине и создание, по крайней мере, одного кадра обработанного двумерного изображения путем геометрических искажений в соответствии с информацией о глубине. Заявка на патент США 20110050687 [4] описывает способ применения стереоскопического эффекта при отображении двумерных цифровых документов, включающий следующие шаги: для каждого объекта из набора объектов-данных, соответствующих отображаемым элементам, на основе данных объекта определяются параметры и правила отображения трехмерных эффектов; документ обрабатывается для генерации копий отображаемых элементов для левого и правого глаза, при этом обработка заключается в выполнении смещений двумерных позиций копий отображаемых элементов для левого и правого глаза, определяемых любым из соответствующих правил трехмерных эффектов; осуществляется визуализация копий отображаемых элементов для левого и правого глаза.

Также существуют способы для представления трехмерной анимации в трехмерных телевизорах и кинопроекторах. Например, патент США №8,228,327 [5] предлагает способ визуализации стереоскопических изображений с нелинейным изменением глубины. Устройство обработки позиционирует стерео или горизонтально сдвинутые камеры и визуализирует изображения на основе нелинейного соотношения между смещением, заданным для одного или более анимационных объектов, и расстоянием между камерой и объектами.

В настоящее время широко распространены трехмерные дисплеи, в частности трехмерные телевизоры с пассивными или активными очками. Потребитель накопил большое количество двумерных фотографий и видео, а трехмерные фотографии и видео пока распространены в значительно меньшей степени, хотя и существует тенденция к увеличению объема трехмерного контента. На текущий момент существуют слайдшоу, в которых только 2D или только 3D фото сменяют друг друга в плоскости экрана. Авторам неизвестно решение, позволяющее на лету (в режиме реального времени) проигрывать в режиме слайдшоу одновременно двумерные и трехмерные фрагменты фотографий и видео с реалистичными трехмерными переходами на трехмерном дисплее, которое создает впечатляющие анимационные эффекты с ощущением объема и перемещением мультимедиа объектов в этом объеме.

Наиболее близкими признаками к заявляемому изобретению обладает техническое решение, изложенное в источнике [1].

Задача, на решение которой направлено заявляемое изобретение, состоит в разработке способа и системы, которые позволили бы в реальном времени создавать реалистичный трехмерный переход между такими мультимедиа объектами, как двумерные и трехмерные изображения и видео, визуализируемые в произвольной последовательности.

Технический результат достигается за счет разработки способа визуализации мультимедиа слайдшоу на трехмерном дисплее, предусматривающего выполнение следующих операций:

- выбирают набор мультимедиа объектов для показа;

- визуализируют выбранные двумерные и трехмерные мультимедиа объекты последовательно так, что переход между текущим и следующим мультимедиа объектом осуществляется в трехмерном режиме дисплея следующим образом:

- строят трехмерную сцену, состоящую из одного или нескольких трехмерных объектов;

- накладывают текущий и следующий мультимедиа объекты на трехмерные объекты сцены в качестве текстур;

- выполняют последовательные преобразования трехмерных объектов в пространстве сцены таким образом, что в результате визуализации сцены создается трехмерный анимационный эффект для мультимедиа объектов.

При решении второй части поставленной задачи технический результат достигается за счет разработки системы визуализации мультимедиа слайдшоу на трехмерном дисплее, которая включает в себя следующие модули:

- модуль генерации сценария, выполненный с возможностью формирования сценария трехмерного слайдшоу; при этом на вход модуля поступают как набор мультимедиа объектов, так и параметры мультимедиа слайдшоу, определяемые пользователем, а сценарий слайдшоу, включающий последовательность мультимедиа объектов, поступает на вход модуля генерации трехмерной сцены и на вход модуля трехмерных преобразований;

- модуль генерации трехмерной сцены, выполненный с возможностью построения трехмерной сцены и накладки текущего и следующего мультимедиа объектов на трехмерные объекты сцены в качестве текстур; причем на вход модуля поступает сценарий трехмерного слайдшоу, а на выходе формируется трехмерная сцена, передающаяся на вход модуля трехмерных преобразований;

- модуль трехмерных преобразований, выполненный с возможностью последовательной модификации трехмерных объектов в пространстве сцены; причем на вход модуля поступают трехмерная сцена и сценарий трехмерного слайдшоу, а последовательность модифицированных трехмерных сцен передается на вход модуля генерации кадра;

- модуль генерации кадра, выполненный с возможностью создания трехмерных кадров из последовательности модифицированных трехмерных сцен в формате, подходящим для визуализации на трехмерном дисплее, и с возможностью передачи трехмерных кадров на вход трехмерного дисплея;

- трехмерный дисплей, выполненный с возможностью визуализации кадров.

Предлагаемый способ и система позволяют в реальном времени создавать реалистичный трехмерный переход между такими мультимедиа объектами, как двумерные и трехмерные изображения и видео, визуализируемые в произвольной последовательности. При переходе один мультимедиа объект сменяет другой мультимедиа объект, перемещаясь в пространстве трехмерной сцены. Предлагаемый способ предлагает впечатляющий и привлекательный путь для просмотра слайдшоу, используя возможности современных трехмерных дисплеев. Даже при просмотре только двумерных фотографий это позволяет пользователям испытывать большее удовлетворение от просмотра слайдшоу на трехмерном дисплее.

Фиг.1 иллюстрирует пример трехмерного перехода между двумя мультимедиа объектами.

Фиг.2 демонстрирует схему визуализации мультимедиа слайдшоу на трехмерном экране.

Фиг.3 показывает схему визуализации выбранных двумерных и трехмерных мультимедиа объектов, переход между текущим и следующим мультимедиа объектов осуществляется в трехмерном режиме дисплея.

Фиг.4 представляет шаги динамического представления коллекции изображений в виде слайдшоу в предпочтительном варианте реализации изобретения.

Фиг.5 иллюстрирует шаги преобразования сцены для создания последовательности кадров перехода.

На Фиг.6 показана схема системы визуализации мультимедиа слайдшоу на трехмерном дисплее.

Фиг.1 иллюстрирует пример трехмерного перехода между двумя мультимедиа объектами. Для примера, не ограничивая общности, в качестве мультимедиа объектов рассматриваются два изображения (позиция 101, 102). Любые двумерные и трехмерные изображения и видео последовательности с фоновым аудио сопровождением могут выступать в качестве мультимедиа объектов, между которыми создается трехмерный переход на трехмерном дисплее. Первоначально текущий мультимедиа объект отображается на дисплее в нейтральной позиции по оси Z (оси глубины) в плоскости экрана трехмерного дисплея (позиция 103). Трехмерный анимационный эффект при смене мультимедиа объектов (позиции 104, 105) создается таким образом, что в итоге следующий мультимедиа объект отображается на экране в нейтральной позиции по оси Z в плоскости экрана трехмерного дисплея (позиция 106).

Фиг.2 демонстрирует блок-схему визуализации мультимедиа слайдшоу на трехмерном экране. Мультимедиа объекты выбирают на шаге 201. На шаге 202 выбранные двумерные и трехмерные мультимедиа объекты показываются последовательно, переход между текущим и следующим мультимедиа объектом осуществляется в трехмерном режиме дисплея как показано на Фиг.3.

Построение трехмерной сцены, состоящей из одного или более трехмерных объектов, выполняют на шаге 301 (Фиг.3). Применение текущего и следующего мультимедиа объектов в качестве текстур к трехмерным объектам сцены производят на шаге 302. На шаге 303 выполняют последовательные преобразования трехмерных объектов в пространстве сцены таким образом, чтобы в результате визуализации сцены создавался трехмерный анимационный эффект для мультимедиа объекта.

Фиг.4 представляет шаги динамического представления коллекции изображений в виде слайдшоу в предпочтительном варианте реализации изобретения. На шаге 401 получают параметры перехода. Указанные параметры включают тип перехода, который определяет способ построения трехмерной сцены, преобразования, применяемые к трехмерным объектам сцены, изменение способа текстурирования, изменение текстурных координат, создание новых трехмерных объектов, объединение существующих трехмерных объектов, любые дополнительные анимационные эффекты, применяемые

непосредственно к мультимедиа объектам, используемым в качестве текстуры. Указанные параметры могут задаваться пользователем или устанавливаться автоматически. На шаге 402 пользователь выбирает мультимедиа объекты для динамической визуализации в виде слайдшоу на трехмерном дисплее. Вначале мультимедиа объект отображается в течение заданного промежутка времени (403). Затем осуществляют доступ к следующему мультимедиа объекту (404). Порядок, в котором мультимедиа объекты визуализируются, либо задается заранее, либо случаен. На шаге 405 строят трехмерную сцену с трехмерными объектами, а также устанавливают параметры сцены. Построение сцены производится согласно параметрам, заданным на шаге 401. Поскольку мультимедиа объекты используются в качестве текстур для трехмерных объектов сцены, то на шаге 406 устанавливают соответствие между указанными мультимедиа объектами и трехмерными объектами сцены.

Возможно как множественное, так и частичное соответствие. Множественное соответствие означает применение одного мультимедиа объекта к нескольким трехмерным объектам сцены и, наоборот, применение нескольких мультимедиа объектов к одному трехмерному объекту сцены. Частичное соответствие означает, что фрагмент одного мультимедиа объекта накладывается на весь трехмерный объект сцены. Трехмерный переход достигается за счет преобразования трехмерной сцены (шаг 407), параметров сцены и трехмерных объектов сцены, построенных на шаге 205. Указанные преобразования трехмерных объектов включают любое подмножество из списка операций: перенос, поворот, масштабирование, искажения. Обрабатываются все мультимедиа объекты, полученные на шаге 402.

Фиг.5 изображает шаги преобразования сцены для создания последовательности кадров перехода. На шаге 501 определяют изменения в количестве трехмерных объектов сцены. Параметры шага 501 определяют поведение и взаимодействие трехмерных объектов сцены, например, имитацию различных физических эффектов, таких как столкновение, падение и т.п. В результате подобного поведения количество трехмерных объектов сцены может уменьшиться, увеличиться или остаться неизменным. На основании найденных на шаге 501 изменений и параметров, установленных на шаге 401, для каждого трехмерного объекта сцены вычисляют размеры, позицию и ориентацию (шаг 502). Трехмерные объекты трехмерной сцены текстурируют фрагментами мультимедиа объектов (шаг 503). В случае, если мультимедиа объект, в свою очередь, является трехмерным, информация о глубине сцены самого трехмерного мультимедиа объекта используется для создания карты высот и карты смещений для поверхности соответствующего трехмерного объекта сцены. Для визуализации такого объекта используют один из методов рельефного текстурирования или наложения карт смещений. Например, могут быть использованы подходы, описанные в статьях Blinn J.F., "Simulation of wrinkled surfaces" (In Proceedings of the 5th annual conference on Computer graphics and interactive techniques, pp.286-292, 1978) [6] и Wang, Xi, Xin Tong, Stephen Lin, Shimin Hu, Baining Guo, Heung-Yeung Shum "Generalized Displacement Maps", (In Eurographics Symposium on Rendering, pp.227-234, 2004) [7]. Сцена с наложенными текстурами визуализируется на трехмерном дисплее 504. В результате при последующей визуализации сцены создается трехмерный эффект при смене мультимедиа объектов.

На фиг.6 показа схема системы визуализации мультимедиа слайдшоу на трехмерном дисплее. Модуль 601 генерации сценария формирует сценарий трехмерного слайдшоу, включая способ следования мультимедиа объектов в заданном или случайном порядке. На вход модуля подается набор мультимедиа объектов и параметры мультимедиа слайдшоу, определяемые пользователем. Сценарий слайдшоу передается в модуль 602 генерации трехмерной сцены и модуль 603 трехмерных преобразований. Модуль генерации трехмерной сцены строит трехмерную сцену и применяет текущий и следующий мультимедиа объекты к трехмерным объектам сцены в качестве текстур. На вход модуля поступает сценарий трехмерного слайдшоу. Сформированная трехмерная сцена передается в модуль трехмерных преобразований. Модуль трехмерных преобразований последовательно модифицирует трехмерные объекты в пространстве сцены для создания анимационного эффекта. На вход модуля поступают трехмерная сцена и сценарий трехмерного слайдшоу. Последовательность модифицированных трехмерных сцен передается в модуль 604 генерации кадра. Модуль генерации кадра создает трехмерные кадры из последовательности модифицированных трехмерных сцен в формате, подходящем для визуализации на трехмерном дисплее. Например, для современных трехмерных телевизоров в качестве кадров может выступать изображение, собранное из стереопары. Трехмерные кадры передают на трехмерное устройство 605 визуализации. Трехмерный дисплей визуализирует кадры трехмерного перехода.

Все перечисленные модули системы могут быть выполнены в виде системы на кристалле (SoC), программируемой логической матрицы (FPGA) или специализированной интегральной схемы (ASIC). Функции данных модулей понятны из их описания, а также из описания заявляемого способа визуализации мультимедиа слайдшоу на трехмерном дисплее.

Дальнейшие аспекты изобретения могут быть понятны из рассмотрения рисунков и описания предпочтительных модификаций. Специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения. В этой связи указанный выше вариант выполнения изобретения следует рассматривать как иллюстрацию.

Предлагаемые система и способ могут быть использованы в устройствах, в состав которых входит трехмерный дисплей и доступна функция показа мультимедиа объектов в виде слайдшоу, например, цифровые трехмерные телевизоры с мультимедиа возможностями, мобильные телефоны, планшеты, цифровые фотокамеры, фоторамки, а также в качестве программного обеспечения для персональных компьютеров для показа слайдшоу.

1. Способ визуализации мультимедиа слайдшоу на трехмерном дисплее, содержащий этапы, на которых:
выбирают набор мультимедиа объектов для показа;
визуализируют выбранные двумерные и трехмерные мультимедиа объекты последовательно так, что переход между текущим и следующим мультимедиа объектом осуществляется в трехмерном режиме дисплея следующим образом:
строят трехмерную сцену, состоящую из одного или более трехмерных объектов,
накладывают текущий и следующий мультимедиа объекты на трехмерные объекты сцены в качестве текстур,
выбирают начальную позицию, ориентацию и размер трехмерных объектов, способ текстурирования и текстурные координаты таким образом, чтобы в результате визуализации сцены в трехмерном режиме дисплея результирующее плоское изображение текущего мультимедиа объекта располагалось на экране в нейтральной позиции по оси глубины в плоскости экрана трехмерного дисплея,
выбирают конечную позицию, ориентацию и размер трехмерных объектов, способ текстурирования и текстурные координаты таким образом, чтобы в результате визуализации сцены в трехмерном режиме дисплея результирующее плоское изображение следующего мультимедиа объекта располагалось на экране в нейтральной позиции по оси глубины в плоскости экрана трехмерного дисплея,
выполняют последовательные преобразования трехмерных объектов в пространстве сцены таким образом, что в результате визуализации сцены создается трехмерный анимационный эффект для мультимедиа объектов.

2. Способ по п.1, в котором в процессе выбора мультимедиа объектов для показа выбор осуществляют среди двумерных и трехмерных изображений и видео последовательностей с фоновым аудио сопровождением.

3. Способ по п.1, в котором при создании мультимедиа слайдшоу выбранные мультимедиа объекты визуализируются в заданном порядке.

4. Способ по п.1, в котором при создании мультимедиа слайдшоу выбранные мультимедиа объекты визуализируются в случайном порядке.

5. Способ по п.1, в котором при визуализации мультимедиа объектов упомянутые преобразования трехмерных объектов включают в сюбя любое подмножество из следующего списка операций: перенос, поворот, масштабирование, искажение, изменение способа текстурирования, изменение текстурных координат, создание новых трехмерных объектов, объединение существующих трехмерных объектов, любые дополнительные анимационные эффекты, применяемые непосредственно к мультимедиа объектам, используемым в качестве текстуры.

6. Способ по п.1, в котором при визуализации трехмерных мультимедиа объектов информацию о глубине сцены самого мультимедиа объекта используют для создания карты высот или карты смещений для соответствующей поверхности трехмерного объекта с последующим использованием метода рельефного текстурирования при визуализации трехмерного объекта.

7. Система визуализации мультимедиа слайдшоу на трехмерном дисплее, содержащая:
модуль генерации сценария;
модуль генерации трехмерной сцены;
модуль трехмерных преобразований;
модуль генерации кадра; и
трехмерный дисплей,
при этом модуль генерации сценария выполнен с возможностью:
формировать сценарий трехмерного слайдшоу, причем на вход модуля генерации сценария поступают как набор мультимедиа объектов для показа, содержащий двумерные и трехмерные мультимедиа объекты, так и параметры мультимедиа слайдшоу, определяемые пользователем, и
выдавать сценарий слайдшоу, включающий в себя последовательность мультимедиа объектов, на вход модуля генерации трехмерной сцены и на вход модуля трехмерных преобразований,
при этом модуль генерации трехмерной сцены выполнен с возможностью:
осуществлять построение трехмерной сцены и накладывать текущий и следующий мультимедиа объекты на трехмерные объекты сцены в качестве текстур, причем начальная позиция, ориентация и размер трехмерных объектов, способ текстурирования и текстурные координаты выбираются таким образом, чтобы в результате визуализации сцены в трехмерном режиме дисплея результирующее плоское изображение текущего мультимедиа объекта располагалось на экране в нейтральной позиции по оси глубины в плоскости экрана трехмерного дисплея, и конечная позиция, ориентация и размер трехмерных объектов, способ текстурирования и текстурные координаты выбираются таким образом, чтобы в результате визуализации сцены в трехмерном режиме дисплея результирующее плоское изображение следующего мультимедиа объекта располагалось на экране в нейтральной позиции по оси глубины в плоскости экрана трехмерного дисплея, и
выдавать сформированную трехмерную сцену на вход модуля трехмерных преобразований,
при этом модуль трехмерных преобразований выполнен с возможностью последовательно модифицировать трехмерные объекты в пространстве сцены с целью создания трехмерного анимационного эффекта для мультимедиа объектов при визуализации сцены и выдавать последовательность модифицированных трехмерных сцен на вход модуля генерации кадра;
при этом модуль генерации кадра выполнен с возможностью создавать трехмерные кадры из последовательности модифицированных трехмерных сцен в формате, подходящем для визуализации на трехмерном дисплее, и передавать трехмерные кадры на вход трехмерного дисплея;
при этом трехмерный дисплей выполнен с возможностью визуализации трехмерных кадров.