Способ конвертации 2d-изображения в квазистереоскопическое 3d-изображение
Владельцы патента RU 2600524:
Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" (RU)
Изобретение относится к области мультимедиа, обработке или генерации данных изображения. Техническим результатом является автоматизация процесса конвертации изображения. Способ конвертации 2D-изображения в квазистереоскопическое 3D-изображение путем проецирования на составную 3D-поверхность исходного 2D-изображения с последующим фотографированием этой поверхности двумя виртуальными камерами для получения левого и правого изображений стереопары характеризуется тем, что указанную поверхность формируют небольшим количеством простых поверхностей, например плоскостей, или Гауссовых поверхностей, или фрагментов цилиндрических поверхностей, или фрагментов поверхностей эллипсоидов. 3 ил.
Настоящее изобретение относится к области мультимедиа, обработке или генерации данных изображения.
В настоящее время в Интернете предлагается большое количество приложений, в том числе бесплатных, для конвертации 2D-изображений и 2D-видео в формат 3D. Примером могут служить приложения:
- Axara 2D to 3D Video Converter,
- MakeMe3D,
- Xilisoft 3D Video Converter,
- T3D - 2D to 3D Converter и ряд др.
В этих приложениях применены сравнительно несложные способы конвертации, при этом результат конвертации оказывается невысокого качества, о чем отмечается в ряде сайтов. В настоящее время конвертацией 2D-фильмов в 3D-формат занимаются компании и студии, например: Warner Bros, Walt Disney, Lionsgate, Samsung, Hive Studio, Twentieth Century Fox, которые в своей работе для получения качественных результатов используют более совершенные способы, чем использующиеся в приложениях, представленных в Интернете.
Рассмотрим эти способы.
1. Способ конвертации 2D-изображений и фильмов в 3D-формат, при реализации которого:
- вначале выполняется моделирование в 3D-средах объектов, близких по параметрам к объектам, изображенным на 2D-изображениях, т.е. всего, что имеется в 2D-изображениях. В качестве таких сред могут быть программы 3Ds max, Maya, Poser и др.;
- затем выполняется проецирование изображений всех объектов, взятых из плоской картинки, на эти модели;
- далее посредством фотографирования двумя виртуальными камерами получаются левое и правое изображения стереопары этих объектов.
Другими словами, здесь речь идет о том, что вначале путем ручного моделирования создается 3D-изображение той части сцены, которая представлена на 2D-изображении, а затем посредством двух виртуальных камер фотографируется стереоскопическая пара изображений этой сцены.
Приводимая Фиг. 1 поясняет описанный выше способ на примере конвертации исходного 2D-изображения одного-единственного объекта, которым является голова человека, в 3D-формат. На этом рисунке показаны модель объекта, близкая по параметрам к объекту, изображенному на исходном изображении (головы человека), созданная посредством программы 3Ds max, и две виртуальные камеры, направленные на эту модель слева и справа. Перед тем как делать фотографии левого и правого изображения стереопары, на модель спереди (т.е. от зрителя) проецируется исходное 2D-изображение. После того как получены левое и правое изображения стереопары, они объединяются в один из стандартных форматов, например анаглифный или МРО, посредством одной из хорошо известных программ, во множестве представленных в Интернете, например StereoPhotoMaker.
Недостатком этого способа является высокая трудоемкость процесса моделирования объектов, близких по параметрам к объектам, изображенным на исходных 2D-изображениях, поскольку процесс моделирования должен выполняться вручную [Сайт ″Конвертация 2d в 3d. Что такое псевдостерео?″ http://www.televizor-3d.ru/konvertaciya-2-d-v-3d.html]
2. Компания Stereo D осуществляет конвертацию обычных 2D-фильмов в 3D формат путем рисования масок с последующим ручным построением карты глубины. Как отмечают представители этой компании, недостатком данной технологии являются большие затраты труда. Так, по сообщению компании, над конвертацией фильма Титаник, продолжающегося 194 минуты, работали 300 человек в течение 15 месяцев, и стоила эта работа 18 миллионов долларов. Принимая во внимание, что фильм содержит 270 тысяч кадров, а также, что месяц состоит из 25 рабочих дней, а рабочий день из 8 часов, найдем, что конвертация каждого отдельного кадра в среднем занимала около 200 минут или около 2-х с лишним часов [Сайт ″Конвертация 2d в 3d. Что такое псевдостерео?″ http://www.televizor-3d.ru/konvertaciya-2-d-v-3d.html]. [Сайт ″Почему ″Титаник″ стоит смотреть в стерео 3D″ http://total3d.ru/diy/92707/].
3. Компания Samsung, рекламируя выпускаемые ею 3D-телевизоры, приводит лишь поверхностное описание используемого способа и реализующего его алгоритма конвертации 2D-изображений в 3D. Согласно этому описанию конвертация обеспечивается сверхмощным видеопроцессором 3D Hyper Real Engine, управляющим каждым пикселем цифрового изображения. Процесс конвертации изображения проходит в режиме реального времени и разделен на четыре этапа:
- на первом этапе искусственный интеллект анализирует картинку, разбивая ее на отдельные условные объекты - «человек», «деревья», «дорога» и т.д.;
- во время второго этапа алгоритм определяет дальность расположения объектов от зрителя на основе нескольких критериев - размер, четкость, яркость. Чем детальней прорисовка текстур и крупней габариты, тем меньшей окажется вычисленная дистанция;
- затем проводится вычисление бинокулярного смещения: достигая больших значений на переднем плане, оно пропорционально уменьшается на среднем и заднем планах;
- в завершении процесса конвертации алгоритм прорисовывает парное бинокулярное изображение, которое в сочетании с исходной плоской картинкой создает эффект 3D-глубины. Из этого описания неясно, каким образом, не привлекая человека, удается осуществить ″разбиение″ (сегментацию) картинки на ″отдельные условные объекты″, поскольку в случае даже не очень сложных изображений этот процесс должен быть семантическим (смысловым). Как известно, проблема семантической сегментации в общем случае до настоящего времени остается нерешенной. Если же судить по результатам работы 3D-телевизоров в режиме конвертации, то, как отмечают многие эксперты, а также авторы предлагаемого решения, результат получается очень слабым. [Сайт ″Как работает технология конвертации изображения из 2D в 3D компании Samsung″ http://www.upweek.ru/kak-rabotaet-texnologiya-konvertacii-izobrazheniya-iz-2d-v-3d-kompanii-samsung.html].
4. В случае простейших преобразователей 2D-изображений в 3D-изображения (аналогично фильмам), которые можно найти в Интернете, прибегают к простейшему способу, заключающемуся в том, что из исходного 2D-изображения изготавливают два изображения, смещенных от исходного изображения вправо и влево на небольшую постоянную величину. При этом, наблюдая такую пару изображений на экране 3D-телевизора, создается впечатление, что наблюдаемое изображение смещено в пространстве относительно экрана вперед или назад. Однако изображенные на картинке объекты по-прежнему находятся в одной плоскости - плоскости исходного изображения, смещенного относительно экрана вперед или назад и соответственно несколько уменьшенного или увеличенного. Слабый эффект, возникающий при наблюдении границ изображения, выдвинутых из плоскости экрана вперед или вдвинутых назад, практически не создает иллюзии объема. Это неоднократно отмечалось экспертами. Примером таких программ является программа компании Engelmann Media Software MakeMe3D [Сайт разработчика: http://www.engelmann.com/eng/makeme3d.php].
5. Патент №2471239 относится к формированию 3D-изображения на основе набора 2D-изображений, полученных при "фотографировании" объекта под различными углами за счет его вращения вокруг своей оси. Наличие в качестве исходных данных не одного, а ряда изображений, т.е. набора, позволяет сформировать целиком 3D-изображение объекта, которое при необходимости можно, поворачивая, рассматривать со всех сторон. Такая необходимость, например, часто возникает в медицине. Эта особенность принципиально отличает запатентованный способ от любого способа конвертации 2D-изображения в 3D-изображение, поскольку при конвертации в качестве исходного имеется, а, следовательно, и используется только одно изображение и не более. Имея в качестве исходного всего одно 2D-изображение, невозможно сформировать 3D-изображение, однако можно с той или иной степенью приближения конвертировать его в стереоскопическое изображение, которое можно рассматривать только с одной стороны. Т.е. конвертация решает более скромную задачу. В настоящее время конвертацию часто применяют для преобразования обычных фильмов в стереоскопические, которые в рекламных целях называют 3D-фильмами.
Наиболее близким к заявленному способу конвертации 2D-изображений в квазистереоскопические 3D-изображения является способ конвертации 2D-фильмов в 3D формат, описанный в пункте 1, который выбран в качестве прототипа. Сущность этого способа заключается в изготовлении в 3D средах 3D моделей для каждого из объектов, присутствующих в конвертируемых 2D-изображениях, с последующей проекцией 2D-изображений этих объектов на изготовленные модели, т.е. в ручном изготовлении (по существу, рисовании) 3D-изображения сцены с последующим изготовлением стереопары посредством двух виртуальных камер.
Недостатком технического решения, использованного в прототипе, являются большие затраты времени и ручного труда, поскольку изготовление 3D-моделей объектов, например изготовление 3D-модели человека, дерева, дороги, автомобиля, используя для этой цели даже такие мощные программы, как 3Ds max, Maya, Poser и др., требует много времени и ручного труда.
Технический результат предлагаемого решения
Способ конвертации 2D-изображения в квазистереоскопическое 3D-изображение позволяет существенно сократить объем ручного труда при обеспечении высокого качества конечного результата и тем самым существенно уменьшить время, а следовательно, и стоимость конвертации по сравнению с существующими в настоящее время, т.е. значительно повысить производительность труда.
Сущность предлагаемого решения
Предлагается способ конвертации 2D-изображения в квазистереоскопическое 3D-изображение путем проецирования на составную 3D-поверхность исходного 2D-изображения с последующим фотографированием этой поверхности двумя виртуальными камерами для получения левого и правого изображений стереопары, характеризующийся тем, что указанную поверхность формируют не менее одной простой поверхностью, по меньшей мере плоскостью, или Гауссовой поверхностью, или фрагментом цилиндрической поверхности, или фрагментом поверхности эллипсоида.
Заявляемый способ конвертации 2D-изображения в квазистереоскопическое 3D-изображение возник в результате исследований моделей функционирования зрительной системы человека, проводимых авторами изобретения в течение последних 15 лет и опубликованных в отечественной и зарубежной печати [Сайт Н.Н. Красильникова http://guap.ru/guap/kaf53old42/prep03_main.shtml].
В результате этих исследований было экспериментально показано, что при формировании стереоскопического изображения могут быть допущены весьма большие искажения в передаче глубины отдельных участков передаваемой сцены и при этом они остаются незаметными для зрителя, не нарушая ощущения глубины наблюдаемой сцены.
Благодаря этой особенности зрительного восприятия человека в отличие от прототипа оказывается возможным заменить формирование 3D моделей для каждого из объектов, присутствующих в конвертируемом изображении, что трудоемко, формированием поверхности, составленной из небольшого количества простых поверхностей без внесения в стереоскопическое изображение заметных зрителю искажений. В качестве таких поверхностей, как показали экспериментальные исследования, хорошие результаты дает применение плоскостей, Гауссовых поверхностей, фрагментов цилиндрических поверхностей и фрагментов поверхностей эллипсоидов. Параметры этих поверхностей легко подбираются экспериментально для каждого конвертируемого изображения.
Дальнейшая процедура получения стереоскопической пары изображений (в нашем случае мы применяем термин квазистереоскопической пары), а именно проецирование изображения плоской картинки на созданную таким образом поверхность и последующее фотографирование получившегося результата двумя виртуальными камерами для получения левого и правого изображений стереопары, не отличается от процедуры, применяемой в прототипе. Здесь, как и в прототипе, после того как получены левое и правое изображения стереопары, они объединяются в один из стандартных форматов, например анаглифный или МРО, посредством одной из хорошо известных программ, во множестве представленных в Интернете, например StereoPhotoMaker.
На фиг. 2 приведен случай, когда поверхность, на которую спереди проецируется 2D-изображение и затем фотографируется двумя виртуальными камерами, состоит из двух плоскостей, помещенных под углом друг к другу.
На фиг. 3а, 3б и 3в в качестве примера показаны виды Гауссовой поверхности, фрагмента цилиндрической поверхности и фрагмента поверхности эллипсоида.
Замена 3D моделей объектов, используемых в прототипе, на поверхность, составленную из небольшого количества простых поверхностей, предлагаемая в данном изобретении, позволяет достичь главного результата - существенного сокращения объема ручного труда, а следовательно, времени и стоимости конвертации. Многочисленные эксперименты по конвертации самых различных изображений показали, что при рассматривании полученных таким образом квазистереоскопических 3D-изображений возникает полная иллюзия глубины наблюдаемой сцены и в то же время оказываются неразличимы искажения, обусловленные тем, что при формировании квазистереоскопического 3D-изображения описанным способом были допущены искажения в передаче глубины отдельных участков передаваемой сцены.
Заявляемый способ может быть применен:
- для конвертации 2D-изображений в квазистереоскопические 3D-изображения;
- для конвертации 2D-фильмов в квазистереоскопические 3D-фильмы;
- для реализации функции конвертации 2D-видео в квазистереоскопическое 3D-видео в современных 3D-телевизорах.
Способ конвертации 2D-изображения в квазистереоскопическое 3D-изображение путем проецирования на составную 3D-поверхность исходного 2D-изображения с последующим фотографированием этой поверхности двумя виртуальными камерами для получения левого и правого изображений стереопары, отличающийся тем, что указанную поверхность формируют не менее одной простой поверхностью, по меньшей мере плоскостью, или Гауссовой поверхностью, или фрагментом цилиндрической поверхности, или фрагментом поверхности эллипсоида.
