Способ отображения объекта
Изобретение относится к технологиям обработки и генерации данных изображения, визуализации трехмерного (3D) изображения. Техническим результатом является обеспечение возможности отображать на видимом изображении реальную текстуру фото или видеоизображения объекта. Предложен способ отображения объекта. Согласно способу формируют 3D модель, получают фотоизображения или видеоизображения объекта, визуализируют 3D модель. Сохраняют в памяти устройства отображения 3D модель вместе с эталонным образом, а также координаты участков текстурирования, соответствующие полигонам 3D модели. Получают, по меньшей мере, один кадр фотоизображения или видеоизображения объекта, на основе эталонного образа осуществляют распознавание объекта на кадре. При наличии более одного кадра осуществляют выбор из них с точки зрения качества изображения, формируют матрицу преобразования координат фотоизображения в собственные координаты, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели. 2 н. и 14 з.п. ф-лы, 4 ил.
Изобретение относится к области обработки и генерации данных изображения, анализу изображения его текстуры, визуализации 3D (трехмерного) изображения, в том числе к текстурному его отображению.
Наиболее близким по технической сущности является способ генерирования текстуры в реальном масштабе времени, включающий следующие этапы: получение положения наблюдателя, вычисление области обзора, определение требуемого разрешения для визуализации, получение карты расположения тематических объектов, получение параметров тематического объекта, формирование маски тематического объекта, получение фотоданных тематического объекта, подготовку тематической текстуры тематического объекта, текстурирование тематического объекта по маске, помещение текстурированного тематического объекта на текстурную карту, получение карты расположения изображений 3D объектов, получение параметров 3D объекта, определение типа объектов, формирование модели 3D объекта, получение текстуры 3D объекта, текстурирование 3D объекта, рендеринг 3D объекта, формирование маски изображения 3D объекта, формирование точечного или мнемонического изображения 3D объекта, формирование маски точечного или мнемонического изображения 3D объекта, помещение изображения 3D объекта на текстурную карту, визуализацию (см. RU 2295772 C1, кл. G06T 11/60).
Известный способ может быть реализован для визуализации топографических изображений местности и использует данные о параметрах тематических объектов для составления текстуры их изображений.
Недостатком известного способа является ограниченный набор условных текстур, определенных заранее для каждого конкретного объекта. Известный способ не обеспечивает передачу на выводимом изображении реального рисунка поверхности объекта.
Техническим результатом является обеспечение возможности отображать на выводимом изображении реальную текстуру фото или видеоизображения объекта, упрощение реализации за счет исключения необходимости хранения базы эталонных текстур объектов, обеспечение возможности текстурирования невидимых на двумерном объекте участков 3D модели.
Указанный результат достигается тем, что в способе отображения объекта по варианту 1, заключающемся в формировании 3D модели, получении фотоизображения или видеоизображения объекта, визуализации 3D модели, сохраняют в памяти устройства отображения 3D модель вместе с эталонным образом, а также координаты участков текстурирования, соответствующие полигонам 3D модели, получают, по меньшей мере, один кадр фотоизображения или видеоизображения объекта, на основе эталонного образа осуществляют распознавание объекта на кадре, при наличии более одного кадра осуществляют выбор из них с точки зрения качества изображения, формируют матрицу преобразования координат фотоизображения в собственные координаты, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам, по меньшей мере, некоторые участки 3D модели, отсутствующие на фотоизображении объекта, текстурируют в соответствии с заранее установленным порядком, объектом является двумерное или воспринимаемое как двумерное изображение, а 3D модель формируют в отношении, по меньшей мере, части этого двумерного изображения, визуализацию 3D модели осуществляют поверх видеоряда с использованием средств дополненной реальности и/или алгоритмов компьютерного зрения.
Кроме того: - формируют 3D модель, представленную полигонами;
- формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы, координаты, характеризуемые ортогональностью осей;
- участками 3D модели, отсутствующими на фотоизображении объекта, являются участки обратной стороны деталей изображения;
- текстурирование 3D модели в соответствии с заранее установленным порядком представляет собой генерацию координат текстуры таким образом, что участки оборотной стороны модели имеют те же координаты на текстуре, что и соответствующие им участки лицевой стороны;
- участки трехмерной модели, отсутствующие на фотоизображении объекта, текстурируют на основе экстраполяции данных видимых частей изображения;
- 3D модель выполнена анимированной;
- объект, воспринимаемый как двумерное изображение, представляет собой графическое изображение, выполненное на изогнутой плоскости.
Техническим результатом является обеспечение возможности отображать на выводимом изображении реальную текстуру фото или видеоизображения объекта, обеспечение возможности обучения в программах по рисованию для детей, упрощение реализации за счет исключения необходимости хранения базы эталонных текстур объектов, обеспечение возможности текстурирования невидимых на двумерном объекте участков 3D модели, а также упрощение использования процесса текстурирования за счет обеспечения возможности для необученного пользователя применять привычные ему приемы для окрашивания 3D моделей
Указанный результат достигается тем, что в способе отображения объекта по варианту 2, заключающемся в формировании 3D модели, получении фотоизображения или видеоизображения объекта, визуализации 3D модели, сохраняют в памяти устройства отображения 3D модель вместе с эталонным образом, а также координаты участков текстурирования, соответствующие полигонам 3D модели, получают, по меньшей мере, один кадр фотоизображения или видеоизображения объекта, на основе эталонного образа осуществляют распознавание объекта на кадре, при наличии более одного кадра осуществляют выбор из них с точки зрения качества изображения, формируют матрицу преобразования координат фотоизображения в собственные координаты, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующем присвоении цветов соответствующим материалам 3D модели, по меньшей мере, некоторые участки 3D модели, отсутствующие на фотоизображении объекта, текстурируют в соответствии с заранее установленным порядком, объектом является двумерное или воспринимаемое как двумерное изображение, а 3D модель формируют в отношении, по меньшей мере, части этого двумерного изображения, визуализацию 3D модели осуществляют поверх видеоряда с использованием средств дополненной реальности и/или алгоритмов компьютерного зрения.
Кроме того: - формируют 3D модель, представленную полигонами;
- формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы, координаты, характеризуемые ортогональностью осей;
- участками 3D модели, отсутствующими на фотоизображении объекта, являются участки обратной стороны деталей изображения;
- текстурирование 3D модели в соответствии с заранее установленным порядком представляет собой генерацию координат текстуры таким образом, что участки оборотной стороны модели имеют те же координаты на текстуре, что и соответствующие им участки лицевой стороны;
- участки трехмерной модели, отсутствующие на фотоизображении объекта, текстурируют на основе экстраполяции данных видимых частей изображения;
- 3D модель выполнена анимированной;
- объект, воспринимаемый как двумерное изображение, представляет собой графическое изображение, выполненное на изогнутой плоскости.
На фиг. 1 показана структурная схема устройства отображения на базе ПК и удаленного сервера для хранения эталонного образа и 3D модели, описанного в примере 2, на Фиг. 2 представлено изображение исходного объекта - двумерного графического изображения до его раскраски, соответствующее эталонному образу объекта, на Фиг. 3 - раскрашенное исходное графическое изображение и визуализируемая на экране устройства отображения - смартфона 3D модель на фоне фотографии рисунка, на Фиг. 4 - структурная схема работы вычислительного средства устройства отображения.
На чертежах сделаны следующие обозначения: 1 - видеокамера или фотокамера, 2 - вычислительные средства (вычислительная машина), 3 - сервер, 4 - монитор, 5 - сеть интернет, 6 - ввод исходных данных: 3D модель, координаты текстуры, эталонный образ, видеопоток, 7 - анализ видеопотока, 8 - проверка условия о том, что видеопоток содержит эталонный образ, 9 - анализ кадра, 10 - проверка условия кадрирования, 11 - генерация фотоизображения с учетом матрицы преобразования координат, 12 - считывание текстуры в назначенных участках - участках текстурирования, 13 - обращение к видеокамере, проверка условия распознавания объекта на видеоизображении, 14 - вывод на монитор, визуализация 3D модели поверх видеоряда, 15 - окончание работы программы, 16 - принтер, 17 - исходный объект - двумерное графическое изображение, 18 - раскрашенное пользователем двумерное графическое изображение, 19 - устройство отображения (смартфон), 20 - визуализированная на мониторе устройства отображения 3D модель, 21 - элементы фона визуализируемой 3D модели.
Способ отображения объекта, представляющего собой двумерное изображение по варианту 1, заключается в последовательно выполняемых следующих действиях: формировании и сохранении в памяти устройства отображения эталонного образа объекта с участками текстурирования и представленной полигонами 3D модели, координатам полигонов которой соответствуют координаты участков текстурирования, получении, по меньшей мере, одного кадра фотоизображения или видеоизображения объекта, распознавании объекта на фотоизображении на основе эталонного образа, выборе кадра, удовлетворяющего требованиям качества изображения, таким как четкость, детализированность, соотношение сигнал/шум и др., формировании матрицы преобразования координат фотоизображения в собственные координаты, в системе которых оси ориентированы ортогонально, окрашивании элементов 3D модели в цвета соответствующих элементов фотоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующей заменой структуры 3D модели на полученное изображение области считывания, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам. Затем осуществляют визуализации 3D модели.
При этом, по меньшей мере, некоторые участки 3D модели, например участки обратной стороны рисунка, окрашивают в соответствии с заранее установленным порядком, а 3D модель формируют в отношении, по меньшей мере, части этого двумерного изображения, например в отношении наиболее значимых из совокупности изображений.
После распознавания осуществляют выбор среди отснятых кадров наиболее информативного с точки зрения считывания данных. Такими кадрами могут быть кадры с наиболее четким изображением, с наибольшей детализацией и пр.
Визуализацию 3D модели осуществляют поверх видеоряда (видеопотока) с использованием средств дополненной реальности и/или алгоритмов компьютерного зрения.
Окрашивание 3D модели в соответствии с заранее установленным порядком представляет собой генерацию координат текстуры таким образом, что участки оборотной стороны модели имеют те же координаты на текстуре, что и соответствующие им участки лицевой стороны, либо окрашивание участков оборотной стороны модели осуществляют на основе экстраполяции данных видимых частей изображения.
3D модель выполнена анимированной.
Способ отображения объекта по варианту 1 работает следующим образом.
Объектами для отображения являются графические двумерные объекты - рисунки, графики, схемы, карты и пр. Способ предполагает процесс распознавания на фотоизображении графического объекта вычислительными средствами устройства отображения, снабженного видео- или фотокамерой либо иным считывающим устройством, а также монитором. Такими устройствами могут быть мобильный телефон, смартфон, планшет, персональный компьютер и др.
Предварительно создают и сопоставляют кругу объектов, представляющих собой двумерные изображения - маркеры, сюжетно связанные с ними трехмерные модели (3D модели), представленные полигонами, а также эталонные образы. Каждому двумерному изображению сопоставляют один эталонный образ и одну 3D модель, которые сохраняют в памяти устройства отображения. Эталонные образы используют при распознавании объекта и формировании матрицы преобразования координат 3D модели после окрашивания визуализируют на определенном фоне, в качестве которого могут выступать видеоряд, формируемый на выходе видеокамеры, либо фотоизображение, полученное после фотографирования объекта, либо иной фон.
Формирование 3D модели включает процесс генерации координат текстуры.
Распознавание осуществляют путем сравнения фотоизображения объекта с его эталонным образом, также сохраняемым в памяти устройства отображения, и считают фотоизображение распознанным при превышении порогового значения коэффициента корреляции фотоизображения и одного из эталонных образов либо используют иные известные алгоритмы распознавания.
Съемка объекта может быть осуществлена в некотором диапазоне углов и расстояний, поэтому после распознавания объекта на фотоизображении формируют матрицу соотношения координат фотоизображения и собственных координат, характеризуемых ортогональностью осей - матрицу преобразования координат.
В памяти устройства отображения для данного объекта хранятся координаты участков текстурирования, которым сопоставлены соответствующие полигоны 3D модели.
После распознавания объекта формируют текстуры области считывания изображения на основе значений матрицы преобразования координат и интерполяции данных. После чего осуществляют назначение текстуры 3D модели на полученное изображение области считывания, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам,
Текстурирование 3D модели подразумевает назначение текстуры одному или нескольким материалам 3D модели. Под материалом 3D модели подразумевается признанная в соответствии с общепринятыми конвенциями совокупность информации о способе отображения тех ее фрагментов, которым он назначен, и может включать в себя текстуру, цвет и т.п.
Процесс текстурирования 3D модели предполагает перенос цвета также на части 3D модели, которые не могут быть видимыми на двумерном графическом изображении, например, такими «невидимыми» частями могут быть обратная сторона элемента изображения, его вид сбоку, сверху или снизу. Перенос цветов окраски таких «невидимых» частей на полигоны 3D модели осуществляют, например, на основе симметричного структурирования 3D модели с обеих сторон либо окраски «невидимых» участков более темным тоном, либо на основе других алгоритмов, в том числе с использованием методов экстраполяции.
После текстурирования 3D модели, то есть после создания координат ее текстуры, 3D модель сразу либо по команде пользователя выводят на экран монитора устройства отображения.
Выводимое изображение представляет собой видеоизображение, на котором поверх фона, например видеоряда (видеопотока), полученного с видеокамеры, отрисовывается модель, в том числе и анимированная так, чтобы создавалась иллюзия ее реального присутствия.
Таким образом, способ отображения объекта позволяет пользователю нанести на виртуальный объект текстуру, считанную из реального пространства посредством фото- или видеокамеры.
В процессе визуализации предоставляют пользователю возможность управления моделью в пространстве, т.е. осуществлять поворот, сдвиг, масштабирование и пр. посредством в том числе перемещения средств ввода устройства отображения или с помощью жестов в фокусе видеокамеры.
Вычислительные средства устройства отображения выполнены на основе процессора и содержат память для хранения программы работы процессора и необходимых данных, в том числе эталонных образов и 3D моделей.
Способ отображения объекта, представляющего собой двумерное изображение по варианту 2, заключается в последовательно выполняемых следующих действиях: формировании и сохранении в памяти устройства отображения эталонного образа объекта с участками текстурирования и представленной полигонами 3D модели, координатам полигонов которой соответствуют координаты участков текстурирования, получении, по меньшей мере, одного кадра фотоизображения или видеоизображения объекта, распознавании объекта на фотоизображении на основе эталонного образа, выборе кадра, удовлетворяющего требованиям качества изображения, таким как четкость, детализированность, соотношение сигнал/шум и др., формировании матрицы преобразования координат фотоизображения в собственные координаты, в системе которых оси ориентированы ортогонально, окрашивании элементов 3D модели в цвета соответствующих элементов фотоизображения путем определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующем присвоении цветов соответствующим материалам 3D модели. Затем осуществляют визуализации 3D модели.
При этом, по меньшей мере, некоторые участки 3D модели, например участки обратной стороны рисунка, окрашивают в соответствии с заранее установленным порядком, а 3D модель формируют в отношении, по меньшей мере, части этого двумерного изображения, например в отношении наиболее значимых из совокупности изображений.
После распознавания осуществляют выбор среди отснятых кадров наиболее информативного с точки зрения считывания данных. Такими кадрами могут быть кадры с наиболее четким изображением, с наибольшей детализацией и пр.
Визуализацию 3D модели осуществляют поверх видеоряда (видеопотока) с использованием средств дополненной реальности и/или алгоритмов компьютерного зрения.
Окрашивание 3D модели в соответствии с заранее установленным порядком представляет собой генерацию координат текстуры таким образом, что участки оборотной стороны модели имеют те же координаты на текстуре, что и соответствующие им участки лицевой стороны, либо окрашивание участков оборотной стороны модели осуществляют на основе экстраполяции данных видимых частей изображения.
3D модель выполнена анимированной.
Способ отображения объекта по варианту 2 работает следующим образом.
Объектами для отображения являются графические двумерные объекты - рисунки, графики, схемы, карты и пр. Способ предполагает процесс распознавания на фотоизображении графического объекта вычислительными средствами устройства отображения, снабженного видео- или фотокамерой либо иным считывающим устройством, а также монитором. Такими устройствами могут быть мобильный телефон, смартфон, планшет, персональный компьютер и др.
Предварительно создают и сопоставляют кругу объектов, представляющих собой двумерные изображения - маркеры, сюжетно связанные с ними трехмерные модели (3D модели), представленные полигонами, а также эталонные образы. Каждому двумерному изображению сопоставляют один эталонный образ и одну 3D модель, которые сохраняют в памяти устройства отображения. Эталонные образы используют при распознавании объекта и формировании матрицы преобразования координат. 3D модели после окрашивания визуализируют на определенном фоне, в качестве которого могут выступать видеоряд, формируемый на выходе видеокамеры, либо фотоизображение, полученное после фотографирования объекта, либо иной фон.
Формирование 3D модели включает процесс генерации координат текстуры.
Распознавание осуществляют путем сравнения фотоизображения объекта с его эталонным образом, также сохраняемым в памяти устройства отображения, и считают фотоизображение распознанным при превышении порогового значения коэффициента корреляции фотоизображения и одного из эталонных образов, либо используют иные известные алгоритмы распознавания.
Съемка объекта может быть осуществлена в некотором диапазоне углов и расстояний, поэтому после распознавания объекта на фотоизображении формируют матрицу соотношения координат фотоизображения и собственных координат, характеризуемых ортогональностью осей - матрицу преобразования координат.
В памяти устройства отображения для данного объекта хранятся координаты участков текстурирования, которым сопоставлены соответствующие полигоны 3D модели.
После распознавания объекта формируют текстуры области считывания изображения на основе значений матрицы преобразования координат и интерполяции данных. После чего осуществляют распознавание цветов окраски определенных участков на фотоизображении и ввиду наличия жесткой связи между этими участками и полигонами 3D модели структура окраски поверхности 3D модели становится соответствующей окраске считываемого объекта, то есть осуществляют прямое окрашивание материалов, назначенных участкам модели без участия текстур.
Текстурирование 3D модели подразумевает назначение текстуры одному или нескольким материалам 3D модели. Под материалом 3D модели подразумевается признанная в соответствии с общепринятыми конвенциями совокупность информации о способе отображения тех ее фрагментов, которым он назначен, и может включать в себя текстуру, цвет и т.п.
Процесс текстурирования 3D модели предполагает перенос цвета также на части 3D модели, которые не могут быть видимыми на двумерном графическом изображении, например, такими «невидимыми» частями могут быть обратная сторона элемента изображения, его вид сбоку, сверху или снизу. Перенос цветов окраски таких «невидимых» частей на полигоны 3D модели осуществляют, например, на основе симметричного структурирования 3D модели с обеих сторон, либо окраски «невидимых» участков более темным тоном либо на основе других алгоритмов, в том числе с использованием методов экстраполяции.
После текстурирования 3D модели, то есть после создания координат ее текстуры, 3D модель сразу либо по команде пользователя выводят на экран монитора устройства отображения.
Выводимое изображение представляет собой видеоизображение, на котором поверх фона, например видеоряда (видеопотока), полученного с видеокамеры, отрисовывается модель, в том числе и анимированная так, чтобы создавалась иллюзия ее реального присутствия.
Таким образом, способ отображения объекта позволяет пользователю нанести на виртуальный объект текстуру, считанную из реального пространства посредством фото- или видеокамеры.
В процессе визуализации предоставляют пользователю возможность управления моделью в пространстве, т.е. осуществлять поворот, сдвиг, масштабирование и пр. посредством в том числе перемещения средств ввода устройства отображения или с помощью жестов в фокусе видеокамеры.
Вычислительные средства устройства отображения для реализации способа по любому из вариантов 1 или 2 выполнены на основе процессора и содержат память для хранения программы работы процессора и необходимых данных, в том числе эталонных образов и 3D моделей.
Структурная схема программы работы процессора приведена на Фиг. 4 и включает следующие основные элементы. Исходными данными 6, хранящимися в памяти, являются сформированная ранее 3D модель, координаты текстуры, эталонный образ объекта, а также видеопоток, формируемый на выходе видеокамеры. Термин «видеопоток» здесь используется как тождественный термину «видеоряд». Программа осуществляет анализ видеопотока с целью выбора кадра или кадров, удовлетворяющих требованиям необходимой четкости изображения, кадрирования, экспозиции, фокусировки и пр. Кадры перебирают и анализируют до тех пор, пока не будет выявлен кадр, удовлетворяющий установленным требованиям, причем анализ делают последовательно в два этапа, вначале 7, 8 из видеоряда выбирают кадры, содержащие объект для отображения, на которых этот объект распознан, а затем 9, 10 из выбранной совокупности кадров выбирают кадры, удовлетворяющие требованиям четкости и кадрирования.
Далее формируют матрицу преобразования координат 11 и приводят координаты кадра фотоизображения к декартовым координатам строго фронтального вида объекта. Осуществляют считывание координат текстуры в назначенных участках текстурирования. Назначают 12 материалам 3D модели координаты текстуры. Анализируют видеопоток с выхода видеокамеры на предмет наличия объекта в кадре и если это так, то визуализируют модель поверх видеопотока (видеоряда), полученного с выхода видеокамеры.
Как только объект перестает распознаваться на кадрах видеоизображения, программа прекращает работу.
Альтернативными прекращению работы программы могут быть также следующие действия: возвращение к началу программы, либо перевод устройства на кратковременное ожидание факта распознавания, либо уведомление пользователя о потере захвата изображения объекта, либо иное действие.
Пример 1.
Объектами являются рисунки из развивающего набора детских картинок для раскраски, представляющих собой несложные рисунки (Фиг. 2), выполненные на стандартных листах прямоугольной формы контурными линиями, предполагающими наличие элементов рисунка для раскраски. Каждый рисунок содержит один или более главный элемент, расположенный, как правило, в центральной части листа, и второстепенные элементы фона, расположенные на его периферии.
Каждому из рисунков сопоставлены созданные заранее, эталонный образ, координаты участков распознавания цвета окраски объекта и анимационная 3D модель с выделенными соответствующим этим участкам полигонами. 3D модель отражает объемное видение главного или главных элементов рисунка, привязанного к координатам этих элементов на изображении.
Устройством отображения является смартфон, снабженный видеокамерой, вычислительными средствами с соответствующим программным обеспечением, монитором и др.
После раскраски пользователем контурного рисунка располагают смартфон, так чтобы весь рисунок вошел в кадр, и делают его снимок либо осуществляют видеосъемку рисунка.
Вычислительными средствами смартфона осуществляют непосредственно распознавание рисунка на отснятом выбранном кадре, то есть находят соответствующую ему созданную ранее 3D модель, и выбор наиболее информативного кадра, если их было сделано несколько, а также формируют матрицу соответствия координат элементов рисунка на фотоизображении собственным координатам в декартовой системе. В результате координаты участков распознавания цвета раскрашенного рисунка приходят в соответствие с координатами соответствующих участков на фотоизображении.
Осуществляют считывание цвета окраски раскрашенных участков на фотоизображении и после необходимых анализа, сопоставления и цветокоррекции переносят раскраску участков на соответствующие полигоны 3D модели, то есть осуществляют присвоение полученных цветов непосредственно материалам модели.
Следующим этапом является визуализация 3D модели (Фиг. 3), выводимой на фоне, в качестве которого выступают второстепенные элементы рисунка на фотоизображении либо видеоряд, полученный средствами смартфона.
3D модель может быть сформирована подвижной и иметь дополнительные элементы, не представленные на рисунке.
Визуализируемая 3D модель выполнена интерактивной, способной реагировать на действия пользователя.
Пример 2.
Устройство отображения содержит персональный компьютер с подключенными веб-камерой и монитором, а также удаленный сервер (Фиг. 1). Монитором или дисплеем может являться любое устройство визуализации, в том числе проектор или устройство формирования голограммы. Эталонные образы объектов и 3D модели хранят на удаленном сервисе, к которому обращаются в процессе отображения графических двумерных объектов.
Вычисления в процессе распознавания осуществляют средствами персонального компьютера, с помощью которого осуществляют также окрашивание материалов 3D модели и ее рендеринг.
Связь компьютера с сервером осуществляется через сеть интернет либо иную, в том числе локальную, сеть.
Процесс отображения осуществляют следующим образом. Пользователь обращается через интернет на соответствующий веб-сайт, который содержит тематические наборы рисунков для распечатывания и последующей раскраски. Веб-сайт снабжен соответствующим интерфейсом для обращения к эталонным образам и хранилищем этих образов и 3D моделей, соответствующих рисункам из наборов.
Пользователь распечатывает с помощью принтера на своей стороне выбранный им набор рисунков и раскрашивает понравившиеся ему рисунки. Пользователь может также получить уже распечатанные рисунки иным путем, например через рассылку.
Далее, находясь в интерфейсе веб-сайта, пользователь ориентирует веб-камеру так, чтобы основная часть раскрашенного рисунка вошла в кадр. Компьютер пользователя, выполняя соответствующие команды программы, обращается к удаленному серверу, откуда получает эталонные образы рисунков для распознавания. После завершения распознавания рисунка средствами персонального компьютера формируют матрицу преобразования координат, с помощью которой считывают цвет раскрашенных участков рисунка и назначают окраску соответствующих материалов 3D модели.
Изображение текстурированной 3D модели выводят на монитор на фоне видеоряда с выхода веб-камеры.
Способ отображения объекта может быть реализован с использованием стандартных приборов и компонентов, включая вычислительные средства на основе процессора, фото- и/или видеокамеру, монитор или иное устройство визуализации, а также средства коммуникации между ними.
Таким образом, способ отображения объекта по любому из вариантов 1 или 2 обеспечивает возможности отображать на выводимом изображении реальную текстуру фото- или видеоизображения объекта, обеспечивает возможность обучения в программах по рисованию для детей, упрощает реализации за счет исключения необходимости хранения базы каких-либо эталонных текстур объектов, обеспечивает возможность текстурирования невидимых на двумерном объекте участков 3D модели, а также обеспечивает упрощение использования процесса текстурирования за счет обеспечения возможности для необученного пользователя применять привычные ему приемы для окрашивания 3D моделей.
1. Способ отображения объекта, заключающийся в формировании 3D модели, получении фотоизображения или видеоизображения объекта, визуализации 3D модели, отличающийся тем, что сохраняют в памяти устройства отображения 3D модель вместе с эталонным образом, а также координаты участков текстурирования, соответствующие полигонам 3D модели, получают, по меньшей мере, один кадр фотоизображения или видеоизображения объекта, на основе эталонного образа осуществляют распознавание объекта на кадре, при наличии более одного кадра осуществляют выбор из них с точки зрения качества изображения, формируют матрицу преобразования координат фотоизображения в собственные координаты, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам, по меньшей мере, некоторые участки 3D модели, отсутствующие на фотоизображении объекта, текстурируют в соответствии с заранее установленным порядком, объектом является двумерное или воспринимаемое как двумерное изображение, а 3D модель формируют в отношении, по меньшей мере, части этого двумерного изображения, визуализацию 3D модели осуществляют поверх видеоряда с использованием средств дополненной реальности и/или алгоритмов компьютерного зрения.
2. Способ по п. 1, отличающийся тем, что формируют 3D модель, представленную полигонами.
3. Способ по п. 1, отличающийся тем, что формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы, координаты, характеризуемые ортогональностью осей.
4. Способ по п. 1, отличающийся тем, что участками 3D модели, отсутствующими на фотоизображении объекта, являются участки обратной стороны деталей изображения.
5. Способ по п. 1, отличающийся тем, что текстурирование 3D модели в соответствии с заранее установленным порядком представляет собой генерацию координат текстуры таким образом, что участки оборотной стороны модели имеют те же координаты на текстуре что и соответствующие им участки лицевой стороны.
6. Способ по п. 1, отличающийся тем, что участки трехмерной модели, отсутствующие на фотоизображении объекта, текстурируют на основе экстраполяции данных видимых частей изображения.
7. Способ по п. 1, отличающийся тем, что 3D модель выполнена анимированной.
8. Способ по п. 1, отличающийся тем, что объект, воспринимаемый как двумерное изображение, представляет собой графическое изображение, выполненное на изогнутой плоскости.
9. Способ отображения объекта, заключающийся в формировании 3D модели, получении фотоизображения или видеоизображения объекта, визуализации 3D модели, отличающийся тем, что сохраняют в памяти устройства отображения 3D модель вместе с эталонным образом, а также координаты участков текстурирования, соответствующие полигонам 3D модели, получают, по меньшей мере, один кадр фотоизображения или видеоизображения объекта, на основе эталонного образа осуществляют распознавание объекта на кадре, при наличии более одного кадра осуществляют выбор из них с точки зрения качества изображения, формируют матрицу преобразования координат фотоизображения в собственные координаты, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующем присвоении цветов соответствующим материалам 3D модели, по меньшей мере, некоторые участки 3D модели, отсутствующие на фотоизображении объекта, текстурируют в соответствии с заранее установленным порядком, объектом является двумерное или воспринимаемое как двумерное изображение, а 3D модель формируют в отношении, по меньшей мере, части этого двумерного изображения, визуализацию 3D модели осуществляют поверх видеоряда с использованием средств дополненной реальности и/или алгоритмов компьютерного зрения.
10. Способ по п. 9, отличающийся тем, что формируют 3D модель, представленную полигонами.
11. Способ по п. 9, отличающийся тем, что формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы, координаты, характеризуемые ортогональностью осей.
12. Способ по п. 9, отличающийся тем, что участками 3D модели, отсутствующими на фотоизображении объекта, являются участки обратной стороны деталей изображения.
13. Способ по п. 9, отличающийся тем, что текстурирование 3D модели в соответствии с заранее установленным порядком представляет собой генерацию координат текстуры таким образом, что участки оборотной стороны модели имеют те же координаты на текстуре, что и соответствующие им участки лицевой стороны.
14. Способ по п. 9, отличающийся тем, что участки трехмерной модели, отсутствующие на фотоизображении объекта, текстурируют на основе экстраполяции данных видимых частей изображения.
15. Способ по п. 9, отличающийся тем, что 3D модель выполнена анимированной.
16. Способ по п. 9, отличающийся тем, что объект, воспринимаемый как двумерное изображение, представляет собой графическое изображение, выполненное на изогнутой плоскости.
