Способ формирования изображения дополненной реальности, обеспечивающий совпадение визуальных характеристик реальных и виртуальных объектов

Изобретение относится к технологиям дополненной реальности, позволяющим совмещать в одном пространстве реальный мир и виртуальные, созданные компьютером объекты. Технический результат – обеспечение совпадения визуальных характеристик реальных и виртуальных объектов. В способе формирования изображения дополненной реальности, адаптирующем характер воспроизведения виртуальных объектов к характеру воспроизведения видимого реального мира, выделяют цветовые каналы для кадров реального мира и кадров виртуального мира. Вычисляют частотные спектры для выделенных цветовых каналов с помощью прямого двумерного преобразования Фурье и заменяют низкочастотную часть двумерного частотного спектра кадров виртуального мира для выделенных цветовых каналов соответствующей низкочастотной частью двумерного частотного спектра кадров реального мира. Выполняют обратное двумерное преобразование Фурье для откорректированных цветовых каналов кадров виртуального мира. Восстанавливают кадры виртуального мира и создают изображение дополненной реальности с применением откорректированных кадров виртуального мира. 1 ил.

 

Изобретение относится к технологиям дополненной реальности (ДР), позволяющим совмещать в одном пространстве реальный мир и виртуальные, созданные компьютером объекты.

Уровень техники

Технология ДР, будучи производной от технологии виртуальной реальности, обладает по сравнению с последней существенными преимуществами, которые связаны с одновременным присутствием в сценах ДР реальных и виртуальных объектов. Практическая реализация этих преимуществ означает повышение эффективности тренажерных систем (например, водительский тренажер ДР с виртуальными препятствиями в реальной среде), приложений ДР для медицины и архитектуры, однако при этом необходимо обеспечить совпадение визуальных характеристик реальных и виртуальных объектов: виртуальные объекты не должны визуально отличаться от реальных (visual coherence, визуальная когерентность).

Известны способы обеспечения визуальной когерентности в сценах ДР, основанные на а) подходе с предварительным измерением условий освещенности (недостатки: длительная и сложная процедура, требует специального оборудования) и б) на подходе с формированием представления об условиях освещенности на основе анализа изображений реального мира (недостатки: трудности извлечения информации об освещенности из реальных изображений приводят к неоднозначным результатам). Исчерпывающий обзор этих способов дан в статье J. Kronander, F. Banterle, A. Gardner et al. Photorealistic rendering of mixed reality scenes. Computer Graphics Forum, 2015, 34(2), pp.643-665. Другой актуальной работой с информацией по методам визуальной когерентности является книга Schmalstieg, D., Höllerer, T. Augmented Reality: Principles and Practice. Addison-Wesley Professional, 2016. Еще один общий и серьезный недостаток известных способов обусловлен применением цифрового моделирования: базовая для методов визуальной когерентности процедура картирования среды (environment mapping) подразумевает трехмерное цифровое моделирование в виртуальном мире условий освещенности реального мира. Кроме того, осуществляется цифровое моделирование геометрии объектов реального мира и отражательных характеристик поверхностей виртуальных объектов. Однако цифровая модель при любой степени ее качества никогда не становится абсолютно тождественной непрерывному оригиналу, каковым является реальный мир. Поэтому даже при наличии результатов, достигнутых с применением подходов, описанных в вышеупомянутых обзорной статье и книге, уровень визуальной когерентности в сценах ДР остается недостаточным, особенно в сценах с реальными ландшафтами вне помещений и рассеянным освещением. Известны способы прямого переноса цветовых характеристик от одного изображения к другому без цифрового моделирования (Y. Chang, S. Saito and M. Nakajima 2007, “Example-Based Color Transformation of Image and Video Using Basic Color Categories”, IEEE Transactions on Image Processing, 2007, vol. 16, no. 2, pp.329-336; E. Reinhard, A.O. Akyuz, M. Colbert, C.E. Hughes and M. O’connor. Real-time color blending of rendered and captured video. Proc. of Interservice/Industry Training, Simulation and Education Conference (I/ITSEC), 2004), но данные способы требуют выполнения ручных настроечных процедур, что делает невозможным их использование для обработки видеопотоков сцен ДР. Кроме того, эффективность таких способов зависит от характера обрабатываемых изображений.

Технической задачей предлагаемого изобретения является создание способа формирования изображения дополненной реальности обеспечивающего совпадение визуальных характеристик реальных и виртуальных объектов и свободного от указанных недостатков известных способов.

Раскрытие изобретения

Технический результат предлагаемого изобретения состоит в переносе основных визуальных характеристик изображения реального мира (цветовой оттенок, яркость, контрастность) на изображение виртуальных объектов.

Указанный технический результат достигается тем, что к последовательности действий по формированию изображения ДР на последнем этапе добавляется адаптация характера воспроизведения виртуальных объектов к характеру воспроизведения видимого реального мира путем замены низкочастотной части двумерного спектра изображения виртуального мира соответствующей низкочастотной частью двумерного спектра изображения реального мира с последующим восстановлением изображения виртуального мира (фиг.1). Двумерные частотные спектры изображений вычисляются посредством двумерного дискретного преобразования Фурье, низкочастотная часть вычисленного таким способом спектра содержит информацию об основных визуальных характеристиках изображения.

Краткое описание иллюстраций

Фиг.1. Схема реализации способа формирования изображения дополненной реальности, обеспечивающего совпадение визуальных характеристик реальных и виртуальных объектов.

Осуществление изобретения

Осуществление предлагаемого способа формирования изображения дополненной реальности, обеспечивающий совпадение визуальных характеристик реальных и виртуальных объектов заключается в следующем.

Способ подразумевает использование в процессорном устройстве, генерирующем сцену дополненной реальности, аппаратно или программно реализованного модуля, который реализует обработку кадров реального (РК) и виртуального (ВК) миров в соответствии со схемой, показанной на фиг.1.

Обработка выполняется в пять этапов:

1) Выделение цветовых каналов для РК и ВК (красный – РКк и ВКк, зеленый – РКз и ВКз, синий – РКс и ВКс).

2) Вычисление частотных спектров для результатов предыдущего этапа с помощью прямого двумерного преобразования Фурье (ППФ).

3) Спектральная трансплантация – замена низкочастотной части (НЧ) спектра ВК соответствующей низкочастотной частью спектра РК для всех цветовых каналов.

4) Обратное двумерное преобразования Фурье (ОПФ) для цветовых каналов ВК с трансплантированной НЧ.

5) Восстановление ВК, откорректированного с помощью спектральной трансплантации и создание сцены ДР.

Способ формирования изображения дополненной реальности, отличающийся тем, что с целью обеспечения совпадения визуальных характеристик реальных и виртуальных объектов к последовательности действий по формированию изображения дополненной реальности добавляется адаптация характера воспроизведения виртуальных объектов к характеру воспроизведения видимого реального мира путем выделения цветовых каналов для кадров реального мира и кадров виртуального мира, вычисления частотных спектров для выделенных цветовых каналов с помощью прямого двумерного преобразования Фурье, замены низкочастотной части двумерного частотного спектра кадров виртуального мира для выделенных цветовых каналов соответствующей низкочастотной частью двумерного частотного спектра кадров реального мира, выполнения обратного двумерного преобразования Фурье для откорректированных цветовых каналов кадров виртуального мира, восстановления кадров виртуального мира и создания изображения дополненной реальности с применением откорректированных кадров виртуального мира.



 

Похожие патенты:

Изобретение относится к области обработки изображений. Технический результат – уменьшение расслоения цвета изображения.

Изобретение относится к вычислительной технике для измерения параметров и характеристик космических аппаратов. Технический результат заключается в оптимизации потоков телеметрической информации.

Изобретение относится к области кодирования/декодирования изображений. Технический результат – обеспечение улучшенного кодирования/декодирования изображения с широким динамическим диапазоном.

Изобретение относится к вычислительной технике. Техническим результатом является расширение арсенала технических средств, направленных на генерацию примитивов и/или сегментов изображений.

Изобретение относится к области рендеринга двумерных изображений из трехмерных моделей. Технический результат – уменьшение требований к обработке шейдинга видимых примитивов при рендеринге 2D изображения экрана из 3D модели путем шейдинга пикселей при одновременной минимизации визуальных артефактов.

Изобретение относится к области обработки изображений. Технический результат – повышение эффективности кодирования изображений.

Изобретение относится к области конфигурирования осветительного прибора в виртуальной среде. Технический результат – обеспечение эффективного нахождения производимого осветительного прибора, обеспечивающего требуемый эффект освещения.

Изобретение относится к области формирования изображения. Технический результат заключается в формировании изображения высокого качества и устранении конфликтов вергенции и аккомодации.

Группа изобретений относится к вычислительной области техники, в частности к визуальным маркерам и способам их продуцирования, которые могут использоваться в робототехнике, виртуальной и дополненной реальности.

Изобретение относится к области обработки изображений. Технический результат – улучшение кластеризации изображений человеческих лиц для получения альбома человеческих лиц.

Изобретение относится к стереопросмотру изображений. Техническим результатом является обеспечение прострмотра трехмерного изображения.

Изобретение относится к области формирования изображения. Технический результат заключается в формировании изображения высокого качества и устранении конфликтов вергенции и аккомодации.

Группа изобретений относится к медицине. Система офтальмологической линзы содержит средства для электронной осцилляции фокуса входящего света на сетчатке.

Изобретение относится к навигации по иерархии визуальных элементов. Технический результат заключается в обеспечении навигации по иерархии визуальных элементов.

Устройство содержит зеркально-призменную систему и светоделитель 4. Зеркально-призменная система содержит составленную из отдельных элементов призму-крышу 3 с внешними отражающими поверхностями и монопластину 1, которые объединены посредством дополнительной призмы 2.

Изобретение относится к способу расширения области обзора дисплейного устройства для отображения контента. Технический результат заключается в расширении ограниченной экранной области, имеющейся в вычислительных устройствах, в целях обеспечения возможности работы в многозадачном режиме для пользователей.

Группа изобретений относится к оптическим системам, применяемым для защиты от подделок. Комплект для видеоотображения выполнен с возможностью использования в качестве устройства для защиты от подделок для бумажных денег, этикеток продуктов и других объектов.

Настоящее изобретение относится к области техники формирования изображения. Устройство содержит дисплей, первый поляризатор, первую фазовую пластинку, первый оптический элемент, вторую фазовую пластинку и второй оптический элемент.

Изобретение относится к системам отображения. Устройство визуального отображения включает в себя множество сложенных слоев отображения, отображающих множество объектов.

Изобретение относится к интегрированной бортовой системе обзора и очистки транспортного средства. Система содержит корпус 2, установленный в кузове транспортного средства, камеру обзора и сопло 19 для очищающей текучей среды, связанное с держателем 4 сопла и находящееся в сообщении с источником очищающей текучей среды.

Изобретение относится к области визуализации изображений и касается устройства визуализации реального изображения на стекле, которым оборудованы кабина или фасад.
Наверх