Система виртуальной реальности на основе смартфона и наклонного зеркала

Изобретение относится к системам мобильной виртуальной реальности, в частности к системам мобильной виртуальной реальности, осуществляющим отслеживание положения пользователя с 6 степенями свободы с помощью камеры смартфона в качестве единственного устройства формирования изображения. Технический результат заключается в обеспечении более простой, эффективной, точной и надежной оценки положения для усиления погружения в виртуальную реальность. Такой результат достигается благодаря тому, что оценка положения пользователя осуществляется, когда пользователь держит голову в естественном положении, смотря прямо перед собой в горизонтальном направлении. Маркерная система отслеживания положения пользователя для виртуальной реальности включает в себя: установленную на пользователе камеру и напольный маркер, при этом перед камерой может быть установлено наклонное зеркало так, что поле обзора камеры перенаправлено вниз. 8 з.п. ф-лы, 2 ил.

 

Область техники

Настоящее изобретение относится к системам мобильной виртуальной реальности и, в частности, к системам мобильной виртуальной реальности, осуществляющим отслеживание положения пользователя с 6 степенями свободы с помощью камеры смартфона в качестве единственного устройства формирования изображения.

Уровень техники

Системы виртуальной реальности (BP) в настоящее время находятся в состоянии активной разработки. Системы BP, основанные на смартфонах, (так называемая "мобильная BP") являются особенно многообещающими и превосходят по численности все другие устройства на рынке. Эти системы включают в себя смартфон и недорогой шлем-держатель, в который вставляется смартфон. Сам шлем-держатель, как правило, не содержит каких-либо дополнительных датчиков или какого-либо иного электронного оборудования. Благодаря этому, комплекты мобильной BP являются значительно менее дорогостоящими и менее сложными, чем автономные системы (при условии, что мы не учитываем стоимость смартфона). Основным недостатком систем мобильной BP по сравнению с системами BP более высокого класса является отсутствие отслеживания положения.

Если говорить более подробно, то во время сеанса BP системы мобильной BP, как правило, не могут отслеживать абсолютное положение шлема-держателя и оценивают лишь его угловую ориентацию (что известно как отслеживание с 3 степенями свободы), В отличие от этого, в системах более высокого класса, таких как НТС Vive или Oculus Rift, используются внешние камеры для отслеживания положения шлема, и, таким образом, эти системы могут выполнять отслеживание перемещения тела (т.е. шлема) в трехмерном пространстве с 6 степенями свободы. Отслеживание с 6 степенями свободы обеспечивает гораздо более полноценное и глубокое погружение в виртуальную реальность, поскольку позволяет пользователю естественно перемещаться в виртуальном пространстве. В результате виртуальная картина, воспринимаемая пользователем, изменяется при изменении абсолютного положения головы так, как того ожидает мозг пользователя.

Для реализации отслеживания с 6 степенями свободы в мобильной BP был разработан ряд экспериментальных комплектов мобильной BP, которые решали задачу использования камеры смартфона для оценки положения смартфона (и шлема-держателя, в который он вставлен) с шестью степенями свободы. Такая задача (известная как оценка позы в области машинного зрения, и самопозиционирование (англ. inside-out tracking) в области BP) является сложной задачей, особенно если ее необходимо выполнить с высокой частотой кадров и с помощью мобильного устройства. Существующие технологии в данной области делятся на две группы: безмаркерные технологии, в которых не предполагается какое-либо предварительное знание об окружающей среде, в которой пользователь осуществляет навигацию, и маркерные технологии, в которых некоторые визуальные маркеры определенного, известного заранее внешнего вида определенным образом внедряют в окружающую среду.

Из двух вышеуказанных групп маркерные методы обеспечивают более высокую надежность, более высокую точность, меньшую задержку и более низкую загрузку процессора. Однако это достигается за счет необходимости внедрения маркеров в окружающую среду так, чтобы в поле обзора камеры всегда располагалось достаточное количество маркеров. Кроме того, для того чтобы маркерное отслеживание было возможным, часто требуется сложная процедура калибровки. В целом, необходимость внедрения в среду маркеров и их калибровки является слишком большим препятствием, и поэтому маркерное отслеживание положения обычно считается неконкурентно-способным, и большинство усилий разработчиков направлено на создание безмаркерных решений.

Таким образом, существует необходимость создания маркерной системы BP, которая позволяла бы максимально легко помещать маркеры в окружающее пространство, и процедура калибровки в которой могла бы выполняться максимально простым образом.

Раскрытие изобретения

Для достижения вышеуказанной цели предлагается маркерная система самопозиционирования для виртуальной реальности. Система включает в себя: установленную на пользователе камеру и напольный маркер.

В одном из возможных вариантов осуществления напольный маркер может быть встроен в раскатываемый ковер.

В другом варианте осуществления напольный маркер может обозначать зону, безопасную для перемещения пользователя.

Еще в одном варианте осуществления перед камерой может быть установлено наклонное зеркало так, что поле обзора камеры перенаправлено вниз.

Кроме того, в качестве камеры может использоваться камера смартфона.

Еще в одном варианте осуществления наклонное зеркало может быть прикреплено к шлему-держателю или смартфону.

В одном из возможных вариантов осуществления маркер может представлять собой сетку темных квадратов на белом фоне (или наоборот).

Еще в одном возможном варианте осуществления система отслеживает положения рук пользователя и воспроизводит положения рук пользователя в виртуальной реальности. Кроме того, камера может распознавать жесты с помощью камеры, причем распознанные жесты используются в качестве жест-интерфейса.

Краткое описание чертежей

Фиг. 1 - общий вид системы мобильной BP в одном из возможных вариантов реализации;

Фиг. 2 - вид напольного маркера со стороны камеры системы, показанной на Фиг. 1, после отражения от наклонного зеркала.

Осуществление изобретения

Новая маркерная система отслеживания положения, заявленная в настоящем документе, лишена основных недостатков, свойственных другим маркерным решениям в области виртуальной реальности, за счет использования напольного маркера (называемого "волшебным ковром"). Данный маркер может быть легко "развернут" просто путем раскатывания ковра. Во время сеанса BP пользователь ходит по ковру, и в реальном мире ковер ограничивает "безопасную" область, на которой не должны находиться никакие препятствия во время сеанса BP. При перемещении пользователя камера смартфона ориентирована горизонтально, то есть приблизительно параллельно поверхности пола, и, следовательно, маркер (ковер) не может попасть в ее поле обзора. Поэтому перед камерой смартфона может быть установлено наклонное зеркало, чтобы поле обзора камеры перенаправлялось вниз. На практике зеркало может крепиться к смартфону или шлему-держателю. После такой модификации в поле зрения камеры уже попадают элементы маркера при условии, что пользователь находится на ковре и его взгляд направлен приблизительно горизонтально.

Как показано на Фиг. 1, в одном из возможных вариантов осуществления система содержит следующие аппаратные компоненты: напольный маркер 1 ("волшебный ковер"), смартфон 2, шлем-держатель BP 3, в который вставлен указанный смартфон, и наклонное зеркало 4, в данном варианте осуществления прикрепленное к смартфону перед камерой смартфона. Когда пользователь смотрит в горизонтальном направлении, маркер попадает в поле обзора камеры благодаря отражению от прикрепленного зеркала.

Затем для оценки положения камеры относительно маркера могут использоваться алгоритмы компьютерного зрения. Это может быть осуществлено эффективно (быстро и надежно) при условии, что внешний вид маркера оптимизирован для определения местоположения и идентификации элементов маркера. Оценка положения с помощью маркерной технологии является хорошо изученной областью, и имеются популярные маркерные семейства с соответствующими отслеживающими алгоритмами (например, AprilTags или ArucoMarkers).

Как показано на Фиг. 2, камера смартфона может видеть напольный маркер 1, отраженный от наклонного зеркала. В одном из возможных вариантов осуществления напольный маркер может состоять из хорошо различимых квадратных элементов. Обучаемая маркерная технология, описанная в работе Гринчук и др. NIPS2016, может быть использована для создания эстетически привлекательных и различимых сеточных элементов. Положение рамки камеры смартфона привязывается к маркеру путем обнаружения темных квадратов и сопоставления их с элементами маркера.

В процессе самопозиционирования адаптивная пороговая обработка с последующим анализом соответствующих компонентов выявляет темные области четырехугольной формы. Каждая темная область геометрически преобразуется в квадрат, и затем ее внешний вид согласуется с квадратными элементами, которые должны иметься на маркере, посредством простого попиксельного сравнения. Это позволяет установить соответствие между обнаруженными областями и элементами маркера.

Затем используются стандартные алгоритмы оценки положения для определения положения камеры относительно "волшебного ковра". Если говорить более подробно, алгоритм оценки положения обеспечивает оценку положения с шестью степенями свободы виртуальной камеры, полученной посредством отражения положения реальной камеры смартфона в установленном зеркале. Поскольку положение зеркала относительно камеры смартфона известно, виртуальную камеру можно отразить обратно и можно оценить положение реальной камеры относительно маркера (ковра), что и обеспечивает отслеживание положения.

Как показано но Фиг. 2, в поле обзора камеры ясно видно положение рук пользователя, которое может быть воспроизведено в виртуальной реальности или использовано для реализации жестового интерфейса. Поскольку руки пользователя попадают в поле обзора камеры большую часть времени, отражение может использоваться для отслеживания положений рук пользователя и воспроизведения их в виртуальной реальности. Как известно, это значительно усиливает ощущение погружения в виртуальную реальность. Кроме того, поток изображения от камеры может использоваться для обнаружения определенных жестов, которые могут использоваться в рамках жестового интерфейса. До настоящего момента не существовало систем, которые могли бы осуществлять отслеживание рук без использования внешнего устройства формирования изображения. Следует отметить, что такие интерфейсы могут быть разработаны и при отсутствии напольного маркера (ковра).

В целом, предлагаемая система включает в себя следующие аппаратные компоненты: смартфон, шлем-держатель с наклонным зеркалом (как вариант, зеркало может быть прикреплено непосредственно к смартфону), и маркер в виде напольного ковра. В плане программного обеспечения в системе используется способ оценки положения, обеспечивающий возможность обнаружения и установления соответствия между пикселями отраженного изображения и элементами маркера, с последующим применением оценки положения для определения положения камеры с 6 степенями свободы.

Маркерная система мобильной BP согласно настоящему изобретению обеспечивает достижение следующих технических результатов:

- Система согласно настоящему изобретению обладает преимуществами маркерных технических решений. Зная маркер заранее, можно использовать более простые, эффективные, точные и надежные алгоритмы оценки положения для определения положения по сравнению с безмаркерными технологиями, в которых необходимо построить карту окружающей среды на лету (так называемые алгоритмы одновременного определения местоположения и картографирования (SLAM)).

- Данная система может быть легко "развернута" просто путем раскатывания ковра на полу. Дополнительной процедуры калибровки после этого не требуется.

- Система обеспечивает отслеживание положения до тех пор, пока пользователь остается на ковре. В случае выхода пользователя за пределы ковра стандартный интерфейс BP может сигнализировать пользователю о том, что он вышел за пределы ковра, как это делается в системах BP более высокого класса, в которых пользователь может ходить.

- Перед началом сеанса BP ковер естественным образом ограничивает область, которая должна быть освобождена от каких-либо предметов, чтобы избежать столкновений во время сеанса. Такой способности четко ограничивать "критическую зону" не имеется в других системах BP (даже в системах BP высших классов, в которых используется технология "отслеживания извне").

- Система согласно настоящему изобретению позволяет следить за положением тела пользователя с помощью камеры смартфона. Ее можно использовать для усиления погружения в виртуальную реальность с грубой репрезентацией тела пользователя, обеспечивая, таким образом, усиление ощущения погружения. Кроме того, это может обеспечивать реализацию жестового интерфейса без дополнительных контроллеров.

- Система расположена полностью внутри шлема и не требует каких-либо проводов для соединения с другими устройствами, так что пользователь может безопасно и свободно перемещаться по ковру.

1. Маркерная система отслеживания положения пользователя для виртуальной реальности, содержащая:

установленную на пользователе камеру,

напольный маркер и

наклонное зеркало, установленное перед камерой так, что поле обзора камеры перенаправлено вниз, когда взгляд пользователя направлен горизонтально.

2. Система по п. 1, в которой напольный маркер встроен в раскатываемый ковер.

3. Система по п. 1, в которой напольный маркер обозначает зону, безопасную для перемещения пользователя.

4. Система по п. 1, в которой в качестве камеры используется камера смартфона.

5. Система по п. 1, в которой наклонное зеркало прикреплено к шлему-держателю.

6. Система по п. 1, в которой наклонное зеркало прикреплено к смартфону.

7. Система по п. 1, в которой маркер содержит сетку темных квадратов на белом фоне.

8. Система по п. 1, выполненная с возможностью отслеживать положения рук пользователя и воспроизводить положения рук пользователя в виртуальной реальности.

9. Система по п. 8, выполненная с возможностью распознавать жесты с помощью камеры, причем распознанные жесты используются в рамках жестового интерфейса.



 

Похожие патенты:

Изобретение относится к области вычислительной техники для обработки видеоряда. Технический результат заключается в повышении точности обработки видеоряда.

Изобретение относится к области вычислительной техники. Технический результат – расширение функциональных возможностей системы видеонаблюдения для обеспечения возможности создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов.

Настоящее изобретение относится к технологии кодирования движущихся изображений. Технический результат заключается в повышении эффективности кодирования движущихся изображений.

Изобретение относится к области кодирования/декодирования информации движения. Технический результат – повышение эффективности декодирования информации движения текущего блока.

Изобретение относится к медицине, а именно к восстановительной медицине и хиропрактике, и предназначено для определения движения в отделах позвоночника. Способ заключается в измерении изменения расстояний между ориентирами, нанесенными на остистые отростки, при различных видах движений в позвоночнике, отличается тем, что измерение изменений движения ориентиров проводят с помощью компьютерной фотометрии с повышенной разрешающей способностью, причем для повышения разрешающей способности фотометрии применяют цифровой USB-микроскоп с основанием, выполненным таким образом, что, независимо от наклонов пациента, фокусное расстояние до ориентиров остается неизменным, а также с микрометрической шкалой, которая позволяет проводить сравнение положения ориентиров с делениями шкалы, при этом основание микроскопа устанавливается на исследуемый отдел позвоночника, микроскоп удерживается рукой специалиста, микроскоп включается в режим непрерывной видеозаписи движения ориентиров, обусловленной движением пациента в позвоночнике.

Изобретение относится к области кодирования/декодирования трехмерных изображений. Технический результат – повышение эффективности кодирования/декодирования изображений посредством устранение зависимости от данных при определении информации движения.

Изобретение относится к области видеокодирования. Технический результат - повышение эффективности видеокодирования.

Изобретение относится к области кодирования/декодирования изображений. Технический результат – повышение коэффициента сжатия при декодировании изображений.

Изобретение относится к системе отслеживания с динамическим отношением «сигнал-шум». Технический результат заключается в повышении надежности системы отслеживания в окружении вне помещений и в присутствии других источников электромагнитного излучения.

Группа изобретений относится к медицинской технике, а именно к медицинским системам визуализации и радиотерапии. Реализованный с помощью компьютера способ управления адаптивной радиационной терапией, управляемой с помощью изображения в режиме реального времени по меньшей мере части области пациента, содержит этапы, на которых получают множество данных об изображениях в режиме реального времени, соответствующих двумерным (2D) изображениям магнитно-резонансной томографии (MRI), включающих в себя по меньшей мере часть области, выполняют оценку 2D поля движения по множеству данных об изображениях, выполняют аппроксимацию оценки трехмерного (3D) поля движения, включающей в себя применение модели преобразования к оценке 2D поля движения, при этом модель преобразования определяется путем: выполнения оценки 3D поля движения по меньшей мере по двум объемам данных о 3D изображениях, включающих в себя по меньшей мере часть области и полученных в течение первого периода времени; выполнения оценки 2D поля движения по данным о 2D изображениях, соответствующих по меньшей мере двум 2D изображениям, включающих в себя по меньшей мере часть области и полученных в течение первого периода времени, и определения модели преобразования с использованием уменьшения размерности по меньшей мере одного из: оцененного 3D поля движения и оцененного 2D поля движения; определяют по меньшей мере одно изменение в режиме реального времени по меньшей мере части области на основании аппроксимированной оценки 3D поля движения; и управляют терапией по меньшей мере части области с использованием определенного по меньшей мере одного изменения.

Изобретение относится к видеомонтажу и видеосъемке. Технический результат заключается в повышении эффективности видеомонтажа.

Изобретение относится к области вычислительной технике. Технический результат заключается в повышении уровня безопасности работы персонала вблизи промышленного манипулятора.

Изобретение относится к области вычислительной техники. Технический результат – обеспечение эффективного выбора подходящего устройства интерфейса пациента для пациента за счет 3D моделируемой визуализации устройства интерфейса пациента в соответствии с лицом пациента.

Изобретение относится к области обработки цифровых изображений в медицине и предназначено для автоматизированного выполнения флюорографических снимков грудной клетки пациента на предмет наличия изменений или патологий в области легких.
Изобретение относится к области вычислительной техники для управления дорожным движением. Технический результат заключается в формировании виртуальной дорожной сцены при отсутствии достоверно распознаваемой дорожной разметки, определение границ проезжей части, в случае отсутствия или повреждения дорожной разметки.

Изобретение относится к средствам, характеризующим структуру и конструкцию технических объектов. Технический результат заключается в обеспечении наглядной информации об объекте.

Изобретение относится к области радиосистем наблюдения. Технический результат – уменьшение вычислительных затрат за счёт введения правила выбора сопряженных пар точек или ортов направлений на эти точки.

Изобретение относится к области видеомонтажа. Технический результат − автоматическое разбиение видеофайла на монтажные кадры с корректно расположенными границами без ресурсоёмких методов анализа видеоизображения.

Изобретение относится к преобразователям энергии излучения в электрический сигнал. Технический результат – упрощение процедуры выявления электронного портрета тепловизионной камеры и возможность осуществлять ее в полевых условиях.

Изобретение относится к защите конфиденциальной информации, а именно к обработке видеоинформации, полученной с камер видеонаблюдения, с целью сокрытия приватной информации в видеоархиве.

Изобретение относится к области обработки данных и позволяет моделировать реальную отражательную способность с поверхности, обеспечивает быструю сходимость, устойчивость к случайной инициализации и полную автоматизацию, без необходимости подстройки параметров материала.

Изобретение относится к системам мобильной виртуальной реальности, в частности к системам мобильной виртуальной реальности, осуществляющим отслеживание положения пользователя с 6 степенями свободы с помощью камеры смартфона в качестве единственного устройства формирования изображения. Технический результат заключается в обеспечении более простой, эффективной, точной и надежной оценки положения для усиления погружения в виртуальную реальность. Такой результат достигается благодаря тому, что оценка положения пользователя осуществляется, когда пользователь держит голову в естественном положении, смотря прямо перед собой в горизонтальном направлении. Маркерная система отслеживания положения пользователя для виртуальной реальности включает в себя: установленную на пользователе камеру и напольный маркер, при этом перед камерой может быть установлено наклонное зеркало так, что поле обзора камеры перенаправлено вниз. 8 з.п. ф-лы, 2 ил.

Наверх