Система виртуальной реальности на основе смартфона и наклонного зеркала

Изобретение относится к системам мобильной виртуальной реальности, в частности к системам мобильной виртуальной реальности, осуществляющим отслеживание положения пользователя с 6 степенями свободы с помощью камеры смартфона в качестве единственного устройства формирования изображения. Технический результат заключается в обеспечении более простой, эффективной, точной и надежной оценки положения для усиления погружения в виртуальную реальность. Такой результат достигается благодаря тому, что оценка положения пользователя осуществляется, когда пользователь держит голову в естественном положении, смотря прямо перед собой в горизонтальном направлении. Маркерная система отслеживания положения пользователя для виртуальной реальности включает в себя: установленную на пользователе камеру и напольный маркер, при этом перед камерой может быть установлено наклонное зеркало так, что поле обзора камеры перенаправлено вниз. 8 з.п. ф-лы, 2 ил.

 

Область техники

Настоящее изобретение относится к системам мобильной виртуальной реальности и, в частности, к системам мобильной виртуальной реальности, осуществляющим отслеживание положения пользователя с 6 степенями свободы с помощью камеры смартфона в качестве единственного устройства формирования изображения.

Уровень техники

Системы виртуальной реальности (BP) в настоящее время находятся в состоянии активной разработки. Системы BP, основанные на смартфонах, (так называемая "мобильная BP") являются особенно многообещающими и превосходят по численности все другие устройства на рынке. Эти системы включают в себя смартфон и недорогой шлем-держатель, в который вставляется смартфон. Сам шлем-держатель, как правило, не содержит каких-либо дополнительных датчиков или какого-либо иного электронного оборудования. Благодаря этому, комплекты мобильной BP являются значительно менее дорогостоящими и менее сложными, чем автономные системы (при условии, что мы не учитываем стоимость смартфона). Основным недостатком систем мобильной BP по сравнению с системами BP более высокого класса является отсутствие отслеживания положения.

Если говорить более подробно, то во время сеанса BP системы мобильной BP, как правило, не могут отслеживать абсолютное положение шлема-держателя и оценивают лишь его угловую ориентацию (что известно как отслеживание с 3 степенями свободы), В отличие от этого, в системах более высокого класса, таких как НТС Vive или Oculus Rift, используются внешние камеры для отслеживания положения шлема, и, таким образом, эти системы могут выполнять отслеживание перемещения тела (т.е. шлема) в трехмерном пространстве с 6 степенями свободы. Отслеживание с 6 степенями свободы обеспечивает гораздо более полноценное и глубокое погружение в виртуальную реальность, поскольку позволяет пользователю естественно перемещаться в виртуальном пространстве. В результате виртуальная картина, воспринимаемая пользователем, изменяется при изменении абсолютного положения головы так, как того ожидает мозг пользователя.

Для реализации отслеживания с 6 степенями свободы в мобильной BP был разработан ряд экспериментальных комплектов мобильной BP, которые решали задачу использования камеры смартфона для оценки положения смартфона (и шлема-держателя, в который он вставлен) с шестью степенями свободы. Такая задача (известная как оценка позы в области машинного зрения, и самопозиционирование (англ. inside-out tracking) в области BP) является сложной задачей, особенно если ее необходимо выполнить с высокой частотой кадров и с помощью мобильного устройства. Существующие технологии в данной области делятся на две группы: безмаркерные технологии, в которых не предполагается какое-либо предварительное знание об окружающей среде, в которой пользователь осуществляет навигацию, и маркерные технологии, в которых некоторые визуальные маркеры определенного, известного заранее внешнего вида определенным образом внедряют в окружающую среду.

Из двух вышеуказанных групп маркерные методы обеспечивают более высокую надежность, более высокую точность, меньшую задержку и более низкую загрузку процессора. Однако это достигается за счет необходимости внедрения маркеров в окружающую среду так, чтобы в поле обзора камеры всегда располагалось достаточное количество маркеров. Кроме того, для того чтобы маркерное отслеживание было возможным, часто требуется сложная процедура калибровки. В целом, необходимость внедрения в среду маркеров и их калибровки является слишком большим препятствием, и поэтому маркерное отслеживание положения обычно считается неконкурентно-способным, и большинство усилий разработчиков направлено на создание безмаркерных решений.

Таким образом, существует необходимость создания маркерной системы BP, которая позволяла бы максимально легко помещать маркеры в окружающее пространство, и процедура калибровки в которой могла бы выполняться максимально простым образом.

Раскрытие изобретения

Для достижения вышеуказанной цели предлагается маркерная система самопозиционирования для виртуальной реальности. Система включает в себя: установленную на пользователе камеру и напольный маркер.

В одном из возможных вариантов осуществления напольный маркер может быть встроен в раскатываемый ковер.

В другом варианте осуществления напольный маркер может обозначать зону, безопасную для перемещения пользователя.

Еще в одном варианте осуществления перед камерой может быть установлено наклонное зеркало так, что поле обзора камеры перенаправлено вниз.

Кроме того, в качестве камеры может использоваться камера смартфона.

Еще в одном варианте осуществления наклонное зеркало может быть прикреплено к шлему-держателю или смартфону.

В одном из возможных вариантов осуществления маркер может представлять собой сетку темных квадратов на белом фоне (или наоборот).

Еще в одном возможном варианте осуществления система отслеживает положения рук пользователя и воспроизводит положения рук пользователя в виртуальной реальности. Кроме того, камера может распознавать жесты с помощью камеры, причем распознанные жесты используются в качестве жест-интерфейса.

Краткое описание чертежей

Фиг. 1 - общий вид системы мобильной BP в одном из возможных вариантов реализации;

Фиг. 2 - вид напольного маркера со стороны камеры системы, показанной на Фиг. 1, после отражения от наклонного зеркала.

Осуществление изобретения

Новая маркерная система отслеживания положения, заявленная в настоящем документе, лишена основных недостатков, свойственных другим маркерным решениям в области виртуальной реальности, за счет использования напольного маркера (называемого "волшебным ковром"). Данный маркер может быть легко "развернут" просто путем раскатывания ковра. Во время сеанса BP пользователь ходит по ковру, и в реальном мире ковер ограничивает "безопасную" область, на которой не должны находиться никакие препятствия во время сеанса BP. При перемещении пользователя камера смартфона ориентирована горизонтально, то есть приблизительно параллельно поверхности пола, и, следовательно, маркер (ковер) не может попасть в ее поле обзора. Поэтому перед камерой смартфона может быть установлено наклонное зеркало, чтобы поле обзора камеры перенаправлялось вниз. На практике зеркало может крепиться к смартфону или шлему-держателю. После такой модификации в поле зрения камеры уже попадают элементы маркера при условии, что пользователь находится на ковре и его взгляд направлен приблизительно горизонтально.

Как показано на Фиг. 1, в одном из возможных вариантов осуществления система содержит следующие аппаратные компоненты: напольный маркер 1 ("волшебный ковер"), смартфон 2, шлем-держатель BP 3, в который вставлен указанный смартфон, и наклонное зеркало 4, в данном варианте осуществления прикрепленное к смартфону перед камерой смартфона. Когда пользователь смотрит в горизонтальном направлении, маркер попадает в поле обзора камеры благодаря отражению от прикрепленного зеркала.

Затем для оценки положения камеры относительно маркера могут использоваться алгоритмы компьютерного зрения. Это может быть осуществлено эффективно (быстро и надежно) при условии, что внешний вид маркера оптимизирован для определения местоположения и идентификации элементов маркера. Оценка положения с помощью маркерной технологии является хорошо изученной областью, и имеются популярные маркерные семейства с соответствующими отслеживающими алгоритмами (например, AprilTags или ArucoMarkers).

Как показано на Фиг. 2, камера смартфона может видеть напольный маркер 1, отраженный от наклонного зеркала. В одном из возможных вариантов осуществления напольный маркер может состоять из хорошо различимых квадратных элементов. Обучаемая маркерная технология, описанная в работе Гринчук и др. NIPS2016, может быть использована для создания эстетически привлекательных и различимых сеточных элементов. Положение рамки камеры смартфона привязывается к маркеру путем обнаружения темных квадратов и сопоставления их с элементами маркера.

В процессе самопозиционирования адаптивная пороговая обработка с последующим анализом соответствующих компонентов выявляет темные области четырехугольной формы. Каждая темная область геометрически преобразуется в квадрат, и затем ее внешний вид согласуется с квадратными элементами, которые должны иметься на маркере, посредством простого попиксельного сравнения. Это позволяет установить соответствие между обнаруженными областями и элементами маркера.

Затем используются стандартные алгоритмы оценки положения для определения положения камеры относительно "волшебного ковра". Если говорить более подробно, алгоритм оценки положения обеспечивает оценку положения с шестью степенями свободы виртуальной камеры, полученной посредством отражения положения реальной камеры смартфона в установленном зеркале. Поскольку положение зеркала относительно камеры смартфона известно, виртуальную камеру можно отразить обратно и можно оценить положение реальной камеры относительно маркера (ковра), что и обеспечивает отслеживание положения.

Как показано но Фиг. 2, в поле обзора камеры ясно видно положение рук пользователя, которое может быть воспроизведено в виртуальной реальности или использовано для реализации жестового интерфейса. Поскольку руки пользователя попадают в поле обзора камеры большую часть времени, отражение может использоваться для отслеживания положений рук пользователя и воспроизведения их в виртуальной реальности. Как известно, это значительно усиливает ощущение погружения в виртуальную реальность. Кроме того, поток изображения от камеры может использоваться для обнаружения определенных жестов, которые могут использоваться в рамках жестового интерфейса. До настоящего момента не существовало систем, которые могли бы осуществлять отслеживание рук без использования внешнего устройства формирования изображения. Следует отметить, что такие интерфейсы могут быть разработаны и при отсутствии напольного маркера (ковра).

В целом, предлагаемая система включает в себя следующие аппаратные компоненты: смартфон, шлем-держатель с наклонным зеркалом (как вариант, зеркало может быть прикреплено непосредственно к смартфону), и маркер в виде напольного ковра. В плане программного обеспечения в системе используется способ оценки положения, обеспечивающий возможность обнаружения и установления соответствия между пикселями отраженного изображения и элементами маркера, с последующим применением оценки положения для определения положения камеры с 6 степенями свободы.

Маркерная система мобильной BP согласно настоящему изобретению обеспечивает достижение следующих технических результатов:

- Система согласно настоящему изобретению обладает преимуществами маркерных технических решений. Зная маркер заранее, можно использовать более простые, эффективные, точные и надежные алгоритмы оценки положения для определения положения по сравнению с безмаркерными технологиями, в которых необходимо построить карту окружающей среды на лету (так называемые алгоритмы одновременного определения местоположения и картографирования (SLAM)).

- Данная система может быть легко "развернута" просто путем раскатывания ковра на полу. Дополнительной процедуры калибровки после этого не требуется.

- Система обеспечивает отслеживание положения до тех пор, пока пользователь остается на ковре. В случае выхода пользователя за пределы ковра стандартный интерфейс BP может сигнализировать пользователю о том, что он вышел за пределы ковра, как это делается в системах BP более высокого класса, в которых пользователь может ходить.

- Перед началом сеанса BP ковер естественным образом ограничивает область, которая должна быть освобождена от каких-либо предметов, чтобы избежать столкновений во время сеанса. Такой способности четко ограничивать "критическую зону" не имеется в других системах BP (даже в системах BP высших классов, в которых используется технология "отслеживания извне").

- Система согласно настоящему изобретению позволяет следить за положением тела пользователя с помощью камеры смартфона. Ее можно использовать для усиления погружения в виртуальную реальность с грубой репрезентацией тела пользователя, обеспечивая, таким образом, усиление ощущения погружения. Кроме того, это может обеспечивать реализацию жестового интерфейса без дополнительных контроллеров.

- Система расположена полностью внутри шлема и не требует каких-либо проводов для соединения с другими устройствами, так что пользователь может безопасно и свободно перемещаться по ковру.

1. Маркерная система отслеживания положения пользователя для виртуальной реальности, содержащая:

установленную на пользователе камеру,

напольный маркер и

наклонное зеркало, установленное перед камерой так, что поле обзора камеры перенаправлено вниз, когда взгляд пользователя направлен горизонтально.

2. Система по п. 1, в которой напольный маркер встроен в раскатываемый ковер.

3. Система по п. 1, в которой напольный маркер обозначает зону, безопасную для перемещения пользователя.

4. Система по п. 1, в которой в качестве камеры используется камера смартфона.

5. Система по п. 1, в которой наклонное зеркало прикреплено к шлему-держателю.

6. Система по п. 1, в которой наклонное зеркало прикреплено к смартфону.

7. Система по п. 1, в которой маркер содержит сетку темных квадратов на белом фоне.

8. Система по п. 1, выполненная с возможностью отслеживать положения рук пользователя и воспроизводить положения рук пользователя в виртуальной реальности.

9. Система по п. 8, выполненная с возможностью распознавать жесты с помощью камеры, причем распознанные жесты используются в рамках жестового интерфейса.