Устройство доставки и отображения контента
Изобретение относится к удерживаемым на голове дисплеям. Устройство доставки и отображения контента содержит систему (10) доставки изображений удерживаемого на голове дисплея и устройство (1) удерживаемого на голове дисплея HMD и включает: один или более дисплеев (3); один или более датчиков (4,5,6) для определения перемещения, положения и ориентации дисплея и одно или более средств ввода изображения, выполненных с возможностью приема данных изображения для непосредственного отображения на одном или более дисплеях без обработки изображения посредством HMD от системы доставки изображений. Система доставки изображений выполнена с возможностью передачи стереоскопического изображения на HMD-устройство для подачи информации изображения пользователю и содержит: одно или более средств ввода, чтобы принимать данные датчиков от датчиков; одно или более средств ввода (100) изображения, выполненных с возможностью принимать предварительно обработанные данные изображения для непосредственного отображения поля обзора на одном или более дисплеях без обработки изображения посредством системы доставки изображений, причем система доставки принимает, при использовании, предварительно обработанные данные изображения поля обзора и дополнительно принимает, при использовании, дополнительные предварительно обработанные данные изображения для изображений за пределами поля обзора, еще не отображенных на дисплее; и одно или более средств вывода изображения, чтобы доставлять данные изображения для непосредственного отображения на одном или более дисплеях поля обзора без обработки изображения посредством HMD-системы. Изобретение позволяет уменьшить задержки в визуализации изображения и увеличить пропускную способность системы. 16 з.п. ф-лы, 12 ил.
Изобретение относится к удерживаемым на голове дисплеям и к системам и способам для доставки контента удерживаемым на голове дисплеям, в частности, контента виртуальной реальности.
Просмотр контента виртуальной реальности требует от зрителя/участника наличия доступа к более существенным мощностям аппаратных средств, программного обеспечения и/или пропускной способности. Целью этого изобретения является снижение требований к аппаратным средствам, программному обеспечению и пропускной способности, чтобы предоставлять возможность просмотра и участия в событиях виртуальной реальности.
Типичное оборудование виртуальной реальности будет содержать:
удерживаемый на голове дисплей (HMD), который отображает стереоскопическое 3D-изображение виртуального окружения в компьютерной графике, фотореалистичной графике или реальном 3D-видеоизображении;
датчики как на HMD, так и удаленно от HMD для определения позиции HMD и пространственного положения в реальном окружении и измерения движений HMD посредством акселерометров и т.п., например, установленные на HMD акселерометры измеряют движение HMD, местоположение и пространственное положение (наклон относительно продольной оси, наклон относительно поперечной оси, угол поворота вокруг вертикальной оси), карманное устройство пользовательского интерфейса получает команды от пользователя, и массив дистанционных датчиков может отслеживать позицию HMD на пользователе в "безопасной зоне", созданной пользователем и видимой пользователю в виртуальном окружении;
компьютер, имеющий мощный процессор, чтобы формировать изображения для наполнения виртуального окружения и определять позицию пользователя и реакции в виртуальном окружении, высокопроизводительную графическую карту, чтобы визуализировать изображения в стереоскопическом 3D на HMD пользователя.
Также существуют требования электропитания и требования пропускной способности связи.
Удерживаемый на голове дисплей (HMD) отображает стереоскопическое 3D-изображение виртуального окружения в компьютерной графике, фотореалистичной графике или реальном 3D-видеоизображении. 2D-изображения могут быть использованы, когда 3D-эффект не является необходимым. HMD имеет множество датчиков.
Пользовательский интерфейс и HMD могут содержать датчики для определения относительной позиции пользовательского интерфейса относительно HMD или относительно удаленного массива датчиков. Пользовательский интерфейс, такой как указатель выбора, может быть визуализирован в виртуальном окружении.
Типичные системы виртуальной реальности требуют большого объема вычислений, прежде всего, вследствие мощности обработки, чтобы визуализировать быстро движущиеся изображения без задержки на графической карте высокого технического уровня.
Задержки в визуализации изображения на удерживаемом на голове дисплее могут вызывать укачивание и не обеспечивать удовлетворительное пользовательское восприятие. Пороговое значение приемлемой задержки для момента, когда пользователь вовлекается во взаимодействие в виртуальной реальности с помощью удерживаемого на голове дисплея, равно порядка 20 миллисекунд. Там, где задержка превышает 20 миллисекунд, могут возникнуть тошнота и укачивание.
Если владелец не вовлекается во взаимодействие в виртуальной реальности с помощью удерживаемого на голове дисплея, а просто смотрит видеоизображение, тогда задержка не будет проблемой. Удерживаемые на голове дисплеи должны доставлять видеоизображение, по меньшей мере, с частотой 60 кадров/секунду (кадр/сек), чтобы обеспечивать комфортное восприятие просмотра. Предпочтительными являются частоты кадров более 90 кадр/сек. Традиционные системы доставки изображений удерживаемого на голове дисплея виртуальной реальности являются высокомощными и имеющими высокие технические характеристики компьютерами с графическими картами; или игровыми консолями, которые специально созданы, чтобы визуализировать высококачественные и быстродвижущиеся графические изображения.
Один аспект настоящего изобретения предоставляет систему доставки изображений удерживаемого на голове дисплея, сконфигурированную для передачи стереоскопического изображения устройству удерживаемого на голове дисплея (HMD), чтобы передавать информацию изображения владельцу, система доставки изображений и HMD-система являются локальными по отношению друг к другу, HMD-система содержит: один или более дисплеев, показывающих поле обзора; один или более датчиков; одно или более средств ввода изображения, сконфигурированных для приема данных изображения для непосредственного отображения поля обзора на одном или более дисплеях без обработки изображения посредством HMD-системы от системы доставки изображений, при этом система доставки изображений содержит: одно или более средств ввода, чтобы принимать данные датчика от датчиков; одно или более средств ввода изображения, сконфигурированных, чтобы принимать предварительно обработанные данные изображения для непосредственного отображения поля обзора на одном или более дисплеях без обработки изображения посредством системы доставки изображений; одно или более средств вывода изображения, чтобы доставлять данные изображения для непосредственного отображения на одном или более дисплеях поля обзора без обработки изображения посредством HMD-системы.
Дополнительный аспект настоящего изобретения предоставляет систему, содержащую систему доставки изображений удерживаемого на голове дисплея в сочетании с устройством удерживаемого на голове дисплея (HMD), система доставки изображений и HMD-устройство являются локальными по отношению друг к другу, комбинация дополнительно содержит обрабатывающий графику и вычислительный ресурс, удаленный от системы доставки изображений и HMD-устройства и соединенный с системой доставки изображений и HMD-устройством посредством шины связи:
HMD-устройство содержит:
один или более дисплеев;
один или более датчиков, чтобы определять движение, позицию и пространственное положение дисплея; и
одно или более средств ввода изображения, сконфигурированных, чтобы принимать данные изображения для непосредственного отображения на одном или более дисплеях без обработки изображения посредством HMD от системы доставки изображений,
система доставки изображений конфигурируется, чтобы передавать стереоскопическое изображение HMD-системе, чтобы сообщать информацию изображения владельцу, при этом система доставки изображений содержит:
одно или более средств ввода, чтобы принимать данные датчиков от датчиков;
одно или более средств ввода изображения, сконфигурированных, чтобы принимать предварительно обработанные данные изображения для непосредственного отображения поля обзора на одном или более дисплеях без обработки изображения посредством системы доставки изображений;
одно или более средств вывода изображения, чтобы доставлять данные изображения для непосредственного отображения на одном или более дисплеях поля обзора без обработки изображения посредством HMD-системы, при этом:
обрабатывающий графику и вычислительный ресурс имеет функциональность, чтобы проводить большую часть обработки изображения и визуализации изображений через шину связи в систему доставки изображений.
Один аспект настоящего изобретения предоставляет систему доставки изображений удерживаемого на голове дисплея в сочетании с устройством удерживаемого на голове дисплея (HMD), система доставки изображений и HMD-устройство являются локальными по отношению друг к другу:
HMD-устройство содержит: один или более дисплеев; один или более датчиков, чтобы определять движение, позицию и пространственное положение дисплея; и одно или более средств ввода изображения, сконфигурированных, чтобы принимать данные изображения для непосредственного отображения на одном или более дисплеях без обработки изображения посредством HMD от системы доставки изображений,
система доставки изображений конфигурируется, чтобы передавать стереоскопическое изображение HMD-системе, чтобы сообщать информацию изображения владельцу, при этом система доставки изображений содержит: одно или более средств ввода, чтобы принимать данные датчика от датчиков; одно или более средств ввода изображения, сконфигурированных, чтобы принимать предварительно обработанные данные изображения для непосредственного отображения поля обзора на одном или более дисплеях без обработки изображения посредством системы доставки изображений; одно или более средств вывода изображения, чтобы доставлять данные изображения для непосредственного отображения на одном или более дисплеях поля обзора без обработки изображения посредством HMD-системы.
Другой аспект настоящего изобретения предоставляет систему доставки изображений удерживаемого на голове дисплея в сочетании с устройством удерживаемого на голове дисплея (HMD) и дополнительно содержит компьютерный ресурс, имеющий мощный процессор, чтобы формировать изображения для наполнения виртуального окружения и определять позицию пользователя и реакции в виртуальном окружении, и высокопроизводительную графическую карту, чтобы визуализировать изображения в стереоскопическом 3D для доставки к HMD пользователя через систему доставки изображений. Компьютерный ресурс может представлять собой компьютерную ферму, CUDA (архитектура унифицированного вычислительного устройства), GPU (модуль обработки графики).
Дополнительный аспект настоящего изобретения предоставляет систему доставки изображений удерживаемого на голове дисплея изобретения без устройства удерживаемого на голове дисплея.
Другой аспект настоящего изобретения предоставляет устройство удерживаемого на голове дисплея изобретения без системы доставки изображений удерживаемого на голове дисплея.
Дополнительный аспект настоящего изобретения предоставляет способ работы системы доставки изображений удерживаемого на голове дисплея, сконфигурированной, чтобы передавать стереоскопическое изображение устройству удерживаемого на голове дисплея (HMD).
Для того, чтобы настоящее изобретение могло быть более легко понято, варианты его осуществления будут сейчас описаны, в качестве примера, со ссылкой на сопровождающие чертежи, на которых:
Фиг. 1 является схематичным представлением системы удерживаемого на голове дисплея с внешним массивом датчиков;
Фиг. 2 является схематичным представлением варианта осуществления настоящего изобретения в связи с удаленными ресурсами обработки и графики;
Фиг. 3 является схематичным представлением варианта осуществления настоящего изобретения в связи с удаленными ресурсами обработки и графики и показывает подробности экрана удерживаемого на голове дисплея;
Фиг. 4 является схематичным представлением массива данных изображения для использования с вариантами осуществления настоящего изобретения;
Фиг. 5 является схематичным представлением варианта осуществления настоящего изобретения в связи с удаленными ресурсами обработки и графики и показывает подробности экрана удерживаемого на голове дисплея;
Фиг. 6 является схематичным представлением варианта осуществления настоящего изобретения в связи с удаленными ресурсами обработки и графики и показывает подробности экрана удерживаемого на голове дисплея;
Фиг. 7 и 8 показывает поле обзора для использования с вариантами осуществления изобретения; и
Фиг. 9-12 являются схематичными представлениями полей обзора для использования с вариантами осуществления настоящего изобретения.
Обращаясь к фиг. 1, система 1 удерживаемого на голове дисплея показана схематично и содержит следующие основные компоненты: маску 2 удерживаемого на голове дисплея, содержащую один или более экранов 3 отображения (не показаны на фиг. 1), датчик 4 движения и позиции, устройство 5 отслеживания глаз и дополнительный датчик 6 движения и позиции. Фиг. 1 также показывает массив 7 датчиков, внешних по отношению к маске 2, чтобы обнаруживать позицию в системе xyz-координат маркера 6 позиции. Фиг. 1 также показывает устройство пользовательского интерфейса, содержащее джойстик указывающего устройства 8. Указывающее устройство 8 может содержать свой собственный маркер позиции, так что его позиция может быть определена либо относительно обоих/либо одного из маски 2 удерживаемого на голове дисплея и внешнего массива 7 датчиков.
Некоторые из датчиков 4, 5, 6 устанавливаются на маску 2 или в HMD, а другие датчики 7, 8 являются удаленными от HMD. Одна категория датчиков 4, 6, 7 определяет позицию и пространственное положение в реальном окружении HMD и измеряет движения HMD посредством акселерометров и т.п., например, установленные на HMD акселерометры измеряют движение HMD, местоположение и пространственное положение (наклон относительно продольной оси, наклон относительно поперечной оси, поворот вокруг вертикальной оси). Указывающее устройство 8 или другое устройство пользовательского интерфейса, такое как джойстик, указывающее устройство или перчатка, используется, чтобы принимать команды от пользователя. Удаленный массив 7 датчиков может отслеживать позицию HMD на пользователе в "безопасной зоне", созданной пользователем и видимой пользователю в виртуальном окружении.
Пользователь носит маску 2 и видит изображения на одном или более дисплеях 3 внутри маски 2, в то же время удерживая пользовательский интерфейс 8, который может также появляться на изображениях на экране 3. Предпочтительно, изображения, предоставленные посредством дисплея, являются стереоскопическими изображениями виртуального окружения. Система доставки конфигурируется, чтобы доставлять необязательно аудиосигнал, синхронизированный с изображением или видеосигналом. Предпочтительно, система доставки доставляет синхронизированный звук как часть восприятия виртуальной реальности, через HDMI-порт.
Пользовательский интерфейс 8 может быть носимым элементом, таким как перчатка, носок или браслет, или может быть отдельным элементом, таким как джойстик или указывающее устройство.
Данные от всех датчиков подаются посредством проводного соединения и/или беспроводного соединения в консоль 10, которая также отвечает за доставку данных изображения на один или более экранов 3 отображения в маске 2. Кроме того, HMD-устройство и система доставки изображений могут соединяться способом связи малого радиуса действия, например, Bluetooth.
Консоль 10 показана на фиг. 2 соединенной с внешним монитором 18, так что администратор или оператор, отличный от владельца удерживаемого на голове дисплея 2, может видеть изображения на внешнем мониторе 18, которые отображаются на носимой маске 2.
В отличие от традиционных систем, консоль 10 содержит систему 10 доставки изображений удерживаемого на голове дисплея, которая имеет, по меньшей мере, одно средство 100 ввода, сконфигурированное, чтобы принимать предварительно обработанные данные изображения для непосредственного отображения поля обзора 50 на одном или более дисплеях 3 без обработки изображения посредством системы 10 доставки изображений. Консоль 10, осуществляющая настоящее изобретение, доставляет данные изображения для непосредственного отображения на одном или более дисплеях 3 поля обзора 50 без обработки изображения посредством устройства 1 удерживаемого на голове дисплея.
Предпочтительно, консоль 10 и маска 2 удерживаемого на голове дисплея являются локальными по отношению друг к другу, либо в одном и том же пространстве или комнате, а более предпочтительно, в одной и той же беспроводной сети, либо также предпочтительно на связи друг с другом через проводное соединение. Предпочтительно, соединение с маской 2 удерживаемого на голове дисплея для изображения, которое должно быть отображено, выполняется через HDMI-соединение, а информационное соединение от маски до консоли 10 выполняется через USB-соединение.
Дисплеи виртуальной реальности требуют значительных ресурсов для графической обработки и вычислений. В вариантах осуществления настоящего изобретения обрабатывающие графику и вычислительные ресурсы 21 предусматриваются удаленно от удерживаемого на голове дисплея 1 и консоли 10, но соединены с этими локальными элементами посредством шины 20 связи с низкой задержкой. Графическая обработка может быть посредством вычислительного облака GPU, расположенного на кластере CUDA виртуальной реальности. Оператор виртуальной реальности предоставляет специализированную инфраструктуру 21, чтобы координировать упаковку и распространение данных по шине 20 связи с низкой задержкой и к удаленным элементам, предоставляющим обрабатывающие графику и вычислительные ресурсы. Шина 20 связи соединяется с консолью 10 через порт 100 ввода.
Обрабатывающие графику и вычислительные ресурсы 21 предоставляются удаленно от удерживаемого на голове дисплея 1 и консоли 10. Таким образом, консоль 10 должна обеспечивать очень легкую, если требуется, обработку изображения. Обрабатывающие графику и вычислительные ресурсы 21 являются ответственными за большую часть, если не всю, обработки изображения и визуализации изображений для передачи по шине 20 к консоли 10. Консоль не требует или не имеет функциональности, чтобы выполнять какую-либо дополнительную существенную обработку данных за исключением потенциального переформатирования изображения для совместимости с настройками HMD-экрана 3. Большая часть обработки изображения проводится на удаленных обрабатывающих графику и вычислительных ресурсах 21 по сравнению с консолью 10, и предпочтительно обработка изображения не проводится в HMD 1. Вся визуализация изображений может проводиться на удаленных обрабатывающих графику и вычислительных ресурсах 21.
Обратимся теперь к фиг. 3, виртуальное окружение, отображаемое на HMD-экране 3, является высокогорной панорамой. Владелец/пользователь смотрит непосредственно вперед, прямо и на уровне с горизонтом посредине экрана на всю ширину. Консоль 10, осуществляющая настоящее изобретение, требует по шине 20 связи, чтобы изображение было визуализировано вне сцены, и изображение визуализируется и доставляется обратно по шине 20 связи как изображение I, которое сообщается немедленно, насколько возможно, без графической обработки или предварительной обработки через HDMI-вывод 12 консоли непосредственно на экран 3, который показывает поле обзора 50 для изображения I.
Датчики 4, 5, 6 и 7, 8 системы удерживаемого на голове дисплея наблюдают за действиями владельца и идентифицируют, куда владелец смотрит, с тем, чтобы устанавливать, какое следующее поле обзора 50 будет отображено для владельца. Консоль 10 принимает данные 4, 5, 6, 7, 8 датчиков от удерживаемого на голове дисплея и вызывает изображение следующего поля обзора, которое затем подготавливается и визуализируется удаленно и доставляется по шине 20 связи консоли 10, где оно передается на экран 3 без обработки изображения посредством консоли/системы 10 доставки изображений. Изображения I, выводимые из консоли 10 в систему 1 удерживаемого на голове дисплея, отправляются без обработки изображения посредством системы 10 доставки изображений удерживаемого на голове дисплея.
Поскольку обрабатывающие графику и вычислительные ресурсы 21 соединяются по шине связи с низкой задержкой, консоль 10 может быть простейшей в вычислительном отношении по своей сути. Пороговое значение задержки должно быть менее 20 микросекунд.
Фиг. 4 показывает поле обзора (FOV 1) 50(1), которое является изображением, отображаемым на экране 3. За пределами поля обзора 50(1) изображение продолжается в виртуальном окружении, но такие области 51(2-9) изображения I, которые лежат за пределами поля обзора 50(1), не отображаются. Области, лежащие за пределами поля обзора (FOV1), лежат выше 51(2) и ниже 51(6), слева 51(8) и справа 51(4) и в верхнем правом 51(3), нижнем правом 51(5), нижнем левом 51(7) и верхнем левом 51(9) углах. Фиг. 4 показывает области как практически прямоугольные, но области могут быть определены по-другому - см. фиг. 9-12, где области 51 за пределами поля обзора (FOV1) 50 показаны как эллиптические доли 51 на фиг. 9 и 10 и как прямоугольный контур на фиг. 11 и как врезки на фиг. 12.
Фиг. 5 показывает дополнительный вариант осуществления настоящего изобретения, в котором данные 4, 5, 6, 7, 8 HMD-датчиков используется в удаленном центре обрабатывающих графику и вычислительных ресурсов 21, чтобы возвращать не только данные изображения поля обзора по шине 20, но также данные изображения в дополнение к полю обзора данных изображения для изображений, лежащих, по меньшей мере, частично за пределами поля обзора и еще не отображенных на экране 3. В примере на фиг. 5 данные HMD-датчиков используются удаленными вычислительными ресурсами, чтобы прогнозировать, что владелец далее посмотрит вправо от поля обзора, с тем, чтобы также визуализировать поле обзора, удаленный вычислительный ресурс также визуализирует и отправляет данные изображения справа от поля обзора обратно консоли 10 по шине 20 связи с низкой задержкой. Если консоль 10 идентифицирует, что владелец действительно переместил свой взгляд вправо от отображения поля обзора, тогда селектор 17 может выбирать исправленный вариант поля обзора с тем, чтобы отображать поле обзора с правой стороны вместе с "правой" областью данных изображения справа от поля обзора.
Обращаясь теперь к фиг. 6, дополнительный вариант осуществления настоящего изобретения отправляет данные 4, 5, 6, 7, 8 HMD-датчиков непосредственно селектору 17 в локальной консоли 10. В этом варианте осуществления данные датчика не передаются по шине 20 связи удаленным обрабатывающим графику и вычислительным ресурсам. Данные датчика остаются локальными по отношению к системе удерживаемого на голове дисплея и консоли 10.
В дополнение к визуализации поля обзора, удаленные вычислительные ресурсы 21 графической обработки передают по шине 20 связи все области 51(2-9), окружающие поле обзора 50(1), и предоставляют их в локальную консоль 10, где они предварительно сохраняются и являются доступными для выбора посредством селектора 17. Селектор 17 приспособлен для работы под управлением данных датчика и в ответ на данные датчика, чтобы прогнозировать или идентифицировать, куда взгляд владельца упадет далее за пределами поля обзора, и, в ответ на это направленное изменение взгляда владельца, селектор 17 выбирает предварительно сохраненную область за пределами поля обзора и доставляет ее непосредственно на экран удерживаемого на голове дисплея без дополнительной предварительной обработки или графической обработки. Сохранение данных датчика и функциональности прогнозирования локальными по отношению к консоли и удерживаемому на голове дисплею предоставляет возможность консоли быть автономной от удаленно расположенных обрабатывающих графику и вычислительных ресурсов. При этом данные датчиков не все отправляются удаленно, с тем, чтобы информировать, какие предварительно обработанные данные изображения доставлять.
Фиг. 7 показывает поле обзора (FOV 1) и область с правой стороны за пределами FOV 1, которая буферизуется в консоли 10 (т.е., область с правой стороны принимается, но не отображается в FOV), готовая для немедленной доставки, когда взгляд владельца обращается в правую сторону от FOV 1. Эта форма буферизации называется в этом документе "предварительным сохранением". Аналогично, фиг. 8 показывает внешнюю область над FOV 1, которая буферизуется (или предварительно сохраняется) в консоли 10, готовая для немедленной доставки на экран удерживаемого на голове дисплея.
Диапазон датчиков, доступных системе, может также включать в себя устройства отслеживания глаз, которые идентифицируют фрагмент экрана, на который пользователь смотрит или перемещается, наблюдая за его взглядом (также известны как устройства отслеживания взгляда) -такие датчики являются оптическими неинвазивными и устанавливаются внутри головной гарнитуры.
При использовании в данном подробном описании и формуле изобретения термины "содержит" и "содержащий", а также их разновидности означают, что указанный признаки, этапы или целые числа включены. Эти термины не должны интерпретироваться так, чтобы исключать наличие других признаков, этапов или компонентов.
Признаки, раскрытые в вышеприведенном описании или последующей формуле изобретения, или в прилагаемых чертежах, выраженные в конкретной форме или в отношении значений для осуществления раскрытой функции или способа, или процесса для достижения надлежащего раскрытого результата, могут по отдельности или в любом сочетании этих признаков быть использованными для реализации изобретения в различных формах.
1. Устройство доставки и отображения контента, содержащее систему (10) доставки изображений удерживаемого на голове дисплея и устройство (1) удерживаемого на голове дисплея, HMD,
причем HMD-устройство содержит:
один или более дисплеев (3);
один или более датчиков (4,5,6) для определения перемещения, положения и ориентации дисплея и
одно или более средств ввода изображения, выполненных с возможностью приема данных изображения для непосредственного отображения на одном или более дисплеях без обработки изображения посредством HMD от системы доставки изображений,
причем система доставки изображений выполнена с возможностью передачи стереоскопического изображения на HMD-устройство для подачи информации изображения пользователю, причем система (10) доставки изображений содержит:
одно или более средств ввода, чтобы принимать данные датчиков от датчиков;
одно или более средств ввода (100) изображения, выполненных с возможностью принимать предварительно обработанные данные изображения для непосредственного отображения поля обзора на одном или более дисплеях без обработки изображения посредством системы доставки изображений, и причем система доставки принимает, при использовании, предварительно обработанные данные изображения поля обзора и дополнительно принимает, при использовании, дополнительные предварительно обработанные данные изображения для изображений за пределами поля обзора. еще не отображенных на дисплее; и
одно или более средств вывода изображения, чтобы доставлять данные изображения для непосредственного отображения на одном или более дисплеях поля обзора без обработки изображения посредством HMD-системы.
2. Устройство по п.1, дополнительно содержащее обрабатывающий графику и вычислительный ресурс (21), удаленный от системы доставки изображений и устройства HMD и соединенный с системой доставки изображений и устройством HMD посредством шины (20) связи, причем обрабатывающий графику и вычислительный ресурс имеет функциональность для проведения большей части обработки изображения и визуализации изображений по шине (20) связи в систему (10) доставки изображений.
3. Устройство по п.1 или 2, в котором
HMD-устройство и система доставки изображений беспроводным образом соединяются друг с другом по одной и той же сети или способом связи малого радиуса действия, например Bluetooth; или
HMD-устройство и система доставки изображений соединяются друг с другом с помощью проводного соединения.
4. Устройство по любому предыдущему пункту, в котором система доставки изображений содержит буфер для приема предварительно обработанных данных изображения для непосредственного отображения поля обзора на одном или более дисплеях без обработки изображения посредством системы доставки изображений.
5. Устройство по любому предыдущему пункту, в котором дополнительные предварительно обработанные данные изображения относятся к одному или более изображениям, лежащим за пределами поля обзора в одном или более предварительно определенных направлениях относительно поля обзора.
6. Устройство по одному из предыдущих пунктов, в котором данные датчиков, принятые от датчиков, выводятся из одного или более средств вывода системы доставки изображений, чтобы предоставлять данные датчиков для обработки ресурсу обработки, чтобы определять одно или более направлений, в которых поле обзора может перемещаться.
7. Устройство по любому предыдущему пункту, в котором система доставки изображений имеет ресурс обработки и данные датчиков, принятые от датчиков, обрабатываются посредством системы доставки изображений, чтобы определять одно или более направлений, в которых поле обзора может перемещаться.
8. Устройство по любому предыдущему пункту, в котором система доставки изображений хранит данные изображения поля обзора и дополнительно хранит данные изображения одной или более областей изображения, лежащих за пределами поля обзора.
9. Устройство по любому предыдущему пункту, в котором:
система доставки изображений имеет селектор, чтобы доставлять предварительно сохраненные данные изображения в HMD, причем выбор основывается на прогнозируемом направлении, в котором поле обзора может перемещаться; и/или
система доставки изображений принимает данные HMD-датчика и определяет направление поля обзора и доставляет изображение области изображения, лежащей за пределами поля обзора в определенном направлении.
10. Устройство по любому предыдущему пункту, в котором данные датчиков не все отправляются удаленно с тем, чтобы информировать, какие предварительно обработанные данные изображения доставлять.
11. Устройство по любому предыдущему пункту, в котором массив удаленных датчиков может отслеживать позицию HMD на пользователе в «безопасной зоне», созданной пользователем и видимой пользователю в виртуальном окружении.
12. Устройство по п.2 или любому пункту, зависящему от него, причем обрабатывающий графику и вычислительный ресурс (21) имеет мощный процессор, чтобы формировать изображения для наполнения виртуального окружения и визуализировать изображения в стереоскопическом 3D для доставки в HMD пользователя через систему доставки изображений.
13. Устройство по п. 2 или любому пункту, зависящему от него, причем обрабатывающий графику и вычислительный ресурс (21) является ответственным за большую часть или всю часть обработки изображения и визуализации изображений для передачи по шине связи с низкой задержкой в систему доставки изображений, так что система доставки изображений обеспечивает только очень легкую обработку изображений или ее отсутствие.
14. Устройство по любому предыдущему пункту, в котором система доставки изображений не имеет функциональности для проведения обработки изображений за исключением переформатирования изображения для совместимости с настройками экрана на HMD.
15. Устройство по любому предыдущему пункту, в котором HMD-датчики включают в себя датчик отслеживания глаз.
16. Устройство по любому предыдущему пункту, в котором один или более HMD-датчиков устанавливается/устанавливаются на или в HMD.
17. Устройство по п. 2 или по любому пункту, зависящему от него, причем обрабатывающий графику и вычислительный ресурс является компьютерной фермой, CUDA, GPU.
