Способ и устройство для обеспечения осязательной обратной связи и интерактивности на основе осязательного пространства (hapspace) пользователя

Изобретение относится к области вычислительной техники. Технический результат заключается в обеспечении осязательной обратной связи и интерактивности на основе осязательного пространства пользователя. Способ содержит этапы, на которых: кодируют в упомянутый битовый поток первый дескриптор, представляющий размещение начала координат пространства; кодируют в упомянутый битовый поток второй дескриптор, представляющий размещение виртуального объекта, имеющего связанные с ним осязательные свойства, относительно упомянутого пространства; кодируют в упомянутый битовый поток третий дескриптор, представляющий размещение осязательного устройства относительно упомянутого пространства; и передают упомянутый битовый поток. 6 н. и 6 з.п. ф-лы, 12 ил., 10 табл.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[1] Это изобретение относится к способу и устройству для обеспечения осязательной обратной связи и интерактивности, и более конкретно, к способу и устройству для обеспечения осязательной обратной связи и интерактивности на основе осязательного пространства пользователя.

УРОВЕНЬ ТЕХНИКИ

[2] Разработки новых технологий обеспечивают возможность создания мультимедийных систем со все большим эффектом присутствия. 3D изображения и пространственное представление звука теперь присутствуют в жилом пространстве пользователя. Эти системы обычно относятся к стимуляции двух чувств, а именно, зрения и слуха. В дополнение, исследования в виртуальной реальности показали, что осязательное ощущение должно быть тесно связано с чувством эффекта присутствия, что приводит к заданию новой научной области, HAV-(осязательно-аудиовизуальной) области, которая рассматривает как контент осязательного восприятия, так и аудиовизуальный (A/V) контент.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[3] Согласно аспекту настоящих принципов, представлен способ передачи осязательных эффектов, содержащий: задание пространства, которое включает в себя по меньшей мере один осязательный объект, который доступен пользователю; определение осязательных свойств, ассоциированных по меньшей мере с одним осязательным объектом; кодирование осязательных свойств, ассоциированных по меньшей мере с одним осязательным объектом, в битовый поток; и передачу битового потока через интерфейс связи. Настоящие варианты осуществления также предусматривают устройство для выполнения этих этапов.

[4] Согласно другому аспекту настоящих принципов, представлен способ обеспечения осязательной обратной связи, содержащий: задание пространства, которое включает в себя по меньшей мере один осязательный объект, который доступен пользователю; декодирование осязательных свойств, ассоциированных по меньшей мере с одним осязательным объектом, из битового потока; и обеспечение осязательной обратной связи пользователю в ответ на декодированные осязательные свойства, ассоциированные по меньшей мере с одним осязательным объектом. Настоящие варианты осуществления также предусматривают устройство для выполнения этих этапов.

[5] Согласно еще одному аспекту настоящих принципов, сигнал приводится к формату, чтобы включать в себя: пространство, которое включает в себя по меньшей мере один осязательный объект, который доступен пользователю; положение в пространстве, где пользователь принимает осязательный эффект, причем положение определяется тремя декартовыми координатами; и осязательные свойства, ассоциированные по меньшей мере с одним осязательным объектом.

[6] Настоящие варианты осуществления также предусматривают компьютерно-читаемый носитель информации, хранящий в себе инструкции для передачи или предоставления осязательных эффектов согласно способам, описанным выше.

[7] Настоящие варианты осуществления также предусматривают компьютерно-читаемый носитель информации, хранящий в себе битовый поток, сгенерированный согласно способам, описанным выше.

[8] Согласно аспекту настоящих принципов, способ передачи битового потока, содержащего данные, представляющие осязательный эффект, причем способ содержит: кодирование, в вышеуказанный битовый поток, первого дескриптора, представляющего размещение начала координат пространства; кодирование, в вышеуказанный битовый поток, второго дескриптора представляющего размещение виртуального объекта, имеющего ассоциированные осязательные свойства, относительно вышеуказанного пространства; передачу вышеуказанного битового потока.

[9] Согласно варианту осуществления, способ дополнительно содержит кодирование, в вышеуказанный битовый поток, третьего дескриптора, представляющего размещение осязательного устройства относительно вышеуказанного пространства.

[10] Согласно аспекту настоящих принципов, способ декодирования информации, представляющий осязательный эффект, причем способ содержит: прием битового потока; декодирование из вышеуказанного битового потока первого дескриптора, представляющего размещение начала координат пространства; декодирование из вышеуказанного битового потока второго дескриптора, представляющего размещение виртуального объекта, имеющего ассоциированные осязательные свойства, относительно вышеуказанного пространства.

[11] Согласно варианту осуществления, способ дополнительно содержит декодирование из вышеуказанного битового потока, третьего дескриптора, представляющего размещение осязательного устройства относительно вышеуказанного пространства.

[12] Согласно аспекту настоящих принципов, предложено устройство, выполненное с возможностью передачи битового потока, содержащего данные, представляющие осязательный эффект, причем устройство содержит: кодер, сконфигурированный с возможностью кодирования, в вышеуказанный битовый поток, первого дескриптора, представляющего размещение начала координат пространства, и кодирования, в вышеуказанный битовый поток, второго дескриптора, представляющего размещение виртуального объекта, имеющего ассоциированные осязательные свойства, относительно вышеуказанного пространства; и передатчик, передающий вышеуказанный битовый поток.

[13] Согласно аспекту настоящих принципов, предложено устройство, выполненное с возможностью передачи битового потока, содержащего данные, представляющие осязательный эффект, причем устройство содержит: средство для кодирования, в вышеуказанный битовый поток, первого дескриптора, представляющего размещение начала координат пространства; средство для кодирования, в вышеуказанный битовый поток, второго дескриптора, представляющего размещение виртуального объекта, имеющего ассоциированные осязательные свойства, относительно вышеуказанного пространства; и средство для передачи вышеуказанного битового потока.

[14] Согласно аспекту настоящих принципов, предложено устройство, выполненное с возможностью декодирования информации, представляющей осязательный эффект, причем устройство содержит: приемник, принимающий битовый поток; декодер, выполненный с возможностью декодирования, из вышеуказанного битового потока, первого дескриптора, представляющего размещение начала координат пространства, и декодирования, из вышеуказанного битового потока, второго дескриптора, представляющего размещение виртуального объекта, имеющего ассоциированные осязательные свойства, относительно вышеуказанного пространства.

[15] Согласно аспекту настоящих принципов, предложено устройство, выполненное с возможностью декодирования информации, представляющей осязательный эффект, причем устройство содержит: средство для приема битового потока; средство для декодирования, из вышеуказанного битового потока, первого дескриптора, представляющего размещение начала координат пространства; и средство для декодирования, из вышеуказанного битового потока, второго дескриптора, представляющего размещение виртуального объекта, имеющего ассоциированные осязательные свойства, относительно вышеуказанного пространства.

[16] Согласно аспекту настоящих принципов, предложен сигнал, несущий по меньшей мере пакет, содержащий данные, представляющие осязательный эффект, при этом сигнал дополнительно несет первый дескриптор, представляющий размещение начала координат пространства, и второй дескриптор, представляющий размещение виртуального объекта, имеющего ассоциированные осязательные свойства, относительно вышеуказанного пространства.

[17] Согласно аспекту настоящих принципов, предложен долговременный процессорно-читаемый носитель, имеющий хранящиеся в нем инструкции для предписания процессору выполнить по меньшей мере этапы способа передачи.

[18] Согласно аспекту настоящих принципов, предложен долговременный процессорно-читаемый носитель, имеющий хранящиеся в нем инструкции для предписания процессору выполнить по меньшей мере этапы способа декодирования.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[19] Фиг. 1 иллюстрирует рабочий процесс примерной HAV-системы.

[20] Фиг. 2 иллюстрирует модель размещения.

[21] Фиг. 3 иллюстрирует примерный HapSpace, в соответствии с вариантом осуществления настоящих принципов.

[22] Фиг. 4 иллюстрирует положения частей тела.

[23] Фиг. 5 иллюстрирует примерное инструментальное средство разработки (H-STUDIO).

[24] Фиг. 6 иллюстрирует примерный способ произведения осязательных эффектов вместе с аудиовизуальным контентом, в соответствии с вариантом осуществления настоящих принципов.

[25] Фиг. 7 иллюстрирует примерный способ описания осязательных эффектов внутри HapSpace, в соответствии с вариантом осуществления настоящих принципов.

[26] Фиг. 8 иллюстрирует примерный способ воспроизведения осязательных эффектов вместе с аудиовизуальным контентом, в соответствии с вариантом осуществления настоящих принципов.

[27] Фиг. 9 иллюстрирует примерный способ интерпретации осязательных эффектов внутри HapSpace, в соответствии с вариантом осуществления настоящих принципов.

[28] Фиг. 10 иллюстрирует блок-схему примерной системы, в которой могут быть реализованы различные аспекты примерных вариантов осуществления настоящих принципов.

[29] Фиг. 11 иллюстрирует блок-схему, изображающую пример системы обработки видео, которая может быть использована с одной или более реализациями.

[30] Фиг. 12 иллюстрирует блок-схему, изображающую другой пример системы обработки видео, которая может быть использована с одной или более реализациями.

ПОДРОБНОЕ ОПИСАНИЕ

[31] Фиг. 1 иллюстрирует рабочий процесс примерной HAV-системы 100, которая обеспечивает как осязательные эффекты, так и аудиовизуальные эффекты, которая включает в себя три основные части: производство (110), воспроизведение (130) и распространение (120).

[32] Производство/создание осязательных данных (110)

[33] Производство контента, т.е., создание и генерирование осязательных эффектов синхронно с аудиовизуальным контентом может быть совершено с использованием разных способов. Например, как показано на Фиг.1, произведение осязательного эффекта может быть выполнено посредством:

- захвата и обработки (111) данных, полученных от датчиков (например, блоков инерциального движения, GPS),

- автоматического извлечения (112) из одного или более компонентов аудиовизуальных медиаданных (114, например, из изображения, аудио или аннотаций), и/или

- ручной разработки (113) осязательных эффектов, например, с использованием графического пользовательского интерфейса (GUI).

Выбор способа производства зависит как от приложения, так и от творческого намерения. Следует отметить, что когда осязательные эффекты (115) генерируются с использованием данных, полученных от датчиков (111), или с использованием автоматического извлечения из аудиовизуальных медиаданных (113), производство в основном происходит посредством инструментального средства (113) разработки, чтобы синтезировать осязательные эффекты.

[34] Есть разные типы способностей осязательного восприятия, например, но не ограничены этим, тактильные, кинестетические и проприоцепционные и осязательные эффекты, которые должны быть созданы, могут быть разбиты на: температуру, вибрацию, давление, перемещение, силу и движение тела, как приведено в качестве примера в Таблице 1. В настоящей заявке, термины "осязательный эффект" и "осязательная обратная связь" используются взаимозаменяемо.

Таблица 1

Осязательное ощущение	Осязательный эффект
Тактильный	Температура
	Вибрация
Давление
Кинестетический	Перемещение
Сила
Проприоцепционный	Движение тела

[35] Воспроизведение осязательной обратной связи (130)

[36] Большинство существующих работ в обеспечении осязательной обратной связи вместе с аудиовизуальным контентом полагаются на использование вибротактильных устройств, которые могут быть самостоятельными устройствами или могут быть интегрированы в кресло или устройство силовой обратной связи. Большинство вибротактильных сидений преобразовывают низкочастотный звук в вибрации. Подобно сабвуферам, этот тип сидений подключается по низкочастотному аудиоканалу, но доставляет вибрации вместо фактического звука. Этот тип сидений может вибрировать полностью или иметь несколько встроенных вибромоторов. В недавно разработанном вибротактильном кресле, массив из 12 вибротактильных исполнительных механизмов встроен в задней части кресла, и пользовательское ощущение управляется через тактильные иллюзии, которые заставляют пользователя чувствовать сплошное стимулирующее воздействие, хотя исполнительные механизмы находятся в дискретных размещениях. В общем, осязательные эффекты, обеспечиваемые вибротактильными устройствами, являются относительно простыми, которые обычно обеспечивают шаблоны искусственных вибраций или абстрактную силовую обратную связь.

[37] Воспроизведение движения обычно более сложно, чем воспроизведение вибрации, которая рассмотрена выше. Симуляторы движения являются хорошо известными устройствами, спроектированными, чтобы заставить пользователя чувствовать движение. Они активно используются в симуляторах вождения или полета в целях обучения или в парках развлечений. Большинство из них основаны на платформе Стюарта, которая является платформой с шестью степенями свободы (DOF), использующей шесть гидравлических цилиндров. Симулятор движения в основном является сиденьем, прикрепленным к такой платформе. На платформе может быть установлено более, чем одно сиденье, например, в "кинотеатрах 4D" 4 (или более) сидений двигаются вместе. Аналогичная система, спроектированная для потребителей, разработана компанией D-Box. Сиденье помещается на 4 исполнительных механизмах, которые обеспечивают возможность 3DOF: наклон, скольжение и подъем, что обеспечивает ограниченную амплитуду перемещения. Чтобы обеспечить большие амплитуды, симулятор может быть закреплен на направляющих или вращающейся поверхности. Например, симулятор движения 401CR является 3DOF-симулятором (скольжение, наклон, подъем), закрепленным на вращающейся платформе, и его вращательное перемещение (рысканье) потенциально не ограничено.

[38] Промежуточным устройством, которое воспроизводит осязательные эффекты между простыми вибрациями и сложным движением, является G-seat, которое спроектировано для предоставления пользователю кинестетических стимулов в отношении ощущения движения. Например, перемещение вверх симулируется посредством давления на спину пользователя. Стимуляция кинестетической системы генерируется двумя мозаиками из воздушных ячеек для обеспечения давления в области бедра, двумя двустворчатыми воздушными ячейками для обеспечения давления на стороне ног пользователя и поясным ремнем для обеспечения вариации давления в брюшной области.

[39] Также были недавно предложены осязательные устройства, предназначенные для просмотра видео, которые могут обеспечить широкий диапазон осязательных эффектов. В одном подходе, набор устройств с силовой обратной связью, таких как мобильные подлокотники или подголовники, размещен вокруг сиденья, так чтобы они могли прикладывать силу к телу пользователя, чтобы генерировать ощущение движения, испытывая пассивную навигацию. В настоящей заявке, осязательное устройство относится к любому устройству, которое может обеспечить осязательную обратную связь, например, которая задана в Таблице 1.

[40] Как показано на Фиг. 1, на стороне воспроизведения, аудиовизуальная информация может быть реконструирована устройством (131) воспроизведения аудиовизуальных данных. Вывод затем отправляется на экран дисплея или один или более динамиков (134) для проигрывания.

[41] В дополнение, осязательные эффекты могут также быть воспроизведены устройством 133 воспроизведения осязательных эффектов. Вывод затем отправляется осязательному устройству 135 для обеспечения осязательных эффектов. Если осязательные эффекты извлекаются из аудиовизуальных медиаданных, модуль (132) автоматического извлечения используется для обработки вывода устройства воспроизведения аудиовизуальных данных (131) для предоставления ввода в устройство (133) воспроизведения осязательных эффектов. Таким образом, пользователь может иметь больший эффект присутствия посредством доступа к аудиовизуальным эффектам и осязательным эффектам.

[42] Представление и распространение (120) формата

[43] Как аудиовизуальные медиаданные, так и осязательные эффекты могут быть кодированы (121), сохранены в файле-контейнере (123) или переданы по сети (122). Аудиовизуальные медиаданные и осязательные эффекты могут быть затем декодированы (124) для воспроизведения. Аудиовизуальные медиаданные и осязательные эффекты декодируются до воспроизведения. Транспортные протоколы или стандарты сжатия аудио/видео, предоставляемые MPEG, могут быть использованы в рабочем процессе, который показан на Фиг. 1.

[44] Формат медиаданных задает структуру, включающую в себя тип данных и сведения внутреннего представления, для типа медиаданных. Хотя форматы медиаданных для аудиовизуального контента хорошо установлены, требуется небольшое усилие при решении вопроса с форматом осязательных медиаданных. Большинство существующих подходов при задании форматов осязательных медиаданных полагаются на основные форматы, такие как XML (расширяемый язык разметки, универсальный язык описания), или простой формат CSV- (значения, разделенные запятой). Например, язык описания сенсорного эффекта (SEDL) основан на XML, формат MPEG-4 BIFS (двоичный формат для сцен) основан на VRML/X3D (языке моделирования виртуальной реальности, используемом для представления 3D миров), и самый последний стандарт MPEG-V основан на XML, который специально спроектирован для предоставления мультисенсорного контента, ассоциированного с аудио/видеоданными, для управления мультимедийными презентациями и приложением посредством использования усовершенствованных устройств взаимодействия.

[45] Существующие форматы осязательных данных страдают от некоторых ограничений или потери информации, например, неясно, как определить эффект перед пользователем, который он может потрогать, или как описать эффект приближающийся к нему, летящий перед ним или контактирующий с частью его тела. Как будет описано ниже, добавим понятие скелета пользователя и пользовательского пространства, в которое могут быть включены объекты. Зная эти объекты и их положение в пространстве, положения частей тела пользователя, возможно узнать, когда объект контактирует или прикладывает давление к пользователю, или описывает смещение объекта в пользовательском пространстве.

[46] Стандарт MPEG-V описывает свойства датчиков и устройств, также как и объектов, осязательных устройств и эффектов. Например, как показано в Таблице 2, MPEG-V использует XML для определения размещения, где ожидается прием эффекта вибрации с перспективы пользователя, согласно модели размещения, которая проиллюстрирована на Фиг. 2. В частности, этот пример показывает описание тактильного эффекта с использованием тактильного аудиоресурса. Тактильный эффект активируется при si:pts=″5″, и предпочтительным тактильным эффектом является вибрация. Размещение определяется так, чтобы быть вблизи области сердца человека, спереди груди. Эффект вибрации создается на основе тактильного ресурса, которым является аудиофайл в формате MP3 (т.е., heartbeat1.mp3), хранящийся в том же родительском размещении (URL), что и сам SEDL-скрипт. Продолжительность и скорость тактильного эффекта полностью получаются из продолжительности и скорости по умолчанию для аудиофайла.

[47] В нижеследующем, используются нотации из MPEG-V, и предоставляются варианты осуществления, которые дополняют стандарт MPEG-V. Следует отметить, что настоящие принципы могут также быть применены к другим стандартам, которые относятся к теме, такой как, но не ограниченной этим, виртуальная реальность, эффекты присутствия, и осязательные эффекты и обработка.

Таблица 2

[48] Описание размещения согласно MPEG-V не обеспечивает возможность прецизионного размещения объектов и пользователя. В MPEG-V нет синтаксиса, чтобы определить пользователя в поле размещения MPEG-V. В дополнение в стандарте MPEG-V нет понятия перемещений пользователя и частей тела.

[49] Настоящие принципы направлены на способ и устройство для обеспечения осязательной обратной связи и интерактивности посредством введения понятия "пространство пользовательского окружения осязательной обратной связи и интерактивности" (также называемого осязательным пространством пользователя или HapSpace). В одном варианте осуществления, осязательное пространство пользователя определяется посредством заданного бокса пользователя, включающего в себя пространство, которое доступно пользователю, например, как бокс, охватывающий то, к чему пользователь имеет возможность доступа, или любое пространство, которое находится в пределах физической достижимости пользователя. Заданное пространство включает в себя пользователя и может также включать в себя разные осязательные устройства и осязательные объекты. Осязательный объект, это виртуальный объект с ассоциированными осязательными свойствами. В одном примере, когда пользователь касается осязательного объекта, пользователь получает больше вибраций и таким образом ощущение касания поверхности объекта. В другом примере, когда пользователь вступает в контакт с виртуальным музыкальным инструментом, осязательное устройство может также производить звук в реальном времени и таким образом обеспечивает интерактивность.

[50] Фиг. 3 иллюстрирует примерное HapSpace согласно настоящим принципам, при этом HapSpace включает в себя устройства воспроизведения осязательных эффектов, осязательные объекты и пользователя, играющего в фехтовальную игру. Пользователь может принять осязательную обратную связь от нескольких осязательных устройств, включающих в себя подвижный коврик (310), вибрирующий жилет (320) и вентилятор (340). Пользователь может также осуществлять доступ к нескольким осязательным объектам, включающим в себя датчик (330) и пиктограмму (350). Более конкретно, подвижный коврик (310) может обеспечивать эффект хождения, когда пользователь перемещается, вибрирующий жилет (320) может обеспечить эффект ощущений касания, когда с пользователем контактирует другой игрок, датчик (330) касания может предоставить свет, когда пользователь нажимает его, вентилятор (340) может обеспечить эффект ветра, симулирующий игру на открытом воздухе, и пиктограмма (350) может создавать вибрации, когда ее касаются. Вентилятор может также помещаться вне HapSpace, пока эффект ветра может достигать пользователя. Когда осязательное устройство находится вне HapSpace, можно использовать кодовое слово "наружное HapSpace" для управления присутствием осязательного эффекта от осязательного устройства.

[51] В более общем смысле, HapSpace может быть задано для предоставления механизма, чтобы прецизионно определять объекты, пользователя и эффекты. В одном варианте осуществления, HapSpace может быть представлено кубом с размерностями, нормализованными до 1 (размер бокса нормализуется между [0-1] по каждой оси (X, Y, Z)), и соответствующими кубу, включающему в себя сферу, очерченную рукой пользователя вокруг него на максимальном расстоянии, причем пользователь неподвижен. В общем, HapSpace может также быть любым 3-D пространством любой формы, которая включает в себя все, до чего пользователь может дотянуться какой-либо частью его тела. Началом координат HapSpace может быть таз пользователя, другая часть пользователя, размещение вокруг пользователя, например, один фут непосредственно до пользователя, или любое другое размещение относительно пользователя. Посредством задания HapSpace для пользователя, пользователь может также только передавать осязательные свойства осязательных объектов/устройств внутри пространства. Так как HapSpace задано относительно пользователя, если пользователь перемещается, бокс перемещается вместе с ним. Когда есть несколько пользователей, каждый пользователь может задать индивидуальное HapSpace.

[52] Осязательное устройство или осязательный объект может также быть расположен в этом пространстве, например, в центре тяжести или геометрическом центре, размещенном в координатах (x, y, z), относительно начала координат пространства. Обычно в некоторых приложениях, таких как игры, грубое описание не достаточно для обеспечения интерактивности. В одном варианте осуществления, для обеспечения возможности интерактивности, предлагается сообщение, которое показано в Таблице 3, чтобы предоставить точное положение для пользователя или любого осязательного устройства и осязательного объекта в HapSpace посредством использования трех декартовых координат. В нижеследующих примерах, предоставляются новые дескрипторы, использующие нотации MPEG-V. Эти новые дескрипторы могут дополнять MPEG-V, чтобы более точно описывать осязательное пространство.

Таблица 3

[53] В Таблице 3, представлены два новых дескриптора: RelativePositionType и Float3DPositionType. Дескриптор RelativePositionType определяет положение в нормализованном HapSpace. Дескриптор Float3DPositionType определяет параметры дескриптора RelativePositionType и может быть полезным при определении положения в X, Y, Z в представлении с плавающей запятой (между 0 и 1).

[54] Тогда поле размещения MPEG-V (например, которое показано в Таблице 2, строке 8) может быть заменено полем location="RelativePositionType", таким как location=":0.01:0.983:0.134" в качестве примера, при этом три значения представляют координату в пространстве HapSpace, т.е., X=0,01, Y=0,983, Z=0,134.

[55] Предложенное HapSpace, может также связать осязательное устройство или осязательный объект с пользователем. В одном варианте осуществления, предлагается сообщение, которое показано в Таблице 4, для обеспечения связи между пользователем и осязательным устройством/объектом.

Таблица 4

[56] В Таблице 4, представлен еще один новый дескриптор: BodyLinkType. Дескриптор BodyLinkType определяет, где осязательное устройство/объект находится на теле пользователя, с помощью параметра BodyPart. Например, часы могут быть связаны с левым запястьем пользователя, и можно описать это с использованием location="LeftWrist".

[57] Физические свойства пользователя, например, но не ограниченные этим, "размах рук", рост и вес, могут быть описаны с использованием, например, описания сенсорных предпочтениях пользователя из MPEG-V (часть 2). Чтобы определить положение каждой части тела, можно использовать модель тела, которая проиллюстрирована на Фиг. 4, которая описана в патентной заявке, одновременно находящейся на рассмотрении, озаглавленной "Method and device for controlling a haptic device" посредством F. Danieau, J. Fleureau, P. Guillotel и D. Doyen (EP14305823.8, Attorney Docket № PF140144), сведения из которой специально включены здесь посредством ссылки. В настоящей заявке, дополнительно представлены новые дескрипторы для описания положения частей тела, которые показаны в Таблице 5.

Таблица 5

[58] Дескриптор BodyDescriptionType описывает положения разных частей тела пользователя в заданном пользовательском пространстве. Каждый раз, когда пользователь перемещается, должно быть отправлено новое размещение, например, только размещение двигающейся части.

[59] В соответствии с вышеуказанной моделью тела, осязательные свойства (т.е., параметры осязательного эффекта) могут быть заданы посредством сообщения MPEG-V, такого как нижеследующее сообщение (Таблица 6), описывающее кинестетический эффект.

Таблица 6

[60] Аналогично, можно задать свойство других осязательных эффектов. Например, может быть задан дескриптор VibrationSpecificationType для описания вибрации, которая может включать в себя два атрибута: амплитуду и частоту сигнала.

[61] Предполагая, что мы знаем "размах рук", рост и другие физические параметры пользователя, размер HapSpace может быть вычислен устройством воспроизведения, например, с размахом рук, имеющим значение 1. Также, чтобы создать заданное осязательное свойство, устройство воспроизведения должно отслеживать перемещения пользователя (с использованием соответствующих датчиков, таких как Kinect, например).

[62] Карта глубины (относительно заданного пространства) должна быть предоставлена в качестве расширения для обеспечения более точной карты, где расположены объекты. Карта глубины может быть ассоциирована с каждым осязательным устройством/объектом или пользователем для описания положения в пространстве.

Таблица 7

[63] В Таблице 7, размер (x, y) карты глубины определяется параметрами Depth-x и Depth-y, при этом карта глубины относится к HapSpace, и предполагается, что глубина, ассоциированная с осязательным устройством/объектом, является глубиной в ближайшем пространственном положении для карты глубины. Карта глубины предоставляет альтернативный вариант при определении положений.

[64] В нижеследующем, предполагается, что есть один пользователь с вибрирующим мячом перед ним, и HapSpace задано как куб вокруг него. Эта сцена описывается в Таблице 8 с использованием спецификации MPEG-V. Следует отметить, что это высокоуровневая иллюстрация идеи. Для точного синтаксиса читатель должен обратиться к спецификации MPEG-V. В частности, этот пример определяет, что в location=":0.01:0.283:0.134" пользователя, вибрирующий мяч генерирует вибрацию в location=":0.51:0.983:0.8." Частота и амплитуда вибрации варьируется во времени, как определено посредством (xn,an).

Таблица 8

[65] В Таблице 9, проиллюстрирован другой пример, где мяч связан с частью тела (правой рукой), и мяч будет генерировать вибрацию у правой руки с частотой и амплитудой, определенной посредством (xn,an).

Таблица 9

[66] в Таблице 10, проиллюстрирован пример использования карты глубины для предоставления положения на оси Z. Для примера, показанного в Таблице 9, location =":0.01:0.283:0.134" пользователя теперь представляется как location=":0.01:0.283:depth1(201, 301)".

Таблица 10

[67] Следует отметить, что описания в Таблицах 8-10 служат только в целях примера, и точные реализации могут быть разными. Для удобства нотаций, обозначим описания осязательных свойств, которые показаны Таблицах 8-10, как описания, относящиеся к осязанию, или описания осязательных эффектов. В общем, описаниями, относящимися к осязанию, могут быть, например, но не ограничены этим, синтаксическая структура, псевдокод или программный код, описывающий осязательные свойства.

[68] Создание описаний, относящихся к осязанию, может быть сделано творческим работником. Создание осязательного эффекта может быть выполнено с использованием программного обеспечения для редактирования осязательных эффектов с помощью необходимого интерфейса. Примерное инструментальное средство разработки, H-STUDIO, проиллюстрировано на Фиг. 5, при этом редактируется эффект движения. В частности на Фиг. 5, направление движения (представленное стрелкой) и ориентация (представленная автомобилем) заданы в момент времени t. Инструментальное средство разработки также обеспечивает творческому работнику возможность генерирования последовательности осязательных свойств (т.е., дорожки осязательных эффектов) синхронно с аудиовизуальным контентом. В качестве альтернативы блок движения может быть использован для захвата движения персонажей и вставки информации движения в описание, относящееся к осязанию.

[69] Описание, относящееся к осязанию может быть передано приемнику после инкапсуляции, например, в mp4-файле или TS-потоке. Приемник включает в себя механизм адаптации, который декодирует описание, относящееся к осязанию, и интерпретирует синтаксис так, чтобы воспроизвести заданные эффекты с использованием разных устройств осязательной обратной связи. Предполагается, что есть линия связи, которая отправляет соответствующий сигнал осязательному устройству, чтобы он действовал как задано в описании. Описания, относящиеся к осязанию, содержащиеся в сигнале могут быть адаптированы на основе возможности принимающего осязательного устройства. В одном варианте осуществления, приемник знает "возможности" каждого осязательного устройства/объекта сцены (диапазона), и каждое устройство воспроизведения включает в себя механизм адаптации для преобразования переданного значения, чтобы оно было в рамках его собственных возможностей. Например, если максимальная частота составляет 100 Гц, и приемник принимает команду для воспроизведения вибрации 200 Гц, механизм адаптации может решить обрезать частоту до 100 Гц.

[70] Для примера, показанного в Таблице 8, выделенный сигнал вибрации может быть передан для мяча перед пользователем. Если игрок имеет доступ к осязательному устройству с полноценной возможностью воспроизведения, мяч показывается пользователю, и вибрация прикладывается, где пользователь касается мяча. Для другого игрока, который имеет доступ к осязательному устройству с более ограниченной возможностью воспроизведения, например, для пользователя, который имеет простое устройство смартфона, мяч не показывается пользователю и вибрация мяча заменяется вибрацией смартфона. Для адаптации устройств с различными возможностями могут быть заданы более сложные сценарии.

[71] Настоящие варианты осуществления могут быть использованы для воспроизведения осязательных эффектов для пользователя, учитывая любой вид устройства воспроизведения, например, сиденье, датчик, вентилятор, пьезоэлемент и динамик. Эти осязательные эффекты связаны с аудиовизуальным контентом (кинофильмом), но также с виртуальными объектами, с которыми пользователь может взаимодействовать, например, посредством пользовательских интерфейсов.

[72] Фиг. 6 иллюстрирует примерный способ 600 для произведения осязательных эффектов вместе с аудиовизуальным контентом согласно настоящим принципам. Способ 600 начинается на этапе 605. На этапе 610, в качестве ввода осуществляется доступ к аудиовизуальному контенту и осязательным эффектам с HapSpace пользователя. Осязательные эффекты могут быть захвачены с использованием датчиков, извлечены из аудиовизуального контента или созданы творческим работником. На этапе 620, осязательные эффекты могут быть затем описаны с использованием описаний, относящихся к осязанию, которые рассмотрены выше. Описания осязательных эффектов затем кодируются, также как и аудиовизуальный контент, на этапе 630. Описания осязательных эффектов могут быть кодированы с использованием, например, но не ограничены этим, алгоритма zip, двоичного формата MPEG BIFS. Размер HapSpace может также быть указан в битовом потоке. Результаты кодирования, т.е. кодированный битовый поток, затем сохраняются или передаются на этапе 640. Способ 600 заканчивается на этапе 699.

[73] Фиг. 7 иллюстрирует примерный способ 700 для описания осязательных эффектов в пределах HapSpace согласно настоящим принципам. Способ 700 может быть использован для выполнения этапа 620 способе 600. На этапе 710, HapSpace задается на основе пользователя, например, как куб, включающий в себя то, до чего пользователь может дотянуться. Свойства осязательных эффектов и размещения осязательных эффектов в пределах HapSpace затем задаются для пользователя, осязательных устройств и осязательных объектов. Например, на этапе 720, задается точное положение и/или карта глубины положения, например, с использованием дескрипторов, описанных в Таблице 3 и Таблице 7. На этапе 730, осязательный объект/устройство могут также быть связаны с пользователем, например, с использованием дескрипторов, которые описаны в Таблице 4. На этапе 740, положения частей тела могут быть определены, например, с использованием дескрипторов, которые описаны в Таблице 5. Осязательные свойства для осязательных эффектов могут быть заданы на этапе 750. На этапе 760, проверяется, нужны ли еще описания. Если да, управление возвращается к этапу 720. Когда перемещение пользователя вызывает перемещение начала координат HapSpace, HapSpace может быть обновлено на этапе 770.

[74] Этапы способа 700 могут быть выполнены в порядке, отличном от того, что показано на Фиг. 7. Например, этапы 720-750 могут быть выполнены в любом порядке. Также любой из этапов 720-750 может или не может быть реализован в зависимости от того, какие осязательные эффекты должны быть описаны. Этап 770 может также быть пропущен, если пользователь не двигается.

[75] Фиг. 8 иллюстрирует примерный способ 800 воспроизведения осязательных эффектов вместе с аудиовизуальным контентом согласно настоящим принципам. Способ 800 начинается на этапе 805. На этапе 810, в качестве ввода осуществляется доступ к битовому потоку, включающему в себя аудиовизуальный контент и осязательные эффекты. Например, в качестве ввода может быть использован битовый поток, сгенерированный согласно способу 600. Битовый поток может быть разбит на разные дорожки, несколько дорожек для аудио, несколько для видео, несколько для осязательных эффектов, все синхронизированные. В качестве альтернативы, кодированный битовый поток осязательных эффектов может быть передан отдельно от AV битового потока, и принят приемником, который синхронизирует битовый поток и презентацию.

[76] На этапе 820, кодируются аудиовизуальный контент и описания осязательных эффектов. Декодированные аудиовизуальный контент и осязательный эффект затем доступны для воспроизведения на этапе 830. Устройство воспроизведения должно знать, как получить размер HapSpace. Например, когда HapSpace основано на длине руки пользователя, устройство воспроизведения должно знать, насколько длинная рука, и таким образом может получить размер HapSpace. В качестве альтернативы, размер HapSpace может быть получен из битового потока, если информация передана. На этапе 840, аудиовизуальный контент может быть предоставлен для проигрывания с осязательной обратной связью. Например, аудиовизуальный контент может быть отправлен на дисплей и звуковой динамик, и осязательные эффекты могут быть обеспечены с использованием осязательных устройств. Способ 800 заканчивается на этапе 899. Интерпретированные осязательные эффекты могут быть затем использованы для воспроизведения.

[77] Фиг. 9 иллюстрирует примерный способ 900 для интерпретации осязательных эффектов в пределах HapSpace согласно настоящим принципам. Способ 900 может быть использован для выполнения этапа 830 способе 800. На этапе 910, осуществляется доступ к описаниям осязательных эффектов. Затем интерпретируются осязательные эффекты. В частности, положение может быть интерпретировано, например, с использованием дескрипторов, описанных в Таблице 3 и Таблице 7. На этапе 930, осязательный объект, связанный с пользователем может быть интерпретирован, например, с использованием дескрипторов, которые описаны в Таблице 4. На этапе 940, положения частей тела могут быть интерпретированы, например, с использованием дескрипторов, которые описаны в Таблице 5. Осязательные свойства для осязательных эффектов могут быть интерпретированы на этапе 950. На этапе 960, проверяется, нужно ли интерпретировать еще описания. Если да, управление возвращается к этапу 920. В зависимости от возможности устройства воспроизведения, осязательный эффект может также быть адаптирован на этапе 970.

[78] Этапы способа 900 могут быть выполнены в порядке, отличном от того, что показано на Фиг. 9. Например, этапы 920-950 могут быть выполнены в любом порядке. Также любой из этапов 920-950 может или не может быть реализован в зависимости от того, какие осязательные эффекты должны быть описаны. Этап 970 может также быть пропущен, если осязательные устройства имеют полноценные возможности воспроизведения.

[79] Предпочтительно, настоящие варианты осуществления обеспечивают виртуальное пространство, а именно, HapSpace пользователя, закрепленное за пользователем, и может перемещаться с пользователем. HapSpace также включает в себя осязательные объекты, к которым пользователь может осуществить доступ, и осязательные устройства, которые могут обеспечить пользователю осязательные эффекты. HapSpace задается на основе пользователя и предпочтительно задается как пространство, которого он может касаться своим телом. В HapSpace, осязательные объекты могут быть заданы с помощью их осязательных свойств. В дополнение, пользователь и разные устройства воспроизведения осязательных эффектов могут быть расположены в HapSpace.

[80] Фиг. 10 иллюстрирует блок-схему примерной системы, в которой могут быть реализованы различные аспекты примерных вариантов осуществления настоящих принципов. Система 1000 может быть осуществлена как устройство, включающее в себя различные компоненты, описанные ниже, и выполнена с возможностью выполнения процессов, описанных выше. Примеры таких устройств, включают в себя, но не ограничены этим, персональные компьютеры, переносные компьютеры, смартфоны, планшетные компьютеры, цифровые мультимедийные телеприставки, цифровые телевизионные приемники, персональные системы видеозаписи, присоединенные домашние устройства и серверы. Система 1000 может быть коммуникационно связана с другими аналогичными системами, и с дисплеем посредством канала связи, как показано на Фиг. 10, и как известно специалистам в данной области техники, чтобы реализовать примерную видеосистему, описанную выше.

[81] Система 1000 может включать в себя по меньшей мере один процессор 1010, выполненный с возможностью выполнения инструкции, загруженной в него, для реализации различных процессов, которые описаны выше. Процессор 1010 может включать в себя встроенную память, входной/выходной интерфейс и различные другие схемы, которые известны в данной области техники. Система 1000 может также включать в себя по меньшей мере одну память 1020 (например, устройство энергозависимой памяти, устройство энергонезависимой памяти). Система 1000 может дополнительно включать в себя устройство 1040 хранения, которое может включать в себя энергонезависимую память, включающую в себя, но не ограниченную этим, EEPROM, ROM, PROM, RAM, DRAM, SRAM, flash, накопитель на магнитном диске, и/или накопитель на оптическом диске. Устройство 1040 хранения может содержать внутреннее устройство хранения, прикрепляемое устройство хранение и/или устройство хранения с доступом по сети, в качестве не ограничивающих примеров. Система 1000 может также включать в себя модуль 1030 кодера/декодера, выполненный с возможностью обработки данных для предоставления кодированного HAV-контента или декодированного HAV-контента.

[82] Модуль 1030 кодера/декодера представляет модуль(и), который может быть включен в устройство для выполнения функций кодирования и/или декодирования. Как известно, устройство может включать в себя одно из модулей кодирования и декодирования или и то, и другое. Дополнительно, модуль 1030 кодера/декодера может быть реализован как отдельный элемент системы 1000 или может быть включен в процессоры 1010 как комбинация аппаратных средств и программного обеспечения, как известно специалистам в данной области техники.

[83] Программный код, который должен быть загружен в процессоры 1010 для выполнения различных процессов, описанных выше, может храниться в устройстве 1040 хранения и впоследствии загружаться в память 1020 для выполнения процессорами 1010. В соответствии с примерными вариантами осуществления настоящих принципов, одно или более из процессора(ов) 1010, памяти 1020, устройства 1040 хранения и модуля 1030 кодера/декодера может(гут) хранить один или более из различных элементов во время выполнения процессов, рассмотренных выше в этом документе, включающих в себя, но не ограниченных ими, входное видео базового уровня, входное видео расширенного уровня, уравнения, формулу, матрицы, переменные, операции и операционную логику.

[84] Система 1000 может также включать в себя интерфейс связи 1050, который обеспечивает возможность связи с другими устройствами через канал 1060 связи. Интерфейс связи 1050 может включать в себя, но не ограничен этим, приемопередатчик, выполненный с возможностью передачи и приема данных из канала 1060 связи. Интерфейс связи может включать в себя, но не ограничен этим, модем или сетевую карту, и канал связи может быть реализован внутри проводной и/или беспроводной среды. Различные компоненты системы 1000 могут быть соединены или коммуникационно соединены вместе с использованием различных подходящих соединений, включающих в себя, но не ограниченных этим, внутренние шины, провода и печатные платы.

[85] Примерные варианты осуществления согласно настоящим принципам могут быть осуществлены посредством компьютерного программного обеспечения, реализованного процессором 1010 или аппаратными средствами, или посредством комбинации аппаратных средств и программного обеспечения. В качестве не ограничивающего примера, примерные варианты осуществления согласно настоящим принципам могут быть реализованы посредством одной или более интегральных схем. Память 1020 может быть любого типа, соответствующего техническому окружению, и может быть реализована с использованием любой соответствующей технологии хранения данных, такой как устройства оптической памяти, устройства магнитной памяти, устройства полупроводниковой памяти, постоянная память и съемная память, в качестве не ограничивающих примеров. Процессор 1010 может быть любого типа, соответствующего техническому окружению, и может охватывать одно или более из микропроцессоров, компьютеров общего назначения, компьютеров специального назначения и процессоров на основе многоядерной архитектуры, в качестве не ограничивающих примеров.

[86] Обращаясь к Фиг. 11, показана система 1100 передачи данных, к которой могут быть применены признаки и принципы, описанные выше. Система 1100 передачи данных может быть, например, головной системой или системой передачи для передачи сигнала с использованием любой из разнообразных сред, таких как, спутник, кабель, телефонная линия или наземное вещание. Система 1100 передачи данных также может быть использована для предоставления сигнала для хранения. Передача может быть обеспечена через Интернет или некоторую другую сеть. Система 1100 передачи данных способна генерировать и доставлять, например, аудиовизуальный контент и осязательные эффекты.

[87] Система 1100 передачи данных принимает обработанные данные и только информацию от процессора 1101. В одной реализации, процессор 1101 генерирует захватывает осязательные эффекты, извлекает осязательные эффекты из аудиовизуального контента, или принимает осязательные эффекты, созданные творческим работником. Процессор 1101 может также предоставить метаданные в 1100.

[88] Система передачи данных или устройство 1100 включает в себя кодер 1102 и передатчик 1104, способный передавать кодированный сигнал. Кодер 1102 принимает информацию в виде данных от процессора 1101. Кодер 1102 генерирует кодированный сигнал(ы).

[89] Кодер 1102 может включать в себя подмодули, включающие в себя, например, блок сборки для приема и сборки различных порций информации в структурированный формат для хранения или передачи. Различные порции информации могут включать в себя, например, кодированное или некодированное видео, и кодированные или некодированные элементы. В некоторой реализации, кодер 1102 включает в себя процессор 1101 и вследствие этого выполняет операции процессора 1101.

[90] Передатчик 1104 принимает кодированный сигнал(ы) от кодера 1102 и передает кодированный сигнал(ы) в одном или более выходных сигналов. Передатчик 1104 может быть, например, адаптирован для передачи сигнала программы, имеющего один или более битовых потоков, представляющих кодированные изображения и/или информацию, относящуюся к ним. Обычные передатчики выполняют функции, такие как, например, одно или более из предоставления кодирования с коррекцией ошибок, перемежения данных в сигнале, внесения случайности в энергию в сигнале и модулирования сигнала на одной или более несущих с использованием модулятора 1106. Передатчик 1104 может включать в себя антенну (не показана) или взаимодействовать с ней. Кроме того, реализации передатчика 1104 могут быть ограничены модулятором 1106.

[91] Система 1100 передачи данных также коммуникационно связана с блоком 1108 хранения. В одной реализации, блок 1108 хранения соединен с кодером 1102 и хранит кодированный битовый поток из кодера 1102. В другой реализация, блок 1108 хранения соединен с передатчиком 1104 и хранит битовый поток из передатчика 1104. Битовый поток из передатчика 1104 может включать в себя, например, один или более кодированных битовых потока, которые были дополнительно обработаны передатчиком 1104. Блок 1108 хранения, в другой реализации, является одним или более из стандартного DVD, Blu-Ray диска, накопителя на жестких дисках или некоторого другого устройства хранения.

[92] Обращаясь к Фиг. 12, показана система 1200 приема данных, к которой могут быть применены признаки и принципы, описанные выше. Система 1200 приема данных может быть выполнена с возможностью приема сигналов через разнообразные среды, такие как устройство хранения, спутник, кабель, телефонная линия или наземное вещание. Сигналы могут быть приняты через Интернет или некоторую другую сеть.

[93] Системой 1200 приема данных может быть, например, сотовый телефон, компьютер, телеприставка, телевизор или другое устройство, которое принимает кодированное видео и предоставляет, например, декодированный видеосигнал для отображения (отображения пользователю, например), для обработки или для хранения. Таким образом, система 1200 приема данных может предоставить свой вывод, например, на экран телевизора, монитор компьютера, компьютер (для хранения, обработки или отображения), G-seat, вибрирующий жилет или некоторое другое устройство хранения, обработки, осязательное устройство или устройство отображения.

[94] Система 1200 приема данных способна принимать и обрабатывать информацию в виде данных. Система приема данных или устройство 1200 включает в себя приемник 1202 для приема кодированного сигнала, такого как, например, сигналы, описанные в реализациях по этой заявке. Приемник 1202 может принять, например, сигнал, предоставляющий битовый поток, или сигнал, выведенный из системы 1100 передачи данных по Фиг. 11.

[95] Приемник 1202 может быть, например, адаптирован для приема сигнала программы, имеющего множество битовых потоков, представляющих кодированный аудиовизуальный контент и осязательные эффекты. Обычные приемники выполняют функции, такие как, например, одно или более из приема модулированного и кодированного сигнала данных, демодулирования сигнала данных из одной или более несущих с использованием демодулятора 1204, удаление случайности в энергии в сигнале, осуществление обратного перемежения данных в сигнале и декодирование сигнала с коррекцией ошибок. Приемник 1202 может включать в себя антенну (не показана) или взаимодействовать с ней. Реализации приемника 1202 могут быть ограничены демодулятором 1204.

[96] Система 1200 приема данных включает в себя декодер 1206. Приемник 1202 предоставляет принятый сигнал декодеру 1206. Сигнал, предоставленный декодеру 1206 приемником 1202, может включать в себя один или более кодированных битовых потоков. Декодер 1206 выводит декодированный сигнал, такой как, например, декодированные видеосигналы, включающие в себя видеоинформацию, аудиосигнал и описания осязательных эффектов.

[97] Система 1200 приема данных также коммуникационно связана с блоком 1207 хранения. В одной реализации, блок 1207 хранения соединен с приемником 1202, и приемник 1202 осуществляет доступ к битовому потоку из блока 1207 хранения. В другой реализации, блок 1207 хранения соединен с декодером 1206, и декодер 1206 осуществляет доступ к битовому потоку из блока 1207 хранения. Битовый поток, к которому осуществлен доступ из блока 1207 хранения, включает в себя, в разных реализациях, один или более битовых потоков. Блок 1207 хранения, в другой реализации, является одним или более из стандартного DVD, Blu-Ray диска, накопителя на жестких дисках или некоторого другого устройства хранения.

[98] Выходные данные из декодера 1206 предоставляются, в одной реализации, процессору 1208. Процессор 1208, в одной реализации, является процессором, сконфигурированным для выполнения постобработки. В некоторой реализации, декодер 1206 включает в себя процессор 1208 и вследствие этого выполняет операции процессора 1208. В других реализациях, процессор 1208 является частью последующего устройства, такого как, например, телеприставка или телевизор.

Реализации, описанные в настоящем документе, могут быть реализованы, например, в способе или процессе, устройстве, реализованной программными средствами программе, потоке данных или сигнале. Даже если только рассмотрена в контексте единственной формы реализации (например, рассмотрена только как способ), рассмотренная реализация признаков может также быть реализована в других формах (например, устройстве или программе). Устройство может быть реализовано, например, в соответствующих аппаратных средствах, программном обеспечении и программно-аппаратных средствах. Способы могут быть реализованы, например, в устройстве, таком как, например, процессор, который относится к устройствам обработки в общем, включающим с себя, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, компьютеры, сотовые телефоны, портативные/персональные цифровые помощники ("PDA") и другие устройства, которые способствуют обмену информацией между конечными пользователями.

[100] Ссылка на "один вариант осуществления" или "вариант осуществления" или "одну реализацию" или "реализацию" настоящих принципов, также как и другие их вариации, означает, что конкретный признак, структура, характеристика, и так далее, описанные применительно к варианту осуществления, включены по меньшей мере в один вариант осуществления настоящих принципов. Таким образом, появление фразы "в одном варианте осуществления" или "в варианте осуществления" или "в одной реализации" или "в реализации", также как и других вариаций, появляющихся в различных местах в данном описании, не обязательно все ссылаются на один и тот же вариант осуществления.

[101] Дополнительно, эта заявка или ее формула изобретения может обращаться к "определению" различных порций информации. Определение информации может включать в себя одно или более из, например, оценивания информации, вычисления информации, предсказания информации или извлечения информации из памяти.

[102] К тому же, эта заявка или ее формула изобретения может обращаться к "осуществлению доступа" к различным порциям информации. Осуществление доступа к информации может включать в себя одно или более из, например, приема информации, извлечения информации (например, из памяти), сохранения информации, обработки информации, передачи информации, перемещения информации, копирования информации, стирания информации, вычисления информации, определения информации, предсказания информации или оценивания информации.

[103] Дополнительно, эта заявка или ее формула изобретения может обращаться к "приему" различных порций информации. Прием, как и с "осуществлением доступа", предназначен иметь широкое понятие. Прием информации может включать в себя одно или более из, например, осуществления доступа к информации или извлечения информации (например, из памяти). К тому же, "прием" обычно предусматривается, тем или иным образом, во время операций, таких как, например, сохранение информации, обработка информации, передача информации, перемещение информации, копирование информации, стирание информации, вычисление информации, определение информации, предсказание информации или оценивание информации.

[104] Как будет понятно специалисту в данной области техники, реализации могут производить разнообразные сигналы, отформатированные для переноса информации, которая может быть, например, сохранена или передана. Информация может включать в себя, например, инструкции для выполнения способа, или данные, произведенные посредством одной из описанных реализаций. Например, сигнал может быть приведен к формату для переноса битового потока по описанному варианту осуществления. Такой сигнал может быть отформатирован, например, как электромагнитная волна (например, используя радиочастотный участок спектра) или как сигнал основной полосы частот. Форматирование может включать в себя, например, кодирование потока данных и модулирование носителя с кодированным потоком данных. Информация, которую несет сигнал, может быть, например, аналоговой или цифровой информацией. Сигнал может быть передан по всевозможным проводным или беспроводным линиям связи, которые известны. Сигнал может храниться на процессорно-читаемом носителе.

1. Способ передачи битового потока, содержащего данные, представляющие осязательный эффект, причем способ содержит этапы, на которых:

кодируют в упомянутый битовый поток первый дескриптор, представляющий размещение начала координат пространства;

кодируют в упомянутый битовый поток второй дескриптор, представляющий размещение виртуального объекта, имеющего связанные с ним осязательные свойства, относительно упомянутого пространства;

кодируют в упомянутый битовый поток третий дескриптор, представляющий размещение осязательного устройства относительно упомянутого пространства; и

передают упомянутый битовый поток. 

2. Способ декодирования информации, представляющей осязательный эффект, причем способ содержит этапы, на которых:

принимают битовый поток;

декодируют из битового потока первый дескриптор, представляющий размещение начала координат пространства;

декодируют из битового потока второй дескриптор, представляющий размещение виртуального объекта, имеющего связанные с ним осязательные свойства, относительно упомянутого пространства; и

декодируют из битового потока третий дескриптор, представляющий размещение осязательного устройства относительно упомянутого пространства.

3. Способ по п. 1 или 2, в котором второй дескриптор указывает часть тела пользователя, на которой размещается упомянутый виртуальный объект.

4. Способ по п. 1 или 2, в котором третий дескриптор указывает часть тела пользователя, на которой размещается упомянутое осязательное устройство.

5. Способ по п. 1 или 2, в котором первый дескриптор соответствует первым координатам и второй дескриптор соответствует вторым координатам.

6. Способ по п. 1, дополнительно содержащий этап, на котором кодируют четвертый дескриптор, представляющий положение по меньшей мере одной части тела пользователя в определенное время.

7. Способ по п. 2, дополнительно содержащий этап, на котором декодируют четвертый дескриптор, представляющий положение по меньшей мере одной части тела пользователя в определенное время.

8. Способ по любому одному из пп. 1-7, в котором упомянутое начало координат связывается с частью тела пользователя.

9. Компьютерное устройство, выполненное с возможностью передачи битового потока, содержащего данные, представляющие осязательный эффект, причем устройство содержит:

кодер, выполненный с возможностью:

кодировать в упомянутый битовый поток первый дескриптор, представляющий размещение начала координат пространства,

кодировать в упомянутый битовый поток второй дескриптор, представляющий размещение виртуального объекта, имеющего связанные с ним осязательные свойства, относительно упомянутого пространства;

кодировать в упомянутый битовый поток третий дескриптор, представляющий размещение осязательного устройства относительно упомянутого пространства; и

передатчик, передающий упомянутый битовый поток.

10. Компьютерное устройство, выполненное с возможностью декодирования информации, представляющей осязательный эффект, причем устройство содержит:

приемник, принимающий битовый поток;

декодер, выполненный с возможностью:

декодировать из битового потока первый дескриптор, представляющий размещение начала координат пространства,

декодировать из битового потока второй дескриптор, представляющий размещение виртуального объекта, имеющего связанные с ним осязательные свойства, относительно упомянутого пространства; и

декодировать из битового потока третий дескриптор, представляющий размещение осязательного устройства относительно упомянутого пространства.

11. Энергонезависимый процессорно-читаемый носитель, в котором хранятся инструкции для предписания процессору выполнять, по меньшей мере, этапы способа по п. 1.

12. Энергонезависимый процессорно-читаемый носитель, в котором хранятся инструкции для предписания процессору выполнять, по меньшей мере, этапы способа декодирования по п. 2.