Способ и устройство для идентификации объекта при общении в виртуальной реальности, а также оборудование виртуальной реальности

Группа изобретений относится к средствам идентификации объекта при общении в виртуальной реальности (ВР). Технический результат – создание средств информационного взаимодействия между многочисленными пользователями на одной сцене ВР. Для этого предложен способ, который включает в себя следующие этапы: извлекают информацию о направлении действия для действия, выполняемого пользователем, причем информация о направлении действия отражает обозначенное направление; на основании информации о направлении действия и информации о положении сцены определяют целевой объект сцены, соответствующий обозначенному направлению, причем информация о положении сцены отражает положения соответствующих объектов сцены на сцене ВР, причем пользователь находится на сцене ВР; и речевое сообщение пользователя идентифицируют в качестве речевого сообщения пользователя целевому объекту сцены. 3 н. и 6 з.п. ф-лы, 7 ил.

 

Перекрестная ссылка на родственную заявку

В настоящей заявке испрашивается приоритет на основании заявки на патент Китая № 201610597781.6, поданной 26 июля 2016 г., содержание которой в полном объеме включено в настоящий документ путем ссылки.

Область техники

Настоящее изобретение относится, в целом, к технологии виртуальной реальности ВР (VR, Virtual Reality), и, в частности, к способам и устройствам идентификации объекта при общении в виртуальной реальности, а также к оборудованию ВР (VR).

Уровень техники

С быстрым развитием вычислительных сетей, различных отраслей наук и технологий, в последнее время виртуальная реальность постепенно превращается в популярную высокоэффективную технологию, при этом все больше пользователей могут оценить новые функциональные возможности, обеспечиваемые технологией ВР (VR). По мере увеличения количества пользователей, открывающих для себя виртуальную реальность, возникает проблема, связанная с социальным общением в виртуальной реальности. Проблема, которую необходимо решить, заключается в реализации информационного взаимодействия между многочисленными пользователями на одной и той же сцене ВР (VR).

Раскрытие изобретения

Для решения проблемы в смежной технологии, в предпочтительных вариантах осуществления настоящего изобретения предложен способ и устройство идентификации объекта при общении в виртуальной реальности, а также оборудование ВР (VR), которые позволяют идентифицировать объект общения с помощью оборудования ВР (VR).

Согласно первому аспекту в настоящем изобретении предложен способ, который включает в себя следующие этапы:

извлекают информацию о направлении действия для действия, выполняемого пользователем, причем информация о направлении действия отражает обозначенное направление;

на основании информации о направлении действия и информации о положении сцены определяют целевой объект сцены, соответствующий обозначенному направлению, причем информация о положении сцены отражает положения соответствующих объектов сцены на сцене ВР (VR), причем пользователь находится на сцене ВР (VR); и

идентифицируют речевое сообщение пользователя в качестве речевого сообщения пользователя целевому объекту сцены.

В одном из примеров, этап, на котором извлекают информацию о направлении действия для действия, выполняемого пользователем, может предусматривать: получение обозначенного направления речевого сообщения пользователя на основании угла глазного яблока пользователя во время речевого сообщения.

В одном из примеров, этап, на котором получают обозначенное направление речевого сообщения пользователя на основании угла глазного яблока пользователя во время речевого сообщения, может предусматривать следующее: когда соотношение периода времени, в течение которого угол глазного яблока пользователя зафиксирован во время речевого сообщения, к общему периоду времени речевого сообщения, достигает предварительно заданного порогового значения для соотношения, направление линии обзора, соответствующее углу глазного яблока, определяют в качестве обозначенного направления речевого сообщения пользователя.

В одном из примеров, этап, на котором извлекают информацию о направлении действия для действия, выполняемого пользователем, может предусматривать: получение обозначенного направления речевого сообщения пользователя на основании движения кисти пользователя во время речевого сообщения.

В одном из примеров, этап, на котором получают обозначенное направление речевого сообщения пользователя на основании движения кисти пользователя во время речевого сообщения, может предусматривать следующее: когда длина перемещения при движении кисти пользователя во время речевого сообщения достигает предварительного заданного порогового значения для длины, направление движения кисти определяют в качестве обозначенного направления речевого сообщения пользователя.

В одном из примеров, этап, на котором на основании информации о направлении действия и информации о положении сцены определяют целевой объект сцены, соответствующий обозначенному направлению, предусматривает следующее: когда обозначенное направление речевого сообщения находится в пределах предварительно заданного диапазона для направления, объект сцены, находящийся в пределах диапазона направления, определяют в качестве целевого объекта сцены на основании информации о положении сцены.

В одном из примеров, после этапа, на котором речевое сообщение пользователя идентифицируют в качестве речевого сообщения пользователя целевому объекту сцены, способ может дополнительно содержать этап, на котором: речевое сообщение пользователя отправляют в оборудование ВР (VR), соответствующее целевому объекту сцены.

В одном из примеров, способ может дополнительно содержать этапы, на которых: принимают информацию о речевом сообщении пользователя, причем информация о речевом сообщении пользователя включает в себя содержание речевого сообщения и идентификатор (ID) объекта говорящего, соответствующий содержанию речевого сообщения; и содержание речевого сообщения проигрывают через объект сцены, соответствующий говорящему на сцене ВР (VR), согласно идентификатору объекта.

Согласно второму аспекту в настоящем изобретении предложено устройство идентификации объекта при общении в виртуальной реальности, содержащее:

модуль идентификации направления, выполненный с возможностью извлечения информации о направлении действия для действия, выполняемого пользователем, причем информация о направлении действия отражает обозначенное направление;

модуль определения объекта, выполненный с возможностью определения, на основании информации о направлении действия и информации о положении сцены, целевого объекта сцены, соответствующего обозначенному направлению, причем информация о положении сцены отражает положения соответствующих объектов сцены на сцене ВР (VR), причем пользователь находится на сцене ВР (VR), и

модуль идентификации речевого сообщения, выполненный с возможностью идентификации речевого сообщения пользователя в качестве речевого сообщения пользователя целевому объекту сцены.

В одном из примеров, модуль идентификации направления может быть выполнен с возможностью: получения обозначенного направления речевого сообщения пользователя на основании угла глазного яблока пользователя во время речевого сообщения.

В одном из примеров, операция, во время которой модуль идентификации направления получает обозначенное направление речевого сообщения пользователя на основании угла глазного яблока пользователя во время речевого сообщения, может предусматривать следующее: когда соотношение периода времени, в течение которого угол глазного яблока пользователя зафиксирован во время речевого сообщения, к общему периоду времени речевого сообщения, достигает предварительно заданного порогового значения для соотношения, направление линии обзора, соответствующее углу глазного яблока, определено в качестве обозначенного направления речевого сообщения пользователя.

В одном из примеров, модуль идентификации направления может быть выполнен с возможностью получения обозначенного направления речевого сообщения пользователя на основании движения кисти пользователя во время речевого сообщения.

В одном из примеров, операция, во время которой модуль идентификации направления получает обозначенное направление речевого сообщения пользователя на основании движения кисти пользователя во время речевого сообщения, может предусматривать следующее: когда длина перемещения при движении кисти пользователя во время речевого сообщения достигает предварительного заданного порогового значения для длины, направление движения кисти определено в качестве обозначенного направления речевого сообщения пользователя.

В одном из примеров, модуль определения объекта может быть выполнен с возможностью определения объекта сцены, находящегося в пределах диапазона направления, в качестве целевого объекта сцены на основании информации о положении сцены, когда обозначенное направление речевого сообщения находится в пределах предварительно заданного диапазона для направления.

В одном из примеров, устройство может дополнительно содержать: модуль отправки информации, выполненный с возможностью отправки речевого сообщения пользователя в оборудование ВР (VR), соответствующее целевому объекту сцены.

В одном из примеров, устройство может дополнительно содержать модуль приема информации, выполненный с возможностью приема информации о речевом сообщении пользователя, причем информация о речевом сообщении пользователя включает в себя содержание речевого сообщения и идентификатор объекта говорящего, соответствующий содержанию речевого сообщения; и модуль обработки информации, выполненный с возможностью проигрывания содержания речевого сообщения через объект сцены, соответствующий говорящему на сцене ВР (VR), согласно идентификатору объекта.

Согласно третьему аспекту в настоящем изобретении предложено оборудование виртуальной реальности ВР (VR), содержащее:

процессор, и

память, выполненную с возможностью хранения инструкций, исполняемых процессором,

причем процессор может быть выполнен с возможностью: извлечения информации о направлении действия для действия, выполняемого пользователем, причем информация о направлении действия отражает обозначенное направление; определения, на основании информации о направлении действия и информации о положении сцены, целевого объекта сцены, соответствующего обозначенному направлению, причем информация о положении сцены отражает положения соответствующих объектов сцены на сцене ВР (VR), причем пользователь находится на сцене ВР (VR), и идентификации речевого сообщения пользователя в качестве речевого сообщения пользователя целевому объекту сцены.

Технические решения, раскрытые в предпочтительных вариантах осуществления настоящего изобретения, обеспечивают следующий технический результат: извлекают информацию о направлении действия во время речевого сообщения пользователя и определяют целевой объект сцены, соответствующий информации о направлении действия, для реализации идентификации объекта общения; и, кроме того, при выполнении указанного способа, пользователь может обозначить объект сцены, с которым говорит пользователь, за счет использования вращения своих глазных яблок, движения кисти или другого подобного действия, благодаря чему способ является относительно простым.

Следует понимать, что приведенное выше общее описание и нижеследующее подробное описание являются иллюстративными, служат лишь для пояснения и не ограничивают настоящее изобретение.

Краткое описание чертежей

Прилагаемые чертежи, включенные в состав описания и образующие его часть, иллюстрируют предпочтительные варианты осуществления настоящего изобретения и совместно с настоящим описанием служат для пояснения принципов настоящего изобретения.

На фиг. 1 схематично проиллюстрирована сцена для реализации общения в вертикальной реальности, согласно одному из примерных вариантов осуществления настоящего изобретения.

На фиг. 2 представлена блок-схема, иллюстрирующая способ идентификации объекта общения в виртуальной реальности, согласно одному из примерных вариантов осуществления настоящего изобретения.

На фиг. 3 схематично проиллюстрирован процесс обнаружения информации о направлении действия, согласно одному из примерных вариантов осуществления настоящего изобретения.

На фиг. 4 схематично проиллюстрирован процесс обнаружения информации о направлении действия, согласно другому примерному варианту осуществления настоящего изобретения.

На фиг. 5 представлена структурная схема устройства идентификации объекта при общении в виртуальной реальности, согласно примерному варианту осуществления настоящего изобретения.

На фиг. 6 представлена структурная схема устройства идентификации объекта при общении в виртуальной реальности согласно другому примерному варианту осуществления настоящего изобретения.

На фиг. 7 показана функциональная схема оборудования ВР (VR), согласно одному из примерных вариантов осуществления настоящего изобретения.

Осуществление изобретения

Далее, приведено подробное описание предпочтительных вариантов осуществления настоящего изобретения, примеры которых проиллюстрированы на прилагаемых чертежах. Нижеследующее описание относится к прилагаемым чертежам, на которых одни и те же номера позиций на разных чертежах обозначают одинаковые или схожие элементы, если не указано иное. Реализации настоящего изобретения, изложенные в нижеследующем описании предпочтительных вариантов, не отражают все возможные реализации, предусмотренные настоящим изобретением. Наоборот, они представляют собой лишь примеры устройств и способов, соответствующих аспектам настоящего изобретения, заявленным в прилагаемой формуле изобретения.

При общении в виртуальной реальности, как правило, имеется несколько пользователей, присутствующих на одной и той же сцене ВР (VR), при этом пользователям может потребоваться общение между собой. Например, на одной из сцен несколько пользователей принимают участие в собрании для обсуждения рабочих моментов на сцене ВР (VR) с использованием технологии ВР (VR). На другой сцене, пользователи осуществляют мгновенный обмен сообщениями посредством оборудования ВР (VR). Друзья в службе обмена мгновенными сообщениями могут находиться на одной и той же сцене ВР (VR), причем обмен информацией между друзьями также может быть осуществлен на указанной сцене ВР (VR). На всех указанных примерных сценах может возникнуть потребность общения пользователя с другим конкретным пользователем.

На фиг. 1 показана сцена для реализации общения в виртуальной реальности, согласно одному из примерных вариантов осуществления настоящего изобретения. Как показано на фиг. 1, пользователь А, пользователь В и пользователь С находятся на одной и той же сцене ВР (VR). Сцена может, например, представлять собой помещение для совещаний. Три пользователя принимают участие в собрании. Кроме того, каждый из пользователей на сцене ВР (VR) может исполнять роль, заданную на сцене и соответствующую пользователю. Роли на сцене могут называться объектами сцены. Например, объект a сцены соответствует пользователю А, объект b сцены соответствует пользователю В, а объект с сцены соответствует пользователю С.

Каждый пользователь может иметь оборудование 11 ВР (VR), например, шлем ВР (VR). Сцена ВР (VR), на которой находятся все пользователи, может быть видна через оборудование 11 ВР (VR). Например, сервер ВР (VR) может создавать сцену ВР (VR) и отправлять информацию о сцене в оборудование 11 ВР (VR) каждого пользователя для обеспечения возможности отображения сцены ВР (VR) с помощью оборудования ВР (VR) для пользователей на основании информации о сцене.

Например, информация о сцене может включать в себя: идентификаторы объекта соответствующих объектов сцены и информацию о положении сцены для соответствующих объектов сцены. Идентификаторы объектов могут представлять собой идентификаторы учетных записей пользователей. Идентификаторы учетных записей могут представлять собой учетные записи службы обмена мгновенными сообщениями, или учетные записи, назначенные каждому пользователю сервером во время текущего общения в виртуальной реальности. Информация о положении сцены отражает положения объектов сцены на указанной сцене. Например, на сцене ВР (VR), показанной на фиг. 1, объект a сцены задан на стороне у окна, в юго-восточном углу стола для совещаний, объект b сцены задан по диагонали от объекта a сцены, рядом с цветочным горшком в помещении для совещания, а объект с сцены задан рядом с объектом а сцены и расположен слева, впереди на расстоянии 2 метров от передней части объекта a сцены. Такие настройки положения роли являются информацией о положении сцены.

Следует отметить, что сцены ВР (VR), видимые соответствующими пользователями с позиции пользователя, отличаются друг от друга, несмотря на то, что пользователь А, пользователь В и пользователь С находятся на одной сцене ВР (VR). Различие состоит в том, что сцена ВР (VR), видимая каждым из пользователей, через оборудование 11 ВР (VR), представляет собой сцену ВР (VR), видимую с позиции объекта сцены, соответствующего пользователю на сцене ВР (VR). Например, на фиг. 1 пользователь С рассмотрен в качестве возможного примера, при этом сцена ВР (VR), видимая пользователем С, включает в себя только объект а сцены и объект b сцены, и, очевидно, пользователь С не может видеть объект с сцены, соответствующий пользователю С. Кроме того, объект а сцены находится в правом заднем положении в 2 метрах от пользователя С (если смотреть с позиции пользователя А, объект с сцены находится в левом переднем положении в 2 метрах от пользователя А), а объект b сцены находится в правом переднем положении относительно пользователя С, рядом с цветочным горшком в помещении для совещаний.

Более того, сцена ВР (VR), видимая каждым пользователем, может быть создана оборудованием 11 ВР (VR), которое надето на пользователя. Соответственно, оборудование 11 ВР (VR) может хранить информацию о сцене ВР (VR), которая включает в себя идентификаторы объекта для соответствующих объектов сцены на указанной сцене или информацию о положении сцены для объектов сцены. В рассматриваемом примере, во время общения в виртуальной реальности, оборудование ВР (VR) может идентифицировать объект общения на основании информации о сцене, как подробно раскрыто далее.

Например, на сцене, показанной на фиг. 1, пользователь А, пользователь В и пользователь C с фиг. 1 могут находиться на сцене группового чата, то есть, речевые сообщения соответствующих пользователей могут слышать все пользователи в группе чата. В таком случае, пользователи могут также выбирать конкретного пользователя в группе чата для общения путем простой выдачи подсказки о том, что речевые сообщения направлены конкретному пользователю на сцене, но при этом остальные пользователи могут слышать эти речевые сообщения. В качестве альтернативы, три пользователя с фиг. 1 могут находиться на сцене приватного чата. То есть, хотя на сцене ВР (VR) отображается множество общающихся друзей, пользователи могут выбирать конкретного друга среди общающихся друзей, для того чтобы с ним поговорить. Такая компоновка отличается от сцены с групповым чатом тем, что речевые сообщения, выданные таким образом, может слышать только конкретный друг, а остальные друзья эти речевые сообщения слышать не могут.

Сцена с групповым чатом или сцена с приватным чатом предусматривает идентификацию объекта общения. То есть, идентификацию осуществляют для определения того, с каким объектом сцены на сцене ВР (VR) пользователь хочет пообщаться. На фиг. 2 представлена блок-схема, иллюстрирующая способ идентификации объекта при общении в виртуальной реальности, согласно одному из примерных вариантов осуществления настоящего изобретения. Способ может быть реализован с помощью оборудования ВР (VR), надетого на пользователя. Способ может быть использован для идентификации того, с каким объектом сцены пользователь разговаривает. Способ включает в себя следующие этапы.

На этапе 201, извлекают информацию о направлении действия для действия, выполняемого пользователем. Информация о направлении действия может отражать обозначенное направление.

На данном этапе, информация о направлении действия для действия, выполняемого пользователем, может включать в себя обозначенное направление, отражаемое с помощью действия его/ее собственного тела. Например, пользователь может вращать глазными яблоками для отражения различных направлений линии обзора, обозначить направление движением кисти, или другим подобным действием.

В одном из примеров, если обнаружено, что пользователь разговаривает в текущий момент времени, оборудование ВР (VR) может извлечь информацию о направлении действия для действия, выполняемого пользователем во время речевого сообщения. Очевидно, что настоящее изобретение не ограничивается ситуацией, в которой поток обработки в рассматриваемом примере осуществляется во время речевого сообщения. В качестве альтернативы, поток обработки, например, идентификация направления и идентификация объекта, может быть осуществлен до того, как пользователь начнет разговор. В примере, приведенном ниже, будет описана только ситуация, когда поток обработки осуществляют во время речевого сообщения. При этом данное описание также применимо для других сцен. Например, пользователь может говорить, используя микрофон в оборудовании ВР (VR), после чего оборудование ВР (VR) может понять, что в текущий момент времени пользователь разговаривает. На данном этапе, оборудование ВР (VR) может обнаружить информацию о направлении действия для действия, выполняемого пользователи в процессе говорения пользователя.

На фиг. 3 схематично проиллюстрирован процесс обнаружения информации о направлении действия, согласно одному из примерных вариантов осуществления настоящего изобретения. Как показано на фиг. 3, оборудование ВР (VR) может получать направление линии обзора пользователя на основании угла глазного яблока пользователя с помощью технологии отслеживания движения глазного яблока. Например, когда глазное яблоко находится в положении под первым углом, направление линии обзора пользователя представляет собой первое направление, а когда глазное яблоко находится в положение под вторым углом, направление линии обзора пользователя представляет собой второе направление.

Например, для предотвращения ошибочного решения, могут быть заданы следующие настройки. Когда соотношение периода времени, в течение которого угол глазного яблока пользователя зафиксирован во время речевого сообщения, к общему периоду времени речевого сообщения, достигает предварительно заданного порогового значения для соотношения, например, когда пользователь продолжает смотреть на конкретный объект сцены в течение периода времени речевого сообщения, а соотношение периодов времени достигает 100%, или когда пользователь продолжает смотреть на конкретный объект сцены в течение периода времени, составляющего 80% от периода времени всего речевого сообщения, определяют, что пользователь говорит с объектом сцены. Соответственно, направление линии обзора, определенное на основании угла глазного яблока, представляет собой обозначенное направление речевого сообщения пользователя, при этом обозначенное направление речевого сообщения обозначает направление, в котором говорит пользователь.

На фиг. 4 схематично проиллюстрирован процесс обнаружения информации о направлении действия, согласно другому примерному варианту осуществления настоящего изобретения. Как показано на фиг. 4, оборудование ВР (VR) может содержать устройство 41 обнаружения движения кисти, выполненное с возможностью обнаружения движения кисти пользователя. Например, пользователь А с фиг. 4 может видеть, что объект b сцены находится в его/ее правом переднем положение, а объект с сцены находится в его/ее левом переднем положении на сцене ВР (VR). Очевидно, что идентификаторы объекта соответствующих объектов сцены могут быть отображены на сцене ВР (VR), что позволяет текущему пользователю понять, к кому относятся соответствующие объекты сцены. Когда пользователь А хочет поговорить с объектом с сцены (то есть с пользователем С), пользователь А может, например, как показано на фиг. 4, переместиться на сцене в левое переднее положение (то есть, к объекту с сцены), за счет движения кисти при говорении. При этом устройство 41 обнаружения движения кисти может обнаружить направление движения кисти пользователя.

Например, для предотвращения ошибочного решения, можно задать следующие настройки: когда длина перемещения при движении кисти пользователя в конкретном направлении достигает предварительного заданного порогового значения для длины, направление движения кисти определяют в качестве обозначенного направления речевого сообщения пользователя. Например, когда пользователь А хочет поговорить с пользователем С и движется в левое переднее положение более чем на 5 см, используя движение кисти, направление движения кисти определяют как обозначенное направление речевого сообщения пользователя. Соответственно, определяют, что пользователь разговаривает с объектом сцены, к которому выполнено движение кисти.

На этапе 202, на основании информации о направлении действия и информации о положении сцены, отражающей положения соответствующих объектов сцены на сцене ВР (VR), на которой находится пользователь, определяют целевой объект сцены, соответствующий обозначенному направлению.

На рассматриваемом этапе, оборудование ВР (VR) может, на основании информации о положении сцены соответствующих объектов сцены, а также информации о направлении действия, полученной на этапе 201, определить целевой объект сцены, соответствующий обозначенному направлению.

Например, как показано на фиг. 3, с позиции пользователя В, на сцене ВР (VR), видимой пользователем В, объект а сцены находится в левом переднем положении, а объект с сцены находится в правом переднем положении. Поскольку оборудование ВР (VR), надетое на пользователя В, получило информацию о сцене, положения соответствующих объектов сцены на указанной сцене могут быть получены с помощью оборудования ВР (VR). То есть, когда пользователь В хочет поговорить с объектом а сцены, оборудование ВР (VR) может получить ориентацию объекта а сцены относительно пользователя В. Например, второе направление, показанное на фиг. 3, представляет собой линию, соединяющую объект b сцены и объект а сцены.

Когда направление, обозначенное информацией о направлении действия, полученной оборудованием ВР (VR) на этапе 201, представляет собой второе направление, объект а сцены определяют в качестве целевого объекта сцены речевого сообщения. Однако, существует вероятность, что направление, обозначенное углом глазного яблока пользователя, не очень совпадает со вторым направлением. В таком случае можно задать диапазон направления. Как показано на фиг. 3, диапазон от направления f1 до направления f2 можно рассматривать в качестве диапазона направления, соответствующего объекту а сцены, при условии, что в данном диапазоне существует только один объект сцены, то есть, объект а сцены.

На этапе 203, речевое сообщение пользователя идентифицируют в качестве речевого сообщения пользователя целевому объекту сцены.

После определения на этапе 202 целевого объекта сцены, речевое сообщение пользователя может быть сопряжено с целевым объектом сцены и идентифицировано в качестве речевого сообщения пользователя целевому объекту сцены, что позволяет решить задачу идентификации объекта сцены при общении в виртуальной реальности.

В способе идентификации объекта согласно рассматриваемому варианту осуществления настоящего изобретения, извлекают информацию о направлении действия во время речевого сообщения пользователя, и определяют целевой объект сцены, соответствующий информации о направлении действия, в результате чего осуществляется идентификация объекта общения. Кроме того, за счет применения указанного способа, пользователь может обозначить объект сцены, с которым пользователь хочет поговорить, используя вращение его/ее собственного глазного яблока, движения кисти или другого подобного действия, благодаря чему способ легко реализовать и он может обеспечить положительный пользовательский опыт.

Более того, после идентификации целевого объекта сцены для общения, оборудование ВР (VR) может отправить информацию о речевом сообщении пользователя в целевой объект сцены. Информация о речевом сообщении может, например, включать в себя идентификатор объекта говорящего и содержание речевого сообщения. Например, когда идентифицируют, что пользователь В говорит с объектом а сцены, содержание речевого сообщения пользователя В может быть отправлено в оборудование ВР (VR) пользователя А, соответствующего объекту а сцены, причем оборудование ВР (VR) пользователя А проигрывает содержание речевого сообщения.

Когда пользователь В находится на сцене приватного чата, содержание речевого сообщения может быть отправлено только в оборудование ВР (VR) пользователя А, соответствующего объекту а сцены. Когда пользователь В находится на сцене группового чата, содержание речевого сообщения может быть отправлено в оборудование ВР (VR) всех пользователей в групповом чате, при этом все пользователи могут слышать речевое сообщение пользователя В. В этом случае, может быть предусмотрена подсказка, например, подсказка о том, что речевое сообщение специально отправлено объекту а сцены. Речевое сообщение может быть проиграно через объект сцены, соответствующий говорящему на сцене ВР (VR), в соответствии с идентификатором объекта говорящего во время проигрывания оборудованием ВР (VR), независимо от того, какая сцена применена.

На фиг. 5 показана структурная схема устройства идентификации объекта при общении в виртуальной реальности, согласно одному из примерных вариантов осуществления настоящего изобретения. Как показано на фиг. 5, устройство может содержать модуль 51 идентификации направления, модуль 52 определения объекта и модуль 53 идентификации речевого сообщения.

Модуль 51 идентификации направления выполнен с возможностью извлечения информации о направлении действия для действия, выполняемого пользователем, которая отражает обозначенное направление.

Модуль 52 определения объекта выполнен с возможностью определения целевого объекта сцены, соответствующего обозначенному направлению, на основании информации о направлении действия и информации о положении сцены, которая отражает положения соответствующих объектов сцены на сцене ВР (VR), на которой находится пользователь.

Модуль 53 идентификации речевого сообщения выполнен с возможностью идентификации речевого сообщения пользователя в качестве речевого сообщения пользователя целевому объекту сцены.

В одном из примеров, модуль 51 идентификации направления выполнен с возможностью получения обозначенного направления речевого сообщения пользователя на основании угла глазного яблока пользователя во время речевого сообщения.

В одном из примеров, операция, при которой модуль 51 идентификации направления получает обозначенное направление речевого сообщения пользователя на основании угла глазного яблока пользователя во время речевого сообщения, предусматривает следующее: когда соотношение периода времени, в течение которого угол глазного яблока пользователя зафиксирован во время речевого сообщения, к общему периоду времени речевого сообщения, достигает предварительно заданного порогового значения для соотношения, направление линии обзора, соответствующее углу глазного яблока, определено в качестве обозначенного направления речевого сообщения пользователя.

В одном из примеров, модуль 51 идентификации направления выполнен с возможностью получения обозначенного направления речевого сообщения пользователя на основании движения кисти пользователя во время речевого сообщения.

В одном из примеров, операция, во время которой модуль 51 идентификации направления получает обозначенное направление речевого сообщения пользователя на основании движения кисти пользователя во время речевого сообщения, предусматривает следующее: когда длина перемещения при движении кисти пользователя во время речевого сообщения достигает предварительного заданного порогового значения для длины, направление движения кисти определено в качестве обозначенного направления речевого сообщения пользователя.

В одном из примеров, модуль 52 определения объекта выполнен с возможностью определения объекта сцены, находящегося в пределах диапазона направления, в качестве целевого объекта сцены на основании информации о положении сцены, когда обозначенное направление речевого сообщения находится в пределах предварительно заданного диапазона для направления.

На фиг. 6 показана структурная схема устройства идентификации объекта при общении в виртуальной реальности, согласно другому варианту осуществления настоящего изобретения. Как показано на фиг. 6, устройство может дополнительно содержать: модуль 54 отправки информации, выполненный с возможностью отправки речевого сообщения пользователя в оборудование ВР (VR), соответствующее целевому объекту сцены.

В одном из примеров, устройство может дополнительно содержать модуль 55 приема информации и модуль 56 обработки информации.

Модуль 55 приема информации выполнен с возможностью приема информации о речевом сообщении пользователя. При этом информация о речевом сообщении пользователя включает в себя содержание речевого сообщения и идентификатор объекта говорящего, соответствующий содержанию речевого сообщения.

Модуль 56 обработки информации выполнен с возможностью проигрывания содержания речевого сообщения через объект сцены, соответствующий говорящему на сцене ВР (VR), в соответствии с идентификатором объекта.

На фиг. 7 показана функциональная схема оборудования 700 ВР (VR), согласно одному из примерных вариантов осуществления настоящего изобретения. Например, на фиг. 7 показано, что устройство 700 содержит обрабатывающий компонент 722, который содержит один или несколько процессоров, и источник памяти, представленный памятью 732, выполненной с возможностью хранения инструкций, исполняемых обрабатывающим компонентом 722, например, прикладной программы. Прикладная программа, хранящаяся в памяти 732, может содержать один или более модулей, причем каждый модуль соответствует заданному набору инструкций. Кроме того, обрабатывающий компонент 722 выполнен с возможностью исполнения инструкций для осуществления раскрытого выше способа, согласно которому извлекают информацию о направлении действия для действия, выполняемого пользователем, причем информация о направления действия отражает обозначенное направление; определяют целевой объект сцены, соответствующий обозначенному направлению, на основании информации о направлении действия и информации о положении сцены, которая отражает положения соответствующих объектов сцены на указанной сцене ВР (VR), на которой находится пользователь; и идентифицируют речевое сообщение пользователя в качестве речевого сообщения пользователя целевому объекту сцены.

Устройство 700 может также содержать компонент 726 питания, выполненный с возможностью осуществления управления энергопотреблением устройства 700, интерфейс 750 проводной или беспроводной сети, выполненный с возможностью соединения устройства 700 с сетью, и интерфейс 758 ввода/вывода.

Кроме того, в примерном варианте осуществления настоящего изобретения, также может быть предусмотрен энергонезависимый машиночитаемый носитель данных, содержащий хранящиеся в нем инструкции, например, память, содержащая инструкции, которые могут быть исполнены процессором устройства для реализации раскрытого выше способа, например, включающего в себя следующие этапы: извлекают информацию о направлении действия для действия, выполняемого пользователем, причем информация о направлении действия отражает обозначенное направление; на основании информации о направлении действия и информации о положении сцены, которая отражает положения соответствующих объектов сцены на указанной сцене ВР (VR), на которой находится пользователь, определяют целевой объект сцены, соответствующий обозначенному направлению, и речевое сообщение пользователя идентифицируют в качестве речевого сообщения пользователя целевому объекту сцены. Например, указанный энергонезависимый машиночитаемый носитель данных может представлять собой постоянную память ПП (ROM), постоянную память на компакт-диске (CD-ROM), устройство магнитного типа, дискету, оптическое запоминающее устройство или другое подобное устройство. Специалист в данной области техники, на основе приведенного выше описания и существующего практического опыта может легко разработать другие варианты осуществления настоящего изобретения. Настоящая заявка охватывает любые вариации, варианты применения или модификации настоящего изобретения, которые следуют основным принципам настоящего изобретения и включают в себя такие отклонения от предпочтительных вариантов осуществления, которые относятся к общеизвестным знаниям или традиционным техническим средствам в данной области техники. Предполагается, что описание и примеры следует рассматривать лишь в качестве иллюстративных, при этом истинный объем и сущность настоящего изобретения заданы приведенной ниже формулой изобретения.

Следует понимать, что настоящее изобретение не ограничивается конкретной конструкцией, описанной выше и проиллюстрированной на прилагаемых чертежах, при этом возможны различные модификации и изменения, не выходящие за объем защиты настоящего изобретения. Предполагается, что объем защиты настоящего изобретения задан только прилагаемой формулой изобретения.

Промышленная применимость

Согласно различным предпочтительным вариантам осуществления настоящего изобретения, извлекают информацию о направлении действия во время речевого сообщения пользователя, и определяют целевой объект сцены, соответствующий информации о направления действия, для реализации идентификации объекта общения. Кроме того, при выполнении указанного способа, пользователь может обозначить объект сцены, с которым разговаривает пользователь, за счет использования вращения своих глазных яблок, движения кисти или другого подобного действия, благодаря чему способ является относительно простым.

1. Способ идентификации объекта при общении в виртуальной реальности (BP), который включает в себя следующие этапы:

извлекают информацию о направлении действия для действия, выполняемого пользователем, причем информация о направлении действия отражает обозначенное направление;

на основании информации о направлении действия и информации о положении сцены определяют целевой объект сцены, соответствующий обозначенному направлению, причем информация о положении сцены отражает положения соответствующих объектов сцены на сцене BP, при этом пользователь находится на сцене BP; и

идентифицируют речевое сообщение пользователя в качестве речевого сообщения пользователя целевому объекту сцены,

причем этап, на котором извлекают информацию о направлении действия для действия, выполняемого пользователем, включает:

получение обозначенного направления речевого сообщения пользователя на основании угла глазного яблока пользователя во время речевого сообщения, при этом, когда соотношение периода времени, в течение которого угол глазного яблока пользователя зафиксирован во время речевого сообщения, к общему периоду времени речевого сообщения, достигает предварительно заданного порогового значения для соотношения, направление линии обзора, соответствующее углу глазного яблока, определяют в качестве обозначенного направления речевого сообщения пользователя,

или получение обозначенного направления речевого сообщения пользователя на основании движения кисти пользователя во время речевого сообщения, при этом, когда длина перемещения при движении кисти пользователя во время речевого сообщения достигает предварительного заданного порогового значения для длины, направление движения кисти определяют в качестве обозначенного направления речевого сообщения пользователя.

2. Способ по п. 1, отличающийся тем, что этап, на котором на основании информации о направлении действия и информации о положении сцены определяют целевой объект сцены, соответствующий обозначенному направлению, включает:

когда обозначенное направление речевого сообщения находится в пределах предварительно заданного диапазона для направления, объект сцены, находящийся в пределах диапазона направления, определяют в качестве целевого объекта сцены на основании информации о положении сцены.

3. Способ по п. 1, отличающийся тем, что после этапа, на котором речевое сообщение пользователя идентифицируют в качестве речевого сообщения пользователя целевому объекту сцены, способ дополнительно включает этап, на котором:

речевое сообщение пользователя отправляют в оборудование BP, соответствующее целевому объекту сцены.

4. Способ по п. 1, отличающийся тем, что дополнительно содержит этапы, на которых:

принимают информацию о речевом сообщении пользователя, причем информация о речевом сообщении пользователя включает в себя содержание речевого сообщения и идентификатор (ID) объекта говорящего, соответствующий содержанию речевого сообщения; и

проигрывают содержание речевого сообщения через объект сцены, соответствующий говорящему на сцене BP, согласно идентификатору объекта.

5. Устройство идентификации объекта при общении в виртуальной реальности (BP), содержащее

модуль идентификации направления, выполненный с возможностью извлечения информации о направлении действия для действия, выполняемого пользователем, причем информация о направлении действия отражает обозначенное направление;

модуль определения объекта, выполненный с возможностью определения на основании информации о направлении действия и информации о положении сцены целевого объекта сцены, соответствующего обозначенному направлению, причем информация о положении сцены отражает положения соответствующих объектов сцены на сцене BP, при этом пользователь находится на сцене BP, и

модуль идентификации речевого сообщения, выполненный с возможностью идентификации речевого сообщения пользователя в качестве речевого сообщения пользователя целевому объекту сцены,

причем модуль идентификации направления выполнен с возможностью получения обозначенного направления речевого сообщения пользователя на основании угла глазного яблока пользователя во время речевого сообщения,

и дополнительно выполнен с возможностью, когда соотношение периода времени, в течение которого угол глазного яблока пользователя зафиксирован во время речевого сообщения, к общему периоду времени речевого сообщения, достигает предварительно заданного порогового значения для соотношения, определения направления линии обзора, соответствующего углу глазного яблока, в качестве обозначенного направления речевого сообщения пользователя,

или модуль идентификации направления выполнен с возможностью получения обозначенного направления речевого сообщения пользователя на основании движения кисти пользователя во время речевого сообщения,

и дополнительно выполнен с возможностью, когда длина перемещения при движении кисти пользователя во время речевого сообщения достигает предварительного заданного порогового значения для длины, определения направления движения кисти в качестве обозначенного направления речевого сообщения пользователя.

6. Устройство по п. 5, отличающееся тем, что:

модуль определения объекта выполнен с возможностью определения объекта сцены, находящегося в пределах диапазона направления, в качестве целевого объекта сцены на основании информации о положении сцены, когда обозначенное направление речевого сообщения находится в пределах предварительно заданного диапазона для направления.

7. Устройство по п. 5, отличающееся тем, что дополнительно содержит

модуль отправки информации, выполненный с возможностью отправки речевого сообщения пользователя в оборудование BP, соответствующее целевому объекту сцены.

8. Устройство по п.5, отличающееся тем, что дополнительно содержит

модуль приема информации, выполненный с возможностью приема информации о речевом сообщении пользователя, причем информация о речевом сообщении пользователя включает в себя содержание речевого сообщения и идентификатор (ID) объекта говорящего, соответствующий содержанию речевого сообщения; и

модуль обработки информации, выполненный с возможностью проигрывания содержания речевого сообщения через объект сцены, соответствующий говорящему на сцене BP, согласно идентификатору объекта.

9. Оборудование виртуальной реальности (BP), содержащее процессор, и

память, выполненную с возможностью хранения инструкций, исполняемых процессором,

причем процессор выполнен с возможностью: извлечения информации о направлении действия для действия, выполняемого пользователем, причем информация о направлении действия отражает обозначенное направление; определения целевого объекта сцены, соответствующего обозначенному направлению, на основании информации о направлении действия и информации о положении сцены, причем информация о положении сцены отражает положения соответствующих объектов сцены на сцене BP, при этом пользователь находится на сцене BP, и идентификации речевого сообщения пользователя в качестве речевого сообщения пользователя целевому объекту сцены;

при этом извлечение информации о направлении действия для действия, выполняемого пользователем, включает:

получение обозначенного направления речевого сообщения пользователя на основании угла глазного яблока пользователя во время речевого сообщения, при этом, когда соотношение периода времени, в течение которого угол глазного яблока пользователя зафиксирован во время речевого сообщения, к общему периоду времени речевого сообщения, достигает предварительно заданного порогового значения для соотношения, направление линии обзора, соответствующее углу глазного яблока, определяют в качестве обозначенного направления речевого сообщения пользователя,

или получение обозначенного направления речевого сообщения пользователя на основании движения кисти пользователя во время речевого сообщения, при этом, когда длина перемещения при движении кисти пользователя во время речевого сообщения достигает предварительного заданного порогового значения для длины, направление движения кисти определяют в качестве обозначенного направления речевого сообщения пользователя.