Масштабируемые интерактивные видеосистемы и способы
Изобретение относится к области видеоигр. Техническим результатом является обеспечение уменьшения задержки и поддержания высокой пропускной способности передачи данных в системе управления интерактивной видеосистемы. Раскрыта распределенная система управления интерактивной видеосистемы, содержащая: сеть на основе коммутационной матрицы, соединяющая множество узлов, при этом сеть на основе коммутационной матрицы содержит: узел ввода из упомянутого множества узлов, при этом узел ввода содержит воспринимающий блок, выполненный с возможностью собирать данные сканирования для участника интерактивной видеосистемы; первый набор узлов обработки из упомянутого множества узлов, при этом первый набор узлов обработки выполнен с возможностью создавать виртуальный образ участника на основе, по меньшей мере частично, данных сканирования участника, при этом узел ввода соединен с возможностью связи с первым набором узлов обработки через первый коммутатор сети на основе коммутационной матрицы; и узел вывода из упомянутого множества узлов, при этом узел вывода содержит устройство вывода, выполненное с возможностью представлять виртуальный образ участника в виртуальной среде, при этом узел вывода соединен с возможностью связи с узлом ввода через второй коммутатор сети на основе коммутационной матрицы. 3 н. и 17 з.п. ф-лы, 4 ил.
Перекрестная ссылка на родственную заявку
[0001] Эта заявка испрашивает приоритет и преимущество предварительной заявки США № 62/783544, озаглавленной «Scalable Interactive Video Systems and Methods» (Масштабируемые интерактивные видеосистемы и способы), поданной 21 декабря 2018 года, которая настоящим включена сюда посредством ссылки во всей своей полноте для всех целей.
Предпосылки СОЗДАНИЯ
[0002] Настоящее раскрытие относится в целом к видеосистемам и, более конкретно, к интерактивной системе видеоигр, которая предоставляет возможность одновременного участия в игре множества игроков.
[0003] Системы видеоигр обычно предоставляют возможность участникам (например, игрокам) управлять персонажами в виртуальной среде, добиваясь предварительно заданных целей или поставленных задач. Традиционные системы видеоигр в общем полагаются на устройства ручного ввода, такие как джойстики, игровые контроллеры, клавиатуры и т.д., обеспечивающие возможность участникам управлять персонажами в виртуальной среде игры. Кроме того, некоторые современные системы видеоигр могут включать в себя камеру, способную отслеживать перемещения участников, обеспечивая возможность участникам управлять персонажами видеоигры на основе их перемещений. Однако, эти системы типично страдают от проблем с задержкой и/или пропускной способностью передачи данных. Например, эти системы могут обеспечивать ограниченный сбор и/или обработку данных, что может ограничивать впечатление (например, графику и/или эффекты), предоставляемое видеоигрой. Кроме того, время обработки, связанное с управлением видеоигрой, может привносить задержки между вводом, принимаемым от участника, и результирующим выводом. Дополнительно, в системах видеоигр с множеством участников потенциал для задержки резко увеличивается с числом участников. Соответственно, может быть затруднительным использование этих систем для предоставления интерактивных впечатлений в режиме реального времени, которые являются сглаженными и реагирующими на взаимодействие участников.
Краткое описание
[0004] Ниже обобщаются некоторые варианты осуществления, сопоставимые по объему с первоначально заявленным объектом изобретения. Эти варианты осуществления не предназначены ограничивать объем раскрытия, а скорее эти варианты осуществления предназначены предоставлять только краткий обзор некоторых раскрытых вариантов осуществления. Фактически, настоящее раскрытие может охватывать множество форм, которые могут быть подобными или отличающимися от вариантов осуществления, изложенных ниже.
[0005] Настоящие варианты осуществления направлены на распределенную систему управления интерактивной видеосистемы. Распределенная система управления включает в себя сеть на основе коммутационной матрицы, объединяющую множество узлов. Сеть на основе коммутационной матрицы включает в себя узел ввода, который включает в себя воспринимающий блок. Воспринимающий блок реализуется для сбора данных сканирования для участника интерактивной видеосистемы. Кроме того, сеть на основе коммутационной матрицы включает в себя набор узлов обработки. Набор узлов обработки реализуется для создания виртуального образа участника на основе, по меньшей мере частично, данных сканирования участника. Набор узлов обработки соединяется с возможностью связи (обмена данными) с узлом ввода через первый коммутатор сети на основе коммутационной матрицы. Дополнительно, сеть на основе коммутационной матрицы включает в себя узел вывода. Узел вывода включает в себя устройство вывода, реализованное для представления (показа) виртуального образа участнику в виртуальной среде. Узел вывода соединяется с возможностью связи с узлом ввода через второй коммутатор сети на основе коммутационной матрицы.
[0006] Настоящие варианты осуществления также направлены на способ работы интерактивной видеосистемы. Способ включает в себя сбор, в узле ввода из множества узлов в сети на основе коммутационной матрицы распределенной системы управления интерактивной видеосистемы, данных сканирования для участника интерактивной видеосистемы. Способ также включает в себя создание, в первом наборе узлов обработки из множества узлов, виртуального образа участника на основе, по меньшей мере частично, данных сканирования для участника. Первый набор узлов обработки соединяется с возможностью связи с узлом ввода через первый коммутатор сети на основе коммутационной матрицы. Дополнительно, способ включает в себя представление, с помощью узла вывода из множества узлов, виртуального образа участника в виртуальной среде. Узел вывода соединяется с возможностью связи с узлом ввода через второй коммутатор сети на основе коммутационной матрицы. Способ дополнительно включает в себя определение, во втором наборе узлов обработки, набора игровых эффектов на основе, по меньшей мере частично, данных сканирования для участника. Кроме того, способ включает в себя обновление с помощью узла вывода виртуальной среды на основе, по меньшей мере частично, игровых эффектов.
[0007] Настоящие варианты осуществления также направлены на интерактивную видеосистему, которая включает в себя распределенную систему управления, которая включает в себя сеть на основе коммутационной матрицы, соединяющую множество узлов. Множество узлов включает в себя узел ввода, который включает в себя воспринимающий блок. Воспринимающий блок реализуется для сбора данных сканирования для участника. Множество узлов дополнительно включает в себя набор узлов обработки. Набор узлов обработки соединяется с возможностью связи с узлом ввода через сеть на основе коммутационной матрицы. Набор узлов обработки реализуется для создания виртуального образа для участника на основе, по меньшей мере частично, данных сканирования для участника. Набор узлов обработки дополнительно реализуется для определения набора игровых эффектов на основе данных сканирования для участника. Данные сканирования могут включать в себя одно или более игровых действий для участника. Множество узлов дополнительно включает в себя узел вывода. Узел вывода соединяется с возможностью связи с узлом ввода через сеть на основе коммутационной матрицы. Дополнительно, узел вывода соединяется с возможностью связи с набором узлов обработки через сеть на основе коммутационной матрицы, и узел вывода включает в себя набор устройств вывода. Набор устройств вывода реализуется для представления виртуального образа участника в виртуальной среде. Набор устройств вывода также реализуется для обновления представления виртуальной среды на основе, по меньшей мере частично, игровых эффектов.
Краткое описание чертежей
[0008] Эти и другие признаки, аспекты и преимущества настоящего раскрытия станут лучше понятны при прочтении последующего подробного описания со ссылкой на сопровождающие чертежи, на которых аналогичные символы представляют аналогичные части на всех чертежах, при этом:
[0009] Фиг. 1 является схематичным чертежом варианта осуществления интерактивной видеосистемы, которая предоставляет возможность нескольким участникам управлять соответствующими виртуальными образами путем выполнения действий в зоне активности (участия), в соответствии с настоящим методом;
[0010] Фиг. 2 является блок-схемой сети на основе коммутационной матрицы в соответствии с настоящим методом;
[0011] Фиг. 3 является блок-схемой последовательности операций, иллюстрирующей вариант осуществления процесса работы интерактивной видеосистемы в соответствии с настоящим методом; и
[0012] Фиг. 4 является блок-схемой последовательности операций, иллюстрирующей вариант осуществления процесса, которым выполняются некоторые действия, указанные в блок-схеме последовательности операций по фиг. 3, в соответствии с настоящим методом.
Подробное описание
[0013] Как использовано здесь, «данные сканирования» относятся к двумерным (2D) или трехмерным (3D) данным, собранным путем восприятия (например, измерения, формирования изображений, измерения дальности) видимых внешних поверхностей участников в зоне активности. Более конкретно, «данные объемного сканирования», как использовано здесь, относятся к данным 3D-сканирования, таким как данные облака точек, и могут отличаться от «данных 2D-сканирования», таких как данные изображений.
[0014] Как использовано здесь, «модель участника» является 2D- или 3D-моделью, созданной по данным сканирования участника, которая в общем описывает внешние поверхности участника и может включать в себя данные текстуры. Более конкретно, «объемная модель участника» или «объемная модель», как использовано здесь, относится к 3D-модели участника, созданной по данным объемного сканирования участника, и может отличаться от «2D-модели участника», которая создается по 2D-данным сканирования участника.
[0015] «Теневая модель», как использовано здесь, относится к объемной модели участника без текстуры, созданной по данных сканирования участника либо непосредственно, либо посредством модели участника. По существу, при представлении на 2D-поверхности, такой как устройство отображения, теневая модель участника имеет форму, практически подобную тени или силуэту участника при освещении сзади.
[0016] «Скелетная модель», как использовано здесь, относится к 3D-модели, созданной по данным сканирования участника, которая определяет прогнозируемые местоположения и позиции некоторых частей тела и/или центров массы (например, торса, рук, ног, головы) участника, описывая местоположение и позу участника в зоне активности. По существу, скелетная модель используется для определения движений и действий участников в зоне активности, инициируя события в виртуальной среде и/или в зоне активности.
[0017] Настоящие варианты осуществления направлены на интерактивную видеосистему (например, систему видеоигр), которая предоставляет возможность нескольким (например, от 1 до 12) участникам (например, игрокам) выполнять действия в физической окружающей среде (например, зоне активности), управляя виртуальными образами участников в отображаемой виртуальной среде (например, зоне представления). Раскрытая интерактивная видеосистема включает в себя один или более воспринимающих блоков, таких как объемные датчики (например, камеры глубины и/или лазерные устройства обнаружения и измерения дальности (LIDAR), способные сканировать каждого из участников и/или захватывать процедурные (например, игровые) действия каждого из участников. Интерактивная видеосистема может также включать в себя серию устройств вывода, таких как устройство отображения, аудиоустройства, устройства физических эффектов и/или т.п., способные представлять виртуальную среду и/или создавать один или более процедурных эффектов. Дополнительно, интерактивная видеосистема включает в себя распределенную систему управления, имеющую серию узлов (например, узлы ввода, узлы обработки, узлы баз данных, узлы вывода). Распределенная система управления может быть реализована для управления устройствами вывода частично на основе данных ввода, принимаемых от различных воспринимающих устройств и устройств ввода в интерактивной видеосистеме. Соответственно, интерактивная видеосистема постоянно обновляет виртуальные образы участников и виртуальной среды на основе действий участников и их соответствующих процедурных эффектов. Примеры настоящих вариантов осуществления, раскрытые здесь, описываются в контексте видеоигр. Однако, следует понимать, что настоящие варианты осуществления могут быть применены к и объединять действия, отличные от игровых действий. Дополнительно, следует отметить, что термин «видеоигра» в широком смысле включает в себя большое число развлекательных действий, использующих видеотехнологию.
[0018] Кроме того, для создания интерактивных впечатлений в режиме реального времени, которые являются плавными и реагирующими на взаимодействие участников, интерактивная видеосистема может включать в себя сеть на основе коммутационной матрицы. Сеть на основе коммутационной матрицы может включать в себя серию узлов, соединенных с возможностью связи вместе набором коммутаторов и межсоединений, которые могут обеспечивать имеющую низкую задержку, широкополосную связь. К, сеть на основе коммутационной матрицы может поддерживать удаленный прямой доступ к памяти (RDMA). Узлы сети на основе коммутационной матрицы могут включать в себя воспринимающие устройства и устройства ввода, устройства вывода, узлы обработки и/или узлы баз данных. Например, воспринимающие и/или дополнительные устройства ввода в интерактивной видеосистеме могут быть реализованы как один или более узлов ввода сети на основе коммутационной матрицы, в то время как устройства вывода могут быть реализованы как один или более узлов вывода сети на основе коммутационной матрицы. Некоторые узлы обработки могут включать в себя специализированный процессор, такой как векторный процессор (устройство обработки векторов) (VPU) и/или тензорный процессор (TPU), которые могут быть оптимизированы для выполнения конкретной функции. Соответственно, некоторые узлы обработки могут быть выделены для выполнения некоторых задач обработки, связанных с интерактивной видеосистемой, таких как визуальная (например, графическая) обработка, обработка звука, вычисления с помощью искусственного интеллекта (AI), физические вычисления и/или т.п., исходя из их соответствующих возможностей. Дополнительно, сеть на основе коммутационной матрицы может разделять эти задачи обработки среди серии подходящих узлов обработки. Кроме того, сеть на основе коммутационной матрицы может обеспечивать удаленный прямой доступ к памяти (RDMA). Соответственно, с помощью RDMA данные могут быть переданы между физически отдельными узлами обработки для выполнения задачи обработки с задержкой внутренней компьютерной шины, предоставляя возможность узлам беспрепятственно считывать информацию из и записывать информацию на другие узлы, что эффективно может считаться большим, объединенным пространством памяти всех узлов в сети на основе коммутационной матрицы. По существу, сеть на основе коммутационной матрицы является способной эффективно обрабатывать и обновлять данные, используемые в интерактивной видеосистеме. Дополнительно, интерактивная видеосеть может быть эффективно масштабирована, поскольку в сеть на основе коммутационной матрицы могут быть добавлены дополнительные узлы обработки, узлы ввода и/или вывода без причинения существенной расплаты по задержке.
[0019] С учетом вышесказанного, фиг. 1 является схематичным чертежом варианта осуществления интерактивной видеосистемы 10 (например, системы видеоигр), которая предоставляет возможность нескольким участникам 12 (например, участникам 12A и 12B) управлять соответствующими виртуальными образами 14 (например, виртуальными образами 14A и 14B) путем выполнения действий в зоне 16 активности. Может быть отмечено, что, в то время как, для простоты, настоящее описание направлено на двух участников 12, использующих интерактивную видеосистему 10, в других вариантах осуществления интерактивная видеосистема 10 может поддерживать более двух (например, 6, 8, 10, 12 или более) участников 12.
[0020] Зона 16 активности интерактивной видеосистемы 10 может иметь ширину (соответствующую x-оси 18), высоту (соответствующую y-оси 20) и глубину (соответствующую z-оси 22), при этом система 10 в общем контролирует перемещения каждого из участников 12 по x-оси 18, y-оси 20 и/или z-оси 22. Интерактивная видеосистема 10 обновляет местоположение виртуальных образов 14, представленных на устройстве 24 отображения зоны 25 представления по x-оси 26, y-оси 28 и/или z-оси 35 в виртуальной среде 32 в ответ на перемещение участников 12 (например, бег по x-оси 18, прыжок по y-оси 20, бег по z-оси 22) в зоне 16 активности.
[0021] Вариант осуществления интерактивной видеосистемы 10, проиллюстрированной на фиг. 1, включает в себя серию воспринимающих блоков (устройств) 38, размещенных в пределах и/или около зоны 16 активности. Более конкретно, воспринимающие блоки 38 могут быть описаны как симметрично распределенные по периметру зоны 16 активности. В некоторых вариантах осуществления по меньшей мере часть воспринимающих блоков 38 может быть расположена над зоной 16 активности (например, подвешена на потолке или на приподнятых платформах или стойках) и направлена вниз под углом, чтобы формировать изображение зоны 16 активности. В других вариантах осуществления по меньшей мере часть воспринимающих блоков 38 может быть расположена рядом с полом зоны 16 активности и направлена вверх под углом, чтобы формировать изображение зоны 16 активности. В некоторых вариантах осуществления интерактивная видеосистема 10 может включать в себя по меньшей мере два воспринимающих блока 38 для каждого участника (например, участников 12A и 12B) в зоне 16 активности. Соответственно, воспринимающие блоки 38 надлежащим образом позиционируются, чтобы формировать изображение существенной части потенциальных точек обзора около зоны 16 активности, уменьшая или устраняя потенциальную помеху для участника.
[0022] В проиллюстрированном варианте осуществления каждый воспринимающий блок 38 включает в себя соответствующий объемный датчик 40, который может быть инфракрасной (IR) камерой глубины, LIDAR-устройством или другим подходящим устройством измерения расстояния и/или формирования изображения. Например, в некоторых вариантах осуществления все объемные датчики 40 воспринимающих блоков 38 являются либо IR-камерами глубины, либо LIDAR-устройствами, в то время как в других вариантах осуществления присутствует комбинация IR-камер глубины и LIDAR-устройств. В настоящее время признано, что и IR-камеры глубины, и LIDAR-устройства могут быть использованы, чтобы объемным образом сканировать каждого из участников 12, и собранные данные сканирования (например, данные объемного сканирования) могут быть использованы для создания различных моделей участников, как обсуждается ниже. Например, в некоторых вариантах осуществления IR-камеры глубины могут быть использованы для сбора данных, чтобы создавать скелетные модели, в то время как данные, собранные LIDAR-устройствами, могут быть использованы для создания объемных и/или теневых моделей участников 12. Также признано, что LIDAR-устройства, которые собирают данные облака точек, в общем способны сканировать и составлять карты большей площади, чем камеры глубины, типично с лучшей точностью и разрешениями. По существу, в некоторых вариантах осуществления по меньшей мере один воспринимающий блок 38 включает в себя соответствующий объемный датчик 40, который является LIDAR-устройством, улучшающим точность или разрешение интерактивной видеосистемы 10 и/или уменьшающим общее число воспринимающих блоков 38 в интерактивной видеосистеме 10.
[0023] Дополнительно, в некоторых вариантах осуществления другие воспринимающие устройства могут быть введены в зону 16 активности и вокруг неё. Например, радиочастотный (RF) датчик 45 может быть расположен поблизости (например, над, под, рядом с) с зоной 16 активности. Проиллюстрированный RF-датчик 45 принимает уникально идентифицирующий RF-сигнал от носимого устройства 47, такого как браслет или головная повязка, имеющая метку радиочастотной идентификации (RFID), носимую каждым из участников 12. В ответ RF-датчик 45 выдает сигналы касательно о личности и относительных положениях участников 12 в зоне 16 активности, как описано более подробно ниже.
[0024] Кроме того, интерактивная видеосистема 10, проиллюстрированная на фиг. 1, управляет выводом стимулирующих воздействий (например, аудиосигналов, видеосигналов, световых сигналов, физических эффектов) в зоне 25 представления, которые наблюдаются и воспринимаются участниками 12 в зоне 16 активности в качестве части виртуальной среды 32. По существу, зона 25 представления может включать в себя устройств 50 и/или устройство 24 отображения. Устройство 24 отображения может быть любым подходящим устройством отображения, таким как проектор и экран, устройство отображения с плоским экраном или массивом устройств отображения с плоским экраном, который размещен и предназначен для предоставления подходящего вида виртуальной среды 32 участникам 12 в зоне 16 активности. В некоторых вариантах осуществления аудиоустройства 50 могут быть размещены в массиве по зоне 16 активности, увеличивая погружение участника во время игрового процесса.
[0025] Дополнительно, в одном варианте осуществления интерактивная видеосистема 10 может включать в себя интерфейсную панель 74, которая может предоставлять возможность улучшенных взаимодействий участников. Как проиллюстрировано на фиг. 1, интерфейсная панель 74 включает в себя серию устройств 76 ввода (например, рукояток, колесиков, кнопок, ползунков, блоков), которые сконструированы с возможностью принимать ввод от участников 12 во время игрового процесса. Проиллюстрированная интерфейсная панель 74 также включает в себя серию устройств 78 вывода (например, устройств аудиовывода, устройств видеовывода, устройств физического стимулирования), которые предназначены предоставлять аудио-, визуальные и/или физические стимулирующие воздействия на участников 12 во время игрового процесса. Например, устройства 78 вывода могут включать в себя аудиоустройства, такие как динамики, горны, сирены и т.д. Устройства 78 вывода могут также включать в себя визуальные устройства, такие как лампы или устройства отображения интерфейсной панели 74. В некоторых вариантах осуществления устройства 78 вывода интерфейсной панели 74 включают в себя устройства физических эффектов, такие как электронным образом управляемый выпускной клапан, соединенный с линией сжатого воздуха, который обеспечивает выбросы теплого или холодного воздуха или тумана.
[0026] Как дополнительно проиллюстрировано, интерактивная видеосистема 10 включает в себя распределенную систему 82 управления. Распределенная система 82 управления в общем принимает вводную информацию от различных вышеупомянутых устройств ввода и определяет подходящий сигнал вывода частично на основе принятой вводной информации. Например, распределенная система 82 управления может принимать данные сканирования, собранные каждым из объемных датчиков 40, вводные сигналы участника устройств 76 ввода, сигналы, выдаваемые RF-датчиками 45, касающиеся личности и относительных положений участников 12 в зоне 16 активности, и/или т.п. Распределенная система 82 управления может объединять эти данные, которые совокупно описываются здесь как «данные участника», определяющие личности, местоположения и/или действия участников 12 в зоне 16 активности во время игрового процесса. Кроме того, распределенная система 82 управления может определять инструкции (например, управляющие сигналы) для управления аудиоустройствами 50, устройством 24 отображения, устройствами 78 вывода и/или т.п. с созданием различных стимулирующих воздействий для наблюдения и впечатления участниками 12 через зону 25 представления. В некоторых вариантах осуществления распределенная система 82 управления может определять инструкции на управление аудиоустройствами 50, устройством 24 отображения, устройствами 78 вывода и/или т.п. частично на основе собранных данных участников.
[0027] В настоящее время признано, что обработка собранных данных участников и/или определение инструкций на создание различных стимулирующих воздействий в зоне 25 представления может требовать интенсивной работы процессора. Кроме того, задержка в интерактивной видеосистеме 10 может ограничивать способность интерактивной видеосистемы 10 предоставлять интерактивные впечатления в режиме реального времени, которые являются плавными и реагирующими на взаимодействие участников. Соответственно, в некоторых вариантах осуществления может быть полезно разделять рабочую нагрузку путем использования серии процессоров, соединенных с возможностью связи с помощью сети, чтобы обрабатывать собранные данные участников. По существу, в проиллюстрированном варианте осуществления распределенная система 82 управления включает в себя серию узлов 84 обработки и узел 86 базы данных (например, хранилище данных), соединенные с возможностью связи вместе через сеть 90 на основе коммутационной матрицы, такую как сеть ENFINIBAND®. Как описывается более подробно ниже, узлы 84 обработки могут включать в себя память 102 и/или процессор 104. Как проиллюстрировано далее, каждое из устройств ввода (например, объемные датчики 40, RF-датчик 45, устройства 76 ввода) и устройств вывода (например, аудиоустройства 50, устройство 24 отображения, устройства 78 вывода) интерактивной видеосистемы 10 соединено с возможностью связи с сетью 90 на основе коммутационной матрицы. Соответственно, как описывается более подробно ниже, распределенная система 82 управления может передавать к и принимать данные от одного или более устройств в интерактивной видеосистеме 10 через сеть 90 на основе коммутационной матрицы.
[0028] Для помощи в иллюстрации вариант осуществления сети 90 на основе коммутационной матрицы, которая включает в себя серию дискретных узлов 96, показан на фиг. 2. С помощью сети 90 на основе коммутационной матрицы обработка данных интерактивной видеосистемы 10 может быть распределена между любым подходящим числом дискретных узлов 96, которые могут физически отличаться друг от друга, без привнесения значительной задержки или времени ожидания. Таким образом, например, интерактивная видеосистема 10 может выводить стимулирующие воздействия и/или предоставлять плавные и ответные перемещения виртуальных образов 14 в виртуальной среде 32 участникам 12 в режиме реального времени или режиме почти реального времени. Как проиллюстрировано, каждый из узлов 84 обработки распределенной системы 82 управления и устройств интерактивной видеосистемы 10 (например, воспринимающие блоки 38, RF-датчик 45, устройства 76 ввода, аудиоустройства 50, устройство 24 отображения, устройства 78 вывода и/или т.п.) могут представлять различный узел 96 сети 90 на основе коммутационной матрицы. Устройства ввода (например, объемные датчики 40, RF-датчик 45, устройства 76 ввода) представляются узлами 97 ввода, в то время как устройства вывода (например, аудиоустройства 50, устройство 24 отображения, устройства 78 вывода) представляются узлами 98 вывода. Однако, можно понять, что каждое устройство ввода и/или вывода может быть соединено с сетью 90 на основе коммутационной матрицы различными способами в других вариантах осуществления. Другими словами, варианты осуществления, описываемые здесь, предназначены быть иллюстративными, а не ограничивающими.
[0029] Чтобы соединять с возможностью связи узлы 96 друг с другом, сеть 90 на основе коммутационной матрицы включает в себя серию коммутаторов 92 (например, коммутирующих устройств). Проиллюстрированная сеть 90 на основе коммутационной матрицы также включает в себя серию межсоединений 94, которые могут представлять проводные и/или беспроводные соединения. В одном варианте осуществления межсоединение может включать в себя медные кабели, оптические кабели, разъемы соединительной платы и/или т.п. Коммутаторы 92 могут быть реализованы в комбинации с межсоединениями 94, чтобы соединять распределенную систему 82 управления и устройства (например, воспринимающие блоки 38, RF-датчик 45, устройства 76 ввода, аудиоустройства 50, устройство 24 отображения, устройства 78 вывода и/или т.п.) интерактивной видеосистемы 10 друг с другом в сети 90 на основе коммутационной матрицы. Например, в одном варианте осуществления коммутаторы 92 могут быть аппаратными устройствами, реализованными для маршрутизации пакета (например, пакета данных и/или сообщения) от первого устройства, такого как объемный датчик 40, второму устройству, такому как узел 84 обработки. Кроме того, с помощью межсоединений 94 и коммутаторов 92, задержка сети 90 на основе коммутационной матрицы может быть меньше или равна 1 микросекунде (мкс). Сеть 90 на основе коммутационной матрицы может также обеспечивать возможность установления соединения с высокой пропускной способностью. По существу, большой объем (например, пропускная способность) данных может передаваться между устройствами с низкой задержкой, что может обеспечивать сбор данных в режиме реального времени и обработку, связанную с интерактивной видеосистемой 10.
[0030] Сеть 90 на основе коммутационной матрицы может также обеспечивать удаленный прямой доступ к памяти (RDMA) для операций чтения и записи между и/или в узлах 96. Соответственно, данные могут записываться непосредственно в память 102 устройства из любого подходящего узла 96 сети 90 на основе коммутационной матрицы. Например, первый узел 96 (например, узел 84 обработки) может непосредственно осуществлять доступ к памяти 102 второго узла 96 (например, одного из узлов 98 вывода), чтобы считывать или обновлять данные с помощью низкоуровневых запросов (например, на сетевом уровне или транспортном уровне) без привлечения запросов более высокого уровня (например, на прикладном уровне или уровне представления) или дополнительных непроизводительных издержек, ассоциированных с этим. Дополнительно, в некоторых случаях результат, который может быть вычислен в первом узле 96, может быть непосредственно записан в память зависимого узла 96, такого как второй узел 96. В результате задержка сети 90 на основе коммутационной матрицы и интерактивной видеосистемы 10 может быть минимизирована (например, чтобы быть меньше 5 микросекунд (мкс), меньше 3 мкс, меньше 1 мкс, меньше 0,5 мкс). Кроме того, узлы 96 сети 90 на основе коммутационной матрицы могут быть физически отличающимися (например, отдельными) друг от друга без причинения дополнительной задержки. Соответственно, в некоторых вариантах осуществления каждый из узлов 84 обработки может быть размещен на отдельном шасси 108. Например, первое шасси 108A может включать в себя узел 84A AI-обработки, второе шасси 108B может включать в себя узел 84B визуальной обработки, и третье шасси 108C может включать в себя узел 86 базы данных. Дополнительно, шасси 108 (например, 108A, 108B, 108C) могут быть удаленными друг от друга. Например, первое шасси 108A может быть размещено близко к зоне 16 активности и/или зоне 25 представления, в то время как второе шасси 108B может быть размещено в стороннем местоположении, которое удалено от зоны 16 активности и/или зоны 25 представления. Дополнительно или альтернативно, серия узлов 84 обработки, узлов 97 ввода и/или узлов 98 вывода может быть размещена на едином шасси 108 или на различающихся шасси, которые размещаются в общем местоположении (например, зоне управления интерактивной видеосистемы 10).
[0031] Узел 84 обработки и/или кластер (например, группа) узлов 84 обработки могут быть реализованы для решения некоторой задачи обработки. Соответственно, как обсуждалось выше, некоторые проиллюстрированные узлы 84 обработки могут включать в себя память 102 и/или процессор 104. Более конкретно, в некоторых вариантах осуществления процессор может быть реализован как центральный процессор (CPU) 104A и/или специализированный процессор, такой как тензорный процессор (TPU) 104B, графический процессор (GPU) 104C, векторный процессор (VPU) 104D, специализированная интегральная схема (ASIC) 104E, программируемая пользователем вентильная матрица (FPGA) 104F и/или т.п., оптимизированный для выполнения задачи обработки.
[0032] Соответственно, информация, такая как данные участника, собранная в узлах 97 ввода, может быть выборочно маршрутизирована набору узлов 84 обработки, реализованных для выполнения некоторой задачи с помощью этой информации. Например, узел 84A обработки искусственного интеллекта (AI), который может включать в себя TPU 104B и/или VPU 104D, может определять данные участника, собранные в узле 97 ввода путем доступа (например, считывания) к информации в одном из узлов 97 ввода через RDMA. В некоторых вариантах осуществления, например, узел 84A AI-обработки может строить модель участника, прогнозировать будущие действия, выполняемые участником 12, определять оппонента для показа участнику 12 и/или т.п. частично на основе собранных данных участника и набора логических вычислений. Кроме того, как описывается ниже, узел 84A AI-обработки может идентифицировать игровые действия участника на основе собранных данных участника и может определять один или более игровых эффектов, соответствующих игровым действиям. Дополнительно, узел 84B визуальной обработки, который может включать в себя GPU 104C, может определять выходной сигнал, побуждая устройство 24 отображения показывать и/или обновлять виртуальные образы 14 каждого из участников в виртуальной среде 32 частично на основе собранных данных участников и/или игровых эффектов. Кроме того, узел 84C аудиообработки может определять выходной сигнал, побуждая аудиоустройства 50 создавать конкретное звуковое стимулирующее воздействие частично на основе собранных данных участников и/или игровых эффектов. Дополнительно, узел 84D обработки физических эффектов может определять выходной сигнал, побуждая устройства 78 вывода создавать один или более физических эффектов, таких как обеспечение выброса воздуха, частично на основе собранных данных участников и/или игровых эффектов.
[0033] Дополнительно, в некоторых вариантах осуществления сеть 90 на основе коммутационной матрицы может включать в себя узел 84E обработки слияния, который может представлять узел 84 обработки, реализованный для обобщения (объединения) данных из множества источников. Например, в некоторых вариантах осуществления узел 84E обработки слияния может объединять собранные данные участников от воспринимающего блока 38 и RF-датчика 45, определяя положение участника. Кроме того, в некоторых вариантах осуществления узел 84E обработки слияния может объединять выходные данные, такие как множественные звуковые и/или визуальные сигналы, прежде чем они маршрутизируются на узлы 98 вывода, создаваемые одним или более устройствами вывода. Соответственно, в некоторых вариантах осуществления другие узлы 84 обработки могут принимать данные участников от узла 84E обработки слияния и/или могут выводить данные узлу 98 вывода через узел 84E обработки слияния.
[0034] Поскольку узлы 96 могут быть физически удалены друг от друга и поскольку раскрытая сеть 90 на основе коммутационной матрицы уменьшает задержку и поддерживает высокую пропускную способность передачи данных, интерактивная видеосистема 10 может быть легко масштабирована. Например, в некоторых вариантах осуществления для размещения дополнительных данных участников, которые могут быть добавлены дополнительными участниками 12, обработка может быть выгружена на дополнительные узлы 84 обработки. Более конкретно, дополнительные узлы 84 обработки могут быть добавлены в сеть 90 на основе коммутационной матрицы, чтобы размещать дополнительные данные участников. Кроме того, как обсуждено выше, любой из узлов 84 обработки может быть расположен удаленно от зоны 16 активности и/или зоны 25 представления. Соответственно, добавление дополнительных узлов обработки может не ограничиваться ресурсами (например, площадью и/или объемом) зоны 16 активности и/или зоны 25 представления, поскольку другое местоположение может размещать дополнительные узлы обработки.
[0035] Как проиллюстрировано дополнительно, сеть 90 на основе коммутационной матрицы может включать в себя избыточные межсоединения 94. Например, некоторые узлы 96 могут быть соединены с возможностью связи с несколькими коммутаторами 92 (например, коммутаторами 92A, 92B и/или 92C). Дополнительно или альтернативно, коммутатор 92A может быть соединен с возможностью связи с несколькими другими коммутаторами 92 (например, коммутаторами 92A, 92B или 92C). Соответственно, может быть сформировано несколько различных путей маршрутизации данных между коммутаторами и/или между узлами 96. Для этого сеть 90 на основе коммутационной матрицы может уменьшать число и/или предотвращать недоставляемые сообщения (например, пакеты данных), поскольку альтернативные пути маршрутизации могут быть использованы, когда первый путь маршрутизации является недоступным.
[0036] Кроме того, в то время как здесь иллюстрируется и описывается примерная топология (например, компоновка) сети 90 на основе коммутационной матрицы, можно понять, что сеть 90 на основе коммутационной матрицы может быть реализована с помощью любой подходящей топологии. Соответственно, в некоторых вариантах осуществления в сеть 90 на основе коммутационной матрицы может быть включено дополнительное или меньшее количество узлов 96. Например, как описано выше, сеть 90 на основе коммутационной матрицы может быть масштабирована с помощью набора дополнительных узлов 96, таких как любое подходящее число узлов 84 обработки, чтобы обеспечивать конкретную загрузку данных. Соответственно, в некоторых вариантах осуществления сеть 90 на основе коммутационной матрицы может включать в себя любое подходящее число узлов 84B визуальной обработки, чтобы обрабатывать больший объем визуальных и/или графических данных. Сеть 90 на основе коммутационной матрицы может включать в себя любое подходящее число узлов 84C аудиообработки, чтобы обрабатывать больший объем аудиоинформации, сеть 90 на основе коммутационной матрицы может включать в себя любое подходящее число узлов 84D обработки физических эффектов, чтобы обрабатывать любой подходящий объем данных физических эффектов, и/или т.п. Дополнительно или альтернативно, взаимосвязность сети 90 на основе коммутационной матрицы может быть модифицирована. Например, дополнительное или меньшее количество межсоединений 94 и/или коммутаторов 92 может быть включено в сеть 90 на основе коммутационной матрицы, чтобы маршрутизировать данные между узлами 96. Дополнительно, в то время как сеть 90 на основе коммутационной матрицы описывается здесь как сеть INFINIBAND®, сеть 90 на основе коммутационной матрицы может быть реализована согласно любому подходящему протоколу сети на основе коммутационной матрицы. Например, в некоторых вариантах осуществления сеть 90 на основе коммутационной матрицы может быть реализована с помощью возможности установления связи периферийных компонентов типа экспресс (PCIe) или другого подходящего стандарта высокоскоростной внутренней связи. Таким образом, варианты осуществления, описываемые здесь, предназначены быть иллюстративными, а не ограничивающими.
[0037] Пример процесса (способа) 110 работы интерактивной видеосистемы 10 описывается на фиг. 3 и обсуждается ниже со ссылкой на элементы на фиг. 1 и/или 2 в соответствии с настоящим методом. Можно понять, что в других вариантах осуществления некоторые этапы проиллюстрированного процесса 110 могут выполняться в другом порядке, многократно повторяться или полностью пропускаться в соответствии с настоящим раскрытием. Дополнительно, процесс 110, проиллюстрированный на фиг. 3, может выполняться узлами 96 сети 90 на основе коммутационной матрицы. Более конкретно, процесс 110 может выполняться с помощью подходящей комбинации узлов 97 ввода, узлов 98 вывода и/или узлов 84 обработки сети 90 на основе коммутационной матрицы.
[0038] Проиллюстрированный вариант осуществления процесса 110 начинается со сбора (этап 112) данных участников в узлах 97 ввода. В некоторых вариантах осуществления участники 12 могут быть просканированы или сформированы их изображения воспринимающими блоками 38, размещенными по зоне 16 активности. Дополнительно или альтернативно, сбор данных участников может включать определение RF-сигнала в RF-датчике 45. Например, в некоторых вариантах осуществления RF-датчик может определять уникально идентифицирующий RF-сигнал от носимого устройства 47, такого как браслет или головная повязка, имеющая метку радиочастотной идентификации (RFID), носимую каждым из участников 12. В ответ RF-датчик 45 может выдавать сигналы, касающиеся личности и относительных положений участников 12 в зоне 16 активности, которые могут захватываться из данных участников.
[0039] Продолжая примерный процесс 110, далее один или более узлов 84 обработки создают (этап 114) соответствующий виртуальный образ для каждого участника на основе, по меньшей мере частично, данных участников, собранных в узлах ввода. Например, в некоторых вариантах осуществления распределенная система 82 управления может маршрутизировать собранные данные сканирования от воспринимающих блоков 38 узлов 97 ввода к узлам 84 обработки через сеть 90 на основе коммутационной матрицы. Узлы 84 обработки могут использовать принятые данные сканирования в качестве основы для создания виртуального образа участника. Можно понять, что, в некоторых вариантах осуществления виртуальные образы 14 могут иметь форму или контур, который практически подобен теневой модели соответствующего участника, которая может быть создана узлами ввода (например, объемным датчиком 40) и/или в узлах 84 обработки частично на основе собранных данных участников. В дополнение к форме виртуальные образы 14 могут иметь другие свойства, которые могут быть модифицированы, чтобы соответствовать свойствам участника, образ которого представлен. Например, участник может быть ассоциирован с различными свойствами (например, элементами, статусами, очками, статистическими данными), которые отражают его деятельность в других игровых системах, его покупки в магазине подарков, его членство в программе лояльности и т.д. Соответственно, свойства (например, размер, цвет, текстура, анимации, присутствие виртуальных предметов) виртуального образа могут задаваться в ответ на различные свойства, ассоциированные с соответствующим участником, и дополнительно модифицироваться на основе изменений свойств участника во время игрового процесса. Например, в некоторых вариантах осуществления узлы 84 обработки могут запрашивать и/или принимать дополнительные данные участников, такие как вышеописанные свойства, от узла 86 базы данных, связанные с конкретным участником, частично на основе собранных данных участников, таких как сигналы, выдаваемые RF-датчиком 45. Узлы 84 обработки могут затем создавать виртуальный образ участника частично на основе дополнительных данных участника, предоставленных узлом 86 базы данных.
[0040] В некоторых вариантах осуществления распределенная система 82 управления может использовать любую подходящую комбинацию узлов 84 обработки для создания виртуального образа участника. Например, как обсуждено выше, узел 84E обработки слияния может объединять собранные данные участников от одного или более устройств ввода, таких как RF-датчик 45 и воспринимающие блоки 38. Частично на основе объединенных собранных данных участников узел 84B визуальной обработки может определять подходящий сигнал, чтобы отображать виртуальный образ через упомянутый дин или более узлов 98 вывода (например, на устройстве 24 отображения). Кроме того, для создания виртуального образа и/или предоставления дополнительной информации, используемой узлом 84B визуальной обработки для создания виртуального образа, могут быть применены узел 86 базы данных, узел 84A AI-обработки и/или любые дополнительные узлы 84 обработки. Для этого, как описано выше, задачи обработки, связанные с реализацией интерактивной видеосистемы 10, могут быть распределены между одним или более узлами 84 обработки, которые могут быть специализированы и/или оптимизированы для выполнения конкретных задач обработки.
[0041] Проиллюстрированный процесс 110 продолжается тем, что интерактивная видеосистема 10 выводит (например, представляет) (этап 116), с помощью узлов 98 вывода, соответствующие виртуальные образы 14 каждого из участников. Например, в некоторых вариантах осуществления распределенная система 82 управления может маршрутизировать виртуальные образы 14 от упомянутых одного или более узлов 84 обработки к одному или более узлам 98 вывода через сеть 90 на основе коммутационной матрицы, и узлы 98 вывода могут отображать принятые виртуальные образы в виртуальной среде 32 на устройстве 24 отображения. В дополнение к представлению виртуальных образов, в некоторых вариантах осуществления действия на этапе 118 могут также включать в себя представление, с помощью одного или более узлов 98 вывода, других вступительных представлений, таких как приветственное сообщение или информация об ориентации/инструкциях, участникам 12 в зоне 25 представления перед началом игрового процесса.
[0042] После начала игрового процесса виртуальные образы 14, созданные на этапе 114 и представленные на этапе 116, способны взаимодействовать друг с другом и/или с виртуальными объектами в виртуальной среде 32. Во время игрового процесса упомянутые один или более узлов 84 обработки в общем определяют (этап 118) игровые действия каждого из участников 12 в зоне 16 активности на основе собранных данных участников. Например, игровые действия могут включать в себя прыжок, бег, скольжение или иное движение виртуальных образов 14 в виртуальной среде 32. Игровые действия могут также включать в себя взаимодействие с (например, перемещение, получение, потерю, потребление) предметом, таким как виртуальный объект в виртуальной среде 32. Дополнительно или альтернативно, участники 12 могут перемещаться, выполнять броски, пробираться и/или карабкаться по физическому реквизиту (например, мячу, игрушке, игровому комплексу и/или т.п.), который может содержаться в зоне 16 активности и/или быть куплен в магазине подарков, производя игровые действия. Игровые действия могут также включать в себя завершение задачи, нанесение поражения другому участнику, победу в раунде или другие подобные игровые действия. Соответственно, собранные данные участников могут включать в себя данные, относящиеся к действиям участников 12, размещенных в зоне 16 активности. Таким образом, например, сбор (этап 112) данных участников может дополнительно включать сбор данных от других устройств (например, RF-датчика 45, устройств 76 ввода) для захвата игровых действий участников 12. Соответственно, в некоторых вариантах осуществления узлы 97 ввода могут продолжать захватывать данные участников во время игрового процесса.
[0043] Дополнительно, упомянутые один или более узлов 84 обработки могут определять игровые эффекты, соответствующие этим игровым действиям. Например, узел 84A AI-обработки может определять игровые эффекты, соответствующие конкретным игровым правилам, инициируемым и/или ассоциируемым с игровыми действиями участников 12. Кроме того, в нескольких вариантах осуществления некоторые вычисления, включенные в определение игровых эффектов, могут быть выгружены в дополнительные узлы 84 обработки, такие как дополнительный узел 84A AI-обработки. Кроме того, в некоторых вариантах осуществления распределенная система 82 управления может определять подходящие сигналы для задания или модификации параметров виртуальной среды 32 в зоне 25 представления частично на основе игровых действий участников. Например, как описывается более подробно ниже, модификации могут включать в себя регулировку яркости и/или цвета освещения дома, воспроизведение музыки в игре или звуковых эффектов игры, регулировку температуры зоны активности, активизацию физических эффектов в зоне активности и т.д.
[0044] Распределенная система 82 управления в общем обновляет (этап 120) с помощью узлов 98 вывода соответствующие виртуальные образы 14 участников 12 и/или виртуальной среды 32 на основе игровых действий участников 12 в зоне 16 активности и соответствующих игровых эффектов, определенных на этапе 118. Например, распределенная система 82 управления может с помощью RDMA непосредственно обновлять данные, сохраненные в памяти первого узла (например, в одном или более узлах 98 вывода) на основе данных, сохраненных в памяти второго узла (например, в узле 84B визуальной обработки, узле 84C звуковой обработки, узле 84D обработки физических эффектов, узле 84A AI-обработки и/или т.п.). Узлы 98 вывода могут затем подавать подходящие управляющие сигналы на ассоциированные устройства вывода (например, аудиоустройства 50, устройство 24 отображения, устройства 78 вывода), чтобы обновлять виртуальную среду 32 (например, обновлять представление в зоне 25 представления) на основе принятых сигналов. Как указано стрелкой 122, один или более этапов (например, этап 118 и/или этап 120), включенные в процесс 110, могут повторяться до завершения игрового процесса, например, вследствие того, что один из участников 12 побеждает в раунде игрового процесса, или вследствие истечения выделенного времени игрового процесса.
[0045] Фиг. 4 является примерным вариантом осуществления процесса 140 определения игровых эффектов, соответствующих игровым действиям каждого из участников 12, согласно этапу 118 по фиг. 3, в соответствии с настоящим методом. Процесс 140 описывается ниже со ссылкой на элементы по фиг. 1 и 2. Дополнительно, можно понять, что в других вариантах осуществления некоторые этапы проиллюстрированного процесса 140 могут выполняться в другом порядке, многократно повторяться или полностью пропускаться в соответствии с настоящим раскрытием. В общем процесс 140 включает в себя идентификацию игровых действий участников, определение игровых эффектов на основе этих идентифицированных игровых действий и обновление представления виртуальной среды в зоне активности на основе определенных игровых эффектов. Кроме того, в то время как процесс 140, проиллюстрированный на фиг. 4, описывается здесь как выполняемый конкретными узлами (например, одним или более узлами 84 обработки) распределенной системы 82 управления, процесс 140 может выполняться любой подходящей комбинацией узлов 96 распределенной системы 82 управления.
[0046] Проиллюстрированный процесс 140 начинается с того, что один или более узлов 84 обработки распределенной системы 82 управления (например, узел 84A AI-обработки) идентифицирует (этап 142) одно или более игровых действий соответствующих виртуальных образов 14 каждого участника 12 на основе, по меньшей мере частично, собранных данных участников. Например, игровые действия могут включать в себя прыжок, бег, скольжение или иное перемещение виртуальных образов 14 в виртуальной среде 32. Соответственно, упомянутые один или более узлов 84 обработки могут идентифицировать игровые действия частично на основе данных, принятых от узлов 97 ввода (например, от воспринимающих блоков 38, RF-датчика 45, устройств 76 ввода и/или т.п.), реализованных для захвата игровых действий участников 12.
[0047] Далее, проиллюстрированный процесс 140 продолжается тем, что один или более узлов 84 обработки (например, узел 84A AI-обработки) определяют (этап 144) один или более игровых эффектов, инициированных в ответ на идентифицированные игровые действия каждого из участников 12. Например, когда определенное игровое действие является перемещением участника, тогда игровой эффект может быть соответствующим изменением в положении соответствующего виртуального образа в виртуальной среде. Когда определенное игровое действие является прыжком, игровой эффект может включать в себя перемещение виртуального образа по y-оси 20, как проиллюстрировано на фиг. 1. Когда определенное игровое действие является активизацией конкретного предмета усиления, тогда игровой эффект может включать в себя модификацию статуса (например, статуса здоровья, статуса мощности (силы)), ассоциированного с участниками 12. Когда определенное игровое действие, ассоциированное с участником 12A, является использованием физического реквизита, такого как пенопластовый меч, в зоне 16 активности, игровой эффект может включать в себя обновление виртуального образа участника 12A в виртуальной среде 32, чтобы включать виртуальный образ, соответствующий физическому реквизиту, такому как виртуальный меч. Дополнительно, в некоторых случаях перемещения виртуальных образов 14 могут быть акцентированы или усилены относительно фактических перемещений участников 12. Например, как обсуждено выше относительно модификации внешнего вида виртуального образа, перемещения виртуального образа участника могут быть временно или постоянно преувеличенными (например, способность прыгать выше, способность прыгать дальше) относительно фактических движений участника на основе свойств, ассоциированных с участником, включая предметы, полученные во время игрового процесса, предметы, полученные во время других сеансов игрового процесса, предметы, купленные в магазине подарков, и т.д. Дополнительно, игровые эффекты могут включать в себя один или более звуков и/или физических эффектов.
[0048] Продолжая с вариантом осуществления, проиллюстрированным на фиг. 4, распределенная система 82 управления может определять подходящие сигналы, соответствующие одному или более звукам (этап 146), визуальным эффектам (этап 148) и/или одному или более физическим эффектам (этап 150) в зоне 25 представления на основе, по меньшей мере частично, игровых эффектов, определенных на этапе 144. Например, когда игровой эффект определяется как конкретный виртуальный образ участника, падающего с грохотом в виртуальный плавательный бассейн, узел 84C аудиообработки может определять подходящий сигнал, побуждающий аудиоустройства, ассоциированные с упомянутыми одним или более узлами 98 вывода (например, аудиоустройства 50), создавать подходящие звуки брызг. Дополнительно, узел 84B визуальной обработки может определять визуальные эффекты, такие как обновленный визуальный образ участника, для представления в одном или более узлах 98 вывода (например, в устройстве 24 отображения). В некоторых вариантах осуществления узел 84B визуальной обработки может использовать серию GPU 104C, которые могут быть рядом или физически удалены друг от друга, чтобы определять визуальные эффекты. Кроме того, узел 84D обработки физических эффектов может определять подходящие сигналы, побуждая узлы 98 вывода и ассоциированные устройства 78 вывода создавать поток тумана. Дополнительно, звуки и/или физические эффекты могут быть созданы в ответ на любое число игровых эффектов, в том числе, например, на увеличение силы, потерю силы, подсчет очков или перемещение через конкретные типы сред.
[0049] Технические эффекты настоящего подхода включают в себя интерактивную видеосистему, которая предоставляет возможность нескольким участникам (например, двум или более, четырем или более) выполнять действия в зоне физической активности, управляя соответствующими виртуальными образами в виртуальной среде, представленной на устройстве отображения зоны представления рядом с зоной активности. Более конкретно, система может создавать интерактивные впечатления в режиме реального времени, которые являются плавными и реагирующими на взаимодействие участников, и система может также эффективно масштабироваться, обеспечивая большее число участников, более высокую пропускную способность обработки данных и/или т.п. Таким образом, раскрытая система включает в себя распределенную систему управления, реализованную в сети на основе коммутационной матрицы. Сеть на основе коммутационной матрицы соединяет серию узлов, таких как узлы ввода (например, устройства ввода), узлы вывода (например, устройства вывода) и узлы обработки (например, вычислительные устройства). Дополнительно, сеть на основе коммутационной матрицы может обеспечивать широкополосную связь с низкой задержкой, а также удаленный прямой доступ к памяти (RDMA), между своими узлами. В результате связи с низкой задержкой и поскольку узлы обработки могут включать в себя специализированные процессоры, оптимизированные для выполнения конкретных вычислительных задач, операции, связанные с управлением системой, могут быть распределены между серией узлов обработки и/или специализированных процессоров для более быстрой обработки. Кроме того, поскольку сеть на основе коммутационной матрицы может размещать узлы обработки в физически раздельных местоположениях (например, на отдельных шасси), дополнительные узлы обработки могут быть эффективно добавлены в сеть в или за пределами системы, увеличивая масштабируемость системы.
[0050] Хотя здесь проиллюстрированы и описаны только некоторые признаки настоящего метода, специалистам в данной области техники придут в голову различные модификации и изменения. Следовательно, необходимо понимать, что прилагаемая формула изобретения предназначена для охвата всех таких модификаций и изменений, которые попадают в пределы истинной сущности настоящего метода. Дополнительно, методы, представленные и заявленные здесь, упоминаются и применяются к материальным объектам и конкретным примерам практического характера, которые очевидно улучшают настоящую область техники и, по сути, не являются абстрактными, нематериальными или чисто теоретическими. Дополнительно, если какие-либо пункты формулы изобретения, прилагаемой в конце этого описания изобретения, содержат один или более элементов, обозначенных в качестве «средства для (выполн)ения (функции) …» или «этапа для (выполн)ения (функции) …», подразумевается, что такие элементы должны интерпретироваться в соответствии с п. 35 статьи 112(f) Свода Законов США. Тем не менее, для любых пунктов формулы изобретения, содержащих элементы, обозначенные любым другим образом, подразумевается, что такие элементы не должны интерпретироваться в соответствии с п. 35 статьи 112(f) Свода Законов США.
1. Распределенная система управления интерактивной видеосистемы, содержащая:
сеть на основе коммутационной матрицы, соединяющая множество узлов, при этом сеть на основе коммутационной матрицы содержит:
узел ввода из упомянутого множества узлов, при этом узел ввода содержит воспринимающий блок, выполненный с возможностью собирать данные сканирования для участника интерактивной видеосистемы;
первый набор узлов обработки из упомянутого множества узлов, при этом первый набор узлов обработки выполнен с возможностью создавать виртуальный образ участника на основе, по меньшей мере частично, данных сканирования участника, при этом узел ввода соединен с возможностью связи с первым набором узлов обработки через первый коммутатор сети на основе коммутационной матрицы; и
узел вывода из упомянутого множества узлов, при этом узел вывода содержит устройство вывода, выполненное с возможностью представлять виртуальный образ участника в виртуальной среде, при этом узел вывода соединен с возможностью связи с узлом ввода через второй коммутатор сети на основе коммутационной матрицы.
2. Распределенная система управления по п. 1, при этом сеть на основе коммутационной матрицы реализована с использованием возможности установления связи взаимодействия периферийных компонентов типа экспресс (PCIe).
3. Распределенная система управления по п. 1, при этом сеть на основе коммутационной матрицы содержит второй набор узлов обработки из упомянутого множества узлов, при этом второй набор узлов обработки выполнен с возможностью определять один или более игровых эффектов для участника на основе, по меньшей мере частично, данных сканирования участника.
4. Распределенная система управления по п. 3, при этом узел вывода выполнен с возможностью обновлять виртуальную среду на основе, по меньшей мере частично, упомянутых одного или более игровых эффектов, определенных вторым набором узлов обработки.
5. Распределенная система управления по п. 3, при этом первый набор узлов обработки размещен в пределах первого шасси, а второй набор узлов обработки размещен в пределах второго шасси, отличного от первого шасси.
6. Распределенная система управления по п. 1, при этом первый набор узлов обработки содержит центральный процессор (CPU), тензорный процессор (TPU), графический процессор (GPU), векторный процессор (VPU), специализированную интегральную схему (ASIC), программируемую пользователем вентильную матрицу (FPGA) или их комбинацию.
7. Распределенная система управления по п. 1, при этом первый набор узлов обработки выполнен с возможностью осуществлять доступ к узлу ввода через удаленный прямой доступ к памяти (RDMA).
8. Распределенная система управления по п. 1, при этом данные сканирования содержат модель участника, данные об игровых действиях участника, идентификацию участника или их комбинацию.
9. Распределенная система управления по п. 1, при этом воспринимающий блок содержит камеру глубины, устройство лазерного обнаружения и измерения дальности (LIDAR) или их комбинацию, и при этом устройство вывода содержит устройство отображения, выполненное с возможностью отображать виртуальную среду участнику.
10. Способ работы интерактивной видеосистемы, содержащий этапы, на которых:
собирают, в узле ввода из множества узлов в сети на основе коммутационной матрицы распределенной системы управления интерактивной видеосистемы, данные сканирования для участника интерактивной видеосистемы;
создают, в первом наборе узлов обработки из упомянутого множества узлов, виртуальный образ участника на основе, по меньшей мере частично, данных сканирования участника, при этом первый набор узлов обработки соединен с возможностью связи с узлом ввода через первый коммутатор сети на основе коммутационной матрицы;
представляют, с помощью узла вывода из множества узлов, виртуальный образ участника в виртуальной среде, при этом узел вывода соединен с возможностью связи с узлом ввода через второй коммутатор сети на основе коммутационной матрицы;
определяют, во втором наборе узлов обработки из упомянутого множества узлов, набор игровых эффектов на основе, по меньшей мере частично, данных сканирования для участника; и
обновляют, с помощью узла вывода, виртуальную среду на основе, по меньшей мере частично, набора игровых эффектов.
11. Способ по п. 10, при этом определение набора игровых эффектов на основе, по меньшей мере частично, данных сканирования для участника содержит этапы, на которых:
идентифицируют, в первом узле обработки из второго набора узлов обработки, игровое действие участника на основе, по меньшей мере частично, данных сканирования участника;
определяют, во втором узле обработки из второго набора узлов обработки, игровой эффект, соответствующий игровому действию;
определяют, в третьем узле обработки из второго набора узлов обработки, аудиоэффект, соответствующий игровому эффекту;
определяют, в четвертом узле обработки из второго набора узлов обработки, визуальный эффект, соответствующий игровому эффекту; и
определяют, в пятом узле обработки из второго набора узлов обработки, физический эффект, соответствующий игровому эффекту.
12. Способ по п. 10, содержащий этапы, на которых:
собирают, в узле ввода, дополнительные данные сканирования для участника;
объединяют, в третьем наборе узлов обработки из упомянутого множества узлов, дополнительные данные сканирования с данными сканирования с созданием объединенных данных сканирования для участника; и
создают, в узле вывода, виртуальный образ участника на основе, по меньшей мере частично, объединенных данных сканирования участника.
13. Способ по п. 10, содержащий этапы, на которых:
принимают, в первом наборе узлов обработки, дополнительные данные сканирования для участника от узла базы данных из упомянутого множества узлов; и
создают, в первом наборе узлов обработки, виртуальный образ участника на основе, по меньшей мере частично, данных сканирования и дополнительных данных сканирования для участника.
14. Интерактивная видеосистема, содержащая:
распределенную систему управления, содержащую сеть на основе коммутационной матрицы, соединяющую множество узлов, при этом множество узлов содержит:
узел ввода, содержащий воспринимающий блок, выполненный с возможностью собирать данные сканирования для участника интерактивной видеосистемы;
набор узлов обработки, соединенных с возможностью связи с узлом ввода через сеть на основе коммутационной матрицы, при этом набор узлов обработки выполнен с возможностью:
создавать виртуальный образ для участника на основе, по меньшей мере частично, данных сканирования для участника; и
определять набор игровых эффектов на основе данных сканирования для участника, при этом данные сканирования содержат одно или более игровых действий для участника; и
узел вывода, соединенный с возможностью связи с узлом ввода и набором узлов обработки через сеть на основе коммутационной матрицы, при этом узел вывода содержит набор устройств вывода, выполненных с возможностью:
представлять виртуальный образ участника в виртуальной среде; и
обновлять виртуальную среду на основе, по меньшей мере частично, набора игровых эффектов.
15. Интерактивная видеосистема по п. 14, при этом набор игровых эффектов содержит визуальный эффект, физический эффект, аудиоэффект или их комбинацию в виртуальной среде.
16. Интерактивная видеосистема по п. 14, при этом узел ввода содержит интерфейсную панель, при этом интерфейсная панель содержит множество устройств ввода, выполненных с возможностью принимать ввод, соответствующий упомянутым одному или более игровым действиям, от участника.
17. Интерактивная видеосистема по п. 14, при этом узел ввода содержит радиочастотный (RF) датчик, и при этом данные сканирования содержат данные, указывающие личность, местоположение или их комбинацию, собранные в RF-датчике для участника.
18. Интерактивная видеосистема по п. 14, при этом упомянутый набор узлов обработки соединен с возможностью связи с узлом ввода через первый коммутатор сети на основе коммутационной матрицы, и при этом узел вывода соединен с возможностью связи с узлом ввода через второй коммутатор и соединен с возможностью связи с упомянутым набором узлов обработки через третий коммутатор сети на основе коммутационной матрицы.
19. Интерактивная видеосистема по п. 14, при этом упомянутое множество узлов содержит дополнительный узел ввода, содержащий дополнительный воспринимающий блок, выполненный с возможностью собирать соответствующие данные сканирования для каждого из множества участников интерактивной видеосистемы.
20. Распределенная система управления по п. 1, при этом воспринимающий блок выполнен с возможностью собирать данные сканирования участника путем измерения внешних поверхностей участника, и при этом устройство вывода выполнено с возможностью представлять виртуальный образ участника путем отображения виртуального образа в виртуальной среде.
