Системы и способы для иммерсивного взаимодействия с действительными и/или имитируемыми техническими средствами для управления технологическим процессом, контроля состояния окружающей среды и производственного контроля

Изобретение относится к цифровой обработке данных. Технический результат заключается в усовершенствовании систем и способов для цифровой обработки данных. Система включает в себя первое функциональное средство, которое генерирует выходные данные, представляющие рабочее состояние управляемого оборудования, а также второе функциональное средство, которое генерирует выходные данные, представляющие рабочее состояние одного или более из управляющих устройств. Осуществляется согласование первого со вторым функциональным средством, чтобы генерировать рабочее состояние окружающей среды управления. Окружающая среда в виртуальной реальности реагирует на пользовательское взаимодействие с одним или более устройствами ввода для генерирования трехмерного отображения, чтобы позволить пользователю взаимодействовать или с управляющими устройствами, или с управляемым оборудованием, которые представлены трехмерным отображением окружающей среды управления. Подсистема обращается к признакам этих взаимодействий, или от первого или от второго функционального средства, чтобы уловить получаемые в результате изменения рабочего состояния окружающей среды управления. Она применяет признаки этих изменений к окружающей среде в виртуальной реальности для осуществления соответствующего видоизменения в трехмерном отображении окружающей среды управления, т.е. видоизменения, свидетельствующего о получаемом в результате изменении в окружающей среде управления. 4 н. и 26 з.п. ф-лы, 5 ил.

 

Ссылка на родственные заявки

Настоящая заявка заявляет права на преимущество приоритета по отношению к Предварительной Заявке на Патент США Серийный №61/074,472, поданной 20 июня 2008 года, озаглавленной "Иммерсивный учебный имитатор" и к предварительной заявке на патент США серийный №61/155,160, поданной 25 февраля 2009 года, озаглавленной "Системы и способы для иммерсивного взаимодействия с действительными и/или имитируемыми техническими средствами для управления технологическим процессом, контроля состояния окружающей среды и производственного контроля".

Уровень техники

Настоящее изобретение имеет отношение к цифровой обработке данных и, конкретнее, в качестве неограничивающего примера, к иммерсивному (с эффектом присутствия) взаимодействию с действительными и имитируемыми окружающими средами. Настоящее изобретение находит применение, например, в обучении эксплуатации, техническому обслуживанию и реагированию на аварийные ситуации для предприятий и других технических средств, задействующих управление технологическим процессом, контроль состояния окружающей среды или иной промышленный и/или. непромышленный контроль.

Технические средства, зависящие от методов управления технологическим процессом, контроля состояния окружающей среды, производственного контроля, а также от других методов управления, становятся все более и более сложными. Сюда входят занимающие большую площадь сборочные предприятия, фармацевтические фабрики, нефтеочистительные заводы, электростанции и другие крупные промышленные объекты эксплуатации. Также сюда входят небоскребы и другие комплексы зданий с запутанной системой энергоснабжения, климатической установкой, средствами перемещения людей, и другие "предприятия" с объектами инфраструктуры. Эти и другие технические средства, которые опираются на "управление" или "системы управления" для контролирования их характеристик и тем самым для гарантии того, что выпуск продукции, обработка, качество и/или эффективность остаются в желаемых пределах с течением времени.

Эти системы могут включать в себя множество компонентов, от полевых устройств и контроллеров до рабочих станций и другой, более мощной аппаратуры цифровой обработки данных, функции которых могут перекрываться. Полевые устройства включают в себя датчики температуры, расхода и другие датчики, которые измеряют характеристики рассматриваемого устройства, технологического процесса или системы. Они также включают в себя вентили и другие приводы, которые механически, при помощи электричества, магнитных свойств или иным образом осуществляют требуемое управление. Контроллеры генерируют установочные параметры для управляющих устройств, основываясь на результатах измерений от полевых устройств с датчиками. Работа контроллера, как правило, основывается на "алгоритме управления", который поддерживает управляемую систему на должном уровне или доводит ее до этого уровня, сводя к минимуму различия между значениями, измеренными датчиками и, например, заданным значением, определяемым оператором. Рабочие станции, станции управления и т.п., как правило, используются для настройки и контролирования технологического процесса в целом. Они также часто используются для исполнения управления технологическим процессом на более высоких уровнях, например, координируя работу групп контроллеров и реагируя на аварийную ситуацию, возникающую в них.

Один или более из этих компонентов системы управления могут включать в себя программные и/или аппаратные логические схемы, чтобы контролировать характеристики технических средств, которыми они управляют, и автоматически корректировать их рабочие параметры для гарантии выполнения этих ограничений. Другие отображают сигналы тревоги или другие признаки характеристик, оставляя ответственность за корректировку на операторах предприятия или других сотрудниках.

На нефтеперерабатывающем заводе, например, тысячи контроллеров, физически распределенных по площадям предприятия, могут контролировать и приводить в действие десятки тысяч датчиков, приводов и других полевых устройств, для транспортировки сырья, в том числе сырой нефти, для переработки. Контроллеры, в свою очередь, координируются рабочими станциями и более мощным оборудованием для цифровой обработки данных, чтобы перемещать требуемые объемы сырой нефти с требуемой скоростью к имеющимся котлам и дистилляционным колоннам. Полевые устройства в таких котлах и колоннах, и вокруг них, контролируют параметры обработки, чтобы максимально увеличить получение дистиллята и переместить полученные в результате бензин, дизельное топливо и другие попутные продукты для дальнейшей переработки. Сотрудники предприятия осуществляют контролирование и управление этими операциями с рабочих станций в центральном пункте управления и стратегически расположенных станций управления. Они также производят очень частые контрольные обходы очистительного завода для текущего обследования, корректировки и технического обслуживания оборудования. В случае аварийной ситуации, аварийно-спасательные бригады выполняют ручную и механическую блокировку автоматической системы управления, одновременно спасая тех, кто находится в опасности.

Идет ли речь о нефтеперерабатывающем заводе, сборочном предприятии или другом сложном техническом объекте, обучение персонала задачам эксплуатации и технического обслуживания может быть очень дорогостоящим, особенно, принимая во внимание запутанность, привносимую и налагаемую базовыми методами управления технологическим процессом, контроля состояния окружающей среды, производственного контроля, а также другими методами управления. Эти расходы усугубляются, если учитывать обучение сотрудников аварийно-спасательных служб, часть из которых могут почти не иметь повседневного близкого контакта с техническим объектом. В дополнение к обучению, имеются значительные дополнительные расходы для расстановки персонала по "рабочим местам", чтобы проводить контрольные обходы для регулярного контролирования, технического обслуживания и тому подобного.

Задача настоящего изобретения состоит в предоставлении усовершенствованных систем и способов для цифровой обработки данных.

Связанной задачей является предоставление таких систем и способов для иммерсивного взаимодействия с действительными и имитируемыми окружающими средами.

Еще одной связанной задачей является предоставление таких систем и способов для использования при эксплуатации, техническом обслуживании и реагировании на аварийные ситуации.

Другой подобной связанной задачей является предоставление таких систем и способов, которые могут использоваться в обучении персонала для эксплуатации, технического обслуживания и реагирования на аварийные ситуации.

Кроме того, еще одной связанной задачей является предоставление таких систем и способов, которые могут использоваться в технических средствах, задействующих управление технологическим процессом, контроль состояния окружающей среды или иной промышленный и/или непромышленный контроль.

И еще одной связанной задачей является предоставление таких систем и способов, которые снижают затраты, связанные с эксплуатацией, техническим обслуживанием и реагированием на аварийные ситуации и/или с обучением персонала для этого.

Раскрытие изобретения

Вышеизложенное входит в число задач, решаемых с помощью настоящего изобретения, которое предоставляет в некоторых аспектах системы для взаимодействия с окружающей средой управления, которая включает в себя управляемое оборудование наряду с управляющими устройствами, которые осуществляют контроль и управление этим управляемым оборудованием. Согласно некоторым из этих аспектов такая система включает в себя первое функциональное средство, которое генерирует выходные данные, представляющие рабочее состояние управляемого оборудования, а также второе функциональное средство, которое генерирует выходные данные, представляющие рабочее состояние одного или более из управляющих устройств. Механизм осуществляет согласование первого функционального средства со вторым функциональным средством, чтобы генерировать рабочее состояние окружающей среды управления.

Окружающая среда в виртуальной реальности генерирует, в зависимости от этого рабочего состояния и одного или более физических аспектов окружающей среды управления, трехмерное отображение окружающей среды управления. Окружающая среда в виртуальной реальности реагирует на пользовательское взаимодействие с одним или более устройствами ввода для генерирования такого трехмерного отображения, чтобы позволить пользователю взаимодействовать, с по меньшей мере управляющими устройствами и управляемым оборудованием, по меньшей мере, которые представлены трехмерным отображением окружающей среды управления. Механизм обращается к по меньшей мере первому и второму функциональным признака этих взаимодействий, по меньшей мере, или от первого или от второго функционального средства, чтобы распознать получаемые в результате изменения рабочего состояния окружающей среды управления. Она применяет признаки этих изменений к окружающей среде в виртуальной реальности для осуществления соответствующего видоизменения в трехмерном отображении окружающей среды управления, т.е. видоизменения, свидетельствующего о получаемом в результате изменении в окружающей среде управления.

Окружающая среда в виртуальной реальности согласно аспектам настоящего изобретения отображает окружающую среду управления, как участник видел бы ее в действительности, т.е., как если бы он/она действительно находился там. В результате, системы согласно настоящему изобретению позволяют пользователю почувствовать, через посредство трехмерного отображения окружающей среды управления, взаимодействие с окружающей средой управления, которая может быть действительной или имитируемой, и перемещение по ней (например, "контрольный обход"). Они могут использоваться, чтобы осуществлять контролирование и управление рабочими параметрами окружающей среды и содействовать обучению персонала предприятия или другого персонала, например, специалистов оперативного реагирования или другого персонала, обеспечивающего безопасное проведение работ.

Дополнительные аспекты настоящего изобретения предоставляют системы, например, которые описаны выше, в которых физические аспекты окружающей среды управления отражаются в базе данных САПР/АСУП и/или в полученном посредством лазерного сканирования трехмерном изображении, по меньшей мере, части окружающей среды управления, т.е., одного или более из элементов управляемого оборудования и/или управляющих устройств. В связанных аспектах настоящего изобретения, эти физические аспекты могут отражаться в нескольких двумерных изображениях, по меньшей мере, части окружающей среды управления. Это может быть, например, база данных, вмещающая сотни или тысячи изображений предприятия, которое включает в себя управляемое оборудование и/или управляющие устройства, и в некоторых аспектах настоящего изобретения предусматривается функциональное средство для генерирования трехмерного представления окружающей среды управления на основании этих изображений.

Третьи аспекты настоящего изобретения предоставляют системы, которые описаны выше, в которых окружающая среда в виртуальной реальности дополняет трехмерное отображение окружающей среды управления при помощи (i) наложения графических изображений на представления одного или более из элементов управляемого оборудования и/или одного или более из управляющих устройств, и/или (ii) видоизменения представляющих отображений управляемого оборудования, управляющих устройств и/или других объектов, чтобы дать пользователю ощущение возможности смотреть вовнутрь, насквозь и/или вокруг них.

Наложенные графические изображения, которые могут включать в себя, например, графики, уравнения и другие наглядные представления данных, могут основываться на имитируемых и/или действительных рабочих данных касательно управляемого оборудования и/или управляющих устройств. Наложенные графические изображения также могут включать в себя фото и/или видео изображения, полученные с помощью стационарных или подвижных камер (включающих в себя, в качестве неограничивающего примера, фото и видео камеры, являющиеся составной частью подвижных телефонов, карманных персональных компьютеров, или КПК, и других подобных устройств, которые могут переноситься персоналом в окружающей среде управления или вокруг нее.

Видоизмененные представляющие отображения могут, точно так же, основываться на подобных имитируемых и/или действительных рабочих данных, например, представляющих внутренние работы и/или "незаметную" работу управляющих устройств, управляемого оборудования (и материалы, которые они обрабатывают).

Преимуществами системы согласно вышеизложенным (и другим) аспектам настоящего изобретения является их способность генерировать трехмерные отображения окружающей среды управления, которые не только дают представление о поведении управляемого оборудования и/или управляющих устройств, но делают это согласованно с действительным или имитируемым параметром окружающей среды управления.

В других аспектах настоящее изобретение предоставляет системы, которые описаны выше, в которых первое и/или второе функциональное средство связываются с какой-либо из базы данных конфигураций и моделирования (базы данных "конфигураций"), базы данных приложений и базы данных рабочего цикла. Такая база данных конфигураций может включать в себя, например, одну или более стратегии управления для одного или более из элементов управляемого оборудования и/или управляющих устройств. Базы данных приложения и/или рабочего цикла могут включать в себя, например, имитируемые и/или действительные текущие рабочие данные для управляемого оборудования и/или управляющих устройств. Эти база(ы) данных могут включать в себя, в качестве альтернативы или дополнительно, имитируемые и/или действительные архивные рабочие данные для устройств и/или оборудования.

Кроме того, в других аспектах первое функциональное средство включает в себя программное обеспечение для динамического имитационного моделирования или другое функциональное средство, которое имитирует работу одного или более из элементов управляемого оборудования. Такое программное обеспечение имитационного моделирования может быть, например, решающей программой или другой системой для решения математических систем уравнений.

В связанных аспектах настоящего изобретения второе функциональное средство содержит программное обеспечение или другое функциональное средство, которое имитирует работу одного или более из управляющих устройств.

Еще одни аспекты настоящего изобретения предоставляют системы, которые описаны выше, которые дополнительно включают в себя рабочую станцию в центральном пункте управления или другое устройство для цифровой обработки данных, которое осуществляет контроль и/или управление пользовательским взаимодействием с управляющими устройствами и/или управляемым оборудованием, которые представлены в трехмерном отображении окружающей среды управления. Такая рабочая станция может использоваться, например, администратором, инструктором по обучению, слушателем учебных курсов или другим лицом. В этой связи, устройство для цифровой обработки данных в центральном пункте управления может быть выполнено с возможностью позволить своим пользователям видеть результаты взаимодействия между пользователями окружающей среды в виртуальной реальности применительно, к по меньшей мере, управляющим устройствам и управляемому оборудованию, например, которые представлены трехмерным отображением. Аналогично, окружающая среда в виртуальной реальности может быть выполнена с возможностью позволить своим пользователям видеть результаты действий со стороны пользователей устройства для цифровой обработки данных в центральном пункте управления, опять же, например, применительно, к по меньшей мере управляющим устройствам и к управляемому оборудованию, например, которые представлены трехмерным отображением.

Дополнительные аспекты настоящего изобретения предоставляют способы для эксплуатации и использования систем, которые описаны выше.

Эти и другие аспекты настоящего изобретения наглядно представлены на чертежах и в последующем описании.

Краткое описание чертежей

Более полное понимание настоящего изобретения может быть достигнуто в результате обращения к чертежам, на которых

Фиг.1 изображает такую окружающую среду, с которой применяются на практике системы и способы настоящего изобретения;

Фиг.2-3 изображают систему согласно настоящему изобретению для иммерсивного взаимодействия с такой окружающей средой, как показанная на Фиг.1;

Фиг.4А-4В изображают различные отображения, генерируемые системами согласно настоящему изобретению, с дополненным отображением управляемого оборудования и/или управляющих устройств.

Осуществление изобретения

Фиг.1 изображает такую окружающую среду 5, с которой применяются на практике системы и способы настоящего изобретения. Показанная окружающая среда, которая целиком или частично может быть действительной или имитируемой, содержит систему 10 управления и техническое средство, управляемое этой системой 10.

Это техническое средство представляется, в данном документе, обрабатывающими станциями 20a-20d, и т.д., такими, как используются на фармацевтической фабрике, хотя в других вариантах осуществления техническое средство может быть сборочным предприятием, нефтеочистительным заводом, электростанцией или другим промышленным или непромышленным объектом эксплуатации (таким, как, в качестве неограничивающего примера, комплекс зданий), которые опираются на управление, чтобы контролировать характеристики управляемого оборудования, материалов или чего-то другого, обрабатываемого им, технологические процессы, при помощи которых они обрабатываются, и/или сами элементы системы 10 управления, чтобы гарантировать, что выпуск продукции, обработка, качество и/или эффективность остаются в желаемых пределах с течением времени.

Возвращаясь к чертежу, иллюстративная станция 20а иллюстративной фармацевтической фабрики включает в себя смесительную камеру 22, гидравлические впускные клапаны 24, 26, гидравлический выпускной клапан 28, лопасть 30, охладитель 32 и впускной клапан 34 охладителя. Другие обрабатывающие станции, которых может быть ноль или больше, могут быть той же или иной конфигурации.

Показанная система 10 включает в себя сетевые управляющие устройства, которые осуществляют контроль и управление управляемым оборудованием 22-32, материалами или чем-то другим, обрабатываемым им, технологические процессы, при помощи которых они обрабатываются, и/или сами элементы системы 10 управления, как обсуждалось выше. Управляющие устройства показанной системы 10 выполняют такой контроль и управление в соответствии с методами управления технологическим процессом, известными в данной области техники. В других вариантах осуществления, управляющие устройства могут вместо этого или в дополнение применять контроль состояния окружающей среды или иные методы промышленного и/или непромышленного контроля.

Показанные управляющие устройства включают в себя приводные полевые устройства ("приводы"), такие как вентили, изображенные как управляющие впускными и выпускными клапанами 24-28 и 34. Дополнительный привод показан управляющим лопастью 30. Эти и другие приводы, задействованные системой управления, сконструированы и эксплуатируются обычным образом, с модификациями в соответствии с идеями изобретения из этого документа. Приводы показанного варианта осуществления работают под управлением соответствующих контроллеров полевых устройств, помеченных как CTL, которые тоже сконструированы и эксплуатируются обычным образом для обеспечения функций инициализации, формирования сигнала и связи.

Вместо того, чтобы использовать отдельные контроллеры CTL, приводы могут относиться к интеллектуальному типу и могут включать в себя встроенные микропроцессоры или другую аппаратуру для цифровой обработки данных для функций управления, инициализации, формирования сигнала, связи и других связанных с управлением функций. Для удобства, метка CTL используется независимо от того, является ли это связанное с управлением функциональное средство неотъемлемой частью приводов (например, как в случае интеллектуальных приводов) или иначе.

Показанные управляющие устройства включают в себя полевые устройства с датчиками ("датчики"), такие как температурный датчик 29, которые контролируют температуру, уровень или другую характеристику жидкости в камере 22. Датчик 29, как и другие датчики и измерительная аппаратура, задействованные системой, сконструированы и эксплуатируются обычным образом, с модификациями в соответствии с идеями изобретения из этого документа. Они могут связываться с сетью управления через передающее устройство или другое устройство INT сопряжения, которое тоже сконструировано и эксплуатируется обычным образом, с модификациями в соответствии с идеями изобретения из этого документа. Устройства сопряжения облегчают инициализацию, формирование сигнала и связь между датчиками и системой управления. Как и выше, один или более датчиков могут относиться к интеллектуальному типу, включая в свой состав встроенные микропроцессоры или другие возможности цифровой обработки данных для функций инициализации, формирования сигнала, связи и других связанных с управлением функций. В данном документе метка INT тоже используется в ссылке на связанное с управлением функциональное средство независимо от того, воплощено ли оно в интеллектуальном передающем устройстве или иначе.

Сетевые управляющие устройства включают в себя один или более контроллеров 36, которые осуществляют контроль и управление соответствующими аспектами гипотетического фармацевтического предприятия обычным образом, с модификациями в соответствии с идеями изобретения из этого документа. Контроллеры могут содержать универсальные вычислительные машины, рабочие станции, персональные компьютеры, специализированное аппаратное обеспечение или другую аппаратуру цифровой обработки данных, способные выполнять такие функции контроля и управления, которые настроены в соответствии с идеями изобретения из этого документа. Предпочтительные контроллеры сконструированы и эксплуатируются наподобие управляющих обрабатывающих устройств СР, серийно выпускаемых правопреемником настоящей заявки, с модификациями в соответствии с идеями изобретения из этого документа.

Система 10 управления включает в себя различные устройства, которые служат пользовательскими интерфейсами, а также обеспечивают функции конфигурирования и/или управления, совершенно обычным образом, с модификациями в соответствии с идеями изобретения из этого документа. В этих целях показаны рабочая станция 40, переносной компьютер 42 и карманный компьютер 44. Эти устройства могут непосредственно обеспечивать функции конфигурирования и управления, как в случае рабочей станции 40, или во взаимодействии с устройствами обслуживающего узла, например, как в случае карманного компьютера 44 и обслуживающего узла 46. Аппаратура 40-44 может связываться с сетью управления напрямую, например, через шину или сетевое соединение, или косвенно, например, через спутник, беспроводное соединение или модемное соединение.

Иллюстративные управляющие устройства 36-46, CTL и INT связываются для обмена информацией через среду, которая дает возможность, по меньшей мере, некоторым из устройств устанавливать связь друг с другом. В этой связи, в показанном варианте осуществления эти устройства связываются через посредство одной или более сетей 48, которые, предпочтительно, являются IP-сетями, такими, как, в качестве неограничивающего примера, сети Ethernet (например, локальные вычислительные сети, глобальные вычислительные сети, городские вычислительные сети, и тому подобные, в качестве неограничивающего примера). Сеть(и) могут включать в себя, как показано на чертеже, несколько сегментов, таких как различные глобальные и локальные вычислительные сети. Они также могут включать в себя компоненты с высокой и/или низкой пропускной способностью, такие, как телефонные линии, и компоненты с низким и/или высоким временем ожидания, такие, как сети с использованием геостационарных спутников. Одно или более из управляющих устройств 36-46 и/или сетей 48 могут дополнительно связываться с сетью Интернет 50 или с другими сетям через посредство межсетевого обслуживающего узла 47, или иным образом.

Система 10 управления, включающая в себя иллюстративные устройства 36-48, может относиться к типу известных в данной области техники и серийно выпускаемых, в качестве неограничивающего примера, правопреемником настоящей заявки. Одна такая система управления описывается, опять же в качестве неограничивающего примера, в патенте Соединенных Штатов №6788980, идеи которого включаются в данный документ путем ссылки.

Согласно договоренности в данной области техники, в одной или более базах данных содержатся модель (и) системы 10 управления и аппаратуры в управляемом ею техническом средстве и, в частности, в качестве примера, модели управляемого оборудования 22-32, материалов или чего-то другого, обрабатываемого им, технологические процессы, при помощи которых они обрабатываются, и/или элементы системы 10 управления, включающие в себя, например, управляющие устройства 36 46, в том числе стратегию управления, исполняемую ими. Так, например, такая модель перечисляет полевые устройства, управляющие устройства, контроллеры и другую аппаратуру, которые осуществляют управление, с указанием их взаимосвязей и информации, переносимой между ними, а также и подробное описание вычислений и методики, которые они применяют для целей управления.

Такие модели могут генерироваться устройствами конфигурирования, относящимися к известному в данной области техники типу (например, который раскрывается в патентах США 7096465, озаглавленном "Система конфигурирования управления технологическим процессом с параметризованными объектами", и 6788980, озаглавленном "Способы и аппаратура для управления с использованием управляющих устройств, которые обеспечивают окружающую среду виртуальной машины, и которые устанавливают связь через IP-сеть", идеи и того и другого включаются в данный документ путем ссылки), или иным образом. Эти модели могут сохраняться в центральных базах данных и/или распределяться среди управляющих устройств 36-46, например, как раскрывается в вышеупомянутых включенных путем ссылки патентах США 7096465 и 6788980, а также в заявке согласно РСТ WO 03/89.995, озаглавленной "Способы и аппаратура для системы управления технологическим процессом, системы управления производственным оборудованием, системы контроля состояния окружающей среды, системы управления на базе автоматизированного промышленного производства, или другой системы управления с распространением данных в режиме реального времени", идеи которой также включаются в данный документ путем ссылки.

В дополнение к базе(ам) данных конфигураций или моделирования система может включать в себя одну или более базы данных приложений и/или базы данных рабочего цикла, например, относящиеся к типу, раскрываемому в вышеупомянутой включенной путем ссылки Заявке согласно РСТ WO 03/89,995, для поддержания, в числе прочего, текущей и/или архивной рабочей или другой информации касательно системы 10 управления и аппаратуры в техническом средстве, управляемом ею, и, в частности, в качестве примера, управляемого оборудования 22-32, материалов или чего-то другого, обрабатываемого им, технологических процессов, при помощи которых они обрабатываются, и/или элементов системы 10 управления, включающих в себя, например, управляющие устройства 36 46, в том числе стратегию управления для исполнения ими.

Вышеупомянутые базы данных конфигураций/моделирования, приложений и/или рабочего цикла только для иллюстрации представлены элементами 52а-52е на чертежах. Хоть на чертеже они и показаны только как распределенные среди некоторого числа управляющих устройств 36-46, на практике они могут сводиться в меньшем количестве или распределяться среди большего количества таких устройств, или иначе, совершенно обычным образом, известным в данной области техники.

Как отмечалось выше, окружающая среда, показанная на Фиг.1, может быть целиком или частично действительной или имитируемой. Так, в качестве неограничивающего примера, обрабатывающие станции 20a-20d, управляющие устройства 36-46, и база данных конфигураций/моделирования могут быть действительными, как и их работа. Это имеет место, например, на работающем (или находящемся "в состоянии рабочей готовности") заводе или в другой окружающей среде. В подобном случае, базы данных приложений и/или рабочего цикла, например, 52а-52е, содержат действительную текущую и/или архивную рабочую информацию. Конструирование и эксплуатация действительной окружающей среды, наглядно изображенной на Фиг.1, могут осуществляться известным в данной области техники образом, с модификациями в соответствии с идеями изобретения из этого документа.

В качестве дополнительного неограничивающего примера обрабатывающие станции 20a-20d, управляющие устройства 36-46 и база данных конфигураций/моделирования могут быть действительными, но их работа может имитироваться. Это имеет место, например, на заводе перед запуском или в другой окружающей среде. В подобном случае, базы данных приложений и/или рабочего цикла, например, 52а-52е, содержат, по меньшей мере, некоторую имитируемую текущую и/или архивную рабочую информацию. Имитирование работы такой действительной окружающей среды, как наглядно изображенная на Фиг.1, может осуществляться известным в данной области техники образом, с модификациями в соответствии с идеями изобретения из этого документа. Имитирование такой работы, например, основанное на базе(ах) данных конфигураций/моделирования и/или технических характеристиках обрабатывающей станции, может выполняться с использованием программных пакетов, имеющихся в данной области техники, в том числе, в качестве неограничивающего примера, на базе программного обеспечения имитационного моделирования SIM4ME, поставляемого правопреемником настоящей заявки, с модификациями в соответствии с идеями изобретения из этого документа.

В качестве еще одного неограничивающего примера, обрабатывающие станции 20a-20d, управляющие устройства 36-46 и база данных конфигураций/моделирования могут имитироваться, как и их работа. Это имеет место, например, на заводе или в другой окружающей среде, которая находится в стадии проектирования. Имитирование обрабатывающих станций и/или управляющих устройств может выполняться с использованием пакетов системы автоматизированного проектирования и автоматизированной системы управления производством, известных в данной области техники, тогда как имитирование работы таких станций и устройств может выполняться с использованием программных пакетов, которые обсуждались выше, и те и другие из которых настроены в соответствии с идеями изобретения из этого документа.

Фиг.2 изображает систему 54 согласно настоящему изобретению для иммерсивного взаимодействия с такой окружающей средой 5, как описанная выше. В частности, показанная система 54 обеспечивает иммерсивное взаимодействие с такой имитируемой окружающей средой, тем не менее, на основании идей из данного документа будет легко понять, как такая система может быть приспособлена для иммерсивного взаимодействия с такой действительной окружающей средой.

Показанная система 54 включает в себя центральный пункт 56 управления с операторским пультом(ами) 56А, программное обеспечение 58 динамического имитационного моделирования и рабочую станцию 58А, программное обеспечение 60 имитационного моделирования управляющего устройства, механизм 62 имитационного моделирования, окружающую среду 64 в виртуальной реальности (включающую в себя механизм ВР (виртуальной реальности)), связанные для обмена информацией через одну или более сетей 66, или иным образом. Другие варианты осуществления могут включать в себя меньше или больше элементов, и могут конфигурироваться иначе, чем как показано в данном документе.

Показанный центральный пункт 56 управления представляет собой традиционный центральный пункт управления, который используется применительно к управлению технологическим процессом и к другим методам управления. В показанном варианте осуществления, это может использоваться для контроля и управления рабочими параметрами имитируемой окружающей среды 5, например, таким же образом, как подобный центральный пункт управления осуществляет контроль и управление рабочими параметрами действительной окружающей среды 5. В этой связи, центральный пункт 56 управления может использоваться для поддержки обучения персонала в окружающей среде 64 в виртуальной реальности и/или он сам (центральный пункт управления) может обеспечивать окружающую среду для проведения обучения (например, персонала центрального пункта управления).

Программное обеспечение 58 динамического имитационного моделирования генерирует выходные данные, представляющие рабочее состояние предприятия и/или другой окружающей среды, в частности, в качестве неограничивающего примера, (одного или более элементов) управляемого оборудования 22-32, которым комплектуется предприятие/окружающая среда. Это программное обеспечение 58 представляет собой программное обеспечение динамического имитационного моделирования, доступное для приобретения на рынке, которое настроено в соответствии с идеями изобретения из этого документа, хотя могут использоваться, вдобавок или вместо этого, и другие пакеты имитационного моделирования, известные в данной области техники (опять же, которые настроены в соответствии с идеями изобретения из этого документа). В дополнение к поддержке деятельности инструктора по обучению (например, подготовке учебных упражнений для практикантов в окружающей среде 64 в виртуальной реальности) с помощью администраторской рабочей станции, программное обеспечение 58 имитационного моделирования включает в себя "решающую программу" и другие инструментальные средства поддержки имитационного моделирования, чтобы имитировать работу действительного предприятия или другой окружающей среды. В этой связи, программное обеспечение 58 имитационного моделирования может включать в себя или иным образом связываться с такой базой 70 данных конфигураций/моделирования, как описанная выше, которая моделирует, например, систему 10 управления и аппаратуру в техническом средстве, управляемом ею, а также и материалы или что-то другое, обрабатываемое им. Программное обеспечение 58 может исполняться на вышеупомянутой администраторской рабочей станции и/или на другой подходящей аппаратуре для цифровой обработки данных, которая известна на рынке (в том числе, в качестве неограничивающего примера, на вышеупомянутых рабочих станциях в центральном пункте управления).

Программное обеспечение 60 имитационного моделирования управляющего устройства генерирует выходные данные, представляющие рабочее состояние управляющих устройств (например, 36-46, CTL и INT), используемых для контроля и/или управления управляемым оборудованием (например, 22-32). Это программное обеспечение 58 имитирует работу контроллеров и других управляющих устройств имитируемой окружающей среды 5. Программное обеспечение 60 представляет собой программное обеспечение имитационного моделирования управления, доступное для приобретения на рынке, которое настроено в соответствии с идеями изобретения из этого документа, хотя могут использоваться, вдобавок или вместо этого, и другие пакеты имитационного моделирования, известные в данной области техники (опять же, которые настроены в соответствии с идеями изобретения из этого документа). Программное обеспечение 60 имитационного моделирования может включать в себя или может иначе связываться с такой базой данных конфигураций/моделирования (не показана), как описанная выше, которая моделирует, например, стратегии управления, исполняемые имитируемыми управляющими устройствами. Программное обеспечение 60 может исполняться на такой специализированной рабочей станции, как продемонстрированная на чертеже, и/или на другой подходящей аппаратуре для цифровой обработки данных (в том числе, в качестве неограничивающего примера, на вышеупомянутой администраторской рабочей станции и/или на рабочих станциях в центральном пункте управления).

Механизм 62 имитационного моделирования заставляет работать и координирует деятельность программного обеспечения 58, 60 имитационного моделирования и рабочих станций в центральном пункте управления, чтобы имитировать работу окружающей среды 5, описанной выше, для внедрения в иммерсивное отображение такой окружающей среды (например, иммерсивное отображение физического размещения этой окружающей среды) в окружающей среде 64 в виртуальной реальности. В показанном варианте осуществления, механизм имитационного моделирования представляет собой программный пакет, серийно выпускаемый правопреемником настоящей заявки под торговой маркой SIM4ME, который настроен в соответствии с идеями изобретения из этого документа, хотя могут использоваться, вдобавок или вместо этого, и другие имеющиеся на рынке механизмы имитационного моделирования (опять же, которые настроены в соответствии с идеями изобретения из этого документа).

Окружающая среда 64 в виртуальной реальности обеспечивает трехмерное или другое иммерсивное отображение окружающей среды 5, включающее в себя не только физическое размещение этой окружающей среды, но и воспроизведение работы системы 10 управления и аппаратуры в техническом средстве, управляемом ею, и, в частности, в качестве примера, управляемого оборудования 22-32, материалов или чего-то другого, обрабатываемого им, технологических процессов, при помощи которых они обрабатываются, и/или элементов системы 10 управления, включающих в себя, например, управляющие устройства 36 46. Проще говоря, в некоторых вариантах осуществления, окружающая среда 64 в виртуальной реальности обеспечивает иммерсивное отображение окружающей среды 5, которое позволяет практиканту и/или другому пользователю (например, обслуживающему персоналу, специалистам оперативного реагирования на аварийные ситуации, и т.д.) испытывать ощущения контрольного обхода и других взаимодействий с окружающей средой, как будто он/она действительно находится там.

Это отображение может передаваться участникам 72, в частности, например, практикантам, через стереоскопическую головную гарнитуру, которая используется для отображений ВР. В качестве альтернативы, или в дополнение, оно может отображаться с помощью проекций на стены "комнаты" ВР. В дополнение к отображению имитируемой окружающей среды 5, окружающая среда 64 в виртуальной реальности может обеспечивать звуки и другие слышимые последовательности, связанные с этой окружающей средой. Помимо этого, она может поддерживать взаимодействие практиканта с имитируемой окружающей средой 5 с помощью тактильных устройств, игровых устройств (например, контроллеров Nintendo Wii), координатных ручек, электронных карандашей, манипуляторов "мышь", клавиатур и т.п., которые все вместе представлены на чертежах посредством элементов 74 ввода и вывода. Такие устройства могут облегчить управление операциями перемещения и/или взаимодействия в имитируемой окружающей среде.

Окружающая среда 64 в виртуальной реальности воспринимает входные данные от механизма 62 имитационного моделирования, представляющие состояние окружающей среды 5, в том числе, обрабатывающих станций 20a-20d, управляемого оборудования 22-32, материалов или чего-то другого, обрабатываемого им, технологических процессов, при помощи которых они обрабатываются, и/или элементов системы 10 управления, включающих в себя, например, управляющие устройства 36 46. Входные данные могут отражать это состояние для окружающей среды в целом или для ее частей, например, состояние оборудования, материалов, управляющих устройств, и т.д., поблизости от участника в виртуальном "мире", отображаемом в окружающей среде 64 в ВР.

Чтобы отображать участнику физическое размещение окружающей среды 5, окружающая среда 64 в виртуальной реальности включает в себя или связывается с одной или более базами данных, которые могут включать в себя, в качестве примера, (i) представление в формате САПР/АСУП для обрабатывающих станций 20a-20d, управляемого оборудования 22-32 и/или элементов системы 10 управления, в том числе, например, управляющих устройств 36-46 (или части/подмножества одного или более из вышеупомянутого), (ii) представление в формате полученного посредством лазерного сканирования трехмерного изображения обрабатывающих станций 20а-20d, управляемого оборудования 22-32 и/или элементов системы 10 управления, в том числе, например, управляющих устройств 36-46 (или части/подмножества одного или более из вышеупомянутого), и/или (iii) двумерные фотографии действительной или имитируемой окружающей среды 5, демонстрирующие обрабатывающие станции 20а-20d, управляемое оборудование 22-32 и/или элементы системы 10 управления, в том числе, например, управляющие устройства 36-46 (или часть/подмножество одного или более из вышеупомянутого).

Окружающая среда 64 в виртуальной реальности может задействовать одну или более из этих баз данных для построения иммерсивных отображений окружающей среды 5 и для предоставления, тем самым, возможности участнику перемещаться по ней и взаимодействовать, например, с управляемым оборудованием и управляющими устройствами в ней. Так, например, окружающая среда 64 в виртуальном пространстве может задействовать базу данных с тысячами действительных (или имитируемых) фотографий предприятия для отображения его трехмерных "реконструкций" с достаточной степенью реализма, чтобы дать участнику ощущение, как будто он/она действительно находится там. Программное обеспечение для выполнения такой реконструкции или, точнее, для генерирования отображения в виртуальной трехмерной реальности, исходя из двумерных изображений, доступно на рынке под торговой маркой Studio Max, хотя, вместо этого или в дополнение, могут использоваться и другие технологии, предоставляющие такие возможности.

В сочетании с входными данными от механизма 62 имитационного моделирования, это позволяет участнику не только пассивно "проходить через" окружающую среду, но и принимать в этом активное участие. Так, действия (такие, как эксплуатация управляемого оборудования и/или управляющих устройств) со стороны участника в виртуальной окружающей среде, отображаемой ему/ей, передаются механизмом 62 имитационного моделирования программному обеспечению 58, 60, чтобы распознать, какие изменения произведут эти действия в имитируемой окружающей среде 5 (например, изменения уровней в резервуарах, переменных параметров отображения, и т.д.), и эти изменения, в свою очередь, направляются механизмом 62 имитационного моделирования обратно в окружающую среду в виртуальной реальности для генерирования видоизменений в ВР-отображении окружающей среды, таким образом, обеспечивая обратную связь "действие ответное действие" для участника.

Далее, в качестве неограничивающего примера, практикант, который использует манипулятор "мышь" или другое устройство ввода, чтобы имитировать открывание вентиля в имитируемой окружающей среде, отображаемой посредством окружающей среды 64 в виртуальной реальности, может видеть (а при наличии звуковых эффектов и слышать) результаты этого действия, например, как это отражается ВР-имитируемыми отображениями измерительных приборов на следующем по технологическому маршруту резервуаре-хранилище, отображенном в окружающей среде 64. Аналогично, в качестве дополнительного неограничивающего примера, практикант и/или другой пользователь (например, обслуживающий персонал, специалисты оперативного реагирования на аварийные ситуации, и т.д.), который не в состоянии правильно реагировать на сигнал тревоги, подаваемый в окружающей ВР-среде, может быть свидетелем, находясь в безопасной окружающей ВР-среде, имитируемого разрушения части оборудования и получающегося в результате огненного потока.

В некоторых вариантах осуществления окружающая среда 64 в виртуальной реальности отображает имитируемую окружающую среду 5 не только, как участник видел бы ее в действительности (т.е., как если бы он/она действительно находился там), но и дополняет это отображение. Это может включать в себя наложенные графики, уравнения и другие наглядные представления данных на управляемое оборудование и/или управляющие устройства (в частности, например, на оборудование/устройства, на которые повлияли действия участников).

Это может также включать в себя наложение фото и/или видео изображений, полученных параллельно (например, в режиме "реального времени") или заранее с помощью стационарных или подвижных камер, включающих в себя, в качестве неограничивающего примера, фото или видео камеры 90 (Фиг.1), которые установлены в известных позициях в окружающей среде 5 или вокруг нее, и/или такие камеры, которые являются частью подвижных телефонов, КПК и других подобных устройств 92, которые могут переноситься персоналом 94 (например, обслуживающим персоналом, сотрудниками аварийно-спасательных служб, и т.д.), размещенным в окружающей среде 5 или вокруг нее. В связи с последним, GPS или другие сигналы позиционирования, сгенерированные подобными подвижными устройствами, могут задействоваться для такого согласования фото и видео кадров с отображениями, генерируемыми окружающей средой 64, чтобы фото и/или видео изображения могли надлежащим образом размещаться на отображении, например, на соответствующих элементах управляемого оборудования и/или управляющих устройствах, или около них.

Иллюстрация, демонстрирующая один тип дополненного отображения, которое описано выше, предоставляется, в качестве неограничивающего примера, на Фиг.4А, демонстрирующей отображение 76, которое генерируется окружающей средой 64 в виртуальной реальности, представляющее управляемое оборудование 78 (в данном случае, вентиль) и привод 80, который управляет им. На чертеже также представлены графические изображения, в данном случае график 82А, сгенерированный окружающей средой 64 в виртуальной реальности, чтобы дополнить отображение 76 окружающей среды управления, а именно, чтобы проиллюстрировать поведение вентиля 78 и/или привода 80 при первом наборе имитируемых параметров. Кроме того, отображение дополняется графическим изображением 83 огня и дыма, чтобы подчеркнуть, в этом варианте, практические последствия рискованных установочных параметров оборудования/устройства.

Дополненные отображения, генерируемые окружающей средой в виртуальной реальности, также могут включать в себя, в качестве неограничивающего примера, видоизмененные отображения управляемого оборудования и/или управляющих устройств (или других аспектов окружающей среды 5), чтобы дать участнику возможность "смотреть" вовнутрь, насквозь или вокруг объектов, нечто такого, чего участник не может сделать в действительности. Возвращаясь к предыдущему примеру, эта "дополненная" реальность может использоваться, например, чтобы позволить практиканту и/или другому пользователю (например, обслуживающему персоналу, специалистам оперативного реагирования на аварийные ситуации, и т.д.), который использует манипулятор "мышь" или другое устройство ввода для имитирования открывания вентиля в имитируемой окружающей среде, видеть сквозь стены следующего по технологическому маршруту резервуара-хранилища, как он заполняется жидкостью.

Дополнение, будь то в виде наложенных графических изображений и/или в виде прозрачного (или с отображением других внесенных изменений) оборудования, может основываться на имитируемых и/или действительных рабочих данных касательно управляемого оборудования и/или управляющих устройств (а также, как отмечалось выше, на фото и/или видео изображениях, получаемых параллельно и/или заранее с помощью камер в окружающей среде 5 или вокруг нее). Это дает в результате отображения имитируемой окружающей среды, которые не только отображают поведение управляемого оборудования и/или управляющих устройств, но делают это согласованно с действительным или имитируемым параметром окружающей среды управления. Продолжая говорить о предыдущем примере, такие отображения с видоизмененной реальностью, генерируемые окружающей средой 64 в виртуальной реальности позволяют практиканту и/или другому пользователю (например, обслуживающему персоналу, специалистам оперативного реагирования на аварийные ситуации, и т.д.), например, смотреть "сквозь" стены резервуара-хранилища, чтобы не только видеть, как открывание вентиля в модулируемой окружающей среде приводит к заполнению следующего по технологическому маршруту резервуара-хранилища жидкостью, но и видеть, как скорость потока и вязкость этой жидкости влияют на показатели температуры, давления и/или другие действительные (или имитируемые) параметры в пределах предшествующего и следующего по технологическому маршруту оборудования. Это также верно, в качестве примера, и в отношении графика 82, продемонстрированного на Фиг.4А.

В предпочтительных вариантах осуществления эти опытные данные участников в окружающей среде 64 в виртуальной реальности могут соединяться с таковыми для персонала в центральном пункте 56 управления. Таким образом, например, последствия действий, предпринимаемых персоналом в центральном пункте управления, могут наблюдаться участниками в окружающей среде 64 в виртуальной реальности, и наоборот. Это может использоваться для совершенствования обучения, компетентности и/или совместных действий всех вовлеченных сторон.

Дополнительные преимущества описанных выше систем и способов заключаются в том, что они обеспечивают совершенствование обучения и/или компетентности путем объединения имитационного моделирования, например, предоставляемого программным обеспечением 58-62, и эмуляции центрального пункта управления, например, предоставляемой центральным пунктом 56 управления, с трехмерным зрительным образом, например, предоставляемым окружающей средой 64 в виртуальной реальности, основываясь на вычислении в режиме реального времени, например, обеспечиваемом программным обеспечением 58-62, для поддержания двунаправленной обратной связи между участником и имитируемой окружающей средой, или взаимодействий в режиме "действие/ответное действие".

Такие системы и способы могут использоваться для помощи в обучении не только персонала предприятия, но и сотрудников аварийно-спасательных служб, и других. В дополнение, они могут использоваться в сочетании с функциями технического обслуживания и/или распоряжения ресурсами окружающей среды 5, в частности, когда она является действительной (а не имитируемой) окружающей средой. Так, например, персонал, который готовит профилактический "прогон" предприятия, может, сначала, воспользоваться имитируемым прогоном в окружающей среде 64 в виртуальной реальности, представляющей его, и, таким образом, лучше ознакомиться и подготовить себя для последующего действительного профилактического прогона. Такие имитируемые прогоны могут включать в себя не только ВР-отображения оборудования для технического обслуживания, модернизации и/или демонтажа, но также могут предусматривать имитируемое управление операциями (например, демонтажа) в отношении этого оборудования с использованием манипуляторов "мышь", игровых контроллеров или других устройств ввода, поставляемых с окружающей средой 64.

Вышеупомянутое применение системы 54 для помощи в техническом обслуживании и/или распоряжении ресурсами, пополненное в некоторых вариантах осуществления обеспечением связи механизма 62 имитационного моделирования и/или окружающей ВР-среды 64 с базами 70 данных ресурсов и технического обслуживания "операционного отдела". Механизм 62 и/или окружающая среда 64 могут задействовать информацию из этих баз данных, чтобы выделить для персонала предприятия, использующего имитируемые прогоны, оборудование, с которым нужно работать или производить иное действие.

Помимо этого система 54 может связываться с SIMNET и/или другими беспроводными (или проводными) сетями, чтобы облегчить идентификацию оборудования, нуждающегося в техническом обслуживании, модернизации и т.д. Так, например, благодаря связыванию механизма 62 имитационного моделирования и/или окружающей ВР-среды 64 с генерируемыми SIMNET данными, механизм 62 и/или окружающая среда 64 может генерировать ВР-отображение для персонала предприятия, выделяя оборудование, требующее действия.

Более того, система 54 может задействоваться для отслеживания перемещений людей, например, для помощи в особенностях регулярного технического обслуживания, а также для помощи в действиях в аварийной обстановке. Так, например, благодаря связыванию механизма 62 имитационного моделирования и/или окружающей ВР-среды 64 с потоком данных, указывающим местоположение персонала в окружающей среде 5 (например, на действительном предприятии), механизм 62 и/или окружающая среда 64 может генерировать ВР-отображение для выделения местоположения персонала и оборудования, требующего действия. Такой поток данных может генерироваться, в качестве неограничивающего примера, на основании GPS-данных, беспроводной связи, RFID, дуплексной радиосвязи или других технологий, известных в данной области техники.

Система 54 может задействоваться как для группового, так и для индивидуального обучения. Так, как отмечалось выше, она может использоваться, чтобы координировать действия и связь персонала в обучающей окружающей среде 64 и в центральном пункте 56 управления. Она также может использоваться, чтобы координировать действия и связь нескольких сотрудников в обучающей окружающей среде 64 в виртуальной реальности. И наоборот, она может использоваться для одновременного обучения нескольких сотрудников в обучающей окружающей среде 64 в виртуальной реальности, при этом каждое из их индивидуальных действий влияет на ВР-имитации, отображаемые для всех остальных.

Исследование и/или анализ (например, центральный ВР-пункт управления в критических условиях)

Как отмечалось выше, окружающая среда 64 в виртуальной реальности может дополнять отображение имитируемой окружающей среды 5, например, при помощи наложения графических изображений (в том числе фото и/или видео изображений) на представления управляемого оборудования и/или управляющих устройств и/или путем видоизменения ее воспроизведения этого оборудования и/или устройств, чтобы дать участнику возможность "смотреть" вовнутрь, насквозь или вокруг них. В соответствии с обсуждением в отношении Фиг.4А, например, дополненные отображения могут позволить практиканту и/или другому пользователю видеть, как его или ее действия влияют на поведение имитируемой окружающей среды 5, например, в свете действительных (или имитируемых) параметров в пределах предшествующего и следующего по технологическому маршруту оборудования. Конечно, будет понятно, что такие дополненные отображения могут использоваться и для других целей, например, для исследования и/или анализа имитируемой или действительной работы окружающей среды 5, для технического обслуживания и/или распоряжения ресурсами, к примеру.

Дополненные отображения, которые демонстрируют сравнительную работу окружающей среды и, в частности, например, управляемого оборудования и/или управляющих устройств в ней, могут использоваться для вышеизложенных целей, а также и для других целей. В частности, в качестве неограничивающего примера, дополненные отображения, которые дают пользователю возможность сравнивать действительную работу окружающей среды 5 с имитируемой работой этой окружающей среды 5, и в частности, в качестве неограничивающего примера, сравнивать действительную и имитируемую работу одного или более из элементов управляемого оборудования и/или управляющих устройств, могут облегчить исследование и/или анализ работы окружающей среды, например, для управления в критических условиях, а также для других целей. Как и выше, такая действительная и/или имитируемая работа может различаться, например, на основании рабочих данных, содержащихся в базах 52а-52е данных приложений и/или рабочего цикла, и/или на основании базы 52а-52е данных конфигураций, и/или благодаря камерам в окружающей среде 5 или вокруг нее.

Пример дополненного отображения, демонстрирующего сравнительную работу, например, действительной и имитируемой работы окружающей среды 5, представлен на Фиг.4В. Отображение 76' демонстрирует те же элементы, что и отображение 76 на Фиг.4А, но при этом оно включает в себя, в добавление к графику (или другому графическому изображению) 82А, иллюстрирующему имитируемое поведение вентиля 78 и/или привода 80 при первом наборе имитируемых параметров, график (или другое графическое изображение) 82 В, иллюстрирующий поведение этого вентиля и/или привода при втором наборе этих параметров. Как и выше, отображение дополняется графическим изображением 83 огня и дыма, обозначающим потенциальную опасность при представленных параметрах. Сравнивая эти графические изображения 82А, 82В, пользователь (например, сотрудники предприятия, специалисты оперативного реагирования на аварийные ситуации и/или другие) может исследовать и/или анализировать возможные сбои (или усовершенствования или другие отклонения от нормы) в работе оборудования/устройства.

Вышеизложенное приведено в качестве примера. Как уже отмечалось, сравнительная работа может использоваться также и для других целей, например, для обучения, планирования (например, проектирования предприятия), и т.д. Более того, будет понятно, что сравнительная работа может быть продемонстрирована иначе, например, при помощи других наложенных графических изображений, в виде прозрачного (или с отображением других видоизменений) оборудования/устройств, и т.д. Так, продолжая пример на Фиг.4В, но без ограничения, отличающиеся режимы работы вентиля 78 и/или привода 80, которые обеспечиваются двумя различными моделями окружающей среды 5 (на основании базы 52а-52е данных конфигураций), могут демонстрироваться при помощи прозрачных (или с отображением других видоизменений) представлений такого вентиля/привода на отображении 76'.

Пример

Более полное понимание касательно системы 54 может быть достигнуто при обращении к нижеприведенному обсуждению, в котором система 54, осуществленная на практике в одном из вариантов осуществления настоящего изобретения, в качестве варианта упоминается как "Система".

Система представляет иммерсивный учебный имитатор конкретного модуля с высокой точностью воспроизведения, пригодный для работы с выбранной оператором скоростью (например, в режиме реального времени или быстрее) и выполненный с возможностью обучения операторов действиям в условиях запуска, остановки, нормальной работы и/или аварийной ситуации. Система включает в себя одну полную модель эталонного предприятия, включающую в себя технологический процесс и средства управления, весь набор функций инструктора, а также виртуальную окружающую среду предприятия. Система вмещает имитационную модель предприятия, имитационные модели управления. Виртуальную Окружающую Среду Предприятия (иначе называемую окружающая среда в виртуальной реальности, компьютерное программное обеспечение имитационного моделирования, аппаратные станции для обучения и станцию инструктора, что более подробно описано ниже.

Общие сведения

Система включает в себя Графический Интерфейс Пользователя (ГИП), требуемый для работы, а также для поддержания законченного и полнофункционального Иммерсивного Учебного Имитатора без необходимости повторной компиляции кода при подключениях новых модулей. Математические модели с трехмерными графическими моделями системы в форме объектов определяют имитируемое поведение, сходное с реальностью, так что всегда возможно полноценное взаимодействие операторов центрального пункта управления и полевых операторов. Имитируемые неисправности реалистичны "по характеру", отражая результат определенных сбоев оборудования или других конкретно определенных причин.

Система способна выполнять следующее:

- непрерывно воссоздавать запуск, изменения в производственном цикле и остановку. Это может выполняться с выбранной оператором скоростью, например, в режиме реального времени или быстрее (хотя это может с тем же успехом выполняться и с меньшей скоростью, по желанию оператора). На самом деле, в некоторых вариантах осуществления. Система может воссоздавать имитационную модель обучения оператора со скоростью в три раза больше реального времени и выше. Система моделирует неисправности, наряду с изменениями Системы, порожденными действиями со стороны Станции Инструктора или со стороны полевых операторов;

- для всех модулей, включенных в Систему, предусматриваются имитационные модели и взаимосвязи с виртуальным предприятием для того оборудования, которое эксплуатируется из центрального пункта управления и/или на местах и необходимо для обеспечения всех целей обучения.

Имитационная модель предприятия

Имитатор (иначе называемый механизмом 62 имитационного моделирования) способен воспроизводить все моделируемые аспекты эталонного предприятия. Математические модели базируются на основных принципах и генерируют все данные и переменные, требуемые для вывода на внешние устройства или необходимые для других систем имитационного моделирования. Имитатор правильно реагирует на действие оператора центрального пункта управления во время запуска, остановки или в любых условиях нормальной и ненормальной работы, а также неисправности, в рамках имитационной модели.

Виртуальное предприятие - механизм ВР (иначе называемая окружающая среда в виртуальной реальности)

Назначение механизма ВР состоит в том, чтобы "запустить" окружающую среду, которая является фотореалистичной и вполне подробной, с реалистичными "внешним видом" объектов и освещенностью, но работающей синхронно с механизмом 62 имитационного моделирования и, таким образом, например, он может создавать виртуальную (или имитируемую) окружающую среду с выбранной оператором скоростью (например, в режиме реального времени или быстрее). Программа в режиме реального времени дает возможность позволить пользователю свободно перемещаться и взаимодействовать в пределах окружающей среды, не будучи ограниченным предустановленными маршрутами или последовательными отображениями, как это происходит при более традиционном визуальном воспроизведении не в режиме реального времени. Графические изображения предназначаются и для порождения и для визуализации трехмерного содержимого в режиме реального времени. Такая технология позволяет окружающей среде воспроизводиться 60 раз в секунду, тогда как классическое визуальное воспроизведение не в режиме реального времени может занимать один час только для обработки/воспроизведения одного единственного кадра окружающей среды. Применимы геометрия столкновений, взаимные действия/ответные действия, закономерности всплывающих или прозрачных элементов оборудования.

Имитационная модель системы управления

Имитационная модель системы управления обеспечивает идентичное представление и функциональность конфигурации распределенной системы управления (РСУ), логических схем и графических данных, как они реализованы на реальном предприятии.

Станция инструктора

Графическая станция инструктора обеспечивает следующие элементы управления и контроля:

- Запуск/Блокирование работы.

- Инициализация.

- Моментальный снимок.

- Отслеживание в обратном порядке.

- Сценарий.

- Инициирование неисправности.

- Внешние параметры и регулируемые инструктором переменные.

- Удаленные функции.

- Контролируемые параметры.

- Анализ направления изменений.

- Проверка квалификации практиканта.

- Отслеживание рабочих мест операторов на виртуальном предприятии.

- Отслеживание оператора на виртуальном предприятии.

Функциональная характеристика - точность воспроизведения установившегося состояния

Точность воспроизведения установившегося состояния для имитатора относится к сопоставлению модельно-прогнозируемой функциональной характеристики с данными эталонного предприятия при объемах производства на полной мощности и в условиях неполной загрузки. Для учебного имитатора, эталонные данные составляются из имитационной модели установившегося состояния предприятия с использованием имитатора установившегося состояния для критических параметров. Замеры на предприятии или расчетные данные оборудования для некритических параметров используются при недоступности из имитационной модели установившегося состояния.

Функциональная характеристика - точность воспроизведения переходного процесса

Система точно имитирует инициированные инструктором переходные процессы, так что оператор не в состоянии заметить существенные отличия от реального предприятия с учетом области моделирования, определяемой в данном документе. Критические и некритические вычисленные значения отвечают действительным параметрам предприятия, приближаясь к ожидаемым, и не будут нарушать физические законы природы.

Функциональная характеристика - достоверность системы

Динамическая точность и иммерсивное "осязание" характеристик ITS-Моделей являются такими, что операторы и инженеры-технологи получают количественные, а также и качественные знания о технологическом процессе.

Система обеспечивает практикантов очень реалистичным представлением действительных технологических модулей, таким образом, что нет существенной разницы между работой в Системе или на реальном предприятии.

Как правило, сведения об объектах доступны с достоверностью, соответствующей "человеческому взгляду" с расстояния 25 см.

Функциональная характеристика - неисправности

Система поддерживает широкое разнообразие неисправностей в качестве стандартных образцов. Неисправности могут оказывать влияние на операторов центрального пункта управления, полевых операторов, или на тех и других. Как правило, примерно до пяти специальных неисправностей могут отбираться для проверки достоверности, поскольку проверка достоверности неисправности может отнимать очень много времени для сложного технологического процесса.

Функциональная характеристика - проектирование предприятия и эксплуатационные ограничения

События, которые происходят за рамками проектирования предприятия и эксплуатационных ограничений, могут быть возможны при использовании Системы. Для того, чтобы избежать негативного обучения, которое было бы результатом работы в течение таких событий, предусматриваются признаки для оповещения инструктора в случае, когда некоторые параметры выходят за рамки проектирования и эксплуатационных ограничений.

Преимущества вышеописанных систем и способов включают в себя следующее:

1. Увеличение производства

- Сокращение времени простоя предприятия благодаря лучше обученным операторам; снижает аварийные остановки предприятия.

- Сокращенное плановое время простоя предприятия для технического обслуживания обученными рабочими; Вы знаете, чего Вам ожидать на месте и не должны обучаться в процессе работы.

- Обратная связь в режиме реального времени от полевых операторов касательно состояния оборудования.

2. Управление материальными затратами

- Если это имеет значение для технического обслуживания. Вы можете сократить количество требуемого строительного материала за счет лучшего планирования и подготовки задачи.

- Дополненная реальность дает возможность оператору в виртуальной окружающей среде видеть данные технологического процесса, благодаря наложению графических изображений на управляемое оборудование и/или управляющие устройства и/или видоизменению отображения оборудования/устройств, чтобы создать у пользователя впечатление возможности смотреть вовнутрь, насквозь и/или вокруг них. Наложенные графические изображения (например, фото и/или видео изображения, графики, уравнения и тому подобное) и/или видоизмененные отображения оборудования/устройств могут основываться на имитируемых и/или действительных рабочих данных и/или стационарных и/или подвижных камерах, таким образом, представляя поведение технологического оборудования последовательными отображениями, которые согласуются с данными, поступающими от имитатора (и/или действительного предприятия).

3. Управление энергетическими затратами

4. Поддержание техники безопасности и охраны предприятия

- Все аспекты техники безопасности обеспечиваются лучше обученными операторами; лучше обучены исполнители; лучше обучены посетители от поставщиков.

- Отслеживание местоположения всех людей на предприятии.

- Полноценное обучение аварийно-спасательных оперативных групп касательно дистанционно управляемых областей или очень опасных/загрязненных областей.

- Демонстрация того, как операторы предприятия, и т.д., активно работают над снижением риска в сферах работы предприятия и безопасности персонала.

5. Обеспечение контролируемости состояния окружающей среды и соблюдения нормативных требований

- Технику безопасности, охрану труда и окружающей среды можно изучать и проходить подготовку только после аварии с человеческими жертвами; ВР позволит Вам сделать это в безопасной окружающей среде; обучаться на подготовленных сценариях, которые Вы не хотите когда-либо получить в реальности.

Эта технология достигает цели во множестве ключевых сфер, представляющих интерес для клиентов:

6. Более низкие стоимость обучения и время запуска

7. Уменьшение воздействия на окружающую среду от использования действительных или имитируемых окружающих сред, например, благодаря снижению рисков, связанных с незапланированными выбросами в атмосферу и другими загрязнениями окружающей среды.

Описанное до этого является системами и способами, соответствующими вышеизложенным задачам изобретения. Следует отметить, что варианты осуществления, проиллюстрированные и описанные в данном документе, являются просто примерами в отношении настоящего изобретения, и другие варианты осуществления, охватывающие изменения в них, попадают в их объем. Так, в качестве неограничивающего примера, будет понятно, что дополненные отображения, которые включают в себя фото и/или видео изображения, полученные со стационарных и/или подвижных камер, могут пополняться или подменяться звуками, полученными такими камерами или звукоулавливающим оборудованием.

1. Система для взаимодействия с окружающей средой управления, которая включает в себя управляемое оборудование и управляющие устройства, которые осуществляют контроль и управление этим управляемым оборудованием, причем система включает в себя: первое функциональное средство, генерирующее выходные данные, представляющие рабочее состояние одного или более из упомянутого управляемого оборудования,
второе функциональное средство, генерирующее выходные данные, представляющие рабочее состояние одного или более из упомянутых управляющих устройств,
механизм, связанный с первым функциональным средством и со вторым функциональным средством, который генерирует рабочее состояние окружающей среды управления, причем указанный механизм включает в себя имитационное функциональное средство, причем имитационное функциональное средство содержит программное обеспечение для динамического имитационного моделирования,
окружающую среду в виртуальной реальности, связанную с механизмом и с одним или более представлениями одного или более физических аспектов окружающей среды управления, причем эта окружающая среда в виртуальной реальности генерирует трехмерное («3D») отображение окружающей среды управления,
причем упомянутая окружающая среда в виртуальной реальности реагирует на пользовательское взаимодействие с одним или более устройствами ввода для генерирования 3D-отображения окружающей среды управления, чтобы позволить пользователю взаимодействовать с, по меньшей мере, одним из управляющих устройств и управляемого оборудования, по меньшей мере, как представлено 3D-отображением окружающей среды управления,
при этом упомянутый механизм обращается к по меньшей мере одному из первого и второго функциональных признаков пользовательского взаимодействия с по меньшей мере одним из управляющих устройств и управляемого оборудования, чтобы распознать результирующее изменение в рабочем состоянии окружающей среды управления, а упомянутый механизм управления применяет признаки такого изменения к окружающей среде в виртуальной реальности для осуществления соответствующего изменения в 3D-отображении окружающей среды управления; и
причем упомянутое первое функциональное средство включает в себя первое имитационное функциональное средство, которое имитирует работу одного или более из управляемых устройств, а упомянутое второе функциональное средство включает в себя второе имитационное функциональное средство, которое имитирует работу одного или более управляющих устройств, причем входные данные для упомянутого механизма являются указанными признаками.

2. Система по п.1, в которой окружающая среда в виртуальной реальности связывается с базой данных, содержащей, в качестве одного или более представлений одного или более физических аспектов окружающей среды управления, трехмерное лазерное сканирование, по меньшей мере, части окружающей среды управления, включающей в себя (i) одно или более управляемое оборудование, (ii) одно или более управляющих устройств.

3. Система по п.1, в которой окружающая среда в виртуальной реальности связывается с базой данных, содержащей, в качестве одного или более представлений одного или более физических аспектов окружающей среды управления, множество двумерных изображений, по меньшей мере, части окружающей среды управления, включающей в себя (i) одно или более управляемое оборудование, (ii) одно или более управляющих устройств.

4. Система по п.3, в которой окружающая среда в виртуальной реальности связывается с функциональным средством, которое генерирует трехмерное представление окружающей среды управления, исходя из множества двумерных изображений.

5. Система по п.1, в которой окружающая среда в виртуальной реальности включает в себя базу данных, содержащую, в качестве одного или более представлений одного или более физических аспектов окружающей среды управления, представление в формате системы автоматизированного проектирования/автоматизированной системы управления производством (САПР/АСУП), по меньшей мере, части окружающей среды управления, включающей в себя (i) одно или более управляемое оборудование, (ii) одно или более управляющих устройств.

6. Система по п.1, выполненная с возможностью позволить пользователю почувствовать, через посредство 3D-отображения окружающей среды управления, взаимодействие с окружающей средой управления и перемещение по ней.

7. Система по п.1, в которой окружающая среда в виртуальной реальности дополняет 3D-отображение окружающей среды управления при помощи любого из (i) наложения графических изображений на представляющие отображения одного или более управляемого оборудования и/или одного или более управляющих устройств, и (ii) изменения представления одного или более управляемого оборудования и/или одного или более из управляющих устройств, чтобы дать пользователю ощущение возможности смотреть вовнутрь, насквозь и/или вокруг объектов.

8. Система по п.7, в которой окружающая среда в виртуальной реальности дополняет 3D-отображение окружающей среды управления при помощи наложения графических изображений, в том числе каких-либо графиков, уравнений, фотоизображений, видеоизображений и других наглядных представлений данных, на отображения одного или более управляемого оборудования и/или одного или более управляющих устройств.

9. Система по п.7, в которой окружающая среда в виртуальной реальности дополняет 3D-отображение одного или более управляемого оборудования и/или одного или более управляющих устройств, на которые повлияли действия пользователя.

10. Система по п.7, в которой окружающая среда в виртуальной реальности дополняет 3D-отображение окружающей среды управления, основываясь на одном или более из: (i) имитируемых и/или действительных рабочих данных для одного или более управляемого оборудования и/или одного или более из управляющих устройств, и (ii) фото- и/или видеоизображения, полученных либо внутри, либо вокруг окружающей среды управления.

11. Система по п.1, в которой одно или более из управляющих устройств содержит приводные полевые устройства, полевые устройства с датчиками, устройства сопряжения и/или контроллеры.

12. Система по п.1, в которой первая имитационная функция является динамическим имитационным моделированием.

13. Система по п.2, в которой вторая имитационная функция является динамическим имитационным моделированием.

14. Система для взаимодействия с окружающей средой управления, которая включает в себя управляемое оборудование и управляющие устройства, которые осуществляют контроль и управление этим управляемым оборудованием, причем система включает в себя:
первое функциональное средство, генерирующее выходные данные, представляющие рабочее состояние предприятия или другой окружающей среды, которая включает в себя одно или более из упомянутого управляемого оборудования,
второе функциональное средство, генерирующее выходные данные, представляющие рабочее состояние одного или более из упомянутых управляющих устройств,
одну или более баз данных, связанных либо с первым функциональным средством, либо со вторым функциональным средством, причем эти одна или более баз данных включают в себя какую-либо из базы данных конфигурации и моделирования (базы данных "конфигурации"), базы данных приложений и базы данных рабочего цикла,
механизм, связанный с первым функциональным средством и со вторым функциональным средством, который генерирует рабочее состояние окружающей среды управления, причем указанный механизм включает в себя имитационное функциональное средство, при этом имитационное функциональное средство содержит программное обеспечение для динамического имитационного моделирования,
окружающую среду в виртуальной реальности, связанную с упомянутым механизмом и с одним или более представлениями одного или более физических аспектов окружающей среды управления, причем эта окружающая среда в виртуальной реальности генерирует трехмерное отображение окружающей среды управления,
причем упомянутая окружающая среда в виртуальной реальности реагирует на пользовательское взаимодействие с одним или более устройствами ввода для генерирования 3D-отображения окружающей среды управления, чтобы позволить пользователю взаимодействовать с по меньшей мере одним из управляющих устройств и управляемого оборудования, по меньшей мере, как представлено 3D-отображением окружающей среды управления,
при этом упомянутый механизм обращается к по меньшей мере одному из первого и второго функциональных признаков пользовательского взаимодействия с по меньшей мере одним из управляющих устройств и управляемого оборудования, чтобы распознать изменения рабочего состояния окружающей среды управления, а упомянутый механизм управления применяет признаки этих изменений к окружающей среде в виртуальной реальности для осуществления видоизменения в 3D-отображении окружающей среды управления, и
причем упомянутое первое функциональное средство включает в себя первое имитационное функциональное средство, которое имитирует работу одного или более из управляемых устройств, а упомянутое второе функциональное средство включает в себя второе имитационное функциональное средство, которое имитирует работу одного или более управляющих устройств, причем входные данные для упомянутого механизма являются указанными признаками.

15. Система по п.14, в которой база данных конфигурации содержит одну или более стратегий управления для одного или более управляемого оборудования и/или одного или более из управляющих устройств.

16. Система по п.14, в которой одна или более из баз данных включает в себя имитируемые и/или действительные текущие рабочие данные для одного или более управляемого оборудования и/или одного или более из управляющих устройств.

17. Система по п.14, в которой одна или более из баз данных включает в себя имитируемые и/или действительные архивные рабочие данные для управляющих устройств и/или одного или более управляемого оборудования.

18. Система по п.14, в которой окружающая среда управления целиком или частично может быть любой, действительной или имитируемой.

19. Система по п.14, в которой первое функциональное средство содержит функциональное средство для динамического имитационного моделирования, которое имитирует работу одного или более управляемого оборудования.

20. Система по п.19, в которой функциональное средство для динамического имитационного моделирования содержит решающее устройство или другую систему для решения математических систем уравнений и/или чтобы по-другому имитировать работу окружающей среды управления.

21. Система по п.14, в которой второе функциональное средство содержит программное обеспечение или другое функциональное средство, которое имитируют работу одного или более из управляющих устройств.

22. Система по п.14, в которой одно или более из управляющих устройств содержит приводные полевые устройства, полевые устройства с датчиками, устройства сопряжения и/или контроллеры.

23. Система для взаимодействия с окружающей средой управления, которая включает в себя управляемое оборудование и управляющие устройства, которые осуществляют контроль и управление этим управляемым оборудованием, причем система включает в себя:
первое функциональное средство, генерирующее выходные данные, представляющие рабочее состояние предприятия или другой окружающей среды, которая включает в себя одно или более из упомянутого управляемого оборудования,
второе функциональное средство, генерирующее выходные данные, представляющие рабочее состояние одного или более из упомянутых управляющих устройств,
одну или более баз данных, связанных либо с первым функциональным средством, либо со вторым функциональным средством, причем эти одна или более баз данных включают в себя любое из базы данных конфигурации и моделирования (базы данных "конфигурации"), базы данных приложений и базы данных рабочего цикла,
механизм, связанный с первым функциональным средством и со вторым функциональным средством, который генерирует рабочее состояние окружающей среды управления, причем указанный механизм включает в себя имитационное функциональное средство, при этом имитационное функциональное средство содержит программное обеспечение для динамического имитационного моделирования,
окружающую среду в виртуальной реальности, связанную с механизмом и с одним или более представлениями одного или более физических аспектов окружающей среды управления, причем эта окружающая среда в виртуальной реальности генерирует трехмерное отображение окружающей среды управления,
причем упомянутая окружающая среда в виртуальной реальности реагирует на пользовательское взаимодействие с одним или более устройствами ввода для генерирования 3D-отображения окружающей среды управления, чтобы позволить пользователю взаимодействовать с по меньшей мере одним из управляющих устройств и управляемого оборудования, по меньшей мере, как представлено 3D-отображением окружающей среды управления,
при этом упомянутый механизм обращается к по меньшей мере одному из первого и второго функциональных признаков пользовательского взаимодействия с по меньшей мере одним из управляющих устройств и управляемого оборудования, чтобы распознать изменения рабочего состояния окружающей среды управления, а упомянутый механизм управления применяет признаки этих изменений к окружающей среде в виртуальной реальности для осуществления видоизменения в 3D-отображении окружающей среды управления,
устройство для цифровой обработки данных в центральном пункте управления, связанное с любым из механизма и окружающей среды в виртуальной реальности, которое осуществляет контроль и/или управление пользовательским взаимодействием, с по меньшей мере одним из управляющих устройств и управляемого оборудования, по меньшей мере, как представлено 3D-отображением окружающей среды управления; и
причем упомянутое первое функциональное средство включает в себя первое имитационное функциональное средство, которое имитирует работу одного или более из управляемых устройств, а упомянутое второе функциональное средство включает в себя второе имитационное функциональное средство, которое имитирует работу одного или более управляющих устройств, причем входные данные для упомянутого механизма являются указанными признаками.

24. Система по п.23, в которой устройство для цифровой обработки данных в центральном пункте управления выполнено с возможностью позволить своим пользователям видеть результаты взаимодействия между пользователями окружающей среды в виртуальной реальности применительно, к по меньшей мере одному из управляющих устройств и управляемого оборудования, по меньшей мере, которые представлены 3D-отображением окружающей среды управления.

25. Система по п.24, в которой окружающая среда в виртуальной реальности выполнена с возможностью позволить своим пользователям видеть результаты действий со стороны пользователей устройства для цифровой обработки данных в центральном пункте управления.

26. Система по п.23, в которой одно или более из управляющих устройств содержит приводные полевые устройства, полевые устройства с датчиками, устройства сопряжения и/или контроллеры.

27. Способ взаимодействия с окружающей средой управления, которая включает в себя управляемое оборудование и управляющие устройства, которые осуществляют контроль и управление этим управляемым оборудованием, причем способ содержит этапы, на которых:
A. определяют одно из действительного и имитируемого рабочих состояний окружающей среды управления,
B. генерируют, при наличии окружающей среды в виртуальной реальности, трехмерное («3D») отображение окружающей среды управления из рабочего состояния и одного или более представлений одного или более физических аспектов окружающей среды управления,
C. позволяют пользователю взаимодействовать, через посредство одного или более устройств ввода с по меньшей мере одним из управляющих устройств и управляемого оборудования, по меньшей мере, как представлено 3D-отображением окружающей среды управления,
D. реагируют на пользовательское взаимодействие с одним или более устройствами ввода, чтобы уловить изменения в рабочем состоянии окружающей среды управления и чтобы на основании этого осуществить видоизменение в 3D-отображении окружающей среды управления; и причем упомянутый этап определения содержит имитационное функциональное средство, которое имитирует рабочее состояние окружающей среды управления.

28. Способ по п.27, в котором этап (А) включает в себя этап, на котором задействуют одну или более баз данных, включающих в себя любое из базы данных конфигурации и моделирования (базы данных "конфигурации"), базы данных приложений и базы данных рабочего цикла, чтобы определить то или иное рабочее состояние одного или более управляемого оборудования и одного или более управляющих устройств.

29. Способ по п.27, содержащий этап, на котором
отслеживают местоположения одного или более субъектов относительно окружающей среды управления, по меньшей мере, как представлено его 3D-отображением, и причем
этап генерирования включает в себя этап, на котором генерируют 3D-отображение для указания одного или более из этих местоположений этих субъектов.

30. Способ по п.27, в котором этап генерирования включает в себя этап, на котором дополняют 3D-отображение окружающей среды управления при помощи одного из: (i) наложения графических изображений на представляющие отображения одного или более управляемого оборудования и/или одного или более управляющих устройств и (ii) изменения представления, чтобы дать пользователю ощущение возможности смотреть вовнутрь, сквозь и/или вокруг объектов.