Способ программирования посредством репетиции

Изобретение относится к области Интеллекта Окружения как цифровой среды, которая является распознающей, адаптивной и реагирующей на присутствие людей, при этом электронные устройства встраиваются в фурнитуру, одежду или другие части среды. Техническим результатом является облегчение настройки среды Интеллекта Окружения пользователями, которые не являются специалистами в области техники. Система программирования среды Интеллекта Окружения конечным пользователем, причем среда Интеллекта Окружения включает в себя сетевые устройства, взаимно соединяемые с помощью сети, содержит: машину Рассказа Окружения для визуализации конечному пользователю рассказа окружения, который формируется из текущих взаимодействий конечного пользователя, которые имеет конечный пользователь со средой Интеллекта Окружения, причем рассказ окружения включает в себя раздел, имеющий часть предварительных условий; и интерфейс, содержащий виртуальную сцену, для конечного пользователя для представления с опциями программирования разделов и обеспеченный обратной связью эффекта опций программирования посредством репетиции, вызываемых в реальном мире конечным пользователем по отношению к упомянутому разделу посредством отображения в виртуальной сцене, отображаемой на устройстве отображения, действий конечного пользователя в реальном мире. 3 н. и 21 з.п. ф-лы, 12 ил.

 

Настоящее изобретение относится к системе, устройству и способу для настройки среды Интеллекта Окружения пользователями, которые не являются специалистами в области техники, т.е. широкой публикой. Более конкретно метафора исполнения применяется к программированию среды Интеллекта Окружения, на основании чего «репетиция» исполнения членом широкой публики завершает программирование среды Интеллекта Окружения.

Интеллект Окружения означает новую компьютерную парадигму, которая направлена на улучшение качества жизни членов широкой публики посредством создания более удобной и приятной каждодневной деятельности через использование цифрового медиа. Технически Интеллект Окружения указывает на присутствие цифровой среды, которая является распознающей, адаптивной и реагирующей на присутствие людей. Электронные устройства встраиваются в фурнитуру, одежду или другие части среды; технология отступает на задний план нашей каждодневной жизни до тех пор, пока только функция (т.е. интерфейс использования) остается полностью видимой для людей.

В то же самое время член широкой публики перемещается в центр внимания при управлении устройствами вокруг него. Они работают в согласии для поддержки исполнения каждодневной деятельности интеллектуальным способом.

Перемещая технологию и устройства на задний план и опыт члена широкой публики на передний план, видение Интеллекта Окружения признает сдвиг от промышленной экономики, движимой предложением, к глобальной информационно-сетевой экономике, движимой спросом. В этой сетевой экономике люди платят за доступ к персонализированной информации и услугам, которые отвечают их широко расходящимся и индивидуальным потребностям и желаниям (вместо оплаты за обладание стандартными, массово-произведенными физическими продуктами). Это ведет к тому, чтобы рассматривать Интеллект Окружения как персонализированную информационную услугу (услугу Интеллекта Окружения), одновременно доставляемую через одно или более сетевых устройств индивидуальным членам публики, т.е. пользователям, где устройства присутствуют в средах пользователей. Интеллект, предоставляемый услугой, не связан вместе с окружением в едином и негибком физическом продукте, как ТВ или телеприставка, но предлагается отдельно в качестве услуги через простые сетевые устройства, которые обеспечивают Интеллект Окружения.

Производство Интеллекта Окружения в большем масштабе проблематично. Во-первых, это технологически невозможно в обозримом будущем осуществлять массовое производство продукта или услуги, который формирует Интеллект Окружения, при данном текущем состоянии уровня техники в обучении машин и искусственном Интеллекте. Однако экономически не возможно вручную проектировать и производить приложения Интеллекта Окружения для каждого члена публики индивидуально.

В настоящее время трудно конечным пользователям, которые являются членами широкой публики, настраивать или программировать набор сетевых устройств. Конечные пользователи могут использовать дистанционные управления или другие пользовательские интерфейсы для управления устройствами и в некоторых случаях они могут настраивать пользовательский интерфейс (универсальное дистанционное управление); но, кроме того, эти возможности часто ограничены. Так как больше и больше устройств становятся приспособленными для сети, идея универсального дистанционного управления должна быть всецело оставлена. Альтернатива - позволять конечным пользователям программировать их собственную интеллектуальную среду - часто требует значительной квалификации и навыков программирования и поэтому также не является технически осуществимой. Что необходимо - это способ, который позволит конечным пользователям, которые не являются специалистами в области техники Интеллекта Окружения, т.е. массам, программировать их собственные среды Интеллекта Окружения простым и интуитивным способом.

Система, устройство и способ настоящего изобретения предоставляют другой подход производства, спроектированный как услуга Интеллекта Окружения для потребления на массовой основе, для производства приложений Интеллекта Окружения, настраиваемых через ввод индивидуального пользователя и обратную связь, где индивидуальный пользователь является членом широкой публики.

Интеллект Окружения является видением будущего потребительской электроники, что указывает на существование цифровой среды, которая является распознающей, адаптивной и реагирующей на присутствие людей в общем. Предпочтительный вариант осуществления настоящего изобретения обеспечивает систему, устройство и способ для настройки сред Интеллекта Окружения массами или широкой публикой. Предпочтительный вариант осуществления предоставляет среду Интеллекта Окружения, содержащую «Рассказ Окружения», определяемый как интерактивный Рассказ, помещенный в смешанной реальности, который появляется из текущих взаимодействий, которые пользователи (массы, т.е. широкая публика) имеют со средой Интеллекта Окружения.

Более конкретно, предпочтительный вариант осуществления предоставляет систему, устройство и способ для широкой публики, чтобы «создавать» Рассказ Окружения посредством настройки публично поставляемого предварительно определенного Рассказа Окружения, содержащего набор заранее определенных, взаимосвязанных модульных частей, называемых «разделами». Эти «разделы» настраиваются и упорядочиваются «машиной Рассказа Окружения» на основе обратной связи с пользователем, контекста использования и прошлых таких настроек (т.е. захваченных прошлых опытов пользователя со средой Интеллекта Окружения) в уникальную историю смешанной реальности, называемую Интеллектом Окружения.

Предпочтительный вариант осуществления включает в себя набор сетевых устройств, с которыми строятся настраиваемые среды Интеллекта Окружения на массовой основе, т.е. широкой публикой. В предпочтительном варианте осуществления модульные части описаний Интеллекта Окружения компонуются на основе обратной связи пользователя и истории взаимодействия в поток (последовательность) персонализированных, интерактивных медиа представлений, в которых одновременно участвует множество сетевых устройств. Таким образом, система, устройство и способ настоящего изобретения предоставляют услугу Интеллекта Окружения, которая позволяет членам широкой публики создавать их собственные среды Интеллекта Окружения в объеме возможностей предварительно существующего Рассказа Окружения, который является интерактивным Рассказом в смешанной реальности, которая спроектирована для поддержки людей дома или в конкретной служебной встрече при выполнении их каждодневной деятельности.

Фиг. 1 показывает мобильное устройство, имеющее дисплей, который показывает, какие разделы являются активными в комнате, где присутствует беспроводной экран;

фиг. 2 показывает завершенный раздел в составе дисплея мобильного устройства;

фиг. 3 показывает соединение разделов;

фиг. 4 показывает зеркальное ТВ, включающее в себя устройство Интеллекта Окружения в соответствии с настоящим изобретением;

фиг. 5 показывает устройство медицинских изображений, включающее в себя устройство Интеллекта Окружения в соответствии с настоящим изобретением;

фиг. 6 показывает отображение высокоуровневой архитектуры системы Рассказа Окружения на трехуровневую модель;

фиг. 7 показывает схему документа SMIL для примера зеркального ТВ на фиг. 4;

фиг. 8 предоставляет блок-схему последовательности операций машины Рассказа Окружения;

фиг. 9 показывает устройство, измененное в соответствии с настоящим изобретением для программирования среды Интеллекта Окружения посредством репетиции;

фиг. 10 показывает систему сетевых беспроводных устройств, измененных в соответствии с настоящим изобретением для предоставления услуги Интеллекта Окружения;

фиг. 11 показывает устройство из фиг. 9 более подробно; и

фиг. 12 показывает структуру рассказа окружения, где конечные пользователи могут добавлять/удалять их собственные разделы.

Все варианты осуществления настоящего изобретения основываются на концепции исполнений в каждодневной жизни. Опишем просто, что Интеллект Окружения нацелен, чтобы помогать людям в более лучшем исполнении их ежедневных действий посредством делания этих действий более удобными и приятными: посредством введения интерактивного медиа. Отметим слово «исполнение» в этом описании. Слово «исполнение» так часто используется в человеческом языке, что люди забывают, что исполнения распространяются на каждую культуру. Исполнения не только делаются в театре, музыке, танце и исполнительском искусстве в целом, но также в каждодневной жизни. Например, люди исполняют роль отца или сына в их персональной жизни, но могут также исполнять роль доктора, судьи или полицейского офицера в их профессиональной, общественной жизни. Информация для понимания, где и как Интеллект Окружения может применяться для поддержки этих исполнений, более лучший взгляд в то, чем являются исполнения и что это означает, осуществлять исполнение, предоставляется в последующих разделах.

Учение об исполнении является появляющейся, также имеющей широкий диапазон, междисциплинарной областью, которая принимает исполнения как организационную концепцию для изучения широкого диапазона человеческого поведения. Оно охватывает исследования в общественных науках от антропологии до учения о театре. Учение об исполнении рассматривает преобладающее разделение искусств на среду и культуру как произвольное и поэтому смотрит на исполнения из целостного, постсовременного, более широкого взгляда на литературу и западный театр. Так как исполнения широко варьируют от среды к среде и от культуры к культуре, то трудно установить точное определение исполнения. Определение, предполагаемое настоящим изобретением, заключается в том, что исполнение является «ритуализованным поведением, обусловленным/проникнутым игрой» или «дважды отработанным поведением». Когда люди осуществляют исполнение, они показывают поведение, которое, по меньшей мере, применялось один раз до этого аналогичным способом. В традиционных исполнительских искусствах это поведение может легко определяться: актеры в театральной игре, опере или кино репетируют их роли вне сцены и повторяют это поведение, когда они на сцене. Но это дважды отработанное поведение также можно видеть в священнике, проводящем обряд бракосочетания, хирурге, оперирующем пациента, или обслуживающем работнике за прилавком. Даже в их собственных домах люди показывают признаки их повторяющегося поведения. Это случается, например, во время каждодневных ритуалов, как чистка ваших зубов напротив зеркала утором, просмотр матча по футболу с друзьями или приход домой после работы вечером. Отметим, что здесь посылающие и получающие партии в «исполнении» могут быть одинаковыми.

В этом изобретении общественная жизнь представляется как театр. Предполагается, что люди следуют определенным культурой социальным сценариям, которые взаимодействуют друг с другом. Социальные сценарии могут отличаться от культуры к культуре и от эпохи к эпохе, но никакая культура не существует без социальных сценариев. Люди осуществляют исполнение все время, большую часть времени без знания, что они делают это.

Если социальные сценарии являются универсальными и люди осуществляют коммуникацию с другими посредством исполнения этих сценариев, предполагается, что знание в человеческих умах структурировано аналогичным образом, особенно в контексте понимания языка. Концепции сценариев, планов и тем были предложены, чтобы обращаться с пониманием уровня истории, в котором конкретные воспоминания сохраняются как указатели на обобщенные эпизоды (сценарии) плюс любые уникальные события для конкретного эпизода. Сценарии позволяют индивидуумам делать выводы, необходимые для понимания посредством заполнения недостающей информации.

Рассматривать жизнь как общественный театр является релевантным для настоящего изобретения по двум причинам:

1. Первая, если люди ведут себя в соответствии с социальными сценариями, возможно кодифицировать интерактивные медиа приложения, чтобы поддерживать людей в выполнении этих сценариев. Так же, как эффекты освещения и звуковые эффекты добавляются ко всей драме театральной игры, Интеллект Окружения применяется настоящим изобретением для расширения человеческого исполнения, описываемого этими социальными сценариями. Этот подход приводит к краткому и конкретному определению Интеллекта Окружения, используемого настоящим изобретением: среда Интеллекта Окружения является расширенной посредством медиа среды, которая поддерживает исполнения каждодневной жизни людей.

2. Вторая, позиционирование Интеллекта Окружения в учении об исполнении предоставляет хорошо изученную и хорошо знакомую систему взглядов для проектирования сред Интеллекта Окружения и лежащей в основе их технологии.

Предпочтительный вариант осуществления настоящего изобретения включает в себя парадигму, направленную на расширенные посредством медиа исполнения, т.е. Интеллект Окружения в доме и в профессиональных служебных встречах. Домашняя жизнь людей представляется как сцена, на которой люди исполняют каждодневные ритуалы, такие как чистка их зубов, хождение на работу или просмотр футбольного матча. Рассмотрим пример того, как Интеллект Окружения применяется для улучшения опыта такого ежедневного мероприятия по чистке зубов.

Фиг. 4 показывает мультфильм 402, проецируемый на зеркальное ТВ 401 (двухстороннее зеркало с LCD экраном сзади), который приглашает маленького ребенка 403, стоящего напротив зеркала 401, к чистке их зубов в течение двух минут. Мультфильм 402 помогает ребенку делать это ежедневное дело. В примере зеркального ТВ мультфильм 402 переключает внимание ребенка 403 от достижения конечного результата на процесс получения этого. Мультфильм 402 увеличивает поток активности посредством улучшения уровня дел.

Центральная роль исполнений также отражается в деловой литературе об услугах, где предлагается экономика опыта, в которой работа является театром, и каждый бизнес является сценой, так что инсценированные опыты оцениваются пользователями выше, чем доставляемые услуги, произведенные товары или извлеченные сырьевые материалы. Инсценированные опыты заполняют большее подмножество пользовательских потребностей, так что они желают платить более высокую цену за них. В этой экономике опыта сама культура втягивается в коммерческую сферу. Парки развлечений, тематические торговые галереи и организованное туристическое путешествие являются только некоторыми примерами, где люди более не покупают вещи, а платят за получение доступа к услугам и превращенной в товар культуре.

Кроме того, маркетинг услуг включает в себя театральную основу, в которой услуги представляются как исполнения, первоначальный обслуживающий персонал в качестве актеров, декорация услуги или «пейзаж услуги» является сценой, на которой услуга исполняется, продукты, используемые в услугах, в качестве бутафории, и бизнес-процесс услуги является сценой. «Пейзаж услуги», среда услуги играет важную роль в том, как люди понимают служебную встречу. Поэтому во всех предпочтительных вариантах осуществления настоящего изобретения, которые относятся к предоставлению профессиональной услуги, Интеллект Окружения применяется к профессиональным служебным встречам для обогащения атмосферы служебной встречи и, тем самым, восприятия или исполнения услуги положительным способом.

Рассмотрим, например, медицинский томографический кабинет в госпитале 500. Многие пациенты пугаются громоздкого оборудования в смотровом кабинете. Расширяя эту среду с помощью иммерсивного медиа, например, проецированием видеоклипов на стены 501 и потолок 502 смотрового кабинета, пациенты могут чувствовать себя намного легче, как показано на фиг. 5.

Медицинский томографический кабинет и ванная с зеркальным TV 400 являются примерами расширенных посредством медиа сред, расширенных Интеллектом Окружения, которые спроектированы для поддержки исполнений в каждодневной жизни в профессиональных (возможно частных) или общественных областях.

Рассказ Окружения (AN)

Для моделирования расширенных посредством медиа исполнений в доме и коммерческих/профессиональных служебных встречах машинно-понимаемым способом, настоящее изобретение представляет структуру и взаимоотношение набора связанных расширенных посредством медиа исполнений в качестве интерактивного или эпизодического Рассказа. Интерактивные рассказы позволяют потребителям влиять, выбирать или изменять сюжет истории. Большинство интерактивных Рассказов находятся в реальном мире (например, ролевые игры, театр импровизаций) или в некоторой виртуальной реальности (например, гипертекстовые романы, компьютерные игры). Расширенные посредством мадиа исполнения, используемые настоящим изобретением, возникают в смешанной реальности. Поведение людей и использование продуктов в расширенном посредством медиа исполнении имеют место в реальном мире, но цифровое медиа, для расширения исполнения, возникает из виртуального измерения. Таким образом, термин, используемый для такого представления среды, называется смешанной реальностью.

Кроме того, эти расширенные посредством медиа исполнения действительно не «читаются» аналогично книге или гипертекстовому роману, но играют роль аналогично театральной игре. Термин Рассказы Окружения обозначает те виды драматических, интерактивных Рассказов, которые играют в постановке смешанной реальности. Таким образом, Рассказы Окружения могут рассматриваться как с потребительской (читательской), так и с режиссерской (писателя) перспективы.

С точки зрения читателя, взаимодействие с Рассказом Окружения создает среду Интеллекта Окружения. Взаимодействие, используемое очень широко в этом изобретении в качестве Рассказа Окружения, может одновременно соединять виртуальное и физическое измерения. Расширенные посредством медиа исполнения в различных комнатах могут быть связаны друг с другом в одной структуре Рассказа, позволяя людям влиять на сюжет Рассказа Окружения (эволюционирующий Интеллект Окружения). Например, посредством прохаживания вокруг или касания светящейся лампы. С перспективы писателя, Рассказ Окружения описывает все возможные расширенные посредством медиа исполнения и их взаимоотношения.

Подход Рассказа Окружения, изложенный выше, позволяет настройку Интеллекта Окружения для масс, т.к. он дает возможность каждому индивидуальному пользователю смешивать и подбирать желаемый Интеллект Окружения из заранее определенного сюжетного материала и модифицировать этот материал посредством «репетирования» изменений в среде Интеллекта Окружения.

В общем, чтобы стратегия массовой настройки работала, должно иметься:

- модульность, присутствующая в продукте или услуге;

- пользовательский интерфейс, с помощью которого потребители могут легко вводить требования к продукту или спецификации;

- гибкая линия продуктов/услуг, спроектированная для обеспечения настраиваемых продуктов/услуг на массовой основе; и

- сеть для соединения интерфейса потребителя с гибкой продуктовой линией.

В подходе Рассказа Окружения модульность достигается самим Рассказом Окружения, который содержит модульные части возможных опытов Интеллекта Окружения, которые могут компоноваться. Пользовательский интерфейс реализуется Браузером Окружения, который собирает пользовательский ввод и контекстную информацию от множества устройств и отправляет эту информацию через сеть на гибкую продуктовую линию. Гибкая продуктовая линия реализуется машиной Рассказа Окружения, которая определяет, какая следующая лучшая часть определяется этой информацией и текущее положение в сюжете Рассказа Окружения. Машина Рассказа Окружения возвращает описание представления внутри новой выбранной части в Браузер Окружения, который воспроизводит это представление. Так вместе, Браузер Окружения и машина Рассказа Окружения компонуют настроенный продукт и Интеллект Окружения и предоставляют это актеру в качестве среды Интеллекта Окружения.

В предпочтительном варианте осуществления, используется трехуровневая модель содержащая слой времени выполнения, запоминающий слой и внутрикомпонентный слой. Фиг. 6 показывает отображение высокоуровневой архитектуры системы Рассказа Окружения на эту трехслойную модель. Последующие разделы объясняют, как слой 601 времени выполнения реализуется Браузером Окружения, запоминающий слой 602 машиной Рассказа Окружения и внутрикомпонентный слой 603 сюжетным материалом Рассказа Окружения.

Слой времени выполнения: Браузер Окружения

В предпочтительном варианте осуществления интерфейс с запоминающим слоем 602 осуществляется через спецификации представления. Спецификации представления кодируются в запоминающем слое 602 и содержат информацию о том, как компонент/сеть должен представляться пользователю. Таким образом, представление компонента пользователю - это функция конкретного инструмента, который выполняет представление (например, Microsoft Internet Explorer), свойство самого компонента (например, конкретный документ HTML) и/или ссылка, взятая на этот компонент. Спецификации представления обеспечивают общий способ для запоминающего слоя 602 осуществлять связь со слоем 603 времени выполнения без нарушения разделения между этими слоями.

Для поддержки хронометража и синхронизации медиа объектов в и через устройства, используется имеющийся интерпретатор языка интеграции мультимедиа (SMIL). Этот интерпретатор SMIL выполняет роль сетевой услуги, для которой другие устройства сами регистрируются. Основная причина этого выбора заключается в том, что «медиа» включает в себя лампы, вентилятор и другие устройства вывода. Для использования этой функциональности в SMIL элемент toplayout SMIL расширяется в модифицированном языке SMIL, имеющем новый атрибут target, который определяет устройство воспроизведения (или ввода). Автор документа SMIL может установить атрибут target элемента toplayout в части заголовка SMIL для указания на конкретное устройство воспроизведения или ввода. В части тела SMIL автор может использовать (как обычно делается) ID элемента toplayout или ID одного из его потомков элемента region в атрибуте region элемента media (например, изображение или видеофрагмент), для указания устройства/области, на котором элемент media должен воспроизводиться. Фиг. 7 описывает схему документа SMIL, которая принадлежит примеру 400 зеркального ТВ на фиг. 4. Преимущество такого подхода заключается в том, что нет необходимости вводить функции пространственного преобразования вне машины SMIL.

Документы SMIL являются основными строительными блоками, т.е. компонентами в запоминающем слое. Преимущество этого подхода заключается в том, что возможно выделить из нижнего уровневого положения медиа объекты в пространстве и времени и сфокусироваться на описании того, как представления выбираются на основе контекстных ситуаций.

Запоминающий слой: Перемещение по Рассказу Окружения

Запоминающий слой в модели описывает механизмы, посредством которых узлы и ссылки соединены для формирования сетей. Запоминающий слой сам не является специальным относительно внутренней структуры компонентов; компоненты обрабатываются как контейнеры общих данных. Компоненты Рассказа Окружения называются разделами. Термин раздел происходит из театральной игры и написания сценариев фильмов и определяется как изменение в поведении персонажа. Раздел является наименьшим блоком в сцене, которая представляет большое изменение в поведении. Последовательность сцен формирует действия, которые кульминируются в одинаковое большое изменение. Так Рассказ Окружения является эквивалентным гипертекстовой сети, состоящей из разделов (узлов) и ссылок между этими разделами.

Индивидуальный опыт Интеллекта Окружения представляется последовательностью разделов и любыми конкретными параметрами, которые могут использоваться в инсталляции этих разделов. Так конкретные воспоминания (опыты Интеллекта Окружения) представляются в качестве указателей на общие эпизоды (разделы) плюс любые уникальные события для конкретного эпизода (представленного значениями истории, как коротко объяснено).

Язык разделов

Сначала, описывается язык для представления разделов, следующим за объяснением того, как разделы упорядочиваются машиной упорядочивания разделов или машиной Рассказа Окружения.

Раздел является компонентом запоминающего слоя модели Декстера. Он состоит из трех частей: предварительные условия, действие и часть постусловий. Необходимо средство хранения истории, которое содержит значения истории, которые могут влиять на сюжет Рассказа Окружения. Целью этого механизма является сделать систему менее реактивной. Писатели могут использовать значения истории в каждой части описания разделов в качестве механизма для влияния на выбор нового раздела на основе, например, текущего состояния истории (например, уровень знаний конкретного пользователя) или конкретной контекстной информации (окружающая температура или влажность). Средство хранения истории содержит, по меньшей мере, одно из динамически изменяемых значений истории или переменных.

Часть предварительных условий (компонентная информация) проверяется во время выбора или поиска новых компонент раздела посредством машины упорядочивания рассказов или машины Рассказа Окружения, которая управляет перемещением по Рассказу Окружения. Часть предварительных условий определяет условия, которые должны удовлетворяться до того, как раздел может быть выбран: она может содержать информацию об активности (исполнении), пользователях (актерах), местоположении (сцене), материальных объектах и присутствующих устройствах (бутафории) и/или последнем взаимодействии (сценарии) пользователя/системы.

Часть действий выполняется после того, как раздел выбран машиной для упорядочивания. Она разделяется на часть инициализации (компонентную информацию) и основную часть (компонентное содержимое). В части инициализации автор может определить, какие значения истории необходимо изменить в средстве хранения истории до того, как начнется представление. Основная часть определяет интерактивное представление смешанной реальности, закодированное как документ SMIL в нашем случае. Дополнительный уровень адаптации вводится посредством разрешения документу мультимедийного представления содержать встроенные запросы со значениями истории в качестве параметров. Эти параметры устанавливаются во время выполнения машиной Рассказа Окружения. Этот подход позволяет большее варьирование в расширенных посредством медиа исполнениях и также уменьшает количество необходимых усилий по созданию. Документ SMIL также содержит ссылки и/или запросы со значениями истории в качестве параметров для машины упорядочивания разделов.

Часть постусловий (компонентная информация) выполняется, когда в текущее время активный раздел должен быть заменен новым разделом, т.е. до того, как выполняется часть предварительных условий. Здесь автор может определить, какие значения истории необходимо изменить в средстве хранения истории.

Сюжеты на уровне сцен содержат пять стадий: начальное состояние, требуемые события, фоновое знание, ограничения на содержание и временные ограничения. Начальное состояние устанавливает сцену и может быть аналогичным части инициализации в нашей сцене действий. Требуемые события и фоновое знание сравнимы со стадией предварительных условий, в то время как ограничения по содержанию, которые ограничивают связывание переменных, используемых в требуемых событиях, аналогичны встроенным запросам в части описания основных действий документов разделов Рассказа Окружения.

Упорядочивание разделов

Разделы упорядочиваются совместно для создания персонализированной истории в смешанной реальности, результат чего - это то, что мы назвали Интеллект Окружения. Описания разделов и машина упорядочивания разделов или машина Рассказа Окружения являются адаптированной гипертекстовой системой. Под адаптивными гипермедийными системами мы подразумеваем все гипертекстовые и гипермедийные системы, которые отражают некоторые признаки пользователя в пользовательской модели и применяют эти модели для адаптации различных видимых аспектов системы пользователю. Другими словами, система удовлетворяет трем критериям: она является гипертекстовой или гипермедийной системой; она является пользовательской моделью; и она способна адаптировать гипермедийную модель, используя эту модель. Модель адаптивного гипермедийного приложения (AHAM) определяет гипермедийное приложение как состоящее из доменной модели, пользовательской модели, обучающей модели и адаптивной машины. Доменная модель описывает, как информация структурируется в узлах и ссылках. Пользовательская модель описывает уровень знаний пользователя и также содержит записи узлов, посещаемых пользователем в последнее время. Обучающая модель состоит из обучающих правил, которые определяют, как доменная модель взаимодействует с пользовательской моделью. Адаптивная машина выполняет реальную адаптацию.

Описание разделов и машина упорядочивания теперь описывается в терминологии модели AHAM. Разделы и их взаимоотношения формируют доменную модель. Пользовательская модель подразумевается в средстве хранения истории машины Рассказа Окружения. Средство хранения истории содержит сеансовое знание и контекстное знание, которое включают в себя знание о пользователе и пользовательском контексте. Средство хранения истории динамически эволюционирует из непрерывного взаимодействия между пользователями и Рассказом Окружения. Обучающая модель кодируется в описаниях разделов. Часть инициализации действий и часть постусловий позволяют автору изменять значения истории, которые могут влиять на выбор новых разделов и контекстных элементов. Машина адаптации является машиной Рассказа Окружения, которая упорядочивает разделы. Машина Рассказа Окружения реализует механизм выбора действий в качестве ее основной задачи для нахождения наилучшего раздела. Вместо подхода AI на основе правил, предпочтительный вариант осуществления реализует планировщик упорядочивания разделов посредством подхода извлечения информации (IR). Запросы новых разделов кодируются в действие и части постусловий описания разделов, которые могут содержать фиксированные параметры и значения истории. Запросы разделов никогда точно не вводятся пользователем; они выбираются и заполняются машиной упорядочивания разделов на основе пользовательского ввода и представленной информации в средстве хранения истории.

Преимущество этого подхода заключается в том, что он делает возможным введение адаптации на различных уровнях Рассказа Окружения. Понятие встроенных запросов содержания в разделах делает возможным описание адаптации на уровне подузла, т.е. медиа объектов в документе SMIL, которые кодируют часть действий раздела. Понятие встроенных запросов разделов в разделах делает возможным описание адаптации на уровне ссылок. Выбор раздела может быть сделан контекстно-независимым с помощью использования значений истории во встроенных запросах разделов. Использование предварительных условий разделов и встроенных запросов содержания делает возможным добавление новых разделов и содержания одновременно с выполнением среды Интеллекта Окружения. Это делает возможной отсрочку решений редактирования машиной Рассказа Окружения как на уровне узла, так и уровне подузла до момента, когда они проигрываются. В результате, усилие создания уменьшается, т.к. автору не требуется точно упорядочивать элементы истории в законченную историю или перезаписывать исполнение Рассказа Окружения, когда добавляется новый материал. Это также дает писателю гибкость в добавлении разделов для конкретных устройств, которые могут выбираться, если эти устройства принадлежат читателю. Кроме того, этот открытый подход создает возможности для разделения и обмена разделами и содержанием среди Рассказов Окружения. Инструменты создания помогают читателям в создании их собственных разделов и вставки их в их набор разделов.

Фиг. 8 представляет блок-схему машины Рассказа Окружения, которая выполняет этапы, описанные подробнее ниже. Пользовательский ввод (неявно выведенный от датчиков или явно данный пользователем) и средство хранения истории совместно определяют направление через Рассказ Окружения и как выбранные разделы настраиваются и упорядочиваются.

Этап 1 (прослушивание на события 801): детектирование событий от датчиков и устройств ввода Браузером окружения и направление релевантных событий в машину AN. В случае 400 зеркального ТВ (фиг. 4), датчик в полу может отправить событие 802 в Браузер окружения, который интерпретирует событие и направляет его в машину AN.

Этап 2 (обработка события 803): машина AN проверяет, запускается ли один из в текущее время активных триггеров событием 802. Если это так, то машина AN использует средство хранения истории и пользовательскую информацию для заполнения параметров триггера. Таким образом вводится изменение в перемещение. Если оказывается, что триггер является ссылкой на параметризированный раздел, машина AN переходит на этап 4 809; если триггер является ссылкой на финализированный раздел, машина AN переходит на этап 5. Раздел является финализированным, если все его открытые параметры заполнены. Если триггер переключается для запроса раздела, машина AN продолжает этап 3. Если нет такого триггера, база данных, содержащая разделы, упорядочивается, используя только средство хранения истории и имеющуюся пользовательскую информацию (этап 3). До этого выбирается новый раздел, исполняется часть постусловий старого раздела, и любые изменения в значениях истории также связываются со средством хранения истории. В нашем примере, событие датчика пола интерпретируется и запускает запрос на новый раздел, который содержит местоположение («ванная») атрибутов запроса и пользовательский ID лица, стоящего на датчике пола (ребенок).

Этап 3 (извлечение раздела 807): извлечение и ранжирование разделов. В соответствии с некоторой степенью сходства, запрос раздела сравнивается с верхними результатами. Наилучшим образом соответствующий раздел выбирается и финализируется на этапе 4. Значения истории, используемые в запросе разделов, считываются из средства хранения истории и вводятся в качестве терминов запроса. Если ранжирование ниже определенного порога, невозможно вернуть никакой раздел, что означает, что в текущее время выполняемое приложение и представление в Браузере Окружения остается наиболее релевантным. В примере зеркального ТВ 400, наилучшее соответствие разделов является представлением интерактивного мультимедиа, описанным мультфильмом, который делает действия по чистке зубов более занимательными, как показано на фиг. 4.

Этап 4 (финализация раздела 809): финализация выбранного раздела, т.е. заполнение открытых параметров. Выполняют встроенные запросы в части действий вновь выбранного раздела. Значения истории, используемые во встроенных запросах содержания, считываются из средства хранения истории и вставляются в качестве терминов запросов. Результаты этих запросов (перечень URL, указывающих на элементы содержания) проверяются на согласованность/доступность. Если они доступны, они вставляются в описание раздела, которое финализируется. Если раздел не может быть финализирован, новый раздел выбирается посредством возврата на этап 3. Триггеры и значения истории, на которые машина AN должна реагировать, когда Браузер окружения активизирует их, также идентифицируются на этой стадии (на этапе 5). Машина AN теперь считывает часть действий раздела чистки зубов и извлекает URL сегодняшнего мультфильма из сервера и вставляет его в шаблон SMIL, который теперь является финальной формой документа SMIL.

Этап 5 (обновление сеанса 811): обновление средства хранения истории и пользовательских профилей, активных в этом сеансе Рассказа Окружения. Управление сеансом также имеет место на этом этапе.

Этап 6 (установление финализированного раздела 812): установление триггеров, для которых машина AN будет осуществлять прослушивание, и отправка финализированного раздела Браузеру окружения для обновления представления, и триггеров, которые она должна прослушивать. Теперь машина снова ожидает в этом сеансе событий из Браузера окружения, т.е. машина возвращается на этап 1, 801. В примере 400 чистки зубов, расширенной посредством медиа, финальный документ SMIL, описывающий интерактивное представление мультфильма, теперь направляется на Браузер Окружения и выполняется часть инициализации описания раздела, устанавливая значение истории «зубная щетка» в средстве хранения истории. Машина AN затем устанавливает триггеры, которые могут отвечать на запросы разделов и ссылки разделов, определенные в документе SMIL.

Конструкция машины Рассказа Окружения является менеджером драмы, который использует пользовательский ввод и средство хранения истории для упорядочивания разделов в иммерсивную интерактивную историю. Структура ссылок адаптируется на основе пользовательского взаимодействия, и узлы также являются адаптируемыми до некоторой степени, т.к. встроенные запросы разрешены в языке описания разделов.

Внутрикомпонентный слой: Сюжетный материал

В зависимости от того, рассматривается ли уровень Рассказа или уровень гипермедиа, документ SMIL либо является неделимым компонентом, либо составным компонентом. В первом случае компонентное содержание во внутрикомпонентном слое является документами SMIL; во втором случае компонентное содержание является медиа объектами, текстом, изображениями, аудио, видео и другие способы, такие как световые партитуры. Вся компонентная информация и содержание индексируется и сохраняется в базе данных Рассказа Окружения для быстрого извлечения машиной Рассказа Окружения.

Вышеизложенное является способом разбиения сред Интеллекта Окружения на меньшие модульные части, которые могут компоноваться конечными пользователями (членами общества). Посредством взаимодействия с так называемыми Рассказами Окружения конечные пользователи создают их собственные персональные истории, их собственный Интеллект Окружения из большего числа возможностей, определенных опытным разработчиком заранее. Хотя этот способ позволяет индивидуальным конечным пользователям создавать их собственный Интеллект Окружения, настройка все еще ограничена, т.к. конечные пользователи придерживаются заранее определенных путей. До сих пор конечные пользователи только принимались в качестве читателей, а не в качестве писателей. Чтобы позволить конечным пользователям программировать их собственную среду Интеллекта Окружения, предпочтительный вариант осуществления дает возможность конечным пользователям создавать их собственные разделы и добавлять эти разделы к Рассказу Окружения интуитивным способом.

Если кто-то представляет чтение Рассказа Окружения в качестве акта исполнения, тогда запись Рассказа Окружения может представляться как репетиция исполнения. Актеры и закулисный персонал репетируют театральную игру, перемещая бутафорию по полу сцены, устанавливая свет и читая сценарий вслух. Когда актеры исполняют позже их действия на сцене, они повторяют их поведение и повторно используют композицию бутафории и актеров на сцене. Если актеров и закулисный персонал заменить в этом сценарии на конечных пользователей и театральную игру на среду, где конечные пользователи вовлекаются в действия, метафора взаимодействия приводит к программированию конечным пользователем сред Интеллекта Окружения.

Для разрешения конечным пользователям записывать или модифицировать имеющиеся разделы, следующее предоставляется предпочтительными вариантами осуществления:

визуализация Рассказа Окружения для конечных пользователей 101;

интерфейс, который позволяет конечным пользователям определять предварительные условия и приложения в связи с тем, что раздел состоит из набора предварительных условий и приложений; и

функциональность для обновления Рассказа Окружения.

Каждый из них описывается в следующих секциях:

1. Визуализация Рассказа Окружения

В предпочтительном варианте осуществления для визуализации Рассказа Окружения для конечного пользователя может использоваться беспроводное устройство, имеющее дисплей 101 (например, PDA, веб-планшет или мобильный телефон), которое показывает, какие разделы активны в комнате, где расположен беспроводной дисплей. После того как конечный пользователь перенес этот беспроводной дисплей, конечный пользователь может легко видеть разделы, которые активны. После разделов, которые являются активными в текущей комнате, конечный пользователь может также видеть входящие и выходящие ссылки между разделами для получения лучшего вида состояния Рассказа Окружения и возможных переходов. Фиг. 1 показывает визуализацию Рассказа Окружения, в которой B1 - B4 представляют разделы, которые в текущее время активны в том же самом местоположении, что и мобильное устройство 101.

2. Определение предварительных условий раздела и действия

Когда пользователь открывает раздел, возникает новое окно, где пользователь может видеть предварительные условия и приложение, которое принадлежит разделу. Фиг. 12 показывает экранный снимок приложения создания в стадии конструирования. (Новый раздел в основном модифицирует пустой раздел). Предварительная область 1,201 показывает, что является результатом раздела (предварительный просмотр в этом случае является изображением). Часть 1,201 предварительных условий позволяет пользователю добавлять или удалять контекстные предварительные условия. Часть 1,201 действий позволяет пользователю выбирать из перечня возможных приложений или сценариев. Если пользователь выбирает действия, код (разметка SMIL) показывается ниже в текстовой области.

Пользователь также может выбирать удаление раздела или добавление раздела (например, кликая на пустое пространство на дисплее). Настройка или создание раздела требует, чтобы часть предварительных условий и часть описания действий были заполнены:

А. Часть предварительных условий:

1. Установление условий для бутафории: Конечный пользователь касается или иначе выбирает устройства в комнате, которые пользователь хочет использовать для конкретного Окружения. Если пользователь хочет прослушать аудиокнигу, пользователь выбирает стерео в комнате и сенсорную панель, например.

[0] Сенсорная панель может использоваться для перемещения в аудиокниге (пауза, быстро вперед и т.д.) или может быть выбор другой, если эта не интересна. Это то, что случается во время обычного взаимодействия.

[0] Сенсорная панель может использоваться для перемещения в аудиокниге (пауза, быстро вперед и т.д.) или может быть выбора другой, если эта не интересна. Это то, что случается во время обычного взаимодействия.

Если требуется программировать это поведение, новый раздел должен быть создан, и устройства, которые должны использоваться, должны быть выбраны (и выбранное приложение, которое выполняется с этим набором). Это может быть выполнено касанием их или визуальной пометкой устройств некоторым видом штрих-кода и чтением PDA этого штрих-кода. Первый способ требует, чтобы каждое устройство имело встроенный датчик, когда его касаются, и режим «новый раздел» или «редактированный раздел» активируется; это приводит к новому высвечиванию на экране устройства перечня предварительных условий инструмента создания (см. фиг. 12, элемент 1202). Второй способ может состоять в том, чтобы держать PDA близко к визуальному маркеру (например, штрих-коду) устройства во время нового или режима редактируемого раздела. Этот последний подход позволяет также использовать старое оборудование.

2. Установление условий на актеров: Конечный пользователь может указывать пользовательскую роль в качестве актера посредством ношения предмета одежды, который соответствует этой роли. Например, посредством ношения халата для ванны, пользователь указывает, что пользователь программирует активность ванной комнаты. (В среде услуг костюмы часто уже указывают роли). Распознавание может выполняться посредством считывателя меток RFID, встроенного в PDA, который пользователь носит для программирования его среды. Альтернатива - это сканировать визуальный маркер на костюме с помощью PDA (аналогично как ранее описывалось для устройств). Метки или визуальные маркеры должны быть уникальными, чтобы это работало, и должна быть ссылка на описание. Легко представить, что метка или визуальный маркер кодирует URL на XML документ в Web, который содержит информацию об объекте, который может использоваться PDA.

3. Установление условий на сцене: Конечный пользователь может указывать местоположение, идя по комнате. В примере аудиокниги пользователь может перемещаться к креслу около камина. В пользовательском интерфейсе конечный пользователь видит, что пространство, где пользователь прошел, выделяется (например, прохождение имеет эффект кисти на дисплее). [0] Это можно увидеть на фиг. 2. Пользователь (207) создал область (208) идя вокруг. Фиг. 2 является более подробным способом программирования предварительных условий, чем простое дерево, показанное на экранном снимке.

4. Установление условий на исполнение: Использование костюмов и выбора устройств может заранее ограничить исполнение. Конечный пользователь может устанавливать дополнительные ограничения, такие как время и дату (которые также относятся к сцене) обычным путем (например, пользователь перемещается по пользовательскому интерфейсу беспроводного устройства). В примере аудиокниги время может устанавливаться для вечеров.

5. Установление условий на сценарий: Конечный пользователь может также связывать одно или более состояний с имеющимися предварительными условиями. Например, состояние «тишина/расслабление» может добавляться конечным пользователем для указания, что раздел может только запускаться, если действительно состояние «расслабление в тишине». События, такие как усаживание или прохождение, являются ограничениями на исполнение. В это время не является возможным легко вывести многие из этих высокоуровневых событий с датчиками надежным способом, так что установка условий на исполнение ограничена в предпочтительном варианте осуществления временем и датой. Для условий на сценарий она равна истине. Является трудным распознавать, находится ли некто в состоянии покоя/расслаблении. Концепция состояний или значений истории вводит смысл истории и будущее в модель Рассказа Окружения. Один подход заключается в том, что для раздела устанавливаются значения истории и далее они влияют на процесс выбора будущих разделов. В предпочтительном варианте осуществления эти состояния выбираются пользователем из списка состояний.

B. Часть действий:

1. Выбор приложения: Конечный пользователь может выбирать через интерфейс мобильного устройства 101 одно или более приложений из пула приложений (отфильтрованных возможностями выбранных устройств) и связывать приложение(я) с предварительными условиями.

Если указанные выше все этапы выполнены, раздел может сохраняться. Фиг. 2 показывает завершенный раздел. Правая сторона 201 дисплея представляет сцену. Выбранные устройства (блоки) 206, пользователи 207 и пространство, где пользователь 208 прошел, выделяются. Значение истории «Прогулка» 209 на сцене указывает предварительные условия сценария. Левая сторона показывает иконку 203, представляющую приложение, которое связывается с контекстными предварительными условиями на правой стороне. Перечень значений 202 истории под этой иконкой используется для добавления или удаления значений истории из предварительных условий. Клавиши сохранения 204 и отмены 205 используются для обновления раздела или возвращения обратно к ранней версии (если она существует).

Конечный пользователь всегда видит эффект репетиционных действий пользователя на сцене, представленной на дисплее мобильного устройства. Таким способом конечный пользователь получает немедленную обратную связь. В противоположность большинству имеющихся методик и способов программирования конечным пользователем, в предпочтительном варианте осуществления программирование имеет место в реальном мире посредством репетиции, а не в виртуальном мире, например на сцене. Только обратная связь на репетиционный процесс выдается по виртуальному каналу. [0] То есть пользователь видит, что пользователь делает на пользовательском PDA (фиг. 2). Это означает, что пользователь видит новые устройства, появляющиеся на фиг. 2, когда пользователь касается или сканирует их (206), и которые, когда пользователь идет вокруг для установки сцены, пользователь видит область 208, увеличивающуюся в размере.

3. Обновление Рассказа Окружения

Рассказ Окружения автоматически обновляется после того, как раздел сохраняется. Заданное по умолчанию поведение для разделов заключается в том, что они будут активироваться ТОЛЬКО, если все их предварительные условия станут истинными; здесь требуется немного больше информации о структуре рассказа окружения. Каждый рассказ окружения имеет документ раздела инициализации, который запускает один или более разделов сцен (один раздел сцены для каждой отдельной сцены). Эта часть рассказа окружения фиксирована и не может изменяться конечными пользователями. На вершине разделов сцен, конечные пользователи могут создавать их собственные разделы. По умолчанию разделы, созданные пользователями, связываются со сценой, которой они принадлежат. Для выполнения этого машина создания модифицирует раздел сцены с тем, чтобы раздел, созданный конечным пользователем, запускался, когда все его предварительные условия удовлетворяются. Это создает заданное по умолчанию поведение (разделы только активируются, если все их предварительные условия установлены истинными).

Конечный пользователь может отвергать это поведение, связывая раздел с другим уже имеющимся разделом. [0] Конечные пользователи могут только создавать ссылки между пользовательскими разделами для обеспечения, что вся структура остается нетронутой. Если выбранный раздел является целевым объектом ссылки, его триггер будет удален из раздела сцены и станет ссылкой в анкерном разделе. Это означает, что выбранный раздел теперь только может быть активирован, когда он активируется из этого другого раздела. Если это происходит, машина рассказа окружения проверит, все ли предварительные условия целевого объекта являются истинными; если это так, она запустит целевой объект ссылки. Это работает, как указано далее:

- Конечный пользователь выбирает раздел на экране обзора. Пример экрана обзора показан на фиг. 1. Представленный набор разделов является набором разделов, в текущее время активных на сцене, где размещается PDA. Стрелки между прошлым и настоящим являются входящими ссылками; стрелки между настоящим и будущим являются выходящими ссылками. Идея заключается в том, что пользователь может связывать вновь созданный или модифицированный раздел либо с разделом во входной части, либо в выходной части (но никогда не в обоих). В первом случае вновь созданный или модифицированный раздел является целевым объектом новой ссылки; во втором случае вновь созданный или модифицированный раздел является анкером новой ссылки.

- Конечный пользователь выбирает другой раздел (пока удерживается клавиша, нажатая на PDA, для указания, что пользователь хочет выбрать более чем один раздел и поэтому хочет создать ссылку между двумя выбранными разделами) или кликает на пустую область во входящей 102 или выходящей 105 части на экране обзора, который загружает перечень разделов для выбора из него. Окно появляется на дисплее мобильного устройства, которое показывает выбранные разделы. Конечный пользователь может изменять их, если это необходимо. Это показано на фиг. 3. Если вновь созданный или измененный раздел представляется на левой стороне (302), мы создаем ссылку, где вновь созданный/модифицированный раздел формирует анкер ссылки. Если вновь созданный/модифицированный раздел показывается на правой стороне (301), он станет целевым объектом ссылки.

- Конечный пользователь может теперь настраивать анкер ссылки дополнительно для более точного определения, когда следует перейти по ссылке. В случае на фиг. 3 пользователь выбирает, что он хочет переход по ссылке, когда состояние «ТВ» достигается в приложении, которое связано с анкерным разделом. Состояния приложений не могут создаваться конечным пользователем; их создал программист приложения. Должна быть поддержка для подхода создания разделов в используемых приложениях. Во-первых, должен быть способ для добавления «перехватчиков прерываний» в приложение с тем, чтобы конечные пользователи могли добавлять команды ссылок в приложении. Три опции на фиг. 3 (музыка, видео и ТВ) являются состояниями, которые представляются внешнему миру и с которым они могут быть соединены. Во-вторых, приложение должно быть способным осуществлять связь с машиной рассказа окружения; иначе команда перейти по ссылке никогда не достигнет машины. В-третьих, приложение должно также отвечать на команду остановки машины рассказа окружения, если машина определяет, что раздел, с которым она связана, больше не действителен. Пользователь может также определить, должен ли анкерный раздел быть удален (заменен) или нет (добавлен) после того, как осуществлено следование по ссылке.

- Если конечный пользователь сделал его выбор, новая ссылка появится на экране обзора раздела.

Таким образом, конечные пользователи могут определять, должен ли раздел быть активирован автоматически, или должен ли раздел быть запущен из другого приложения.

Фиг. 9 показывает устройство для программирования посредством репетиции среды Интеллекта Окружения, содержащей виртуальную среду 101, чтобы обеспечивать обратную связь действий 905 программирования посредством репетиции и выборов 903 конечного пользователя на дисплеях 904 и машине 901 AN и средстве 902 хранения истории, включающей в себя разделы и ссылки между ними.

Фиг. 10 показывает систему, включающую в себя устройство из фиг. 9 и сеть «интеллектуальных» 1,001 устройств и костюмов, из которых происходят события 905, программируемые посредством репетиции.

Фиг. 11 описывает подробную систему архитектуры. Конечные пользователи через графический пользовательский интерфейс (GUI) на их PDA видят, какие разделы активны, и могут создавать/модифицировать разделы и ссылки (обозревать экран, создавать/редактировать ссылку, создавать/редактировать раздел и редактировать предварительные условия 904). Конечные пользователи могут также точно устанавливать предварительные условия (редактировать предварительные условия). Когда конечный пользователь удовлетворен, конечный пользователь может сохранить новый или модифицированный раздел или ссылку. Интерфейс 1,002 создания для машины 902 AN обновляет содержание рассказа окружения и информирует машину рассказа окружения, что она должна повторно вычислить ее состояние. Машина AN 901 проверяет ее состояние и запрашивает базу данных 902 рассказов окружения для определения, должны ли быть изменены существующие активные разделы. Машина AN также проверяет дополнительные или удаленные триггеры в разделах сцен для просмотра, любой ли новый раздел должен запускаться или должен ли останавливаться старый раздел. Машина AN 902 обновляет свое состояние 1,003 для соответствия этим изменениям и уведомляет как инструмент программирования конечного пользователя, так и платформу воспроизведения об изменениях в наборе активных разделов. GUI программирования конечного пользователя обновляет экран обзора. Платформа воспроизведения и взаимодействия обновляет выполняющееся представление в соответствии с новым набором документов и инструктирует индивидуальные устройства воспроизводить их части опыта Интеллекта Окружения. Конечный пользователь мгновенно видит обратную связь действий конечного пользователя через среду (другой опыт Интеллекта Окружения) и его интерфейс создания (другой набор активных разделов).

Система, устройство и способ настоящего изобретения применяются к расширенным посредством медиа средам, спроектированным для поддержки каждодневных жизненных исполнений (средам Интеллекта Окружения), и осведомленным о контексте системам в общем. Программирование конечными пользователями будет повышать важность того, как больше и больше устройств становятся сетевыми и частью нашей окружающей обстановки. Старые метафоры, такие как дистанционное управление и рабочий стол компьютера, затем будут отброшены.

В то время как предпочтительные варианты осуществления настоящего изобретения были показаны и описаны, специалисты в данной области техники должны понимать, что система, устройство и способ программирования посредством репетиции среды Интеллекта Окружения, как здесь описано, являются иллюстративными, и различные изменения и модификации могут быть сделаны, и эквиваленты могут заменять элементы отсюда без отхода от истинного объема настоящего изобретения. В дополнение, множество модификаций может быть сделано для адаптации идей настоящего изобретения без отхода от его основного объема. Поэтому предполагается, что настоящее изобретение не ограничено конкретными вариантами осуществления, описанными как наилучший режим, рассмотренный для осуществления настоящего изобретения, но что настоящее изобретение включает в себя все варианты осуществления, попадающие в объем приложенной формулы изобретения.

1. Система (100) программирования среды Интеллекта Окружения конечным пользователем, причем среда Интеллекта Окружения включает в себя сетевые устройства, взаимно соединяемые с помощью сети, содержащая:
машину (107) Рассказа Окружения для визуализации конечному пользователю рассказа окружения, который формируется из текущих взаимодействий конечного пользователя, которые имеет конечный пользователь со средой Интеллекта Окружения, причем рассказ окружения включает в себя, по меньшей мере, один раздел, имеющий часть предварительных условий, содержащую, по меньшей мере, одно предварительное условие, и часть действий, содержащую, по меньшей мере, одно приложение, связанное с упомянутым, по меньшей мере, одним предварительным условием, при этом заданное по умолчанию поведение упомянутого, по меньшей мере, одного раздела - это то, что упомянутое, по меньшей мере, одно приложение выполняется, когда все предварительные условия раздела становятся истинными; и
интерфейс, содержащий виртуальную сцену (106) для конечного пользователя для представления с опциями программирования разделов и обеспеченный обратной связью эффекта опций программирования посредством репетиции, вызываемых в реальном мире конечным пользователем по отношению к упомянутому, по меньшей мере, одному разделу посредством отображения в виртуальной сцене, отображаемой на устройстве отображения, действий конечного пользователя в реальном мире.

2. Система по п.1, дополнительно содержащая:
портативное беспроводное устройство (101), имеющее местоположение (103) и содержащее интерфейс (106) в качестве метафоры взаимодействия, которая включает в себя экран (106), содержащий виртуальную сцену, на которой отображается:
каждый раздел (104), который является активным в местоположении (103), и
входящие (102) и исходящие (105) ссылки между каждым активным разделом (104).

3. Система по п.2, в которой:
упомянутое, по меньшей мере, одно предварительное условие содержит определение конечным пользователем предварительного условия на элемент, выбранный из бутафории, актера, постановки, исполнения и сценария;
упомянутое, по меньшей мере, одно приложение выбирается из пула заранее заданных приложений, фильтруемых возможностями упомянутого, по меньшей мере, одного предварительного условия; и
упомянутое портативное беспроводное устройство дополнительно сконфигурировано для обеспечения возможности конечному пользователю программировать в реальном мире посредством репетиции с использованием действий конечного пользователя в реальном мире, при приеме обратной связи на виртуальную сцену, функцию, выбранную из группы, состоящей из: определения отображаемого раздела (104) для его модификации, удаления отображаемого раздела (104) и добавления нового раздела.

4. Система по п.3, в которой:
предварительное условие на бутафорию включает в себя касание конечным пользователем, по меньшей мере, одного устройства в местоположении (103) для включения в репетируемый раздел;
предварительное условие на актера включает в себя определение конечным пользователем костюма, который указывает роль, исполняемую актером в репетируемом разделе;
предварительное условие на постановку включает в себя проход конечным пользователем из первого положения во второе положение в местоположении (103);
предварительное условие на исполнение включает в себя определение конечным пользователем элемента, выбранного из группы, состоящей из времени дня и даты; и
предварительное условие на сценарий включает в себя формирование конечным пользователем настроения.

5. Система (100) по п.4, в которой, когда конечный пользователь выбирает функцию из группы, состоящей из модификации отображенного раздела (104) и добавления нового раздела, экран дополнительно отображает окно, включающее в себя, по меньшей мере, одно предварительное условие и приложение раздела (104), и которое может связываться с одним другим, добавленным к разделу конечным пользователем.

6. Система (100) по п.5, в которой существует множество разделов, и конечный пользователь может отклонять заданное по умолчанию поведение первого раздела посредством связывания первого раздела в качестве целевого раздела с другим уже имеющимся разделом упомянутого множества в качестве анкерного раздела (301.1).

7. Система (100) по п.6, в которой приложение анкерного раздела включает в себя перечень событий, из которых новое приложение может запускаться, и целевой раздел связан с одним событием из перечня.

8. Система (100) по п.7, в которой анкерный раздел удаляется из рассказа окружения после перехода по ссылке от анкерного раздела к целевому разделу.

9. Устройство (106, 107) для программирования среды Интеллекта Окружения конечным пользователем, причем среда Интеллекта Окружения включает в себя сетевые устройства, взаимно соединяемые с помощью сети, содержащее:
модуль (107) машины Рассказа Окружения, который визуализирует конечному пользователю рассказ окружения, который появляется из текущих взаимодействий конечного пользователя, которые имеет конечный пользователь со средой Интеллекта Окружения, причем рассказ окружения включает в себя, по меньшей мере, один раздел, имеющий часть предварительных условий, содержащую, по меньшей мере, одно предварительное условие, и часть действий, содержащую, по меньшей мере, одно приложение, связанное с упомянутым, по меньшей мере, одним предварительным условием, при этом заданное по умолчанию поведение упомянутого, по меньшей мере, одного раздела - это то, что упомянутое, по меньшей мере, одно приложение выполняется, когда все предварительные условия раздела становятся истинными; и
визуальный интерфейс, содержащий виртуальную сцену (106), для конечного пользователя для представления с опциями программирования посредством репетиции разделов и обеспечения мгновенной обратной связи посредством визуализации модуля (106) машины Рассказа Окружения эффектов там выбора конечным пользователем упомянутых опций, когда упомянутые опции вызываются в реальном мире в отношении упомянутого, по меньшей мере, одного раздела, посредством отображения в виртуальной сцене, отображаемой на устройстве отображения, действий конечного пользователя в реальном мире.

10. Устройство (106, 107) по п.9, в котором визуальный интерфейс (106) дополнительно содержит метафору взаимодействия, которая включает в себя экран (106), который отображает на виртуальной сцене:
каждый раздел (104), который является активным в местоположении (103), и
входящие (102) и исходящие (105) ссылки между каждым активным разделом (104).

11. Устройство (106, 107) по п.10, в котором:
упомянутое, по меньшей мере, одно предварительное условие содержит предварительное условие на элемент, выбранный из бутафории, актера, постановки, исполнения и сценария;
упомянутое, по меньшей мере, одно приложение выбирается из пула заранее заданных приложений, фильтруемых возможностями упомянутого, по меньшей мере, одного предварительного условия; и
упомянутый визуальный интерфейс (106) дополнительно сконфигурирован для обеспечения возможности конечному пользователю программировать посредством репетиции в реальном мире, при приеме визуальной обратной связи, функцию, выбранную из группы, состоящей из: определения отображаемого раздела (104) для его модификации, удаления отображаемого раздела (104) и добавления нового раздела.

12. Устройство (106, 107) по п.11, в котором:
предварительное условие на бутафорию включает в себя касание конечным пользователем, по меньшей мере, одного устройства в местоположении (103) для включения в репетируемый раздел;
предварительное условие на актера включает в себя определение конечным пользователем костюма, который указывает роль, исполняемую актером в репетируемом разделе;
предварительное условие на постановку включает в себя проход конечным пользователем из первого положения во второе положение в местоположении (103);
предварительное условие на исполнение включает в себя определение конечным пользователем элемента, выбранного из группы, состоящей из времени дня и даты; и
предварительное условие на сценарий включает в себя формирование конечным пользователем настроения.

13. Устройство (106, 107) по п.12, в котором:
когда конечный пользователь выбирает функцию из группы, состоящей из модификации отображенного раздела (104) и добавления нового раздела, визуальный интерфейс (106) дополнительно отображает окно, включающее в себя, по меньшей мере, одно предварительное условие и приложение раздела (104); и
визуальный интерфейс дополнительно сконфигурирован для разрешения конечному пользователю связывать упомянутое, по меньшей мере, одно приложение с упомянутым, по меньшей мере, одним предварительным условием, добавленным к разделу конечным пользователем.

14. Устройство (106, 107) по п.13, в котором имеется множество разделов и визуальный интерфейс дополнительно сконфигурирован для разрешения конечному пользователю отклонять заданное по умолчанию поведение первого раздела посредством связывания первого раздела в качестве целевого раздела с другим уже имеющимся разделом из упомянутого множества в качестве анкерного раздела (301.1).

15. Устройство (106, 107) по п.14, в котором приложение анкерного раздела включает в себя перечень событий, из которых новое приложение может запускаться, и конечный пользователь может связывать целевой раздел с одним событием из перечня.

16. Устройство (106, 107) по п.15, в котором анкерный раздел автоматически удаляется из рассказа окружения после перехода по ссылке от анкерного радела к целевому разделу.

17. Способ для программирования посредством репетиции конечным пользователем среды Интеллекта Окружения, причем среда Интеллекта Окружения включает в себя сетевые устройства, взаимно соединяемые с помощью сети, содержащий этапы:
обеспечения рассказа окружения, который появляется из текущих взаимодействий конечного пользователя, которые имеет конечный пользователь со средой Интеллекта Окружения, причем рассказ окружения включает в себя, по меньшей мере, один раздел, имеющий часть предварительных условий, содержащую, по меньшей мере, одно предварительное условие, и часть действий, содержащую, по меньшей мере, одно приложение, связанное с упомянутым, по меньшей мере, одним предварительным условием, при этом заданное по умолчанию поведение упомянутого, по меньшей мере, одного раздела - это то, что упомянутое, по меньшей мере, одно приложение выполняется, когда все предварительные условия раздела становятся истинными;
обеспечения визуального интерфейса, содержащего виртуальную сцену (106);
визуализации для конечного пользователя упомянутого, по меньшей мере, одного рассказа окружения на обеспеченной виртуальной сцене;
представления конечному пользователю опций программирования разделов посредством визуального интерфейса;
программирования посредством репетиции конечным пользователем, по меньшей мере, одного раздела для включения в рассказ окружения с использованием представленных опций программирования разделов; и
обеспечения обратной связи на эффекты виртуальной сцены программирования посредством репетиции упомянутого, по меньшей мере, одного раздела при вызове в реальном мире конечным пользователем посредством отображения в виртуальной сцене, отображаемой на устройстве отображения, действий конечного пользователя в реальном мире.

18. Способ по п.17, в котором этап обеспечения визуального интерфейса дополнительно содержит этап обеспечения метафоры взаимодействия, которая включает в себя экран, содержащий виртуальную сцену (106), на которой отображается:
каждый раздел (104), который является активным в местоположении (103), и
входящие (102) и исходящие (105) ссылки между каждым активным разделом (104).

19. Способ по п.18, в котором:
этап обеспечения рассказа окружения дополнительно содержит этап определения конечным пользователем:
упомянутого, по меньшей мере, одного предварительного условия на элемент, выбранный из бутафории, актера, постановки, исполнения и сценария; и
упомянутого, по меньшей мере, одного приложения из пула заранее заданных приложений, фильтруемых возможностями упомянутого, по меньшей мере, одного предварительного условия; и
этап представления дополнительно содержит этап программирования посредством репетиции конечным пользователем в реальном мире, при приеме обратной связи на виртуальной сцене, функции, выбранной из группы, состоящей из: определения отображаемого раздела (104) для его модификации, удаления отображаемого раздела (104) и добавления нового раздела.

20. Способ по п.19, в котором:
предварительное условие на бутафорию включает в себя касание конечным пользователем, по меньшей мере, одного устройства в местоположении (103) для включения в репетируемый раздел;
предварительное условие на актера включает в себя определение конечным пользователем костюма, который указывает роль, исполняемую актером в репетируемом разделе;
предварительное условие на постановку включает в себя проход конечным пользователем из первого положения во второе положение в местоположении (103);
предварительное условие на исполнение включает в себя определение конечным пользователем элемента, выбранного из группы, состоящей из времени дня и даты; и
предварительное условие на сценарий включает в себя формирование конечным пользователем настроения.

21. Способ по п.20, в котором, когда конечный пользователь выбирает функцию из группы, состоящей из модификации отображенного раздела (104) и добавления нового раздела, дополнительно содержит этапы:
отображения на экране окна, которое включает в себя, по меньшей мере, одно предварительное условие и приложение раздела (104), которое может связываться с одним другим; и
добавления связи из экранного отображения к разделу конечным пользователем.

22. Способ по п.21, в котором:
множество разделов обеспечивается этапом обеспечения рассказа окружения; и
отмена конечным пользователем заданного по умолчанию поведения первого раздела посредством связывания первого раздела в качестве целевого раздела с другим уже имеющимся разделом из упомянутого множества в качестве анкерного раздела (301.1).

23. Способ по п.22, дополнительно содержащий этапы:
включения в приложение анкерного раздела перечня событий, из которых новое приложение может запускаться; и
связывание целевого раздела с одним событием из перечня.

24. Способ по п.23, дополнительно содержащий этап удаления анкерного раздела из рассказа окружения после перехода по ссылке от анкерного радела к целевому разделу.