Система дистанционного управления, позволяющая обойтись без визуального контроля устройства управления и обеспечивающая визуальную обратную связь
Изобретение относится к области дистанционного управления устройствами, а именно к интерфейсу дистанционного управления, обеспечивающему обратную виртуальную связь от управляемого устройства. Техническим результатом является возможность контроля устройства управления посредством визуальной обратной связи как от устройства управления, так и управляемого устройства. Для этого интерфейс дистанционного управления позволяет пользователю взаимодействовать с программируемым мультимедийным контроллером с мобильного устройства, имеющего сенсорный дисплей, посредством которого пользователь может осуществлять сенсорный ввод, включая касания, удержания, скольжения и смещения, на сенсорном дисплее. Такой сенсорный ввод можно обрабатывать и передавать в программируемый мультимедийный контроллер, который отображает систему экранных меню на устройстве отображения, подключенном к программируемому мультимедийному контроллеру. Пользователь может направлять бόльшую часть своего внимания на систему экранных меню на устройстве отображения. Однако на сенсорном дисплее мобильного устройства может также отображаться некоторая визуальная обратная связь, характерная для типа сенсорного ввода данных, принятого на сенсорном дисплее. 3 н. и 15 з.п. ф-лы, 15 ил.
Родственные заявки
В настоящей заявке испрашивается приоритет по предварительной патентной заявке за №.61/433,941, поданной 18 января 2011 г. и озаглавленной «Система дистанционного управления, позволяющая обойтись без визуального контроля устройства управления и обеспечивающая визуальную обратную связь при взаимодействии с экранным меню», содержание которой полностью включено в настоящий документ посредством ссылки.
Область техники
Настоящее описание изобретения в целом относится к управлению устройствами, а конкретнее, к интерфейсу дистанционного управления для использования с программируемым мультимедийным контроллером, который управляет различными электронными устройствами, такими как аудио- и видеоустройства, телефонное оборудование, средства обработки данных и безопасности, устройства с приводом от двигателя, устройства с релейным управлением и/или другие типы устройств.
Уровень техники
По мере постоянного возрастания сложности электронных устройств простое, но эффективное управление устройствами приобретает все более важное значение. Хотя в свое время электронными устройствами можно было с достаточной точностью управлять с помощью всего лишь нескольких аналоговых ручек и переключателей, современные электронные устройства часто предоставляют пользователю обширное количество настраиваемых опций и параметров, для выбора и манипулирования которыми требуются сложные средства управления. Отвечая на потребности пользователей в «удобстве», эти средства управления часто реализуют на основе ориентированных на конкретное устройство или «универсальных» ручных пультов (модулей) дистанционного управления, в которых используются инфракрасные (ИК), радиочастотные (РЧ) или другие типы сигналов для взаимодействия с управляемыми электронными устройствами. И все же, традиционные пульты дистанционного управления редко позволяют обеспечить настоящее удобство.
Многие индивидуальные для устройств и «универсальные» ручные пульты дистанционного управления разработаны в рамках кнопочно-ориентированной парадигмы таким образом, что многочисленные функционально-специализированные кнопки втиснуты в относительно небольшое пространство на лицевой стороне пульта дистанционного управления. В некоторых случаях функционально-специализированные кнопки представляют собой физические кнопки, соединенные с датчиками или переключателями, которые распознают их нажатие. В других случаях функционально-специализированные кнопки могут представлять собой виртуальные кнопки, отображаемые на дисплее с сенсорным экраном (т.е. на дисплее, позволяющем осуществлять визуальный вывод данных и, кроме того, выполненном с возможностью приема сенсорных данных). Однако такие кнопочно-ориентированные пульты дистанционного управления имеют ряд недостатков.
Уплотненное расположение кнопок на кнопочно-ориентированных пультах дистанционного управления обычно требует, чтобы пользователь часто смотрел вниз на пульт дистанционного управления, чтобы выбрать на нем нужную кнопку. Таким образом, пользователь вынужден отвлекаться, например, от экранного меню, выведенного на устройство отображения, такое как телевизор, чтобы взглянуть на пульт дистанционного управления. В связи с этим пользователь часто вынужден работать с пультом дистанционного управления, «склонив голову».
Даже когда пользователь смотрит вниз на пульт дистанционного управления, уплотненное расположение кнопок на кнопочно-ориентированных пультах управления часто затрудняет выбор нужной кнопки из многих имеющихся, особенно в условиях низкой освещенности. Пользователь может просто быть не в состоянии разглядеть часто мелкие и неясные обозначения, связанные с каждой кнопкой, или не понимать их значения. Если пользователь непреднамеренно нажимает «неправильную» кнопку, устройство может выполнить ненужное действие или войти в нежелательный режим или состояние. Это может сбивать с толку или раздражать пользователя.
В последнее время делаются попытки отойти от кнопочно-ориентированной парадигмы и, вместо того, чтобы просто отображать виртуальные кнопки на сенсорном дисплее пульта дистанционного управления, принимать сенсорные жесты (движения пальцев) или другие, более сложные входные данные на сенсорном дисплее. Хотя отход от кнопочно-ориентированной парадигмы позволил получить определенные преимущества, такие пульты дистанционного управления, как правило, имеют собственный набор недостатков. Самый главный из них заключается в том, что эти пульты обычно не обеспечивают для пользователя обратной связи или подтверждения того, что его команда управления правильно принимается и регистрируется. В отличие от физической кнопки, которая при нажатии «дает подтверждение» пользователю своим ответным движением, сенсорный дисплей, как правило, не обеспечивает непосредственной обратной связи. При этом пользователь может быть не уверен в том, что его выбор был правильно принят и зарегистрирован.
В последнее время для смартфонов, планшетных компьютеров и других «мобильных устройств» начали применять различные интерфейсы, которые позволяют таким устройствам функционировать в качестве индивидуальных для устройства или «универсальных» ручных пультов дистанционного управления. Однако обсуждавшийся выше базовый недостаток специализированных пультов дистанционного управления был перенесен и на интерфейсы, используемые со смартфонами, планшетными компьютерами и другими «мобильными устройствами».
Таким образом, существует потребность в усовершенствованном интерфейсе управления, который позволит устранить все или некоторые из описанных выше недостатков.
Раскрытие изобретения
Согласно одному из вариантов осуществления, представленных в настоящем описании, предлагается интерфейс дистанционного управления, который позволяет пользователю взаимодействовать и иным образом управлять программируемым мультимедийным контроллером с мобильного устройства, имеющего сенсорный дисплей, преимущественно без «наклона головы» («вслепую»), т.е. без визуального контроля устройства управления, одновременно обеспечивая визуальную обратную связь на мобильном устройстве для подтверждения сенсорного ввода.
Клиентское приложение интерфейса дистанционного управления, выполняемое на мобильном устройстве, может отображать интерфейс ввода на сенсорном дисплее. Пользователь может осуществлять сенсорный ввод, в том числе касания, удержания, скольжения или смещения на сенсорном дисплее. Такой сенсорный ввод можно обрабатывать и передавать программируемому мультимедийному контроллеру, который отображает систему экранных меню на устройстве отображения, таком как телевизор, подключенный к программируемому мультимедийному контроллеру. Пользователь может направлять большую часть своего внимания на систему экранных меню на устройстве отображения, а не на сенсорный дисплей на мобильном устройстве. В ответ на сенсорный ввод клиентское приложение интерфейса управления может передавать соответствующие команды в программируемый мультимедийный контроллер, чтобы обеспечить осуществление им отображения и манипулирования системой экранных меню на устройстве отображения и регистрацию произведенного выбора. Кроме того, клиентское приложение интерфейса управления может обеспечить на сенсорном дисплее мобильного устройства отображение визуальной обратной связи, характерной для типа сенсорного ввода, принятых на сенсорном дисплее. Эта визуальная обратная связь может различаться для различных типов сенсорного ввода, например, касаний, удержаний, скольжений или смещений, а также для сенсорного ввода в различных направлениях (напр., влево, вправо, вверх и вниз). Такая визуальная обратная связь может обеспечиваться во время ввода и/или вскоре после его завершения.
Краткое описание чертежей
Приведенное ниже описание изобретения ссылается на следующие прилагаемые чертежи.
На ФИГ.1 представлена блок-схема, иллюстрирующая пример программируемого мультимедийного контроллера, связанного с рядом устройств.
На ФИГ.2 представлена структурная схема, иллюстрирующая пример архитектуры аппаратных средств примерного программируемого мультимедийного контроллера.
На ФИГ.3 представлена блок-схема, иллюстрирующая пример архитектуры аппаратных средств примерного мобильного устройства, которое может работать с программируемым мультимедийным контроллером, показанным на ФИГ.1.
На ФИГ.4 представлена схема примерной системы экранных меню интерфейса дистанционного управления, который может быть выведен на устройство отображения, подключенное к программируемому мультимедийному контроллеру.
На ФИГ.5А представлен снимок экрана примерного интерфейса ввода, который может быть показан на сенсорном дисплее мобильного устройства.
На ФИГ.5В представлен снимок экрана примерного интерфейса ввода, иллюстрирующий визуальную обратную связь, предоставляемую в ответ на касание или удержание виртуальной кнопки, который может быть показан на сенсорном дисплее мобильного устройства.
На ФИГ.5С представлен снимок экрана примерного интерфейса ввода, иллюстрирующий визуальную обратную связь, предоставляемую в ответ на касание или удержание в поле сенсорных жестов, который может быть показан на сенсорном дисплее мобильного устройства.
На ФИГ.5D представлен снимок экрана примерного интерфейса ввода, иллюстрирующий визуальную обратную связь, предоставляемую в ответ на потенциальное смещение, который может быть показан на сенсорном дисплее мобильного устройства.
На ФИГ.5Е представлен снимок экрана примерного интерфейса ввода, иллюстрирующий визуальную обратную связь, предоставляемую в ответ на происходящее в данный момент смещение или скольжение в поле сенсорных жестов, который может быть показан на сенсорном дисплее мобильного устройства.
На ФИГ.6А представлена схема примерной последовательности шагов, которая может быть реализована клиентским приложением интерфейса дистанционного управления в целях взаимодействия с программируемым мультимедийным контроллером для обеспечения интерфейса дистанционного управления.
На ФИГ.6В представлена схема примерной последовательности шагов, которая может быть реализована клиентским приложением интерфейса дистанционного управления, чтобы определить, имело ли место касание виртуальной кнопки или было ли воспринято касание в поле сенсорных жестов, и произвести соответствующий отклик.
На ФИГ.6С представлена схема примерной последовательности шагов, которая может быть реализована клиентским приложением интерфейса дистанционного управления, чтобы определить, перешло ли потенциальное смещение в фактическое происходящее в данный момент смещение, и произвести соответствующий отклик.
На ФИГ.6D представлена схема примерной последовательности шагов, которая может быть реализована клиентским приложением интерфейса дистанционного управления, чтобы зарегистрировать скольжение и произвести соответствующий отклик.
На ФИГ.6Е представлена схема примерной последовательности шагов, которая может быть реализована клиентским приложением интерфейса дистанционного управления, чтобы определить, имело ли место удержание виртуальной кнопки или было ли воспринято удержание в поле сенсорных жестов, и произвести соответствующий отклик.
На ФИГ.6F представлена схема примерной последовательности шагов, которая может быть реализована клиентским приложением интерфейса дистанционного управления в целях реализации контрольного индикатора (heartbeat).
Осуществление изобретения
На фиг.1 показана блок-схема, иллюстрирующая пример программируемого мультимедийного контроллера 100, связанного с рядом устройств. Термин «программируемый мультимедийный контроллер» следует толковать широко в качестве устройства, способного осуществлять управление, коммутацию данных и/или иное взаимодействие с различными электрическими и электронными устройствами, такими как аудио-, видео- и телефонное оборудование, средства обработки данных и безопасности, системы с приводом от двигателя, и устройства с релейным управлением, устройства обогрева, вентиляции и кондиционирования воздуха (ОВКВ), управления энергопотреблением и/или другие типы устройств.
Программируемый мультимедийный контроллер 100 может подключаться к различным аудио- и видеоустройствам, в том числе устройствам-источникам 110 аудиосигнала, таким как проигрыватели компакт-дисков (CD-проигрыватели), проигрыватели цифровых видеодисков (DVD-проигрыватели), микрофоны, цифровые видеомагнитофоны (DVR), приставки кабельного телевидения, аудио- и видеоресиверы, персональные медиа-плейеры и другие устройства, которые являются источниками аудиосигналов; может подключаться к различным устройствам-источникам 120 видеосигнала, таким как проигрыватели цифровых видеодисков (DVD-проигрыватели), цифровые видеомагнитофоны (DVR), приставки кабельного телевидения, аудио- и видеоресиверы, персональные медиа-плейеры и другие устройства, которые являются источниками видеосигналов; может подключаться к различным устройствам-адресатам 130 аудиосигнала, таким как громкоговорители, устройства, в состав которых входят громкоговорители, и другие устройства, выводящие аудиосигналы; а также может подключаться к различным устройствам 140 отображения, таким как телевизоры, мониторы и другие устройства, выводящие видеосигналы.
Кроме того, программируемый мультимедийный контроллер 100 может подключаться, управлять или иным образом взаимодействовать с различными другими типами устройств, напрямую или через один или более промежуточных контроллеров. Например, программируемый мультимедийный контроллер 100 может подключаться к системе 170 управления охранным видеонаблюдением (ОВН), которая управляет системой камер, расположенных в доме или другом сооружении, системе 175 управления ОВКВ и/или энергопотреблением, которая управляет устройствами ОВКВ в целях регулирования параметров окружающей среды и/или устройствами управления энергопотреблением в доме или другом сооружении, и/или системе 180 безопасности, которая управляет множеством отдельных охранных датчиков в доме или другом сооружении. В ответ на команды управления, принятые от программируемого мультимедийного контроллера 100, система 170 управления ОВН, система 175 уравления ОВКВ и/или энергопотреблением и система 180 безопасности может управлять устройствами, находящимися под их соответствующим непосредственным контролем.
Кроме того, программируемый мультимедийный контроллер 100 может подключаться, управлять или иным образом взаимодействовать с одним или более электронными контроллерами 190 освещения. Один или более электронных контроллеров 190 освещения могут подключаться, например, с помощью проводных или беспроводных линий связи к множеству реле 192 и/или регуляторов 193 света. Аналогичным образом, программируемый мультимедийный контроллер 100 может подключаться, управлять или иным образом взаимодействовать с одним или более контроллерами 195 устройств с приводом от двигателя, например, одним или более контроллерами автоматических светонепроницаемых штор или другими типами контроллеров. Как и в случае управления освещением, в ответ на команды управления, принятые от программируемого мультимедийного контроллера 100, контроллеры 195 устройств с приводом от двигателя могут выборочно обеспечивать включение устройств с приводом от двигателя (не показаны) в различных комнатах дома или другого сооружения для достижения желаемых эффектов.
Программируемый мультимедийный контроллер 100 может принимать ввод пользователя через один или более модулей дистанционного управления, например, настенных модулей управления, настольных модулей управления, ручных переносных модулей управления и тому подобных устройств. В некоторых случаях модуль дистанционного управления может подключаться к программируемому мультимедийному контроллеру 100 через промежуточное устройство 153. В других случаях модуль дистанционного управления может непосредственно взаимодействовать с программируемым мультимедийным контроллером 100. Промежуточное устройство 153 может различаться в зависимости от способа связи модуля дистанционного управления, потребности в этом модуле и его вида. Например, если модуль дистанционного управления использует соединение по беспроводной локальной сети (LAN) (такое как соединение по сети WI-FI или соединение согласно стандарту IEEE 802.11), промежуточное устройство 153 может представлять собой точку беспроводного доступа или иной шлюз. Альтернативно, если модуль дистанционного управления использует соединение по проводной сети (LAN) (такое как Ethernet-соединение), промежуточное устройство 153 может представлять собой коммутатор или маршрутизатор. Еще в одном альтернативном варианте, если модуль дистанционного управления осуществляет связь через глобальную сеть (WAN) (такую как сеть Интернет) для контактов с программируемым мультимедийным контроллером 100, промежуточное устройство 153 может представлять собой интерфейс к WAN, такой как кабельный модем или модем DSL (digital subscriber line, цифровой абонентской линии связи).
Один из конкретных типов модуля дистанционного управления в настоящем документе будет называться «мобильным устройством» 150. В данном контексте термин «мобильное устройство» относится к электронному устройству, пригодному для переноски одним лицом, включая мультимедийные смартфоны, такие как мультимедийный телефон iPhone®, выпускаемый компанией Apple Inc., и устройство Blackberry®, выпускаемое компанией Research In Motion Limited, многофункциональные планшетные вычислительные устройства, такие как планшет iPad® компании Apple Inc., переносные медиа-плейеры, такие как iPod® touch компании Apple Inc., карманные персональные компьютеры (КПК), электронные книги и т.п. Такие мобильные устройства 150 могут осуществлять связь с программируемым мультимедийным контроллером 100 непосредственно или косвенно, через промежуточное устройство 153, при помощи различных беспроводных сетевых технических средств, сотовых сетевых технических средств и/или проводных сетей.
В ответ на ввод пользователя с мобильного устройства 150 программируемый мультимедийный контроллер 100 может коммутировать данные, подавать команды управления и/или иным образом взаимодействовать с устройствами-источниками 110 аудиосигнала, устройствами-источниками 120 видеосигнала, устройствами-адресатами 130 аудиосигнала и/или устройствами-адресатами 140 видеосигнала. Кроме того, в ответ на ввод пользователя программируемый мультимедийный контроллер 100 может подавать команды управления или иным образом взаимодействовать с системой 170 управления ОВН, системой 175 управления ОВКВ и/или энергопотреблением, системой 180 безопасности 180, электронными контроллерами 190 освещения, а также контроллерами 195 устройств с приводом от двигателя.
На фиг.2 показана структурная схема, иллюстрирующая пример архитектуры 200 аппаратных средств программируемого мультимедийного контроллера 100. Различные показанные на схеме компоненты могут быть расположены на «материнской плате» контроллера 100 или на нескольких печатных платах, взаимосвязанных при помощи объединительной панели (не показана). Микроконтроллер 210 управляет работой контроллера 100 в целом. Микроконтроллер 210 подключен к аудиокоммутатору 215 и видеокоммутатору 220 при помощи шины 218. Аудиокоммутатор 215 и видеокоммутатор 220 предпочтительно представляют собой матричные коммутаторы, способные коммутировать ряд соединений одновременно. Однако могут также применяться многие другие типы коммутаторов, способных коммутировать цифровые сигналы, например, коммутаторы с временным разделением каналов (TDM, Time Division Multiplexing) или другие устройства. Кроме того, хотя на рисунке показаны два отдельных коммутатора 215, 220, функции коммутации аудио- и видеосигналов могут быть объединены в одном коммутаторе, который поддерживает коммутацию обоих типов данных.
Срединная объединительная панель 235 связывает аудио- и видеокоммутаторы 215, 220 с различными входными и выходными модулями, например, одним или более модулями 287 ввода/вывода видеосигналов, одним или более модулями 290 ввода/вывода аудиосигналов и/или одним или более другими модулями 295. Такие модули могут включать множество соединительных портов, позволяющих подключаться к аудио- и видеоустройствам. Срединная объединительная панель 235, кроме того, подключена к коммутатору 230 Ethernet, который связывает порты 232 Ethernet и подсистему 240 обработки с микроконтроллером 210. В одном из вариантов осуществления подсистема 240 обработки включает один или более «компьютеров 245 общего назначения». В данном контексте термин «компьютер 245 общего назначения» относится к устройству, которое выполнено с возможностью исполнять набор команд и, в зависимости от конкретных исполняемых команд, может реализовывать ряд различных функций или задач. Как правило, хотя и не всегда, компьютер 245 общего назначения исполняет операционную систему общего назначения, такую как операционная система Windows®, предлагаемая компанией Microsoft Corporation, операционная система Linux®, предлагаемая рядом других поставщиков, операционная система OSX®, предлагаемая компанией Apple Inc., или другую операционную систему. Компьютер 245 общего назначения может включать машиночитаемый носитель, например, жесткий диск, компакт-диск для однократной записи данных (CDROM), флэш-память или устройство хранения данных другого типа, и/или может быть связан с устройством хранения данных, предусмотренным в другом месте подсистемы 240 обработки.
Подсистема 240 обработки предпочтительно имеет одно или более устройств 241, 242 графического вывода, таких как аналоговые разъемы VGA (Video Graphics Array, видеографическая матрица), разъемы DVI (Digital Visual Interface, цифровой видеоинтерфейс), разъемы ADC (Apple Display Connector, разъем дисплея Apple), или разъемы другого типа для передачи графических данных. Данные на такие устройства 241, 242 графического вывода могут поступать, например, непосредственно от одного или более компьютеров 245 общего назначения подсистемы 240 обработки.
Примерный программируемый мультимедийный контроллер 100 может также включать интерфейс карты памяти и ряд портов 242 USB (Universal Serial Bus, универсальная последовательная шина), соединенных с концентратором (хабом) 243 USB. Такие порты 242 USB могут подключаться к внешним устройствам. Коммутатор 244 USB используется для коммутации сигналов USB, принятых концентратором, на подсистему 240 обработки. Аналогичным образом, ряд 246 портов IEEE 1394 (FireWire™) может подключаться к внешним устройствам и пропускать данные к концентратору 247 IEEE 1394 и коммутатору 248 IEEE 1394 для коммутации на подсистему 240 обработки.
Микроконтроллер 210 также соединен со схемой 250 распределения последовательного периферийного интерфейса (SPI, Serial Peripheral Interface) и шины для соединения ИС (Inter-Integrated Circuit, I2C), которая обеспечивает последовательный интерфейс связи для устройств с относительно низкой скоростью передачи данных. Контроллер 250 SPI/I2C соединен со срединной объединительной панелью 235 и, вследствие этого, обеспечивает подачу команд управления от микроконтроллера 210 на модули 287, 290, 295 программируемого мультимедийного контроллера 100. Кроме того, обеспечиваются соединения контроллера 250 SPI/I2C с такими компонентами, как контроллер 251 вентилятора, датчик 252 температуры и схема 253 управления питанием, которые совместно управляют тепловыми характеристиками программируемого мультимедийного контроллера 100.
Микроконтроллер 210 соединен также с интерфейсом 275 управления устройствами, который может осуществлять связь с системой 170 управления ОВН, системой 175 управления ОВКВ и/или энергопотреблением, системой 180 безопасности, одним или более электронными контроллерами 190 освещения, а также одним или более контроллерами 195 устройств с приводом от двигателя. Кроме того, может быть предусмотрен телефонный интерфейс 270 для подключения к телефонной сети и/или телефонным устройствам. В дополнение к этому, может предусматриваться порт 280 расширения для соединения нескольких программируемых мультимедийных контроллеров 100 с целью образования расширенной системы, при этом дисплей 265 передней панели может предусматриваться для отображения статуса, конфигурации и/или другой информации для пользователя.
На фиг.3 представлена блок-схема, иллюстрирующая пример архитектуры аппаратных средств примерного мобильного устройства 150, которое может работать с программируемым мультимедийным контроллером 100, показанным на фиг.1. Мобильное устройство 150 включает процессор 310, подключенный к памяти 320. Память 320 может содержать как область постоянного, так и область кратковременного хранения, в которых хранятся исполняемые процессором команды для одного или более программных приложений, выполняемых процессором 320. В памяти 320 может храниться клиентское приложение 325 интерфейса дистанционного управления, включающее команды для исполнения процессором 310 в целях реализации по меньшей мере части описанных ниже способов. Процессор 310 может также быть подключен к дисплейному интерфейсу 330, который визуально воспроизводит графические данные для отображения на сенсорном дисплее. Сенсорный дисплей может включать как дисплейный экран, такой как жидкокристаллический дисплей (LCD-дисплей) 345, так и сенсорную экранную панель 347, наложенную на дисплейный экран, которая принимает и регистрирует касания пользователя. Такая сенсорная информация может интерпретироваться контроллером 350 сенсорной экранной панели и поступать в процессор 310 для применения вместе со способами, описанными в настоящей заявке. Кроме того, интерфейс 360, который может включать приемопередатчик для беспроводных сетей (такой как приемопередатчик Wi-Fi или IEEE 802.11), интерфейс сети сотовой связи (такой как приемопередатчик CDMA (code division multiple access, многостанционный доступ с кодовым разделением каналов) или GSM (global system for mobile communications, глобальная система мобильных коммуникаций)) и/или другие типы беспроводного или проводного приемопередатчика (-ов), может быть соединен с процессором 310, чтобы прямо или косвенно способствовать осуществлению связи с программируемым мультимедийным контроллером 100.
Согласно одному из вариантов осуществления, представленных в настоящем описании, предлагается интерфейс дистанционного управления, который позволяет пользователю взаимодействовать и иным образом управлять программируемым мультимедийным контроллером 100 с мобильного устройства 150, имеющего сенсорный дисплей, преимущественно без «наклона головы» (вслепую), одновременно обеспечивая визуальную обратную связь на мобильном устройстве для подтверждения сенсорного ввода. Клиентское приложение 325 интерфейса дистанционного управления, исполняемое на мобильном устройстве 150, может отображать интерфейс ввода на сенсорном дисплее. Пользователь может осуществлять сенсорный ввод с помощью касаний, удержаний и сенсорных жестов, таких как скольжения или смещения, на сенсорном дисплее. Такой сенсорный ввод можно обрабатывать и сообщать программируемому мультимедийному контроллеру 100, который отображает систему экранных меню на устройстве отображения, таком как телевизор, подключенный к программируемому мультимедийному контроллеру 100. Пользователь может направлять большую часть своего внимания на систему экранных меню на устройстве 140 отображения, а не на сенсорный дисплей на мобильном устройстве 150. В ответ на сенсорный ввод, включая касания, удержания и сенсорные жесты, такие как скольжения и смещения, клиентское приложение 325 интерфейса управления может передавать соответствующие команды программируемому мультимедийному контроллеру 100, чтобы обеспечить отображение и манипулирование системой экранных меню на устройстве отображения 140 и регистрацию сделанного выбора, осуществляемые контроллером. Кроме того, клиентское приложение 325 интерфейса управления может обеспечить отображение на сенсорном дисплее мобильного устройства 150 визуальной обратной связи, характерной для типа сенсорного ввода, принятого на сенсорном дисплее. Эта визуальная обратная связь может различаться, например, для касаний, удержаний и жестов, таких как скольжения или смещения, а также для жестов в различных направлениях (напр., влево, вправо, вверх и вниз) и обеспечивать различное визуальное отображение для каждого типа сенсорного ввода. Такая визуальная обратная связь может обеспечиваться во время ввода и/или вскоре после его завершения.
В данном контексте термин «касание» относится к кратковременному прикосновению в стационарном положении, когда касание и отпускание происходят в пределах заданного периода времени. В данном контексте термин «удержание» относится к продолжительному прикосновению в стационарном положении, когда происходит касание, проходит время, после чего происходит отпускание, причем продолжительность прошедшего промежутка времени больше, чем заранее заданный период времени. В данном контексте термин «скольжение» относится к быстрому движению при касании, начиная с исходного положения, в том или ином направлении (напр., влево, вправо, вверх и вниз) до конечного положения, причем движение происходит со скоростью большей, чем заранее заданная. В данном контексте термин «смещение» относится к медленному движению при касании, начиная с исходного положения, на некоторое расстояние в направлении (напр., влево, вправо, вверх и вниз) до конечного положения, причем движение происходит на расстояние большее, чем заранее заданное расстояние.
На фиг.4 представлена схема примерной системы 400 экранных меню интерфейса дистанционного управления, который может быть отображен на устройстве 140 отображения, подключенном к программируемому мультимедийному контроллеру 100. Система 400 экранных меню может рисоваться программным приложением, исполняемым подсистемой 240 обработки программируемого мультимедийного контроллера 100 или другим устройством. Система 400 экранных меню состоит из выбираемых опций 410, 420, 430, 440, отображаемых в круговой конфигурации. Хотя на фиг.4 показаны только четыре выбираемые опции, количество выбираемых опций может быть любым. Система 400 экранных меню может быть двухмерной, с выбираемыми опциями 410, 420, 430, 440, расположенными в плоскости, параллельной экрану дисплея, или трехмерной, такой, что выбираемые опции 410, 420, 430, 440 расположены в виде круговой конфигурации в трехмерном пространстве, при этом пользователю демонстрируется изображение в трехмерном пространстве. Аналогичным образом, сами выбираемые опции 410, 420, 430, 440 могут представлять собой двух- или трехмерные изображения. В одном из вариантов осуществления выбираемые опции 410, 420, 430, 440 являются графическими значками, чей внешний вид имеет отношение или иным образом связан с их соответствующими функциями. Например, выбираемые опции 410, 420, 430, 440 могут быть графическими значками, представляющими устройства, которыми управляет программируемый мультимедийный контроллер 100, а их выбор можно использовать, чтобы указать на одно из устройств для дальнейшего управления. Если выбрано одно из устройств для дополнительного управления путем выбора подходящей выбираемой опции, то могут быть отображены дополнительные выбираемые опции (не показаны), позволяющие взаимодействовать с выбранным устройством. Например, если выбранное устройство представляет собой устройство-источник кабельного телевизионного сигнала, такой как приставка кабельного телевидения, дополнительные выбираемые опции могут соответствовать перечню программ в программе передач, доступной в связи с данным устройством-источником кабельного телевизионного сигнала. Аналогичным образом, если выбранное устройство представляет собой устройство ОВКВ, дополнительные выбираемые опции могут соответствовать точкам нагревания и охлаждения и органам управления нагреванием и охлаждением. Следует понимать, что выбор выбираемой опции может инициировать отображение последующего уровня выбираемых опций, а эти выбираемые опции также могут инициировать отображение последующего уровня в широком спектре вложенных конфигураций.
В целях выбора различных выбираемых опций 410, 420, 430, 440 и осуществления выбора других элементов управления, пользователь взаимодействует с мобильным устройством 150 и его сенсорным дисплеем. На фиг.5А представлен снимок экрана примерного интерфейса 500 ввода, который может быть показан на сенсорном дисплее мобильного устройства 150. Интерфейс 500 ввода может рисоваться клиентским приложением 325 интерфейса дистанционного управления, исполняемым процессором 310 мобильного устройства 150. Строка 510 заголовка может включать в себя виртуальную кнопку 515 для закрытия клиентского приложения 325 интерфейса дистанционного управления, а также индикатор 520 соединения, который может указывать, например, с помощью заданного цвета, имеется ли соединение с программируемым мультимедийным контроллером 100. в интерфейсе ввода можно предусмотреть множество дополнительных виртуальных кнопок, которым присвоены предопределенные и/или контекстно-зависимые функции, включая кнопку 525 увеличения громкости, кнопку 530 уменьшения громкости, кнопку 535 отключения звука, кнопку 545 увеличения номера канала, кнопку 550 уменьшения номера канала, кнопку 555 меню/питания (которая может инициировать отображение системы экранных меню, показанной на фиг.4) и кнопку 560 выхода (которая позволяет скрыть систему экранных меню, показанную на фиг.4, или выйти из его подменю). Кроме того, кнопка 565 виджетов (интерфейсных элементов окна) может обеспечить отображение одного или более виджетов или других небольших приложений на устройстве 140 отображения, подключенном к программируемому мультимедийному контроллеру 100. Оставшаяся часть интерфейса 500 ввода может быть посвящена полю 565 сенсорных жестов, где пользователь может осуществлять сенсорный ввод, включая касания, удержания и сенсорные жесты, такие как скольжения или смещения. В некоторых вариантах осуществления эти сенсорные жесты не обязательно строго ограничиваются полем 565 сенсорных жестов, а могут распространяться на одну или более виртуальных кнопок 525-565. Виртуальные кнопки 525-565 могут быть сконфигурированы позволять ввод только в том случае, если не были обнаружены какие-либо жесты.
Согласно одному варианту осуществления способов, относящихся к интерфейсу дистанционного управления, описанных в настоящей заявке, пользователь может ввести жест, такой как скольжение или смещение, проведя пальцем в вертикальном или горизонтальном направлении. В ответ на это могут осуществляться манипуляции (напр., вращение) над выбираемыми опциями 410, 420, 430, 440 в системе 400 экранных меню, показанной на устройстве 140 отображения 140, подключенном к программируемому мультимедийному контроллеру 100. Например, как показано на фиг.4, выбираемая опция 420 может поворачиваться, переходя в положение, занятое в настоящий момент выбираемой опцией 410, в ответ на выполненное пользователем скольжение или смещение в правом направлении. Пользователь может выбирать выбираемую опцию 410, 420, 430, 440, переводя опцию в заданное местоположение в системе экранных меню 400, например, на передний план в трехмерной круговой системе меню, или в нижнее местоположение в двухмерной круговой системе меню. После установки в заданном местоположении пользователь выбирает выбираемую опцию касанием или удержанием в любом месте поля 565 сенсорных жестов.
Как обсуждалось выше, интерфейс дистанционного управления может обеспечивать визуальную обратную связь на сенсорном дисплее мобильного устройства 150, которая характерна для того типа сенсорного ввода (напр., касания, удержания, скольжения или смещения), который принимает или принял интерфейс ввода на сенсорном дисплее. Эта визуальная обратная связь может различаться, например, для касания, удержания, скольжения или смещения, а также для различных направлений скольжения и смещения. Визуальная обратная связь может также обеспечиваться при касании или удержании виртуальной кнопки.
На фиг.5В представлен снимок экрана примерного интерфейса 502 ввода, иллюстрирующий визуальную обратную связь, предоставляемую в ответ на касание или удержание виртуальной кнопки, который может быть показан на сенсорном дисплее мобильного устройства 150. В одном примере происходит касание кнопки 555 меню/питания, которая показана подсвеченной, причем подсветка осуществляется с помощью заранее заданного цвета или шаблона в течение короткого заранее заданного периода времени после касания. Альтернативно, при удержании кнопки 555 меню/питания кнопка может оставаться подсвеченной в течение всего времени удержания.
На фиг.5С представлен снимок экрана примерного интерфейса 504 ввода, иллюстрирующий визуальную обратную связь, предоставляемую в ответ на касание или удержание в поле 565 сенсорных жестов, который может быть показан на сенсорном дисплее мобильного устройства 150. В одном примере пользователь касается поля 565 сенсорных жестов возле его центра. Индикатор 570 может отображаться вблизи от места касания в течение короткого заранее заданного периода времени после касания. В одной конфигурации индикатор представляет собой круговую анимацию заранее заданного цвета, который показан расходящимся из места касания. Однако следует понимать, что индикатор 570 может иметь другой внешний вид. Если пользователь удерживает сенсорный экран вместо того, чтобы быстро отпустить его в одно касание, индикатор 570 может отображаться вскоре после начального нажатия на сенсорный дисплей и оставаться видимым в течение всего времени удержания на сенсорном дисплее. Касанием или, как альтернативный вариант, удержанием на сенсорном экране можно обеспечить выбор конкретной выбираемой опции 410, 420, 430, 440, которая расположена в заданном месте в системе 400 экранных меню, или же обеспечить выполнение другого действия.
На фиг.5D представлен снимок экрана примерного интерфейса 506 ввода, иллюстрирующий визуальную обратную связь, предоставляемую в ответ на потенциальное смещение, который может быть показан на сенсорном дисплее мобильного устройства 150. В этом примере пользователь начал медленное движение при касании из исходного положения возле центра поля 565 сенсорных жестов в правом направлении, однако такое движение может начаться из любого положения на сенсорном дисплее, отличного от строки 510 заголовка, включая движение по виртуальным кнопкам 525-565. Как только пользователь начинает этот жест, могут быть отображены один или более указателей 575 направления (напр., стрелка). Указатели направления могут иметь заранее заданный цвет или могут быть заполнены заранее заданным шаблоном. В одном из вариантов осуществления чем больше величина этого перемещения, тем большее количество указателей 575 направления показывается. Например, если пользователь продолжает движение в правом направлении, может быть отображен второй указатель направления (не показан), затем третий указатель направления (не показан) и т.д. После того, как пользователь преодолел расстояние большее заранее заданного, потенциальное смещение может быть зарегистрировано в качестве фактического происходящего в данный момент смещения, при этом может произойти обновление системы 400 экранных меню, например, могут быть повернуты выбираемые опции 410, 420, 430, 440 в системе 400 экранных меню или выполнено другое действие.
На фиг.5Е представлен снимок экрана примерного интерфейса 508 ввода, иллюстрирующий визуальную обратную связь, предоставляемую в ответ на происходящее в данный момент смещение или скольжение в поле 565 сенсорных жестов, который может быть показан на сенсорном дисплее мобильного устройства 150. В этом примере пользователь зарегистрировал происходящее в данный момент смещение путем медленного перемещения вправо по меньшей мере на заранее заданное расстояние и удержания в конце перемещения, или ввел скольжение быстрым перемещением в правом направлении из исходного положения до конечного положения. Как обсуждалось выше, хотя в этом примере показано перемещение из исходного положения вблизи от центра поля 565 сенсорных жестов, такое перемещение можно начать из любого положения на сенсорном дисплее, отличного от строки 510 заголовка, включая перемещение по виртуальным кнопкам 525-565. При этом может отображаться множество 580 указателей 575 направления (напр., стрелок). Такое множество 580 указателей 575 направления может отображаться, пока происходит смещение, или, в случае скольжения, в течение короткого заранее заданного периода времени после него. Как обсуждалось выше, в ответ на смещение может произойти обновление системы 400 экранных меню, например, могут быть повернуты выбираемые опции 410, 420, 430, 440 в системе 400 экранных меню или выполнено другое действие. Аналогичным образом, обновление системы 400 экранных меню может произойти в ответ на скольжение, например, может произойти переход в выбираемых опциях 410, 420, 430, 440 на одну позицию в направлении скольжения.
На фиг.6А представлена схема примерной последовательности шагов 600, которая может быть реализована клиентским приложением 325 интерфейса дистанционного управления в целях взаимодействия с программируемым мультимедийным контроллером 100 для обеспечения интерфейса дистанционного управления. Последовательность начинается с шага 601, на котором клиентское приложение 325 интерфейса дистанционного управления исполняется процессором 310 мобильного устройства 150, а интерфейс ввода, например, такой, как показан выше на фиг.5А, отображается на сенсорном дисплее мобильного устройства 150. На шаге 602 на сенсорном дисплее распознается сенсорный ввод. На шаге 604 запускается таймер задержки кнопки, и выполнение продолжается на шаге 606, на котором приложение 325 ожидает возникновения одного из нескольких возможных событий. Первый возможный вариант состоит в том, что, при отсутствии какого-либо другого события, на шаге 608 определяется конец сенсорного ввода. В таком случае выполнение переходит через соединительный знак 610 к фиг.6В, где определяется, имело ли место касание виртуальной кнопки или касание было принято в поле 565 сенсорных жестов, и производится соответствующий отклик. Второй возможный вариант, проверка которого выполняется на шаге 612, состоит в том, что касание медленно перемещается на некоторое расстояние, причем это перемещение происходит на расстояние большее, чем заранее заданное минимальное расстояние жеста. В таком случае выполнение переходит через соединительный знак 614 к фиг.6С, где определяется, завершено ли потенциальное смещение для перехода в фактическое происходящее в данный момент смещение, и производится соответствующий отклик. Третий возможный вариант, проверка которого выполняется на шаге 616, состоит в том, что касание быстро перемещается на некоторое расстояние, причем это перемещение происходит со скоростью большей, чем заданная минимальная скорость ввода команды на расстоянии жеста. В таком случае выполнение переходит через соединительный знак 618 к фиг.6D, где регистрируется скольжение и производится соответствующий отклик. Четвертый возможный вариант, проверка которого выполняется на шаге 620, состоит в том, что время таймера задержки кнопки истекает при отсутствии других событий. В таком случае выполнение переходит через соединительный знак 622 к фиг.6Е, где определяется, имело ли место удержание виртуальной кнопки или же удержание было принято в поле 565 сенсорных жестов, и производится соответствующий отклик. В противном случае выполнение возвращается к шагу 606.
На фиг.6В представлена схема примерной последовательности шагов, которая может быть реализована клиентским приложением 325 интерфейса дистанционного управления, чтобы определить, имело ли место касание виртуальной кнопки, или же касание было принято в поле 565 сенсорных жестов, и произвести соответствующий отклик. На шаге 624 определяется, совпадает ли местоположение касания на сенсорном дисплее с местоположением виртуальной кнопки. Если да, то выполнение переходит к шагу 626, на котором происходит показывается визуальная индикация касания кнопки, например, кнопка подсвечивается с использованием заранее заданного цвета или шаблона, как показано на фиг.5В. На шаге 628 клиентское приложение 325 интерфейса дистанционного управления передает соответствующую команду нажатия выбранной кнопки экранного меню в программируемый мультимедийный контроллер 100, чтобы обеспечить выполнение действия, соответствующего данной виртуальной кнопке. На шаге 630 клиентское приложение 325 интерфейса дистанционного управления осуществляет ожидание в течение заранее заданной короткой задержки. После этого, на шаге 632, клиентское приложение 325 интерфейса дистанционного управления передает соответствующую команду отпускания выбранной кнопки экранного меню в программируемый мультимедийный контроллер 100, а на шаге 634 визуальная индикация прекращается, например, убирается подсветка. Затем последовательность заканчивается на шаге 646.
Альтернативно, если на шаге 624 определяется, что местоположение касания не совпадает с местоположением виртуальной кнопки, например, оно находится в поле 565 сенсорных жестов, выполнение переходит к шагу 626, на котором показывается визуальная индикация касания, например, возле места касания может быть отображен индикатор 570, такой как показан на фиг.5С. На шаге 638 клиентское приложение 325 интерфейса управления передает соответствующую команду нажатия выбранной кнопки экранного меню в программируемый мультимедийный контроллер 100, чтобы обеспечить осуществление выбора, например, выбора конкретной выбираемой опции 410, 420, 430, 440, которая расположена в заданном месте в системе 400 экранных меню 400. На шаге 640 клиентское приложение 325 интерфейса дистанционного управления осуществляет ожидание в течение заранее заданной короткой задержки. После этого, на шаге 642, клиентское приложение 325 интерфейса управления передает соответствующую команду отпускания выбранной кнопки экранного меню в программируемый мультимедийный контроллер 100, а на шаге 644 визуальная индикация касания прекращается, например, убирается индикатор 570. Затем последовательность заканчивается на шаге 646.
На фиг.6С представлена схема примерной последовательности шагов, которая может быть реализована клиентским приложением 325 интерфейса дистанционного управления, чтобы определить, завершено ли потенциальное смещение с переходом в фактическое происходящее в данный момент смещение, и произвести соответствующий отклик. На шаге 648 визуальная индикация потенциального смещения, такая как один или более указателей 575 направления (напр., стрелок) отображается на сенсорном экране мобильного устройства 150, указывая направление потенциального смещения, как показано на фиг.5D. На шаге 650 определяется, прошло ли касание заданное расстояние передачи команды и, таким образом, происходит ли в данный момент фактическое смещение. Если нет, выполнение возвращается к шагу 648, в случае, если не будет обнаружено другое событие (на показано). Если да, выполнение переходит к шагу 652, на котором клиентское приложение 325 интерфейса управления передает соответствующую команду направленного нажатия экранного меню в программируемый мультимедийный контроллер 100, например, чтобы в течение смещения выбираемые опции 410, 420, 430, 440 в системе 400 экранных меню поворачивались, или же выполняется другое действие. На шаге 654 отображается визуальная индикация происходящего в данный момент смещения, такая как множество 580 указателей 575 направления (напр., стрелок), как показано на фиг.5Е. На шаге 656 происходит формирование и передача контрольных индикаторов (heartbeat), как подробнее обсуждается ниже. На шаге 658 определяется конец сенсорного ввода. После этого выполнение переходит к шагу 660, на котором клиентское приложение 325 интерфейса управления передает соответствующую команду направленного отпускания экранного меню в программируемый мультимедийный контроллер 100, и к шагу 662, на котором визуальная индикация прокрутки прекращается. Последовательность шагов заканчивается на шаге 664.
На фиг.6D представлена схема примерной последовательности шагов, которая может быть реализована клиентским приложением 325 интерфейса дистанционного управления, чтобы зарегистрировать скольжение и произвести соответствующий отклик. На шаге 666 клиентское приложение 325 интерфейса управления передает соответствующую команду направленного нажатия экранного меню в программируемый мультимедийный контроллер 100, например, чтобы можно было повернуть выбираемые опции 410, 420, 430, 440 в системе 4000 экранных меню 400 на одну позицию, или выполнить другое действие. На шаге 668 визуальная индикация скольжения в направлении скольжения отображается на сенсорном дисплее мобильного устройства 150. Визуальная индикация скольжения может быть такой же, как визуальная индикация смещения, например, в виде множества 580 указателей 575 направления (напр., стрелок), как показано на фиг.5Е, или иметь другой внешний вид. На шаге 670 клиентское приложение 325 интерфейса дистанционного управления осуществляет ожидание в течение заранее заданного короткого периода времени, а затем, на шаге 672, передает соответствующую команду направленного отпускания экранного меню в программируемый мультимедийный контроллер 100. После этого, на шаге 674, визуальная индикация скольжения прекращается и на шаге 676 последовательность шагов заканчивается.
На фиг.6Е представлена схема примерной последовательности шагов, которая может быть реализована клиентским приложением 325 интерфейса дистанционного управления, чтобы определить, имело ли место удержание виртуальной кнопки или же удержание было принято в поле 565 сенсорных жестов, и произвести соответствующий отклик. На шаге 678 определяется, совпадает ли местоположение удержания на сенсорном дисплее с местоположением виртуальной кнопки. Если да, то выполнение переходит к шагу 680, на котором происходит визуальная индикация удержания кнопки, например, кнопка подсвечивается с использованием заранее заданного цвета или шаблона, как показано на фиг.5В. На шаге 682 клиентское приложение 325 интерфейса дистанционного управления передает соответствующую команду нажатия выбранной кнопки экранного меню в программируемый мультимедийный контроллер 100, чтобы обеспечить выполнение действия, соответствующего данной виртуальной кнопке. На шаге 684 происходит формирование и передача контрольных индикаторов (heartbeat), как подробнее обсуждается ниже. На шаге 686 клиентское приложение 325 интерфейса дистанционного управления определяет, что касание на сенсорном дисплее закончилось. После этого, на шаге 688, клиентское приложение 325 интерфейса дистанционного управления передает соответствующую команду отпускания выбранной кнопки экранного меню в программируемый мультимедийный контроллер 100, а на шаге 690 визуальная индикация удержания кнопки прекращается, например, удаляется подсветка. Затем последовательность заканчивается на шаге 704.
Альтернативно, если на шаге 678 определяется, что местоположение удержания не совпадает с местоположением виртуальной кнопки, например, оно находится в поле 565 сенсорных жестов, выполнение переходит к шагу 692, на котором показывается визуальная индикация удержания, например, рядом с местом касания может быть отображен индикатор 570, такой как показан на фиг.5С. На шаге 692 клиентское приложение 325 интерфейса дистанционного управления передает соответствующую команду нажатия выбранной кнопки экранного меню в программируемый мультимедийный контроллер 100, чтобы обеспечить выполнение действия, соответствующего удержанию. Например, может быть сделан выбор конкретной выбираемой опции 410, 420, 430, 440, которая расположена в заданном месте в системе 400 экранных меню. На шаге 696 происходит формирование и передача контрольных индикаторов, как подробнее обсуждается ниже. На шаге 698 клиентское приложение 325 интерфейса дистанционного управления определяет, что прикосновение к сенсорному дисплею закончилось. После этого, на шаге 700, клиентское приложение 325 интерфейса управления передает соответствующую команду отпускания выбранной кнопки экранного меню в программируемый мультимедийный контроллер 100, а на шаге 704 визуальная индикация удержания прекращается, например, убирается индикатор 570. Затем последовательность заканчивается на шаге 704.
На фиг.6F представлена схема примерной последовательности шагов, которая может быть реализована клиентским приложением 325 интерфейса дистанционного управления в целях реализации контрольного индикатора (heartbeat). Отсутствие контрольных индикаторов, принимаемых программируемым мультимедийным контроллером 100 после истечения определенного периода времени, вызывает эмуляцию отпускания кнопки программируемым мультимедийным контроллером 100. Реализация контрольного индикатора предотвращает ситуацию, при которой событие отпускания пропущено программируемым мультимедийным контроллером 100, например, вследствие сбоя связи между мобильным устройством 150 и программируемым мультимедийным контроллером 100, при этом программируемый мультимедийный контроллер 100 продолжает считать, что кнопка нажата. На шаге 706 в мобильном устройстве 150 начинается генерация контрольного индикатора, например, в ответ на прикосновение. На шаге 708 выполняется ожидание в течение периода задержки, после чего происходит формирование и передача контрольного индикатора в программируемый мультимедийный контроллер 100. На шаге 710 выполняется проверка с целью определения, может ли закончиться генерация контрольного индикатора, например, если имело место отпускание касания. Если нет, выполнение возвращается к шагу 708. Если да, выполнение переходит к шагу 712, на котором заканчивается генерация контрольного индикатора.
Хотя в приведенном выше описании обсуждаются некоторые примеры осуществления изобретения, следует понимать, что в него может быть внесен ряд модификаций и/или дополнений без выхода за пределы существа и объема раскрытия настоящего изобретения. Хотя выше описано, что сенсорный ввод (например, касания, удержания, скольжения или смещения) можно использовать для манипулирования и выбора выбираемых опций в различных системах 400 экранных меню, такой сенсорный ввод альтернативно можно использовать для непосредственного управления программируемым мультимедийным контроллером 100 или подключенным к нему устройством при отсутствии соответствующего отображения экранного меню. Например, когда программируемый мультимедийный контроллер 100 или подключенное к нему устройство находится в конкретном режиме, определенный тип сенсорного ввода (например, касание, удержание, скольжение или смещение) может иметь заранее заданное значение, которое может быть реализовано после его распознавания. Например, в одном варианте осуществления при управлении телевизором смещение в верхнем направлении может иметь заранее заданное значение, в соответствии с которым следует увеличить громкость, и после распознавания такого смещения в верхнем направлении можно выполнить данное действие. Соответственно, управление необязательно должно всегда быть связано с отображением систем 400 экранных меню.
Кроме того, хотя приведенное выше описание относится к ряду конкретных аппаратных модулей для выполнения различных функций, следует помнить, что многие из обсуждавшихся в настоящей заявке способов могут, в качестве альтернативного варианта, быть реализованы с помощью ряда различных аппаратных конструкций (например, различных программируемых логических схем, специально разработанных аппаратных микросхем, аналоговых или частично аналоговых устройств и других типов устройств), реализованы в виде программных средств (например, исполняемых компьютером команд, сохраняемых на долговременном машиночитаемом носителе информации для исполнения процессором или другим аппаратным устройством), или в виде комбинации аппаратных и программных средств. Таким образом, следует понимать, что приведенные выше описания представлены только в качестве примера.
1. Система дистанционного управления с обеспечением визуальной обратной связи, содержащая
программируемый мультимедийный контроллер, подключенный к множеству различных типов электронных устройств и выполненный с возможностью управления ими, при этом указанные устройства включают одно или более устройств-источников аудиосигнала, одно или более устройств-источников видеосигнала, одно или более устройств-адресатов аудиосигнала и одно или более устройств отображения, при этом программируемый мультимедийный контроллер выполнен с возможностью отображения системы экранных меню на по меньшей мере одном из устройств отображения, а система экранных меню включает множество выбираемых опций, которые могут поворачиваться в системе экранных меню и могут быть выбраны из системы экранных меню в ответ на команды управления;
мобильное устройство, отдельное от программируемого мультимедийного контроллера и от по меньшей мере одного устройства отображения, причем мобильное устройство выполнено с возможностью функционирования в качестве средства дистанционного управления для программируемого мультимедийного контроллера, посредством которого могут быть введены команды управления для взаимодействия с экранным меню, при этом мобильное устройство включает беспроводной интерфейс, позволяющий осуществлять беспроводную связь с программируемым мультимедийным контроллером, сенсорный дисплей, процессор и память, выполненную с возможностью хранения по меньшей мере клиентского приложения интерфейса дистанционного управления, которое, при его исполнении процессором, позволяет выполнять следующие операции:
отображение интерфейса ввода, имеющего поле сенсорных жестов, на сенсорном дисплее;
распознавание сенсорного ввода, осуществляемого пользователем в поле сенсорных жестов на мобильном устройстве;
определение типа и направления принятого сенсорного ввода из множества типов и направлений возможного сенсорного ввода;
передачу одной или более команд управления в программируемый мультимедийный контроллер в ответ на сенсорный ввод, чтобы обеспечить поворот программируемым мультимедийным контроллером опций в системе экранных меню, отображаемой на по меньшей мере одном устройстве отображения; и
отображение одного или более индикаторов в поле сенсорных жестов в ответ на сенсорный ввод, чтобы обеспечить для пользователя визуальную обратную связь на мобильном устройстве, характерную как для данного типа сенсорного ввода, так и для направления сенсорного ввода, при этом обеспечиваемая визуальная обратная связь различается для различных типов из числа множества типов сенсорного ввода.
2. Система по п. 1, отличающаяся тем, что интерфейс ввода дополнительно включает множество виртуальных кнопок отдельно от поля сенсорных жестов, а клиентское приложение интерфейса дистанционного управления при его исполнении позволяет дополнительно выполнять следующие операции:
распознавание дополнительного сенсорного ввода, осуществляемого пользователем в местоположении, которое совпадает с местоположением виртуальной кнопки;
передачу одной или более команд управления в программируемый мультимедийный контроллер в ответ на дополнительный сенсорный ввод, чтобы обеспечить выполнение программируемым мультимедийным контроллером действия, соответствующего указанной виртуальной кнопке; и
отображение визуальной индикации на сенсорном экране мобильного устройства в ответ на дополнительный сенсорный ввод данных, чтобы обеспечить для пользователя визуальную обратную связь, подтверждающую нажатие указанной виртуальной кнопки.
3. Система по п. 1, отличающаяся тем, что тип сенсорного ввода представляет собой потенциальное смещение, а индикатор представляет собой один или более указателей направления, указывающих направление потенциального смещения.
4. Система по п. 3, отличающаяся тем, что количество одного или более указателей направления основано на расстоянии, на которое было осуществлено перемещение в распознаваемом интерфейсе ввода, таким образом, что большее расстояние перемещения обеспечивает отображение большего количества указателей направления в поле сенсорных жестов.
5. Система по п. 1, отличающаяся тем, что тип сенсорного ввода данных представляет собой происходящее в данный момент смещение, а индикатор представляет собой множество указателей направления, которые указывают направление происходящего в данный момент смещения и остаются видимыми в течение всего времени происходящего в данный момент смещения.
6. Система по п. 1, отличающаяся тем, что тип сенсорного ввода представляет собой скольжение, а индикатор представляет собой множество указателей направления, которые указывают направление скольжения.
7. Система по п. 1, отличающаяся тем, что мобильное устройство представляет собой смартфон, а устройство отображения представляет собой телевизор.
8. Система по п. 1, отличающаяся тем, что мобильное устройство представляет собой планшетный компьютер, а устройство отображения представляет собой телевизор.
9. Система по п. 1, отличающаяся тем, что программируемый мультимедийный контроллер также подключен к по меньшей мере одному электронному устройству, выбранному из группы, состоящей из: системы управления охранным видеонаблюдением (ОВН), системы управления обогревом, вентиляцией и кондиционированием воздуха (ОВКВ), системы управления энергопотреблением, системы безопасности, электронного контроллера освещения и контроллера устройства с приводом от двигателя.
10. Способ дистанционного управления с обеспечением визуальной обратной связи, включающий следующие шаги:
обеспечивают отображение системы экранных меню на телевизоре, при этом система меню включает набор выбираемых опций, которыми можно манипулировать в системе экранных меню и можно выбирать из системы экранных меню в ответ на команды управления;
отображают интерфейс ввода на сенсорном дисплее мобильного устройства, отдельного от телевизора, причем интерфейс ввода имеет поле сенсорных жестов;
распознают сенсорный ввод, осуществляемый пользователем в поле сенсорных жестов на мобильном устройстве;
определяют тип и направление сенсорного ввода из множества типов сенсорного ввода;
в ответ на сенсорный ввод данных передают одну или более команд управления с целью манипуляции одной из опций в системе экранных меню, отображаемой на телевизоре; и
в ответ на сенсорный ввод отображают один или более индикаторов в поле сенсорных жестов, чтобы обеспечить для пользователя визуальную обратную связь на мобильном устройстве, характерную как для данного типа сенсорного ввода, так и для направления сенсорного ввода, при этом обеспечиваемая визуальная обратная связь обеспечивает различие между сенсорным вводом одного типа, но с различными направлениями.
11. Способ по п. 10, отличающийся тем, что интерфейс ввода дополнительно включает множество виртуальных кнопок отдельно от поля сенсорных жестов, при этом способ дополнительно включает следующие шаги:
распознают дополнительный сенсорный ввод, осуществляемый пользователем в местоположении, которое совпадает с местоположением виртуальной кнопки;
в ответ на дополнительный сенсорный ввод данных передают одну или более команд управления для выполнения действия, соответствующего указанной виртуальной кнопке; и
в ответ на дополнительный сенсорный ввод данных отображают визуальную индикацию на сенсорном экране мобильного устройства, чтобы обеспечить для пользователя визуальную обратную связь, подтверждающую нажатие указанной виртуальной кнопки.
12. Способ по п. 10, отличающийся тем, что тип принятого ввода представляет собой потенциальное смещение.
13. Способ по п. 10, отличающийся тем, что тип принятого ввода представляет собой происходящее в данный момент смещение.
14. Способ по п. 10, отличающийся тем, что тип принятого ввода представляет собой скольжение.
15. Способ по п. 10, отличающийся тем, что мобильное устройство представляет собой смартфон.
17. Способ по п. 10, отличающийся тем, что мобильное устройство представляет собой планшетный компьютер.
18. Способ по п. 10, отличающийся тем, что отображение системы экранных меню на телевизоре выполняет программируемый мультимедийный контроллер, подключенный к телевизору, при этом программируемый мультимедийный контроллер выполнен с возможностью управления множеством различных типов электронных устройств, включая одно или более устройств-источников аудиосигнала, одно или более устройств-источников видеосигнала, одно или более устройств-адресатов аудиосигнала и одно или более устройств отображения, отличных от телевизора, причем мобильное устройство осуществляет беспроводную связь с программируемым мультимедийным контроллером.
18. Долговременный машиночитаемый носитель информации, на котором сохранены исполняемые команды, которые при их исполнении компьютером позволяют выполнять следующие операции, реализующие дистанционное управление с обеспечением визуальной обратной связи:
обеспечение отображения системы экранных меню на устройстве отображения, при этом система экранных меню включает множество опций, которые могут быть выбраны из системы экранных меню;
отображение интерфейса ввода на сенсорном дисплее мобильного устройства, при этом интерфейс ввода имеет одну или более виртуальных кнопок и поле сенсорных жестов;
распознавание сенсорного ввода, осуществляемого пользователем в интерфейсе ввода в местоположении, которое совпадает с местоположением виртуальной кнопки;
обеспечение выполнения действия, соответствующего указанной виртуальной кнопке, программируемым мультимедийным контроллером, подключенным к устройству отображения, в ответ на сенсорный ввод;
отображение визуальной индикации на сенсорном экране мобильного устройства в ответ на сенсорный ввод, чтобы обеспечить для пользователя визуальную обратную связь, подтверждающую нажатие указанной виртуальной кнопки;
распознавание дополнительного сенсорного ввода, осуществляемого пользователем в поле сенсорных жестов на мобильном устройстве;
определение типа и направления дополнительного сенсорного ввода из множества типов и направлений возможного сенсорного ввода;
обеспечение манипуляции в пределах системы экранных меню одной из опций системы экранных меню, отображаемой на устройстве отображения; и
отображение одного или более индикаторов в поле сенсорных жестов в ответ на дополнительный сенсорный ввод, чтобы обеспечить для пользователя визуальную обратную связь на мобильном устройстве, характерную для данного типа сенсорного ввода и направления сенсорного ввода, при этом обеспечиваемая визуальная обратная связь служит для различения сенсорного ввода одного типа, но разных направлений.
