Жест от границы

Изобретение относится к пользовательским интерфейсам. Технический результат заключается в обеспечении возможности выбора пользовательского интерфейса, не показанного в настоящее время на дисплее, посредством жеста от границы. Такой результат достигается тем, что определяют, что одиночный жест имеет начальную точку на границе первого пользовательского интерфейса или дисплея и последующую точку не на границе, в ответ на определение обеспечивают представление второго пользовательский интерфейса, определяют на основе дальнейшей точки жеста, что жест включает в себя обратное движение, и в ответ на определение того, что жест включает в себя обратное движение, обеспечивают прекращение отображения второго пользовательского интерфейса. 3 н. и 14 з.п. ф-лы, 14 ил.

 

Уровень техники

[0001] Традиционные технологии для выбора в пользовательском интерфейсе, который в настоящий момент не показан на дисплее, зачастую являются запутанными, занимающими полезное пространство дисплея, не могут быть универсально применены на различных устройствах или обеспечивают плохое восприятие пользователем.

[0002] Некоторые традиционные технологии, например, предоставляют возможность выбора в пользовательском интерфейсе через экранные элементы управления на панели задач, в перемещаемом окне или на рамке окна. Эти экранные элементы управления, однако, занимают полезную площадь дисплея и могут досаждать пользователям, требуя от пользователей отыскивать и выбирать правильный элемент управления.

[0003] Некоторые другие традиционные технологии предоставляют возможность выбора в пользовательском интерфейсе посредством аппаратных средств, таких как горячие клавиши и кнопки. В лучшем случае эти технологии требуют от пользователей помнить, какую клавишу, комбинацию клавиш или аппаратную кнопку выбирать. Даже в этом лучшем случае пользователи зачастую случайно выбирают клавиши или кнопки. Дополнительно, во многих случаях аппаратные способы выбора не могут быть универсально применены, поскольку аппаратные средства на вычислительных устройствах могут варьироваться в зависимости от модели устройства, поколения, продавца или производителя. В таких случаях способы либо не будут работать, либо будут работать по-разному на различных вычислительных устройствах. Это обостряет проблему необходимости для пользователей помнить правильные аппаратные средства, поскольку многие пользователи имеют множество устройств и, таким образом, вероятно, должны запоминать различные варианты выбора аппаратных средств для различных устройств. Более того, для многих вычислительных устройств аппаратный выбор принуждает пользователя захватывать вычислительное устройство за пределами обычного взаимодействия пользователя, например, когда устройство с сенсорным экраном требует от пользователя изменить свою умственную и физическую ориентацию с взаимодействий на дисплее на взаимодействия на основе аппаратных средств.

Сущность изобретения

[0004] Этот документ описывает технологии и устройства, предоставляющие возможность обработки жеста от границы. В некоторых вариантах осуществления эти технологии и устройства предоставляют возможность выбора пользовательского интерфейса, не показанного в настоящее время на дисплее, посредством жеста от границы, который легко использовать и запомнить.

[0005] Это краткое изложение сущности изобретения предусмотрено, чтобы вводить упрощенные концепции для предоставления возможности обработки краевого жеста, которые дополнительно описываются ниже в подробном описании. Это краткое изложение сущности изобретения не предназначено ни чтобы идентифицировать неотъемлемые признаки заявленного изобретения, ни чтобы использоваться при определении объема заявленного изобретения. Технологии и/или устройства, предоставляющие возможность обработки жеста от границы, также упоминаются в данном документе отдельно или вместе как "технологии", когда это допускается контекстом.

Краткое описание чертежей

[0006] Варианты осуществления, предоставляющие возможность обработки жеста от границы, описаны со ссылкой на последующие чертежи. Одинаковые номера используются повсюду на чертежах, чтобы указывать похожие признаки и компоненты:

[0007] Фиг.1 иллюстрирует примерную систему, в которой технологии, предоставляющие возможность обработки жеста от границы, могут быть реализованы.

[0008] Фиг.2 иллюстрирует примерный способ предоставления возможности обработки жестов от границы на основе жеста от границы, являющегося приблизительно перпендикулярным границе, на которой жест начинается.

[0009] Фиг.3 иллюстрирует примерное планшетное вычислительное устройство, имеющее чувствительный к прикосновениям дисплей, представляющий иммерсивный интерфейс.

[0010] Фиг.4 иллюстрирует примерный иммерсивный интерфейс по фиг.3 вместе с примерными границами.

[0011] Фиг.5 иллюстрирует примерный иммерсивный интерфейс по фиг.3 и 4 вместе с линиями углового отклонения от перпендикулярной линии и линией от начальной точки до последующей точки жеста.

[0012] Фиг.6 иллюстрирует границы иммерсивного интерфейса, показанного на фиг.4, вместе с двумя областями на правой границе.

[0013] Фиг.7 иллюстрирует интерфейс выбора приложения, представленный посредством модуля интерфейса системы в ответ на жест от границы и поверх иммерсивного интерфейса и веб-страницы на фиг.3.

[0014] Фиг.8 иллюстрирует примерный способ предоставления возможности обработки жестов от границы, включающий в себя определение того, какой интерфейс представлять, на основе некоторого признака жеста.

[0015] Фиг.9 иллюстрирует примерный способ, предоставляющий возможность расширения или прекращения представления пользовательского интерфейса, представленного в ответ на жест от границы, или представления другого пользовательского интерфейса.

[0016] Фиг.10 иллюстрирует переносной компьютер, имеющий чувствительный к касаниям дисплей, имеющий оконный интерфейс электронной почты и два иммерсивных интерфейса.

[0017] Фиг.11 иллюстрирует интерфейсы по фиг.10 вместе с двумя жестами, имеющими начальную точку, последующие точки и одну или более дальнейших точек.

[0018] Фиг.12 иллюстрирует оконный интерфейс электронной почты по фиг.10 и 11 вместе с интерфейсом управления электронной почтой, представленным в ответ на жест от границы.

[0019] Фиг.13 иллюстрирует интерфейсы по фиг.12 вместе с интерфейсом дополнительных параметров электронной почты, представленным в ответ на жест, определенный как имеющий дальнейшую точку на предварительно заданном расстоянии от границы.

[0020] Фиг.14 иллюстрирует примерное устройство, в котором технологии, предоставляющие возможность обработки жестов от границы, могут быть реализованы.

Подробное описание изобретения

Обзор

[0021] Этот документ описывает технологии и устройства, предоставляющие возможность обработки жеста от границы. Эти технологии предоставляют возможность пользователю быстро и легко выбирать интерфейс, в настоящее время не показанный на пользовательском устройстве, а также выполнять другие операции.

[0022] Рассмотрим случай, когда пользователь смотрит фильм на планшетном вычислительном устройстве. Предположим, что фильм воспроизводится на иммерсивном интерфейсе, занимающем весь дисплей, и что пользователь хотел бы проверить свою веб-страницу в социальной сети без остановки фильма. Описанные технологии и устройства предоставляют возможность выбирать другие интерфейсы посредством простого жеста проведения пальцем, начинающегося от границы дисплея. Пользователь может провести пальцем от одной границы дисплея и извлечь пользовательский интерфейс, предоставляющий возможность выбирать веб-сайт в социальной сети. Или вместо этого, предположим, что он хотел бы взаимодействовать с мультимедийным приложением, воспроизводящим фильм, образом, не разрешенным иммерсивным интерфейсом, например отображать меню, включающее субтитры или комментарии режиссера. Он может провести пальцем от другой границы дисплея планшета и извлечь меню управления для иммерсивного интерфейса и выбирать элементы и/или команды из этого меню быстро и легко.

[0023] В обоих из этих случаев значительная полезная площадь для воспроизведения фильма не была занята экранными элементами управления, и пользователю не потребовалось запоминать и находить аппаратную кнопку. Более того, жест, отличный от жеста, начинающегося с границы, не используется технологиями в этом примере, тем самым разрешая иммерсивному интерфейсу использовать почти все обычно доступные жесты. Дополнительно, рассматривая жесты от границы или их части, технологии не влияют на характеристику жеста или системы сенсорного ввода, поскольку жесты от границы могут быть обработаны до того, как будет выполнен полный жест, избегая задержки, ассоциированной с обработкой полных жестов, начинающихся откуда-либо еще.

[0024] Описанные способы являются всего лишь двумя примерами множества способов, в которых технологии предоставляют возможность и используют жесты от границы, другие способы описаны ниже.

Примерная система

[0025] Фиг.1 иллюстрирует примерную систему 100, в которой технологии, предоставляющие возможность обработки жеста от границы, могут быть осуществлены. Система 100 включает в себя вычислительное устройство 102, которое иллюстрировано с помощью шести примеров: портативного компьютера 104, планшетного компьютера 106, смартфона 108, телевизионной приставки 110, настольного компьютера 112 и игрового устройства 114, хотя также могут быть использованы другие вычислительные устройства и системы, такие как серверы и нетбуки.

[0026] Вычислительное устройство 102 включает в себя компьютерный процессор(ы) 116 и машиночитаемые носители 118 хранения информации (носители 118). Носители 118 включают в себя операционную систему 120, модуль 122 оконного режима, модуль 124 иммерсивного режима, модуль 126 интерфейса системы, обработчик 128 жестов и одно или более приложений 130, каждое имеет один или более пользовательских интерфейсов 132 приложений.

[0027] Вычислительное устройство 102 также включает в себя или имеет доступ к одному или более дисплеям 134 и механизмам 136 ввода. Четыре примерных дисплея проиллюстрированы на фиг.1. Некоторые примеры механизмов 136 ввода могут включать в себя чувствительные к жестам датчики и устройства, такие как сенсорные датчики и датчики отслеживания движения (например, на основе камеры), а также мышь (отдельно размещенную или интегрированную с клавиатурой), сенсорные планшеты и микрофоны с сопровождающим программным обеспечением распознавания речи. Механизмы 136 ввода могут быть отдельными или объединенными с дисплеями 134; объединенные примеры включают в себя чувствительные к жестам дисплеи с интегрированными чувствительными к касаниям или чувствительными к движению датчиками.

[0028] Модуль 122 оконного режима представляет пользовательские интерфейсы 132 приложений посредством окон, имеющих рамки. Эти рамки могут предоставлять элементы управления, посредством которых осуществляется взаимодействие с приложением и/или элементами управления, предоставляющими возможность пользователю перемещать и изменять размер окна.

[0029] Модуль 124 иммерсивного режима предоставляет окружение, посредством которого пользователь может просматривать и взаимодействовать с одним или более приложениями 130 через пользовательские интерфейсы 132 приложений. В некоторых вариантах осуществления это окружение представляет контент и предоставляет возможность взаимодействия с приложениями с небольшой рамкой или без рамки окна и/или без необходимости для пользователя управлять размещением рамки окна или приоритетом относительно других окон (например, какое окно является активным или находится впереди) или вручную изменять размер или положение пользовательских интерфейсов 132 приложений.

[0030] Это окружение может быть, но не должно быть размещено и/или появляться без использования оконного настольного окружения. Таким образом, в некоторых случаях модуль 124 иммерсивного режима представляет иммерсивное окружение, которое не является окном (даже окном без реальной рамки) и предотвращает использование отображений типа рабочего стола (например, панели задач). Более того, в некоторых вариантах осуществления это иммерсивное окружение аналогично операционной системе в том, что оно не является закрываемым или не может быть деинсталлировано. Хотя не требуется, в некоторых случаях это иммерсивное окружение предоставляет возможность использования всех или почти всех пикселов дисплея посредством приложений. Примеры иммерсивных окружений предоставлены ниже как часть описания технологий, хотя они не являются исчерпывающими или предназначенными, чтобы ограничивать технологии, описанные в данном документе.

[0031] Модуль 126 интерфейса системы предоставляет один или более интерфейсов, посредством которых предоставляется возможность взаимодействия с операционной системой 120, например, интерфейс запуска приложения, начальное меню или меню системных инструментов или параметров, если перечислять несколько примеров.

[0032] Операционная система 120, модули 122, 124 и 126, а также обработчик 128 жестов могут быть отдельными друг от друга или объединены или интегрированы в любой подходящей форме.

Примерные способы

[0033] Фиг.2 изображает способ 200 предоставления возможности обработки жестов от границы на основе жеста от границы, являющегося приблизительно перпендикулярным границе, на которой жест начинается. В частях последующего обсуждения ссылка может быть сделана на систему 100 по фиг.1, упоминание которой приведено только для примера.

[0034] Блок 202 принимает жест. Этот жест может быть принят в различных частях дисплея, например поверх оконного интерфейса, иммерсивного интерфейса или без интерфейса. Дополнительно, этот жест может быть выполнен и воспринят различными способами, такими как отслеживание перемещения указателя, воспринятого посредством сенсорной площадки, мыши или трекбола, или физическое перемещение, выполненное с помощью руки(рук), пальца(ев) или пера, воспринятое посредством чувствительного к движению или чувствительного к касанию механизма. В некоторых случаях жест воспринимается на или близко к физической границе дисплея (например, когда палец или перо наталкивается на границу дисплея) посредством сенсорного цифрового преобразователя, емкостного сенсорного экрана или емкостного датчика, если перечислять несколько примеров.

[0035] В качестве примера рассмотрим фиг.3, которая иллюстрирует планшетное вычислительное устройство 106. Планшет 106 включает в себя чувствительный к касаниям дисплей 302, показанный отображающим иммерсивный интерфейс 304, который включает в себя веб-страницу 306. Как часть текущего примера, в блоке 202 обработчик 128 жестов принимает жест 308, как показано на фиг.3.

[0036] Блок 204 определяет, находится ли начальная точка жеста на границе. Как отмечено выше, граница, о которой идет речь, может быть границей пользовательского интерфейса, либо иммерсивного, либо оконного, и/или дисплея. В некоторых случаях, конечно, граница пользовательского интерфейса является также границей дисплея. Размер границы может изменяться на основе различных факторов относительно дисплея или интерфейса. Небольшой дисплей или интерфейс может иметь меньший размер в абсолютном или пиксельном выражении, чем большой дисплей или интерфейс. Очень чувствительный механизм ввода также предоставляет возможность меньшей границы. В некоторых случаях граница может протягиваться за пределы границы дисплея или экрана, когда механизм ввода имеет возможность принимать часть жеста за пределами дисплея или экрана. Примерные границы являются перпендикулярными и варьируются между одним и двадцатью пикселами в одном направлении и пределом интерфейса для интерфейса или дисплея в другом направлении, хотя другие размеры и формы, включающие в себя выпуклые и вогнутые границы, могут быть использованы вместо этого.

[0037] Продолжая текущий пример, рассмотрим фиг.4, которая иллюстрирует иммерсивный интерфейс 304 и жест 308 по фиг.3, а также левую границу 402, верхнюю границу 404, правую границу 406 и нижнюю границу 408. Для визуальной ясности веб-страница 306 не показана. В этом примере габариты интерфейса и дисплея имеют небольшой размер, между размером смартфонов и размером многих портативных и настольных дисплеев. Границы 402, 404, 406 и 408 имеют небольшой размер в двадцать пикселов или около 10-15 мм в абсолютном выражении, площадь каждой показана ограниченной пунктирными линиями на расстоянии двадцать пикселов от предела дисплея на пределе 410, 412, 414 и 416 границы соответственно.

[0038] Обработчик 128 жестов определяет, что жест 308 имеет начальную точку 418 и что эта начальная точка 418 находится в пределах левой границы 402. Обработчик 128 жестов определяет начальную точку в этом случае, принимая данные, указывающие координаты [X, Y] в пикселах, в которых жест 308 начинается, и сравнивает первую из этих координат с теми пикселами, которые содержатся в пределах каждой границы 402-408. Обработчик 128 жестов зачастую может определять начальную точку и то, находится ли она на границе, быстрее частоты выборки, таким образом вызывая небольшое снижение или не вызывая снижения производительности по сравнению с технологиями, которые просто проводят жесты непосредственно к показанному интерфейсу, поверх которого жест выполнен.

[0039] Обращаясь к способу 200 в целом, если блок 204 определяет, что начальная точка жеста не находится на границе, способ 200 переходит по маршруту "Нет" к блоку 206. Блок 206 проводит жесты к показанному пользовательскому интерфейсу, такому как лежащий в основе интерфейс, поверх которого был принят жест. Изменяя текущий пример, предположим, что жест 308 был определен как не имеющий начальной точки на границе. В таком случае обработчик 128 жестов переносит буферизованные данные для жеста 308 в иммерсивный пользовательский интерфейс 304. После проведения жеста способ 200 заканчивается.

[0040] Если блок 204 определяет, что начальная точка жеста находится на границе, способ 200 переходит по маршруту "Да" к блоку 208. В необязательном порядке блок 204 может определять длину части жеста, прежде чем способ переходит к блоку 208. В некоторых случаях определение длины части жеста позволяет выполнять определение начальной точки до завершения жеста. Блок 208 реагирует на положительное определение блока 204 определением того, является ли линия от начальной точки до последующей точки жеста приблизительно перпендикулярной от границы.

[0041] Блок 208 в некоторых вариантах осуществления определяет последующую использованную точку. Обработчик 128 жестов, например, может определять последующую точку жеста на основе последующей точки, принимаемой на предварительно заданном расстоянии от границы или начальной точки, таком как прошлый предел 410 границы для границы 402 или двадцать пикселов от начальной точки 418, все показаны на фиг.4. В некоторых других вариантах осуществления обработчик 128 жестов определяет последующую точку на основе ее приема в течение предварительно заданного времени после приема начальной точки, например интервала времени, несколько большего, чем обычно используемый вычислительным устройством 102, чтобы определять, что жест является жестом касания и удерживания или жестом зависания.

[0042] Для текущего варианта осуществления обработчик 128 жестов использует последующую принятую точку жеста 308, принятую за пределами границы 402, пока эта последующая принятая точка принимается в течение предварительно заданного времени. Если точка не принимается за пределами границы в течение этого предварительно заданного времени, обработчик 128 жестов переходит к этапу 206 и проводит жест 308 к иммерсивному интерфейсу 304.

[0043] С помощью начальной точки блок 208 определяет, является ли линия от начальной точки до последующей точки жеста приблизительно перпендикулярной границе. Различные углы отклонения могут быть использованы в этом определении посредством блока 208, такие как пять, десять, двадцать или тридцать градусов.

[0044] В качестве примера рассмотрим угол отклонения в тридцать градусов от перпендикуляра. Фиг.5 иллюстрирует это примерное отклонение, показывая иммерсивный интерфейс 304, жест 308, левую границу 402, предел 410 левой границы и начальную точку 418 из фиг.3 и 4 вместе с линиями 502 тридцатиградусного отклонения от перпендикулярной линии 504. Таким образом, обработчик 128 жестов определяет, что линия 506 от начальной точки 418 до последующей точки 508 (которая находится примерно в двадцати градусах от перпендикуляра) является приблизительно перпендикулярной, на основе нахождения в пределах примерной линии 502 тридцатиградусного отклонения.

[0045] Обычно, если блок 208 определяет, что линия не является приблизительно перпендикулярной границе, способ 200 переходит по маршруту "Нет" к блоку 206 (например, путь пальца искривлен). Как отмечено частично выше, блок 208 может также определять, что последующая точка или другой аспект жеста делает жест непригодным. Примеры включают в себя то, когда последующая точка находится в пределах границы, например, вследствие жеста зависания, касания, нажатия и удерживания или жеста вверх-вниз (например, чтобы прокручивать контент в пользовательском интерфейсе), когда жест задан как жест разового ввода, и принимается второй ввод (например, первый палец начинает на границе, а второй палец затем ставится где-нибудь еще), или если событие касания происходит во время или перед жестом (например, палец уже выполняет прикосновение где-нибудь в другом месте, или прикосновение принимается где-нибудь в другом месте во время жеста).

[0046] Если блок 208 определяет, что линия является приблизительно перпендикулярной, на основе последующей точки за пределами границы, способ 200 переходит по маршруту "Да" к блоку 210.

[0047] Блок 210 реагирует на положительное определение блока 208, проводя жест к объекту, отличному от показанного пользовательского интерфейса. Этот объект не является пользовательским интерфейсом, поверх которого жест был принят, предположим, что он был принят поверх пользовательского интерфейса вообще. Блок 210 может также определять, к какому объекту приводить жест, например, на основе границы или области границы, в которой принята начальная точка жеста. Рассмотрим фиг.6, например, которая иллюстрирует иммерсивный интерфейс 304 и границы 402, 404, 406 и 408 из фиг.4, но добавляет верхнюю область 602 и нижнюю область 604 в правую границу 406. Начальная точка в верхней области 602 может давать в результате другой объект (или даже тот же объект, но другой пользовательский интерфейс, предоставленный в ответ), чем начальная точка, принятая в нижней области 604. Аналогично, начальная точка на верхней границе 404 может давать в результате другой объект или интерфейс, чем левая граница 402 или нижняя граница 408.

[0048] В некоторых случаях этот объект является приложением, ассоциированным с пользовательским интерфейсом. В таком случае проведение жеста к объекту может быть эффективным, чтобы заставлять приложение представлять второй пользовательский интерфейс, предоставляющий возможность взаимодействия с приложением. В примере фильма, приведенном выше, объект может быть мультимедийным проигрывателем, воспроизводящим фильм, но не иммерсивным интерфейсом, отображающим фильм. Мультимедийный проигрыватель может тогда представлять второй пользовательский интерфейс, предоставляющий возможность выбора субтитров или комментариев режиссера вместо вариантов выбора, разрешенных интерфейсом, отображающим фильм, таких как "пауза", "воспроизведение" и "стоп". Эта возможность разрешена на фиг.1, где одно из приложений 130 может включать в себя или иметь возможность представлять более одного пользовательского интерфейса 132 приложений. Таким образом, блок 210 может приводить жест к модулю 126 интерфейса системы, одному из приложений 130, в настоящее время представляющему пользовательских интерфейс, или другому из приложений 130, если перечислить лишь три примера.

[0049] Резюмируя текущий вариант осуществления, в блоке 210 обработчик 128 жестов проводит жест 308 к модулю 126 интерфейса системы. Модуль 126 интерфейса системы принимает буферизованную часть жеста 308 и продолжает принимать оставшуюся часть жеста 308, когда он выполняется пользователем. Фиг.7 иллюстрирует возможную реакцию при приеме жеста 308, показывая интерфейс 702 выбора приложения, представленный модулем 126 интерфейса системы, и поверх иммерсивного интерфейса 304 и веб-страницы 306 по фиг.3. Интерфейс 702 выбора приложения предоставляет возможность выбора различных других приложений и их соответствующих интерфейсов в выбираемых плитках 704, 706, 708 и 710 приложений.

[0050] Примерный интерфейс 702 выбора приложения является иммерсивным пользовательским интерфейсом, представленным с помощью модуля 124 иммерсивного режима, хотя это не требуется. Представленные интерфейсы или их список могут вместо этого быть оконными и представленными с помощью оконного модуля 122. Оба этих модуля проиллюстрированы на фиг.1.

[0051] Блок 210 может также или вместо этого определять проведение жеста к различным объектам и/или интерфейсам на основе других факторов относительно принятого жеста. Примерные факторы описаны более подробно в способе 800 ниже.

[0052] Отметим, что способ 200 и другие способы, описанные далее в данном документе, могут быть выполнены в реальном времени, например пока жест выполняется и принимается. Это предоставляет возможность, среди прочего, предоставлять пользовательский интерфейс, представленный в ответ на жест, до завершения жеста. Дополнительно, пользовательский интерфейс может быть представлен постепенно, когда жест принимается. Это предоставляет возможность пользователю ощутить вытаскивание пользовательского интерфейса от границы, когда жест выполняется, с пользовательским интерфейсом, выглядящим "приклеенным" к жесту (например, к указателю мыши или пальцу человека, выполняющему жест).

[0053] Фиг.8 иллюстрирует примерный способ 800 предоставления возможности обработки жестов от границы, включающий в себя определение того, какой интерфейс представлять, на основе некоторого признака жеста. В частях последующего обсуждения ссылка может быть сделана на систему 100 по фиг.1, упоминание которой выполнено только для примера. Способ 800 может функционировать полностью или частично отдельно от или вместе с другими способами, описанными в данном документе.

[0054] Блок 802 определяет, что жест, выполненный поверх пользовательского интерфейса, имеет начальную точку на границе пользовательского интерфейса и конечную точку не на границе. Блок 802 может работать аналогично или с помощью аспектов способа 200, таких как определение последующей точки, на основе которой базируется определение блока 802. Блок 802 может также функционировать по-другому.

[0055] В одном случае, например, блок 802 определяет, что жест является жестом проведения одним пальцем, начинающимся на границе показанного иммерсивного пользовательского интерфейса и имеющим последующую точку не на границе, но не на основе угла жеста. На основе этого определения блок 802 переходит к блоку 804 вместо проведения жеста к показанному иммерсивному пользовательскому интерфейсу.

[0056] Блок 804 определяет, какой интерфейс представлять, на основе одного или более признаков жеста. Блок 804 может делать это на основе окончательной или промежуточной длины жеста, на основе того, является или нет жест одно- или многоточечным (например, с помощью одного пальца или множества пальцев), или на основе скорости жеста. В некоторых случаях два или более признаков жеста определяют, какой интерфейс представлять, например, жест перетаскивания и удержания, имеющий длину перетаскивания и время удержания, или жест перетаскивания и отпускания, имеющий длину перетаскивания и позицию отпускания. Таким образом, блок 804 может определять представление начального меню в ответ на жест с помощью множества пальцев, интерфейса выбора приложения в ответ на относительно короткий жест с помощью одного пальца или интерфейса управления системой, предоставляющего возможность выбора выключения вычислительного устройства 102 в ответ на относительно длительный жест с помощью одного пальца, например. Для этого обработчик 128 жестов может определять длину жеста, скорость или число вводов (например, пальцев).

[0057] В ответ блок 806 представляет определенный пользовательский интерфейс. Определенный пользовательский интерфейс может быть любым из упомянутых в данном документе, а также полностью новым визуальным элементом, таким как новая страница электронной книги, дополнительным визуальным элементом (например, панелью инструментов или панелью навигации) или модифицированным видом текущего пользовательского интерфейса (представляющим текст текущего пользовательского интерфейса другим шрифтом, цветом или выделением). В некоторых случаях могут быть представлены визуальные или невизуальные эффекты, такие как действия, относящиеся к видеоигре, или звуковые эффекты, ассоциированные с текущим или представленным пользовательским интерфейсом.

[0058] Предположим в качестве примера что обработчик 128 жестов определяет на основе признака жеста представление пользовательского интерфейса, предоставляющего возможность взаимодействия с операционной системой 120. В ответ модуль 126 интерфейса системы представляет этот пользовательский интерфейс. Представление пользовательского интерфейса может быть аналогично способам, описанным в других способах, например, с помощью постепенного отображения пользовательского интерфейса 702 выбора приложения на фиг.7.

[0059] Следом за способом 200 и/или способом 800, в целом или частично, технологии могут переходить к выполнению способа 900 по фиг.9. Способ 900 разрешает расширение пользовательского интерфейса, представление другого интерфейса или прекращает представление пользовательского интерфейса, представленного в ответ на жест от границы.

[0060] Блок 902 принимает дальнейшую точку жеста и после представления по меньшей мере некоторой части второго пользовательского интерфейса. Как отмечено частично выше, способы 200 и/или 800 способны представлять или вызывать представление второго пользовательского интерфейса, такого как второй пользовательский интерфейс, для того же приложения, ассоциированного с текущим пользовательским интерфейсом, другого приложения или пользовательского интерфейса системы.

[0061] В качестве примера рассмотрим фиг.10, которая иллюстрирует портативный компьютер 104, имеющий чувствительный к касаниям дисплей 1002, отображающий оконный интерфейс 1004 электронной почты и два иммерсивных интерфейса 1006 и 1008. Оконный интерфейс 1004 электронной почты ассоциирован с приложением, которое управляет электронной почтой, которое может быть удаленным или локальным по отношению к портативному компьютеру 104. Фиг.10 также иллюстрирует два жеста, 1010 и 1012. Жест 1010 проходит по прямой линии, в то время как жест 1012 поворачивает назад (показано с помощью двух стрелок, чтобы показать два направления).

[0062] Фиг.11 иллюстрирует жест 1010, имеющий начальную точку 1102, последующую точку 1104 и дальнейшую точку 1106, и жест 1012, имеющий ту же начальную точку 1102, последующую точку 1108 и первую дальнейшую точку 1110 и вторую дальнейшую точку 1112. Фиг.11 также показывает нижнюю границу 1114, область 1116 последующей точки и область 1118 добавления интерфейса.

[0063] Блок 904 определяет на основе дальнейшей точки, включает ли в себя жест обратное движение, продолжение или ни то, ни другое. Блок 904 может определять обратное движение в направлении жеста, определяя, что дальнейшая точка находится на границе или находится ближе к границе, чем предыдущая точка жеста. Блок 904 может определять, что жест продолжается, на основе дальнейшей точки, находящейся на предварительно заданном расстоянии от границы или упомянутой последующей точки. Если ничто из этого не определяется как истинное, способ 900 может повторять блоки 902 и 904, чтобы принимать и анализировать дополнительные дальнейшие точки, пока жест не закончится. Если блок 904 определяет, что присутствует обратное движение, способ 900 переходит по маршруту "Обратное движение" к блоку 906. Если блок 904 определяет, что жест продолжается, способ 900 переходит по маршруту "Расширение" к блоку 908.

[0064] В контексте настоящего примера предположим, что обработчик 128 жестов принимает первую дальнейшую точку 1110 жеста 1012. Обработчик 128 жестов затем определяет, что первая дальнейшая точка 1110 не находится на границе 1114, не находится ближе, чем предыдущая точка жеста, к границе 1114 (например, не находится ближе, чем последующая точка 1108), и не находится на предварительно заданном расстоянии от границы или последующей точки, не находясь в области 1118 добавления интерфейса. В таком случае способ 900 возвращается к блоку 902.

[0065] На второй итерации блока 902 предположим, что обработчик 128 жестов принимает вторую дальнейшую точку 1112. В таком случае обработчик 128 жестов определяет, что вторая дальнейшая точка 1112 находится ближе к границе 1114, чем первая дальнейшая точка 1110, и, таким образом, жест 1012 включает в себя обратное движение. Обработчик 128 жестов затем переходит к блоку 906, чтобы прекращать представление второго пользовательского интерфейса, ранее представленного в ответ на жест. В качестве примера рассмотрим фиг.12, которая иллюстрирует интерфейс 1202 обработки электронной почты. В этом примерном случае блока 906 обработчик 128 жестов инструктирует приложению электронной почты прекращать представлять интерфейс 1202 в ответ на обратное движение жеста 1012 (не показан удаленным).

[0066] Блок 908, однако, представляет или вызывает представление третьего пользовательского интерфейса или расширение второго пользовательского интерфейса. В некоторых случаях представление третьего пользовательского интерфейса инструктирует прекращение представления второго пользовательского интерфейса либо посредством отмены представления, либо скрытия второго пользовательского интерфейса (например, представляя третий пользовательский интерфейс поверх второго пользовательского интерфейса). Продолжая текущий пример, рассмотрим фиг.13, которая иллюстрирует интерфейс 1302 дополнительных параметров электронной почты в ответ на жест 1010, определенный как имеющий дальнейшую точку 1106 на предварительно заданном расстоянии от границы 1104, в этом случае находящуюся в области 1118 добавления интерфейса на фиг.11. Эта область и предварительно заданное расстояние могут быть заданы на основе размера пользовательского интерфейса, ранее представленного в ответ на жест. Таким образом, пользователь, желающий добавить дополнительные элементы управления, может просто продолжать жест после того, как пользовательский интерфейс представлен в ответ на более раннюю часть жеста.

[0067] Способ 900 может быть повторен, чтобы добавлять дополнительные пользовательские интерфейсы или расширять представленный пользовательский интерфейс. Обращаясь к примерному интерфейсу 702 на фиг.7, например, обработчик 128 жестов может продолжать добавлять интерфейсы или элементы управления к интерфейсу 702, когда жест 308 расширяет прошлый интерфейс 702, например, представляя дополнительный набор выбираемых плиток приложений. Если жест 308 продолжается после дополнительных плиток, обработчик 128 жестов может инструктировать модулю 124 интерфейса системы представлять другой интерфейс рядом с плитками, чтобы предоставлять возможность пользователю выбирать элементы управления, такие как приостановка, гибернация, переключение режимов (с иммерсивного на оконный и обратно) или отключение вычислительного устройства 102.

[0068] В то время как вышеописанные примерные пользовательские интерфейсы, представленные в ответ на жест от границы, являются непрозрачными, они могут также быть частично прозрачными. Это может быть полезным за счет того, что содержимое не загораживается. В примере фильма, описанном выше, представленный пользовательский интерфейс может быть частично прозрачным, тем самым предоставляя возможность загораживать фильм только частично во время использования пользовательского интерфейса. Аналогично, в примерах на фиг.12 и 13 интерфейсы 1202 и 1302 могут быть частично прозрачными, таким образом предоставляя возможность пользователю видеть текст электронной почты, в то же время также выбирая элемент управления в одном из интерфейсов.

[0069] Предшествующее обсуждение описывает способы, в которых технологии могут предоставлять возможность и использовать жесты от границы. Эти способы показаны как наборы блоков, которые указывают выполненные операции, но необязательно ограничены порядком, показанным для выполнения операций посредством соответствующих блоков.

[0070] Аспекты этих способов могут быть реализованы в аппаратных средствах (например, неизменяемых логических схемах), микропрограммном обеспечении (firmware), интегральной схеме (SoC), программном обеспечении, ручной обработке или любой их комбинации. Реализация в программном обеспечении представляет программный код, который выполняет указанные задачи, когда выполняется процессором компьютера, такой как программное обеспечение, приложения, алгоритмы, программы, объекты, компоненты, структуры данных, процедуры, модули, функции и т.п. Программный код может быть сохранен в одном или более машиночитаемых запоминающих устройствах, как локальных, так и/или удаленных по отношению к процессору компьютера. Способы могут также быть применены в распределенном вычислительном окружении посредством множества вычислительных устройств.

Примерное устройство

[0071] Фиг.14 иллюстрирует различные компоненты примерного устройства 1400, которое может быть реализовано как любой тип клиента, сервера и/или вычислительного устройства, которое описано со ссылкой на предыдущие фиг.1-13, чтобы реализовывать технологии, предоставляющие возможность обработки жестов от границы. В вариантах осуществления устройство 1400 может быть реализовано как одно или комбинация проводного и/или беспроводного устройства, как форма телевизионного клиентского устройства (например, телевизионная приставка, устройство записи цифрового видео (DVR), и т.д.), бытовое устройство, компьютерное устройство, серверное устройство, переносное компьютерное устройство, пользовательское устройство, устройство связи, устройство обработки и/или воспроизведения видео, бытовой электроприбор, игровое устройство, электронное устройство и/или как другой тип устройства. Устройство 1400 может также быть ассоциировано с пользователем (например, человеком) и/или объектом, который эксплуатирует устройство, так что устройство описывает логические устройства, которые включают в себя пользователей, программное обеспечение, микропрограммное обеспечение и/или комбинацию устройств.

[0072] Устройство 1400 включает в себя устройства 1402 связи, которые предоставляют возможность проводной и/или беспроводной передачи данных 1404 устройства (например, принятых данных, данных, которые принимаются, данных, запланированных для рассылки, информационных пакетов данных и т.д.). Данные 1404 устройства или другой контент устройства могут включать в себя параметры конфигурации устройства, мультимедийный контент, сохраненный на устройстве, и/или информацию, ассоциированную с пользователем устройства. Мультимедийный контент, сохраненный на устройстве 1400, может включать в себя любой тип аудио, видео и/или данные изображения. Устройство 1400 включает в себя одно или более устройств 1406 ввода данных, через которые любой тип данных, мультимедийного контента и/или входных данных может быть принят, например выбираемые пользователем входные данные, сообщения, музыка, телевизионный мультимедийный контент, записанный видеоконтент и любой другой тип аудио, видео и/или данных изображений, принятых от любого источника контента и/или данных.

[0073] Устройство 1400 также включает в себя интерфейсы 1408 связи, которые могут быть реализованы как любой один или более последовательных и/или параллельных интерфейсов, беспроводной интерфейс, любой тип сетевого интерфейса, модем и как любой другой тип интерфейса связи. Интерфейсы 1408 связи обеспечивают соединение и/или линии связи между устройством 1400 и сетью передачи данных, посредством которой другие электронные, вычислительные устройства и устройства связи обмениваются данными с устройством 1400.

[0074] Устройство 1400 включает в себя один или более процессоров 1410 (например, любой из микропроцессоров, контроллеров и т.п.), которые обрабатывают различные исполняемые компьютером инструкции, чтобы управлять работой устройства 1400 и разрешать технологии, предоставляющие возможность и/или использующие жесты от границы. Альтернативно или в дополнение, устройство 1400 может быть реализовано с любым одним или комбинацией аппаратных средств, микропрограммного обеспечения или неизменяемых логических схем, которые реализованы вместе со схемами обработки и управления, которые, в целом, идентифицированы по ссылке 1412. Хотя не показано, устройство 1400 может включать в себя системную шину или систему передачи данных, которая связывает различные компоненты в устройстве. Системная шина может включать в себя любую одну или комбинацию различных шинных структур, таких как шина памяти или контроллер памяти, периферийная шина, универсальная последовательная шина и/или процессорная или локальная шина, которая использует любую из множества шинных архитектур.

[0075] Устройство 1400 также включает в себя машиночитаемые носители 1414 информации, такие как одно или более запоминающих устройств, которые предоставляют возможность устойчивого и/или некратковременного хранения данных (т.е. в противоположность простой передаче сигнала), примеры которого включают в себя оперативное запоминающее устройство (RAM), энергонезависимую память (например, любую одну или более из постоянного запоминающего устройства (ROM), флэш-памяти, EPROM, EEPROM и т.д.), и дисковое устройство хранения данных. Дисковое устройство хранения данных может быть реализовано как любой тип магнитного или оптического устройства хранения данных, такого как накопитель на жестком диске, записываемый и/или перезаписываемый компакт-диск (CD), любой тип цифрового универсального диска (DVD) и т.п. Устройство 1400 может также включать в себя устройство 1416 хранения данных на носителях большой емкости.

[0076] Машиночитаемый носитель 1414 информации обеспечивает механизмы хранения данных, чтобы хранить данные 1404 устройства, а также различные приложения 1418 устройства и любые другие типы информации и/или данных, относящихся к операционным аспектам устройства 1400. Например, операционная система 1420 может быть сохранена как компьютерное приложение с помощью машиночитаемых носителей 1414 хранения и исполняться на процессорах 1410. Приложения 1418 устройства могут включать в себя диспетчер устройств, например любая форма управляющего приложения, приложение системы программного обеспечения, модуль обработки сигналов и управления, код, который характерен для определенного устройства, уровень абстракции аппаратных средств для определенного устройства и т.д.

[0077] Приложения 1418 устройства также включают в себя любые системные компоненты или модули, чтобы реализовывать технологии, использующие или предоставляющие возможность обработки жестов от границы. В этом примере приложения 1418 устройства могут включать в себя модуль 122 интерфейса системы, обработчик 128 жестов и приложение(я) 130.

Заключение

[0078] Хотя варианты осуществления технологий и устройств, предоставляющих возможность обработки жеста от границы, были описаны на языке, характерном для признаков и/или способов, должно быть понятно, что объем, определяемый прилагаемой формулой изобретения, необязательно ограничен конкретными описанными признаками или способами. Скорее, конкретные признаки и способы раскрыты как примерные реализации, предоставляющие возможность и/или использующие жест от границы.

1. Компьютерно-реализуемый способ обработки жестов, содержащий этапы, на которых:
определяют, что одиночный жест имеет начальную точку на границе первого пользовательского интерфейса или дисплея и последующую точку не на границе;
определяют второй пользовательский интерфейс из множества пользовательских интерфейсов для представления на основе упомянутой последующей точки одиночного жеста, при этом второй пользовательский интерфейс и первый пользовательский интерфейс относятся к одному и тому же приложению, причем второй пользовательский интерфейс обеспечивает такое взаимодействие с приложением, которое не обеспечивается первым пользовательским интерфейсом;
в ответ на определение второго пользовательского интерфейса для представления представляют второй пользовательский интерфейс одновременно с первым пользовательским интерфейс;
определяют на основе дальнейшей точки одиночного жеста и без приема ввода, отличного от одиночного жеста, что одиночный жест продолжается за упомянутую последующую точку; и
в ответ на определение того, что одиночный жест продолжается, обеспечивают представление третьего пользовательского интерфейса и прекращают представление второго пользовательского интерфейса, при этом третий пользовательский интерфейс относится к тому же приложению, что первый пользовательский интерфейс и второй пользовательский интерфейс, причем третий пользовательский интерфейс обеспечивает такое взаимодействие с приложением, которое не обеспечивается первым пользовательским интерфейсом и вторым пользовательским интерфейсом, при этом третий пользовательский интерфейс не обеспечивает такое взаимодействие с приложением, которое обеспечивается вторым пользовательским интерфейсом.

2. Компьютерно-реализуемый способ по п. 1, в котором упомянутой границей является граница первого пользовательского интерфейса, при этом первый пользовательский интерфейс представляет визуальные данные, второй пользовательский интерфейс обеспечивает первый набор вариантов выбора для управления воспроизводимыми визуальными данными и третий пользовательский интерфейс обеспечивает второй набор вариантов выбора для управления воспроизводимыми визуальными данными.

3. Компьютерно-реализуемый способ по п. 2, в котором при упомянутом представлении второго пользовательского интерфейса второй пользовательский интерфейс представляют поверх визуальных данных и при упомянутом представлении третьего пользовательского интерфейса третий пользовательский интерфейс представляют поверх визуальных данных.

4. Компьютерно-реализуемый способ по п. 1, в котором при упомянутом представлении второго пользовательского интерфейса второй пользовательский интерфейс представляют поверх первого пользовательского интерфейса, при этом второй пользовательский интерфейс является, по меньшей мере, частично прозрачным и первый пользовательский интерфейс является, по меньшей мере, частично видимым.

5. Компьютерно-реализуемый способ по п. 1, в котором при упомянутом представлении третьего пользовательского интерфейса и прекращении представления второго пользовательского интерфейса третий пользовательский интерфейс представляют поверх второго пользовательского интерфейса таким образом, что второй пользовательский интерфейс перекрывается им.

6. Компьютерно-реализуемый способ по п. 1, в котором второй пользовательский интерфейс и третий пользовательский интерфейс являются непрозрачными.

7. Компьютерно-реализуемый способ по п. 1, в котором второй пользовательский интерфейс и третий пользовательский интерфейс являются, по меньшей мере, частично прозрачными.

8. Компьютерно-реализуемый способ по п. 1, в котором при упомянутом определении того, что одиночный жест продолжается за последующую точку, определяют, что одиночный жест продолжается на предварительно заданное расстояние после упомянутой последующей точки.

9. Компьютерно-реализуемый способ обработки жестов, содержащий этапы, на которых:
определяют, что одиночный жест имеет начальную точку на границе чувствительного к жестам дисплея или первого пользовательского интерфейса, представляемого на чувствительном к жестам дисплее, и последующую точку не на границе;
в ответ на это определение обеспечивают представление второго пользовательского интерфейса одновременно с первым пользовательским интерфейсом, при этом первый пользовательский интерфейс и второй пользовательский интерфейс относятся к одному и тому же приложению, причем второй пользовательский интерфейс обеспечивает такое взаимодействие с приложением, которое не обеспечивается первым пользовательским интерфейсом;
определяют на основе дальнейшей точки одиночного жеста и без приема ввода, отличного от одиночного жеста, что одиночный жест продолжается на предварительно заданное расстояние от границы или упомянутой последующей точки; и
в ответ на определение того, что одиночный жест продолжается, обеспечивают представление третьего пользовательского интерфейса и прекращают представление второго пользовательского интерфейса, при этом третий пользовательский интерфейс относится к тому же приложению, что первый пользовательский интерфейс и второй пользовательский интерфейс, причем третий пользовательский интерфейс обеспечивает такое взаимодействие с приложением, которое не обеспечивается первым пользовательским интерфейсом и вторым пользовательским интерфейсом, при этом третий пользовательский интерфейс не обеспечивает такое взаимодействие с приложением, которое обеспечивается вторым пользовательским интерфейсом.

10. Компьютерно-реализуемый способ по п. 9, в котором второй пользовательский интерфейс и третий пользовательский интерфейс представляются поверх первого пользовательского интерфейса и, по меньшей мере, часть первого пользовательского интерфейса остается видимой.

11. Компьютерно-реализуемый способ по п. 9, в котором упомянутое обеспечение представления третьего пользовательского интерфейса выполняется постепенно, по мере того как одиночный жест принимается.

12. Компьютерно-реализуемый способ по п. 9, дополнительно содержащий, следом за обеспечением представления третьего пользовательского интерфейса, этап, на котором принимают вторую дальнейшую точку, указывающую обратное движение одиночного жеста, и обеспечивают прекращение представления третьего пользовательского интерфейса.

13. Компьютерно-реализуемый способ по п. 10, в котором второй пользовательский интерфейс и третий пользовательский интерфейс являются, по меньшей мере, частично прозрачными.

14. Компьютерно-реализуемый способ по п. 9, в котором третий пользовательский интерфейс представляется поверх второго пользовательского интерфейса и полностью перекрывает второй пользовательский интерфейс.

15. Компьютерная система, сконфигурированная для обработки жестов, содержащая:
один или более процессоров; и
одно или более машиночитаемых запоминающих устройств, в которых хранятся инструкции, которыми при их исполнении одним или более процессорами выполняются операции, содержащие:
определение того, что одиночный жест имеет начальную точку на границе чувствительного к жестам дисплея или первого пользовательского интерфейса, представляемого на чувствительном к жестам дисплее, и последующую точку не на границе;
обеспечение в ответ на это определение представления второго пользовательского интерфейса поверх первого пользовательского интерфейса, при этом первый пользовательский интерфейс и второй пользовательский интерфейс относятся к одному и тому же приложению, причем второй пользовательский интерфейс обеспечивает такое взаимодействие с приложением, которое не обеспечивается первым пользовательским интерфейсом, при этом, по меньшей мере, часть первого пользовательского интерфейса остается видимой;
определения на основе дальнейшей точки одиночного жеста и без приема ввода, отличного от одиночного жеста, того, что одиночный жест включает в себя расширение; и
обеспечения в ответ на определение того, что одиночный жест включает в себя расширение, представления третьего пользовательского интерфейса и прекращения представления второго пользовательского интерфейса, при этом третий пользовательский интерфейс обеспечивает такое взаимодействие с приложением, которое не обеспечивается первым пользовательским интерфейсом и вторым пользовательским интерфейсом, причем третий пользовательский интерфейс не обеспечивает такое взаимодействие с приложением, которое обеспечивается вторым пользовательским интерфейсом.

16. Система по п. 15, в которой упомянутое определение того, что одиночный жест включает в себя расширение, включает в себя определение того, что упомянутая дальнейшая точка одиночного жеста продолжается на предварительно заданное расстояние от границы или упомянутой последующей точки.

17. Система по п. 15, в которой первый пользовательский интерфейс представляет контент для использования пользователем, а второй пользовательский интерфейс и третий пользовательский интерфейс являются, по меньшей мере, частично прозрачными, тем самым обеспечивая возможность использования пользователем контента, представляемого в первом пользовательском интерфейсе, за вторым пользовательским интерфейсом или третьим пользовательским интерфейсом.