Способ и устройство для отображения пользовательского интерфейса посредством вспомогательного устройства, соединимого с портативным электронным устройством

Изобретение относится к области обеспечения пользовательского интерфейса портативного электронного устройства. Технический результат заключается в повышении скорости управления портативным электронным устройством посредством переконфигурирования информации конфигурации, соответствующей всплывающему на дисплее меню. Технический результат достигается за счет передачи, посредством портативного электронного устройства, информации конфигурации, соответствующей всплывающему меню, на вспомогательное устройство, принятия от вспомогательного устройства данные пользовательского ввода, соответствующие пользовательскому вводу, зарегистрированному на всплывающем меню, которое отображается на вспомогательном устройстве, управления выполнением приложения в ответ на принятые данные пользовательского ввода, регистрации пользовательского ввода на всплывающем меню, отображаемом на вспомогательном устройстве. 4 н. и 9 з.п. ф-лы, 41 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к обеспечению пользовательского интерфейса (UI) портативного электронного устройства. В частности, настоящее изобретение относится к способу и устройству для отображения UI в портативном электронном устройстве посредством вспомогательного устройства.

Уровень техники

Портативные электронные устройства представляют собой малоразмерные устройства, разработанные для удовлетворения потребностей пользователей и реализованные в различных формах, например, как карманные персональные компьютеры (PDA), видеопроигрыватели, планшетные персональные компьютеры (PC), смартфоны и т.д. В частности, смартфоны имеют функцию вызова, и на смартфоны можно загружать и устанавливать различные приложения, необходимые пользователям, что обусловило популярность смартфонов.

Основным преимуществом портативного электронного устройства является высокая портативность, поскольку портативное электронное устройство имеет малый размер по сравнению с существующим вычислительным устройством, например, настольным компьютером или переносным компьютером. Однако, вследствие этого преимущества, дисплей портативного электронного устройства неизбежно ограничивается в размере. Для преодоления ограничения, современные портативные электронные устройства снабжены сенсорным экраном, в котором объединены средства отображения и ввода. Тем не менее, пользователи испытывают неудобство из-за необходимости использовать различные приложения на малом экране дисплея портативного электронного устройства.

Вышеприведенная информация представлена как базовая информация только для помощи в понимании настоящего изобретения. Не сделано никакого определения, и не сделано никакого утверждения, следует ли применять что-либо из вышеперечисленного как уровень техники в отношении настоящего изобретения.

Раскрытие

Техническая проблема

Аспекты настоящего изобретения предусматривают решение, по меньшей мере, вышеупомянутых проблем и/или недостатков и обеспечение, по меньшей мере, описанных ниже преимуществ. Соответственно, аспект настоящего изобретения предусматривает способ и устройство для отображения пользовательского интерфейса (UI) в портативном электронном устройстве.

Другой аспект настоящего изобретения предусматривает способ и устройство для отображения UI в портативном электронном устройстве посредством вспомогательного устройства.

Другой аспект настоящего изобретения предусматривает способ и устройство для отображения экрана ввода, генерируемого при выполнении приложения в портативном электронном устройстве посредством вспомогательного устройства.

Другой аспект настоящего изобретения предусматривает способ и устройство для отображения всплывающего меню в портативном электронном устройстве посредством вспомогательного устройства.

Другой аспект настоящего изобретения предусматривает способ и устройство для регистрации пользовательского ввода в портативном электронном устройстве посредством вспомогательного устройства.

Техническое решение

В соответствии с аспектом настоящего изобретения, предусмотрен способ отображения с использованием вспомогательного устройства, соединимого с портативным электронным устройством. Способ отображения включает в себя регистрацию, посредством портативного электронного устройства, ввода, соответствующего отображению всплывающего меню, которое обеспечивается приложением, на вспомогательном устройстве, передачу информации конфигурации UI, соответствующей всплывающему меню, на вспомогательное устройство, прием, от вспомогательного устройства, данных пользовательского ввода, соответствующих пользовательскому вводу, регистрируемому на всплывающем меню, которое отображается на вспомогательном устройстве, и управление выполнением приложения в ответ на принятые данные пользовательского ввода.

В соответствии с другим аспектом настоящего изобретения, предусмотрен способ отображения всплывающего меню, которое способно отображаться на портативном электронном устройстве, на вспомогательном устройстве. Способ включает в себя прием информации конфигурации UI, соответствующей всплывающему меню, обеспеченному приложением портативного электронного устройства, от портативного электронного устройства, в ответ на прием информации конфигурации UI, отображение всплывающего меню на экране дисплея вспомогательного устройства, регистрацию пользовательского ввода на всплывающем меню, отображаемом на вспомогательном устройстве, и передачу данных пользовательского ввода, соответствующих регистрируемому пользовательскому вводу, на портативное электронное устройство.

В соответствии с другим аспектом настоящего изобретения, предусмотрено портативное электронное устройство для отображения всплывающего меню посредством вспомогательного устройства. Портативное электронное устройство включает в себя экран дисплея, выполненный с возможностью отображения информации, генерируемой приложением, которое выполняется, контроллер, выполненный с возможностью регистрации ввода, соответствующего отображению всплывающего меню, которое обеспечивается выполняемым приложением, на вспомогательном устройстве, генерации информации конфигурации UI, соответствующей всплывающему меню, и управления выполнением приложения в ответ на пользовательский ввод, регистрируемый на всплывающем меню, и блок связи, выполненный с возможностью передачи информации конфигурации UI на вспомогательное устройство и приема данных пользовательского ввода от вспомогательного устройства, соответствующих пользовательскому вводу, регистрируемому на всплывающем меню, которое отображается на вспомогательном устройстве.

В соответствии с другим аспектом настоящего изобретения, предусмотрено вспомогательное устройство для отображения всплывающего меню, которое способно отображаться на портативном электронном устройстве. Вспомогательное устройство включает в себя экран дисплея, блок связи, выполненный с возможностью приема информации конфигурации UI, соответствующей всплывающему меню, обеспеченному в приложении портативного электронного устройства, от портативного электронного устройства и передачи данных пользовательского ввода, соответствующих пользовательскому вводу, регистрируемому на всплывающем меню, на портативное электронное устройство, и контроллер, выполненный с возможностью отображения всплывающего меню на дисплее в ответ на прием информации конфигурации UI и генерации данных пользовательского ввода, соответствующих регистрируемому пользовательскому вводу в случае регистрации пользовательского ввода на всплывающем меню, отображаемом на вспомогательном устройстве.

Другие аспекты, преимущества и характерные признаки изобретения будут ясны специалистам в данной области техники из нижеследующего подробного описания, которое, совместно с прилагаемыми чертежами, раскрывает различные варианты осуществления настоящего изобретения.

Краткое описание чертежей

Вышеупомянутые и другие аспекты, признаки и преимущества определенных вариантов осуществления настоящего изобретения явствуют из нижеследующего описания, приведенного совместно с прилагаемыми чертежами, в котором:

Фиг.1 демонстрирует соединение между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения;

Фиг.2 - блок-схема портативного электронного устройства согласно варианту осуществления настоящего изобретения;

Фиг.3 - блок-схема вспомогательного устройства согласно варианту осуществления настоящего изобретения;

Фиг.4 демонстрирует соединение между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения;

Фиг.5 - блок-схема операций, демонстрирующая процедуру для выполнения приложения согласно варианту осуществления настоящего изобретения;

Фиг. 6a и 6b - блок-схемы операций, демонстрирующие вспомогательный пользовательский интерфейс (UI), обеспечивающий работу портативного электронного устройства согласно варианту осуществления настоящего изобретения;

Фиг.7 - блок-схема операций, демонстрирующая вспомогательный пользовательский интерфейс (UI), обеспечивающий работу с использованием вспомогательного устройства согласно варианту осуществления настоящего изобретения;

Фиг.8 демонстрирует пример всплывающего меню, отображаемого в рабочей области приложения согласно варианту осуществления настоящего изобретения;

Фиг. 9a, 9b, 9c, 9d, 9e и 9f - схемы для описания последовательности операций взаимодействия между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения;

Фиг.10 - блок-схема операций, демонстрирующая вспомогательный UI, обеспечивающий работу портативного электронного устройства согласно другому варианту осуществления настоящего изобретения;

Фиг.11 - блок-схема операций, демонстрирующая вспомогательный UI, обеспечивающий работу с использованием вспомогательного устройства согласно другому варианту осуществления настоящего изобретения;

Фиг. 12a и 12b - схемы для описания взаимодействия между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения;

Фиг.13 - схема обмена сигналами, демонстрирующая операцию изменения настройки кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения;

Фиг. 14a и 14b демонстрируют операцию изменения кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения;

Фиг. 15a и 15b демонстрируют операцию изменения типа кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения;

Фиг. 16a и 16b демонстрируют операцию изменения толщины кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения;

Фиг. 17a и 17b демонстрируют примеры соединения между приложением редактирования изображений и наручными часами согласно варианту осуществления настоящего изобретения;

Фиг.18 демонстрирует экран приложения просмотра фотографий согласно уровню техники;

Фиг.19 - блок-схема операций, демонстрирующая работу портативного электронного устройства для обеспечения вспомогательного UI приложения просмотра фотографий посредством вспомогательного устройства согласно варианту осуществления настоящего изобретения;

Фиг.20 - блок-схема операций, демонстрирующая работу вспомогательного устройства для обеспечения вспомогательного UI приложения просмотра фотографий согласно варианту осуществления настоящего изобретения;

Фиг. 21a, 21b, 21c и 21d - схемы для описания операции обеспечения вспомогательного UI приложения просмотра фотографий согласно варианту осуществления настоящего изобретения;

Фиг.22 демонстрирует экран игрового приложения согласно уровню техники;

Фиг.23 - блок-схема операций, демонстрирующая работу портативного электронного устройства для обеспечения вспомогательного UI игрового приложения посредством вспомогательного устройства согласно варианту осуществления настоящего изобретения;

Фиг.24 - блок-схема операций, демонстрирующая работу вспомогательного устройства для обеспечения вспомогательного UI игрового приложения согласно варианту осуществления настоящего изобретения; и

Фиг. 25a, 25b и 25c - схемы для описания операции обеспечения вспомогательного UI игрового приложения согласно варианту осуществления настоящего изобретения.

На протяжении чертежей, аналогичные ссылочные позиции призваны обозначать аналогичные части, компоненты и конструкции.

Предпочтительные варианты осуществления

Нижеследующее описание со ссылкой на прилагаемые чертежи обеспечено для помощи в полном понимании различных вариантов осуществления настоящего изобретения, заданных формулой изобретения и ее эквивалентами. Оно включает в себя различные конкретные детали для помощи в этом понимании, но их следует рассматривать лишь как иллюстративные. Соответственно, специалисты в данной области техники могут предложить различные изменения и модификации различных описанных здесь вариантов осуществления, не выходя за рамки объема и сущности настоящего раскрытия. Кроме того, описания общеизвестных функций и конструкций для наглядности и лаконичности могут быть опущены.

Термины и слова, используемые в нижеследующем описании и формуле изобретения не ограничиваются библиографическими смысловыми значениями, но используются автором изобретения лишь для обеспечения отчетливого и согласованного понимания настоящего раскрытия. Соответственно, специалистам в данной области техники очевидно, что нижеследующее описание различных вариантов осуществления настоящего раскрытия обеспечено только в целях иллюстрации, но не в целях ограничения настоящего раскрытия, заданного нижеследующей формулой изобретения и ее эквивалентами.

Следует понимать, что формы единственного числа включают в себя множественные представления, если из контекста явно не следует обратное. Таким образом, например, ссылка на "составную поверхность" включает в себя ссылку на одну или более таких поверхностей.

Фиг.1 демонстрирует соединение между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения.

Согласно Фиг.1, портативное электронное устройство 100 и вспомогательное устройство 110 могут быть соединены друг с другом беспроводной линией связи или проводным кабелем. Портативное электронное устройство 100 может быть соединено со вспомогательным устройством 110 по беспроводной линии связи, например Bluetooth®, Bluetooth Low Energy (BLE), Zigbee, инфракрасной связи, Wireless-Fidelity (Wi-Fi) Direct, home Radio Frequency (RF), Digital Living Network Alliance (DLNA) и т.п. В другом варианте осуществления, портативное электронное устройство 100 может быть соединено со вспомогательным устройством 110 проводными средствами, например, кабелем мультимедийного интерфейса высокой четкости (HDMI), кабелем универсальной последовательной шины (USB), кабелем микро/мини USB, аудио-видео (AV) кабелем и т.п.

Портативное электронное устройство 100 выполнено с возможностью выполнения сохраненного или загружаемого приложения с помощью встроенного дисплея, и может быть реализовано в виде карманного персонального компьютера (PDA), сотового телефона, смартфона, планшетного PC, портативного мультимедийного проигрывателя (PMP) и т.п. Когда портативное электронное устройство 100 соединено и синхронизировано со вспомогательным устройством 100 проводными или беспроводными средствами, после активации использования режима вспомогательного пользовательского интерфейса (UI) который отображает информацию через вспомогательное устройство 110, портативное электронное устройство 100 передает данные UI на вспомогательное устройство 110 для приложения, которое выполняется (или выполняющегося приложения).

В настоящем изобретении, вспомогательное устройство 110 может отображать всплывающее окно или всплывающее меню, соответствующее приложению, выполняющемуся в портативном электронном устройстве 100. Дисплей вспомогательного устройства 110 меньше дисплея портативного электронного устройства 100 и имеет высокую портативность и доступность для пользователя и может представлять собой, например, наручные часы, пульт дистанционного управления гарнитуры, имеющий средство отображения, или носимое устройство, присоединенное к или надетое на тело пользователя. В данном случае, наручные часы могут представлять собой интеллектуальные часы, имеющие функцию связи, например Bluetooth®, для поддержки текстового оповещения, вызова или мгновенного обмена сообщениями посредством взаимодействия со смартфоном.

В настоящем изобретении, всплывающее окно означает новое окно, которого отображается в режиме всплывания для отображения конкретного содержания в выполняющемся приложении. Если всплывающее окно сконфигурировано для регистрации ввода пользователя в приложение, всплывающее окно может именоваться всплывающим меню. Всплывающее меню может быть сконфигурировано не отображаться в рабочей области выполняющегося приложения, для отображения информации, необходимой пользователю, по команде от приложения, и для приема ввода команды от пользователя. Всплывающее меню является типом контекстного меню, которое обеспечивает графический пользовательский интерфейс (GUI) для взаимодействия с пользователем, например, прикосновения или движения. Всплывающее меню может отображаться на экране по требованию пользователя, не заслоняя рабочую область приложения. Один или более программируемых клавиш, связанных с одной или более функций, могут быть включены во всплывающее меню.

В описанном ниже настоящем изобретении, большинство информации, генерируемой приложением, отображается на портативном электронном устройстве и в одно и то же время, некоторая информация, генерируемая по требованию пользователя или приложения, отображается на экране дисплея вспомогательного устройства, а не портативного электронного устройства. В данном случае, информация, отображаемая на вспомогательном устройстве, может включать в себя всплывающее окно или всплывающее меню приложения. Далее будет подробно описано операция выполнения всплывающего меню и отображения всплывающего меню на вспомогательном устройстве.

На Фиг.2 показана блок-схема портативного электронного устройства согласно варианту осуществления настоящего изобретения.

Согласно Фиг.2, портативное электронное устройство 100 может включать в себя блок 250 беспроводной связи ближнего действия, блок 240 интерфейса, сенсорный экран 230, блок 220 хранения и контроллер 210. Сенсорный экран 230 может включать в себя блок 232 отображения и блок 234 регистрации прикосновения.

Блок 250 беспроводной связи ближнего действия может формировать канал беспроводной связи ближнего действия с другими электронными устройствами в пределах дальности связи. В частности, блок 250 беспроводной связи ближнего действия формирует канал беспроводной связи ближнего действия со вспомогательным устройством 110 в режиме вспомогательного UI, передает информацию конфигурации UI на вспомогательное устройство 110 по каналу беспроводной связи ближнего действия, и принимает данные пользовательского ввода от вспомогательного устройства 110 по каналу беспроводной связи ближнего действия. Блок 150 беспроводной связи ближнего действия может использовать схему связи ближнего действия, например Bluetooth®, инфракрасную связь, Wi-Fi Peer-to-Peer (P2P), Wi-Fi Direct, home RF, DLNA или Zigbee.

Блок 240 интерфейса может включать в себя проводной кабель для проводного соединения с вспомогательным устройством 110, передает информацию конфигурации UI по проводному кабелю, и принимает данные пользовательского ввода от вспомогательного устройства 110 по проводному кабелю. Для этого, блок 240 интерфейса может быть сформирован с USB, микро/мини USB, HDMI, или 20-штырьковым разъемом. Если портативное электронное устройство 100 не обеспечивает вспомогательный UI по проводному кабелю, блок 240 интерфейса можно исключить.

Сенсорный экран 230 может осуществлять функцию ввода и функцию вывода. Для этого, сенсорный экран 230 может включать в себя дисплей 232 который осуществляет функцию вывода, и блок 234 регистрации прикосновения, который осуществляет функцию ввода. Дисплей 232 отображает информацию, которая вводится пользователем, и/или информацию, предоставляемую пользователю, а также информацию выполняющегося приложения в портативном электронном устройстве 100. Например, дисплей 232 может обеспечивать рабочие области различных приложений, соответствующих использованию портативного электронного устройства 100, например, приложения редактирования изображений, программы блокнота, программы просмотра фотографий, игры и пр. Если всплывающее меню, по меньшей мере, частично заслоняет рабочую область, контроллер 210 отображает всплывающее меню на вспомогательном устройстве 110 вместо дисплея 232. Например, если отображение всплывающего меню для настройки кисти необходимо в ходе выполнения приложения редактирования изображений, контроллер 210 конфигурирует информацию конфигурации UI, включающую в себя всплывающее меню, и передает информацию конфигурации UI на вспомогательное устройство 110 через блок 250 беспроводной связи ближнего действия.

Блок 234 регистрации прикосновения генерирует событие ввода, соответствующее контакту или регистрации пальца пользователя или стилуса, и доставляет генерируемое событие ввода на контроллер 210. Блок 234 регистрации прикосновения распознает изменение физической величины (например, емкости, сопротивления и пр.) соответствующее контакту или приближению пальца или стилуса, и доставляет событие ввода, включающее в себя тип ввода и информацию о позиции, в которой ввод регистрируется на контроллере 210.

Блок 220 хранения сохраняет пользовательские данные и программные коды, необходимые для операций согласно варианту осуществления настоящего изобретения. Например, в хранилище 220 может храниться программа для управления работой портативного электронного устройства 100 в целом, операционная система (OS) для начальной загрузки портативного электронного устройства 100, и приложения, необходимые для дополнительных функций портативного электронного устройства 100, например, функции камеры, функции звуковоспроизведения, редактирования изображений, отображения изображения, воспроизведения видео и функции беспроводной связи ближнего действия. В частности, в блоке 220 хранения хранится информация конфигурации UI, относящаяся к всплывающему меню, подлежащему отображению на сенсорном экране 230 и вспомогательном устройстве 110. Согласно варианту осуществления, в хранилище 220 хранится информация конфигурации UI, относящаяся к всплывающему меню в форме, пригодной для типа вспомогательного устройства 110, например, размер, физическая форма, например, квадратный тип или круглый тип, разрешение или размер, и обеспечивает информацию конфигурации UI на контроллер 210 по запросу контроллера 210.

Контроллер 210 управляет работой портативного электронного устройства 100 в целом и обменом сигналами между внутренними компонентами портативного электронного устройства 100. В частности, когда режим вспомогательного UI активирован, и выполняется всплывающее меню, контроллер 210 передает информацию конфигурации UI, которая относится к всплывающему меню, которое сконфигурирован согласно типу подключенного вспомогательного устройства 110, на вспомогательное устройство 110 через блок 250 беспроводной связи ближнего действия. После приема данных пользовательского ввода, указывающих пользовательский ввод, регистрируемый на всплывающем меню от вспомогательного устройства 110 посредством беспроводной связи ближнего действия 250, например, контроллер 210 управляет настройкой кисти, отображаемой в рабочей области дисплея 232, изменяемой на основании данных пользовательского ввода.

Хотя это не показано на Фиг.2, портативное электронное устройство 100 может дополнительно включать в себя компоненты для обеспечения дополнительных функций, например, модуль камеры для захвата изображения или видео, модуль приема широковещательных передач для приема широковещательных передач, модуль воспроизведения источника цифрового звука, например, модуль MPEG audio layer-3 (MP3) и модуль датчика близости для регистрации близости. Эти компоненты могут по-разному изменяться в соответствии с тенденцией конвергенции цифровых устройств и, таким образом, портативное электронное устройство 100 согласно вариантам осуществления настоящего изобретения может дополнительно включать в себя компоненты, эквивалентные вышеупомянутым компонентам.

На Фиг.3 показана блок-схема вспомогательного устройства 110 согласно варианту осуществления настоящего изобретения.

Согласно Фиг.3, по аналогии с портативным электронным устройством 100, вспомогательное устройство 110 включает в себя блок 350 беспроводной связи ближнего действия, блок 340 интерфейса, сенсорный экран 330, блок 320 хранения и контроллер 310, и сенсорный экран 330 включает в себя блок 332 отображения и блок 334 регистрации прикосновения. Блок 350 беспроводной связи ближнего действия формирует канал беспроводной связи ближнего действия с портативным электронным устройством 100, принимает информацию конфигурации UI от портативного электронного устройства 100 по каналу беспроводной связи ближнего действия, и передает данные пользовательского ввода, указывающие регистрируемый пользовательский ввод на портативное электронное устройство 100 по каналу беспроводной связи ближнего действия. Блок 340 интерфейса, который может избирательно существовать, может включать в себя проводной кабель для проводного соединения с портативным электронным устройством 100, и принимать информацию конфигурации UI от портативного электронного устройства 100 по проводному кабелю и передать данные пользовательского ввода на портативное электронное устройство 100 по проводному кабелю.

Сенсорный экран 330 включает в себя дисплей 332 для осуществления функций вывода и блок 334 регистрации прикосновения для осуществления функций ввода, и дисплей 332 отображает информацию, вводимую пользователем и/или информацию, обеспечиваемую пользователю, а также информацию, генерируемую во вспомогательном устройстве 110. Например, если вспомогательным устройством 110 являются наручные часы, дисплей 332 может обеспечивать циферблат. Если информация конфигурации UI, относящаяся к всплывающему меню, принимается от портативного электронного устройства 100, контроллер 310 отображает всплывающее меню на дисплее 332.

Блок 334 регистрации прикосновения генерирует событие ввода, соответствующее контакту или регистрации пальца пользователя или стилуса, и передает генерируемое событие ввода на контроллер 310. Блок 334 регистрации прикосновения распознает изменение физической величины (например, емкости, сопротивления и т.п.), соответствующее контакту или приближению пальца или стилуса и передает событие ввода, включающее в себя тип ввода и информацию о позиции, в которой ввод регистрируется на контроллере 310. В режиме вспомогательного UI, контроллер 310 передает событие ввода на портативное электронное устройство 100 через блок 350 беспроводной связи ближнего действия.

Блок 320 хранения сохраняет пользовательские данные, а также программные коды, необходимые для осуществления функций согласно настоящему изобретению. Например, в блоке 320 хранения может храниться программа для управления работой в целом вспомогательного устройства 110, OS для начальной загрузки вспомогательного устройства 110, и программные коды, необходимые для дополнительных функций вспомогательного устройства 110, например, функции часов, функции будильника, функции извещения и пр. В блоке 320 хранения хранится информация конфигурации UI, необходимая для отображения всплывающего меню, которая принимается от портативного электронного устройства 100. В другом варианте осуществления, в блоке 320 хранения хранится информация, связанная с типом вспомогательного устройства 110, например, размер, физическая форма, например, квадратная и круглая, разрешение или размер, и по запросу контроллера 310, хранилище 320 выдает информацию на контроллер 310.

Контроллер 310 управляет работой в целом вспомогательного устройства 110 и обменом сигналами между внутренними компонентами вспомогательного устройства 110. В частности, если режим вспомогательного UI активирован, и принимается информация конфигурации UI, относящаяся к всплывающему меню, контроллер 310 отображает всплывающее меню на дисплее 332. После регистрации пользовательского ввода на всплывающем меню от блока 334 регистрации прикосновения, контроллер 310 генерирует данные пользовательского ввода, указывающие пользовательский ввод, и передает данные пользовательского ввода на портативное электронное устройство 100 через блок 350 беспроводной связи ближнего действия.

Хотя это не показано на Фиг.3, компоненты для обеспечения дополнительных функций, например, громкоговоритель для вывода аудиосигнала, датчик движения, по меньшей мере, один физический блок ввода, например, вращающийся ободок или заводная головка наручных часов и пр. может быть дополнительно обеспечен во вспомогательном устройстве 110. Вспомогательное устройство 110 согласно вариантам осуществления настоящего изобретения может дополнительно включать в себя компоненты, эквивалентные вышеупомянутым компонентам.

За счет использования портативного электронного устройства и одного или более вспомогательных устройств, следующие варианты осуществления по отдельности отображают, на вспомогательных устройствах, по меньшей мере, часть UI, генерируемого приложением, которое выполняется на портативном электронном устройстве. Согласно варианту осуществления, всплывающее меню, включающее в себя функцию, например, функцию изменения цвета или функцию изменения толщина кисти, которая часто используется в приложении редактирования изображений, отображается на экране вспомогательного устройства, таким образом, препятствуя заслонению рабочей области приложения редактирования изображений всплывающим меню и уменьшая количество манипуляций для изменения настройки кисти.

Фиг.4 демонстрирует соединение между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения.

Согласно Фиг.4, портативное электронное устройство 410 означает главное устройство, включающее в себя приложение, которое генерирует всплывающее меню, и включает в себя множество исполнимые приложения 412 и инфраструктуру 414 для вспомогательного устройства (или инфраструктура 414 вспомогательного устройства), действующего на ядре 416. Инфраструктура 414 вспомогательного устройства осуществляет связь с, по меньшей мере, одним из приложений 412 и управляет связью со вспомогательным устройством 420. По меньшей мере, одно из приложений 412 являются программами, способными использовать вход/выход вспомогательного устройства, и может быть, например, приложением редактирования изображений, игрой или программой просмотра фотографий.

Портативное электронное устройство 410 соединено со вспомогательным устройством 420 с использованием проводной или беспроводной линии связи 430. Вспомогательное устройство 420 включает в себя программу-агент 422 ответственный за связь между портативным электронным устройством 410 и вспомогательным устройством 420 и один или более программных исполнимых модулей 424 и 426. Программные исполнимые модули 424 и 426 включают в себя программное обеспечение управления экраном 424 и программное обеспечение управления вводом 426. Программное обеспечение управления экраном 424 отображает информацию, генерируемая во вспомогательном устройстве 420 или информацию конфигурации UI, обеспечиваемую портативным электронным устройством 410, через программу-агент 422 на экране вспомогательного устройства 420, и программное обеспечение управления вводом 426 регистрирует и обрабатывает информацию, вводимую через сенсорный экран или другой блок 420 ввода вспомогательного устройства, или переносит информацию на портативное электронное устройство 410 через программу-агент 422.

Инфраструктура 414 вспомогательного устройства в портативном электронном устройстве 410 включает в себя модуль 432 интерфейса прикладного программирования (API), который осуществляет связь с приложениями 412, модуль 434 управления агентом, который конфигурирует информацию конфигурации UI для передачи на вспомогательное устройство 420 и принимает и интерпретирует данные пользовательского ввода, доставляемые от вспомогательного устройства 420, и модуль 440 связи с агентом, который отвечает за связь с программой-агентом 422 вспомогательного устройства 420 согласно типу линии связи. Модуль 434 управления агентом включает в себя подмодуль 436 управления экраном, который конфигурирует информацию конфигурации UI для переноса на вспомогательное устройство 422 и доставляет информацию конфигурации UI на вспомогательное устройство 422 через модуль 440 связи с агентом. Модуль 434 управления агентом также включает в себя подмодуль 438 управления вводом, который интерпретирует данные пользовательского ввода, принятые от вспомогательного устройства 422, и переносит данные пользовательского ввода на соответствующее приложение 412.

Модуль API 432 обеспечивает интерфейс для использования ресурсов вспомогательного устройства 420, например, управления экраном, управления вводом и пр. Для этого, модуль API 432 использует модуль 434 управления агентом, который поддерживает использование ресурсов (экранный вывод, тактильный ввод и пр.) вспомогательного устройства 420 через подмодули 436 и 438, которые руководят управлением (экраном, тактильным вводом и пр.) вспомогательного устройства 420. Модуль 440 связи с агентом пересылает запрос приложения 412 на вспомогательное устройство 420 или пересылает пользовательский ввод от вспомогательного устройства 420 приложению 412 через модуль 434 управления агентом.

Программа-агент 422 во вспомогательном устройстве 420 включает в себя модуль 452 связи с главным устройством, который осуществляет связь с инфраструктурой 414 вспомогательного устройства портативного электронного устройства 410 и модулем 454 управления оборудованием, который управляет оборудованием 460 ввода/вывода вспомогательного устройства 420. Оборудование 460 ввода/вывода включает в себя блоки вывода, например, дисплей или сенсорный экран, и блоки ввода, например, сенсорный экран, датчик движения и физические кнопки. Модуль 454 управления оборудованием включает в себя подмодуль 456 управления экраном, который отображает информацию конфигурации UI на дисплее или сенсорном экране оборудования 460 ввода/вывода, и подмодуль 458 управления вводом, который переносит данные пользовательского ввода, регистрируемые через сенсорный экран или другой блок ввода оборудования 460 ввода/вывода, на портативное электронное устройство 410.

Модуль 454 управления оборудованием принимает запрос от портативного электронного устройства 410, конфигурирует состояние и экранную информацию вспомогательного устройства 420, и переносит сконфигурированную информацию на портативное электронное устройство 410. Модуль 454 управления оборудованием может действовать за счет использования драйвера устройства OS или непосредственного обращения к аппаратному регистру на основании программной структуры вспомогательного устройства 420.

На Фиг.5 показана блок-схема операций, демонстрирующая процедуру для выполнения приложения согласно варианту осуществления настоящего изобретения.

Согласно Фиг.5, портативное электронное устройство выполняет приложение согласно пользовательскому вводу или автоматически в операции 505 и осуществляет функцию приложения за счет использования ресурсов портативного электронного устройства в операции 510. Например, в приложении редактирования изображений, рабочая область для редактирования изображения и область меню для дополнительной функции (меню настройки для изменения кисти, текстового ввода, стирания и т.п.), подлежащая использованию в рабочей области, выводятся на экране дисплея, и функция, например, изменение кисти или рисование согласно пользовательскому вводу регистрируется на экране дисплея портативного электронного устройства.

В операции 515, портативное электронное устройство определяет, необходимо ли использовать вспомогательный ввод/вывод (т.е. вспомогательный UI) для приложения по выполнении приложения или в ответ на пользовательскую команду. Согласно варианту осуществления, портативное электронное устройство обеспечивает пиктограмму (или программируемую клавишу) для запрашивания использования режима вспомогательного UI через строку состояния или область меню приложения, и если пользовательский ввод, например, прикосновение или тычок регистрируется на пиктограмме для запрашивания использования режима вспомогательного UI, портативное электронное устройство определяет, что вспомогательный UI подлежит использованию. В другом варианте осуществления, когда наручные часы сопряжены с портативным электронным устройством, по выполнении приложения, которое обеспечивает режим вспомогательного UI, портативное электронное устройство может отображать окно уведомлений, запрашивающее пользователя использовать режим вспомогательного UI, например, фразу "Использовать часы как вспомогательное устройство? Да/Нет" или "Отображать всплывающее меню на часах? Да/Нет". Если пользовательский ввод посредством программируемой клавиши соответствует "Да", портативное электронное устройство может определить, что нужно использовать вспомогательный UI. В другом варианте осуществления, если наручные часы сопряжены с портативным электронным устройством, портативное электронное устройство может определить, что вспомогательный UI должен автоматически использоваться для приложения, которое обеспечивает режим вспомогательного UI.

Если определено, что необходим вход/выход вспомогательного устройства, портативное электронное устройство определяет вспомогательное устройство, которое соединено с портативным электронным устройством и доступно для входа/выхода вспомогательного устройства. В частности, портативное электронное устройство может определять, соединено ли вспомогательное устройство с портативным электронным устройством через API, обеспеченный в инфраструктуре вспомогательного устройства в операции 525. Например, на основании информации, собранной в ходе соединения между портативным электронным устройством и вспомогательным устройством, портативное электронное устройство может определить, что вспомогательное устройство доступно для входа/выхода вспомогательного устройства, если вспомогательное устройство включает в себя экран дисплея и блок ввода.

В операции 530, портативное электронное устройство определяет, соединено ли вспомогательное устройство с портативным электронным устройством, и находится ли соединение с вспомогательным устройством в нормальном состоянии. Если вспомогательное устройство нормально соединено с портативным электронным устройством, портативное электронное устройство активирует режим вспомогательного UI и обеспечивает вспомогательный UI через API управления экраном и управления вводом, обеспеченный в инфраструктуре вспомогательного устройства. В частности, портативное электронное устройство идентифицирует, по меньшей мере, часть информации, генерируемой при выполнении приложения, переконфигурирует идентифицированную информацию, подлежащую отображению на вспомогательном устройстве, генерирует информацию конфигурации UI, указывающую переконфигурированную информацию, и передает информацию конфигурации UI на вспомогательное устройство. После приема данных пользовательского ввода, указывающих пользовательский ввод, регистрируемый во вспомогательном устройстве, портативное электронное устройство управляет выполнением приложения в ответ на пользовательский ввод. Согласно варианту осуществления, по меньшей мере, часть информации, подлежащей отображению через вспомогательное устройство, может представлять собой всплывающее меню, обеспеченное приложением, и информация конфигурации UI включает в себя всплывающее меню, переконфигурированное для отображения на вспомогательном устройстве. Например, рабочая область приложения редактирования изображений отображается на дисплее портативного электронного устройства, тогда как всплывающее меню, генерируемое приложением, отображается на дисплее вспомогательного устройства. Пользовательский ввод, регистрируемый на всплывающем меню, переносится на приложение портативного электронного устройства.

Согласно варианту осуществления, по выполнении приложения, которое поддерживает режим вспомогательного UI, портативное электронное устройство определяет, соединено ли вспомогательное устройство с портативным электронным устройством, и если да, портативное электронное устройство автоматически определяет, что нужно использовать вход/выход вспомогательного устройства.

Если в операции 515 определено, что вспомогательный ввод/вывод не требуется, или если вспомогательное устройство ненормально соединено с портативным электронным устройством в операции 530, то портативное электронное устройство обеспечивает UI приложения за счет использования своих ресурсов в операции 520. Согласно варианту осуществления, рабочая область приложения редактирования изображений и всплывающее меню, генерируемое в случае необходимости, отображаются на дисплее портативного электронного устройства.

В операции 540, портативное электронное устройство определяет, запрашивается ли окончание режима вспомогательного UI. Согласно варианту осуществления, портативное электронное устройство обеспечивает пиктограмму, указывающую, что режим вспомогательного UI используется в области меню приложения или строке состояния, и в случае регистрации пользовательского ввода на пиктограмме, портативное электронное устройство определяет, что запрашивается окончание режима вспомогательного UI. В другом варианте осуществления, когда приложение заканчивается, портативное электронное устройство определяет, что окончание режима вспомогательного UI запрашивается. Если запрашивается окончание режима вспомогательного UI, портативное электронное устройство извещает вспомогательное устройство об окончании режима вспомогательного UI, таким образом, что вспомогательное устройство заканчивает отображение вспомогательного UI.

На Фиг. 6a и 6b показаны блок-схемы операций, демонстрирующие вспомогательный UI, обеспечивающий работу портативного электронного устройства согласно варианту осуществления настоящего изобретения.

На Фиг. 6a и 6b проиллюстрирована операция, соответствующая случаю, когда портативное электронное устройство инициирует использование вспомогательного UI. В операции 605, портативное электронное устройство распознает соединимое вспомогательное устройство. Согласно варианту осуществления, в случае идентификации пароля, согласованного со вспомогательным устройством, и завершения взаимной аутентификации со вспомогательным устройством, портативное электронное устройство может определить, что вспомогательное устройство является соединимым, то есть может осуществлять связь со вспомогательным устройством. Согласно варианту осуществления, если для беспроводного соединения с вспомогательным устройством используется Bluetooth^®, портативное электронное устройство сопрягается со вспомогательным устройством за счет использования Bluetooth®. В операции 610, портативное электронное устройство регистрирует выполнение приложения. В операции 615, портативное электронное устройство определяет, способно ли приложение использовать вспомогательное устройство в качестве вспомогательного UI. Если приложение обеспечивает режим вспомогательного UI, портативное электронное устройство определяет в операции 620, доступно ли вспомогательное устройство, которое обеспечивает вспомогательный UI. Согласно варианту осуществления, портативное электронное устройство управляет списком вспомогательных устройств, соединенных с портативным электронным устройством, идентифицирует типы вспомогательных устройств, и определяет, что вспомогательное устройство, имеющее дисплей, доступно в качестве вспомогательного UI. В другом варианте осуществления, после соединения со вспомогательным устройством, портативное электронное устройство получает и сохраняет информацию о том, доступно ли вспомогательное устройство в качестве вспомогательного UI, от вспомогательного устройства или интернет-сервера.

Если существует вспомогательное устройство, доступное в качестве вспомогательного UI, портативное электронное устройство отображает активацию окна уведомлений для определения, согласен ли пользователь использовать режим вспомогательного UI в операции 625. Согласно варианту осуществления, портативное электронное устройство выводит окно уведомлений, запрашивающее использовать режим вспомогательного UI. В операции 630, портативное электронное устройство определяет, согласен ли пользователь использовать режим вспомогательного UI. Если пользователь согласен использовать режим вспомогательного UI, например, путем регистрации пользовательского ввода на окне уведомлений, указывающем, что пользователь согласен использовать режим вспомогательного UI, портативное электронное устройство переходит к операции 635. Если приложение сконфигурировано использовать режим вспомогательного UI, операции 625 и 630 можно исключить.

В операции 635, портативное электронное устройство отправляет запрос взаимодействия для использования вспомогательного UI на вспомогательное устройство. В операции 635, портативное электронное устройство, при необходимости, может устанавливать соединение с вспомогательным устройством. В операции 640, по меньшей мере, одна из информации состояния и экранной информации вспомогательного устройства принимается от вспомогательного устройства. Согласно варианту осуществления, информация состояния может указывать, нормально ли вспомогательное устройство работает в качестве вспомогательного UI и/или нормально ли соединение между вспомогательным устройством и портативным электронным устройством. Экранная информация может указывать, по меньшей мере, одно из формы дисплея, размера и разрешения вспомогательного устройства. Согласно варианту осуществления, если портативное электронное устройство может получать экранную информацию вспомогательного устройства непосредственно от вспомогательного устройства через предыдущее соединение (например, сопряжение Bluetooth®) со вспомогательным устройством или через интернет-сервер, передачу экранной информации можно исключить. Если портативное электронное устройство желает принимать состояние и экранную информацию от вспомогательного устройства, запрос взаимодействия операции 635 может дополнительно включать в себя указатель для запрашивания состояния и экранной информации. Например, запрос подтверждения состояния операции 635 включает в себя сообщение или пакет и включает в себя, по меньшей мере, один бит, указывающий запрос информации экрана и/или состояния.

В операции 645, портативное электронное устройство определяет, доступно ли вспомогательное устройство в качестве вспомогательного UI на основании состояния и экранной информации. Если портативное электронное устройство доступно в качестве вспомогательного UI, то есть, если вспомогательное устройство нормально соединено и способно поддерживать вспомогательный UI, портативное электронное устройство активирует режим вспомогательного UI для конфигурирования (или идентификации) вспомогательного UI для приложения на основании экранной информации в операции 650, и передает информацию конфигурации UI, указывающую вспомогательный UI на вспомогательное устройство. Согласно варианту осуществления, портативное электронное устройство конфигурирует всплывающее меню (например, настройку кисти приложения редактирования изображений) в качестве вспомогательного UI и генерирует информацию конфигурации UI. Всплывающее меню включает в себя экранную информацию вспомогательного устройства, в частности, размер, форму и разрешение переконфигурированный согласно физической форме или размеру.

В операции 655, портативное электронное устройство выводит UI для функции выполняющегося приложения на экране дисплея, и управляет выполнением приложения согласно пользовательскому вводу, переносимому от вспомогательного устройства. Согласно варианту осуществления, если вспомогательное устройство принимает данные пользовательского ввода, включающие в себя команду, относящуюся к настройке кисти, портативное электронное устройство изменяет кисть (тип, толщину, цвет и т.п.), отображаемую на экране дисплея портативного электронного устройства согласно данным пользовательского ввода. В другом варианте осуществления, данные пользовательского ввода, принятые от вспомогательного устройства, включают в себя информацию координат, указывающую позицию, в которой регистрируется пользовательский ввод на всплывающем меню, и портативное электронное устройство идентифицирует команду управления, указанную пользовательским вводом, в частности, по меньшей мере, один из типа кисти, выбранного цвета кисти и выбранной толщины кисти, на основании конфигурации всплывающего меню в операции 650.

В операции 660, портативное электронное устройство определяет, заканчивать ли использование вспомогательного UI. Согласно варианту осуществления, портативное электронное устройство обеспечивает пиктограмму, указывающую, что вспомогательный UI используется в области меню выполняющегося приложения или всплывающее меню, отображаемое на вспомогательном устройстве, и определяет закончить использование вспомогательного UI в случае регистрации пользовательского ввода на пиктограмме. В другом варианте осуществления, портативное электронное устройство может определять закончить использование вспомогательного UI, когда приложение заканчивается. Если определено закончить использование вспомогательного UI, портативное электронное устройство предписывает вспомогательному устройству закончить отображение вспомогательного UI. Если вспомогательное устройство не используется в других целях, портативное электронное устройство может освобождать соединение с вспомогательным устройством. Если отображение вспомогательного UI заканчивается без окончания приложения, портативное электронное устройство может отображать всплывающее меню на своем экране дисплея по запросу пользователя.

Если приложение не обеспечивает режим вспомогательного UI или не нуждается в режиме вспомогательного UI в операции 615; если в операции 620 определено, что доступного вспомогательного устройства не существует; если согласие использовать вспомогательный UI не вводится пользователем в операции 630; или если в операции 645 определено, что вспомогательное устройство недоступно, то портативное электронное устройство продолжает осуществлять функцию приложения через свой экран дисплея в операции 665.

На Фиг.7 показана блок-схема операций, демонстрирующая вспомогательный UI, обеспечивающий работу с использованием вспомогательного устройства согласно другому варианту осуществления настоящего изобретения.

На Фиг.7 проиллюстрирована операция, соответствующая случаю, когда портативное электронное устройство инициирует использование вспомогательного UI. В операции 705, вспомогательное устройство распознает соединимое портативное электронное устройство. Согласно варианту осуществления, если вспомогательное устройство идентифицирует пароль, согласованный с портативным электронным устройством, и заканчивает взаимную аутентификацию между портативным электронным устройством и вспомогательным устройством, вспомогательное устройство определяет, что оно может осуществлять связь с портативным электронным устройством. Согласно варианту осуществления, если для беспроводного соединения с портативным электронным устройством используется Bluetooth^®, вспомогательное устройство сопрягается с портативным электронным устройством за счет использования Bluetooth^®. Вспомогательное устройство устанавливает при необходимости соединение с портативным электронным устройством и принимает запрос подтверждения состояния от портативного электронного устройства в операции 710, и передает, по меньшей мере, одну из информации состояния и экранной информации вспомогательного устройства на портативное электронное устройство в операции 715. Согласно варианту осуществления, информация состояния указывает, может ли вспомогательное устройство действовать нормально в качестве вспомогательного UI и/или является ли нормальным соединение между вспомогательным устройством и портативным электронным устройством. Экранная информация может указывать, по меньшей мере, одно из формы дисплея, размера и разрешения вспомогательного устройства. Согласно варианту осуществления, если портативное электронное устройство может получать экранную информацию вспомогательного устройства непосредственно от вспомогательного устройства через предыдущее соединение (например, сопряжение Bluetooth®) со вспомогательным устройством или через интернет-сервер, передачу экранной информации можно исключить.

Вспомогательное устройство принимает информацию конфигурации UI, относящуюся к вспомогательному UI, от портативного электронного устройства в операции 720 и выводит вспомогательный UI в операции 725. Согласно варианту осуществления, информация конфигурации UI может включать в себя всплывающее меню (например, настройку кисти приложения редактирования изображений, выполняющегося в портативном электронном устройстве) и всплывающее меню имеет размер, форму и разрешение на основании экранной информации вспомогательного устройства.

В операции 730, вспомогательное устройство отслеживает, регистрируется ли пользовательский ввод на всплывающем меню, то есть, принимается ли пользовательский ввод от блока регистрации прикосновения вспомогательного устройства. В случае регистрации тактильного пользовательского ввода, вспомогательное устройство конфигурирует данные пользовательского ввода, указывающие пользовательский ввод, и передает данные пользовательского ввода на портативное электронное устройство в операции 735. Согласно варианту осуществления, данными пользовательского ввода может быть информация координат, указывающая позицию, в которой регистрируется пользовательский ввод на всплывающем меню. В другом варианте осуществления, данные пользовательского ввода могут включать в себя данные, связанные с приложением портативного терминала (например, тип кисти, цвет и толщину кисти).

В операции 740, вспомогательное устройство определяет, заканчивать ли взаимодействие с портативным электронным устройством. Согласно варианту осуществления, приняв от портативного электронного устройства команду, предписывающую заканчивать отображение вспомогательного UI, вспомогательное устройство заканчивает отображение вспомогательного UI. В другом варианте осуществления, если вспомогательное устройство регистрирует пользовательский ввод для запрашивания окончания взаимодействия через всплывающее меню или другое программное меню или регистрирует ввод физической кнопки для запрашивания окончания взаимодействия, вспомогательное устройство заканчивает отображение вспомогательного UI и сообщает об окончании взаимодействия портативному электронному устройству.

Далее, со ссылкой на прилагаемые чертежи будет подробно описан пример взаимодействия между портативным электронным устройством и вспомогательным устройством. В нижеследующем описании, в качестве примера всплывающего меню, отображаемого в рабочей области приложения, будут описаны приложение редактирования изображений, программа блокнота для письма и текстовый редактор, выполняющийся на смартфоне.

Фиг.8 демонстрирует пример всплывающего меню, отображаемого в рабочей области приложения согласно варианту осуществления настоящего изобретения.

Согласно Фиг.8, приложение 800 редактирования изображений обеспечивает рабочую область 820, которая занимает большую часть экрана смартфона и имеет сравнительно малую область 830 меню. Область 830 меню обычно конструируется так, чтобы иметь минимальный размер, чтобы не прерывать работу пользователя по редактированию изображений в рабочей области 820. Если пользовательский ввод регистрируется на конкретном элементе меню в области 830 меню, например, меню 805 "настройка кисти", приложение 800 редактирования изображений отображает всплывающее меню 810.

Всплывающее меню 810 может включать в себя, по меньшей мере, одну из области 812 текущего состояния, отображающей выбранные тип и цвет кисти, области 814 выбора типа для выбора типа кисти, области 816 выбора толщины для выбора толщины кисти, и области 818 выбора цвета для выбора цвета кисти. После регистрации пользовательского ввода в областях 814, 816 и 818 выбора, выбранная форма кисти отображается в области 812 текущего состояния. Если пользовательский ввод регистрируется во внешней области всплывающего меню 810, всплывающее меню 810 исчезает, и, согласно пользовательскому вводу в рабочей области 820, в рабочей области 820 отображается рисование изображения с использованием выбранной кисти.

Если активирован режим вспомогательного UI, всплывающее меню 810, отображаемое в рабочей области 820, может быть сконфигурировано в качестве вспомогательного UI.

На Фиг.9a, 9b, 9c, 9d, 9e и 9f показаны схемы для описания последовательности операций для взаимодействия между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения.

Согласно Фиг.9a, портативное электронное устройство 900 реализовано в виде смартфона, где выполняется приложение комментария, которое включает в себя функцию редактирования изображений. Если вспомогательное устройство, доступное в качестве вспомогательного UI, соединено с портативным электронным устройством 900 в ходе выполнения приложения комментария, на экране отображается окно 905a уведомлений, запрашивающее использовать вспомогательный UI. Согласно варианту осуществления, смартфон 900 может отображать окно 905a уведомлений, когда выполняется приложение, поддерживающее режим вспомогательного UI. Согласно варианту осуществления, смартфон 900 обеспечивает программируемую клавишу 905b для активации вспомогательного UI по выполнении приложения комментария и отображает окно 905a уведомлений после регистрации пользовательского ввода, например, прикосновения к программируемой клавише 905b.

В случае регистрации ввода, разрешающего использовать вспомогательный UI на окне 905b уведомлений, например, тактильного ввода на программируемой клавише "Да," смартфон 900 отправляет запрос подтверждения состояния на подключенное вспомогательное устройство, доступное в качестве вспомогательного UI.

Согласно Фиг.9b, вспомогательное устройство 910 реализовано в виде наручных часов, выполненных с возможностью соединения с портативным электронным устройством проводными или беспроводными средствами. В ответ на запрос подтверждения состояния от смартфона 900, вспомогательное устройство 910 предоставляет смартфону 900 свое состояние и экранную информацию 915. Экранная информация 915 может включать в себя, например, "квадрат", указывающий физическую форму наручных часов 910, и "320×320", указывающий размер (или разрешение) наручных часов 910.

Фиг.9c демонстрирует примеры экранной информации 915. Если наручные часы 910 имеют прямоугольный экран, экранная информация 920a указывает "квадрат, 320×320". В другом примере, если наручные часы 910 имеют круглый экран, экранная информация 920b указывает "круг, 320×320".

Согласно Фиг.9d, смартфон 900 передает на наручные часы 910 информацию 920 конфигурации UI, относящуюся к всплывающему меню, которое сконфигурировано для экрана наручных часов 910. Согласно Фиг.9e, наручные часы 910 отображают всплывающее меню 925 на своем экране на основании информации 920 конфигурации UI. Всплывающее меню 925 сконфигурировано в соответствии с формой экрана наручных часов 910 и включают в себя область 930a выбора типа для выбора типа кисти, область 930b выбора толщины для выбора толщины кисти, область 930c выбора цвета для выбора цвета кисти и область 940 состояния кисти, указывающие выбранную кисть.

Согласно Фиг.9f, если пользовательский ввод регистрируется в конкретной позиции на всплывающем меню 925, область 940 состояния кисти изменяется в соответствии с позицией, в которой регистрируется пользовательский ввод. Например, если пользовательский ввод регистрируется в черной области в области выбора цвета 930c, цвет области 940 состояния кисти меняется на черный, и данные 945 пользовательского ввода, указывающие информацию о позиции, в которой регистрируется пользовательский ввод, от наручных часов 910 на смартфон 900. Затем смартфон 900 вычисляет и сохраняет цвет кисти, выбранный согласно данным 945 пользовательского ввода, и отображает нарисованное изображение 955 в черном цвете, когда пользовательский ввод перемещается в рабочей области 950.

На Фиг.10 показана блок-схема операций, демонстрирующая вспомогательный UI, обеспечивающий работу портативного электронного устройства согласно другому варианту осуществления настоящего изобретения.

На Фиг.10 проиллюстрирована операция, соответствующая случаю, когда вспомогательное устройство инициирует использование вспомогательного UI. В операции 1005, портативное электронное устройство распознает соединимое вспомогательное устройство. Согласно варианту осуществления, в случае идентификации пароля, согласованного со вспомогательным устройством, и завершения взаимной аутентификации со вспомогательным устройством, портативное электронное устройство может определить, что оно может осуществлять связь со вспомогательным устройством. Согласно варианту осуществления, если для беспроводного соединения с вспомогательным устройством используется Bluetooth^®, портативное электронное устройство сопрягается со вспомогательным устройством за счет использования Bluetooth^®. Портативное электронное устройство принимает запрос взаимодействия, подлежащее использованию в качестве вспомогательного UI, от вспомогательного устройства в операции 1010 и идентифицирует приложение, выполняющееся на экране в операции 1015.

В операции 1020, портативное электронное устройство определяет, обеспечивать ли режим вспомогательного UI для выполняющегося приложения. Согласно варианту осуществления, если приложение генерирует всплывающее меню, портативное электронное устройство может определять обеспечение режим вспомогательного UI. Если приложение обеспечивает режим вспомогательного UI, портативное электронное устройство определяет, согласен ли пользователь использовать режим вспомогательного UI в операции 1025. Согласно варианту осуществления, портативное электронное устройство выводит окно уведомлений, запрашивающее пользователя, использовать ли режим вспомогательного UI на экране, и переходит к операции 1030, где пользовательский ввод указывает, что пользователь согласен использовать режим вспомогательного UI регистрируется на окне уведомлений.

В операции 1030, портативное электронное устройство извещает вспомогательное устройство о том, что взаимодействие для вспомогательного ввода/вывода разрешено. Для извещения, портативное электронное устройство, при необходимости, может устанавливать соединение с вспомогательным устройством. Если портативное электронное устройство автоматически определяет использовать вспомогательный UI, если приложение поддерживает вспомогательный UI, операцию 1025 можно исключить, и в этом случае, портативное электронное устройство может просто запрашивать экранную информацию вспомогательного устройства в операции 1030.

В операции 1035, портативное электронное устройство принимает от вспомогательного устройства экранную информацию, указывающую, по меньшей мере, одно из формы дисплея, размера и разрешения вспомогательного устройства. Согласно варианту осуществления, если портативное электронное устройство может получать экранную информацию вспомогательного устройства непосредственно от вспомогательного устройства через предыдущее соединение (например, сопряжение Bluetooth®) со вспомогательным устройством или через интернет-сервер (например, сервер производителя вспомогательного устройства), операцию 1035 можно исключить.

В операции 1040, портативное электронное устройство активирует режим вспомогательного UI для конфигурирования (или идентификации) вспомогательного UI для выполняющегося приложения на основании экранной информации, и передает информацию конфигурации UI, относящуюся к вспомогательному UI, на вспомогательное устройство. Согласно варианту осуществления, информация конфигурации UI может включать в себя всплывающее меню (например, настройку кисти приложения редактирования изображений) и всплывающее меню имеет размер, форму и разрешение на основании экранной информации вспомогательного устройства.

В операции 1045, портативное электронное устройство выводит UI для функции выполняющегося приложения на своем экране дисплея, и управляет выполнением приложения согласно пользовательскому вводу на вспомогательном устройстве. Согласно варианту осуществления, после приема данных пользовательского ввода, относящихся к настройке кисти, от вспомогательного устройства, портативное электронное устройство изменяет кисть (тип, толщину, цвет и т.д.), отображаемый на своем экране дисплея. В другом варианте осуществления, данные пользовательского ввода, принятые от вспомогательного устройства, включают в себя информацию координат, указывающую позицию, в которой регистрируется пользовательский ввод на всплывающем меню, и портативное электронное устройство идентифицирует, по меньшей мере, один из команды управления, указанной пользовательским вводом, типа кисти, выбранного цвета кисти и выбранной толщины кисти, на основании конфигурации всплывающего меню в операции 1040.

В операции 1050, портативное электронное устройство определяет, заканчивать ли использование вспомогательного UI. Согласно варианту осуществления, портативное электронное устройство обеспечивает пиктограмму, указывающую, что вспомогательный UI используется в области меню выполняющегося приложения или на всплывающем меню, которое отображается на вспомогательном устройстве, и определяет закончить использование вспомогательного UI, пользовательский ввод регистрируется на пиктограмме. В другом варианте осуществления, по окончании приложения, портативное электронное устройство может определять закончить использование вспомогательного UI. Если определено закончить использование вспомогательного UI, портативное электронное устройство предписывает вспомогательному устройству закончить отображение вспомогательного UI. Если вспомогательное устройство не используется в других целях, портативное электронное устройство может освобождать соединение с вспомогательным устройством. Если отображение вспомогательного UI заканчивается без окончания приложения, портативное электронное устройство может отображать всплывающее меню на своем экране дисплея по запросу пользователя.

Если определено, что выполняющееся приложение недоступно в качестве вспомогательного UI в операции 1020 или в отсутствие регистрации пользовательского ввода, указывающего, что пользователь согласен использовать вспомогательный ввод/вывод в операции 1025, портативное электронное устройство извещает вспомогательное устройство о том, что взаимодействие для вспомогательного ввода/вывода отвергается в операции 1055, и продолжает осуществлять функцию приложения на своем экране дисплея в операции 1060.

На Фиг.11 показана блок-схема операций, демонстрирующая вспомогательный UI, обеспечивающий работу с использованием вспомогательного устройства согласно другому варианту осуществления настоящего изобретения.

На Фиг.11 проиллюстрирована операция, соответствующая случаю, когда вспомогательное устройство инициирует использование вспомогательного UI. В операции 1105, вспомогательное устройство распознает соединимое портативное электронное устройство. Согласно варианту осуществления, вспомогательное устройство может определить, что оно может осуществлять связь с портативным электронным устройством, если пароль согласован с портативным терминалом, и осуществлена взаимная аутентификация. Согласно варианту осуществления, если для беспроводного соединения с портативным электронным устройством используется Bluetooth®, вспомогательное устройство сопрягается с портативным электронным устройством за счет использования Bluetooth®. В операции 1110, вспомогательное устройство регистрирует запрос пользователя для взаимодействия с портативным электронным устройством. В данном случае, вспомогательное устройство может регистрировать, что взаимодействие с портативным электронным устройством запрашивается через сенсорный экран или физическое средство ввода. Согласно варианту осуществления, если вспомогательное устройство реализовано с аналоговыми наручными часами, вспомогательное устройство может определить, что взаимодействие с портативным электронным устройством запрашивается, когда головка наручных часов выдвинута. В другом варианте осуществления, вспомогательное устройство обеспечивает программное меню или виртуальную кнопку для взаимодействия с портативным электронным устройством на сенсорном экране, и в случае регистрации пользовательского ввода, например, прикосновения к программному меню или виртуальной кнопке, вспомогательное устройство может определить, что запрашивается взаимодействие с портативным электронным устройством. Программное меню или виртуальная кнопка может предназначаться для запрашивания взаимодействия с портативным электронным устройством или для запрашивания как выполнения приложения, заранее установленного на портативном электронном устройстве, например, приложения редактирования изображений, так и взаимодействия с портативным электронным устройством.

В операции 1115, вспомогательное устройство устанавливает, при необходимости, соединение с портативным электронным устройством и отправляет запрос взаимодействия для использования вспомогательного устройства в качестве вспомогательного UI на портативное электронное устройство. В операции 1120, вспомогательное устройство ожидает разрешения от портативного электронного устройства. После приема разрешения на взаимодействие для вспомогательного ввода/вывода от портативного электронного устройства, вспомогательное устройство передает экранную информацию, указывающую (например, форму дисплея, размер и разрешение вспомогательного устройства) на портативное электронное устройство в операции 1125. Согласно варианту осуществления, если портативное электронное устройство может получать экранную информацию вспомогательного устройства непосредственно от вспомогательного устройства через предыдущее соединение (например, сопряжение Bluetooth®) со вспомогательным устройством или через интернет-сервер, операцию 1125 можно пропустить.

В операции 1130, вспомогательное устройство от портативного электронного устройства принимает информацию конфигурации UI, относящуюся к вспомогательному UI, который конфигурируется на основании экранной информации. В операции 1135, вспомогательное устройство выводит вспомогательный UI на основании информации конфигурации UI на своем экране дисплея. Согласно варианту осуществления, информация конфигурации UI может включать в себя всплывающее меню (например, настройку кисти приложения редактирования изображений, выполняющегося на портативном электронном устройстве), и всплывающее меню имеет размер, форму, и разрешение на основании экранной информации вспомогательного устройства.

В операции 1140, вспомогательное устройство регистрирует пользовательский ввод на всплывающем меню. В случае регистрации тактильного пользовательского ввода, вспомогательное устройство конфигурирует данные пользовательского ввода, указывающие пользовательский ввод, и передает данные пользовательского ввода на портативное электронное устройство в операции 1145. Согласно варианту осуществления, данными пользовательского ввода может быть информация координат, указывающая позицию, в которой регистрируется пользовательский ввод на всплывающем меню. В другом варианте осуществления, данные пользовательского ввода могут включать в себя, по меньшей мере, один из типа кисти, цвета кисти и толщины кисти, выбранной на всплывающем меню.

В операции 1150, вспомогательное устройство определяет, заканчивать ли взаимодействие с портативным электронным устройством. Согласно варианту осуществления, в случае приема от портативного электронного устройства команды, предписывающей заканчивать отображение вспомогательного UI, вспомогательное устройство может заканчивать отображение вспомогательного UI. В другом варианте осуществления, вспомогательное устройство может заканчивать отображение вспомогательного UI и сообщать об окончании взаимодействия портативному электронному устройству, если пользовательский ввод, запрашивающий окончание взаимодействия, регистрируется через всплывающее меню, другое программное меню или регистрируется ввод физической кнопки.

В отсутствие приема извещения, указывающего разрешение взаимодействия для вспомогательного ввода/вывода от портативного электронного устройства в операции 1120, вспомогательное устройство извещает пользователя об отказе от взаимодействия с портативным электронным устройством и продолжает осуществлять функцию (например, функцию часов) вспомогательного устройства в операции 1155.

Далее, со ссылкой на прилагаемые чертежи будет подробно описан пример взаимодействия между портативным электронным устройством и вспомогательным устройством.

На Фиг. 12a и 12b показаны схемы для описания взаимодействия между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения.

Согласно Фиг.12a, вспомогательное устройство 1200 реализован в виде наручных часов, выполненных с возможностью соединения с портативным электронным устройством и включающих в себя головку 1205, способную действовать как физическая кнопка. Как показано, когда головка 1205 выдвинута, наручные часы 1200 определяют, что запрашивается взаимодействие для использования в качестве вспомогательного UI, и передают запрос взаимодействия на сопряженное портативное электронное устройство. Согласно варианту осуществления, наручные часы 1200 отображают пиктограмму для запрашивания взаимодействия для режима вспомогательного UI на экране, реализованном в виде сенсорного экрана, и когда головка 1205 выдвигается после регистрации ввода пиктограммы, наручные часы 1200 могут определять, что запрашивается взаимодействие с портативным электронным устройством.

Согласно Фиг.12b, портативное электронное устройство 1210 реализовано в виде смартфона, включающего в себя приложение комментария, имеющее функцию редактирования изображений. После приема запроса взаимодействия для использования в качестве вспомогательного UI от сопряженных наручных часов 1200 в ходе выполнения приложения комментария, портативное электронное устройство 1210 информирует наручные часы 1200 о разрешении взаимодействия и передает на наручные часы 1200 информацию конфигурации UI, относящуюся к всплывающему меню, которое сконфигурировано пригодным для экрана наручных часов 1200.

Наручные часы 1200 отображают всплывающее меню 1230 на своем экране на основании информации конфигурации UI, обеспеченной от смартфона 1210. Всплывающее меню 1230 может иметь круглую структуру, пригодную для формы экрана наручных часов 1200, и может включать в себя область 1235a выбора типа для выбора типа кисти, область 1235b выбора толщины для выбора толщины кисти, область 1235c выбора цвета для выбора цвета кисти и область 1040 состояния кисти, указывающую выбранную кисть.

Если пользовательский ввод регистрируется в конкретной позиции на всплывающем меню 1230, область 1240 состояния кисти изменяется в соответствии с позицией, в которой регистрируется пользовательский ввод. Например, если пользовательский ввод регистрируется в черной области в области 1235c выбора цвета, цвет области 1240 состояния кисти меняется на черный цвет, и данные 1250 пользовательского ввода, указывающие информацию о позиции, в которой регистрируется пользовательский ввод, передаются на смартфон 1210. Затем смартфон 1210 вычисляет и сохраняет цвет кисти, выбранный согласно данным 1250 пользовательского ввода, и отображает нарисованное изображение 1255 в черном цвете, когда пользовательский ввод перемещается в рабочей области 1260.

На Фиг.13 показана схема обмена сигналами, демонстрирующая операцию изменения настройки кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения.

Согласно Фиг.13, в операции 1300, устанавливается соединение между вспомогательным устройством и портативным электронным устройством, где выполняется приложение редактирования изображений, и всплывающее меню, обеспечиваемое портативным электронным устройством, отображается на дисплее вспомогательного устройства. Установление соединения в операции 1300 можно реализовать, например, посредством операций 605-650 на Фиг.6a, операций 705-725 на Фиг.7, операций 1005-1040 на Фиг.10 и операций 1105-1135 на Фиг.11. Если пользовательский ввод регистрируется в области выбора цвета во всплывающем меню, отображаемом на дисплее в операции 1305, вспомогательное устройство переходит к операции 1310. Пользовательским вводом может быть, например, прикосновение или бесконтактное приближение. В операции 1310, вспомогательное устройство передает данные пользовательского ввода, указывающие запрос изменения цвета кисти, на портативное электронное устройство. Например, данными пользовательского ввода может быть информация координат, указывающая позицию, в которой регистрируется пользовательский ввод в области выбора цвета. В другом варианте осуществления, данные пользовательского ввода могут указывать цвет, выбранный в области выбора цвета.

В операции 1315, приложение редактирования изображений портативного электронного устройства идентифицирует выбранный цвет на всплывающем меню в ответ на данные пользовательского ввода, сохраняет измененный цвет кисти согласно идентифицированному цвету, и отображает нарисованное изображение с измененным цветом кисти при перемещении пользовательского ввода, регистрируемого на дисплее портативного электронного устройства.

Если пользовательский ввод регистрируется в области выбора типа во всплывающем меню в операции 1320, вспомогательное устройство переходит к операции 1325. Пользовательским вводом может быть прикосновение или бесконтактное приближение. В операции 1325, вспомогательное устройство передает данные пользовательского ввода, указывающие запрос изменения типа кисти, на портативное электронное устройство в ответ на регистрацию пользовательского ввода. Как описано выше, данные пользовательского ввода могут представлять собой информацию координат или значение, указывающее выбранный тип кисти.

В операции 1330, приложение редактирования изображений портативного электронного устройства идентифицирует тип кисти, выбранный на всплывающем меню, в ответ на данные пользовательского ввода, сохраняет идентифицированный тип кисти, и отображает нарисованное изображение с измененным типом кисти при перемещении пользовательского ввода, регистрируемого на дисплее портативного электронного устройства.

В случае регистрации пользовательского ввода в области выбора толщины во всплывающем меню в операции 1335, вспомогательное устройство переходит к операции 1340. Пользовательским вводом может быть, например, прикосновение или бесконтактное приближение. В операции 1340, вспомогательное устройство передает данные пользовательского ввода, запрашивающего изменение толщины кисти, на портативное электронное устройство в ответ на регистрацию пользовательского ввода. Как упомянуто выше, данные пользовательского ввода могут представлять собой информацию координат или значение, указывающее выбранную толщину кисти.

В операции 1345, приложение редактирования изображений портативного электронного устройства идентифицирует выбранную толщину кисти на всплывающем меню в ответ на данные пользовательского ввода, сохраняет идентифицированную толщину кисти и отображает нарисованное изображение с измененной толщиной кисти при перемещении пользовательского ввода, регистрируемого на дисплее портативного электронного устройства.

Фиг. 14a и 14b демонстрируют пример изменения кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения.

Согласно Фиг.14a, наручные часы 1400 отображают всплывающее меню 1410 взаимодействующее с приложением редактирования изображений, регистрируют пользовательский ввод в области конкретного цвета, например, розовой области 1415 на всплывающем меню 1410, и изменяют цвет области состояния кисти 1420 на розовый в ответ на пользовательский ввод. Наручные часы 1400 передают данные пользовательского ввода, указывающие пользовательский ввод, на смартфон, где выполняется приложение редактирования изображений.

Согласно Фиг.14b, смартфон 1440 отображает рабочую область 1425, обеспеченную приложением редактирования изображений, и изображение 1430, нарисованное ранее введенным черным цветом, отображается в рабочей области 1425. Смартфон 1440 принимает данные пользовательского ввода, запрашивающего изменение на розовый, от наручных часов 1400. Данные пользовательского ввода могут включать в себя информацию координат, указывающую позицию, в которой регистрируется пользовательский ввод на наручных часах 1400. В другом варианте осуществления, данные пользовательского ввода могут включать в себя значение красного, зеленого и синего (RGB), указывающее выбранный цвет. Смартфон 1440 сохраняет измененный цвет, который является розовым, в ответ на прием данных пользовательского ввода. В случае регистрации пользовательского ввода и его перемещения в рабочей области 1425, смартфон 1440 отображает нарисованное изображение 1435 в розовом цвете, при перемещении пользовательского ввода.

Согласно варианту осуществления, смартфон 1440 отображает пиктограмму состояния кисти, указывающую, по меньшей мере, один из выбранного цвета, типа кисти и толщины кисти внутри или вне рабочей области 1425, позволяя пользователю быстро распознавать выбранную кисть на смартфоне 1440.

Фиг.15a и 15b демонстрируют пример изменения типа кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения.

Согласно Фиг.15a, наручные часы 1500 отображают всплывающее меню 1510, взаимодействующее с приложением редактирования изображений, регистрируют пользовательский ввод в области конкретного типа кисти, например, в области 1515 малярной кисти на всплывающем меню 1510, и отображает пиктограмму в форме малярной кисти в области 1520 состояния кисти. Наручные часы 1500 передают данные пользовательского ввода, указывающие пользовательский ввод, на смартфон, где выполняется приложение редактирования изображений.

Согласно Фиг.15b, смартфон 1540 отображает рабочую область 1525, обеспеченную приложением редактирования изображений, и изображение 1530, нарисованное кистью ранее введенного типа, отображается в рабочей области 1525. Смартфон 1540 принимает данные пользовательского ввода, запрашивающего изменение на малярную кисть, от наручных часов 1500. Данные пользовательского ввода могут включать в себя информацию координат, указывающую позицию, в которой регистрируется пользовательский ввод на наручных часах 1500. В другом варианте осуществления, данные пользовательского ввода могут включать в себя указатель выбранной малярной кисти. Смартфон 1540 сохраняет измененный тип кисти в ответ на прием данных пользовательского ввода. После регистрации пользовательского ввода, перемещающегося в рабочей области 1525, смартфон 1540 отображает изображение 1535, нарисованное кистью выбранного малярного типа.

Фиг.16a и 16b демонстрируют пример изменения толщины кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения.

Согласно Фиг.16a, наручные часы 1600 отображают всплывающее меню 1610, взаимодействующее с приложением редактирования изображений, регистрируют пользовательский ввод в области конкретной толщины кисти, например, в области 1620 толщины в 3 пункта на всплывающем меню 1610, и отображает пиктограмму, указывающую толщину в 3 пункта в области 1615 состояния кисти, в ответ на пользовательский ввод. Наручные часы 1600 передают данные пользовательского ввода, указывающие пользовательский ввод, на смартфон, где выполняется приложение редактирования изображений.

Согласно Фиг.16b, смартфон 1640 отображает рабочую область 1625, обеспеченную приложением редактирования изображений, и изображение 1630, нарисованное кистью ранее введенного типа, отображается в рабочей области 1625. Смартфон 1640 принимает данные пользовательского ввода, запрашивающего изменение на толщину в 3 пункта, от наручных часов 1600. Данные пользовательского ввода могут включать в себя информацию координат, указывающую позицию, в которой регистрируется пользовательский ввод на наручных часах 1600. В другом варианте осуществления, данные пользовательского ввода могут включать в себя указатель толщины в 3 пункта. Смартфон 1640 сохраняет измененную толщину кисти в ответ на прием данных пользовательского ввода. После регистрации пользовательского ввода, перемещающегося в рабочей области 1625, смартфон 1640 отображает изображение 1635, нарисованное кистью толщиной в 3 пункта.

Фиг.17a и 17b демонстрируют примеры соединения между приложением редактирования изображений и наручными часами согласно варианту осуществления настоящего изобретения.

Согласно Фиг.17a, смартфон 1710 отображает рабочую область 1715, обеспеченную приложением редактирования изображений, и всплывающее меню 1705, генерируемое приложением редактирования изображений, конфигурируется в круглой форме и отображается на наручных часах 1700. Согласно варианту осуществления, смартфон 1710 может отображать в конкретной позиции, по меньшей мере, одну пиктограмму 1715a, указывающую, что всплывающее меню 1705 отображается на наручных часах 1700 и/или указывающую текущее состояние кисти, выбранной на всплывающем меню 1705.

Согласно Фиг.17b, смартфон 1730 отображает рабочую область 1735, обеспеченную приложением редактирования изображений, и всплывающее меню 1725, генерируемое приложением редактирования изображений, переконфигурируется в прямоугольную форму и отображается на наручных часах 1720. Согласно варианту осуществления, смартфон 1730 может отображать, в конкретной позиции, по меньшей мере, одну пиктограмму 1735a, указывающую, что всплывающее меню 1725 отображается на наручных часах 1720 и/или указывающую текущее состояние кисти, выбранной на всплывающем меню 1725.

Согласно варианту осуществления, приложение редактирования изображений может обеспечивать пиктограмму, указывающую, что всплывающее меню отображается через вспомогательное устройство в области меню, и пиктограмма может быть сконфигурирована как малое изображение, указывающее выбранные тип, толщину и цвет кисти. Если пользовательский ввод регистрируется на пиктограмме, приложение редактирования изображений определяет закончить режим вспомогательного UI и запрашивает вспомогательное устройство остановить отображение всплывающего меню.

Фиг.18 демонстрирует экран приложения просмотра фотографий согласно уровню техники.

Согласно Фиг.18, портативное электронное устройство 1800 является таким устройством, как смартфон, где выполняется приложение просмотра фотографий, и отображает выбранную фотографию. Несколько секунд спустя после первого отображения фотографии или в случае ввода запроса пользователя, портативное электронное устройство 1800 отображает подробную информацию 1810 о фотографии на фотографии в режиме всплывания. Подробная информация 1810 может включать в себя, по меньшей мере, одно из имени файла фотографии, места и даты фотографирования, и формата фотографии и комментарий к ней. Подробная информация 1810 отображается таким образом, что она заслоняет фотографию.

Электронное устройство 1800 фотографий устанавливает соединение для использования вспомогательного устройства (не показано) в качестве вспомогательного UI со вспомогательным устройством, и предписывает отображать подробную информацию 1810 на вспомогательном устройстве.

На Фиг.19 показана блок-схема операций, демонстрирующая работу портативного электронного устройства для обеспечения вспомогательного UI приложения просмотра фотографий посредством вспомогательного устройства согласно варианту осуществления настоящего изобретения.

Согласно Фиг.19, в операции 1905, портативное электронное устройство устанавливает соединение для использования вспомогательного устройства в качестве вспомогательного UI приложения просмотра фотографий со вспомогательным устройством и активирует режим вспомогательного UI. Соединение может инициироваться портативным электронным устройством или вспомогательным устройством, и, при необходимости, портативное электронное устройство запрашивает у пользователя разрешение использовать вспомогательное устройство в качестве вспомогательного UI.

В операции 1910, портативное электронное устройство отображает выбранную пользователем фотографию на дисплее посредством приложения просмотра фотографий. В операции 1915, портативное электронное устройство определяет, сохранена ли подробная информация об отображаемой фотографии. Если подробной информации, подлежащей отображению, не существует, портативное электронное устройство информирует пользователя об отсутствии подробной информации в операции 1935. Например, поверх фотографии отображается фраза "Нет информации", или она может отображаться вне фотографии. В другом варианте осуществления, в операции 1935, портативное электронное устройство может отображать только фотографию без дополнительной операции.

С другой стороны, если подробная информация, подлежащая отображению, существует, портативное электронное устройство передает информацию конфигурации UI, указывающую подробную информацию, на вспомогательное устройство, чтобы вспомогательное устройство могло отображать подробную информацию на дисплее вспомогательного устройства в операции 1920. В операции 1925, портативное электронное устройство определяет, существует ли запрос изменения фотографии для изменения фотографии, подлежащей отображению. Например, в случае регистрации команды перемещения (например, скольжения, легкого маха и т.п.) на отображаемой в данный момент фотографии или пользовательского ввода, например, прикосновения к программируемой клавише перемещения, обеспеченной на экране, портативное электронное устройство определяет, что отображение предыдущей или следующей фотографии запрашивается и возвращается к операции 1910.

С другой стороны, если запроса изменения фотографии не существует, портативное электронное устройство определяет, запрашивается ли окончание режима вспомогательного UI, в операции 1930. Согласно варианту осуществления, портативное электронное устройство обеспечивает пиктограмму, указывающую, что вспомогательный UI используется в области меню приложения просмотра фотографий, или через вспомогательное устройство и определяет закончить режим вспомогательного UI в случае регистрации пользовательского ввода на пиктограмме. В другом варианте осуществления, портативное электронное устройство может определять закончить режим вспомогательного UI, если приложение просмотра фотографий заканчивается. Если определено закончить режим вспомогательного UI, портативное электронное устройство предписывает вспомогательному устройству закончить отображение вспомогательного UI. В этом состоянии, если вспомогательное устройство не используется в других целях, портативное электронное устройство может освобождать соединение с вспомогательным устройством. Если отображение вспомогательного UI заканчивается без окончания приложения просмотра фотографий, портативное электронное устройство может отображать подробная информация фотографии на своем экране дисплея по запросу пользователя.

На Фиг.20 показана блок-схема операций, демонстрирующая работу вспомогательного устройства для обеспечения вспомогательного UI приложения просмотра фотографий согласно варианту осуществления настоящего изобретения.

Согласно Фиг.20, в операции 2005, вспомогательное устройство устанавливает соединение с портативным электронным устройством для работы в качестве вспомогательного UI портативного электронного устройства. Соединение может инициироваться портативным электронным устройством или вспомогательным устройством. В операции 2010, вспомогательное устройство определяет, принимается ли подробная информация от портативного электронного устройства. Например, подробная информация может быть подробной информацией о фотографии, обеспеченной приложением просмотра фотографий, выполняющимся в портативном электронном устройстве. Если принятая подробная информация существует, вспомогательное устройство отображает подробную информацию на своем экране дисплея в операции 2015. В операции 2020, вспомогательное устройство определяет, заканчивать ли взаимодействие с портативным электронным устройством. Согласно варианту осуществления, приняв от портативного электронного устройства команду, предписывающую заканчивать отображение вспомогательного UI, вспомогательное устройство заканчивает взаимодействие с портативным электронным устройством и отображение вспомогательного UI. В другом варианте осуществления, вспомогательное устройство отображает пиктограмму, указывающую, что вспомогательный UI обеспечивается на его экране дисплея, заканчивает отображение вспомогательного UI в случае регистрации пользовательского ввода, например, прикосновения на пиктограмме или ввода физической кнопки для запрашивания окончания взаимодействия, и сообщает об окончании взаимодействия портативному электронному устройству.

На Фиг.21a, 21b, 21c и 21d показаны схемы для описания операции обеспечения вспомогательного UI приложения просмотра фотографий согласно варианту осуществления настоящего изобретения.

Согласно Фиг.21a, портативное электронное устройство 2100 реализовано в виде смартфона, где выполняется приложение просмотра фотографий, и отображает фотографию 2105 посредством приложения просмотра фотографий.

Согласно Фиг.21b, портативное электронное устройство 2100 определяет, существует ли подробная информация 2115, относящаяся к фотографии 2105, и если подробная информация 2115 существует, и существует вспомогательное устройство 2110 подлежащее использованию в качестве вспомогательного UI, то портативное электронное устройство 2100 передает подробную информацию 2115 на вспомогательное устройство 2110.

Согласно Фиг.21c, вспомогательное устройство 2110 можно реализовать в виде наручных часов, выполненных с возможностью соединения с портативным электронным устройством 2100, и оно отображает подробную информацию 2115, принятую от портативного электронного устройства 2100. Согласно варианту осуществления, подробная информация 2115 может отображаться на первоначальном экране (например, экране часов), соответствующем первичной функции вспомогательного устройства 2110. В другом варианте осуществления, подробная информация 2115 может отображаться вместо первоначального экрана вспомогательного устройства 2110. В другом варианте осуществления, когда подробная информация 2115 принимается, первоначальный экран вспомогательного устройства 2110 может уменьшаться (или трансформироваться), и подробная информация может отображаться в другой области, а не в уменьшенной области первоначального экрана.

Согласно Фиг.21d, если на портативном электронном устройстве 2100 отображается другая фотография 2120, вспомогательное устройство 2110 отображает подробную информацию 2125 фотографии 2120 таким же образом, как описано выше.

Фиг.22 демонстрирует экран игрового приложения согласно уровню техники.

Согласно Фиг.22, портативное электронное устройство 2200 является таким устройством, как смартфон, где выполняется игровое приложение, и отображает экран 2210 выполнения игрового приложения. Игровое приложение конкретного типа отображает различные объекты на экране выполнения и, в случае выбора конкретного объекта 2215 (например, прикосновением), подробная информация об объекте 2215 отображается во всплывающем меню 2220 для настройки объекта 2215. В частности, для игры, проходимой в реальном времени, размер и позицию всплывающего меню 2220 нужно тщательно выбирать, чтобы не прерывать прохождение игры вследствие отображения всплывающего меню 2220.

Портативное электронное устройство 2200 устанавливает соединение со вспомогательным устройством (не показано) для использования вспомогательного устройства в качестве вспомогательного UI и предписывает вспомогательному устройству отображать всплывающее меню 2220.

На Фиг.23 показана блок-схема операций, демонстрирующая работу портативного электронного устройства для обеспечения вспомогательного UI игрового приложения посредством вспомогательного устройства согласно варианту осуществления настоящего изобретения.

Согласно Фиг.23, в операции 2305, портативное электронное устройство устанавливает соединение с вспомогательным устройством для использования вспомогательного устройства в качестве вспомогательного UI игрового приложения. Соединение может инициироваться портативным электронным устройством или вспомогательным устройством и, при необходимости, портативное электронное устройство может запрашивать у пользователя разрешение использовать вспомогательное устройство в качестве вспомогательного UI.

В операции 2310, портативное электронное устройство отображает экран выполнения игрового приложения, и экран выполнения может включать в себя один или более объектов, необходимых для прохождения игры. В операции 2315, портативное электронное устройство определяет, выбран ли конкретный объект на экране выполнения. Например, в случае регистрации тактильного пользовательского ввода на объекте, портативное электронное устройство может определить, что объект выбран. Если объект выбран, портативное электронное устройство определяет, существует ли всплывающее меню для выбранного объекта, в операции 2320. Согласно варианту осуществления, всплывающее меню может включать в себя подробную информацию о выбранном объекте и/или, по меньшей мере, одну программируемую клавишу для информации настроек выбранного объекта. В другом варианте осуществления, всплывающее меню может включать в себя, по меньшей мере, одно из наименования и подробной информации выбранного объекта.

Если всплывающее меню, подлежащее отображению, существует, портативное электронное устройство передает информацию конфигурации вспомогательного UI, указывающую всплывающее меню, на вспомогательное устройство, чтобы вспомогательное устройство отображало всплывающее меню на дисплее вспомогательного устройства в операции 2325. Хотя это не показано на фигуре, при необходимости, всплывающее меню может быть сконфигурировано согласно физической форме и разрешению вспомогательного устройства, и для этого, портативное электронное устройство может получать экранную информацию, указывающую физическую форму и разрешение вспомогательного устройства, от вспомогательного устройства и/или интернет-сервера.

В операции 2330, портативное электронное устройство определяет, запрашивается ли окончание режима вспомогательного UI. Согласно варианту осуществления, портативное электронное устройство обеспечивает пиктограмму, указывающую, что вспомогательный UI используется в конкретной области экрана выполнения игрового приложения или через вспомогательное устройство, и в случае регистрации пользовательского ввода на пиктограмме, портативное электронное устройство определяет закончить режим вспомогательного UI. В другом варианте осуществления, портативное электронное устройство может определять закончить режим вспомогательного UI, если заканчивается игровое приложение. Если определено закончить режим вспомогательного UI, портативное электронное устройство предписывает вспомогательному устройству закончить отображение вспомогательного UI. В этом состоянии, если вспомогательное устройство не используется в других целях, портативное электронное устройство может освобождать соединение с вспомогательным устройством. Если отображение вспомогательного UI заканчивается без окончания игрового приложения, портативное электронное устройство может отображать всплывающее меню на своем экране дисплея по запросу пользователя.

На Фиг.24 показана блок-схема операций, демонстрирующая работу вспомогательного устройства для обеспечения вспомогательного UI игрового приложения согласно варианту осуществления настоящего изобретения.

Согласно Фиг.24, в операции 2405, вспомогательное устройство устанавливает соединение с портативным электронным устройством для работы в качестве вспомогательного UI портативного электронного устройства. Соединение может инициироваться портативным электронным устройством или вспомогательным устройством. В операции 2410, вспомогательное устройство определяет, принимается ли от портативного электронного устройства информация конфигурации вспомогательного UI, указывающая вспомогательный UI. Например, информация конфигурации вспомогательного UI может представлять собой всплывающее меню, включающее в себя подробную информацию о конкретном объекте в игровом приложении и/или, по меньшей мере, одну программируемую клавишу для информации настроек. Хотя это не показано на фигуре, при необходимости, всплывающее меню может быть сконфигурировано согласно физической форме и разрешению вспомогательного устройства, и для этого, вспомогательное устройство может переносить экранную информацию, указывающую физическую форма и разрешение вспомогательного устройства, на портативное электронное устройство.

Если принятая информация конфигурации вспомогательного UI существует, вспомогательное устройство отображает всплывающее меню на своем экране дисплея в операции 2415. В операции 2420, вспомогательное устройство определяет, заканчивать ли взаимодействие с портативным электронным устройством. Согласно варианту осуществления, в случае приема команды, предписывающей заканчивать отображение вспомогательного UI от портативного электронного устройства, вспомогательное устройство заканчивает отображение вспомогательного UI. В другом варианте осуществления, вспомогательное устройство отображает пиктограмму, указывающую, что вспомогательный UI обеспечивается на его экране дисплея, заканчивает отображение вспомогательного UI и сообщает об окончании портативному электронному устройству в случае регистрации пользовательского ввода на пиктограмме или ввода физической кнопки для запрашивания окончания взаимодействия.

На Фиг. 25a, 25b и 25c показаны схемы для описания операции обеспечения вспомогательного UI игрового приложения согласно варианту осуществления настоящего изобретения.

Согласно Фиг.25a, портативное электронное устройство 2500 реализовано в виде смартфона, где выполняется игровое приложение, и отображает экран 2510 выполнения игрового приложения. Экран 2510 выполнения может включать в себя один или более объектов 2515, необходимых для прохождения игры.

Согласно Фиг.25b, портативное электронное устройство 2500 регистрирует запрашивание отображения всплывающего меню для объекта, включенного в экран 2510 выполнения. Например, в случае регистрации пользовательского ввода на объекте, отображаемом на экране 2510 выполнения, или определения, что игровое приложение обеспечивает дополнительную информацию о конкретном объекте, портативное электронное устройство 2500 может определить, что запрашивается отображение всплывающего меню. Если запрашивается отображение всплывающего меню, и существует вспомогательное устройство 2510, подлежащее использованию в качестве вспомогательного UI, информация 2520 конфигурации вспомогательного UI, указывающая всплывающее меню, передается на вспомогательное устройство 2510.

Согласно Фиг.25c, вспомогательное устройство 2525 можно реализовать в виде наручных часов, выполненных с возможностью соединения с портативным электронным устройством 2500, и отображает всплывающее меню 2530, соответствующее информации 2520 конфигурации вспомогательного UI, принятой от портативного электронного устройства 2500, на своем экране дисплея. Согласно варианту осуществления, всплывающее меню 2530 может отображаться на первоначальном экране (например, экране часов), соответствующем функции вспомогательного устройства 2525. В другом варианте осуществления, всплывающее меню 2530 может отображаться вместо первоначального экрана вспомогательного устройства 2525. В другом варианте осуществления, в случае приема информации 2520 конфигурации вспомогательного UI, первоначальный экран вспомогательного устройства 2525 отображается уменьшенным (или трансформированным), и всплывающее меню 2530 может отображаться в другой области, а не в уменьшенной области первоначального экрана.

Другие результаты, которые можно получить или ожидать из варианта осуществления настоящего изобретения, явно или неявно раскрыты в подробном описании варианта осуществления настоящего изобретения. Таким образом, различные результаты, ожидаемые из варианта осуществления настоящего изобретения, раскрыты в подробном описании настоящего изобретения.

Хотя настоящее изобретение показано и описано со ссылкой на различные варианты его осуществления, специалистам в данной области техники понятно, что оно допускает различные изменения, касающиеся формы и деталей, но не выходящие за рамки сущности и объема настоящего изобретения, заданные нижеследующей формулой изобретения и ее эквивалентами.

1. Способ отображения на портативном электронном устройстве, содержащий этапы, на которых:

регистрируют, посредством портативного электронного устройства, ввод, соответствующий отображению всплывающего меню, которое обеспечивается приложением, на вспомогательном устройстве, которое соединено с портативным электронным устройством;

принимают из вспомогательного устройства информацию, относящуюся к дисплею вспомогательного устройства, причем информация содержит по меньшей мере одно из формы дисплея, размера дисплея и разрешения дисплея вспомогательного устройства;

переконфигурируют, посредством портативного электронного устройства, информацию конфигурации, соответствующую всплывающему меню, на основе принятой информации, относящейся к дисплею вспомогательного устройства;

передают, посредством портативного электронного устройства, информацию конфигурации, соответствующую всплывающему меню, на вспомогательное устройство;

принимают, от вспомогательного устройства, данные пользовательского ввода, соответствующие пользовательскому вводу, зарегистрированному на всплывающем меню, которое отображается на вспомогательном устройстве; и

управляют выполнением приложения в ответ на принятые данные пользовательского ввода.

2. Способ отображения по п. 1, в котором всплывающее меню содержит по меньшей мере одно из меню настройки кисти, генерируемого приложением редактирования изображений, которое выполняется на портативном электронном устройстве, подробной информации, относящейся к фотографии, которая отображается приложением просмотра фотографий на портативном электронном устройстве, и подробной информации о конкретном объекте и по меньшей мере одном элементе меню для информации настроек, обеспечиваемой игровым приложением, которое выполняется на портативном электронном устройстве.

3. Способ отображения по п. 1, дополнительно содержащий этап, на котором получают экранную информацию, соответствующую форме дисплея, размеру дисплея и разрешению дисплея вспомогательного устройства, от вспомогательного устройства.

4. Способ отображения по п. 1, в котором данные пользовательского ввода содержат информацию координат, указывающую позицию, где зарегистрирован пользовательский ввод на всплывающем меню, или указывает команду, соответствующую пользовательскому вводу.

5. Способ отображения по п. 1, дополнительно содержащий этапы, на которых:

принимают запрос взаимодействия для использования вспомогательного устройства в качестве вспомогательного пользовательского интерфейса от вспомогательного устройства и

извещают вспомогательное устройство о разрешении взаимодействия.

6. Способ отображения по п. 1, дополнительно содержащий этапы, на которых:

если приложение поддерживает режим вспомогательного пользовательского интерфейса, определяют, доступно ли вспомогательное устройство в качестве вспомогательного пользовательского интерфейса; и

отправляют запрос взаимодействия на вспомогательное устройство.

7. Способ соединения вспомогательного устройства с портативным электронным устройством, причем способ содержит этапы, на которых:

передают, посредством вспомогательного устройства, информацию, относящуюся к дисплею вспомогательного устройства, портативному электронному устройству, которое соединено с вспомогательным устройством, причем информация содержит по меньшей мере одно из формы дисплея, размера дисплея и разрешения дисплея вспомогательного устройства;

принимают, посредством вспомогательного устройства, информацию конфигурации, соответствующую всплывающему меню, обеспеченному приложением портативного электронного устройства, от портативного электронного устройства, причем информация конфигурации выполнена на основе переданной информации посредством портативного электронного устройства;

в ответ на прием информации конфигурации отображают всплывающее меню на экране дисплея вспомогательного устройства;

регистрируют пользовательский ввод на всплывающем меню, отображаемом на вспомогательном устройстве; и

передают данные пользовательского ввода, соответствующие зарегистрированному пользовательскому вводу, на портативное электронное устройство.

8. Способ по п. 7, в котором всплывающее меню содержит по меньшей мере одно из меню настройки кисти, генерируемого приложением редактирования изображений, которое выполняется на портативном электронном устройстве, подробной информации, относящейся к фотографии, которая отображается приложением просмотра фотографий на портативном электронном устройстве, и подробной информации о конкретном объекте и по меньшей мере одном элементе меню для информации настроек, обеспечиваемой игровым приложением, которое выполняется на портативном электронном устройстве.

9. Способ по п. 7, в котором данные пользовательского ввода содержат информацию координат, указывающую позицию, где зарегистрирован пользовательский ввод на всплывающем меню, или указывает команду, соответствующую пользовательскому вводу.

10. Способ по п. 7, дополнительно содержащий этапы, на которых:

отправляют запрос взаимодействия для предпочтительного использования вспомогательного устройства в качестве вспомогательного пользовательского интерфейса портативного электронного устройства во вспомогательном устройстве, на портативное электронное устройство; и

принимают разрешение взаимодействия от портативного электронного устройства.

11. Способ по п. 7, дополнительно содержащий этап, на котором принимают запрос взаимодействия для использования вспомогательного устройства в качестве вспомогательного пользовательского интерфейса портативного электронного устройства от портативного электронного устройства.

12. Портативное электронное устройство для отображения всплывающего меню посредством вспомогательного устройства, причем портативное электронное устройство выполнено с возможностью осуществления способа по одному из пп. 1-6.

13. Вспомогательное устройство для отображения всплывающего меню, которое предоставлено портативным электронном устройством, причем вспомогательное устройство выполнено с возможностью осуществления способа по одному из пп. 7-11.