Способ голосового управления и электронное устройство

Изобретение относится к области вычислительной техники. Технический результат заключается в повышении эффективности речевого управления речевого приложения в электронном устройстве. Технический результат достигается за счет сбора, посредством электронного устройства, первого сигнала речевого управления, введенного пользователем; отображения, посредством электронного устройства, второго интерфейса первого приложения в ответ на первый сигнал речевого управления; отображения, посредством электронного устройства, третьего интерфейса второго приложения; отображения, посредством электронного устройства, L подсказок речевого ввода на третьем интерфейсе, причем третий интерфейс содержит элемент управления для обновления третьего интерфейса, каждая подсказка речевого ввода из L подсказок речевого ввода соответствует одному элементу управления на третьем интерфейсе, L представляет собой целое число больше 0, и L подсказок речевого ввода отличаются от M подсказок речевого ввода; сбора, посредством электронного устройства, второго сигнала речевого управления, введенного пользователем; отображения, посредством электронного устройства, четвертого интерфейса второго приложения в ответ на второй сигнал речевого управления, причем четвертый интерфейс является интерфейсом, полученным посредством обновления после инициирования второго элемента управления на третьем интерфейсе. 2 н. и 17 з.п. ф-лы, 16 ил.

 

Область техники

[0001] Эта заявка относится к области коммуникационных технологий и, в частности, к способу речевого управления и электронному устройству.

Уровень техники

[0002] Технология распознавания речи - это технология, которая позволяет машине (например, мобильному телефону или носимому устройству) преобразовывать звуковой сигнал в соответствующий текст или команду посредством распознавания и понимания. В настоящее время на многих мобильных телефонах установлено речевое приложение, используемое для распознавания речи, например, речевой помощник (например, Xiaoai, Siri и Xiao E). Обычно мобильный телефон может предварительно установить один или несколько сигналов пробуждения (например, сигнал постукивания или слово пробуждения, такое как «Привет, Xiao E»). Когда обнаруживается, что пользователь вводит эти сигналы пробуждения, это указывает на то, что пользователь намеревается использовать функцию распознавания речи в это время. Следовательно, мобильный телефон может быть инициирован для запуска речевого приложения для выполнения распознавания речи, а затем для выполнения соответствующей речевой задачи.

[0003] Обычно перед доставкой конкретная речевая задача, которая может быть распознана и выполнена мобильным телефоном, предварительно сконфигурирована в мобильном телефоне, например, речевая задача для запроса погоды и речевая задача для вызова контакта. Как показано на фиг. 1, пользователь может просматривать в интерфейсе 101 настроек речевого приложения все речевые задачи, специально поддерживаемые каждым приложением. Однако, поскольку речевые задачи бывают разных типов, в конкретном процессе использования приложения пользователь может забыть, поддерживает ли приложение функцию распознавания речи, или забыть конкретную задачу в приложении, которой можно управлять с помощью речи. Следовательно, использование речевого приложения в мобильном телефоне невелико, функция распознавания речи речевого приложения не может быть полностью использована на мобильном телефоне, и речевое приложение не может помочь пользователю освободить руки.

Сущность изобретения

[0004] Варианты осуществления этой заявки предоставляют способ речевого управления и электронное устройство, так что пользователю может быть предложено выполнить в процессе выполнения приложения речевую задачу, относящуюся к приложению. Это повышает эффективность речевого управления речевого приложения в электронном устройстве и повышает удобство работы пользователей.

[0005] Для решения вышеуказанных задач в данной заявке используются следующие технические решения.

[0006] Согласно первому аспекту вариант осуществления этой заявки обеспечивает способ речевого управления, включающий в себя: отображение с помощью электронного устройства первого интерфейса приложения, причем первый интерфейс включает в себя элемент управления, используемый для обновления первого интерфейса; если принят сигнал пробуждения, введенный пользователем, задействование электронном устройством речевого приложения в фоновом режиме; кроме того, отображение электронным устройством на первом интерфейсе M (где M - целое число больше 0) подсказок речевого ввода, предоставляемых речевым приложением, где каждая подсказка речевого ввода соответствует по меньшей мере одному элементу управления на первом интерфейсе; впоследствии сбор электронным устройством, с использованием задействованного речевого приложения (например, речевого помощника, такого как Siri или Xiao E), сигнала речевого управления, введенного пользователем; и если сигнал речевого управления соответствует первой подсказке речевого ввода в M подсказок речевого ввода, отображение с помощью электронного устройства второго интерфейса приложения в ответ на сигнал речевого управления, причем второй интерфейс является интерфейсом, полученным посредством обновления после того, как первый элемент управления (причем первый элемент управления соответствует первой подсказке речевого ввода) инициирован на первом интерфейсе.

[0007] Другими словами, когда электронное устройство отображает интерфейс приложения, если обнаружено, что пользователь пробуждает речевое приложение, электронное устройство может подсказывать, используя речевое приложение, пользователю ввести подсказку речевого ввода в текущем интерфейсе. Подсказка речевого ввода ассоциирована с одним или несколькими элементами управления в интерфейсе. Таким образом, как только обнаружено, что пользователь вводит сигнал речевого управления, соответствующий подсказке речевого ввода, электронное устройство может инициировать соответствующее управление на основе сигнала речевого управления, так что электронное устройство обновляет интерфейс, который отображается. Таким образом, в процессе использования приложения пользователь может ввести в электронное устройство на основе подсказки речевого ввода сигнал речевого управления, который может быть выполнен в текущем интерфейсе. Это повышает эффективность речевого управления в речевом приложении на электронном устройстве и улучшает взаимодействие с пользователем.

[0008] В возможном способе исполнения после задействования электронным устройством речевого приложения на заднем плане, способ дополнительно включает в себя: если операция управления касанием, выполняемая пользователем на элементе управления на первом интерфейсе, обнаружена, выполнение электронным устройством операционной инструкции, соответствующей операции управления касанием. Другими словами, после того, как электронное устройство задействует речевое приложение на заднем плане, поскольку речевое приложение, работающее в фоновом режиме, не влияет на взаимодействие между пользователем и приложением переднего плана, пользователь по-прежнему может оперировать элементом управления на первом интерфейсе на отображаемом первом интерфейс.

[0009] В возможном способе исполнения, после задействования электронным устройством речевого приложения в фоновом режиме, способ дополнительно включает в себя: отображение электронным устройством идентификатора речевого приложения на первом интерфейсе, чтобы подсказывать пользователю, что речевое приложение задействовано или было задействовано в фоновом режиме. Идентификатор речевого приложения может отображаться на первом интерфейсе в виде плавающей кнопки, и пользователь может регулировать местоположение идентификатора на первом интерфейсе.

[0010] В возможном способе исполнения после отображения электронным устройством первого интерфейса приложения, способ дополнительно включает в себя: отображение электронным устройством кнопки подсказки на первом интерфейсе; и если электронное устройство принимает операцию щелчка для щелчка по кнопке подсказки пользователем, отображение электронным устройством, М подсказок речевого ввода на первом интерфейсе в ответ на операцию щелчка.

[0011] В возможном способе исполнения после отображения электронным устройством первого интерфейса приложения, способ дополнительно включает в себя: получение электронным устройством файла конфигурации, связанного с первым интерфейсом, где файл конфигурации записывает N (где N - целое число, большее или равное M) речевых задач, которые могут выполняться электронным устройством на первом интерфейсе; и в этом случае отображение электронным устройством на первом интерфейсе M подсказок речевого ввода включает в себя: отображение электронным устройством M подсказок речевого ввода на первом интерфейсе на основе файла конфигурации, причем каждая подсказка речевого ввода связана с одной речевой задачей в файле конфигурации. Например, подсказка речевого ввода «воспроизведение» связана с задачей воспроизведения в файле конфигурации.

[0012] Например, M подсказок речевого ввода могут быть во взаимно однозначном соответствии с M речевыми задачами, каждая из частоты использования которых превышает пороговое значение в N речевых задачах.

[0013] В возможном способе исполнения файл конфигурации дополнительно включает в себя соответствие между первой речевой задачей и первым событием касания первого элемента управления, причем первая речевая задача является одной из N речевых задач; после сбора электронным устройством сигнала речевого управления, введенного пользователем, способ дополнительно включает в себя: определение электронным устройством, что речевая задача, соответствующая сигналу речевого управления, является первой речевой задачей; и отображение с помощью электронного устройства второго интерфейса приложения в ответ на сигнал речевого управления включает в себя: выполнение электронным устройством первого события касания на первом элементе управления в ответ на сигнал речевого управления, так что электронное устройство обновляет первый интерфейс до второго интерфейса.

[0014] Другими словами, электронное устройство может преобразовывать на основе файла конфигурации первого интерфейса сигнал речевого управления, введенный пользователем, в соответствующее событие касания, а затем выполнять событие касания. Это реализует функцию управления каждой кнопкой операции на первом интерфейсе с помощью речи. Таким образом, электронное устройство может реализовать на каждом интерфейсе приложения функцию речевого управления для каждой кнопки управления на интерфейсе. Это повышает эффективность речевого управления на мобильном телефоне и повышает удобство использования.

[0015] В возможном способе исполнения, когда электронное устройство выполняет первое событие касания на первом элементе управления, способ дополнительно включает в себя: отображение электронным устройством эффекта анимации, представленного, когда пользователь выполняет первое событие касания на первом элементе управления, так что пользователь получает хороший пользовательский опыт как в графическом (GUI), так и в виртуальном (VUI) интерфейсе.

[0016] В возможном способе исполнения после сбора электронным устройством сигнала речевого управления, введенного пользователем, способ дополнительно включает в себя: отправку электронным устройством сигнала речевого управления и информации интерфейса первого интерфейса на сервер, так что сервер распознает, на основе информации интерфейса, речевую задачу, соответствующую сигналу речевого управления, причем информация интерфейса включает в себя по меньшей мере один из идентификатора первого интерфейса, типа страницы первого интерфейса или типа приложения, которому принадлежит первый интерфейс. В этом случае, поскольку информация интерфейса может отражать актуальный сценарий использования текущего электронного устройства, сервер может более точно выполнять, на основе информации интерфейса, распознавание речи по сигналу речевого управления, введенному пользователем, чтобы более точно определить актуальную речевую задачу, которую должен выполнить пользователь.

[0017] Согласно второму аспекту эта заявка предоставляет электронное устройство, включающее в себя экран касания, причем экран касания включает в себя поверхность, чувствительную к касанию, и дисплей; один или несколько процессоров; одну или несколько памятей; модуль связи; и одну или несколько компьютерных программ. Процессор подсоединен к каждому из экрана касания, модуля связи и памяти. Одна или несколько компьютерных программ хранятся в памяти. Когда электронное устройство работает, процессор выполняет одну или несколько компьютерных программ, хранящихся в памяти, так что электронное устройство выполняет способ речевого управления в соответствии с любым из возможных исполнений.

[0018] Согласно третьему аспекту эта заявка предоставляет компьютерный носитель данных, включающий в себя компьютерную инструкцию. Когда компьютерная инструкция выполняется на электронном устройстве, электронное устройство задействуется, чтобы выполнять способ речевого управления согласно любому из возможных исполнений первого аспекта.

[0019] Согласно четвертому аспекту эта заявка предоставляет компьютерный программный продукт. Когда компьютерный программный продукт выполняется на электронном устройстве, электронное устройство может выполнять способ речевого управления согласно любому из возможных исполнений первого аспекта.

[0020] Можно понять, что терминал согласно второму аспекту, компьютерный носитель данных согласно третьему аспекту и компьютерный программный продукт согласно четвертому аспекту - все они используются для выполнения соответствующего способа, предоставленного выше. Следовательно, полезные эффекты, которые могут достичь терминал, компьютерный носитель данных и компьютерный программный продукт, относятся к положительным эффектам в соответствующем способе, представленном выше. Подробности здесь не описаны.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0021] ФИГ. 1 - схематическая диаграмма интерфейса настроек речевого приложения в предшествующем уровне техники;

[0022] ФИГ. 2 - схематическая структурная диаграмма 1 электронного устройства согласно варианту осуществления этой заявки;

[0023] ФИГ. 3 - схематическая архитектурная диаграмма операционной системы в электронном устройстве согласно варианту осуществления этой заявки;

[0024] ФИГ. 4 - схематическая диаграмма 1 сценария способа речевого управления согласно варианту осуществления этой заявки;

[0025] ФИГ. 5 - схематическая блок-схема способа речевого управления согласно варианту осуществления этой заявки;

[0026] ФИГ. 6 - схематическая диаграмма сценария 2 способа речевого управления согласно варианту осуществления этой заявки;

[0027] ФИГ. 7A - схематическая диаграмма сценария 3 способа речевого управления согласно варианту осуществления этой заявки;

[0028] ФИГ. 7B - схематическая диаграмма сценария, показанного, когда речевое приложение выполняется на переднем плане в предшествующем уровне техники;

[0029] ФИГ. 8 - схематическая диаграмма сценария 4 способа речевого управления согласно варианту осуществления этой заявки;

[0030] ФИГ. 9 (A) и фиг. 9 (B) - схематическая диаграмма сценария 5 способа речевого управления согласно варианту осуществления этой заявки;

[0031] ФИГ. 10 - схематическая диаграмма 6 сценария способа речевого управления согласно варианту осуществления этой заявки;

[0032] ФИГ. 11 - схематическая диаграмма 7 сценария способа речевого управления согласно варианту осуществления этой заявки;

[0033] ФИГ. 12 - схематическая диаграмма сценария 8 способа речевого управления согласно варианту осуществления этой заявки;

[0034] ФИГ. 13 - схематическая диаграмма 9 сценария способа речевого управления согласно варианту осуществления этой заявки; а также

[0035] ФИГ. 14 - схематическая структурная диаграмма 2 электронного устройства согласно варианту осуществления этой заявки.

Описание вариантов осуществления

[0036] Ниже подробно описаны реализации вариантов осуществления данной заявки со ссылкой на сопровождающие чертежи.

[0037] Способ речевого управления, предусмотренный в вариантах осуществления этой заявки, может быть применен к электронному устройству, такому как мобильный телефон, планшетный компьютер, настольный компьютер, портативный компьютер, ноутбук, ультрамобильный персональный компьютер (ultra-mobile personal computer, UMPC), карманный компьютер, нетбук, персональный цифровой помощник (personal digital assistant, PDA), носимое электронное устройство или устройство виртуальной реальности. В вариантах осуществления настоящей заявки это не ограничено.

[0038] Например, фиг. 2 представляет собой схематическую структурную схему электронного устройства 100.

[0039] Электронное устройство 100 может включать в себя процессор 110, интерфейс 120 внешней памяти, внутреннюю память 121, порт 130 универсальной последовательной шины (universal serial bus, USB), модуль 140 управления зарядкой, модуль 141 управления питанием, аккумулятор 142, антенну 1, антенну 2, модуль 150 мобильной связи, модуль 160 беспроводной связи, аудиомодуль 170, динамик 170A, приемник 170B, микрофон 170C, разъем 170D для гарнитуры, модуль 180 датчика, клавиша 190, мотор 191, индикатор 192, камеру 193, дисплей 194, интерфейс 195 карты модуля идентификации абонента (subscriber identification module, SIM) и т.п. Модуль 180 датчика может включать в себя датчик 180A давления, гироскопический датчик 180B, датчик 180C барометрического давления, магнитный датчик 180D, датчик 180E ускорения, датчик 180F расстояния, оптический датчик 180G приближения, датчик 180H отпечатков пальцев, датчик 180J температуры, датчик 180K касания, оптический датчик 180L окружающей среды, датчик 180M костной проводимости и т.п.

[0040] Можно понять, что структура, показанная в этом варианте осуществления данной заявки, не представляет собой конкретного ограничения для электронного устройства 100. В некоторых других вариантах осуществления этой заявки электронное устройство 100 может включать в себя больше или меньше компонентов, чем показано на чертеже, или некоторые компоненты могут быть объединены, или некоторые компоненты могут быть разделены, или могут использоваться различные компоновки компонентов. Компоненты, показанные на этом чертеже, могут быть реализованы аппаратными средствами, программным обеспечением или комбинацией программного и аппаратного обеспечения.

[0041] Процессор 110 может включать в себя один или несколько процессоров. Например, процессор 110 может включать в себя процессор приложений (application processor, AP), процессор модема, блок графической обработки (graphics processing unit, GPU), процессор сигналов изображения (image signal processor, ISP), контроллер, память, видеокодек, процессор цифровых сигналов (digital signal processor, DSP), процессор основной полосы частот, блок обработки нейронной сети (neural-network processing unit, NPU) и/или тому подобное. Различные блоки обработки могут быть независимыми компонентами или могут быть интегрированы в один или несколько процессоров.

[0042] Контроллер может быть руководящим центром и командным центром электронного устройства 100. Контроллер может генерировать сигнал управления операцией на основе кода операции инструкции и сигнала временной последовательности, чтобы завершить управление чтением инструкций и выполнением инструкций.

[0043] Память может быть дополнительно размещена в процессоре 110 и сконфигурирована для хранения инструкций и данных. В некоторых вариантах осуществления память в процессоре 110 является кэш-памятью. В памяти может храниться инструкция или данные, которые использовались или циклически использовались процессором 110. Если процессору 110 необходимо снова использовать инструкцию или данные, процессор 110 может напрямую вызвать инструкцию или данные из памяти. Это позволяет избежать повторного доступа и сокращает время ожидания процессора 110. Таким образом повышается эффективность системы.

[0044] В некоторых вариантах осуществления процессор 110 может включать в себя один или несколько интерфейсов. Интерфейс может включать в себя интерфейс межинтегральной схемы (inter-integrated circuit, I2C), интерфейс звука межинтегральной схемы (inter-integrated circuit sound, I2S), интерфейс с импульсной кодовой модуляцией (pulse code modulation, PCM), интерфейс универсального асинхронного приемника/передатчика (universal asynchronous receiver/transmitter, UART), интерфейс процессора мобильной индустрии (mobile industry processor interface, MIPI), интерфейс ввода/вывода общего назначения (general-purpose input/output, GPIO), интерфейс модуля идентификации абонента (subscriber identity module, SIM), интерфейс универсальной последовательной шины (universal serial bus, USB) и/или тому подобное.

[0045] Интерфейс I2C представляет собой последовательную шину с двусторонней синхронизацией и включает в себя линию последовательных данных (serial data line, SDA) и линию последовательной синхронизации (derail clock line, SCL). В некоторых вариантах осуществления процессор 110 может включать в себя множество групп шин I2C. Процессор 110 может быть отдельно подсоединен к датчику 180K касания, зарядному устройству, вспышке, камере 193 и т.п. с использованием различных интерфейсов шины I2C. Например, процессор 110 может быть подсоединен к датчику 180K касания с помощью интерфейса I2C, так что процессор 110 обменивается данными с датчиком 180K касания с помощью интерфейса шины I2C, чтобы реализовать функцию касания электронного устройства 100.

[0046] Интерфейс I2S может быть сконфигурирован для выполнения аудиосвязи. В некоторых вариантах осуществления процессор 110 может включать в себя множество групп шин I2S. Процессор 110 может быть подключен к аудиомодулю 170 с помощью шины I2S для реализации связи между процессором 110 и аудиомодулем 170. В некоторых вариантах осуществления аудиомодуль 170 может передавать аудиосигнал в модуль 160 беспроводной связи с использованием интерфейса I2S, чтобы реализовать функцию ответа на вызов с помощью гарнитуры Bluetooth.

[0047] Интерфейс PCM также может использоваться для аудиосвязи и выборки, квантования и кодирования аналогового сигнала. В некоторых вариантах осуществления аудиомодуль 170 может быть подсоединен к модулю 160 беспроводной связи с использованием интерфейса шины PCM. В некоторых вариантах осуществления аудиомодуль 170 может альтернативно передавать аудиосигнал в модуль 160 беспроводной связи с использованием интерфейса PCM, чтобы реализовать функцию ответа на вызов с помощью гарнитуры Bluetooth. И интерфейс I2S, и интерфейс PCM могут быть сконфигурированы для выполнения аудиосвязи.

[0048] Интерфейс UART представляет собой универсальную шину последовательных данных и сконфигурирован для асинхронной связи. Шина может быть шиной двусторонней связи. Шина преобразует подлежащие передаче данные между последовательной и параллельной связью. В некоторых вариантах осуществления интерфейс UART обычно конфигурируется для соединения процессора 110 и модуля 160 беспроводной связи. Например, процессор 110 обменивается данными с модулем Bluetooth в модуле 160 беспроводной связи с помощью интерфейса UART для реализации функции Bluetooth. В некоторых вариантах осуществления аудиомодуль 170 может передавать аудиосигнал в модуль 160 беспроводной связи с использованием интерфейса UART, чтобы реализовать функцию воспроизведения музыки с помощью гарнитуры Bluetooth.

[0049] Интерфейс MIPI может быть сконфигурирован для подключения процессора 110 к периферийному компоненту, такому как дисплей 194 или камера 193. Интерфейс MIPI включает в себя последовательный интерфейс камеры (camera serial interface, CSI), последовательный интерфейс дисплея (display serial interface, DSI) и т.п. В некоторых вариантах осуществления процессор 110 связывается с камерой 193 с помощью интерфейса CSI, чтобы реализовать функцию фотографирования электронного устройства 100. Процессор 110 обменивается данными с дисплеем 194 с помощью интерфейса DSI, чтобы реализовать функцию отображения электронного устройства 100.

[0050] Интерфейс GPIO может конфигурироваться программно. Интерфейс GPIO может быть сконфигурирован как сигнал управления или сигнал данных. В некоторых вариантах осуществления интерфейс GPIO может быть сконфигурирован для подключения процессора 110 к камере 193, дисплею 194, модулю 160 беспроводной связи, аудиомодулю 170, модулю 180 датчика и т.п. Интерфейс GPIO также может быть сконфигурирован как интерфейс I2C, интерфейс I2S, интерфейс UART, интерфейс MIPI и т.п.

[0051] Интерфейс 130 USB является интерфейсом, который соответствует спецификации стандарта USB, и может быть, в частности, интерфейсом mini USB, интерфейсом micro USB, интерфейсом USB типа C и т.п. Интерфейс 130 USB может быть сконфигурирован для подключения к зарядному устройству для зарядки электронного устройства 100, или может быть сконфигурирован для выполнения передачи данных между электронным устройством 100 и периферийным устройством, или может быть сконфигурирован для подключения к гарнитуре для воспроизведения аудио с помощью гарнитуры. Интерфейс может быть дополнительно сконфигурирован для подключения к другому электронному устройству, например устройству AR.

[0052] Можно понять, что взаимосвязь интерфейсного соединения между модулями, показанная в этом варианте осуществления этой заявки, является просто примером для описания и не составляет ограничения на структуру электронного устройства 100. В некоторых других вариантах осуществления этой заявки электронное устройство 100 может альтернативно использовать способ подключения интерфейса, отличный от того, что в предыдущем варианте осуществления, или комбинацию множества способов подключения интерфейса.

[0053] Модуль 140 управления зарядкой сконфигурирован для приема входного сигнала зарядки от зарядного устройства. Зарядное устройство может быть беспроводным или проводным. В некоторых вариантах осуществления проводной зарядки, модуль 140 управления зарядкой может принимать вход зарядки проводного зарядного устройства с помощью интерфейса 130 USB. В некоторых вариантах осуществления беспроводной зарядки, модуль 140 управления зарядкой может принимать ввод беспроводной зарядки с помощью катушки беспроводной зарядки электронного устройства 100. Модуль 140 управления зарядкой подает питание на электронное устройство с помощью модуля 141 управления питанием во время зарядки аккумулятора 142.

[0054] Модуль 141 управления питанием сконфигурирован для подключения аккумулятора 142 и модуля 140 управления зарядкой к процессору 110. Модуль 141 управления питанием принимает входной сигнал аккумулятора 142 и/или модуля 140 управления зарядкой и подает питание на процессор 110, внутреннюю память 121, внешнюю память, дисплей 194, камеру 193, модуль 160 беспроводной связи и тому подобное. Модуль 141 управления питанием может быть дополнительно сконфигурирован для отслеживания параметров, таких как емкость батареи, счетчик циклов батареи и состояние работоспособности батареи (утечка электричества или сопротивление). В некоторых других вариантах осуществления модуль 141 управления питанием альтернативно может быть расположен в процессоре 110. В некоторых других вариантах осуществления модуль 141 управления питанием и модуль 140 управления зарядкой альтернативно могут быть расположены в одном и том же устройстве.

[0055] Функция беспроводной связи электронного устройства 100 может быть реализована с использованием антенны 1, антенны 2, модуля 150 мобильной связи, модуля 160 беспроводной связи, процессора модема, процессора основной полосы частот и т.п.

[0056] Антенна 1 и антенна 2 сконфигурированы для передачи и приема сигнала электромагнитной волны. Каждая антенна в электронном устройстве 100 может быть сконфигурирована для покрытия одного или нескольких диапазонов частот связи. Различные антенны могут быть дополнительно мультиплексированы для улучшения использования антенны. Например, антенна 1 может быть мультиплексирована как разнесенная антенна беспроводной локальной сети. В некоторых других вариантах осуществления антенна может использоваться в сочетании с переключателем настройки.

[0057] Модуль 150 мобильной связи может предоставить решение, применяемое к электронному устройству 100, для беспроводной связи, в том числе 2G, 3G, 4G, 5G и т.п. Модуль 150 мобильной связи может включать в себя по меньшей мере один фильтр, переключатель, усилитель мощности, малошумящий усилитель (low noise amplifier, LNA) и т.п. Модуль 150 мобильной связи может принимать электромагнитную волну с помощью антенны 1, выполнять обработку, такую как фильтрация или усиление принятой электромагнитной волны, и передавать электромагнитную волну процессору модема для демодуляции. Модуль 150 мобильной связи может дополнительно усиливать сигнал, модулированный процессором модема, и преобразовывать сигнал в электромагнитную волну для излучения с помощью антенны 1. В некоторых вариантах осуществления, по меньшей мере, некоторые функциональные модули в модуле 150 мобильной связи могут быть расположены в процессоре 110. В некоторых вариантах осуществления, по меньшей мере, некоторые функциональные модули в модуле 150 мобильной связи могут быть расположены в том же устройстве, что и, по меньшей мере, некоторые модули в процессоре 110.

[0058] Процессор модема может включать в себя модулятор и демодулятор. Модулятор сконфигурирован для модуляции отправляемого низкочастотного сигнала основной полосы частот в средне- или высокочастотный сигнал. Демодулятор сконфигурирован для демодуляции принятого сигнала электромагнитной волны в низкочастотный сигнал основной полосы частот. Затем демодулятор передает низкочастотный сигнал основной полосы частот, полученный посредством демодуляции, на процессор основной полосы частот для обработки. Низкочастотный сигнал основной полосы частот обрабатывается процессором основной полосы частот и затем передается в процессор приложений. Процессор приложений выводит звуковой сигнал с помощью аудиоустройства (которое не ограничивается динамиком 170A, приемником 170B и т.п.) или отображает изображение или видео с помощью дисплея 194. В некоторых вариантах осуществления процессор модема может быть независимым компонентом. В некоторых других вариантах осуществления процессор модема может быть независимым от процессора 110 и расположен в том же устройстве, что и модуль 150 мобильной связи или другой функциональный модуль.

[0059] Модуль 160 беспроводной связи может предоставлять решение, применяемое к электронному устройству 100, для беспроводной связи, в том числе беспроводную локальную сеть (wireless local area networks, WLAN) (например, сеть беспроводной связи (Wireless Fidelity, Wi-Fi), Bluetooth (Bluetooth, BT), глобальная навигационная спутниковая система (global navigation satellite system, GNSS), частотная модуляция (frequency modulation, FM), связь ближнего радиуса действия (near field communication, NFC), инфракрасная (infrared, IR) технология, и тому подобное. Модуль 160 беспроводной связи может быть одним или несколькими компонентами, объединяющими по меньшей мере один модуль процессора связи. Модуль 160 беспроводной связи принимает электромагнитную волну с помощью антенны 2, выполняет частотную модуляцию и фильтрацию сигнала электромагнитной волны и отправляет обработанный сигнал процессору 110. Модуль 160 беспроводной связи может дополнительно принимать сигнал, который должен быть отправлен от процессора 110, выполнять частотную модуляцию и усиление сигнала и преобразовывать сигнал в электромагнитную волну для излучения с помощью антенны 2.

[0060] В некоторых вариантах осуществления антенна 1 и модуль 150 мобильной связи электронного устройства 100 подсоединены, и антенна 2 и модуль 160 беспроводной связи электронного устройства 100 подсоединены, так что электронное устройство 100 может связываться с сетью и другим устройством, используя технологию беспроводной связи. Технология беспроводной связи может включать в себя глобальную систему мобильной связи (global system for mobile communications, GSM), обычная услуга пакетной радиосвязи (general packet radio service, GPRS), множественный доступ с кодовым разделением (code division multiple access, CDMA), широкополосный множественный доступ с кодовым разделением каналов ( wideband code division multiple access, WCDMA), множественный доступ с кодовым разделением каналов с временным разделением (time-division code division multiple access, TD-SCDMA), долгосрочное развитие (long term evolution, LTE), BT, GNSS , WLAN, NFC, FM, IR-технология и/или тому подобное. GNSS может включать в себя глобальную систему позиционирования (global positioning system, GPS), глобальную навигационную спутниковую систему (global navigation satellite system, GLONASS), навигационную спутниковую систему BeiDou (beidou navigation satellite system, BDS), квазизенитную спутниковую систему (quasi-zenith satellite system, QZSS) и/или спутниковую систему дополнения (satellite based augmentation systems, SBAS).

[0061] Электронное устройство 100 реализует функцию отображения с помощью графического процессора (GPU), дисплея 194, процессора приложений и т.п. Графический процессор представляет собой микропроцессор для обработки изображений и соединяет дисплей 194 с процессором приложений. Графический процессор сконфигурирован для выполнения математических и геометрических вычислений и визуализации изображения. Процессор 110 может включать в себя один или несколько графических процессоров, которые выполняют программную инструкцию для генерации или изменения информации отображения.

[0062] Дисплей 194 сконфигурирован для отображения изображения, видео и т.п. Дисплей 194 включает в себя панель отображения. Панель отображения может быть жидкокристаллическим дисплеем (liquid crystal display, LCD), органическим светоизлучающим диодом (organic light-emitting diode, OLED), органическим светоизлучающим диодом с активной матрицей (active-matrix organic light emitting diode, AMOLED), гибким светодиодом (flex light-emitting diode, FLED), Miniled, MicroLed, micro-oLed, светоизлучающим диодом с квантовыми точками (quantum dot light emitting diodes, QLED) или тому подобным. В некоторых вариантах осуществления электронное устройство 100 может включать в себя один или N дисплеев 194, где N - положительное целое число больше 1.

[0063] Электронное устройство 100 может реализовывать функцию фотографирования с использованием ISP, камеры 193, видеокодека, графического процессора, дисплея 194, процессора приложений и т.п.

[0064] ISP сконфигурирован для обработки данных, возвращаемых камерой 193. Например, во время фотографирования нажимается затвор, луч света передается на светочувствительный элемент камеры через линзу, и оптический сигнал преобразуется в электрический сигнал. Светочувствительный элемент камеры передает электрический сигнал на ISP для обработки и преобразует электрический сигнал в видимое изображение. ISP может дополнительно выполнить оптимизацию алгоритма в отношении шума, яркости и внешнего вида изображения. ISP может дополнительно оптимизировать такие параметры, как экспозиция и цветовая температура сценария фотографирования. В некоторых вариантах осуществления ISP может быть расположен в камере 193.

[0065] Камера 193 сконфигурирована для захвата статического изображения или видео. Оптическое изображение генерируется для объекта с помощью линзы и проецируется на светочувствительный элемент. Светочувствительный элемент может быть устройством с зарядовой связью (charge coupled device, CCD) или фототранзистором на основе комплементарного металл-оксидного полупроводника (complementary metal-oxide-semiconductor, CMOS). Светочувствительный элемент преобразует оптический сигнал в электрический сигнал и затем передает электрический сигнал на ISP для преобразования электрического сигнала в цифровой сигнал изображения. ISP выводит цифровой сигнал изображения на DSP для обработки. DSP преобразует цифровой сигнал изображения в сигнал изображения в стандартном формате, таком как RGB или YUV. В некоторых вариантах осуществления электронное устройство 100 может включать в себя одну или N камер 193, где N - положительное целое число больше 1.

[0066] Процессор цифровых сигналов сконфигурирован для обработки цифрового сигнала. В дополнение к цифровому сигналу изображения процессор цифрового сигнала может дополнительно обрабатывать другой цифровой сигнал. Например, когда электронное устройство 100 выбирает частоту, процессор цифровых сигналов конфигурируется для выполнения преобразования Фурье по частотной энергии и т.п.

[0067] Видеокодек сконфигурирован на сжатие или распаковку цифрового видео. Электронное устройство 100 может поддерживать один или несколько видеокодеков. Таким образом, электронное устройство 100 может воспроизводить или записывать видео во множестве форматов кодирования, например, группа экспертов по движущимся изображениям (moving picture experts group, MPEG) 1, MPEG2, MPEG3 и MPEG4.

[0068] NPU представляет собой вычислительный процессор нейронной сети (neural-network, NN), быстро обрабатывает входную информацию, обращаясь к структуре биологической нейронной сети, например, обращаясь к режиму передачи между нейронами человеческого мозга, и может дополнительно непрерывно выполнять самообучение. Такие приложения, как интеллектуальное распознавание электронного устройства 100, могут быть реализованы с использованием NPU, например, распознавание изображений, распознавание лиц, распознавание речи и понимание текста.

[0069] Интерфейс 120 внешней памяти может быть сконфигурирован для подключения к карте внешней памяти, например, карте микро-SD, для расширения возможностей хранения электронного устройства 100. Карта внешней памяти связывается с процессором 110 с помощью интерфейса 120 внешней памяти, чтобы реализовать функцию хранения данных. Например, такие файлы, как музыка и видео, хранятся на карте внешней памяти.

[0070] Внутренняя память 121 может быть сконфигурирована для хранения исполняемого компьютером программного кода, а исполняемый программный код включает в себя инструкцию. Процессор 110 выполняет инструкцию, хранящуюся во внутренней памяти 121, для выполнения различных функциональных приложений и обработки данных электронного устройства 100. Внутренняя память 121 может включать в себя область хранения программ и область хранения данных. В области хранения программ может храниться операционная система, приложение, необходимое, по меньшей мере, для одной функции (например, функции воспроизведения голоса или функции воспроизведения изображения) и т.п. В области хранения данных могут храниться данные (например, аудиоданные и телефонная книга) и т.п., созданные в процессе использования электронного устройства 100. Кроме того, внутренняя память 121 может включать в себя высокоскоростную память с произвольным доступом и может дополнительно включать в себя энергонезависимую память, такую как по меньшей мере одно устройство хранения на магнитных дисках, флэш-память или универсальное флэш-хранилище (universal flash storage, UFS).

[0071] Электронное устройство 100 может реализовывать аудио функцию, такую как воспроизведение или запись музыки, с использованием аудиомодуля 170, динамика 170A, приемника 170B, микрофона 170C, разъемы 170D для гарнитуры, процессора приложений и т.п.

[0072] Аудиомодуль 170 сконфигурирован для преобразования цифровой аудиоинформации в выходной аналоговый аудиосигнал, а также сконфигурирован для преобразования аналогового аудиовхода в цифровой аудиосигнал. Аудиомодуль 170 может быть дополнительно сконфигурирован для кодирования и декодирования аудиосигнала. В некоторых вариантах осуществления аудиомодуль 170 может быть расположен в процессоре 110, или некоторые функциональные модули в аудиомодуле 170 расположены в процессоре 110.

[0073] Динамик 170A, также называемый «громкоговорителем», сконфигурирован для преобразования электрического сигнала аудио в звуковой сигнал. Электронное устройство 100 может использоваться для прослушивания музыки или ответа на вызов в режиме громкой связи через динамик 170A.

[0074] Приемник 170B, также называемый «наушником», сконфигурирован для преобразования электрического сигнала аудио в звуковой сигнал. При ответе на вызов или при прослушивании речевой информации с помощью электронного устройства 100 приемник 170B можно поднести близко к человеческому уху для прослушивания речи.

[0075] Микрофон 170C, также называемый «микрофоном» или «микрофоном», выполнен с возможностью преобразования звукового сигнала в электрический сигнал. При выполнении вызова или отправке речевой информации пользователь может издавать звук возле микрофона 170C через рот пользователя, чтобы ввести звуковой сигнал в микрофон 170C. По меньшей мере один микрофон 170C может быть расположен в электронном устройстве 100. В некоторых других вариантах осуществления два микрофона 170C могут быть расположены в электронном устройстве 100 для сбора звукового сигнала и реализации функции шумоподавления. В некоторых других вариантах осуществления в электронном устройстве 100 альтернативно могут быть расположены три, четыре или более микрофонов 170C для сбора звукового сигнала, реализации шумоподавления и распознавания источника звука, чтобы реализовать функцию направленной записи и тому подобное.

[0076] Разъем 170D для гарнитуры выполнен с возможностью подключения к проводной гарнитуре. Разъем 170D для гарнитуры может быть USB-интерфейсом 130 или может быть стандартным интерфейсом открытой платформы мобильного терминала 3,5 мм (open mobile terminal platform, OMTP) или стандартным интерфейсом ассоциации индустрии сотовой связи США (cellular telecommunications industry association of the USA, CTIA).

[0077] Датчик 180А давления выполнен с возможностью считывать сигнал давления и может преобразовывать сигнал давления в электрический сигнал. В некоторых вариантах осуществления датчик 180A давления может быть расположен на дисплее 194. Существует много типов датчиков давления 180А, например, резистивный датчик давления, индуктивный датчик давления и емкостной датчик давления. Емкостной датчик давления может включать в себя по меньшей мере две параллельные пластины из проводящих материалов. Когда к датчику 180А давления прикладывается сила, емкость между электродами изменяется. Электронное устройство 100 определяет интенсивность давления на основе изменения емкости. Когда операция касания выполняется на дисплее 194, электронное устройство 100 определяет интенсивность операции касания с помощью датчика 180А давления. Электронное устройство 100 также может вычислять местоположение касания на основе сигнала обнаружения датчика 180А давления. В некоторых вариантах осуществления операции касания, которые выполняются в одном и том же месте касания, но имеют разную интенсивность операций касания, могут соответствовать разным операционным инструкциям. Например, когда операция касания, интенсивность операции касания которой меньше первого порогового значения давления, выполняется на значке приложения обмена сообщениями, выполняется инструкция для просмотра сообщения SMS. Когда операция касания, интенсивность операции касания которой больше или равна первому пороговому значению давления, выполняется на значке приложения для обмена сообщениями, выполняется инструкция для создания SMS-сообщения.

[0078] Гироскопический датчик 180B может быть сконфигурирован для определения положения движения электронного устройства 100. В некоторых вариантах осуществления угловая скорость электронного устройства 100 вокруг трех осей (а именно осей x, y и z) может быть определена с использованием гироскопического датчика 180B. Гироскопический датчик 180B может быть сконфигурирован для реализации стабилизации изображения во время фотографирования. Например, при нажатии на кнопку затвора гироскопический датчик 180B обнаруживает угол, при котором электронное устройство 100 колеблется, вычисляет на основе угла расстояние, которое модуль объектива должен компенсировать, и позволяет объективу устранять дрожание электронного устройства 100 посредством обратного движения, чтобы реализовать стабилизацию изображения. Гироскопический датчик 180B также может использоваться в сценарии навигации и сценарии соматической игры.

[0079] Датчик 180C барометрического давления сконфигурирован для измерения барометрического давления. В некоторых вариантах осуществления электронное устройство 100 вычисляет высоту, используя барометрическое давление, измеренное датчиком 180C барометрического давления, для помощи в позиционировании и навигации.

[0080] Магнитный датчик 180D включает в себя датчик Холла. Электронное устройство 100 может обнаруживать открытие и закрытие откидного кожаного футляра с помощью магнитного датчика 180D. В некоторых вариантах осуществления, когда электронное устройство 100 представляет собой телефон-раскладушку, электронное устройство 100 может обнаруживать открытие и закрытие откидной крышки на основе магнитного датчика 180D. Дополнительно, такая функция, как автоматическая разблокировка откидной крышки, устанавливается на основе обнаруженного состояния открытия или закрытия кожаного футляра или обнаруженного состояния открытия или закрытия откидной крышки.

[0081] Датчик 180E ускорения может обнаруживать величину ускорений в различных направлениях (обычно по трем осям) электронного устройства 100 и может определять величину и направление силы тяжести, когда электронное устройство 100 неподвижно. Датчик 180E ускорения может быть дополнительно сконфигурирован для идентификации положения электронного устройства и может применяться в приложении, таком как переключение между альбомным режимом и портретным режимом или шагомер.

[0082] Датчик 180F расстояния сконфигурирован для измерения расстояния. Электронное устройство 100 может измерять расстояние инфракрасным или лазерным способом. В некоторых вариантах осуществления в сценарии фотографирования электронное устройство 100 может измерять расстояние, используя датчик 180F расстояния для осуществления быстрой фокусировки.

[0083] Оптический датчик 180G приближения может включать в себя, например, светоизлучающий диод (LED) и оптический детектор, например, фотодиод. Светоизлучающий диод может быть инфракрасным светоизлучающим диодом. Электронное устройство 100 излучает инфракрасный свет с помощью светодиода. Электронное устройство 100 обнаруживает инфракрасный свет, отраженный от близлежащего объекта, с помощью фотодиода. Когда обнаруживается достаточное количество отраженного света, можно определить, что рядом с электронным устройством 100 есть объект. При обнаружении недостаточного отраженного света электронное устройство 100 может определить, что рядом с электронным устройством 100 нет объекта. Электронное устройство 100 может обнаруживать с помощью оптического датчика 180G приближения, что пользователь держит электронное устройство 100 близко к уху, чтобы позвонить, чтобы автоматически отключить экран для экономии энергии. Оптический датчик 180G приближения также может использоваться в режиме интеллектуальной крышки или в карманном режиме для автоматического выполнения разблокировки или блокировки экрана.

[0084] Датчик 180L окружающего света сконфигурирован для считывания яркости окружающего света. Электронное устройство 100 может адаптивно регулировать яркость дисплея 194 на основе считанной яркости окружающего света. Датчик 180L окружающего света также может быть сконфигурирован для автоматической регулировки баланса белого во время фотографирования. Датчик 180L окружающего света также может взаимодействовать с оптическим датчиком 180G приближения, чтобы обнаруживать, находится ли электронное устройство 100 в кармане, чтобы избежать случайного касания.

[0085] Датчик 180H отпечатка пальца сконфигурирован для сбора отпечатка пальца. Электронное устройство 100 может использовать функцию собранного отпечатка пальца для реализации разблокировки на основе отпечатка пальца, доступа к блокировке приложения, фотографирования на основе отпечатка пальца, ответа на вызов на основе отпечатка пальца и т.п.

[0086] Датчик температуры 180J сконфигурирован для определения температуры. В некоторых вариантах осуществления электронное устройство 100 выполняет политику обработки температуры, используя температуру, обнаруженную датчиком 180J температуры. Например, когда температура, сообщаемая датчиком 180J температуры, превышает пороговое значение, электронное устройство 100 снижает производительность процессора рядом с датчиком 180J температуры, чтобы снизить энергопотребление для тепловой защиты. В некоторых других вариантах осуществления, когда температура ниже другого порога, электронное устройство 100 нагревает аккумулятор 142, чтобы предотвратить аварийное отключение электронного устройства 100 из-за низкой температуры. В некоторых других вариантах осуществления, когда температура ниже, чем еще один другой порог, электронное устройство 100 повышает выходное напряжение аккумулятора 142, чтобы избежать ненормального отключения, вызванного низкой температурой.

[0087] Датчик 180K касания также называется «панелью касания». Датчик 180K касания может быть расположен на дисплее 194, и датчик 180K касания и дисплей 194 составляют экран касания, который также называется «экраном касания». Датчик 180K касания сконфигурирован для обнаружения операции касания на датчике 180K касания или рядом с ним. Датчик касания может передавать обнаруженную операцию касания процессору приложения для определения типа события касания. Визуальный вывод, связанный с операцией касания, может быть обеспечен с помощью дисплея 194. В некоторых других вариантах осуществления датчик 180K касания также может быть расположен на поверхности электронного устройства 100 в месте, отличном от положения дисплея 194.

[0088] Датчик 180M костной проводимости может получать сигнал вибрации. В некоторых вариантах осуществления датчик 180M костной проводимости может получать сигнал вибрации от вибрирующей кости части голосовых связок человека. Датчик 180M костной проводимости также может контактировать с пульсом тела для приема сигнала биения артериального давления. В некоторых вариантах осуществления датчик 180M костной проводимости также может быть расположен в гарнитуре для получения гарнитуры костной проводимости. Аудиомодуль 170 может получать речевой сигнал посредством синтаксического анализа на основе сигнала вибрации, который осуществляется вибрационной костью части голосовой связки и который получается датчиком 180M костной проводимости, для реализации речевой функции. Процессор приложения может анализировать информацию о частоте сердечных сокращений на основе сигнала биений артериального давления, полученного датчиком 180M костной проводимости, для реализации функции обнаружения частоты сердечных сокращений.

[0089] Клавиша 190 включает в себя клавишу питания, клавишу громкости и т.п. Клавиша 190 может быть механической или сенсорной. Электронное устройство 100 может принимать ввод с клавиатуры и генерировать ввод сигнала с клавиатуры, относящийся к пользовательским настройкам и управлению функциями электронного устройства 100.

[0090] Мотор 191 может генерировать вибрационную подсказку. Мотор 191 может быть сконфигурирован для предоставления вибрационной подсказки входящего вызова и обратной связи с вибрацией при касании. Например, операции касания, выполняемые в разных приложениях (например, фотографирование и воспроизведение звука), могут соответствовать разным эффектам обратной связи с вибрацией. Мотор 191 также может соответствовать различным эффектам обратной связи с вибрацией для операций касания, выполняемых в разных областях дисплея 194. Различные сценарии приложений (например, напоминание о времени, получение информации, будильник и игра) также могут соответствовать различным эффектам обратной связи с вибрацией. Эффект обратной связи с вибрацией при касании можно дополнительно настроить.

[0091] Индикатор 192 может быть световым индикатором и может быть сконфигурирован для индикации состояния зарядки и изменения мощности или может быть сконфигурирован для индикации сообщения, пропущенного вызова, уведомления и т.п.

[0092] Интерфейс 195 SIM-карты сконфигурирован для подключения к SIM-карте. SIM-карта может быть вставлена в интерфейс 195 SIM-карты или отсоединена от интерфейса 195 SIM-карты для осуществления контакта или отделения от электронного устройства 100. Электронное устройство 100 может поддерживать один или N интерфейсов SIM-карты, где N - положительное целое число больше 1. Интерфейс 195 SIM-карты может поддерживать нано-SIM-карту, микро-SIM-карту, SIM-карту и т.п. Множество карт может быть вставлено в один и тот же интерфейс 195 SIM-карты одновременно. Множество карт может быть одного или разных типов. Интерфейс 195 SIM-карты может быть совместим с различными типами SIM-карт. Интерфейс 195 SIM-карты может дополнительно быть совместим с картой внешней памяти. Электронное устройство 100 взаимодействует с сетью с помощью SIM-карты для реализации таких функций, как разговор и передача данных. В некоторых вариантах осуществления электронное устройство 100 использует eSIM, а именно встроенную SIM-карту. Карта eSIM может быть встроена в электронное устройство 100 и не может быть отделена от электронного устройства 100.

[0093] Программная система электронного устройства 100 может использовать многоуровневую архитектуру, архитектуру, управляемую событиями, архитектуру микроядра, архитектуру микрослужб или облачную архитектуру. В этом варианте осуществления этой заявки система Android с многоуровневой архитектурой используется в качестве примера для иллюстрации структуры программного обеспечения электронного устройства 100.

[0094] ФИГ. 3 является блок-схемой структуры программного обеспечения электронного устройства 100 согласно варианту осуществления этой заявки.

[0095] В многоуровневой архитектуре программное обеспечение разделено на несколько уровней, и каждый уровень имеет четкую роль и задачу. Уровни взаимодействуют друг с другом с помощью программного интерфейса. В некоторых вариантах осуществления система Android разделена на четыре уровня: уровень приложения, уровень инфраструктуры приложения, среда выполнения Android (Android runtime) и системная библиотека, а также уровень ядра сверху вниз.

[0096] Уровень приложений может включать в себя ряд пакетов приложений.

[0097] Как показано на фиг. 3, пакет приложений может включать в себя такие приложения, как «камера», «галерея», «календарь», «звонки», «карты», «навигация», «Bluetooth», «музыка», «видео» и «обмен сообщениями».

[0098] В этом варианте осуществления этой заявки уровень приложений может дополнительно включать в себя речевое приложение, имеющее функцию распознавания речи. Речевое приложение также может иногда называться приложением речевого помощника, например, речевым помощником Xiao E, Xiaoai или Siri.

[0099] После задействования речевого приложения сигнал речевого управления, отправленный пользователем, может быть собран, и сигнал речевого управления преобразуется в соответствующую речевую задачу. Кроме того, речевое приложение может вызывать интерфейс связанного приложения для выполнения речевой задачи, чтобы пользователь управлял электронным устройством речевым способом.

[0100] Уровень структуры приложения предоставляет интерфейс прикладного программирования (application programming interface, API) и структуру программирования для приложения на уровне приложения. Уровень инфраструктуры приложения включает в себя несколько предопределенных функций.

[0101] Как показано на фиг. 3, уровень структуры приложения может включать в себя диспетчер окон, провайдер контента, систему просмотра, диспетчер телефона, диспетчер ресурсов, диспетчер уведомлений и т.п.

[0102] Диспетчер окон сконфигурирован для управления оконной программой. Диспетчер окон может получить размер дисплея, определить, есть ли строка состояния, выполнить блокировку экрана, сделать снимок экрана и т.п.

[0103] Провайдер контента сконфигурирован для: хранения и получения данных и обеспечения доступа к данным посредством приложения. Данные могут включать в себя видео, изображение, аудио, сделанные и принятые вызовы, историю просмотра и закладки, адресную книгу и т.п.

[0104] Система просмотра включает в себя визуальные элементы управления, такие как элемент управления для отображения текста и элемент управления для отображения изображения. Система просмотра может быть сконфигурирована для создания приложения. Интерфейс дисплея может включать в себя одно или несколько представлений. Например, интерфейс дисплея, включающий в себя значок уведомления о SMS-сообщении, может включать в себя вид отображения текста и вид отображения изображений.

[0105] Диспетчер телефона сконфигурирован для обеспечения функции связи для электронного устройства 100, например, управления статусом вызова (в том числе ответ или отклонение).

[0106] Диспетчер ресурсов предоставляет различные ресурсы, такие как локализованная строка символов, значок, изображение, файл макета и видеофайл для приложения.

[0107] Диспетчер уведомлений позволяет приложению отображать информацию уведомления в строке состояния и может быть сконфигурирован для передачи сообщения уведомления. Диспетчер уведомлений может автоматически исчезнуть после короткой паузы, не требуя вмешательства пользователя. Например, диспетчер уведомлений сконфигурирован для уведомления о завершении загрузки, отправки уведомления о сообщении и т.п. Диспетчер уведомлений может быть уведомлением, которое появляется в верхней строке состояния системы в виде графика или текста полосы прокрутки, например, уведомление о приложении, работающем на заднем плане, или может быть уведомлением, которое появляется на экране в виде диалогового окна. Например, в строке состояния отображается текстовая информация, воспроизводится звуковой сигнал, электронное устройство вибрирует или мигает световой индикатор.

[0108] В этом варианте осуществления этой заявки уровень структуры приложения дополнительно включает в себя диспетчер VUI (голосовой пользовательский интерфейс, voice user interface). Диспетчер VUI может отслеживать состояние работы речевого приложения или может служить мостом между речевым приложением и другим приложением и передавать речевую задачу, распознанную речевым приложением, в связанное приложение для выполнения.

[0109] Например, приложение на уровне приложений может предоставить файл конфигурации, а речевая задача, поддерживаемая соответствующим интерфейсом приложения, может быть записана в файле конфигурации. В качестве примера используется музыкальное приложение. При установке музыкального приложения электронное устройство может хранить в электронном устройстве файл 1 конфигурации, предоставленный музыкальным приложением. Файл конфигурации 1 может записывать речевую задачу, поддерживаемую музыкальным приложением, когда музыкальное приложение отображает интерфейс воспроизведения музыки. Например, задача речи включает в себя: воспроизведение, приостановку, переключение на предыдущую/следующую песню, увеличение/уменьшение громкости и тому подобное.

[0110] В этом случае, когда электронное устройство запускает интерфейс воспроизведения музыки музыкального приложения на переднем плане, если обнаруживается, что пользователь вводит слово пробуждения «Привет, Xiao E», электронное устройство может задействовать речевое приложение на заднем плане. После обнаружения того, что речевое приложение задействовано, диспетчер VUI может получить файл 1 конфигурации, соответствующий отображаемому в данный момент интерфейсу воспроизведения музыки. Дополнительно, как показано на фиг. 4, диспетчер VUI может отображать в форме подсказки 401 речевого ввода речевую задачу, записанную в файле 1 конфигурации, в интерфейсе 402 воспроизведения музыки, который выполняется.

[0111] Таким образом, когда пользователь использует музыкальное приложение, электронное устройство может подсказывать пользователю речевую задачу, поддерживаемую текущим интерфейсом приложения. Впоследствии пользователь может отправить соответствующий сигнал речевого управления на электронное устройство на основе подсказки 401 речевого ввода, отображаемого в интерфейсе 402 воспроизведения музыки, чтобы инициировать электронное устройство для выполнения речевой задачи, поддерживаемой текущим интерфейсом приложения. Это может повысить эффективность речевого управления в речевом приложении на электронном устройстве и еще больше улучшить взаимодействие с пользователем.

[0112] Следует отметить, что приложение, работающее на переднем плане, обычно относится к приложению, которому принадлежит интерфейс, отображаемый на экране мобильного телефона. Интерфейс обычно находится в развернутом состоянии, и пользователь может взаимодействовать с приложением переднего плана на интерфейсе. Например, если мобильный телефон отображает интерфейс приложения WeChat, приложение, работающее на переднем плане, в это время является приложением WeChat. В другом примере, если музыкальное приложение на фиг. 4 отображается в развернутом состоянии на экране мобильного телефона, музыкальное приложение в это время является приложением переднего плана. В другом примере, если видео-приложение на фиг. 6 отображается в развернутом состоянии на экране мобильного телефона, видео-приложение является приложением переднего плана в это время. Когда приложение работает в фоновом режиме, мобильный телефон обычно не отображает интерфейс приложения в развернутом состоянии на экране, и интерфейс приложения невидим для пользователя. Однако мобильный телефон может отображать запись (например, значок приложения) приложения заднего плана на экране. Например, как показано на фиг. 7A или фиг. 8, мобильный телефон может отображать в форме плавающего меню идентификатор 701 речевого приложения, работающего в фоновом режиме на интерфейсе приложения переднего плана. Пользователь может перетащить идентификатор 701 в любое место текущего интерфейса. Кроме того, когда мобильный телефон отображает идентификатор 701 речевого приложения, пользователь все еще может взаимодействовать с интерфейсом приложения переднего плана. Например, как показано на фиг. 7A, пользователь может щелкнуть элемент управления, например кнопку 602 воспроизведения, на интерфейсе 601 видео-приложения.

[0113] Обычно речевое приложение состоит из двух частей. Одна часть представляет собой речевую службу (service), работающую в фоновом режиме, и используется для сбора звукового сигнала, введенного пользователем, извлечения звукового сигнала и выполнения преобразования текста, распознавания речи и т.п. Другая часть - это контент, отображаемый на экране мобильного телефона, и используется для отображения интерфейса речевого приложения, например, содержимого диалога между пользователем и речевым приложением. В этом варианте осуществления этой заявки речевое приложение, работающее в фоновом режиме в мобильном телефоне, можно понимать как речевую службу, работающую в фоновом режиме в мобильном телефоне. Конечно, когда речевая служба работает в фоновом режиме, мобильный телефон может альтернативно отображать информацию, такую как идентификатор речевого приложения, в форме плавающего меню и т.п. В вариантах осуществления настоящей заявки это не ограничено.

[0114] Среда выполнения Android включает в себя базовую библиотеку и виртуальную машину. Среда выполнения Android отвечает за планирование и управление системой Android.

[0115] Основная библиотека включает в себя две части: функцию, которую нужно вызывать на языке Java, и базовую библиотеку Android.

[0116] Уровень приложения и уровень инфраструктуры приложения работают на виртуальной машине. Виртуальная машина выполняет java-файлы уровня приложения и уровня инфраструктуры приложения как двоичные файлы. Виртуальная машина сконфигурирована для реализации таких функций, как управление жизненным циклом объекта, управление стеком, управление потоками, управление безопасностью и исключениями, а также сборка мусора.

[0117] Системная библиотека может включать в себя множество функциональных модулей, например, диспетчер поверхностей (surface manager), библиотеку мультимедиа (Media Libraries), библиотеку обработки трехмерной графики (например, OpenGL ES) и механизм 2D-графики (например, SGL).

[0118] Диспетчер поверхностей сконфигурирован для управления подсистемой отображения и обеспечения объединения двухмерных и трехмерных уровней для множества приложений.

[0119] Медиа-библиотека поддерживает воспроизведение и запись во множестве широко используемых аудио- и видеоформатов, файлов статических изображений и т.п. Медиа-библиотека может поддерживать множество форматов кодирования аудио и видео, таких как MPEG4, H.264, MP3, AAC, AMR, JPG и PNG.

[0120] Библиотека обработки трехмерной графики сконфигурирована для реализации рисования трехмерной графики, визуализации изображения, композиции, обработки уровней и т.п.

[0121] Механизм 2D-графики - это механизм рисования для 2D-рисования.

[0122] Уровень ядра - это слой между аппаратным и программным обеспечением. Уровень ядра включает в себя, по меньшей мере, драйвер дисплея, драйвер камеры, аудиодрайвер, драйвер датчика и т.п. В вариантах осуществления настоящей заявки это не ограничено.

[0123] Нижеследующее подробно описывает способ речевого управления, предусмотренный в вариантах осуществления этой заявки, со ссылкой на прилагаемые чертежи.

[0124] Как показано на фиг. 5, способ речевого управления, предоставленный в этом приложении, включает в себя следующие этапы с S501 по S505. Этапы с S501 по S505 описаны с использованием примера, в котором мобильный телефон используется в качестве электронного устройства.

[0125] Этап S501: мобильный телефон отображает первый интерфейс приложения, причем первый интерфейс включает в себя один или несколько элементов управления, используемых для обновления первого интерфейса.

[0126] Обычно на мобильный телефон установлено одно или несколько приложений. После обнаружения операции задействования приложения пользователем, мобильный телефон может начать запускать приложение как приложение переднего плана. В этом случае мобильный телефон может отображать интерфейс приложения на экране касания. Используя первый интерфейс в качестве примера, при отображении первого интерфейса приложения мобильный телефон обычно отображает первый интерфейс в развернутом состоянии, так что пользователь может взаимодействовать с приложением на первом интерфейсе.

[0127] Первый интерфейс, отображаемый мобильным телефоном, обычно включает в себя один или несколько элементов управления. Обычно элемент, представленный в графическом интерфейсе пользователя (GUI), может называться элементом управления, а элемент управления может предоставлять пользователю конкретную операцию. Как показано на фиг. 6, первый интерфейс, отображаемый мобильным телефоном, является интерфейсом 601 воспроизведения видео-приложения. Множество элементов управления, таких как кнопка воспроизведения, кнопка возврата и поле ввода, расположены на интерфейсе 601 воспроизведения. Пользователь может использовать эти элементы управления для обновления отображаемого содержимого мобильного телефона, чтобы мобильный телефон отображал обновленный второй интерфейс. Например, если обнаружено, что пользователь нажимает кнопку возврата на интерфейсе 601 воспроизведения, мобильный телефон отображает меню предыдущего уровня (то есть второй интерфейс) интерфейса 601 воспроизведения в ответ на операцию щелчка. В качестве другого примера, если обнаруживается, что пользователь нажимает кнопку воспроизведения на интерфейсе 601 воспроизведения, мобильный телефон воспроизводит видео на интерфейсе 601 воспроизведения в ответ на операцию щелчка. В этом случае интерфейс, отображаемый на мобильном телефоне, обновляется с первого интерфейса на второй интерфейс.

[0128] Этап S502: В ответ на то, что мобильный телефон принимает заранее установленный сигнал пробуждения, мобильный телефон задействует речевое приложение в фоновом режиме, чтобы начать сбор сигнала речевого управления, введенного пользователем.

[0129] Например, перед задействованием речевого приложения мобильный телефон может установить микрофон в состояние «всегда включен» (always on). В этом случае, когда мобильный телефон отображает интерфейс (например, первый интерфейс) приложения, микрофон мобильного телефона собирает звуковой сигнал на конкретной рабочей частоте.

[0130] Как показано на фиг. 6 мобильный телефон отображает интерфейс 601 воспроизведения (то есть первый интерфейс) «Игры престолов» («Game of Thrones») в видеоприложении. Когда микрофон собирает звуковой сигнал, мобильный телефон может дополнительно распознавать, является ли собранный звуковой сигнал предварительно установленным сигналом пробуждения. Например, после того, как пользователь отправляет звуковой сигнал «Привет, Xiao E», мобильный телефон может собирать звуковой сигнал с помощью микрофона. Если мобильный телефон распознает, что звуковой сигнал является предварительно установленным сигналом пробуждения, это указывает, что в это время пользователь ожидает выполнить связанную речевую задачу с помощью функции распознавания речи, предоставляемой речевым приложением. В этом случае, чтобы избежать блокировки первого интерфейса (например, интерфейса 601 воспроизведения), который отображается мобильным телефоном, мобильный телефон может задействовать речевое приложение в фоновом режиме. Например, как показано на фиг. 7A, после задействования речевого приложения в фоновом режиме, мобильный телефон может отображать значок 701 речевого приложения в интерфейсе 601 воспроизведения. Значок 701 используется для указания того, что речевое приложение работает в фоновом режиме мобильного телефона. Поскольку речевое приложение работает в фоновом режиме мобильного телефона, мобильный телефон может по-прежнему отвечать на различные операции, выполняемые пользователем в интерфейсе 601 воспроизведения, например, операцию щелчка пользователем кнопки воспроизведения. Конечно, в качестве альтернативы может быть предварительно установлено, что при задействовании речевого приложения в фоновом режиме мобильный телефон не может отвечать на различные операции, выполняемые пользователем в первом интерфейсе (например, интерфейсе 601 воспроизведения). В вариантах осуществления настоящей заявки это не ограничено.

[0131] После того, как мобильный телефон задействует речевое приложение в фоновом режиме, пользователь может начать вводить в речевое приложение сигнал речевого управления, который, как ожидается, будет выполнен мобильным телефоном, например, позвонив контакту Сэму, или начать воспроизведение видео. Следовательно, после задействования речевого приложения в фоновом режиме мобильный телефон может продолжать использовать микрофон для сбора сигнала речевого управления, введенного пользователем. Например, в мобильном телефоне можно настроить автоматическое включение микрофона на пять секунд после задействования речевого приложения для сбора сигнала речевого управления, введенного пользователем в течение пяти секунд. В другом примере мобильный телефон может установить значок 701 речевого приложения в качестве кнопки включения/выключения микрофона. Если обнаружено, что пользователь щелкает значок 701, мобильный телефон может активировать микрофон на пять секунд для сбора сигнала речевого управления, введенного пользователем в течение пяти секунд. В качестве другого примера, если обнаруживается, что пользователь щелкает значок 701, мобильный телефон включает микрофон и сохраняет микрофон в рабочем состоянии для сбора сигнала речевого управления, введенного пользователем. После обнаружения того, что пользователь снова щелкает значок 701, мобильный телефон может отключить микрофон.

[0132] Следует отметить, что сигнал пробуждения может включать в себя другой сигнал в дополнение к слову пробуждения, введенному пользователем посредством речи. Например, сигнал пробуждения может быть сигналом щелчка пользователя по кнопке, или сигнал пробуждения может быть жестом касания пользователя. В вариантах осуществления настоящей заявки это не ограничено.

[0133] Кроме того, в мобильном телефоне можно предварительно настроить приложения, которым разрешено использовать речевое приложение. Например, может быть установлено, что приложение WeChat имеет разрешение на использование речевого приложения, но приложение Alipay не имеет разрешения на использование речевого приложения. В этом случае, когда мобильный телефон запускает на переднем плане приложение, имеющее разрешение на использование речевого приложения, если мобильный телефон принимает сигнал пробуждения, введенный пользователем, мобильный телефон может задействовать речевое приложение на заднем плане. Соответственно, если мобильный телефон запускает на переднем плане приложение или интерфейс приложения, не имеющего разрешения на использование речевого приложения, после того, как мобильный телефон принимает сигнал пробуждения, введенный пользователем, мобильный телефон может запустить речевое приложение на переднем плане. Как показано на фиг. 7B, при запуске речевого приложения на переднем плане мобильный телефон может отображать интерфейс 702 речевого приложения в развернутом состоянии. Интерфейс 702 может включать в себя элементы управления речевым приложением. В интерфейсе 702 мобильный телефон может отображать содержимое диалога между пользователем и речевым приложением.

[0134] Этап S503: мобильный телефон получает файл конфигурации, связанный с первым интерфейсом, где файл конфигурации записывает речевую задачу, которая может быть выполнена мобильным телефоном на первом интерфейсе.

[0135] Поскольку пользователь задействует речевое приложение, когда мобильный телефон отображает первый интерфейс, после задействования речевого приложения пользователь, вероятно, захочет выполнить речевую задачу, связанную с первым интерфейсом, с помощью речевого приложения. Например, первый интерфейс - это интерфейс 601 воспроизведения. Когда мобильный телефон отображает интерфейс 601 воспроизведения, если мобильный телефон обнаруживает сигнал пробуждения, введенный пользователем, это указывает на то, что пользователю, вероятно, необходимо выполнить конкретную операцию на операционной кнопке в интерфейсе 601 воспроизведения с использованием речевого приложения. Например, когда пользователю неудобно щелкать кнопку 602 воспроизведения на интерфейсе 601 воспроизведения любой рукой, пользователь может захотеть реализовать, используя функцию речевого управления речевого приложения, операцию отображения видео «Игра престолов» в интерфейсе 601 воспроизведения.

[0136] В этом варианте осуществления этой заявки мобильный телефон может предварительно сохранить файл конфигурации каждого приложения. Например, каждое приложение соответствует одному или нескольким файлам конфигурации. Для одного файла конфигурации файл конфигурации записывает речевую задачу, поддерживаемую речевым приложением на разных интерфейсах одного приложения. В качестве альтернативы один файл конфигурации может записывать только речевую задачу, поддерживаемую речевым приложением, на одном интерфейсе одного приложения. Используя вышеупомянутое видео-приложение в качестве примера, разработчик видео-приложения может установить файл 1 конфигурации интерфейса воспроизведения и файл 2 конфигурации домашней страницы в установочном пакете видео-приложения. Файл конфигурации 1 записывает речевую задачу, которая может выполняться речевым приложением в интерфейсе воспроизведения видео-приложения, например, воспроизведение, быстрая перемотка вперед или переключение на следующий эпизод. Файл конфигурации 2 записывает речевую задачу, которая может выполняться речевым приложением на домашней странице видео-приложения, например, просмотр предшествующей записи воспроизведения или поиск по ключевому слову. При установке видео приложения мобильный телефон может локально хранить файл 1 конфигурации и файл 2 конфигурации, которые предоставляются в установочном пакете видео-приложения.

[0137] В качестве альтернативы мобильный телефон может автоматически сгенерировать файл 1 конфигурации и файл 2 конфигурации. Например, при запуске интерфейса 601 воспроизведения видео-приложения мобильный телефон может получать кнопки, включенные в интерфейс 601 воспроизведения, и атрибуты кнопок. Используя кнопку 602 воспроизведения в качестве примера, атрибут кнопки 602 воспроизведения состоит в том, что кнопка 602 воспроизведения имеет тип кнопки, по которой можно щелкнуть, и щелчок по кнопке 602 воспроизведения может использоваться для начала воспроизведения видео или остановки воспроизведения видео. В этом случае мобильный телефон может записывать в файле 1 конфигурации задачу воспроизведения и задачу паузы в качестве речевых задач, поддерживаемых интерфейсом 601 воспроизведения. Аналогично мобильный телефон записывает в файл 1 конфигурации речевую задачу, соответствующую другой кнопке на интерфейсе 601 воспроизведения, и, наконец, генерирует файл 1 конфигурации, соответствующий интерфейсу 601 воспроизведения.

[0138] Например, файл конфигурации может быть файлом в формате XML (Extensible Markup Language, расширяемый язык разметки). Например, конкретное содержимое файла 1 конфигурации выглядит следующим образом:

<VoiceIntentList>

<VoiceIntent //Speech task 1

intentId="@id/intent_power" //The speech task 1 is the playback task

bindViewId="@id/power" //A button corresponding to the speech task 1 is the playback button

voiceOnClick="voiceSwitchPower" //An operation corresponding to the speech task 1 is clicking the playback button

voiceTags="@string/power_controller"/> //Remarks: (Optional) power control

<VoiceIntent //Speech task 2

…>

<VoiceIntent //Speech task 3

…>

[0139] Можно узнать, что файл 1 конфигурации записывает одну или несколько речевых задач, которые разрешено выполнять речевым приложением в интерфейсе воспроизведения видео-приложения. Речевая задача 1 используется в качестве примера. Поле intentId записывает, что конкретное содержимое речевой задачи 1 является задачей воспроизведения. Поле bindViewId записывает, что кнопка, на которой выполняется речевая задача 1, является кнопкой воспроизведения в интерфейсе воспроизведения. Поле voiceOnClick записывает, что конкретная операция, выполняемая на мобильном телефоне при выполнении речевой задачи 1 - это щелчок по кнопке воспроизведения.

[0140] В частности, файл 1 конфигурации дополнительно записывает соответствие между речевой задачей 1 и событием касания для щелчка кнопки воспроизведения в интерфейсе воспроизведения. Для мобильного телефона, когда мобильный телефон принимает сигнал речевого управления для входа в задачу воспроизведения пользователем, это эквивалентно тому, что мобильный телефон обнаруживает, что пользователь щелкает кнопку воспроизведения в интерфейсе воспроизведения. При желании в поле voiceTags записывается примечание к речевой задаче 1. Например, некоторые пользователи привыкли вызывать операцию воспроизведения как управление питанием. Следовательно, управление питанием можно назвать другим способом выражения задачи воспроизведения. Впоследствии, при обнаружении сигнала речевого управления, относящегося к управлению питанием, введенному пользователем, мобильный телефон может определить, со ссылкой на примечание речевой задачи 1, что речевая задача, которую пользователь ожидает выполнить, является задачей воспроизведения.

[0141] Если мобильный телефон впоследствии определяет, что сигнал речевого управления, введенный пользователем, соответствует задаче воспроизведения, мобильный телефон может выполнить на основе поля bindViewId и поля voiceOnClick в файле 1 конфигурации связанную функцию (например, Функцию обратного вызова voiceSwitchPower), соответствующую щелчку кнопки воспроизведения в видео-приложении. Таким образом, реализована функция управления мобильным телефоном в видео-приложении с помощью сигнала речевого управления для выполнения задачи воспроизведения.

[0142] В частности, на этапе S503, после того как мобильный телефон задействует речевое приложение на уровне приложения, речевое приложение может сообщить о событии задействования речевого приложения диспетчеру VUI на уровне инфраструктуры приложения. После обнаружения события задействования, диспетчер VUI может получить файл конфигурации, связанный с отображаемым в данный момент первым интерфейсом. Например, диспетчер VUI может сначала определить, что интерфейс, работающий на переднем плане, является интерфейсом 601 воспроизведения видео-приложения. Затем диспетчер VUI может считывать на основе идентификатора интерфейса 601 воспроизведения файл 1 конфигурации, который установлен в видео-приложении для интерфейса 601 воспроизведения. Файл конфигурации 1 записывает одну или несколько речевых задач, которые разрешено выполнять речевым приложением в интерфейсе воспроизведения видео-приложения.

[0143] Этап S504: мобильный телефон отображает подсказку речевого ввода на первом интерфейсе на основе файла конфигурации.

[0144] После задействования речевого приложения на первом интерфейсе пользователь может не знать конкретных речевых задач, которые могут быть выполнены речевым приложением на первом интерфейсе. Следовательно, пользователь не может точно использовать различные функции распознавания речи, предоставляемые речевым приложением. На этапе S504, после того как мобильный телефон получит файл конфигурации, связанный с первым интерфейсом, поскольку все речевые задачи, записанные в файле конфигурации, могут быть выполнены речевым приложением на первом интерфейсе, мобильный телефон может отображать одну или несколько речевых задач в файле конфигурации в качестве подсказок речевого ввода на первом интерфейсе, чтобы подсказать пользователю отправлять точные сигналы речевого управления для функций управления на первом интерфейсе.

[0145] Например, после получения файла 1 конфигурации интерфейса 601 воспроизведения, диспетчер VUI может отображать в интерфейсе 601 воспроизведения в форме подсказки речевого ввода речевую задачу, записанную в файле 1 конфигурации. Как показано на фиг. 8, мобильный телефон может отображать одну или несколько подсказок 801 речевого ввода рядом со значком 701 речевого приложения. Каждая подсказка 801 речевого ввода соответствует одной речевой задаче в файле 1 конфигурации. Обычно каждая речевая задача связана с одним или несколькими элементами управления в интерфейсе 601 воспроизведения. Следовательно, каждая подсказка речевого ввода также связана с одним или несколькими элементами управления в первом интерфейсе. Например, когда задача воспроизведения записана в файле 1 конфигурации, и задача воспроизведения соответствует кнопке воспроизведения на интерфейсе 601 воспроизведения, мобильный телефон может отображать соответствующую подсказку речевого ввода «воспроизведение». Когда задача быстрой перемотки вперед записана в файле 1 конфигурации, и задача быстрой перемотки вперед соответствует кнопке перемотки вперед на интерфейсе 601 воспроизведения и ползунку на полосе воспроизведения видео, мобильный телефон может отображать соответствующую подсказку речевого ввода «быстрая перемотка вперед на x секунд», где x - любое положительное целое число, например, «быстрая перемотка вперед на 10 секунд» на фиг. 8.

[0146] Когда имеется относительно большое количество подсказок речевого ввода, кнопка 802 «больше» может отображаться на интерфейсе 601 воспроизведения. Если обнаружено, что пользователь нажимает кнопку 802 «больше», мобильный телефон может полностью отобразить скрытую подсказку 801 речевого ввода в интерфейсе 601 воспроизведения. Перед тем, как пользователь щелкнет кнопку «больше», мобильный телефон может отображать, в зависимости от привычки пользователя, только несколько подсказок 801 речевого ввода, которые наиболее часто используются пользователем. Кроме того, мобильный телефон может интеллектуально распознавать речь пользователя. Например, в подсказке 801 речевого ввода, показанной на фиг. 8, есть голосовая подсказка «быстрая перемотка вперед на 10 секунд». Если речевой инструкцией, предоставленной пользователем, является «быстрая перемотка вперед на 15 секунд», мобильный телефон может по-прежнему понимать намерение пользователя, разделив инструкцию на две инструкции: «быстрая перемотка вперед» и «15 секунд», и перемотать видео вперед на 15 секунд.

[0147] В вышеупомянутом варианте осуществления для описания используется пример, в котором подсказка 801 речевого ввода отображается в интерфейсе 601 воспроизведения. Можно понять, что, когда мобильный телефон отображает интерфейс другого приложения, мобильный телефон может также подсказывать, в форме подсказки речевого ввода, пользователю с речевой задачей, поддерживаемой текущим интерфейсом, согласно вышеизложенному способу. Например, как показано на фиг. 9 (А), когда мобильный телефон отображает интерфейс 901 фотографирования приложения камеры, если мобильный телефон обнаруживает, что мобильный телефон задействует речевое приложение в фоновом режиме, мобильный телефон может получить файл конфигурации, связанный с интерфейсом 901 фотографирования приложения камеры, и дополнительно отображать речевую задачу в файле конфигурации на интерфейсе 901 фотографирования в форме подсказки 902 речевого ввода. Например, подсказка 902 речевого ввода может включать в себя «фотографирование», «запись», «фотографирование себя», «просмотр фотографии» и т.п. «Фотографирование» соответствует кнопке фотографирования на интерфейсе 901 фотографирования. «запись» соответствует кнопке записи на интерфейсе 901 фотографирования. «Фотографирование себя» соответствует кнопке для задействования фронтальной камеры, которая находится на интерфейсе 901 фотографирования. «Просмотр фотографии» соответствует миниатюре 903 фотографии в интерфейсе 901 фотографирования. Все речевые задачи, соответствующие подсказкам 902 речевого ввода, являются задачами, которые могут выполняться речевым приложением в интерфейсе 901 фотографирования.

[0148] Например, когда мобильный телефон отображает интерфейс 901 фотографирования, показанный на фиг. 9(А), если мобильный телефон обнаруживает, что пользователь вводит сигнал речевого управления «фотографирование», мобильный телефон может вызвать речевое приложение для выполнения операции фотографирования, соответствующей сигналу речевого управления, в ответ на сигнал речевого управления. После завершения операции фотографирования мобильный телефон может продолжать отображать интерфейс 901 фотографирования приложения камеры. В этом случае, как показано на фиг. 9(В), миниатюра 903 фотографии, полученная мобильным телефоном при предыдущем фотографировании, также может отображаться в интерфейсе 901 фотографирования. Кроме того, мобильный телефон может продолжать отображать подсказку 902 речевого ввода, соответствующую интерфейсу 901 фотографирования. В этом случае, если пользователь хочет просмотреть фотографию, полученную при предыдущем фотографировании, пользователь может ввести в мобильный телефон сигнал речевого управления «просмотр фотографии». В ответ на сигнал речевого управления, как показано на фиг. 10, мобильный телефон может задействовать приложение галереи, чтобы отображать интерфейс 904 просмотра последнего изображения. Кроме того, мобильный телефон может получить файл конфигурации, связанный с интерфейсом 904 просмотра, и дополнительно отображать речевую задачу в файле конфигурации в интерфейсе 904 просмотра в форме подсказки 905 речевого ввода. Например, подсказка 905 речевого ввода может включать в себя «увеличение», «уменьшение», «следующее», «возврат к камере» и т.п. Фотография, отображаемая в интерфейсе 904 просмотра, также может использоваться в качестве элемента управления, и подсказки 905 речевого ввода, такие как «увеличить», «уменьшить» и «следующее», все соответствуют фотографии. «Увеличение» соответствует выполнению операции увеличения фотографии. «Уменьшение» соответствует выполнению операции уменьшения фотографии. «Следующее» соответствует выполнению операции пролистывания относительно фотографии. Если интерфейс 904 просмотра включает в себя кнопку, используемую для отображения следующей фотографии, «следующее» может дополнительно соответствовать кнопке, используемой для отображения следующей фотографии.

[0149] Кроме того, если мобильный телефон имеет функцию распознавания лиц, мобильный телефон может дополнительно автоматически распознавать лицо, включенное в интерфейс 904 просмотра, например, пользователя A. Кроме того, если принятый сигнал речевого управления, введенный пользователем, «усилить пользователя A», мобильный телефон может увеличивать отображаемое в данный момент изображение, используя местоположение пользователя A (например, лицо пользователя A) в качестве центра.

[0150] Другими словами, после того, как мобильный телефон отображает интерфейс приложения и задействует речевое приложение в фоновом режиме, мобильный телефон может подсказать пользователю речевую задачу, которая может быть выполнена речевым приложением в текущем интерфейсе. Таким образом, пользователь может точно узнать, как использовать речевое приложение для управления различными функциями текущего интерфейса с помощью речи. Это повышает эффективность использования речевого приложения.

[0151] Кроме того, подсказки речевого ввода, отображаемые мобильным телефоном в интерфейсе одного и того же приложения, также могут динамически изменяться. Например, если мобильный телефон обнаруживает, что видео воспроизводится на интерфейсе 601 воспроизведения, мобильный телефон может скрыть подсказку речевого ввода «воспроизведение». Соответственно, если обнаружено, что пользователь приостанавливает воспроизведение видео на интерфейсе 601 воспроизведения, мобильный телефон может отображать подсказку речевого ввода «воспроизведение», и мобильный телефон может скрывать подсказку речевого ввода «пауза». В вариантах осуществления настоящей заявки это не ограничено.

[0152] Например, после задействования речевого приложения мобильный телефон может сразу отображать подсказку речевого ввода, относящуюся к первому интерфейсу. В качестве альтернативы, после задействования речевого приложения, если мобильный телефон не собирает в течение конкретного времени (например, двух секунд) сигнал речевого управления, введенный пользователем, это указывает на то, что пользователь может не знать, как использовать речевое приложение в этом случае. Следовательно, мобильный телефон может отображать подсказку речевого ввода, относящуюся к первому интерфейсу. В качестве альтернативы, как показано на фиг. 11, после задействования речевого приложения мобильный телефон может отображать кнопку 1001 подсказки на первом интерфейсе (например, интерфейсе 601 воспроизведения). Если обнаружено, что пользователь щелкает кнопку 1001 подсказки, мобильный телефон может отображать на интерфейсе 601 воспроизведения согласно вышеизложенному способу соответствующую подсказку 801 речевого ввода, показанную на фиг. 8.

[0153] После отображения подсказки речевого ввода на первом интерфейсе в течение некоторого периода времени (например, трех секунд) мобильный телефон может автоматически скрыть подсказку речевого ввода. В качестве альтернативы, после того, как мобильный телефон отображает подсказку речевого ввода на первом интерфейсе, если мобильный телефон не собирает в течение конкретного времени никакого сигнала речевого управления, введенного пользователем, или не обнаруживает событие ввода пользователя на экране касания в течение конкретного периода времени, мобильный телефон может автоматически скрывать подсказку речевого ввода на первом интерфейсе.

[0154] Следует отметить, что упомянутый этап (то есть этап S504), на котором мобильный телефон отображает подсказку речевого ввода на первом интерфейсе, является необязательным этапом. Другими словами, после задействования речевого приложения в фоновом режиме, мобильный телефон может не подсказывать пользователю речевую задачу, поддерживаемую речевым приложением в текущем интерфейсе. В вариантах осуществления настоящей заявки это не ограничено.

[0155] Независимо от того, отображает ли мобильный телефон подсказку для речевого ввода, после того, как мобильный телефон задействует речевое приложение в фоновом режиме, пользователь может ввести сигнал речевого управления на мобильный телефон с помощью речевого приложения. В этом случае, после того как речевое приложение соберет сигнал речевого управления, введенный пользователем, следующий этап S505 может выполняться.

[0156] Этап S505: в ответ на сигнал речевого управления, собранный речевым приложением, мобильный телефон выполняет речевую задачу, соответствующую сигналу речевого управления, так что мобильный телефон обновляет отображаемый первый интерфейс на второй интерфейс.

[0157] По-прежнему используя интерфейс 601 воспроизведения в качестве примера, после того, как мобильный телефон отображает подсказку 801 речевого ввода в интерфейсе 601 воспроизведения, пользователь может ввести соответствующий сигнал речевого управления в мобильный телефон на основе подсказки 801 речевого ввода. В этом случае речевое приложение по-прежнему работает в фоновом режиме. Следовательно, речевое приложение может собирать с помощью микрофона сигнал речевого управления, введенный пользователем. Например, после того, как пользователь вводит сигнал речевого управления, такой как «воспроизведение» или «начало воспроизведения», речевое приложение может преобразовать, используя предварительно установленный алгоритм распознавания речи, сигнал речевого управления, введенный пользователем, в текстовый сигнал и выполнять семантическое понимание, чтобы распознавать фактическую речевую задачу, соответствующую сигналу речевого управления. Дополнительно, речевое приложение может сообщать о распознанной фактической речевой задаче диспетчеру VUI на уровне инфраструктуры приложения. Диспетчер VUI сравнивает фактическую речевую задачу с речевой задачей, записанной в файле 1 конфигурации, полученном на этапе S503, чтобы определить, является ли введенный пользователем сигнал речевого управления речевой задачей, поддерживаемой в файле 1 конфигурации.

[0158] Если сигнал речевого управления, введенный пользователем, является речевой задачей в файле 1 конфигурации, например, сигнал речевого управления «воспроизведение», введенный пользователем, является речевой задачей 1 в файле 1 конфигурации, диспетчер VUI может выполнить, на основе файла 1 конфигурации событие касания, соответствующее речевой задаче 1. По-прежнему используя речевую задачу 1 в качестве примера, файл 1 конфигурации записывает, что речевая задача 1 соответствует кнопке воспроизведения и, в частности, соответствует событию касания для щелчка кнопки воспроизведения в интерфейсе воспроизведения. Это указывает на то, что пользователь ожидает, вводя сигнал речевого управления «воспроизведение», для управления кнопкой 602 воспроизведения в интерфейсе 601 воспроизведения, чтобы реализовать функцию воспроизведения. В этом случае диспетчер VUI может выполнять на основе поля bindViewId и поля voiceOnClick в файле 1 конфигурации связанную функцию (например, функцию обратного вызова voiceSwitchPower в речевой задаче 1), соответствующую щелчку кнопки воспроизведения в видео-приложении, чтобы реализовать в видео-приложении речевую задачу, соответствующую сигналу речевого управления «воспроизведение». В этом случае, как показано на фиг. 12, после щелчка кнопки 602 воспроизведения на интерфейсе 601 воспроизведения видеоконтент, воспроизводимый мобильным телефоном, изменяется. Кроме того, первоначально отображаемая кнопка 602 воспроизведения может быть обновлена до кнопки 1103 паузы. Другими словами, интерфейс, отображаемый мобильным телефоном, обновляется с первого интерфейса на второй интерфейс 1102.

[0159] Кроме того, как показано на фиг. 12, после реализации речевой задачи, соответствующей сигналу речевого управления «воспроизведение», речевое приложение может дополнительно отображать информацию 1101 ответа для сигнала речевого управления, введенного пользователем, чтобы подсказывать пользователю, что ответ на сигнал речевого управления выполнен. Впоследствии пользователь может продолжить связь с речевым приложением, чтобы завершить ответ на другой сигнал речевого управления.

[0160] В качестве альтернативы, после того, как мобильный телефон определит, что сигнал речевого управления, введенный пользователем, является речевой задачей 1 в файле 1 конфигурации, поскольку речевая задача 1 записывает, что задача является конкретно задачей воспроизведения, а кнопка, используемая для задачи, является кнопкой воспроизведения, диспетчер VUI может дополнительно сообщить о событии щелчка кнопки воспроизведения в видео-приложение. Например, диспетчер VUI может нести координаты кнопки воспроизведения в событии щелчка, чтобы сообщить координаты видео-приложению. Дополнительно, в ответ на событие щелчка видео приложение может вызывать связанную функцию на уровне инфраструктуры для выполнения задачи воспроизведения для воспроизведения видео.

[0161] Можно узнать, что в этом варианте осуществления этой заявки соответствующий файл конфигурации может быть установлен для каждого интерфейса в приложении. Файл конфигурации записывает речевую задачу, поддерживаемую соответствующим интерфейсом, и конкретное событие касания, соответствующее речевой задаче. Таким образом, при запуске интерфейса приложения мобильный телефон может преобразовать на основе файла конфигурации интерфейса сигнал речевого управления, введенный пользователем, в соответствующее событие касания, а затем выполнить событие касания, чтобы реализовать функцию управления каждой кнопкой операции на интерфейсе приложения с помощью речи. Таким образом, мобильный телефон может реализовать на каждом интерфейсе приложения функцию речевого управления для каждой кнопки управления на интерфейсе. Это повышает эффективность речевого управления на мобильном телефоне и повышает удобство использования.

[0162] Кроме того, после определения того, что введенный пользователем сигнал речевого управления является задачей воспроизведения в файле 1 конфигурации, мобильный телефон может дополнительно отображать в интерфейсе 601 воспроизведения эффект анимации операции управления касанием для щелчка кнопки 602 воспроизведения, чтобы визуально подсказывать пользователю, что мобильный телефон отвечает на сигнал речевого управления, введенный пользователем. В качестве другого примера, когда пользователь вводит с помощью речи текст (например, номер телефона) в интерфейсе, который отображается на мобильном телефоне, мобильный телефон также может представлять в интерфейсе процесс ввода номер телефона для пользователя, так что пользователь получает хороший пользовательский опыт как в графическом интерфейсе пользователя (графический интерфейс пользователя, graphical user interface), так и в VUI.

[0163] Например, после того, как мобильный телефон определяет, что сигнал речевого управления, введенный пользователем, является задачей воспроизведения в файле 1 конфигурации, мобильный телефон может имитировать процесс отображения события щелчка на экране касания, выполнив следующий код:

new OnVoiceClickListener{

public void onVoiceClick(final View view){

view.setPressed(true); //Simulate finger pressing and display a pressed state

view.performClick(); //Execute a callback function corresponding to a click event

view.postDelayed(new RealsePressed(view),500); //After 500 ms, simulate finger release and display a release state

}

}

[0164] Соответственно, если сигнал речевого управления, введенный пользователем, не принадлежит речевой задаче в файле конфигурации первого интерфейса, это указывает на то, что мобильный телефон не поддерживает выполнение на текущем первом интерфейсе сигнала речевого управления, отправленного пользователем. Мобильный телефон может подсказывать пользователю, используя речевое приложение, что речевую задачу нельзя выполнить, или подсказать пользователю повторно ввести речевую задачу.

[0165] В некоторых других вариантах осуществления, как показано на фиг. 13, после сбора с помощью речевого приложения сигнала речевого управления, введенного пользователем, мобильный телефон может дополнительно отправить сигнал речевого управления на сервер. Например, когда сигнал речевого управления, введенный пользователем, является относительно сложным, и, следовательно, речевому приложению трудно распознать сигнал речевого управления, мобильный телефон может отправить сигнал речевого управления, введенный пользователем, на сервер. Сервер выполняет семантическое распознавание и понимание сигнала речевого управления, введенного пользователем, для распознавания фактической речевой задачи, соответствующей сигналу речевого управления. Впоследствии сервер может отправить распознанную фактическую речевую задачу на мобильный телефон, чтобы мобильный телефон сравнивал фактическую речевую задачу с фактической задачей в соответствующем файле конфигурации, чтобы определить, является ли сигнал речевого управления, введенный пользователем, речевой задачей, поддерживаемой в файле конфигурации.

[0166] Например, в этом варианте осуществления этой заявки, помимо отправки на сервер сигнала речевого управления, введенного пользователем, мобильный телефон может дополнительно отправлять на сервер информацию об интерфейсе первого интерфейса. Например, информация об интерфейсе первого интерфейса может быть идентификатором первого интерфейса, или может быть типом страницы (например, интерфейсом настроек или интерфейсом чата) первого интерфейса, или может быть типом (например, видео-приложение) приложения, которому принадлежит первый интерфейс, именем пакета (package name) и т.п.

[0167] Например, на мобильный телефон пользователя установлено приложение Ctrip и приложение Booking. Приложение Booking - одно из приложений по умолчанию, используемых приложением для голосовых сообщений в мобильном телефоне. Однако, как показано на фиг. 13, мобильный телефон в настоящее время отображает домашнюю страницу 1201 приложения Ctrip. Когда мобильный телефон включает речевое приложение в фоновом режиме, речевое приложение собирает сигнал речевого управления, введенный пользователем «Я хочу забронировать авиабилет». Дополнительно, мобильный телефон может отправлять на сервер сигнал речевого управления, собранный речевым приложением. Дополнительно, мобильный телефон может дополнительно отправлять на сервер информацию об интерфейсе (например, имя пакета приложения Ctrip) текущей запущенной домашней страницы 1201. Таким образом, сервер может выполнять распознавание речи по сигналу речевого управления «Я хочу забронировать авиабилет» со ссылкой на информацию об интерфейсе и распознавать, что фактическая речевая задача, отправляемая пользователем: бронирование авиабилета с использованием приложения Ctrip вместо приложения Booking. В этом случае после того, как сервер отправит распознанную фактическую речевую задачу на мобильный телефон, мобильный телефон может автоматически задействовать интерфейс поиска авиабилетов приложения Ctrip на основе фактической речевой задачи в ответ на сигнал речевого управления «я хочу забронировать авиабилет».

[0168] Соответственно, если интерфейс, отображаемый в настоящее время мобильным телефоном, не является интерфейсом приложения Ctrip, например, когда мобильный телефон в настоящее время отображает рабочий стол (который также может называться домашним экраном, homescreen), если мобильный телефон задействует речевое приложение в фоновом режиме, и речевое приложение собирает сигнал речевого управления, введенный пользователем «я хочу забронировать авиабилет», мобильный телефон может отправлять на сервер сигнал речевого управления, собранный речевым приложением. Дополнительно, мобильный телефон может дополнительно отправлять на сервер информацию об интерфейсе рабочего стола, работающего в данный момент. Таким образом, сервер может выполнять распознавание речи по сигналу речевого управления «я хочу забронировать авиабилет» со ссылкой на информацию об интерфейсе и распознавать, что фактическая речевая задача, отправляемая пользователем: бронирование авиабилета с использованием приложение Booking по умолчанию, вместо бронирования авиабилета с помощью приложения Ctrip. В этом случае после того, как сервер отправит распознанную фактическую речевую задачу на мобильный телефон, мобильный телефон может автоматически включить интерфейс поиска авиабилетов в приложении Booking на основе фактической речевой задачи в ответ на сигнал речевого управления «я хочу забронировать авиабилет».

[0169] Другими словами, в этом варианте осуществления этой заявки мобильный телефон может активно отправлять на сервер информацию об интерфейсе запущенного приложения. Поскольку информация интерфейса может отражать текущий сценарий фактического использования мобильного телефона, сервер может более точно выполнять, со ссылкой на информацию интерфейса, распознавание речи по сигналу речевого управления, введенному пользователем. Таким образом, фактическая речевая задача, отправляемая пользователем, определяется более точно.

[0170] Как показано на фиг. 14, вариант осуществления этой заявки раскрывает электронное устройство, в том числе: экран 1401 касания, где экран 1401 касания включает в себя поверхность 1406 касания и дисплей 1407; один или несколько процессоров 1402; память 1403; коммуникационный модуль 1408; одно или несколько приложений (не показаны); одну или несколько компьютерных программ 1404, где вышеупомянутые компоненты могут быть соединены с помощью одной или нескольких коммуникационных шин 1405. Одна или несколько компьютерных программ 1404 хранятся в памяти 1403 и сконфигурированы для выполнения одним или несколькими процессорами 1402. Одна или несколько компьютерных программ 1404 включают в себя инструкцию. Инструкцию можно использовать для выполнения этапов в вышеупомянутых вариантах осуществления. Например, инструкция может использоваться для выполнения этапов, показанных на фиг. 5.

[0171] Приведенное выше описание исполнений позволяет специалисту в данной области техники понять, что в целях удобного и краткого описания разделение вышеупомянутых функциональных модулей взято в качестве примера для иллюстрации. В фактическом применении вышеупомянутые функции могут быть назначены различным модулям и реализованы в соответствии с требованиями, то есть внутренняя структура устройства разделена на разные функциональные модули для реализации всех или некоторых функций, описанных выше. Для подробного рабочего процесса вышеупомянутой системы, устройства и блока обратитесь к соответствующему процессу в вышеупомянутых вариантах осуществления способа, и подробности здесь снова не описываются.

[0172] Функциональные блоки в вариантах осуществления этой заявки могут быть интегрированы в один блок обработки, или каждый из блоков может существовать отдельно физически, или два или более блоков интегрированы в один блок. Интегрированный блок может быть реализован в виде аппаратных средств или может быть реализован в виде программного функционального блока.

[0173] Когда интегрированный блок реализуется в форме программного функционального блока и продается или используется как самостоятельный продукт, интегрированный блок может храниться на машиночитаемом носителе данных. Основываясь на таком понимании, технические решения вариантов осуществления этой заявки по существу или часть, вносящая вклад в предшествующий уровень техники, или все или некоторые из технических решений могут быть реализованы в форме программного продукта. Компьютерный программный продукт хранится на носителе хранения и включает в себя некоторые инструкции для инструктирования вычислительного устройства (которое может быть персональным компьютером, сервером, сетевым устройством) выполнять все или некоторые этапы способа, описанного в вариантах осуществления этой заявки. Вышеупомянутый носитель данных включает в себя: любой носитель, который может хранить программный код, такой как флэш-память, съемный жесткий диск, постоянное запоминающее устройство, оперативное запоминающее устройство, магнитный диск или оптический диск.

[0174] Вышеприведенные описания являются просто конкретными реализациями вариантов осуществления этой заявки, но не предназначены для ограничения объема защиты вариантов осуществления этой заявки. Любое изменение или замена в пределах технического объема, раскрытого в вариантах осуществления этой заявки, должны подпадать под объем защиты вариантов осуществления этой заявки. Следовательно, объем защиты вариантов осуществления этой заявки должен быть предметом объема защиты формулы изобретения.

1. Электронное устройство, содержащее:

экран касания, причем экран касания содержит поверхность, чувствительную к касанию, и дисплей;

один или более процессоров;

одну или несколько памятей; и

одну или несколько компьютерных программ, при этом одна или несколько компьютерных программ хранятся в одной или нескольких памятях, причем одна или несколько компьютерных программ содержат инструкцию, и когда инструкция выполняется одним или несколькими процессорами, электронное устройство задействуется, чтобы выполнять следующие этапы, чтобы:

отображать первый интерфейс первого приложения, при этом первый интерфейс содержит элемент управления, используемый для обновления первого интерфейса;

задействовать речевое приложение на заднем плане в ответ на сигнал пробуждения, введенный пользователем;

отображать на первом интерфейсе M подсказок речевого ввода, при этом каждая подсказка речевого ввода из упомянутых M подсказок речевого ввода соответствует одному элементу управления на первом интерфейсе, а M является целым числом, большим 0;

собирать первый сигнал речевого управления, введенный пользователем, при этом сигнал речевого управления соответствует первой подсказке речевого ввода в M подсказках речевого ввода;

отображать второй интерфейс первого приложения в ответ на первый сигнал речевого управления, при этом второй интерфейс представляет собой интерфейс, полученный посредством обновления после того, как инициирован первый элемент управления на первом интерфейсе, а первый элемент управления соответствует первой подсказке речевого ввода;

отображать третий интерфейс второго приложения;

отображать L подсказок речевого ввода на третьем интерфейсе, причем третий интерфейс содержит элемент управления для обновления третьего интерфейса, каждая подсказка речевого ввода из L подсказок речевого ввода соответствует одному элементу управления на третьем интерфейсе, L представляет собой целое число больше 0, и L подсказок речевого ввода отличаются от M подсказок речевого ввода;

собирать второй сигнал речевого управления, введенный пользователем, причем второй сигнал речевого управления соответствует второй подсказке речевого ввода из L подсказок речевого ввода;

отображать четвертый интерфейс второго приложения в ответ на второй сигнал речевого управления, причем четвертый интерфейс является интерфейсом, полученным посредством обновления после инициирования второго элемента управления на третьем интерфейсе, и второй элемент управления соответствует второй подсказке речевого ввода.

2. Электронное устройство по п. 1, в котором после задействования речевого приложения на заднем плане электронное устройство дополнительно сконфигурировано, чтобы:

если обнаружена операция управления касанием, выполняемая пользователем в элементе управления на первом интерфейсе, выполнять операционную инструкцию, соответствующую операции управления касанием.

3. Электронное устройство по п. 1, в котором после задействования речевого приложения на заднем плане электронное устройство дополнительно сконфигурировано, чтобы:

отображать идентификатор речевого приложения на первом интерфейсе.

4. Электронное устройство по любому из пп. 1-3, в котором первое приложение является музыкальным приложением, при этом первый интерфейс является интерфейсом воспроизведения музыки упомянутого музыкального приложения, причем электронное устройство дополнительно сконфигурировано, чтобы:

отображать один или более из следующего контента первого интерфейса:

элемент управления воспроизведением и подсказка речевого ввода, соответствующая элементу воспроизведения; или

элемент управления паузой и подсказка речевого ввода, соответствующая элементу управления паузой; или

переключение на предыдущий элемент управления и подсказка речевого ввода, соответствующая переключению на предыдущий элемент управления; или

переключение на следующий элемент управления и подсказка речевого ввода, соответствующая переключению на следующий элемент управления; или

элемент управления повышением громкости и подсказка речевого ввода, соответствующая элементу управления повышением громкости; или

элемент управления понижением громкости и подсказка речевого ввода, соответствующая элементу управления понижения громкости.

5. Электронное устройство по любому из пп. 1-3, в котором первое приложение является приложением камеры, причем первый интерфейс является интерфейсом фотографирования приложения камеры, причем электронное устройство дополнительно сконфигурировано, чтобы:

отображать один или более из следующего контента на первом интерфейсе:

элемент управления фотографированием и подсказка речевого ввода, соответствующая элементу управления фотографированием; или

элемент управления записью и подсказка речевого ввода, соответствующая элементу управления записью; или

элемент управления задействованием фронтальной камеры и подсказка речевого ввода, соответствующая элементу управления задействованием фронтальной камеры; или

элемент управления просмотром фотографии и подсказка речевого ввода, соответствующая элементу управления просмотром фотографии.

6. Электронное устройство по п. 5, причем электронное устройство дополнительно выполнено с возможностью:

принимать сигнал речевого управления, используемый для фотографирования, введенный пользователем на интерфейсе фотографирования;

фотографировать фотографию в ответ на сигнал речевого управления, используемый для фотографирования, и продолжать отображать интерфейс фотографирования и подсказки речевого ввода, соответствующие интерфейсу фотографирования; и

отображать миниатюру фотографии упомянутой фотографии на интерфейсе фотографирования.

7. Электронное устройство по п. 6, причем электронное устройство дополнительно сконфигурировано, чтобы:

принимать сигнал речевого управления, используемый для просмотра фотографии, введенный пользователем на интерфейсе фотографирования;

отображать фотографию в ответ на сигнал речевого управления, используемый для просмотра фотографии.

8. Электронное устройство по п. 7, причем электронное устройство дополнительно сконфигурировано, чтобы выполнять один или более следующих этапов, чтобы:

принимать на интерфейсе для отображения фотографии сигнал речевого управления, используемый для увеличения масштаба, введенный пользователем, и увеличивать масштаб фотографии; или

принимать на интерфейсе для отображения фотографии сигнал речевого управления, используемый для уменьшения масштаба, введенный пользователем, и уменьшать масштаб фотографии; или

принимать на интерфейсе для отображения фотографии сигнал речевого управления, используемый для просмотра следующей фотографии, введенный пользователем, и выполнять операцию пролистывания для фотографии; или

принимать на интерфейсе для отображения фотографии сигнал речевого управления, используемый для возврата к камере, введенный пользователем, и отображать интерфейс фотографирования приложения камеры.

9. Электронное устройство по п. 4, в котором отображение элемента управления паузой и подсказки речевого ввода, соответствующей элементу управления паузой на первом интерфейсе, причем электронное устройство дополнительно сконфигурировано, чтобы:

принимать сигнал речевого управления, используемый для паузы, введенный пользователем;

отображать второй интерфейс в ответ на сигнал речевого управления, используемый для паузы, причем второй интерфейс является интерфейсом, полученным посредством обновления после инициирования элемента управления паузой на первом интерфейсе, причем второй интерфейс отображает элемент управления воспроизведением и подсказку речевого ввода, соответствующую элементу управления воспроизведением, и второй интерфейс не отображает элемент управления паузой и подсказку речевого ввода, соответствующую элементу управления паузой.

10. Электронное устройство по любому из пп. 1-3, причем

первый сигнал речевого управления содержит имя первого элемента управления, или

второй сигнал речевого управления содержит имя второго элемента управления.

11. Электронное устройство по п. 10, причем

получение имени первого элемента управления посредством использования файла конфигурации; или

получение имени второго элемента управления посредством использования файла конфигурации.

12. Электронное устройство по любому из пп. 1-3, причем

сигнал пробуждения содержит слово пробуждения, введенное пользователем; или

сигнал пробуждения содержит сигнал щелчка пользователя на кнопке; или

сигнал пробуждения содержит жест касания пользователя.

13. Электронное устройство по любому из пп. 1-3, причем отображение второго интерфейса первого приложения в ответ на первый сигнал речевого управления содержит:

отображение второго интерфейса первого приложения посредством симуляции операции касания в ответ на первый сигнал речевого управления.

14. Электронное устройство по любому из пп. 1-3, причем электронное устройство дополнительно сконфигурировано, чтобы:

после того, как речевое приложение задействовано, немедленно отображать M подсказок речевого ввода на первом интерфейсе; или

после того, как речевое приложение задействовано, отображать M подсказок речевого ввода на первом интерфейсе после предварительно установленного периода времени.

15. Электронное устройство по любому из пп. 1-3, причем электронное устройство дополнительно сконфигурировано, чтобы:

автоматически скрывать M подсказок речевого ввода перед тем, как электронное устройство соберет первый сигнал речевого управления, введенный пользователем.

16. Способ речевого управления, содержащий этапы, на которых:

отображают, посредством электронного устройства, первый интерфейс первого приложения, при этом первый интерфейс содержит элемент управления, используемый для обновления первого интерфейса;

задействуют, посредством электронного устройства, речевое приложение на заднем плане в ответ на сигнал пробуждения, введенный пользователем;

отображают, посредством электронного устройства, на первом интерфейсе M подсказок речевого ввода, при этом каждая подсказка речевого ввода из упомянутых M подсказок речевого ввода соответствует одному элементу управления на первом интерфейсе, а M является целым числом больше 0;

собирают, посредством электронного устройства, первый сигнал речевого управления, введенный пользователем, при этом сигнал речевого управления соответствует первой подсказке речевого ввода в M подсказках речевого ввода;

отображают, посредством электронного устройства, второй интерфейс первого приложения в ответ на первый сигнал речевого управления, при этом второй интерфейс представляет собой интерфейс, полученный посредством обновления после того, как инициирован первый элемент управления на первом интерфейсе, а первый элемент управления соответствует первой подсказке речевого ввода;

отображают, посредством электронного устройства, третий интерфейс второго приложения;

отображают, посредством электронного устройства, L подсказок речевого ввода на третьем интерфейсе, причем третий интерфейс содержит элемент управления для обновления третьего интерфейса, каждая подсказка речевого ввода из L подсказок речевого ввода соответствует одному элементу управления на третьем интерфейсе, L представляет собой целое число больше 0, и L подсказок речевого ввода отличаются от M подсказок речевого ввода;

собирают, посредством электронного устройства, второй сигнал речевого управления, введенный пользователем, причем второй сигнал речевого управления соответствует второй подсказке речевого ввода из L подсказок речевого ввода;

отображают, посредством электронного устройства, четвертый интерфейс второго приложения в ответ на второй сигнал речевого управления, причем четвертый интерфейс является интерфейсом, полученным посредством обновления после инициирования второго элемента управления на третьем интерфейсе, и второй элемент управления соответствует второй подсказке речевого ввода.

17. Способ по п. 16, причем первое приложение является приложением камеры, первый интерфейс является интерфейсом фотографирования приложения камеры, при этом способ дополнительно содержит этапы, на которых:

отображают, посредством электронного устройства, один или более из следующего контента на первом интерфейсе:

элемент управления фотографированием и подсказка речевого ввода, соответствующая элементу управления фотографированием; или

элемент управления записью и подсказка речевого ввода, соответствующая элементу управления записью; или

элемент управления задействованием фронтальной камеры и подсказка речевого ввода, соответствующая элементу управления задействованием фронтальной камеры; или

элемент управления просмотром фотографии и подсказка речевого ввода, соответствующая элементу управления просмотром фотографии.

18. Способ по п. 17, причем способ дополнительно содержит этапы, на которых:

принимают, посредством электронного устройства, сигнал речевого управления, используемый для фотографирования, введенный пользователем на интерфейсе фотографирования;

фотографируют, посредством электронного устройства, фотографию в ответ на сигнал речевого управления, используемый для фотографирования, и продолжать отображать интерфейс фотографирования и подсказки речевого ввода, соответствующие интерфейсу фотографирования; и

отображают, посредством электронного устройства, миниатюру фотографии упомянутой фотографии на интерфейсе фотографирования.

19. Способ по п. 18, причем способ дополнительно содержит:

прием, посредством электронного устройства, сигнала речевого управления, используемого для просмотра фотографии, введенного пользователем на интерфейсе фотографирования;

отображают, посредством электронного устройства, фотографию в ответ на сигнал речевого управления, используемый для просмотра фотографии.