Отображение направляющего указателя пользователю
Изобретение относится к предоставлению руководства пользователю и, более конкретно, к отображению направляющего указателя пользователю, если конкретные условия удовлетворяются. Технический результат заключается в возможности отображения направляющего указателя пользователю, который может быть выборочно отображен и удален из вида надлежащим образом. Такой результат достигается за счет способа отображения направляющего указателя пользователю, содержащего этапы, на которых: принимают последовательность изображений головы пользователя; определяют, из каждого изображения последовательности изображений, информацию, относящуюся к положению головы пользователя; и отображают пользователю, на экране дисплея, направляющий указатель, ассоциированный с представлением головы пользователя, только если одно или более определенных условий, касающихся положения головы, удовлетворяется, так что пользователю предоставляется указание, что он расположен соответствующим образом для положения головы, которое должно быть определено; при этом определенные условия, касающиеся положения головы, содержат одно или более из следующего: i) информация, относящаяся к положению головы, указывает, что изменение в положении головы в течение определенного периода меньше определенного порогового значения; и ii) информация, относящаяся к положению головы, указывает, что ориентация головы относительно экрана дисплея находится в определенном угловом диапазоне. 2 н. и 13 з.п. ф-лы, 14 ил.
Область техники, к которой относится изобретение
Изобретение относится к предоставлению руководства пользователю и, более конкретно, к отображению направляющего указателя пользователю, если конкретные условия удовлетворяются. Раскрываются способ и оборудование.
Уровень техники
При выполнении действий по уходу за собой, таких как нанесение макияжа, выполнение действий по уходу за кожей, бритье или стрижка волос, пользователь может использовать интеллектуальное зеркало, имеющее камеру, или электронное устройство, имеющее камеру и ассоциированный экран дисплея, такое как планшетный компьютер или смартфон, чтобы предоставлять руководство и/или обратную связь относительно действий. Например, приложение, работающее на планшетном компьютере, может быть использовано, чтобы предоставлять руководство пользователю при бритье или стрижке конкретного стиля для растительности на лице пользователя. Руководство может включать в себя, например, отображение направляющей линии на изображении пользователя, которое пользователь может использовать, чтобы направлять бреющее устройство, чтобы добиваться желаемого внешнего вида.
В некоторых сценариях руководство, предоставляемое пользователю, может принимать форму изображения, например, изображения желаемого оформления растительности на лице, которое накладывается или иначе отображается поверх представления пользователя (например, изображения, захватываемого камерой, или отражения в интеллектуальном зеркале).
US 2012/0223956 описывает способ формирования выходных данных изображения, представляющих изображение макияжа, наложенного на изображение лица.
"The Mind-Mirror: See Your Brain in Action in Your Head Using EEG and Augmented Reality", автор Mercia-Ganady (Мерси-Ганади) и др. описывает способ отображения отражения пользователя и виртуального отображения мозговой активности пользователя.
"Augmented Reality Mirror for Virtual Facial Alterations", автор Kitanovski (Китановски) и др. описывает способ для выполнения геометрических изменений по уходу за лицом в дополненной реальности.
US 9,442,564 описывает устройство, которое задействует пользовательский интерфейс, который зависит от положения головы пользователя.
Сущность изобретения
Отображение направляющей линии или направляющего изображения поверх изображения или отражения пользователя может загораживать часть лица пользователя, так что пользователь не имеет возможности видеть себя четко, что, в некоторых случаях, может препятствовать выполнению действий по уходу за собой. В других случаях может быть желательно отображать направляющую линию или изображение, в то время как выполняются действия по уходу за собой.
Следовательно, существует необходимость в улучшенном способе для отображения направляющего указателя пользователю, который может быть выборочно отображен и удален из вида надлежащим образом.
Согласно первому аспекту, предоставляется способ отображения направляющего указателя пользователю. Способ содержит прием последовательности изображений головы пользователя; определение, из каждого изображения последовательности изображений, информации, относящейся к положению головы пользователя; и отображение пользователю, на экране дисплея, направляющего указателя, ассоциированного с представлением головы пользователя, только если каждое из одного или более определенных условий, относящихся к положению головы, удовлетворяется; при этом определенные условия, касающиеся положения головы, содержат одно или более из следующего: i) информация, относящаяся к положению головы, указывает, что положение головы может быть определено до определенного порогового уровня точности; ii) информация, относящаяся к положению головы, указывает, что изменение в положении головы в течение определенного периода меньше определенного порогового значения; и iii) информация, относящаяся к положению головы, указывает, что ориентация головы относительно экрана дисплея находится в определенном угловом диапазоне.
Отображая направляющий указатель только когда все из определенных условий удовлетворяются, пользователь снабжается указанием, что он или она находится в подходящем положении относительно отображения, так что оборудование может уверенно определять его или ее положение и ориентацию. Кроме того, в то время как пользователь выполняет действия по уходу за собой (например, удерживает устройство для стрижки волос вплотную к своему лицу), может быть нежелательным иметь отображенный направляющий указатель, поскольку при этом может загораживаться вид его представления. Следовательно, отсутствие отображения направляющего указателя в таком сценарии (поскольку положение головы пользователя не может быть отображено точно) может помогать возможности пользователя выполнять действия по уходу за собой.
Положение головы может считаться определенным до определенного порогового уровня точности, когда достоверность в положении головы или достоверность в положениях черт лица головы выше определенного уровня достоверности.
Определенное пороговое значение изменения в положении головы в течение определенного периода может содержать изменение менее чем на 10 процентов для ширины или высоты изображений. В некоторых вариантах осуществления определенное пороговое значение может содержать изменение менее чем на шесть процентов для ширины или высоты изображений. Определенный период может, в некоторых вариантах осуществления, содержать определенный период времени (например, 0,5 секунды), в то время как, в других вариантах осуществления, определенный период может содержать период между захватом первого изображения и второго изображения в последовательности изображений. Таким образом, изменение в положении головы может быть измерено между первым изображением и вторым изображением в последовательности изображений.
В некоторых вариантах осуществления определенный угловой диапазон содержит пятнадцать градусов от нормали к экрану дисплея. В других вариантах осуществления определенный угловой диапазон может содержать десять или двадцать градусов в ту или другую сторону от нормали к экрану дисплея.
Последовательность изображений может, в некоторых вариантах осуществления, быть получена через камеру, ассоциированную с экраном дисплея.
Направляющий указатель может содержать, по меньшей мере, одно из: линии, текста или изображения для помощи пользователю с действиями по уходу за собой. Направляющий указатель может накладываться на представление пользователя.
В некоторых вариантах осуществления отображение направляющего указателя может содержать инструкцию постепенного проявления направляющего указателя, когда информация, касающаяся положения головы, указывает, что все определенные условия удовлетворяются. Таким образом, пользователь может иметь возможность определять, когда он или она приближается к положению/ориентации, при которых положение его головы может быть с уверенностью известно.
Степень видимости направляющего указателя может изменяться как функция близости положения головы к удовлетворению определенных условий. Таким образом, когда пользователь перемещается к или от положения, в котором все условия удовлетворяются, пользователь может различать легко и инстинктивно, как он или она должен позиционировать свою голову для того, чтобы направляющий указатель был отображен.
Согласно некоторым вариантам осуществления, способ может дополнительно содержать, в то время как направляющий указатель отображается на экране дисплея, инструктирование постепенного исчезновения направляющего указателя, если информация, относящаяся к положению головы, указывает, что какое-либо одно из определенных условий не удовлетворяется. Когда пользователь перемещается в положение, которое инструктирует исчезновение направляющего указателя, он или она может инстинктивно узнавать, как его положение должно измениться для того, чтобы направляющий указатель полностью появился снова.
Видимость направляющего указателя может уменьшаться как функция уровня отклонения положения головы от определенных условий.
В некоторых вариантах осуществления направляющий указатель может быть отображен пользователю, только если все из определенных условий, касающихся положения головы, удовлетворяются, тогда как, в других вариантах осуществления, направляющий указатель может быть отображен пользователю, когда подмножество определенных условий удовлетворяется.
Согласно второму аспекту, предоставляется оборудование для предоставления руководства пользователю, оборудование содержит блок формирования изображения для приема последовательности изображений головы пользователя; блок обработки для определения, из каждого изображения последовательности изображений, информации, относящейся к положению головы пользователя; и экран дисплея; при этом блок обработки конфигурируется, чтобы отображать, на экране дисплея, направляющий указатель, ассоциированный с представлением головы пользователя, только если каждое из одного или более определенных условий, касающихся положения головы, удовлетворяется; при этом определенные условия, касающиеся положения головы, содержат одно или более из следующего: i) информация, относящаяся к положению головы, указывает, что положение головы может быть определено до определенного порогового уровня точности; ii) информация, относящаяся к положению головы, указывает, что изменение в положении головы в течение определенного периода меньше определенного порогового значения; и iii) информация, относящаяся к положению головы, указывает, что ориентация головы относительно экрана дисплея находится в определенном угловом диапазоне. В некоторых вариантах осуществления блок обработки может определять, удовлетворяются или нет условия, на основе информации, относящейся к положению головы пользователя.
В некоторых вариантах осуществления блок обработки может отображать направляющий указатель пользователю, только если все из определенных условий, относящихся к положению головы, удовлетворяются, тогда как, в других вариантах осуществления, блок обработки может отображать направляющий указатель пользователю, когда подмножество определенных условий удовлетворяется.
Оборудование может дополнительно содержать камеру для захвата последовательности изображений головы пользователя.
В некоторых вариантах осуществления оборудование может содержать носитель хранения для хранения, по меньшей мере, одного из: принятой последовательности изображений; и определенной информации, относящейся к положению головы пользователя.
Оборудование может содержать одно из: интеллектуального телевизора, интеллектуального зеркала, смартфона, планшетного компьютера, портативного компьютера и настольного компьютера.
Эти и другие варианты осуществления изобретения станут очевидными и будут разъяснены со ссылкой на описанные далее в данном документе варианты осуществления.
Краткое описание чертежей
Для лучшего понимания изобретения, и чтобы показать более ясно, как оно может быть приведено в действие, ссылка сейчас будет сделана, только в качестве примера, на сопровождающие чертежи, на которых:
Фиг. 1 - это иллюстрация пользователя, выполняющего действия по уходу за собой с помощью интеллектуального зеркала;
Фиг. 2 - это иллюстрация примерных направляющих указателей;
Фиг. 3 - это иллюстрация примера представления пользователя, выполняющего действия по уходу за собой;
Фиг. 4 - это иллюстрация дополнительного примера представления пользователя, выполняющего действия по уходу за собой;
Фиг. 5 - это иллюстрация дополнительного примера представления пользователя, выполняющего действия по уходу за собой;
Фиг. 6 - это иллюстрация пользователя, выполняющего действия по уходу за собой;
Фиг. 7 - это иллюстрация головы пользователя в трех различных ориентациях относительно отображения;
Фиг. 8 - это блок-схема последовательности операций примера способа отображения направляющего указателя пользователю;
Фиг. 9 - это схема примера устройства для предоставления руководства пользователю; и
Фиг. 10 - это схема дополнительного примера или оборудования для предоставления руководства пользователю.
Подробное описание вариантов осуществления
Среди других целей, изобретение может, в некоторых примерах, быть использовано, чтобы улучшать отображение направляющего указателя пользователю, например, в то время когда пользователь просматривает в реальном времени видеоизображение (поток изображений) или свое отражение. Например, изобретение может быть реализовано при выполнении действий по уходу за собой, включающих в себя, но не только, нанесение макияжа, удаление макияжа, уход за кожей, уход за волосами, уход за полостью рта и действия по удалению волос, такие как бритье, эпиляция и стрижка.
При выполнении действий по уходу за собой, таких как бритье растительности на лице, пользователь может использовать направляющую систему или оборудование, чтобы предоставлять руководство. Такое оборудование может включать в себя камеру, ассоциированную или соединенную с вычислительным устройством, таким как интеллектуальное зеркало или планшетный компьютер. Когда пользователь выполняет действия бритья перед камерой, оборудование может предоставлять руководство пользователю, например, в форме направляющего указателя, который должен отображаться на экране дисплея, ассоциированном с устройством (например, на экране интеллектуального зеркала или на экране дисплея вычислительного устройства). Направляющий указатель может включать в себя линию, текст, изображение или последовательность точек, указывающих, например, области пользователя, которые должны быть побриты, и области, которые не должны быть побриты. В некоторых примерах направляющий указатель может включать в себя одну или более линий для указания уровня, до которого пользователь должен побрить растительность на лице (например, бакенбарды) для того, чтобы добиться желаемого, и симметричного, внешнего вида. В других вариантах осуществления текст может отображаться, чтобы передавать сообщение пользователю.
В такой направляющей системе данные изображения, представляющие пользователя (или фрагмент пользователя), принимаются через камеру в форме последовательности изображений, и данные изображения обрабатываются с помощью обрабатывающего оборудования, ассоциированного с системой. Направляющий указатель может затем быть сформирован и отображен вместе с или наложен поверх изображения пользователя. Для того, чтобы направляющая система предоставила точное руководство пользователю, система должна иметь возможность изображать пользователя так, что положение фрагмента пользователя, который должен быть обработан (например, голова пользователя), может быть определено.
Обращаясь к чертежам, фиг. 1 является иллюстрацией, показывающей пользователя 100, выполняющего действия по уходу за собой перед оборудованием 102. Оборудование 102 является, например, интеллектуальным зеркалом, которое имеет дисплей 104 и камеру 106. Оборудование 102 может также включать в себя, или быть соединенным, с оборудованием обработки (не показано) для управления дисплеем 104 и/или камерой 106 и для обработки информации, принятой посредством камеры, и информации, которая должна быть представлена на дисплее. Штриховые линии указывают примерное поле обзора камеры 106. Дисплей 104 включает в себя отраженный фрагмент, чтобы предоставлять возможность пользователю видеть свое отражение, и фрагмент дисплея или экран, позади или встроенный в отраженный фрагмент, который может быть использован для представления информации, такой как изображения или текст, пользователю 100. Дисплей 104 может, в некоторых вариантах осуществления, быть использован для отображения информации пользователю, такой как новостные статьи, информация о погоде, записи в календаре и т.п. В примерах, описанных в данном документе, однако, дисплей 104 также конфигурируется, чтобы отображать направляющий указатель 108 для помощи пользователю 100, выполняющему действия по уходу за собой.
Примеры направляющих указателей 108, которые могут быть отображены посредством оборудования 102, показаны на фиг. 2. Как отмечено выше, направляющий указатель 108 может, в некоторых примерах, включать в себя изображение или маску, как показано на фиг. 2A. Изображение или маска 108 могут быть спроецированы или наложены поверх отражения пользователя 100, так что пользователь способен видеть ожидаемый результат действий. Пользователь 100 может также использовать проецируемое изображение или маску, чтобы показывать пределы того, где выполнять действия по уходу за собой. Например, при бритье или стрижке растительности на лице, пользователь может использовать изображение, чтобы показывать, где брить волосы, чтобы добиться желаемого стиля растительности на лице. В других примерах, как показано на фиг. 2B, направляющий указатель 108 может включать в себя одну или более линий (как также показано на фиг. 1) для указания того, где брить или стричь растительность на лице, такую как бакенбарды, для достижения симметричного стиля растительности на лице.
В других примерах оборудование 102 может содержать, или формировать часть, вычислительное устройство, такое как интеллектуальный телевизор, смартфон, планшетный компьютер или портативный или настольный компьютер. В некоторых примерах дисплей 104 может содержать экран дисплея вычислительного устройства, а камера 106 может быть камерой, встроенной или соединенной с устройством. Дисплей 104 может отображать изображение или видеопоток в реальном времени для пользователя 100 вместо отражения пользователя. Изображение или последовательность изображений могут быть захвачены посредством камеры 106.
В целом, дисплей 104 может рассматриваться для отображения представления 110 пользователя 100, которое может быть отражением или захваченным изображением. В некоторых вариантах осуществления оборудование 102 может не включать в себя камеру 106, но может получать данные изображения, или последовательность изображений или кадров (например, видеопоток) из внешнего источника, такого как удаленная система получения изображения.
Для того чтобы оборудование 102 имело возможность представлять направляющий указатель 108 точно в корректной позиции относительно представления 110 пользователя 100, оборудование должно знать положение и ориентацию пользователя точно. В некоторых вариантах осуществления оборудование 102 может использовать алгоритм обнаружения ориентира на лице (FLD) или механизм для обнаружения отличительных черт лица или ориентиров, таких как уголки глаз пользователя или рта, края носа пользователя или подбородка, или концы бровей пользователя, например. Такие отличительные черты считаются стандартными или родовыми признаками лица человека. FLD-алгоритм может идентифицировать такие отличительные черты, и, если достаточное число отличительных черт является видимым в конкретном изображении, полученном посредством камеры 106, тогда ориентация и положение лица в изображении может быть определено.
Когда конкретный ориентир или отличительная черта лица пользователя или головы были обнаружены и идентифицированы посредством FLD-алгоритма, значение достоверности определяется и ассоциируется с этим конкретным ориентиром. Значение достоверности предоставляет указание того, насколько уверенным является FLD-алгоритм в своем обнаружении положения ориентира. Значение достоверности может быть относительно высоким, если положения других соседних ориентиров могут также быть определены. Наоборот, если положения других ближайших, или соседних, ориентиров не могут быть определены, то уровень достоверности конкретного ориентира может быть относительно низким. Положение ориентира может не быть определяемым, если, например, лицо пользователя повернуто, наклонено или ориентировано так, что ориентир находится вне поля обзора камеры 106, захватывающей изображения. Аналогично, положение ориентира может не быть обнаруживаемым, если ориентир загораживается от обзора камеры, например, объектом, таким как рука или прибор для ухода за собой, расположенным между ориентиром и камерой 106.
Значения достоверности, ассоциированные с отдельными ориентирами головы пользователя, могут быть использованы для определения общего значения достоверности положения головы пользователя 100. Например, отдельные значения достоверности ориентиров могут быть объединены, чтобы предоставлять итоговое значение достоверности в положении головы. Если значение достоверности, ассоциированное с головой, ниже определенного порогового значения, тогда оборудование может заключать, что положение головы пользователя не может быть определено точно.
Согласно изобретению, направляющий указатель 108 может отображаться, только когда каждое из одного или более определенных условий удовлетворяется. В частности, условия могут относиться к положению головы пользователя 100. Другими словами, одно или более условий или критериев могут быть заданы (например, запрограммированы в оборудование обработки, ассоциированное с оборудованием 102), и направляющий указатель 108 отображается на дисплее 104, только если все условия или критерии удовлетворяются. В некоторых вариантах осуществления оборудование 102 может требовать, чтобы только одно или более условий (т.е., не все условия) удовлетворялись для того, чтобы направляющий указатель 108 был отображен. Различные условия, которые могут быть заданы, обсуждаются ниже со ссылкой на фиг. 3-7.
Первым условием, или критерием, который, если применяется, должен быть удовлетворен для того, чтобы оборудование 102 отображало направляющий указатель 108 пользователю 100, является то, что информация, относящаяся к положению головы, должна указывать, что положение головы пользователя может быть определено до определенного порогового уровня точности. Как отмечено выше, положение головы пользователя 100 может не быть определяемым до минимального уровня достоверности, если некоторые из лицевых ориентиров являются невидимыми для камеры 106. Фиг. 3 является иллюстрацией примера отдельного кадра из видеопотока (т.е. отдельного изображения из последовательности захваченных изображений), показывающего пользователя 100, выполняющего действия по уходу за собой, которые, в этом случае, являются стрижкой растительности на лице. В примере, показанном на фиг. 3, пример представления 110 пользователя 100 представляется на дисплее 104. В этом примере, устройство 112 стрижки волос, такое как машинка для стрижки или бритва, используется для стрижки растительности на лице пользователя и, следовательно, загораживает часть головы пользователя 100 от обзора посредством камеры 106. Поскольку устройство 112 стрижки волос блокирует некоторые из лицевых ориентиров от обзора камеры 106, оборудование 102 может не иметь возможности определять их позиции точно и, следовательно, может не иметь возможности определять положение и ориентацию головы с высоким уровнем достоверности. Если оборудование 102 не может определять точное положение головы, тогда оно не будет иметь возможности позиционировать направляющий указатель 108 на дисплее точно относительно представления 110 головы. Таким образом, чтобы избегать риска представления направляющего указателя 108 неправильно относительно представления 110 головы, оборудование определяет, что первое условие не удовлетворяется, и, следовательно, не представляет направляющий указатель.
В некоторых вариантах осуществления, оборудование 102 будет определять уровень достоверности, ассоциированный с определенным положением головы, и сравнивать уровень достоверности с определенным пороговым значением. Если определенный уровень достоверности превышает (т.е. выше) пороговое значение, то оборудование 102 может считать, что условие удовлетворяется. Другими словами, положение головы считается определенным до определенного порогового уровня точности, когда достоверность в положении головы или достоверность в положениях отличительных черт лица головы выше определенного уровня достоверности. Таким образом, некоторые ориентиры головы пользователя могут быть загорожены от обзора камеры (например, устройством 112 для стрижки волос или рукой пользователя), но направляющий указатель 108 может все еще быть представлен, поскольку положение головы может все еще быть с уверенностью определено.
Вторым условием или критерием, который, если применяется, должен быть удовлетворен для того, чтобы оборудование 102 отобразило направляющий указатель 108 пользователю 100, является то, что информация, касающаяся положения головы, должна указывать, что изменение в положении головы в течение определенного периода меньше определенного порогового значения. Другими словами, голова пользователя не должна перемещаться слишком далеко и/или слишком быстро в определенном периоде времени. В некоторых вариантах осуществления определенный период может содержать временной период (например, 0,5 секунды), в то время как, в других вариантах осуществления, определенный период может содержать период между захватом первого изображения и второго изображения в последовательности изображений. Таким образом, изменение в положении головы может быть измерено между первым изображением и вторым изображением в последовательности изображений. Пример этого варианта осуществления показан на фиг. 4. Фиг. 4 показывает, иллюстративно, представление 110 головы пользователя 100, представленного на дисплее 104. В этом примере, представление 110 головы переместилось из первой позиции 114a во вторую позицию 114b в определенном временном периоде, или между первым изображением и вторым изображением последовательности изображений. Для каждого изображения или кадра, захваченного посредством камеры 106 (или иначе принятого посредством оборудования 102 для обработки), положение каждого ориентира записывается, например, на носителе хранения, ассоциированном с оборудованием. Например, для каждого изображения, набор координат может быть определен для каждого видимого ориентира. Сравнивая координаты каждого ориентира во множестве последовательных изображений в последовательности изображений, затем оборудование 102 может определять меру перемещения головы пользователя. Например, в некоторых вариантах осуществления, камера 106 может захватывать изображения с частотой 20 кадров в секунду (кадр/с). Оборудование 102 может хранить три секунды изображений (т.е., 60 изображений) в памяти для использования в измерении перемещения головы.
Оборудование 102 может определять перемещение головы пользователя 100 на основе перемещения единственного ориентира или множества ориентиров или на основе перемещения точки в изображении, вычисленной, например, из среднего значения координат видимых ориентиров. Когда такое среднее значение координат вычисляется для конкретного изображения, оно может быть сравнено с эталонным значением координат, вычисленным из предыдущего изображения в последовательности изображений, или из среднего эталонного значения координат, вычисленного из изображений, сохраненных в памяти (например, среднего значения, по меньшей мере, из некоторых из предыдущих 60 изображений). Второе условие считается удовлетворенным, если перемещение между вычисленным значением координат и эталонным значением координат меньше определенного порогового значения. В некоторых вариантах осуществления определенное пороговое значение для изменения в положении головы между первым изображением и вторым изображением может содержать изменение менее чем на десять процентов для ширины или высоты изображений. В других вариантах осуществления определенное пороговое значение может быть другим процентным отношением (например, 6%) для высоты или ширины изображений.
Как отмечено выше, множество изображений хранится в памяти, ассоциированной с устройством 102. В некоторых вариантах осуществления память может быть памятью типа первый вошел - первый вышел (FIFO), так что хранится самый последний набор изображений (например, самые последние 60 кадров). Каждый раз, когда память обновляется новым изображением, новое среднее эталонное значение координат вычисляется. В других вариантах осуществления вычисляется скользящее среднее, например, посредством вычисления нового среднего значения координат каждый раз, когда новый кадр захватывается, и использования вычисленного среднего значения координат в качестве эталонного значения. В некоторых вариантах осуществления положения некоторых ориентиров могут быть взвешены, например, на основе значения достоверности, ассоциированного с определенными положениями. Таким образом, положения, известные с более высоким уровнем достоверности, могут быть взвешены более строго по сравнению с положениями, известными с более низким уровнем достоверности.
Третьим условием или критерием, который, если применяется, должен быть удовлетворен для того, чтобы оборудование 102 отобразило направляющий указатель 108 пользователю 100, является то, что информация, касающаяся положения головы, должна указывать, что ориентация головы относительно дисплея 104 находится в определенном угловом диапазоне. Другими словами, пользователь должен быть обращен к дисплею 104, или голова должна быть повернута или наклонена (влево или вправо, чтобы изменять поворот вокруг вертикальной оси; вверх или вниз, чтобы изменять наклон относительно поперечной оси) на менее чем определенный угол от нормали дисплея. Например, линия взгляда пользователя считается линией, проходящей прямо вперед от лица пользователя, как указано, например, на фиг. 6 и 7, и угол от линии взгляда пользователя к нормали дисплея может быть вычислен. В некоторых вариантах осуществления, определенный угловой диапазон может быть пятнадцатью градусами, в то время как, в других вариантах осуществления, определенный угловой диапазон может быть пятью, десятью или двадцатью градусами, например. В целом, определенный угловой диапазон может быть менее 25 градусов от нормали. Фиг. 5 показывает представление 110 головы пользователя 100, представленного на дисплее 104. В этом примере голова повернута относительно дисплея 104 (т.е. пользователь не обращен к дисплею непосредственно). В таком примере камера 106, захватывающая изображения головы пользователя 100, может не иметь возможности видеть все ориентиры головы, и, следовательно, оборудование 102 может не иметь возможности определять положения всех ориентиров или головы точно.
Фиг. 6 показывает, иллюстративно, голову пользователя 100 в двух ориентациях относительно дисплея 104. На фиг. 6A голова обращена лицом к дисплею 104, так что линия взгляда пользователя выровнена с нормалью дисплея. Нормаль дисплея обозначается штриховой линией на фиг. 6. На фиг. 6B голова повернута так, что линия взгляда пользователя не выровнена с нормалью дисплея.
Как отмечено выше, третье условие или критерий может считаться удовлетворенным, если оборудование определяет, что линия взгляда пользователя находится в определенном угловом диапазоне нормали дисплея 104. В некоторых вариантах осуществления определенный угловой диапазон может быть 20, 15 или 10 градусов в ту или другую сторону от нормали дисплея.
Таким образом, оборудование 102 может быть запрограммировано, чтобы отображать направляющий указатель 108, только если все условия во множестве определенных условий удовлетворяются. Одно или более из трех условий, описанных выше, могут быть применены к оборудованию.
В то время как, в некоторых вариантах осуществления, отображение направляющего указателя 108 может содержать просто инструктирование появления указателя на дисплее 104 внезапно, в других вариантах осуществления появление направляющего указателя может быть более постепенным. Например, в некоторых вариантах осуществления, когда информация, касающаяся положения головы, указывает, что все из определенных условий удовлетворяются, может быть проинструктировано постепенное появление направляющего указателя 108. Аналогично, в то время как направляющий указатель 108 отображается на дисплее 104, может быть инструктировано постепенное исчезновение направляющего указателя, если информация, касающаяся положения головы, указывает, что какое-либо одно из определенных условий не удовлетворяется.
Постепенное появление/исчезновение направляющего указателя 108 объясняется со ссылкой на пример, показанный на фиг. 7. Пример на фиг. 7 ссылается на пользователя, поворачивающего его или ее голову влево или вправо относительно дисплея (т.е. движения вокруг вертикальной оси). Тот же принцип применяется для наклонных движений головы вверх и вниз относительно дисплея (т.е. движения относительно поперечной оси) и поворотов вокруг оси вдоль линии взгляда (т.е. движения относительно продольной оси).
На фиг. 7A голова пользователя 100 ориентирована так, что линия взгляда пользователя выровнена с нормалью (обозначенной N на фиг. 7) дисплея 104. Штриховые линии θmin и θmax представляют, соответственно, минимальный и максимальный углы, на которые голова пользователя 100 может поворачиваться, в то же время удовлетворяя третье условие, обсужденное выше. Другими словами, в то время как лицо пользователя ориентировано в угловом диапазоне от θmin до θ max, третье условие удовлетворяется, и направляющий указатель 108 отображается. Пунктирные линии θ lim_min и θlim_max представляют углы, при которых направляющий указатель 108 начнет исчезать, когда голова поворачивается в направлении θ min и θmax, соответственно, или начинает появляться, если голова поворачивается от θ min в направлении θlim_min или от θmax в направлении θlim_max.
На фиг. 7B голова пользователя повернута в направлении θmax, но находится в угловом диапазоне от θmin до θmax, таким образом, направляющий указатель 108 отображается. Кроме того, ориентация головы является такой, что поворот головы находится в угловом диапазоне от θlim_min до θlim_max, таким образом, направляющий указатель 108 отображается с максимальной видимостью и не начинает исчезать. Видимость направляющего указателя представляется в виде графиков над отображениями на фиг. 7A, 7B и 7C.
На фиг. 7C голова пользователя повернута дальше по сравнению с фиг. 7B и, в этом случае, повернута за пределы углового диапазона от θmin до θmax. Следовательно, направляющий указатель 108 постепенно исчезает и не будет виден пользователю 100.
Если голова пользователя поворачивается на угол между θlim_max и θ max, тогда направляющий указатель 108 будет частично виден пользователю, во время его перехода от полностью видимого до невидимого. Таким образом, видимость направляющего указателя 108 уменьшается как функция уровня отклонения положения головы от определенных условий. В некоторых вариантах осуществления направляющий указатель 108 может поблекнуть, когда он постепенно исчезает.
Способом, аналогичным появлению направляющего указателя 108, когда голова пользователя 100 поворачивается от θmax до θlim_max (или от Qmin до θlim_min), инструктируется постепенное появление направляющего указателя 108.
Пример, показанный на фиг. 7, относится к третьему условию, обсужденному выше. Однако постепенное появление и исчезновение направляющего указателя 108 может быть инструктировано, когда голова приближается или отклоняется от положения, которое удовлетворяет другим условиям. Например, когда пользователь 100 перемещает устройство 112 стрижки волос поверх его или ее лица, и достоверность положения головы пользователя снижается, видимость направляющего указателя 108 может снижаться (как в первом условии, обсужденном выше). Аналогично, видимость направляющего указателя 108 может снижаться, когда скорость перемещения головы пользователя увеличивается до порогового уровня (как во втором условии, обсужденном выше).
Таким образом, степень видимости направляющего указателя 108 может изменяться как функция близости положения головы к удовлетворению определенных условий. Таким образом, пользователь 100 может легко видеть, удовлетворяются ли условия (в таком случае направляющий указатель 108 будет полностью видимым), не удовлетворяются (в таком случае направляющий указатель 108 не будет видимым), или почти удовлетворяются (в таком случае направляющий указатель 108 будет частично видимым, например, в блеклом состоянии).
Постепенно регулируя видимость направляющего указателя 108, вместо простого инструктирования появления или исчезновения указателя, пользователь 100 может получать понимание того, какие его или ее действия ведут к изменению видимости. Например, если пользователь поворачивает его или ее голову до степени, которая вынуждает направляющий указатель 108 начинать исчезать, пользователь может интуитивно поворачивать свою голову обратно для того, чтобы вынуждать указатель становиться полностью видимым. Таким образом, изменяя видимость направляющего указателя как функцию уровня отклонения от определенных удовлетворяемых условий, пользователь обеспечивается обратной связью, касающейся его положения относительно дисплея.
Фиг. 8 - это блок-схема последовательности операций, показывающая пример способа 200 отображения направляющего указателя 108 пользователю 100. Способ 200 содержит, на этапе 202, прием последовательности изображений головы пользователя 100. Последовательность изображений может содержать кадры видеопотока и может быть принята из удаленного источника, такого как внешняя камера, или может быть захвачена посредством камеры 106, соединенной или ассоциированной с оборудованием 102, выполняющим способ. Способ также содержит, на этапе 204, определение, из каждого изображения из последовательности изображений, информации, относящейся к положению головы пользователя 100. Определение 204 может быть выполнено посредством оборудования обработки, ассоциированного с оборудованием 102. На этапе 206 способ 200 содержит отображение пользователю, на экране 104 дисплея, направляющего указателя 108, ассоциированного с представлением головы пользователя 100, только если каждое из одного или более определенных условий, касающихся положения головы, удовлетворяется. Условия могут включать в себя одно или более из трех условий, обсужденных выше. Например, определенные условия, касающиеся положения головы, могут содержать одно или более из следующего: i) информация, относящаяся к положению головы, указывает, что положение головы может быть определено до определенного порогового уровня точности; ii) информация, относящаяся к положению головы, указывает, что изменение в положении головы в течение определенного периода меньше определенного порогового значения; и iii) информация, относящаяся к положению головы, указывает, что ориентация головы относительно экрана дисплея находится в определенном угловом диапазоне. В некоторых вариантах осуществления оборудование обработки может определять, удовлетворяются или нет условия, на основе информации, относящейся к положению головы пользователя 100. В некоторых вариантах осуществления направляющий указатель 108 может быть отображен пользователю, только если все из определенных условий (например, первое, второе и третье условия, обсужденные выше), касающихся положения головы, удовлетворяются, в то время как, в других вариантах осуществления, направляющий указатель 108 может быть отображен пользователю, если только одно (например, первое) условие удовлетворяется.
Изобретение также предоставляет оборудование для предоставления руководства пользователю, и которое может быть использовано для выполнения способа 100. Фиг. 9 показывает, схематично, пример такого оборудования 300. Оборудование 300, которое может быть оборудованием 102, обсужденным выше, содержит блок 302 формирования изображения для приема последовательности изображений головы пользователя 100. Оборудование 300 также содержит блок 304 обработки для определения, из каждого изображения последовательности изображений, информации, относящейся к положению головы пользователя 100. Оборудование 300 также содержит экран 306 дисплея, такого как дисплей 106. Блок 304 обработки конфигурируется, чтобы отображать, на экране 306 дисплея, направляющий указатель 108, ассоциированный с представлением головы пользователя 100, только если каждое из одного или более определенных условий, касающихся положения головы, удовлетворяется. Например, определенные условия, касающиеся положения головы, могут содержать одно или более из следующего: i) информация, относящаяся к положению головы, указывает, что положение головы может быть определено до определенного порогового уровня точности; ii) информация, относящаяся к положению головы, указывает, что изменение в положении головы в течение определенного периода меньше определенного порогового значения; и iii) информация, относящаяся к положению головы, указывает, что ориентация головы относительно экрана дисплея находится в определенном угловом диапазоне.
Альтернативный вариант осуществления оборудования 300 показан на фиг. 10. На фиг. 10 оборудование 300 является аналогичным оборудованию на фиг. 9, но дополнительно включает в себя камеру 308 для захвата последовательности изображений головы пользователя. Камера 308 может быть такой же, что и камера 106, обсужденная выше. Оборудование 300 может также включать в себя носитель 310 хранения для хранения, по меньшей мере, одного из: принятой последовательности изображений и определенной информации, относящейся к положению головы пользователя 100.
Оборудование 300 может содержать одно из: интеллектуального телевизора, интеллектуального зеркала, смартфона, планшетного компьютера, портативного компьютера и настольного компьютера.
Вариации в раскрытых вариантах осуществления могут быть поняты и выполнены специалистами в данной области техники, применяющими на практике заявленное изобретение, из изучения чертежей, раскрытия и прилагаемой формулы изобретения. В формуле изобретения слово "содержит" не исключает других элементов или этапов, указание на единственность не исключает множественности. Один процессор или другой блок может выполнять функции нескольких элементов, перечисленных в формуле изобретения. Простой факт того, что определенные меры упомянуты в различных зависимых пунктах формулы изобретения, не означает того, чтобы комбинация этих мер не может быть использована с выгодой. Компьютерная программа может быть сохранена/распространяться на подходящем носителе, таком как оптический носитель хранения или твердотельный хранитель, поставляемый вместе или как часть других аппаратных средств, но может также распространяться в других формах, например, через Интернет или другие проводные или беспроводные системы связи.
Любые позиционные обозначения в формуле изобретения не должны истолковываться как ограничивающие рамки изобретения.
1. Способ (200) отображения направляющего указателя (108) пользователю (100), причем способ содержит этапы, на которых:
принимают (202) последовательность изображений головы пользователя;
определяют (204), из каждого изображения последовательности изображений, информацию, относящуюся к положению головы пользователя; и
отображают (206) пользователю, на экране (104) дисплея, направляющий указатель, ассоциированный с представлением (110) головы пользователя, только если одно или более определенных условий, касающихся положения головы, удовлетворяется, так что пользователю предоставляется указание, что он расположен соответствующим образом для положения головы, которое должно быть определено;
при этом определенные условия, касающиеся положения головы, содержат одно или более из следующего:
i) информация, относящаяся к положению головы, указывает, что изменение в положении головы в течение определенного периода меньше определенного порогового значения; и
ii) информация, относящаяся к положению головы, указывает, что ориентация головы относительно экрана дисплея находится в определенном угловом диапазоне.
2. Способ (200) по п. 1, в котором направляющий указатель отображается, если, в дополнение к упомянутому одному или нескольким определенным условиям, информация, касающаяся положения головы, указывает, что положение головы может быть определено до определенного порогового уровня точности.
3. Способ (200) по п. 2, в котором положение головы считается определенным до определенного порогового уровня точности, когда достоверность в положении головы или достоверность в положениях отличительных черт лица головы выше определенного уровня достоверности.
4. Способ (200) по любому предшествующему пункту, в котором упомянутое определенное пороговое значение изменения в положении головы в течение определенного периода содержит менее чем 10 процентов для ширины или высоты изображений.
5. Способ (200) по любому предшествующему пункту, в котором определенный угловой диапазон содержит пятнадцать градусов от нормали к экрану дисплея.
6. Способ (200) по любому из предшествующих пунктов, в котором последовательность изображений принимается через камеру (106), ассоциированную с экраном (104) дисплея.
7. Способ (200) по любому из предшествующих пунктов, в котором направляющий указатель (108) содержит, по меньшей мере, одно из: линии, текста или изображения для помощи пользователю с действиями по уходу за собой.
8. Способ (200) по любому из предшествующих пунктов, в котором отображение направляющего указателя (108) содержит этап, на котором инструктируют постепенное появление направляющего указателя, когда информация, относящаяся к положению головы, указывает, что все из определенных условий удовлетворяются.
9. Способ (200) по п. 8, в котором степень видимости направляющего указателя (108) изменяется как функция близости положения головы к удовлетворению определенных условий.
10. Способ (200) по любому из предшествующих пунктов, дополнительно содержащий этап, на котором:
в то время как направляющий указатель (108) отображается на экране (104) дисплея, инструктируют постепенное исчезновение направляющего указателя, если информация, относящаяся к положению головы, указывает, что какое-либо одно из определенных условий больше не удовлетворяется.
11. Способ (200) по п. 10, в котором видимость направляющего указателя (108) уменьшается как функция уровня отклонения положения головы от определенных условий.
12. Оборудование (300) для предоставления руководства пользователю, причем оборудование содержит:
блок (302) формирования изображения для приема последовательности изображений головы пользователя;
блок (304) обработки для определения, из каждого изображения последовательности изображений, информации, относящейся к положению головы пользователя, и
экран (306) дисплея;
при этом блок обработки конфигурируется, чтобы отображать на экране дисплея, направляющий указатель (108), ассоциированный с представлением головы пользователя, только если каждое из одного или более определенных условий, касающихся положения головы, удовлетворяется, так что пользователю предоставляется указание, что он расположен соответствующим образом для положения головы, которое должно быть определено;
при этом определенные условия, касающиеся положения головы, содержат одно или более из следующего:
i) информация, относящаяся к положению головы, указывает, что изменение в положении головы в течение определенного периода меньше определенного порогового значения; и
ii) информация, относящаяся к положению головы, указывает, что ориентация головы относительно экрана дисплея находится в определенном угловом диапазоне.
13. Оборудование (300) по п. 12, дополнительно содержащее:
камеру (308) для захвата последовательности изображений головы пользователя.
14. Оборудование (300) по п. 12 или 13, дополнительно содержащее:
носитель (310) хранения для хранения, по меньшей мере, одного из: принятой последовательности изображений; и определенной информации, относящейся к положению головы пользователя.
15. Оборудование (300) по любому из пп. 12-14, в котором оборудование содержит одно из: интеллектуального телевизора, интеллектуального зеркала, смартфона, планшетного компьютера, портативного компьютера и настольного компьютера.
