Система распознавания жестов

Изобретение относится к средству для обнаружения и распознавания жестов. Технический результат заключается в обеспечении возможности надежного обнаружения и распознавания жестов, не требующей от пользователя носить громоздкое оборудование. Устройство содержит, по меньшей мере, один электрод для измерения электрического свойства кожи пользователя, на основе которого распознаются разные жесты, совершаемые телом. 3 н. и 9 з.п. ф-лы, 4 ил.

 

Область техники

Изобретение относится к устройству обнаружения жестов и способу для обнаружения жестов пользователя, т.е. к средству для сбора данных, из которых можно вывести жест. Кроме того, оно относится к системе распознавания жестов и к способу для распознавания жестов пользователя, т.е. к средству для сбора и оцениванию данных, относящихся к жестам.

Уровень техники

В US 2002/0075232 A1 описана система для распознавания жестов, производимых пользователем, которая содержит перчатку, в которой измеряется электрическое сопротивление слоя проводящей резины. Таким образом, растяжение или сжатие перчатки можно обнаруживать и оценивать в отношении жестов руки, производимых пользователем.

Сущность изобретения

Исходя из уровня техники, задачей настоящего изобретения является обеспечение средства для надежного обнаружения и распознавания жестов, не требующего от пользователя носить громоздкое оборудование.

Эта задача решается за счет устройства обнаружения жестов по п.1, способа по п.2, системы распознавания жестов по п.8, способа по п.9 и компьютерного программного продукта по п.14. Предпочтительные варианты осуществления раскрыты в зависимых пунктах формулы изобретения.

Согласно своему первому аспекту изобретение относится к устройству обнаружения жестов для обнаружения жестов пользователя. В контексте настоящего изобретения термин "жест" следует понимать в широком смысле, охватывающем любую конфигурацию или позу, которую может принимать живой организм. В частности, жесты призваны охватывать позы, которые может произвольно принимать тело человека и которые представляют символ для некоторого фрагмента информации, например для команды. Устройство обнаружения жестов согласно настоящему изобретению содержит, по меньшей мере, один электрод для измерения электрического свойства кожи пользователя устройства. На практике, два или более электрода обычно используются для измерения нужного электрического свойства кожи.

Согласно своему второму аспекту изобретение относится к способу для обнаружения жестов пользователя, причем упомянутый способ содержит измерение электрического свойства кожи пользователя. Способ содержит, в целом, процедуры, которые могут выполняться вышеупомянутым устройством обнаружения жестов. Примечания, пояснения и определения, сделанные в отношении устройства обнаружения жестов, таким образом, будут аналогично применимы и к способу, и наоборот.

Устройство и способ обнаружения жестов используют измерение электрического свойства кожи для обнаружения жестов, производимых пользователем, т.е. для обеспечения данных, из которых можно вывести жесты. Этот подход имеет преимущество в том, что он не требует громоздкого оборудования для сбора данных. Все, что требуется, это один (или более) электрод(ов) в контакте с кожей пользователя. Кроме того, подход весьма чувствителен и надежен, поскольку разные жесты всегда будут оказывать какое-то влияние на кожу, которая покрывает части тела, совершающие упомянутые жесты, причем эти влияния обычно содержат изменения в электрических свойствах кожи. Поскольку упомянутые изменения обычно являются локальными, электрод(ы) благоприятно присоединяе(ю)тся к участкам кожи, наиболее подверженным жестам, представляющим интерес (например, участкам, которые максимально растягиваются или сжимаются).

В дальнейшем будут описаны различные варианты осуществления изобретения, которые относятся к заданным выше устройству и способу обнаружения жестов.

Электрическое свойство кожи, которое измеряется, может, в общем случае, быть любым свойством или значением, на которое влияют разные жесты. Предпочтительно, это пассивное электрическое свойство, т.е. свойство, не содержащее активной генерации электрических напряжений телом или в теле пользователя. Пассивные электрические свойства содержат, например, емкость кожи и, в качестве наиболее предпочтительного варианта, электрическую проводимость кожи. Электрическая проводимость (или, эквивалентно, электрический импеданс) является свойством, которое легко измерить и которое, одновременно, весьма чувствительно к разным жестам, поскольку жесты обычно сопровождаются растяжением или сжатием разных участков кожи, что, в свою очередь, влияет на локальную проводимость кожи.

Измеряемое электрическое свойство кожи может дополнительно содержать изменение одного из вышеупомянутых электрических свойств, в частности изменение электрической проводимости кожи. Поскольку электрическое свойство кожи обычно зависит от различных влияний помимо жеста, конкретное значение такого свойства нередко не позволяет однозначно определить соответствующий жест. Например, общеизвестно, что на электрическую проводимость кожи влияет эмоциональное состояние человека. По этой причине, изменение электрического свойства часто обеспечивает более надежный индикатор жестов. Изменения в электрических свойствах могут, в частности, происходить, когда жест предполагается и прекращается, т.е. при переходе от одного жеста к другому. При таком переходе между жестами, другие влияния на электрические свойства кожи (например, эмоциональное состояние) обычно остаются постоянными. Таким образом, изменение электрического свойства можно с высокой достоверностью приписать изменению жестов. Следует отметить, что "изменение" электрического свойства может содержать отдельные значения, представляющие темп изменения (т.е. скорость), а также множество значений, представляющих "траекторию" свойства.

Выше упомянуто, что жесты могут содержать любые конфигурации или позы, которые может принимать тело (человека или животного). Во многих практически важных случаях, жесты содержат положения руки поскольку руки являются наиболее естественным и универсальным "инструментом" человека (после речи) для передачи информации.

По меньшей мере, один электрод, который измеряет электрическое свойство кожи, предпочтительно, присоединен к руке или запястью пользователя. Это позволяет осуществлять вышеупомянутое предпочтительное обнаружение положений руки.

В другом предпочтительном варианте осуществления изобретения, один или более электродов размещены на гибком носителе, например матерчатом коврике, который можно присоединять к коже и/или обматывать вокруг части тела (например, запястья). Таким образом, наложение обычно малого(ых) электрода(ов) можно сделать более комфортным. Кроме того, носитель помогает гарантировать правильное размещение электродов, в частности, в отношении взаимных расстояний между несколькими электродами.

Устройство обнаружения жестов обычно дополнительно содержит вспомогательные компоненты, которые не будут рассмотрены подробно, например устройство связи для передачи данных (измерений) на другое устройство, или источник питания (батарея).

Согласно третьему аспекту изобретение относится к системе распознавания жестов, содержащей следующие два главных компонента:

- устройство обнаружения жестов вышеописанного вида, т.е. устройство с, по меньшей мере, одним электродом для измерения электрического свойства кожи пользователя;

- устройство обработки данных для распознавания жестов из данных измерений, обеспеченных вышеупомянутым устройством обнаружения жестов. Устройство обработки данных может, например, содержать микропроцессор или FPGA.

Согласно четвертому аспекту изобретение относится к способу для распознавания жестов пользователя, причем упомянутый способ содержит распознавание жестов из данных измерений электрического свойства кожи пользователя.

Система и способ распознавания жестов согласно третьему и четвертому аспектам изобретения связаны с распознаванием жестов, т.е. с оцениванием или интерпретацией данных измерений с целью присвоения этим данным жеста из набора возможных жестов. Благодаря устройству обработки данных, система распознавания жестов содержит компонент, который позволяет производить такое оценивание автоматически. Результат этой процедуры автоматического распознавания может дополнительно использоваться другими компонентами, например, для управления устройствами CE, например VCR, проигрывателем CD/DVD и т.п.

Поскольку система и способ распознавания жестов согласно третьему и четвертому аспектам изобретения используют измерение электрического свойства кожи, примечания, пояснения и определения, сделанные выше, применимы также к устройству обнаружения жестов и соответствующему способу. Кроме того, систему и способ можно реализовать согласно конкретному варианту осуществления, описанному в дальнейшем.

Согласно одному конкретному варианту осуществления для распознавания жеста оценивается множество последовательных по времени данных измерений. Данные измерений могут принадлежать одному жесту или нескольким последовательным жестам. Этот подход позволяет работать с высокой изменчивостью данных измерений, характерной для электрических свойств кожи (как, в целом, для всех биологических параметров). Подход учитывает, что отдельное значение измерения часто не позволяет надежно установить связь с тем или иным жестом. По этой причине производится сбор множества данных измерений, принадлежащих (первоначально неизвестному) жесту, где эти данные обычно имеют разброс согласно изменчивости электрического свойства. Однако полный массив данных обычно распределяется по характеристическому диапазону или интервалу, который более надежно ассоциируется с определенным жестом. Таким образом, измерение электрических свойств в течение некоторого периода, например нескольких секунд, в общем случае, позволяет повысить точность распознавания жестов.

Согласно родственному варианту осуществления жесты распознаются из данных измерений, полученных при переходе между жестами. Как уже объяснено выше, измерение изменения электрических свойств часто используется для более надежного вывода соответствующего жеста. Это, в частности, справедливо, если изменения происходят вследствие перехода между жестами.

В конкретном варианте осуществления системы распознавания жестов, устройство обнаружения жестов и устройство обработки данных являются физически отдельными компонентами, которые (функционально) связаны через беспроводную линию связи. Таким образом, устройство обнаружения жестов, которое должен носить пользователь, можно сделать максимально легким, в то время как необходимая вычислительная мощность для распознавания жестов и оценивания данных может располагаться в (стационарном) устройстве обработки данных.

Согласно другому варианту осуществления системы распознавания жестов устройство обнаружения жестов и устройство обработки данных образуют интегрированное устройство. Преимущество этого подхода состоит в том, что вовне необходимо передавать лишь минимальный объем данных, а именно распознанный жест.

Способ распознавания согласно четвертому аспекту изобретения обычно реализуется с помощью вычислительного устройства, например с помощью устройства обработки данных устройства обнаружения жестов. Соответственно, настоящее изобретение дополнительно включает в себя компьютерный программный продукт, который обеспечивает функциональные возможности любого из способов согласно настоящему изобретению при выполнении на вычислительном устройстве.

Дополнительно настоящее изобретение включает в себя носитель данных, например флоппи-диск, жесткий диск, СППЗУ или компакт-диск (CD-ROM), где хранится компьютерный продукт в машиночитаемой форме и который выполняет, по меньшей мере, один из способов изобретения, когда программа, хранящаяся на носителе данных, выполняется на вычислительном устройстве.

Носитель данных может, в частности, быть пригоден для хранения программы вычислительного устройства, упомянутого в предыдущем абзаце.

В настоящее время такое программное обеспечение часто распространяется по интернету или интрасети предприятия для загрузки, следовательно, настоящее изобретение также включает в себя передачу компьютерного продукта согласно настоящему изобретению по локальной или глобальной сети.

Краткое описание чертежей

Эти и другие аспекты изобретения явствуют из и поясняются со ссылкой на описанные далее вариант(ы) осуществления. Эти варианты осуществления будут описаны в порядке примера с помощью прилагаемых чертежей, в которых:

фиг.1 иллюстрирует вид сверху (слева) и вид снизу (справа) устройства обнаружения жестов, присоединенного к руке пользователя;

фиг.2 иллюстрирует разные жесты руки, которые можно распознавать;

фиг.3 схематично демонстрирует компоненты системы распознавания жестов, реализованной двумя раздельными устройствами;

фиг.4 схематично демонстрирует компоненты системы распознавания жестов, реализованной интегрированным устройством.

Сходные ссылочные позиции на фигурах обозначают идентичные или аналогичные компоненты.

Описание предпочтительных вариантов осуществления

Взаимодействие на основе жестов между пользователем и управляемым устройством рассматривается как новая перспективная конструкция интерфейса, которая может прийти на смену использованию классических кнопок или мыши. Однако в настоящее время существует лишь несколько коммерческих применений этого подхода (кроме "2D" жестов для сенсорного экрана). Это обусловлено тем, что надежное и простое распознавание жестов трудно осуществить.

Многие подходы к распознаванию жестов имеют существенные недостатки, например необходимость носить конкретный (дорогостоящий и неудобный) костюм или перчатку. Распознавание жестов на основе видео обычно не требует, чтобы пользователь носил или держал какие-либо дополнительные устройства, но имеет ряд других недостатков. Например, рука пользователя все время должна находиться в поле зрения камеры, что делает этот подход совершенно непригодным в определенных контекстах (например, при езде на велосипеде, пешей прогулке и т.д.). Кроме того, надежность очень сильно зависит от освещенности и контрастности, которые могут изменяться в широких пределах в зависимости от окружения или времени суток.

По этой причине здесь предложен новый подход к обнаружению и распознаванию жестов. Существенным признаком этого подхода является использование проводимости кожи и тела и/или ее изменения во времени для распознавания поз или жестов.

Фиг.1 схематично иллюстрирует устройство 110 обнаружения жестов для обнаружения разных жестов руки согласно вышеупомянутому общему принципу. Устройство 110 обнаружения жестов содержит первый гибкий носитель или накладку 111, в которую четыре электрода 120A, 120B, 120C и 120D внедрены в определенных местах. Первая гибкая накладка 111 присоединена к верхней стороне руки 1 пользователя, как показано в левой части фиг.1.

Дополнительно устройство 110 обнаружения жестов содержит вторую гибкую накладку 112, где имеется единичный электрод 120E, упомянутая накладка 112 присоединена к ладони/запястью, как показано в правой части фиг.1 (следует отметить, что на фиг.1 показан вид сверху и снизу одной и той же руки 1).

Основной принцип предложенного способа состоит в измерении проводимости (или сопротивлении) между двумя точками (контактами), расположенными на коже пользователя. С помощью устройства 110 обнаружения жестов можно измерять, например, проводимость между любыми двумя электродами (например, проводимость S_AB между электродами 120A и 120B). Когда пользователь изменяет положение руки, проводимость также изменяется, например, вследствие растяжения кожи между двумя точками. Разные жесты - некоторые примеры проиллюстрированы на фиг.2 - таким образом, будут по-разному влиять на проводимость.

Фиг.3 схематично демонстрирует систему 100 распознавания жестов согласно настоящему изобретению. Система 100 распознавания жестов содержит два главных компонента:

1. Устройство 110 обнаружения жестов, которое обеспечивает первичные данные, необходимые для распознавания жестов. Устройство 110 обнаружения жестов содержит блок измерения проводимости, реализованный, например, посредством эластичных накладок 111 и 112 с электродами 120A-120E, показанных на фиг.1. Кроме того, оно содержит блок 120 беспроводной связи (не показан на фиг.1) для передачи данных измерений, обеспечиваемых блоком измерения проводимости, на устройство 150 обработки данных. Кроме того, требуется батарея для обеспечения питания для блока связи и для измерения проводимости.

2. Вышеупомянутое устройство 150 обработки данных (или "машина распознавания"), которое запрограммировано оценивать данные измерений, обеспеченные устройством 110 обнаружения жестов. На основании результата устройства 150 обработки данных, можно управлять различными компонентами и/или процессами в дополнительных модулях 160. Эти модули 160 и устройство 150 обработки данных могут, например, принадлежать слою 170 среды.

На фиг.4 показана модифицированная система 100' распознавания жестов, в которой устройство 150' обработки данных объединено с устройством 110' обнаружения жестов. Блок 120 беспроводной связи можно использовать для передачи результатов процесса распознавания на управляемое устройство 170.

Согласно варианту осуществления, представленному на фиг.4, устройство, носимое пользователем, должно обладать некоторыми возможностями обработки. Однако перенос данных значительно снижается по причине отсутствия необходимости в передаче первичных данных.

Вышеописанные варианты осуществления изобретения допускают различные модификации. Например, если проводимость измеряется только между двумя точками, набор жестов, которые можно распознавать, довольно ограничен, поскольку многие жесты будут оказывать одинаковое или очень малое влияние на проводимость. Правильное размещение двух точек измерения (электродов) также влияет на набор распознаваемых положений руки. По этой причине, предпочтительно измерять проводимость между более чем двумя точками.

На проводимость кожи влияет много факторов, и, таким образом, измерение мгновенной проводимости обычно не дает хорошей оценки жеста (даже непосредственно после калибровки). Альтернативно, можно измерять диапазон значений за короткий период времени. Затем эту "строку" значений можно использовать для распознавания жеста. Методы, которые используются для распознавания 2-мерных жестов на плоской сенсорной панели, можно применять для распознавания такой строки значений. Например, для этого можно использовать метод SVM (машины опорных векторов). Подробное описание этого метода можно найти в литературе (например, Corinna Cortes and V. Vapnik, "Support-Vector Networks", Machine Learning, 20, 1995).

Кроме того, можно определять изменение проводимости. Это изменение можно измерять либо при переходе от одного жеста к другому (например, при переходе от сжатой в кулак к открытой ладони), либо после выполнения жеста.

На фиг.1 показан вариант осуществления, в котором гибкое тонкое устройство 110 просто "прилепляется” к коже (наподобие медицинского пластыря). В зависимости от наложения на руку можно отдавать предпочтение конструкции "манжетного пользовательского интерфейса", который выполнен в форме манжеты, обернутой вокруг запястья.

В итоге, настоящее изобретение раскрывает необременительный способ для поддержки взаимодействия на основе жестов. Способ позволяет идентифицировать, например, положения пальцев и руки (например, кулак, открытая ладонь, OK и т.д.). Он основан на измерении проводимости кожи и тела в нескольких точках на теле пользователя. На основании различий в проводимости кожи и тела можно уникально идентифицировать конкретную позу.

Существенным признаком изобретения является масштабируемость способа, т.е. на основании необходимой точности и необходимого набора жестов, можно оценивать положения и количества необходимых контактов, между которыми измеряется проводимость. В простейшем случае нужны только две точки контакта. Таким образом, для бытовых применений малого веса можно создать устройство наподобие простой плоской накладки с возможностью беспроводной связи.

Пользовательский интерфейс согласно изобретению можно, например, использовать для поддержки простого, необременительного, жестикуляционного взаимодействия с различными приборами и системами, включая устройства CL (кухонные электроприборы, которые будут выигрывать от бесконтактного взаимодействия, портативные устройства, например проигрыватель mp3 и т.д.), устройства для медицинского ухода, и пр.

Наконец следует обратить внимание на то, что в настоящей заявке термин "содержащий" не исключает наличия других элементов или этапов, что употребление их наименований в единственном числе не исключает наличия их множества и что единичный процессор или другой блок может выполнять функции нескольких средств. Изобретение заключается в каждом новом отличительном признаке и каждой комбинации отличительных признаков. Кроме того, ссылочные позиции в формуле изобретения не следует рассматривать как ограничение ее объема.

1. Система (100, 100') распознавания жестов для обнаружения жестов части тела пользователя, содержащая:
первый электрод (120А) для установки первого электрического соединения с первым участком кожи на части тела;
второй электрод (120В) для установки второго электрического соединения со вторым участком кожи на части тела, отличным от первого участка;
устройство (150, 150') обработки данных для обнаружения конкретного жеста из жестов посредством определения конкретного электрического свойства кожи между первым электродом и вторым электродом;
причем конкретный жест включает в себя растягивание конкретных участков кожи части тела или сжатие других конкретных участков кожи части тела;
причем значение конкретного электрического свойства зависит от растягивания или сжатия; и
причем первый электрод и второй электрод, каждый, выполнены с возможностью измерения пассивного электрического свойства кожи для определения конкретного электрического свойства кожи между первым электродом и вторым электродом.

2. Система распознавания жестов по п. 1,
отличающаяся тем, что устройство обработки данных выполнено с возможностью определения изменения конкретного электрического свойства за период времени.

3. Система распознавания жестов по п. 1,
отличающаяся тем, что первый электрод и второй электрод располагаются в гибком носителе (111, 112), выполненном с возможностью сохранения физического контакта с кожей при эксплуатации системы.

4. Система (100') распознавания жестов по п. 1,
отличающаяся тем, что пассивное электрическое свойство кожи является свойством, не содержащим активной генерации электрических напряжений в части тела или частью тела пользователя.

5. Система распознавания жестов по п. 1,
отличающаяся тем, что конкретное электрическое свойство кожи является электрической проводимостью кожи.

6. Система распознавания жестов по п. 1,
отличающаяся тем, что первый электрод и второй электрод измеряют пассивное электрическое свойство кожи во время перехода между жестами.

7. Система распознавания жестов по п. 1,
отличающаяся тем, что изменение конкретного электрического свойства содержит одно из отдельного значения, представляющего темп изменения, и множества значений, представляющих траекторию изменения конкретного электрического свойства.

8. Способ для обнаружения жестов части тела пользователя, содержащий этапы, на которых:
используют первый электрод (120A) для установки первого электрического соединения с первым участком кожи на части тела;
используют второй электрод (120В) для установки второго электрического соединения со вторым участком кожи на части тела,
отличным от первого участка;
обнаруживают конкретный жест из жестов посредством определения конкретного электрического свойства кожи между первым электродом и вторым электродом;
причем конкретный жест включает в себя растягивание конкретных участков кожи части тела или сжатие других конкретных участков кожи части тела;
причем значение конкретного электрического свойства зависит от растягивания или сжатия; и
причем первый электрод и второй электрод, каждый, выполнены с возможностью измерения пассивного электрического свойства кожи для определения конкретного электрического свойства кожи между первым электродом и вторым электродом.

9. Способ по п. 8,
отличающийся тем, что на этапе обнаружения определяют изменение конкретного электрического свойства за период времени.

10. Способ по п. 8,
отличающийся тем, что первый электрод и второй электрод располагаются в гибком носителе (111, 112), выполненном с возможностью сохранения физического контакта с кожей при эксплуатации.

11. Способ по п. 8,
отличающийся тем, что пассивное электрическое свойство кожи является свойством, не содержащим активной генерации электрических напряжений в части тела или частью тела пользователя.

12. Носитель записи, на котором хранится компьютерная программа для обеспечения осуществления способа по п. 8.