Обработка пользовательской входной информации с отслеживанием глаз

Авторы патента:

НОРДЕН Крис (US)

G06F3/033 - с помощью подвижного элемента, связанного с индикаторным устройством, например световой карандаш, джойстик, манипулятор типа "мышь"

Владельцы патента RU 2608462:

СОНИ КОМПЬЮТЕР ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи. (US)

Изобретение относится к компьютерным системам взаимодействия пользователя. Технический результат заключается в повышении точности ввода при взаимодействии множества пользователя с компьютерной системой с помощью отдельного механизма ввода. Система определяет, который из множества пользователей передает входную информацию через единое устройство ввода информации. Механизм захватывает изображения одного или более пользователей. Если входная информация распознана, изображения могут быть обработаны для определения того, какой из пользователей передал входную информацию, используя устройство ввода информации. Изображения могут быть обработаны для идентификации головы и глаз каждого пользователя и определения точки фокусирования каждого глаза пользователя. Пользователь, чьи глаза сфокусированы на участке ввода информации, идентифицируется как передающий входную информацию. Если в качестве механизма ввода информации используется сенсорный экран, пользователь фокусирует глаза на участке сенсорного экрана, который, если был затронут, идентифицируется как источник входной информации. 3 н. и 1 з.п. ф-лы, 11 ил.

ПЕРЕКРЕСТНЫЕ ССЫЛКИ

Данная патентная заявка претендует на преимущество и приоритет патентной заявки США номер 13/464,703 от 4 мая 2012, описание которой включено здесь в виде ссылки.

ОБЛАСТЬ ТЕХНИКИ

Данное изобретение в основном относится к системам обработки ввода и, в частности, к обработке ввода от множества пользователей с помощью обработки изображений.

УРОВЕНЬ ТЕХНИКИ

Приложения компьютерных систем взаимодействуют с пользователями, получая пользовательскую входную информацию, обрабатывают входную информацию и предоставляют результат. Так как системы становятся более продвинутыми и больше людей пользуются технологией, приложения вынуждены взаимодействовать одновременно со многими пользователями. Многие пользователи могут взаимодействовать с компьютерными системами в одно и то же время, и пользователи могут получать выходную информацию, относящуюся к конкретному пользователю. Например, два пользователя могут использовать игровые устройства управления для игры в компьютерную игру, позволяющую пользователям соревноваться друг с другом во время игровой сессии. Каждый пользователь дает входную информацию с помощью соответствующего игрового устройства управления.

Технология развилась таким образом, что позволяет использовать различные виды взаимодействия с компьютерными системами. Точнее, для получения входной информации от удаленного игрового устройства управления для каждого пользователя, например, некоторые компьютерные системы используют отдельные механизмы ввода информации, такие как сенсорный экран. При взаимодействии одного пользователя с компьютерным устройством отдельный механизм ввода информации получает входную информацию от отдельного пользователя. При взаимодействии множества пользователей с компьютерной системой с помощью отдельного механизма ввода информации очень сложно определить, который из пользователей ввел входную информацию.

Существует необходимость на данном уровне техники в системе, позволяющей множеству пользователей легко и эффективно взаимодействовать с компьютерным устройством, использовать отдельный механизм ввода информации.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В варианте реализации, надежности, функциональности, контенте или деловом соответствии, основываясь на обучающихся технологиях, эффективном мониторинге и управлении ресурсами, настоящая система может собирать данные и проводить анализ информации для выпадающих значений сетевого приложения с очень малыми затратами.

В варианте реализации входная информация может быть получена первым идентифицирующим множеством пользователей, физически присутствующих у устройства. Входная информация может быть получена устройством от первого пользователя из множества физически присутствующих пользователей. Физическое состояние может быть распознано от одного из множества пользователей, связанных с входной информацией.

В варианте реализации система для распознавания входной информации может содержать дисплейное устройство, камеру, процессор и модули, сохраняемые в памяти и выполняемые процессором. Камера может захватывать данные цветного изображения и передавать данные изображения процессору. Модуль распознавания деталей выполняется для распознавания физических деталей пользователя. Модуль распознавания фокусирования пользователя распознает точку фокусировки глаз пользователя. Модуль обработки входной информации получает и обрабатывает входную информацию от пользователя.

КРАТКОЕ ОПИСАНИЕ ФИГУР

Фигура 1 представляет собой блок-схему примерной системы для получения входной информации через сенсорный экран компьютерной консоли.

Фигура 2 представляет собой блок-схему примерной системы для получения входной информации через сенсорный экран планшетного компьютера.

Фигура 3 представляет собой блок-схему примерной системы для получения входной информации через сенсорный экран мобильного устройства.

Фигура 4 иллюстрирует примерное компьютерное устройство с механизмом распознавания пользователя.

Фигура 5 иллюстрирует примерный набор выполняемых программных модулей.

Фигура 6 представляет собой блок-схему последовательности процесса примерного способа определения входной информации от одного из множества пользователей.

Фигуры 7А-7C представляют собой примерные иллюстрации глаз пользователей.

Фигура 8 представляет собой блок-схему примерного компьютерного устройства, получившего входную информацию от одного из множества пользователей.

Фигура 9 представляет собой блок-схему примерной системы для реализации компьютерным устройством.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Варианты реализации изобретения определяют, который из пользователей из множества пользователей передает входную информацию через единое устройство ввода информации. Компьютерная система может содержать механизм захвата изображений одного или более пользователей. Изображения могут быть обработаны для определения того, какой из пользователей передает входную информацию, используя устройство ввода информации. Например, изображения могут быть обработаны для идентификации голов и глаз каждого пользователя и определения точки фокусирования для глаз каждого пользователя. Пользователь, чьи глаза сфокусированы на устройстве ввода информации, идентифицируются при вводе входной информации. В вариантах реализации, в которых механизмом ввода информации может быть сенсорный экран, пользователь фокусирует глаза на части сенсорного экрана, которая была тронута, определяется как передающая входную информацию.

Варианты реализации изобретения могут быть использованы с различными типами компьютерных устройств. Фигура 1 представляет собой блок-схему примерной системы для получения входной информации с помощью сенсорного экрана компьютерной консоли. Компьютерная консоль 125 передает данные изображения для отображения на сенсорный экран 120. Сенсорный экран 120 может получать входную информацию путем прикосновения и передавать входную информацию компьютерной консоли 125. Компьютерная консоль может получать входную информацию, обрабатывать входную информацию, создавать новые данные изображения и передавать данные изображения на сенсорный экран 120. Любой из пользователей 105 и 110 может передать входную информацию в компьютерную консоль 125, например, прикоснувшись к сенсорному экрану 120. Настоящее изобретение способно определять, который из пользователей прикоснулся к сенсорному экрану, и соответствующе обработать входную информацию. Фигура 2 представляет собой блок-схему примерной системы для получения входной информации через сенсорный экран планшетного компьютера 130. Пользователи 105 и 110 могут оба передавать входную информацию на планшетный компьютер 130, используя сенсорный экран планшета. В данном варианте реализации изобретения возможно определить, который из пользователей 105 и 110 передал входную информацию на планшетный компьютер 130, и соответствующе обработать входную информацию. Фигура 3 представляет собой блок-схему примерной системы для получения входной информации через сенсорный экран мобильного устройства. Пользователи 105 и 110 могут оба передать входную информацию мобильному устройству 140 через сенсорный экран или другую входную информацию. Данное изобретение может определить, который из пользователей передал входную информацию на мобильное устройство 140 и обработать входную информацию для этого пользователя.

Фигура 4 иллюстрирует примерное компьютерное устройство с механизмом распознавания пользователя 45. Механизм распознавания пользователя 405 может быть использован с компьютерной консолью, планшетным компьютером, мобильным устройством или любым другим компьютерным устройством. Механизм распознавания пользователя содержит цветную камеру 410 и инфракрасную (IR) камеру 415. Цветная камера 410 может захватывать изображения в области 420 в непосредственной близости к компьютерному устройству. Изображения могут быть обработаны для идентификации пользователей, физических деталей пользователей и состояния физических деталей. Например, изображения двух игроков, захваченные цветной камерой 410, могут быть обработаны для идентификации двух пользователей в области 420, физические детали обоих пользователей, включая головы и глаза пользователей, и состояние глаз каждого пользователя, к примеру, на чем каждый пользователь фокусирует свои глаза. IR система изображений 415 также может быть использована для захвата и обработки изображений. IR система изображений 415 может быть использована в условиях слабой освещенности для захвата IR изображений в области 425. IR изображения могут быть обработаны для идентификации количества пользователей, физических деталей пользователя и состояний деталей подобно обработке изображений цветной камеры.

Фигура 5 иллюстрирует примерный набор выполняемых программных модулей. Модули могут выполняться процессором для реализации различных аспектов изобретения, здесь описанного. Модуль распознавания деталей 520 распознает детали в изображениях пользователя. Например, модуль распознавания деталей может получать изображение, распознавать контуры человеческого лица и определять глаза на лице. Модуль 520 может иметь шаблон одного или более лиц для сравнения частей полученного изображения для идентификации человеческого лица. Шаблон может храниться в модуле библиотеки деталей 540. В некоторых вариантах реализации модуль распознавания деталей 540 может распознавать движение между двумя или более последовательными изображениями и использовать изменения в окраске пикселей для распознавания пользователей. После распознавания головы пользователя модуль распознавания деталей анализирует детали головы для распознавания глаз пользователя. Глаза могут быть определены распознаванием детали, такой как нос, близкий к глазам, определение того, что глаза пользователя находятся на определенной дистанции от верха головы пользователя, или выполнение других алгоритмов, вообще известных в данной области техники. В дополнение к физическим деталям, другие детали также могут быть определены, такие как, например, расстояние от пользователя до компьютерного устройства. В некоторых вариантах реализации, если распознано, что некто находится на расстоянии от компьютерного устройства, большем, чем пороговое, пользователь не будет считаться пользователем, способным вводить входную информацию.

Модуль фокусирования пользователя 510 может анализировать изображения глаз пользователя и определять, на чем фокусируется пользователь. Передняя часть человеческого глаза содержит черный зрачок, цветную радужною оболочку вокруг зрачка и белую белочную оболочку глаза вокруг цветной радужной оболочки. Компьютерное устройство может анализировать область и расположение белочной оболочки глаза для определения того, сфокусирован ли пользователь вверх, вниз, влево или вправо. Например, если глаза пользователя сфокусированы на объекте справа от него, изображение захватываемого глаза пользователя покажет больше белочной оболочки глаза пользователя с правой стороны глаза в изображении (левой стороны пользователя), чем с левой стороны, поскольку глаза будут двигаться налево.

Модуль входной информации фокусирования 530 получает входную информацию и обрабатывает входную информацию. Входная информация может выбираться из обозначенной горячей точки на сенсорном экране, кнопки, беспроводного сигнала, или несколько другой входной информации. Модуль входной информации фокусирования 530 может получать информацию от других модулей, определяющих пользователя, передающего новейшую входную информацию. Модуль обработки входной информации затем обрабатывает входную информацию как действие определенного пользователя.

Модуль библиотеки деталей 540 может содержать маски лиц и глаз, шаблонов, моделей и других данных, используемых для обработки изображения и распознавания физических деталей пользователя и состояния деталей, таких как направления фокусирования глаза пользователя.

Фигура 6 представляет собой блок-схему последовательности процесса примерного способа определения входной информации от одного из множества пользователей. Способ по Фигуре 6 может быть выполнен любыми компьютерными устройствами 120 и 125, 130 и 140. Взаимодействующие пользователи определяются компьютерным устройством на этапе 610. Взаимодействующие пользователи - это те, которые могут вводить входную информацию в компьютерное устройство. Взаимодействующие пользователи могут быть определены регистрацией в системе или обработкой изображения. Регистрация может включать передачу идентификационной информации некоторого вида от каждого пользователя или индикацию того, что они присутствуют у компьютерного устройства. Обработка изображения может включать захват одного или более изображений области, из которой пользователи могут передавать входную информацию, распознавание количества человеческих голов и присвоение значения каждой распознанной голове. В некоторых вариантах реализации как регистрация, так и обработка изображения могут быть использованы для идентификации взаимодействующих пользователей.

Способ распознавания человеческой головы с помощью обработки изображения может начинаться с анализа изображения форм, похожих на человеческую голову. Формы могут быть определены с использованием контрастного распознавания, распознавания движения и других техник. После обнаружения потенциальной формы головы голова кандидата анализируется на детали, общие для большинства человеческих голов. Детали могут содержать контраст, затенение или другие детали, присутствующие на носу, во рту или может быть глазах. Если голова кандидата удовлетворяет пороговому уровню деталей, голова кандидата может быть опознана как голова взаимодействующего пользователя. В данной области технологии известны и другие способы распознавания лиц в изображении.

Область глаза каждого пользователя локализуется на этапе 615. Распознавание области глаза головы взаимодействующего пользователя может включать поиск по контрасту, яркости или другим уровням свойств изображения по области головы, где располагается глаз. После локализации глаза пользователя поведение глаз может быть откалибровано для каждого взаимодействующего пользователя на этапе 620. Калибровка может включать инструкции на экране для взаимодействующего пользователя, отмечающие необходимое расстояние между компьютерным устройством и лицом пользователя, инструкции для рассмотрения обозначенной точки на экране и другие указания. Калибровка может потребовать от пользователя посмотреть на различные точки или горячие точки дисплея компьютерного устройства и проанализировать изображение глаза пользователя при известном фокусировании глаз пользователя. Например, Фигуры 7А-С иллюстрируют голову и глаза пользователя при фокусировании глаз пользователя на различных областях. Фигура 7А иллюстрирует голову пользователя 710 с глазами 714 и 712. Глаз 714 содержит область цветной радужной оболочки и область зрачка 716 и области белочной оболочки глаза 718 и 720. Глаз 712 содержит область цветной радужной оболочки, область зрачка 722 и области белочной оболочки глаза 724 и 726. При одинаковом расположении областей белочной оболочки глаза слева и справа от областей цветной радужной оболочки и зрачка может быть определено, что пользователь сфокусирован прямо. Если область белочной оболочки глаза значительно больше справа от областей цветной радужной оболочки и зрачка, чем область белочной оболочки глаза слева от зрачка и цветной радужной оболочки, пользователь может сфокусироваться направо от пользователя (Фигура 7B). Таким же образом, если область белочной оболочки глаза значительно больше справа и ниже цветной радужной оболочки и области зрачка, чем область белочной оболочки глаза слева и выше зрачка и цветной радужной оболочки, пользователь может сфокусироваться в направлении справа вверху от пользователя (Фигура 7C). Градус фокусирования и соответствующая точка фокусирования может быть получена от проведения ряда измерений глаза пользователя во время калибровки. Область и локализация зрачка пользователя, белочной оболочки глаза и других объектов может быть записана для последовательного отслеживания глаз пользователя.

Отслеживание глаз пользователя начинается на этапе 625. Отслеживание включает захват последовательных изображений пользователя. Изображения могут быть обработаны для отслеживания и поддержки знания о локализации и фокусировке глаза пользователя. В некоторых вариантах реализации изображения захватываются одно за другим и сохраняются, но затем отбрасываются, если не была получена входная информация от любого из пользователей.

Входная информация распознается в горячей точке экрана на этапе 630. Входная информация может содержать горячую точку прикосновения пользователя на сенсорном экране для одного из компьютерной консоли 120, планшетного компьютера 220 и мобильного устройства 320. Горячая точка может быть конкретным изображением объекта, демонстрируемого на экране, такого как изображение символа, звонка, виртуальной вещи, текста или другого объекта. Пользователь фокусирует глаза на расположении горячей точки входной информации, определенной на этапе 635. Расположение глаза может быть определено, как описано выше по отношению к процессу калибровки. Пользователь в соответствии с конкретной входной информацией может быть определен множеством способов. Например, определяется фокусирование глаза каждого пользователя и выбирается пользователь с фокусированием глаза, наиболее близким к горячей точке. В другом случае фокусирование глаза для каждого пользователя может быть определено, пока фокусирование глаза распознается в пределах пороговой дистанции горячей точки, с которой получена входная информация. В некоторых вариантах реализации правдоподобие входной информации может быть определено для каждого пользователя на основе истории их входной информации, их фокусирование глаза, где ожидается входная информация от пользователя, и т.д. После связывания входной информации с определенным пользователем входная информация в горячей точке обрабатывается для конкретного пользователя на этапе 640.

Фигура 8 представляет собой блок-схему примерного компьютерного устройства, получающего входную информацию от одного из множества пользователей. Компьютерное устройство 800 содержит систему камеры 805 (система распознавания пользователя) с цветной камерой 810 и IR камерой 815. Пользователи 830 и 835 каждый находятся на расстоянии 820 от цветной камеры 810 и расстоянии 825 от IR камеры 815. Компьютерное устройство 800 содержит сенсорный экран с горячими точками 840, 845, 850, 855 и 860. Во время калибровки система может продемонстрировать текст, который просит пользователя сфокусироваться на конкретной горячей точке, пока система захватит изображение глаза пользователя.

Когда входная информация получена, компьютерное устройство 800 определяет фокусировку пользователя и определяет входную информацию как входящую от пользователя, сфокусировавшегося на горячей точке, получившей входную информацию. Например, пользователь 835 ввел входную информацию в горячей точке 855, нажимая экран в горячей точке 855. Во время получения входной информации устройство обработки будет анализировать изображения, захваченные цветной камерой 810, IR камерой 815 или обеими. Фокусирование пользователей определяется из изображений. Если после обработки изображения пользователь 830 определен как сфокусировавшийся на 870, а пользователь 835 определен как сфокусировавшийся на 880, что соответствует горячей точке 855, входная информация, полученная в горячей точке 855, будет связана с пользователем 835. Определяя, куда сфокусированы глаза пользователя, входная информация, получаемая через устройство, используемое множеством игроков, может быть связанна с один из множества игроков.

Фигура 9 иллюстрирует примерную компьютерную систему 900, которая может быть использована для реализации компьютерного устройства для использования в настоящей технологии. Система 900 из Фигуры 9 может быть реализована в средах, подобных компьютерной консоли 120, планшетного компьютера 220 и мобильного устройства 320. Компьютерная система 900 Фигуры 9 содержит одну или более камер 910, процессоры 915 и память 920. Основная память 920 хранит, в частности, инструкции и данные для выполнения процессором 915. Основная память 920 может хранить выполняемый код во время работы. Система 900 Фигуры 9 дополнительно содержит устройство хранения 925, портативные диск(и) хранения 930, IR устройство 935, устройства вывода 940, устройства ввода пользовательской информации 945, дисплей 950 и периферийные устройства 955.

Камеры 910 могут содержать более одной камеры, способных захватывать серии фотографий; подходящих для анализа обработки изображений. Фотографии могут быть размещены в компьютерной системе, размещенной снаружи по отношению к системе. Захваченные камерой 910 изображения могут быть переданы процессору 915 по шине 960, который может выполнять модули, хранящиеся в памяти 920, для анализа изображения на предмет деталей распознавания.

IR устройство 935 может содержать IR камеру, способную захватывать изображения в условиях очень слабой освещенности. IR изображения могут быть обработаны так же, как изображения цветной камеры для распознавания деталей пользователя. Захваченные изображения от IR устройства 935 могут быть переданы на процессор 915 для обработки по шине 960.

Компоненты, показанные в Фигуре 9, изображены как подключенные по одной шине 990. Однако компоненты могут быть подключены через одну или более шин передачи данных. Например, процессорное устройство 915 и основная память 920 могут быть соединены по локальной микропроцессорной шине, а запоминающее устройство 925, периферийное устройство(а) 955, портативное запоминающее устройство 930 и система дисплея 950 могут быть соединены по одной или более шинам входной/выходной (I/O) информации.

Запоминающее устройство 925, которое может быть реализовано с помощью магнитного диска или оптического диска, является энергонезависимым устройством хранения для хранения данных и инструкций для использования процессорным устройством 915. Устройство хранения 925 может хранить системные программы для воплощения вариантов реализации настоящего изобретения для загрузки этого программного обеспечения в основную память 920.

Портативное запоминающее устройство 930 работает в связке с портативным энергонезависимым носителем хранения, таким как дискета, компакт-диск или цифровой видеодиск, для ввода и вывода данных и кода в и из компьютерной системы 900 Фигуры 9. Системное программное обеспечение для воплощения вариантов реализации настоящего изобретения может храниться на таком портативном носителе и вводить информацию в компьютерную систему 900 по портативному устройству хранения 930.

Устройство ввода информации 945 реализует частично интерфейс пользователя. Устройство ввода информации 945 может содержать алфавитно-цифровую клавиатуру, такую как клавиатура для ввода алфавитно-цифровой и другой информации, или указывающее устройство, такое как мышь, трекбол, стилус или кнопки управления курсором. Дополнительно, система 900, как показано на Фигуре 9, содержит выводные устройства 940. Примеры подходящих выводных устройств содержат динамики, принтеры, сетевые интерфейсы и мониторы.

Система дисплея 950 может содержать жидкокристаллический дисплей (LCD) или другое подходящее дисплейное устройство. Система дисплея 950 получает текстовую и графическую информацию и обрабатывает ее для вывода на дисплейное устройство. Система дисплея 950 может содержать устройство сенсорного экрана, которое получает входную информацию распознаванием прикосновения к поверхности дисплея. Пикселы, полученные в результате прикосновения, передаются на процессор 915 по шине 960.

Периферийные устройства 955 могут содержать любой тип компьютерных вспомогательных устройств для добавления дополнительной функциональности компьютерной системе. Например, периферийное устройство(а) 955 может содержать модем или маршрутизатор.

Компоненты компьютерной системы 900 Фигуры 9 являются типичными для компьютерных систем, которые могут подходить для использования с вариантами реализации данного изобретения и представляют основную категорию таких компьютерных компонентов, которые хорошо известны в данной области техники. Таким образом, компьютерная система 900 Фигуры 9 может быть персональным компьютером, переносным компьютерным устройством, телефоном, мобильным компьютерным устройством, рабочей станцией, сервером, мини-компьютером, главным компьютером или любым другим компьютерным устройством. Компьютер также может содержать различные конфигурации шин, сетевых платформ, многопроцессорных платформ и т.д. Могут использоваться различные операционные системы, в том числе Unix, Linux, Windows, Macintosh OS, Palm OS и другие подходящие операционные системы.

Следующее детализированное описание технологии присутствует здесь в иллюстративных целях. Не следует считать, что технология исчерпывается или ограничивается в точности с вышеизложенным. Множество модификаций и вариаций возможно в виду вышеизложенного. Описанные варианты реализации были выбраны с целью наилучшего объяснения принципов технологии и ее практического применения, таким образом сделав возможным для других специалистов в данной области техники наилучшим образом освоить технологию в различных вариантах реализации и с различными модификациями, как это удобнее для конкретного использования при обдумывании. Объем технологии определяется приведенной здесь формулой изобретения.

1. Способ для приема ввода чувствительным к касанию устройством, содержащий:

захват данных изображения для физической области, окружающей упомянутое чувствительное к касанию устройство;

идентификацию множества пользователей, физически присутствующих у упомянутого чувствительного к касанию устройства, посредством идентификации голов-кандидатов из захваченных данных изображения;

идентификацию признаков лица для каждого из множества физически присутствующих пользователей, причем упомянутые признаки лица включают в себя глаза каждого из множества физически присутствующих пользователей;

калибровку глаз каждого из множества физически присутствующих пользователей до взаимодействия в реальном времени с упомянутым чувствительным к касанию устройством, причем калибровка включает в себя фокусировку с множеством заранее определенных участков упомянутого чувствительного к касанию устройства;

отслеживание фокусировки глаз для глаз каждого из множества физически присутствующих пользователей в реальном времени и последующую калибровку, причем фокусировка глаз включает в себя анализ упомянутой области и локализацию белочной оболочки в отношении зрачка для каждого глаза каждого из множества физически присутствующих пользователей;

прием ввода на упомянутом чувствительном к касанию устройстве, причем упомянутый ввод обнаруживается в горячей точке на дисплее с сенсорным экраном упомянутого чувствительного к касанию устройства; и

ассоциирование упомянутого ввода с действующим пользователем из множества физически присутствующих пользователей на основании отслеживания фокуса глаз каждого из множества физически присутствующих пользователей, причем действующий пользователь определяется как имеющий фокус глаз, ближайший к горячей точке, в результате анализа упомянутой области и локализации белочной оболочки по отношению к зрачку для глаз каждого из множества физически присутствующих пользователей.

2. Невременный машиночитаемый носитель, имеющий сохраненную программу, выполняемую процессором для реализации способа для приема ввода чувствительным к касанию устройством, содержащего:

отслеживание фокуса глаз для глаз каждого из множества физически присутствующих пользователей в реальном времени и последующую калибровку, причем фокус глаз включает в себя анализ упомянутой области и локализации белочной оболочки по отношению к зрачку для каждого глаза каждого из множества физически присутствующих пользователей;

3. Система для обнаружения ввода, содержащая:

чувствительное к касанию устройство, которое принимает ввод в горячей точке на дисплее с сенсорным экраном упомянутого чувствительного к касанию устройства;

камеру, которая захватывает данные цветного изображения для физической области, окружающей упомянутое чувствительное к касанию устройство;

энергонезависимое запоминающее устройство, подсоединенное к камере для приема захваченных данных изображения;

процессор, который выполняет невременные считываемые компьютером инструкции, сохраненные в памяти, причем выполнение инструкций:

идентифицирует множество пользователей, физически присутствующих у упомянутого чувствительного к касанию устройства, посредством идентификации голов-кандидатов из захваченных данных изображения, хранимых в упомянутом энергонезависимом запоминающем устройстве;

идентифицирует признаки лица для каждого из множества физически присутствующих пользователей, причем упомянутые признаки лица включают в себя глаза каждого из множества физически присутствующих пользователей;

калибрует глаза каждого из множества физически присутствующих пользователей до взаимодействия в реальном времени с упомянутым чувствительным к касанию устройством, причем калибровка включает в себя фокусировку с множеством заранее определенных участков упомянутого чувствительного к касанию устройства;

отслеживает фокусировку глаз для глаз каждого из множества физически присутствующих пользователей в реальном времени и последующую калибровку, причем фокусировка глаз включает в себя анализ упомянутой области и локализацию белочной оболочки в отношении зрачка для каждого глаза каждого из множества физически присутствующих пользователей;

ассоциирование принятого ввода на дисплее с сенсорным экраном с действующим пользователем из множества физически присутствующих пользователей на основании отслеживания фокуса глаз каждого из множества физически присутствующих пользователей, причем действующий пользователь определяется как имеющий фокус глаз, ближайший к горячей точке, в результате анализа упомянутой области и локализации белочной оболочки по отношению к зрачку для глаз каждого из множества физически присутствующих пользователей.

4. Система по п. 3, дополнительно содержащая ИК-устройство, которое захватывает ИК-изображения одного или более пользователей упомянутого множества физически присутствующих пользователей, причем захваченные ИК-изображения использованы совместно с камерой для идентификации голов-кандидатов.

Изобретение относится к области дистанционного управления устройствами, а именно к оцениванию признаков управления устройств (10) дистанционного управления, содержащих камеры (11) для обнаружения световых точек (51, 52) от маяков (31, 32), расположенных в устройствах (20) или рядом с ними, которые должны управляться посредством устройств (10) дистанционного управления с помощью предоставления возможности камерам (11) дополнительно обнаруживать световые точки (61, 62) от не маяков (41, 42).

Незагрязняемое бескнопочное указательное устройство "мышь" // 2601832

Изобретение относится к устройствам ввода информации. Технический результат изобретения заключается в уменьшении размеров, упрощении конструкции незагрязняемого бескнопочного указательного устройства "мышь", а также в повышении гигиеничности и безопасности его эксплуатации.

Способ и аппаратура для классификации множества состояний устройства // 2597524

Изобретение относится к портативным устройствам. Технический результат заключается в повышении точности классификации состояний устройства.

Оптический джойстик // 2596576

Изобретение относится к устройствам ввода. Технический результат заключается в повышении надежности оптического джойстика.

Обработка бесконтактного ввода для сенсорных экранов // 2595634

Изобретение относится к технологиям обработки ввода для сенсорных экранов. Техническим результатом является повышение точности выполнения пользовательского ввода на сенсорном экране.

Оптический министик // 2594992

Изобретение относится к джойстикам, используемым в вычислительной технике, в устройствах для ввода информации в ЭВМ, для управления бытовыми и технологическими устройствами, игрушками и виртуальными объектами.

Система для электростатического пера в емкостном датчике касания // 2574417

Изобретение относится к области устройств ввода информации и может быть использовано при определении положения электростатического пера в пределах емкостного датчика касания.

Система и способ перемещения курсора по экрану // 2573206

Изобретение относится к системе и способу перемещения курсора в ответ на перемещение указательного устройства. Техническим результатом является обеспечение улучшенной управляемости курсором на экране вследствие фиксированной связи между положением указательного устройства и положения курсора.

Шаровой манипулятор // 2563610

Изобретение относится к автоматике и вычислительной технике и может быть использовано в системах отображения информации для управления ориентацией изображений подвижных объектов на экране растрового монитора.

Система ввода информации касанием с тремя состояниями // 2559749

Изобретение относится к устройствам ввода с экраном ввода касанием, имитирующим устройства ввода с тремя состояниями. Техническим результатом является расширение возможностей использования мобильного устройства людям со слабым зрением за счет обеспечения средства проверки воздействия касанием экрана до установления контакта с ним.

Устройство управления // 2614650

Предложенные устройства относятся к геймпадам, используемым в компьютерах или игровых приставках. Устройство (1) управления включает в себя: правую и левую секции (10R) и (10L) удержания, которые удерживает пользователь, на правой и левой секциях (10R) и (10L) удержания предусмотрены первые элементы (11) и (19) управления; и центральную секцию (21), взаимно соединяющую правую и левую секции (10R) и (10L) удержания. Устройство (1) управления имеет второй элемент (22) управления, формирующий верхнюю поверхность центральной секции (21). Второй элемент (22) управления включает в себя сенсорный датчик (23), расположенный между первыми элементами управления правой и левой секций (10R) и (10L) удержания, и установлен таким образом, что он выполнен с возможностью вертикального движения в ответ на операцию нажатия пользователя. Второй элемент управления имеет форму пластины, так что пальцы пользователя могут легко достичь второго элемента управления в состоянии, когда пользователь удерживает секции удержания. В первом варианте своего конструктивного исполнения второй элемент управления включает в себя часть, которая формирует верхнюю поверхность центральной секции, и часть, которая формирует переднюю поверхность центральной секции. Во втором варианте своего конструктивного исполнения передняя кромка второго элемента управления формирует переднюю кромку верхней поверхности центральной секции. Предложенная группа изобретений обеспечивает более высокое удобство управления устройством управления по сравнению с известными аналогичными средствами. 2 н. и 12 з.п. ф-лы, 21 ил.

Способ бесконтактного управления курсором мыши // 2618389

Изобретение относится к технологиям бесконтактного человеко-машинного взаимодействия. Техническим результатом является повышение робастности слежения за перемещением головы пользователя путем повышения производительности работы с системой и снижения уровня ошибок выделения объектов. Предложен способ бесконтактного управления курсором мыши. Согласно способу, определяют местоположение области интереса на выпуклой форме. Выпуклая форма представляет собой голову человека, область интереса представляет собой область лица человека между бровями и нижней губой. Оцифрованное изображение указанной выпуклой формы получают с помощью видеокамеры. После того как указанный сохраненный паттерн яркости области интереса сохраняют в виде матрицы, определяют местоположение пяти опорных точек в пределах указанного сохраненного паттерна яркости области интереса, а затем регистрируют множество оцифрованных видеоизображений. По результатам сравнения матрицы сохраненного паттерна яркости области интереса и матрицы зарегистрированного паттерна яркости области интереса определяют двумерные координаты указанных опорных точек в каждом из указанного множества видеоизображений, а затем используют двумерные координаты указанных опорных точек для управления курсором мыши. 2 з.п. ф-лы, 1 табл., 7 ил.

Стилус направленной передачи ультразвука // 2623719

Изобретение относится к устройствам ввода. Технический результат заключается в уменьшении влияния многолучевого распространения акустических сигналов, принимаемых акустическими датчиками, расположенными на расстоянии от рабочей поверхности. Стилус содержит часть наконечника, который имеет полость. Полость имеет множество отверстий на первом конце и передатчик акустических, например ультразвуковых, волн на конце, продольно противоположном первому концу. Конец наконечника меньше четверти длины волны от выходных концов отверстий. Когда конец наконечника помещен на рабочую поверхность, акустические волны распространяются от передатчика через полость, выходят через отверстия и распространяются меньше чем на четверть длины волны по рабочей поверхности относительно близко к наконечнику. 10 з.п. ф-лы, 15 ил.

Модульное указательное устройство "мышь" // 2624544

Изобретение относится к указательным устройствам. Технический результат заключается в создании модульного указательного устройства, состоящего из соединяемых друг с другом корпусных модулей, позволяющих изменять функционал «мыши». Устройство содержит компактный корпус прямоугольной формы и с предназначенным для пальцев руки пользователя пространством сверху, органы управления "мышью", чипсет и проводной или беспроводной интерфейс. Корпус состоит из соединяемых друг с другом корпусных модулей, являющихся унифицированными составными частями корпуса, несущих на/в себе передний вертикальный выступ и П-образную шпильку, за которые производится передвижение корпуса относительно опорной поверхности, и один или несколько органов управления "мышью" и миниатюрных проекторов с выводом изображения на опорную поверхность и/или руку пользователя. Чипсет состоит из одного или нескольких соединяемых друг с другом компонентов, находящихся в корпусных модулях, и конструктивно выполнен с возможностью включения в себя одного или нескольких запоминающих устройств с программно реализуемой клавиатурой для ввода данных в компьютер, к которому "мышь" подключена, и/или игровыми программами, и/или драйверами "мыши". 1 ил.

Контроллер для отображения карты // 2636674

Изобретение относится к контроллеру для отображения карты. Технический результат заключается в упрощении переключения режима демонстрации отображения карты. Такой результат достигается за счет того, что контроллер для отображения карты включает в себя операционный блок, включающий в себя операционный элемент, выполненный в форме устройства ввода, который работает в пределах заранее определенного диапазона операций, блок детектирования операции, который выявляет операцию на операционной части, блок генерирования силы реакции, который применяет силу реакции к операционной части, противодействуя изменению положения операционной части, когда выполняется операция, при которой положение операционной части изменяется, чтобы пройти через заранее определенную область в диапазоне операций в заранее определенном направлении, и блок управления, который переключает режим демонстрации отображения карты, демонстрируемого устройством отображения, когда из выявленного блоком детектирования операции результата определяется, что положение операционной части пересекает заранее определенную область в заранее определенном направлении. 2 н. и 4 з.п. ф-лы, 12 ил.

Способ и устройство пользовательского интерфейса для пользовательского терминала // 2641468

Изобретение относится к устройству пользовательского интерфейса для пользовательского терминала. Технический результат заключается в расширении функциональных возможностей за счет поддержки функции заметки, написанной от руки, в различных приложениях. Такой результат достигается благодаря тому, что пользовательский интерфейс в пользовательском терминале поддерживает основанную на написании от руки функцию заметки, и в котором после приема написанного от руки ввода на экране заметки от пользователя распознается записанный от руки ввод, из распознанного ввода определяется команда, и исполняется приложение, соответствующее упомянутой определенной команде. 2 н. и 7 з.п. ф-лы, 36 ил.

Интерфейс пользователя // 2642363

Изобретение относится к пользовательским интерфейсам. Технический результат заключается в повышении точности и надежности тактильной отдачи пользователю. Устройство включает: интерактивную поверхность, образованную матрицей перемещаемых поверхностных элементов, при этом поверхностные элементы имеют положение покоя; генератор колебательных сигналов, выполненный с возможностью генерирования колебательного сигнала, при этом генератор колебательного сигнала соединен с поверхностными элементами кабельной матрицей, сконфигурированной для передачи колебательного сигнала поверхностным элементам, при этом поверхностные элементы имеют положение покоя относительно кабельной матрицы; в котором кабельная матрица скомпонована так, что перемещение поверхностных элементов из положения покоя изменяет колебательный сигнал, порождая модифицированный колебательный сигнал, и/или так, что модифицированный колебательный сигнал вызывает перемещение поверхностных элементов из положения покоя; кроме того, упомянутый интерфейс пользователя содержит преобразователь сигналов, который преобразует модифицированный колебательный сигнал в электрический сигнал интерактивного устройства и/или наоборот. 2 н. и 31 з.п. ф-лы, 14 ил.

Устройство контроля системы движений // 2642394

Изобретение относится к устройствам ввода. Технический результат заключается в повышении показателей количества, качества, надежности, точности контролируемых функций в системе движений и достигается за счет того, что устройство содержит кнопки, корпус, жестко соединенный с управляющим элементом, выполненным в виде Н-образной рамы с криволинейными опорными поверхностями, на передних частях которого по периферии напротив друг друга с боковых сторон расположены кнопки и ролики, внутри установлен шарнир, на котором жестко закреплен хвостовик, на управляющем элементе, выполненном в виде Н-образной рамы, между криволинейными опорными поверхностями установлены зажимы, а внутри корпуса расположен регулятор, контролирующий жесткость хода шарнира, педали и датчики движения, соединенные с управляющим элементом проводами или беспроводной связью, хвостовик жестко соединен с кронштейном крепления, имеющим регулировочные зажимы, криволинейные опорные поверхности оснащены регулятором, контролирующим их положение на управляющем элементе, два дополнительных управляющих элемента, соединенных с управляющим элементом проводами или беспроводной связью, на передних частях которых по периферии друг против друга с боковых сторон расположены кнопки и ролики. 2 ил.

Бесконтактный ввод // 2644520

Изобретение относится к приему пользовательского ввода. Технический результат – визуализация обнаружения для осуществления пользовательского ввода. Для этого ряд карт глубин формирует изображение сцены. Каждая карта глубин включает в себя множество пикселей, где каждый пиксель задает глубину поверхности, изображение которой формируется посредством этого пикселя. Идентифицируется набор нестатичных пикселей, имеющих самую малую глубину, в пределах ряда карт глубин. Позиция этого набора нестатичных пикселей отображается на позицию курсора. 2 н. и 8 з.п. ф-лы, 14 ил.

Устройство управления // 2647695

Изобретение относится к устройству управления, предназначенному для использования в качестве устройства ввода для устройства обработки информации, такого как игровое устройство. Технический результат заключается в уменьшении влияния света от осветительного оборудования внутри помещения на точность обнаружения положения устройства управления и достигается за счет того, что устройство управления включает в себя: левую и правую секции удержания, предназначенные для удержания пользователем, на каждой из которых предусмотрен элемент управления на их верхних поверхностях; центральную секцию, которая представляет собой секцию между левой и правой секциями удержания; и излучающую свет поверхность, выполненную с возможностью излучения света, которую захватывает устройство обработки информации через камеру, на излучающей свет поверхности предусмотрена передняя поверхность центральной секции. Центральная секция включает в себя участок, расположенный поверх поверхности излучения света и выступающий вперед больше, чем верхняя кромка поверхности излучения света. 2 н. и 6 з.п. ф-лы, 28 ил.