Способ и устройство определения пространственного положения глаз для вычисления линии взгляда

Группа изобретений относится к контрольно-измерительной технике, применяемой, в частности, в офтальмологии. Способ состоит в задании взаимного расположения, синхронизованных между собой по времени детектирующих изображений объекта в пространстве, средств. Получают изображения сегментов объекта с разных позиций расположения детектирующих изображения объекта средств. Оценивают, регистрируют пространственное положение, ориентацию сегментов объекта, воспроизводят из полученных изображений сегментов объекта изображение объекта в целом. При воспроизведении передают изображение объекта на визуально воспринимаемый носитель. Каждое детектирующее изображения объекта средство ориентируют на заданный сегмент объекта автономно. Обработку поступающих изображений ведут для тех из них, параметры которых удовлетворяют предварительно заданным сегментам. Формируют систему координат, привязанную непосредственно к детектирующим изображения средствам. Определяют и регистрируют координаты области расположения сегментов объекта в пространстве относительно сформированной системы координат. Воспроизведение изображения объекта в целом осуществляют не менее, чем по трем различным изображениям заданных сегментов. Применение данной группы изобретений обеспечивает проведение пассивной, дистанционной регистрации пространственного положения глаз. 2 н. и 5 з.п.ф-лы, 7 ил.

 

Изобретение относится к контрольно-измерительной технике и может быть использовано для измерения динамики движения глаз в процессе выполнения человеком когнитивных задач, а также для реализации интерфейсов, чувствительных к вниманию, интерфейсах глаз - мозг - компьютер, в системах, осуществляющих коммуникацию между людьми с нарушениями моторных функций.

Уровень техники

Динамика изменения направления взгляда, а также длительность фиксаций на отдельных точках рассматриваемого объекта является крайне информативным параметром, характеризующим внимание человека в процессе осуществления им когнитивной деятельности [Velichkovsky В.М., Pannasch et al Neurocognitive investigations of human eye movements: Interaction between levels. XX Conference of the Physiological Society "I.P.Pavlov". Moscow (2007), Franke, I.S., Pannasch, Velichkovsky B.M. et al (2008). Towards attention-centered interfaces: An aesthetic evaluation of perspective with eye tracking. ACM Transactions on Multimedia Computing Communications and Applications, 4(3), Art. №18]. Обширные исследования в этой области привели к развитию ряда технологий, позволяющих оптимизировать взаимодействие человека с техническими средствами, оптимизировать информационные потоки с точки зрения наилучшего восприятия человеком предоставляемой информации, контролировать внимание человека, задействованного в сложных производственных процессах с целью уменьшения вероятности возникновения ситуаций, обусловленных человеческим фактором.

Развитие данных технологий, а также осуществление исследовательской деятельности в области когнитивной эргономики напрямую связанно с созданием систем определения направления взгляда и точки фиксации внимания непосредственно на рассматриваемом объекте. В настоящее время существует ряд коммерческих систем, позволяющих обеспечить высокоточное определение этих параметров, однако они имеют несколько крупных недостатков, к которым можно отнести значительное ограничение испытуемого в естественных движениях. Для дистанционных систем это выражается в необходимости фиксации головы или сильном ограничении пространства, по которому производится регистрация направления взгляда. Для систем наголовного крепления это выражается в размещении шлема с регистрирующими устройствами испытуемого и его жесткая фиксация на голове испытуемого. Помимо этого для существующих систем подобного рода необходима регулярная калибровка, что сильно ограничивает их использование в прикладных целях.

В связи с этим предлагаемое изобретение позволяет производить неинвазивную, пассивную, дистанционную регистрацию направления взгляда, без необходимости проведения предварительной или регулярной калибровки, при которой испытуемый не ограничивался каким-либо образом в естественных движениях, а пространство, в котором производится вычисление направления взгляда, могло бы быть значительно расширено за счет введения дополнительных детектирующих средств.

Аналоги.

Известно техническое решение: SU №1438690, МПК ⁴А61В 3/00, «Устройство для регистрации и анализа зрительной деятельности оператора». Изобретение относится к технике эргономических исследований, может быть использовано для контроля за зрительной деятельностью оператора и позволяет получать и регистрировать изображение участка поля зрения с маркером направления взгляда оператора и характеристиками зрительной деятельности, которые определяются автоматически. Устройство состоит из оптической системы, регистратора зрительного маршрута, видеокамеры, синтезатора, телемонитора и видеомагнитофона. С выхода видеокамеры видеосигнал изображения участка поля зрения оператора поступает на один из входов синтезатора, на другой вход которого с выхода регистратора поступает видеосигнал маркера направления взгляда.

Однако указанное решение не позволяет в оптимальных режимах производить неинвазивную, пассивную, дистанционную регистрацию направления взгляда, без необходимости проведения предварительной или регулярной калибровки, при которой испытуемый не ограничивался бы каким-либо образом в естественных движениях, а пространство, в котором производится вычисление направления взгляда, могло бы быть значительно расширено за счет введения дополнительных детектирующих средств.

Также, известно техническое решение - прототип-патент США №7623676, (приор. 21.12.2005, публикация: 2008.01.01, авторы Tao Zhao, Manoj Aggarwal, Рэкеш Кумар, Harpreet Sawhney. «Метод и аппарат для того, чтобы отследить объекты по широкой области, используя сеть датчиков стерео»).

В указанном патенте предлагается оценивать пространственное положение, ориентацию объектов путем их съемки с разных ракурсов с использованием нескольких пар детектирующих средств - стереопар и обработки таких пар изображений (стереоизображений).

При такой схеме регистрации, если одно из детектирующих средств стереопары не обнаружило области глаз (что может случиться при больших углах поворота головы относительно оптической оси данного детектирующего средства), то данная стереопара целиком неспособна обеспечить процесс регистрации и обработки изображений.

Помимо этого оптические оси объективов каждого детектирующего устройства стереопары должны пересекаться в области фокуса, в связи с чем сильно ограничивается пространство регистрации. Расширение данной области осуществляется за счет ввода не одиночного детектирующего средства, а пары (стереопары).

В предлагаемом, согласно данной заявке, изобретении система регистрации организованна таким образом, что все детектирующие средства, участвующие в регистрации изображений, не связанны между собой попарно в отличие от стереопары, но синхронизованы между собой по времени, что позволяет задействовать максимальное количество детектирующих средств.

Информация обрабатывается только с тех детектирующих средств, на изображениях которых обнаружена область зрачка. В случае, если регистрация изображений осуществляется несколькими детектирующими средствами, то установление пространственного положения глаз может осуществляться по трем изображениям, что может позволить задействовать алгоритмы, требующие наименьшего машинного времени.

Помимо этого оптические оси детектирующих средств разнесены в пространстве и представляют собой перекрещивающиеся прямые, что позволяет реализовать предложенный метод восстановления пространственного положения глаз.

Таким образом, решаемая техническая задача состоит в том, чтобы обеспечить проведение пассивной, дистанционной регистрации пространственного положения глаз, без каких-либо ограничений на перемещения и повороты регистрируемого объекта, а также без проведения калибровки бинокулярной системы технического зрения, или выполняемой, по мере необходимости, без отрыва от основной работы и без использования эталонного объекта.

Указанная техническая задача решается предложенной совокупностью существенных признаков.

Способ определения пространственного положения глаз для вычисления линии взгляда, состоящий в том, что задают взаимное расположение синхронизованных между собой по времени более, чем одного детектирующего изображения объекта в пространстве, средств, получают изображения сегментов объекта с разных ракурсов, каждый из которых соответствует определенному пространственному положению детектирующего изображения объекта средства, оценивают, регистрируют пространственное положение, ориентацию сегментов объекта, воспроизводят из полученных изображений сегментов объекта изображение объекта в целом, при воспроизведении передают изображение объекта на визуально воспринимаемый носитель, причем каждое детектирующее изображения объекта средство ориентируют на заданный сегмент объекта автономно, обработку поступающих изображений ведут для тех из них, параметры которых удовлетворяют предварительно заданным сегментам, формируют систему координат, привязанную непосредственно к детектирующим изображения средствам, определяют и регистрируют координаты области расположения сегментов объекта в пространстве относительно сформированной системы координат, воспроизведение изображения объекта в целом осуществляют не менее чем по трем различным изображениям заданных сегментов,

при этом

- в качестве детектируемого объекта используют изображения глаз человека;

- в качестве сегментов объекта задают изображения области зрачка глаза человека;

- в качестве сегментов объекта задают изображения области радужной оболочки глаза человека;

- в качестве сегментов объекта задают изображения области глазного яблока глаза человека;

- при воспроизведении полученных изображений глаз человека выделяют положение области радужной оболочки и зрачка относительно оптической оси объектива каждого из детектирующих изображения средств и определяют линию взгляда.

Техническая задача также решается тем, что предложено:

устройство определения пространственного положения глаз для вычисления направления взгляда, включающее, размещенные в пространстве, с возможностью изменения и фиксации положения, детектирующие изображения объекта, средства, связанные с ними, блоки предварительной обработки информации, блок вычисления пространственного положения линии взгляда глаз человека, средства задания и регистрации взаимного расположения, синхронизованных между собой по времени, более, чем одного, детектирующего изображения объекта в пространстве, средств, средства воспроизведения и передачи изображения объекта на визуально воспринимаемый носитель, причем устройство содержит не менее трех детектирующих изображения объекта, средств, размещенных по отношению к объекту на различных оптических осях, причем оптические оси детектирующих изображения средств разнесены в пространстве таким образом, что представляют собой перекрещивающиеся прямые, при этом блоки предварительной обработки информации связаны с каждым из детектирующих изображений объекта, средств и выполнены с возможностью произведения предварительных вычислений в автономном режиме.

Способ и устройство, реализующее данный способ, раскрыты в подробном описании, приведенном ниже, со ссылкой на сопроводительные фигуры:

Фиг.1 иллюстрирует взаимное расположение детектирующих средств при многоракурсной регистрации области глаз для последующего вычисления пространственного положения глаз.

Фиг.2 иллюстрирует зоны регистрации пространственного положения глаз при размещении детектирующих средств с взаимно смещенной оптической осью объективов.

Фиг.3 иллюстрирует геометрию взаимного положения плоскости радужки и зрачка относительно плоскости изображения при повороте глазного яблока.

Фиг.4 (А, Б, В) иллюстрирует проекции области радужной оболочки и зрачка на плоскость изображения при следующих условиях: линия взгляда совпадает с оптической осью детектирующего средства (А), линия взгляда отклонена от оптической оси детектирующего средства в горизонтальной плоскости (Б), линия взгляда отклонена от оптической оси детектирующего средства в вертикальной и горизонтальной плоскости (В). Звездочкой обозначен центр изображения.

Фиг.5 иллюстрирует результаты предварительной обработки, включающие в себя идентификацию области глаз, оконтуривание области радужной оболочки и зрачка для изображений, полученных для каждого изображения в отдельности. Перекрестный маркер обозначает центр изображения, совпадающий с оптической осью объектива детектирующего устройства, a Δ₁, Δ₂, Δ₃ - расстояние от центра изображения до центра эллипса.

Фиг.6 иллюстрирует схему внутренней геометрической модели, обеспечивающей вычисление пространственного положения глаза относительно детектирующих средств.

Фиг.7 Блок-схема устройства, реализующего вычисления пространственного положения глаз для последующего вычисления линии взгляда.

На фиг.1 - фиг.7 и в тексте использованы следующие обозначения.

m1 - расстояние от точки пересечения оптической оси объектива детектирующего средства 1 с мнимой осью OZ до точки пересечения оптической оси объектива детектирующего средства 3 с мнимой осью OZ;

m2 - расстояние от точки пересечения оптической оси объектива детектирующего средства 3 с мнимой осью OZ до точки пересечения оптической оси объектива детектирующего средства 2 с мнимой осью OZ;

L1 - расстояние от детектирующего средства 1 до детектирующего средства 3;

L2 - расстояние от детектирующего средства 3 до детектирующего средства 2;

L3 - расстояние от детектирующего средства 1 до детектирующего средства 2;

s1 - расстояние от мнимой оси OZ до объектива детектирующего средства 1;

s2 - расстояние от мнимой оси OZ до объектива детектирующего средства 2;

s3 - расстояние от мнимой оси OZ до объектива детектирующего средства 3;

Δ - расстояние от центра изображения до центра эллипса, описанного вокруг области радужки и зрачка;

Δ₁ - расстояние от центра изображения, полученного с детектирующего средства 1, до центра эллипса, описанного вокруг области радужки и зрачка;

Δ₂ - расстояние от центра изображения, полученного с детектирующего средства 2, до центра эллипса, описанного вокруг области радужки и зрачка;

Δ₃ - расстояние от центра изображения, полученного с детектирующего средства 3, до центра эллипса, описанного вокруг области радужки и зрачка;

OZ - воображаемая мнимая ось;

S - площадь эллипса, описанного вокруг области радужки и зрачка, приведенная в пикселах;

r1 - расстояние от объектива детектирующего средства 1 до точки пересечения оптической оси данного объектива с перпендикуляром, опущенным на данную оптическую ось из точки, соответствующей центру области радужки и зрачка;

r2 - расстояние от объектива детектирующего средства 2 до точки пересечения оптической оси данного объектива с перпендикуляром, опущенным на данную оптическую ось из точки, соответствующей центру области радужки и зрачка;

r3 - расстояние от объектива детектирующего средства 3 до точки пересечения оптической оси данного объектива с перпендикуляром, опущенным на данную оптическую ось из точки, соответствующей центру области радужки и зрачка.

Описание изобретения

1. Для реализации способа определения пространственного расположения глаз располагают детектирующие средства (устройства) так, как показано на фиг.1 (показано для 3 детектирующих средств).

Детектирующие средства установлены под некоторым углом и на некотором расстоянии относительно друг друга.

Отличительной особенностью предлагаемого в настоящем изобретении расположения детектирующих средств является то, чтобы оптические оси объективов этих средств не сходились в одной точке, а представляли собой перекрещивающиеся прямые, пересекающие некую воображаемую мнимую ось, обозначенную на фиг.1 как ось OZ.

2. В процессе расстановки детектирующих изображения сегментов объекта средств учитывают взаимное расположение каждого детектирующего сегменты изображения средства относительно любого другого.

В качестве параметров, определяющих такое взаимное положение, могут использоваться углы наклона оптических осей объективов детектирующих средств относительно друг друга (например, определяется относительно оси OZ), расстояние до области пересечения оптических осей и мнимой оси, расстояние от одного детектирующего средства до другого, а также расстояние между точками пересечения оптических осей каждого из детектирующих средств с мнимой осью OZ.

Соответствующие расстояния обозначены на фиг.1 как m1, m2, L1, L2, L3, s1, s2, s3 соответственно. На этапе обработки предполагается, что регистрация сегментов объектов будет производиться в пространстве, находящемся между объективом регистрирующего средства и осью OZ.

3. Для регистрации изображений сегментов объекта может использоваться любое количество детектирующих средств, взаимное расположение которых выбирается аналогично взаимному расположению трех детектирующих средств, показанных на фиг.1. При этом возможно неограниченно расширять область пространства регистрации и точность измерений, при этом:

3.1 Область пространства, в котором производится регистрация изображений группой детектирующих средств, а также точность детектирования сегментов объектов, может быть подобрана параметрами объективов детектирующих средств (угловой апертурой) и размером светочувствительной матрицы и может варьироваться в зависимости от конкретных требований путем подбора соответствующих параметров аппаратных средств.

3.2 Область регистрации при таком расположении детектирующих средств осуществляется в зоне перекрытия линейных полей детектирующих средств, как показано на фиг.2, при этом регистрация должна осуществляться не менее чем тремя детектирующими средствами. Существует возможность регистрировать различные области пространства различными группами детектирующих средств, что может значительно расширить область детектирования, а также обеспечить регистрацию сегментов объекта при больших углах поворота, путем варьирования параметров m1, m2, L1, L2, L3, s1, s2, s3.

3.3. Существует возможность регистрации различными группами детектирующих средств различных областей пространства. Данное управление группами детектирующих средств, участвующих в регистрации, достигается путем конфигурирования зон перекрытия линейных полей объективов детектирующих средств, как показано на фиг.2. При этом возможно использование детектирующих средств с различными характеристиками объективов, описанными в п.1.2. Так, для областей пространства, где вероятность появления области глаз наименьшая, возможно использовать группу детектирующих средств с пониженными требованиями к характеристикам объективов и детектирующим матрицам (например, широкоугольные объективы, матрицы с меньшим количеством светочувствительных элементов).

3.4 Увеличение или уменьшение области регистрации (зона регистрации детектирующими средствами 1, 2, 3 на фиг.2) также может достигаться путем варьирования расстояния m1, m2 (фиг.1).

3.5 Возможно вводить группы детектирующих средств, ориентированных на другую мнимую ось, имеющую другую ориентацию, для покрытия других областей пространства. В этом случае вычисления пространственной ориентации положения линии взгляда производятся полностью аналогичным способом.

3.6. Для контроля производимых вычислений производят калибровку системы, суть которой заключается в установлении соответствия между количеством пикселей каждого из детектирующих средств и расстоянием, откладываемым вдоль мнимой оси OZ (обозначено как m1, m2 на фиг.1).

Для проведения операции калибровки размещают объект с известными линейными размерами вдоль (или перпендикулярно) оси OZ, регистрируют его каждым из участвующих в регистрации детектирующих средств, после чего с использованием полученных изображений вычисляют соответствие между количеством пикселей и реальным линейным размером какого-либо сегмента данного объекта.

4. Определяют пространственное положение глаз, для чего производят предварительную обработку, целью которой является определение интересующих сегментов объекта на изображениях, полученных группой детектирующих средств. В качестве интересующих сегментов выбирается область радужки и зрачка. Выполнение предварительной обработки может осуществляться следующим способом:

4.1. Выполняется поиск глаз на полученных изображениях. При этом могут использоваться активные и пассивные методы идентификации области радужки и зрачка. В случае активных методов может задействоваться подсветка зрачка и радужки в ИК диапазоне для увеличения контраста соответствующей области. Активные и пассивные методы идентификации глаз хорошо разработаны в области биометрики и теории идентификации объектов на изображении. На данном этапе могут использоваться любые из этих методов, например как в работах [Jeffrey В.Mulligan, Kevin N.Gabayan Robust optical eye detection during head movement / Proceedings of the 2010 Symposium on Eye-Tracking Research & Applications: 129-132(2010), Jalal A.Nasiri, Amir H.Bahmani, Hissein Deldari, H.Sadoghi Yazdi Parallel Implementation of Eye Detection Algorithm on Color Facial Images Australian Journal of Basic and Applied Sciences, 3(2): 467-473 (2009)], либо методики, открытые для широко использования, как, например, соответствующие функции в библиотеке OpenCV или в пакете MathLab EyeTracking, основанные на использовании классификаторов.

4.2. Далее, в случае успешного выполнения этапа поиска области глаз, соответствующего настоящему моменту времени, производится поиск области зрачка или радужки, с последующим оконтуриванием границ этих объектов. Такие подходы также хорошо разработаны в области регистрации движений глаз. Например, одним из точных методов поиска и оконтуривания границ радужки или зрачка, которые могут быть использованы на данном этапе, можно считать алгоритм поиска с использованием вейвлетов Хаара (Haar wavelet) [Sandipan P.Narotef, Abhilasha S.Narote, Laxman M.Waghmare Iris Based Recognition System Using Wavelet Transform / International Journal of Computer Science and Network Security, 9(11): 101-104 2009]. Также существуют методы прямого поиска эллипсов и окружностей с использованием преобразований Хоу (Hough transform) [С.Н.Daouk, L.A.El-Esber, F.D.Kammoun and М.A.Al Alaoui Iris recognition / IEEE ISSPIT:558 (2002)] (пункт 4.1 и 4.2 не относятся непосредственно к предмету настоящего изобретения).

4.3. Исходя из того, что границы радужки (зрачка) имеют форму окружности, то их проекция на плоскость изображения представляет собой эллипс. Вращение глазного яблока математически хорошо описывается вращающейся вокруг центра симметрии сферы [A.Gagalowicz and W.Philips (Eds.): MIRAGE 2007, LNCS 4418, pp.307-317(2007)], в связи с чем проекция области радужки и зрачка (имеющих форму окружности) на плоскость изображения будет представлять собой эллипс. Поясняющее изображение приведено на фиг.3. При этом большой и малый диаметры эллипса могут быть наклонены под некоторым углом на изображении в зависимости от пространственной ориентации глазного яблока. На фиг.4 приведены изображения области глаз, снятые под различными ракурсами, с различной ориентацией глазного яблока, а также приведены соответствующие проекции области радужки и зрачка на плоскость изображения. При этом центр проекции (эллипса или окружности) является точкой пересечения линии взгляда с плоскостью, в которой находится зрачок. В результате такой обработки для каждого изображения получается область зрачка и радужки, имеющая определенную ориентацию (или наклон) в плоскости изображения. Данные, получаемые в ходе такой обработки, приведены на фиг.5. Область зрачка и радужки, представляет собой эллипс в соответствии с ориентацией глазного яблока относительно оптической оси детектирующего средства, расположенного на некотором расстоянии от центра изображения, что соответствует пространственному смещению данной области относительно оптической оси объектива детектирующего средства.

5. Осуществляют оценку параметров положения зрачка на каждом из изображений для последующего построения трехмерной модели пространственного положения глаза. Для реализации этого этапа производится оценка данных, полученных на предыдущем этапе обработки и проиллюстрированных на фиг.5. Сравниваются изображения, полученные после предыдущего этапа обработки. Для каждого изображения определяется пространственное положение границы радужки и зрачка, их ориентация. Данные характеристики получают путем оценки следующих параметров: отклонение центра эллипса от центра изображения, совпадающего с оптической осью объектива детектирующего средства - Δ (приведенное в результате обработки в пикселах), площадь эллипса - S (приведенная в пикселах). Измеряется в пикселах длина Δ₁, Δ₂, Δ₃ (т.е. измеряют количество пикселов для Δ₁, Δ₂, Δ₃).

6. Производят восстановление пространственного положения глаза в системе координат, привязанной к регистрирующим детектирующего средства. Данный этап осуществляется путем сопоставления взаимного пространственного положения детектирующего средства и данных, полученных на предыдущем этапе обработки (этап 5). Для определения пространственного положения области радужки и зрачка вводится геометрическая модель, воссоздающая взаимное расположение детектирующих средств. На фиг.5 приведена схема подобной модели для системы из трех детектирующих устройств, приведенной на фиг.1. При этом на рисунке отмечены параметры Δ₁, Δ₂, Δ₃, которые в трехмерном пространстве являются перпендикулярами, опущенными из центра области радужка/зрачок на оптические оси детектирующих устройств. При этом, исходя из конфигурации системы, как отмечалось в п.1, известны все расстояния.

7. Определяют пространственное положение центра области радужки/зрачка в координатах, привязанных к детектирующим средствам, в модели определяется расстояние r1, r2, r3. Определение производится с использованием данных о соотношении длин отрезков Δ₁, Δ₂, Δ₃ полученных в результате обработки на этапе 5.

Определение координаты точки пространства, в которой находится интересуемая область, может, например, осуществляться с использованием итерационных методов (например, по методу наименьших квадратов). Из всех изображений, полученных в результате обработки этапа 5, выбирается изображение, для которого площадь S является максимальной. Для случая, когда область зрачка и радужки была зафиксирована более чем тремя детектирующими устройствами, из полученной группы изображений выбирают три таких изображения, на которых площадь S области зрачка и радужки является максимальной. Далее вычисляют положение оптических осей остальных детектирующих устройств относительно оптической оси устройства, которому принадлежит данное изображение. Пи этом расчет идет в системе координат оптической оси данного устройства и оси OZ. Поскольку известны углы наклона оптических осей относительно друг друга, а также известны расстояния m1, m2 (фиг.1), то координаты пространственного положения прямых, соответствующих оптическим осям других детектирующих устройств, могут быть приведены в виде уравнения прямой в пространстве, например канонической формой (x-x₀)/k=(y-y₀)/n=(z-z₀)/p, где (k,n,p)-координаты вектора, коллинеарного данной прямой, a x₀, y₀, z₀ - координаты некоторой точки, принадлежащей данной прямой (фиг.6).

8. Производят поиск координат точки в пространстве, расстояние от которой до прямых, совпадающих с оптическими осями объективов камер, имеет то же соотношение, что и соотношения длин Δ₁, Δ₂, Δ₃ (значения длин для этих параметров приведены в пикселах и получены в ходе выполнения этапа 7). Пространственная ориентация векторов Δ₁, Δ₂, Δ₃ используется как дополнительный ориентир для определения квадранта пространства, в котором следует осуществлять определение координат точки центра зрачка и радужки.

Выполнение данного этапа сводится к решению следующей системы уравнений. Расстояние h₁ между точкой M₁(x₁,y₁,z₁), соответствующей центру области радужки и зрачка, и прямой, совпадающей с оптической осью объектива детектирующего средства и заданной в канонической форме, задается аналитическим выражением

где

h₁ - расстояние от точки, совпадающей с центром области радужки и зрачка, до прямой, совпадающей с оптической осью объектива детектирующего средства 1 (фиг.6);

а - вектор, коллинеарный прямой совпадающей с оптической осью объектива детектирующего средства 1;

k, l, m - координаты вектора а;

М₀ - точка, принадлежащая прямой, совпадающей с оптической осью объектива детектирующего устройства 1;

M₁ - точка, совпадающая с центром области радужки и зрачка.

Аналогично составляют аналитические выражения для расстояний h₂, h₃, характеризующих отклонение точки, совпадающей с центром радужки и зрачка, относительно оптической оси объективов детектирующих средств 2 и 3 соответственно. Полученные аналитические выражения объединяют в систему уравнений: h₁/h₂=Δ₁/Δ₂, h₁/h₃=Δ₁/Δ₃, h₂/h₃=Δ₁/Δ₃ где:

h₁ - расстояние от точки, совпадающей с центром области радужки и зрачка, до прямой, совпадающей с оптической осью объектива детектирующего средства 1;

h₂ - расстояние от точки, совпадающей с центром области радужки и зрачка, до прямой, совпадающей с оптической осью объектива детектирующего средства 2;

h₃ - расстояние от точки, совпадающей с центром области радужки и зрачка, до прямой, совпадающей с оптической осью объектива детектирующего средства 3.

Решают указанную систему уравнений относительно неизвестных x₁, y₁, z₁, соответствующих координатам точки M₁, и получают положение центра области радужки и зрачка в системе координат, связанной с детектирующими устройствами.

Могут вводить дополнительные критерии, повышающие точность вычислений. В качестве таких критериев могут служить данные калибровки, которая проводилась в пункте 3.6. Контроль может осуществляться путем сопоставления линейных размеров объекта в пикселах, с использованием изображений с детектирующих средств, с реальными линейными размерами, измеряемыми в см.

9. Осуществляют определение плоскости, в которой находится область зрачка и радужки. Определение ориентации глазного яблока с известным центром области радужки и зрачка хорошо разработана и может быть осуществлена на данном этапе в соответствии с алгоритмом, приведенным, например, в работе [Takeshi Takegami, Toshiyuki Gotoh, Seiichiro Kagei, and Reiko Minamikawa-Tachino (2003)].

10. Используют результаты этапа 9, на основании чего проводят прямую из центра области зрачка и радужки, перпендикулярную плоскости радужки и зрачка, ориентация которой может быть рассчитана по методике этапа 9.

11. Имея уравнение пространственного положения прямой, соответствующей линии взгляда в системе координат, привязанной к детектирующим средствам и рассчитанным на этапе 8, можно вычислить ее пересечение с объектом, если известно его положение относительно детектирующих средств.

Устройство определения пространственного положения глаз для вычисления направления взгляда.

12. Устройство, реализующее вышеописанный способ, состоит из детектирующих устройств, осуществляющих регистрацию интересующей области пространства и сконфигурированных согласно п.1, 2, 3 настоящего изобретения, также блока, осуществляющего первичную обработку изображений, блока вычисления пространственного положения объекта, а также блока расчета линии взгляда.

Структурная блок-схема приведена на фиг.7.

12.1. Устройство включает в себя несколько видеоканалов, согласно структуре на фиг.7. Каждый видеоканал содержит детектирующее устройство и блок обработки первичного видеосигнала, в котором производится обработка, описанная в п.4.1 настоящего изобретения. Каждый канал работает автономно, при этом анализируется каждый текущий кадр. Данный блок может быть выполнен на базе микропроцессора или в виде программного блока с собственным потоком. Все детектирующие устройства, а также блоки обработки первичной информации работают синхронизованно, что может осуществляться внешним устройством синхронизации. Все блоки, участвующие в регистрации изображений, могут быть удалены друг относительно друга и расположены в любой конфигурации. Блок обработки первичной информации конструктивно может располагаться непосредственно внутри детектирующего средства или располагаться в другом месте, в этом случае коммутация осуществляется посредством кабельных или радиоканалов.

12.2. В случае обнаружения области глаз на текущем изображении, внутри данного блока производится обработка, согласно п.4.2. настоящего изобретения. В результате этой операции формируется набор параметров, описывающих положение области радужки и зрачка на изображении в соответствии с п.5 настоящего изобретения, полученных в данном видеоканале.

12.3. В случае успешного выполнения обработки в п.12.2 текущее изображение, вместе с соответствующими параметрами передается из текущего видеоканала в блок вычисления пространственного положения. Данный блок может быть выполнен на базе персонального компьютера. Данный блок принимает соответствующие данные со всех каналов, которые зарегистрировали изображения глаз. При этом в блоке заложена информация о взаимном пространственном расположении соответствующих каналов (в качестве такой информации используются параметры, описанные в п.1, 2 настоящего изобретения). В случае, если к данному блоку подключены несколько групп детектирующих устройств (наблюдающих разные области пространства), то в блок закладывается информация, к какому устройству принадлежит данный видеоканал. Блок осуществляет обработку, описанную в п.8.1 настоящего изобретения. В случае успешного вычисления производится оценка пространственного положения взгляда, например, методами, приведенными п.8.2.

Изложенные выше пояснения операций способа и взаимосвязи конструктивных элементов создают условия, когда все детектирующие средства, участвующие в регистрации изображений не связаны между собой попарно, но синхронизованы между собой по времени, обработка информации осуществляется только с тех детектирующих средств, на изображениях которых обнаружена область зрачка, установление пространственного положения глаз осуществляется по трем изображениям, что задействует алгоритмы, требующие наименьшего машинного времени, оптические оси детектирующих средств разнесены в пространстве и представляют собой перекрещивающиеся прямые, что позволяет реализовать предложенный способ восстановления пространственного положения глаз и, соответственно, определять линию взгляда.

Таким образом, данное решение позволит обеспечить проведение пассивной, дистанционной регистрации пространственного положения глаз, без каких-либо ограничений на перемещения и повороты регистрируемого объекта, а также без проведения калибровки бинокулярной системы технического зрения, или выполняемой, по мере необходимости, без отрыва от основной работы и без использования эталонного объекта.

1. Способ определения пространственного положения глаз для вычисления направления взгляда, состоящий в том, что задают взаимное расположение синхронизованных между собой по времени, более чем одного, детектирующего изображения объекта в пространстве средств, получают изображения сегментов объекта с разных позиций расположения детектирующих изображения объекта средств, оценивают, регистрируют пространственное положение, ориентацию сегментов объекта, воспроизводят из полученных изображений сегментов объекта изображение объекта в целом, при воспроизведении передают изображение объекта на визуально воспринимаемый носитель, отличающийся тем, что каждое детектирующее изображения объекта средство ориентируют на заданный сегмент объекта автономно, обработку поступающих изображений ведут для тех из них, параметры которых удовлетворяют предварительно заданным сегментам, формируют систему координат, привязанную непосредственно к детектирующим изображения средствам, определяют и регистрируют координаты области расположения сегментов объекта в пространстве относительно сформированной системы координат, воспроизведение изображения объекта в целом осуществляют не менее чем по трем различным изображениям заданных сегментов.

2. Способ по п.1, отличающийся тем, что в качестве детектируемого объекта используют изображения глаз человека.

3. Способ по п.1, отличающийся тем, что в качестве сегментов объекта задают изображения области зрачка глаза человека.

4. Способ по п.1, отличающийся тем, что в качестве сегментов объекта задают изображения области радужной оболочки глаза человека.

5. Способ по п.1, отличающийся тем, что в качестве сегментов объекта задают изображения области глазного яблока глаза человека.

6. Способ по п.1, отличающийся тем, что при воспроизведении полученных изображений глаз человека выделяют положение области радужной оболочки и зрачка относительно оптической оси объектива каждого из детектирующих изображения средств и определяют линию взгляда.

7. Устройство определения пространственного положения глаз для вычисления направления взгляда, включающее размещенные в пространстве с возможностью изменения и фиксации положения детектирующие изображения объекта, средства, связанные с ними, блоки предварительной обработки информации, блок вычисления пространственного положения линии взгляда глаз человека, средства задания и регистрации взаимного расположения синхронизованных между собой по времени, более чем одного, детектирующего изображения объекта в пространстве средств, средства воспроизведения и передачи изображения объекта на визуально воспринимаемый носитель, отличающееся тем, что устройство содержит не менее трех детектирующих изображения объекта средств, размещенных по отношению к объекту на различных оптических осях, причем оптические оси детектирующих изображения средств разнесены в пространстве таким образом, что представляют собой перекрещивающиеся прямые, при этом блоки предварительной обработки информации связаны с каждым из детектирующих изображения объекта средств и выполнены с возможностью произведения предварительных вычислений в автономном режиме.