Устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, и фиксации реакции на это изображение
Владельцы патента RU 2739519:
ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ТОТАЛ ВИЖЕН" (ООО "ТОТАЛ ВИЖЕН") (RU)
Изобретение относится к области вычислительной техники для обработки изображений. Технический результат заключается в повышении точности отображения изображения в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол. Технический результат в том, что контроллер вычисления коррекции координат изображения выполнен с возможностью получения данных от контроллера – анализатора координат линии взора; контроллер управления координатами демонстрации изображения выполнен с возможностью получения изображения с генератора изображения, а также получения и обработки данных с контроллера вычисления коррекции координат изображения и формирования координат корректировки изображения, при этом генератор изображения выполнен с возможностью получения данных и команд с блока управления и вывода информации; контроллер обработки данных выполнен с возможностью получения и обработки данных с устройства обратной связи и контроллера управления координатами демонстрации изображения с возможностью их обработки с целью получения данных о реакции наблюдателя, синхронизированных с тайм-кодом изображения, координатами изображения и координатами направления взора. 14 з.п. ф-лы, 11 ил.
Область техники
Изобретение относится к области физики, в частности для демонстрации изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем) и фиксации реакции на это изображение.
Уровень техники
Изобретение относится к области физики, в частности для демонстрации изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем) и фиксации реакции на это изображение и может быть использовано во всех случаях, когда для получения корректного результата требуется например, но не только, задействовать периферийное зрение человека, в частности - для создания измерительных устройств для измерения физиологических, психомоторных и зрительных функций организма; для реализации методик, использующих видеонистагмографию; в медицине (офтальмологии, неврологии, психиатрии, хирургии, психологии, реабилитации и т.д.), для реализации методик, связанных с исследованием, тренировкой и лечением зрительных функций (например, но не только, для периметрии); в психолингвистике и других областях для получения объективной картины и достоверных результатов при исследовании физиологических, психомоторных и зрительных функций или проведении лечебных процедур; в спорте, обучении и тренировках психомоторных навыков; в маркетинге, образовании и игровой индустрии для реализации новых возможностей, различного видео-контента и работы с видео-тренажерами; в устройствах моделирования, диагностирования, ремонта, настройки и управления сложными системами и других областях; в системах создания виртуальной, дополненной и смешанной реальности для реализации технологий, связанных в частности, но не только с использованием периферийного зрения, а также в качестве устройств ввода-вывода данных для взаимодействия человека с компьютером во всех областях.
Из уровня техники известна система отслеживания взгляда (US8510166B2, опубл. 13.08.2013). Система отслеживания взгляда представляет собой устройство отслеживания взгляда, размещенное на голове и сервер с программным обеспечением. Устройство, размещенное на голове выполнено с возможностью связи с сервером. Сервер получает изображения сцен от устройства слежения за взглядом, которое захватывает внешние сцены, просматриваемые наблюдателем, носящим устройство, установленное на голове. Сервер также получает информацию о направлении взгляда от устройства отслеживания взгляда, смонтированного на голове. Информация о направлении взгляда указывает, куда во внешних сценах смотрел наблюдатель при просмотре внешних сцен. Алгоритм распознавания изображений выполняется на изображениях сцены, чтобы идентифицировать элементы в пределах внешних сцен, просматриваемых наблюдателем. Создается журнал наблюдения, отслеживающий идентифицированные предметы, просматриваемые наблюдателем.
Из уровня техники известно устройство обнаружения точки взора (US9262680B2, опубл.16.02.2016). Устройство обнаружения точки обзора обнаруживает точку обзора объекта на окружающую среду. Устройство включает в себя: средство получения изображения глазного яблока, выполненное с возможностью получения изображения глазного яблока субъекта; средство оценки точки отражения, выполненное с возможностью оценки первой точки отражения, в которой отражается входящий свет в направлении оптической оси глазного яблока субъекта от изображения глазного яблока; средство вычисления скорректированной точки отражения, сконфигурированное для вычисления скорректированной точки отражения в качестве скорректированной первой точки отражения путем коррекции первой точки отражения на основе личного параметра, указывающего разницу между направлением взгляда субъекта и направлением оптической оси глазное яблоко.
Недостатки данных решений. Оба решения представляют собой устройства цель которых определять и отслеживать направление взора, направленного на внешние сцены. В связи с этим данные устройства не позволяют корректировать видимое наблюдателем изображение (поскольку это внешние сцены) и, следовательно, влиять на угол между изображением и линией взора, а следовательно, обеспечивать демонстрацию изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол. Кроме того, данные устройства не позволяют формировать требуемые для решения поставленных задач изображения. Кроме того, в данных устройствах отсутствуют системы обратной связи, позволяющие фиксировать реакции наблюдателя на изображение.
Демонстрация изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем) и фиксации реакции на это изображение, требуется во всех случаях, когда для получения корректного результата необходимо например, но не только, задействовать периферийное зрение человека, в частности - для создания измерительных устройств для измерения физиологических, психомоторных и зрительных функций организма; для реализации методик, использующих видеонистагмографию; в медицине (офтальмологии, неврологии, психиатрии, хирургии, психологии, реабилитации и т.д.), для реализации методик, связанных с исследованием, тренировкой и лечением зрительных функций (например, но не только, для периметрии); в психолингвистике и других областях для получения объективной картины и достоверных результатов при исследовании физиологических, психомоторных и зрительных функций или проведении лечебных процедур; в спорте, обучении и тренировках психомоторных навыков; в маркетинге, образовании и игровой индустрии для реализации новых возможностей, различного видео-контента и работы с видео-тренажерами; в устройствах моделирования, диагностирования, ремонта, настройки и управления сложными системами и других областях; в системах создания виртуальной, дополненной и смешанной реальности для реализации технологий, связанных в частности, но не только с использованием периферийного зрения, а также в качестве устройств ввода-вывода данных для взаимодействия человека с компьютером во всех областях.
Задача демонстрации изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, усложняется тем, что в силу физиологических причин линия взора наблюдателя часто не может фиксироваться на протяжении необходимого отрезка времени. Направление взора никогда не остается постоянным. Даже при относительно неподвижном положении глаза происходят микродвижения (тремор, дрейф, микросаккады и функциональный̆ нистагм и т.д.). Кроме того, глаз совершает макродвижения (прослеживающие и вергентные движения, нистагм, торзионные движения и т.д.). В следствии сказанного линия взора смещается и угол между линией взора и изображением становится отличным от заданного.
Причин нестабильности линии взора может быть много, ниже приводятся наиболее характерные:
наблюдатель рефлекторно смещает взор в сторону демонстрируемого изображения;
при напряженной фиксации взора наблюдателя на неподвижной точке (точке фиксации), довольно быстро происходит утрата ее зрительного восприятия. Для компенсации этого, глазодвигательный аппарат начинает совершать быстрые непроизвольные движения глаз;
в случаях, когда у наблюдателя отсутствует центральное зрение и/или острота зрения является недостаточной для удерживания взора на точке фиксации, происходит постоянное блуждание взора;
при наличии у наблюдателя нистагма, фактически отсутствует возможность удерживания взора на точке фиксации из-за постоянной подвижности глазного яблока.
В результате смещения линии взора при неизменном положении изображения, изменяется угол между линией взора и изображением, что ведет к накапливанию ошибок и, в свою очередь, не позволяет решить поставленные задачи.
Задача фиксации реакции наблюдателя на изображение усложняется тем, что, для дальнейшего использования этих данных пользователю необходимо знать в достаточной точностью и в единой временной шкале, тайм-код изображения (для того, чтобы определить, какое конкретно предъявленное изображение вызвало реакцию наблюдателя), время реакции наблюдателя, координаты линии взора и координаты предъявленного в момент реакции изображения.
Причин, вызывающих возникновение и накапливание ошибок фиксации реакции наблюдателя несколько. Основные - отсутствие жесткой синхронизации между системами и недостаточно точное определение координат линии взора в режиме реального времени.
Отсутствие жесткой синхронизации между системами:
фиксирующей время реакции;
отслеживающей тайм-код изображения;
определяющей координаты изображения;
определяющей координаты линии взора.
В результате асинхронной работы этих систем, возникают и накапливаются ошибки фиксации реакции пациента на изображение, демонстрируемое под определенным углом к линии взора.
Недостаточно точное определение координат линии взора в режиме реального времени:
погрешности, в частности геометрические, вносимые системой отслеживания координат линии взора;
задержки при обработки визуальной информации, получаемой с системы слежения за линией взора (eye tracker);
анатомические особенности каждого человека, в частности разное межзрачковое расстояние.
Раскрытие изобретения
Задачей, решаемой заявленным техническим решением, является создание устройства для демонстрации изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем) и фиксация реакции на это изображение наблюдателем. Заявленное техническое решение позволяет демонстрировать изображение в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от направления взора наблюдателя и с высокой точностью фиксировать реакцию наблюдателя на это изображение.
Технический результат заявленного изобретения заключается в обеспечении возможности демонстрации изображения в том числе в демонстрации визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем), а также в повышении точности фиксации реакции наблюдателя на изображение в том числе визуальные стимулы, демонстрируемые под определенным углом к линии взора.
Технический результат заявленного изобретения достигается за счет того, что устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол и фиксации реакции на это изображение содержит левый и правый оптические блоки, содержащие устройство слежения за линей взора, контроллер - анализатор координат линии взора выполненный с возможностью получения и обработки информации с устройства слежения за линией взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации, устройство вывода визуальной информации, блок управления и вывода информации пользователю, генератор изображения, устройство обратной связи и контроллер обработки данных, полученных с устройства обратной связи, при этом контроллер вычисления коррекции координат изображения выполнен с возможностью получения данных от контроллера - анализатора координат линии взора, контроллера управления координатами демонстрации изображения и блока управления и вывода информации пользователю с возможностью обработки этих данных, сравнения их с координатами, полученными с блока управления и вывода информации пользователю и формирования координат корректировки изображения, причем контроллер управления координатами демонстрации изображения выполнен с возможностью получения изображения с генератора изображения, а также получения и обработки данных с контроллера вычисления коррекции координат изображения и формирования координат корректировки изображения, полученного с генератора изображения и передачи его на контроллер управления устройством вывода визуальной информации для выполнения условий демонстрации изображения в диапазоне пространства, отстоящем от линии взора наблюдателя на заданный в блоке управления угол, при этом генератор изображения выполнен с возможностью получения данных и команд с блока управления и вывода информации, а контроллер обработки данных, полученных с устройства обратной связи выполнен с возможностью получения и обработки данных с устройства обратной связи и контроллером управления координатами демонстрации изображения на устройстве вывода визуальной информации с возможностью их обработки с целью получения данных о реакции наблюдателя, синхронизированных с тайм-кодом изображения, координатами изображения и координатами направления взора, в режиме реального времени и передачи этих данных в блок управления и вывода информации пользователю.
В частном случае реализации заявленного технического решения каждый оптический блок состоит из оптической системы, состоящей по меньшей мере из одной линзы, зеркала со спектральным делением каналов, устройства вывода визуальной информации и устройство слежения за линией взора, причем вокруг оптической системы, в плоскости перпендикулярной оптической оси блока расположены источники инфракрасного излучения, а оптическая система расположена между глазом и зеркалом со спектральным делением каналов, причем зеркало со спектральным делением каналов расположено между оптической системой и устройством вывода визуальной информации под углом к оптической оси блока, при этом устройство слежения за линией взора расположено под углом к зеркалу со спектральным делением каналов.
В частном случае реализации заявленного технического решения устройство вывода визуальной информации и устройство слежения за линией взора встроены или иным образом закреплены на приспособлении, размещенном на голове.
В частном случае реализации заявленного технического решения что приспособление, размещенное на голове выполнено в виде шлема виртуальной реальности или очков дополненной или смешанной реальности.
В частном случае реализации заявленного технического решения блок управления и вывода информации находится в распоряжении пользователя.
В частном случае реализации заявленного технического решения устройство обратной связи выполнено в виде кнопки, обеспечивающей реакцию типа «да/нет», или в виде джойстика, обеспечивающего реакцию в виде перемещения в пространстве, или в виде нейроинтерфейса, обеспечивающего изменение сигналов в каналах зрительных анализаторов, или в виде устройства анализирующего зрительные реакции.
В частном случае реализации заявленного технического решения устройство обратной связи расположено в руках наблюдателя или иной части тела наблюдателя или на голове наблюдателя.
В частном случае реализации заявленного технического решения контроллер обработки данных, полученных с устройства обратной связи, выполнен в едином блоке с устройством обратной связи.
В частном случае реализации заявленного технического решения контроллер обработки данных, полученных с устройства обратной связи, выполнен отдельно от устройства обратной связи, при этом связь между контроллером обратной связи и устройством обратной связи выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации.
В частном случае реализации заявленного технического решения генератор изображения, контроллер управления координатами демонстрации изображения, контроллер - анализатор координат линии взора установлены на приспособлении, размещенном на голове вместе с устройством вывода визуальной информации и устройством слежения за линией взора.
В частном случае реализации заявленного технического решения генератор изображения, контроллер управления координатами демонстрации изображения, контроллер - анализатор координат линии взора размещены в отдельном блоке, при этом связь между этим блоком и приспособлением, размещенным на голове выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации.
В частном случае реализации заявленного технического решения контроллер - анализатор координат линии взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации и генератор изображения размещены вместе с блоком управления и вывода информации пользователю.
В частном случае реализации заявленного технического решения контроллер - анализатор координат линии взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации и генератор изображения размещены в отдельном блоке, при этом связь между этим блоком и блоком управления и вывода информации пользователю выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации.
В частном случае реализации заявленного технического решения беспроводная технология передачи информации реализована посредством Wi-Fi, Bluetooth, IoT.
В частном случае реализации заявленного технического решения наблюдатель и пользователь могут быть одним и тем же лицом.
Для устранения указанных выше причин появления ошибок в следствии изменения угла между линией взора ни изображением, использованы следующие технические решения:
устройство слежения за направлением взора;
контроллер - анализатор координат линии взора;
контроллер вычисления коррекции координат изображения;
контроллер управления координатами демонстрации изображения.
Использование устройства слежения за линией взора (eye tracker) и контроллера - анализатора координат линии взора позволяет определять координаты линии взора в реальном времени.
Использование контроллера вычисления коррекции координат изображения позволяет вычислить угол коррекции координат изображения для того, чтобы угол между изображением и линией взора оставался неизменным и равным заданному в блоке управления и вывода информации пользователю.
Использование контроллера управления координатами демонстрации изображения на устройстве вывода визуальной информации позволяет изменять координаты демонстрируемого изображения на устройстве вывода изображения в режиме реального времени.
Совместное использование этих технических решений позволяет в режиме реального времени демонстрировать изображения в том числе визуальные стимулы в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем).
Использование контроллера обработки данных, полученных с устройства обратной связи и контроллера управления координатами демонстрации изображения на устройстве вывода визуальной информации, позволяет получать данные о реакции наблюдателя, синхронизированные с тайм-кодом изображения, координатами изображения и координатами направления взора, в режиме реального времени.
Краткое описание чертежей
Детали, признаки, а также преимущества настоящего изобретения следуют из нижеследующего описания вариантов реализации заявленного технического решения с использованием чертежей, на которых показано:
Фиг. 1 - общая схема устройства;
Фиг. 2 - изменение угла между изображением и линией взора наблюдателя при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол;
Фиг. 3 - сохранение неизменным угла между изображением и линией взора наблюдателя при наличии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол;
Фиг. 4 - демонстрация модели изменения угла между изображением и линией взора наблюдателя при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол;
Фиг. 5 - демонстрация модели сохранения неизменным угла между изображением и линией взора наблюдателя при наличии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол;
Фиг. 6 - структура оптического блока с оптической системой, состоящей из одной линзы;
Фиг. 7 - структура оптического блока с оптической системой, состоящей из двух линз.
Фиг. 8 - оптический блок в сборе;
Фиг. 9 - схема устройства слежения за линией взора и контроллера - анализатора координат линии взора на базе монокристальной видеосистемы (SOC);
Фиг. 10 - внешний вид устройства слежения за линией взора и контроллера - анализатор координат линии взора на базе монокристальной видеосистемы (SOC);
Фиг. 11 - внешний вид изделия, состоящего из приспособления, размещенного на голове - HMD (2), внешнего системного блока (23), устройства обратной связи (12) и соединительных кабелей (24, 25).
На фигурах цифрами обозначены следующие позиции:
1 - глаз наблюдателя; 2 - приспособление, размещенное на голове (Head-Mounted Device - HMD); 3 - оптический блок; 4 - устройство слежения за линией взора (eye tracker); 5 - контроллер - анализатор координат линии взора; 6 - контроллер вычисления коррекции координат изображения; 7 - контроллер управления координатами демонстрации изображения на устройстве вывода визуальной информации; 8 - контроллер управления устройством вывода визуальной информации; 9 - устройство вывода визуальной информации (VIOD); 10 - блок управления и вывода информации пользователю; 11 - генератор изображения; 12 - устройство обратной связи; 13 - контроллер обработки данных, полученных с устройства обратной связи; 14 - линия взора наблюдателя; 15 - место расположения изображения; 16 - источники инфракрасного излучения; 17 - оптическая система, состоящая из одной или более линз; 18 - зеркало со спектральным делением каналов; 19 - сенсор; 20 - блок приема данных от сенсора;; 21 - блок управления сенсором; 22 - плата на которой монтируется монокристальная видеосистема, объединяющая устройство слежения за линией взора (4) и контроллер - анализатор координат линии взора (5) в одном кристалле (SOC); 23 - внешний системный блок; 24 - кабель, соединяющий приспособление, размещенное на голове - HMD) (2) и внешний системный блок (23); 25 - кабель, соединяющий устройство обратной связи (12) и внешний системный блок (23).
Сокращения и термины
Линия взора - пространственная ориентация сетчатки глаза (зрительная ось);
Приспособление, размещенное на голове, например, шлем виртуальной реальности или очки дополненной, или смешанной реальности (Head-Mounted Device - HMD);
Устройства вывода визуальной информации (Visual Information Output Device - VIOD) - матрица, экран проектора или иное устройство, предназначенное для вывода визуальной информации;
Отслеживающее устройство (eye tracker);
Монокристальная видеосистема (System-on-a-Chip) - SOC;
Наблюдатель - человек или машина, ведущий наблюдение за изображением, формируемым устройством вывода визуальной информации;
Пользователь - лицо, которое использует устройство для выполнения конкретных функций.
Осуществление изобретения
Схема устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, изображена на фиг.1.
Устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол состоит из приспособления, размещенного на голове наблюдателя; контроллера - анализатора координат линии взора (5); контроллера вычисления коррекции координат изображения (6); контроллера управления координатами демонстрации изображения (7); устройства вывода визуальной информации (9); блока управления и вывода информации пользователю (10); генератора изображения (11); устройства обратной связи (12); контроллера обработки данных, полученных с устройства обратной связи (13).
При этом приспособление (2), размещенное на голове наблюдателя, содержит контроллер управления устройством вывода визуальной информации (8) и два, левый и правый, оптических блока (3).
Оптические блоки (3) для правого и левого глаза имеют идентичную конструкцию. Схемы оптических блоков с одной и двумя линзами изображены на фиг. 6 и фиг. 7, внешний вид оптических блоков в сборе показан на фиг. 8.
Оптический блок (3) состоит из источников инфракрасного излучения (16), оптической системы, состоящей из одной или более линз (17), зеркала со спектральным делением каналов (18), устройства вывода визуальной информации (VIOD) (9) и устройство слежения за линией взора (eye tracker) (4).
Источники инфракрасного излучения (16) расположены вокруг оптической системы, в плоскости перпендикулярной оптической оси блока (3). Оптическая система (17) расположена между глазом наблюдателя и зеркалом со спектральным делением каналов (18). Зеркало со спектральным делением каналов (18) расположено между оптической системой (17) и устройством вывода визуальной информации (VIOD) (9) под углом к оптической оси блока. Устройство слежения за линей взора (4) выполнено на базе монокристальной видеосистемы (SOC) и расположено под углом к зеркалу со спектральным делением каналов (18).
Устройство (4) слежения за линией взора на базе монокристальной видеосистемы представляет собой фото-видеосистему на кристалле (SOC), предназначенную для обнаружения и идентификации быстро меняющихся (перемещающихся и/или меняющих яркость) малоразмерных целей (световых пятен) в условиях неоднородного, изменяющегося во времени фона. Алгоритм обработки изображения обеспечивает определение X-, Y- координат центра тяжести, площади, признака формы, а также яркости одновременно нескольких целей.
Устройство слежения за линией взора (4) представляет собой фото или видеокамеру, расположенную таким образом, чтобы максимально точно с минимальными искажениями отслеживать направление взора и его изменения. Для достижения максимальной точности и минимизации искажений, оптические оси взора и камеры должны совпадать.
Для этого используется зеркало со спектральным делением каналов, которое располагается между оптической системой (17) и устройством вывода визуальной информации под углом к линии взора. Зеркало (18) со спектральным делением каналов отражает свет в инфракрасном диапазоне и проецирует изображение глаза на устройство слежения за линией взора (4) без геометрических искажений, как, если бы оно находилось непосредственно на линии взора. При этом для видимого цветового диапазона зеркало является прозрачным и позволяет глазу видеть изображение на устройстве вывода визуальной информации (9).
Устройство вывода визуальной информации представляет собой матрицу, экран проектора или иное устройство (Visual Information Output Device - VIOD), встроенное в приспособление, размещенное на голове, например (но не ограничиваясь), шлем виртуальной реальности или очки дополненной или смешанной реальности (Head-Mounted Device - HMD).
Устройство слежения за линией взора (4) и устройство вывода визуальной информации (9) могут быть встроены или иным образом закреплены на приспособлении, размещенном на голове, например, но не только - шлеме виртуальной реальности или очках дополненной или смешанной реальности. Задача устройства слежения за линией взора передавать в режиме реального времени информацию о направлении линии взора на контроллер - анализатор координат линии взора.
Контроллер - анализатор координат линии взора (5), контроллер вычисления коррекции координат изображения (6), контроллер управления координатами демонстрации изображения (7), контроллер управления устройством вывода визуальной информации (8) и генератор изображения (11) могут быть либо размещены вместе с блоком управления и вывода информации пользователю (10), либо размещаться в отдельном блоке, в последнем случае связь между этим блоком и блоком управления и вывода информации пользователю (10) может осуществляться как по проводам, так и с использованием беспроводной технологии передачи информации (например, но не только, Wi-Fi, Bluetooth, IoT). На фиг. 11 показано подключение к внешнему системному блоку (23) контроллеров (6, 7, 8) с помощью кабеля (24) и устройства обратной связи (12) с помощью кабеля (25).
Контроллер - анализатор координат линии взора (5) представляет собой программно-аппаратный комплекс, задача которого провести в режиме реального времени анализ изображения, поступающего с устройства слежения за линией взора (4) и, на основе проведенного анализа вычислить актуальные координаты направления линии взора. Конструктивно контроллер - анализатор координат линии взора (5) может быть выполнен в виде самостоятельного блока (процессор и программное обеспечение), в виде специальной программы, исполняемой на подключенном к устройству компьютере или внешнем системном блоке, либо в виде монокристальной видеосистемы, объединяющей устройство слежения за линией взора (4) и контроллер - анализатор координат линии взора (5) в одном кристалле (System-on-a-Chip - SOC). Реализация в виде монокристальной видеосистемы (SOC) позволяет исключить процессы передачи изображения и обработки видеоизображения с помощью специальных компьютерных программ, что решает сразу две задачи: первая - значительно сокращает время обработки информации, поскольку все процессы анализа и обработки визуальной информации происходят в едином кристалле и в качестве результата видеосистема SOC выдает координаты зрачка на матрице видеосистемы; и вторая - уменьшает требования в вычислительной мощности процессоров и устраняет необходимость использования сложных программ обработки изображения, что совместно позволяет использовать более экономичные вычислительные системы (экономия времени и денег). На фиг. 9 - изображена схема монокристальной видеосистемы, объединяющей устройство слежения за линией взора (4) и контроллер - анализатор координат линии взора (5) в одном кристалле (SOC), а на фиг. 10 приведена фотография этого устройства.
Контроллер вычисления коррекции координат изображения (6) представляет собой программно-аппаратный комплекс, задача которого вычислить необходимые углы коррекции координат демонстрации изображения на устройстве вывода визуальной информации (9) на основании данных, полученных из контроллера - анализатора координат линии взора (5), контроллера управления координатами демонстрации изображения (7) и блоком управления и вывода информации пользователю (10). Конструктивно Контроллер вычисления коррекции координат изображения (6) может быть выполнен в виде самостоятельного блока (процессор и программное обеспечение) или в виде специальной программы, исполняемой на подключенном к устройству компьютере либо внешнем системном блоке. На фиг. 11 показано подключение к внешнему системному блоку (23) с помощью кабеля (24).
В общем случае, контроллер вычисления коррекции координат изображения (6) должен реализовывать следующее выражение:
Δ = α– (βлв – βои), где
Δ- вектор угла коррекции координат изображения, вычисленный контроллером вычисления коррекции координат изображения (6);
α- вектор угла отклонения изображения от линии взора наблюдателя, заданный в блоке управления и вывода информации пользователю (10);
βои - вектор угла отклонения изображения от линии взора наблюдателя полученный от контроллера управления координатами демонстрации изображения (7) на устройстве вывода визуальной информации;
βлв - актуальный вектор угла направления взора, полученный от контроллера - анализатор координат линии взора (5).
Контроллер управления координатами демонстрации изображения (7) представляет собой программно-аппаратный комплекс, задача которого на основании данных, полученных из контроллера вычисления коррекции координат изображения (6) и генератора изображения (11) сформировать откорректированное изображение, сдвинутое относительно актуального изображения, на угол коррекции изображения, полученный из контроллера вычисления коррекции координат изображения (6). Конструктивно управления координатами демонстрации изображения (7) может быть выполнен в виде самостоятельного блока (процессор и программное обеспечение) или в виде специальной программы, исполняемой на подключенном к устройству компьютере либо внешнем системном блоке. На фиг. 11 показано подключение к внешнему системному блоку (23) с помощью кабеля (24).
Контроллер управления устройством вывода визуальной информации (8) представляет собой программно-аппаратный комплекс, задача которого на основании изображения, полученного из контроллера управления координатами демонстрации изображения (7) управлять устройством вывода визуальной информации (9), таким образом, чтобы на изображение, демонстрируемое устройством вывода визуальной информации (9) соответствовало изображению, сформированному контроллером управления координатами демонстрации изображения (7). Конструктивно контроллер - анализатор координат линии взора (5) может быть выполнен в виде самостоятельного блока (процессор и программное обеспечение) или в виде специальной программы, исполняемой на подключенном к устройству компьютере либо внешнем системном блоке. На фиг. 11 показано подключение к внешнему системному блоку (23) с помощью кабеля (24).
Задача устройства обратной связи (12) регистрировать реакции наблюдателя на изображение, демонстрируемое устройством вывода визуальной информации (9), и передавать их на контроллер обработки данных (13), полученных с устройства обратной связи. В качестве устройства обратной связи может использоваться кнопка (реакция типа «да/нет»), джойстик (реакция в виде перемещения в пространстве), нейроинтерфейс (характерные изменение сигналов в каналах зрительных анализаторов), устройство анализирующее зрительные реакции в частности (но не только), реакцию зрачка либо непроизвольное (установочное) изменение направление взора (оптическая окулография или электроокулография). В зависимости от необходимого функционала, устройство обратной связи может располагаться в руках наблюдателя (кнопка, джойстик) или иной части тела наблюдателя (джойстик) или на голове наблюдателя (нейроинтерфейс, устройство, анализирующее зрительные реакции). На фиг. 11 показано подключение к внешнему системному блоку (23), в котором располагается контроллер обработки данных (13), полученных с устройства обратной связи, с помощью кабеля (25).
Задача контроллера обработки данных, полученных с устройства обратной связи (13), формирование, в режиме реального времени, информации о реакции наблюдателя, синхронизированной с тайм-кодом изображения, координатами изображения и координатами направления взора, полученными с контроллера управления координатами демонстрации изображения (7), и передачи этой информации в блок управления и вывода информации (10). В зависимости от конструкторского решения, контроллер обработки данных, полученных с устройства обратной связи (13) может располагаться, как в едином блоке с устройством обратной связи (12), так и отдельно, в последнем случае связь между контроллером обратной связи (13) и устройством обратной связи (12) может осуществляться как по кабелю, так и с использованием беспроводной технологии передачи информации (например, но не только, Wi-Fi, Bluetooth, IoT). На фиг. 11 показано подключение устройства обратной связи (12) с помощью кабеля (25) к внешнему системному блоку (23), в котором располагается контроллер обработки данных (13).
На фиг. 2 и фиг. 3 изображено, что происходит при смещении направления линии взора при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол (фиг. 2) и при его наличии (фиг. 3). На фиг. 2 показано, что при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, смещение направления линии взора приводит к изменению угла между линией взора и демонстрируемом изображением. На фиг. 3 показано, что при наличии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, смещение направления линии взора не приводит к изменению угла между линией взора и демонстрируемом изображением, угол остается неизменным.
На фиг. 4 показана модель изменения угла между линией взора и демонстрируемом изображением при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол. Предположим, что в некий момент времени угол между линией взора (14) и демонстрируемом изображением (15) равен α. В последующий момент времени глаз поворачивается на угол Δ и, соответственно, направление линии взора (15) также изменяется на угол Δи становится равным β. В случае отсутствия устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, координаты изображения останутся неизменными и угол между изображением и линией взора изменится β = α + Δи, следовательно, при Δ≠ 0, α≠ β.
На фиг. 5 показана модель сохранения неизменной величины угла между линией взора и демонстрируемом изображением при наличии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол. Предположим, что в некий момент времени угол между линией взора (14) и демонстрируемом изображением (15) равен α. В последующий момент времени глаз поворачивается на угол Δи, соответственно, направление линии взора (15) также изменяется на угол ΔВ случае наличия устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, координаты изображения также изменяются на угол Δи угол между изображением и линией взора остается неизменным β+ Δ= α+ Δи, следовательно, α= β.
Общие принципы работы устройства.
С помощью блока управления и вывода информации (10) пользователь задает необходимые данные, а именно, изображение, которое должно быть представлено наблюдателю и координаты демонстрации изображения относительно направления линии взора. В случае, если координаты демонстрации изображения относительно направления линии взора должны изменяться во времени, пользователь задает (выбирает или вводит) алгоритм изменения координат в соответствии с поставленной задачей. Информация, необходимая для формирования изображения подается с блока управления и вывода информации (10) на генератор изображения (11).
Генератор изображения (11) формирует изображение, которое должно быть представлено наблюдателю. Сформированное изображение подается на контроллер управления координатами демонстрации изображения (7).
Информация о координатах демонстрации изображения относительно направления линии взора передается с блока управления и вывода информации (10) на контроллер вычисления коррекции координат изображения (6).
Контроллер вычисления коррекции координат изображения (6) сравнивает заданные пользователем координаты изображения с координатами линии взора наблюдателя, полученными с контроллера - анализатора координат линии взора (5) и координатами изображения с контроллера управления координатами демонстрации изображения (7), вычисляет требуемые изменения координат изображения и передает актуализированные координаты изображения на контроллер управления координатами демонстрации изображения (7).
Контроллер управления координатами демонстрации изображения (7) получает сформированное изображение с генератора изображений (11) и актуализированные координаты изображения с контроллера вычисления коррекции координат изображения (6). Полученное актуализированное изображение передается с контроллера управления координатами демонстрации изображения (7) на контроллер управления устройством вывода визуальной информации (8), который формирует изображение непосредственно на устройстве вывода визуальной информации (9).
Система работает в динамическом режиме, производя сравнение координат с частотой обновления экрана устройства вывода визуальной информации (9) и, соответственно, корректируя координаты демонстрации изображения на устройстве вывода визуальной информации (9).
Система демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, может работать в нескольких режимах:
свободного блуждания взора наблюдателя;
фиксирования взора наблюдателя на заданную статическую точку фиксации;
фиксирование взора наблюдателя на статическую точку фиксации, координаты которой изменяются во времени дискретно - случайно или в соответствии с заданным алгоритмом, в том числе коррелированным с реакцией наблюдателя на изображение, зарегистрированным устройством обратной связи (12);
фиксирование взора наблюдателя на динамическую точку фиксации, координаты которой изменяются во времени непрерывно - случайно или в соответствии с заданным алгоритмом, в том числе коррелированным с реакцией наблюдателя на изображение, зарегистрированным устройством обратной связи (12);
Во 2, 3, 4 режимах контроллер управления координатами демонстрации изображения (7) добавляет в изображение так называемую «точку фиксации» с координатами, сформированными в соответствии с условиями заданными пользователем в блоке управления и вывода информации (10) и, в случае необходимости, с данными, полученными с контроллера вычисления коррекции координат изображения (6) и контроллера обработки данных, полученных с устройства обратной связи (13).
Фиксация реакции на демонстрируемое изображение.
Реакция пользователя на демонстрируемое изображение регистрируется устройством обратной связи (12). Информация с устройства обратной связи (12) поступает на контроллер обработки данных, полученных с устройства обратной связи (13). Результаты обработки данных передаются на блок управления и вывода информации (10) для дальнейшего использования пользователем, а также в случае необходимости на контроллер управления координатами демонстрации изображения (7) для вычисления актуальных координат точки фиксации взора наблюдателя. В качестве устройства обратной связи может использоваться кнопка (реакция типа «да/нет»), джойстик (реакция в виде перемещения в пространстве), нейроинтерфейс (характерные изменение сигналов в каналах зрительных анализаторов), устройство анализирующее зрительные реакции в частности (но не только), реакцию зрачка либо непроизвольное (установочное) изменение направление взора (оптическая окулография или электроокулография). В зависимости от типа используемого устройства обратной связи, на контроллер обработки данных 7 поступают разные типы данных в разных форматах. Соответственно алгоритм работы контроллер обработки данных, полученных с устройства обратной связи (13) должен быть адаптирован под используемое устройство обратной связи.
1. Устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, и фиксации реакции на это изображение, содержащее
левый и правый оптические блоки, содержащие устройство слежения за линей взора;
контроллер – анализатор координат линии взора, выполненный с возможностью получения и обработки информации с устройства слежения за линией взора,
контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации, устройство вывода визуальной информации, блок управления и вывода информации пользователю, генератор изображения, устройство обратной связи и контроллер обработки данных, полученных с устройства обратной связи,
при этом контроллер вычисления коррекции координат изображения выполнен с возможностью получения данных от контроллера – анализатора координат линии взора, контроллера управления координатами демонстрации изображения и блока управления и вывода информации пользователю с возможностью обработки этих данных, сравнения их с координатами, полученными с блока управления и вывода информации пользователю и формирования координат корректировки изображения,
причем контроллер управления координатами демонстрации изображения выполнен с возможностью получения изображения с генератора изображения, а также получения и обработки данных с контроллера вычисления коррекции координат изображения и формирования координат корректировки изображения, полученного с генератора изображения и передачи его на контроллер управления устройством вывода визуальной информации для выполнения условий демонстрации изображения в диапазоне пространства, отстоящем от линии взора наблюдателя на заданный в блоке управления угол,
при этом генератор изображения выполнен с возможностью получения данных и команд с блока управления и вывода информации,
а контроллер обработки данных, полученных с устройства обратной связи, выполнен с возможностью получения и обработки данных с устройства обратной связи и контроллера управления координатами демонстрации изображения на устройстве вывода визуальной информации с возможностью их обработки с целью получения данных о реакции наблюдателя, синхронизированных с тайм-кодом изображения, координатами изображения и координатами направления взора, в режиме реального времени и передачи этих данных в блок управления и вывода информации пользователю.
2. Устройство по п.1, отличающееся тем, что каждый оптический блок состоит из оптической системы, состоящей по меньшей мере из одной линзы, зеркала со спектральным делением каналов, устройства вывода визуальной информации и устройства слежения за линией взора, причем вокруг оптической системы в плоскости, перпендикулярной оптической оси блока, расположены источники инфракрасного излучения, а оптическая система расположена между глазом и зеркалом со спектральным делением каналов, причем зеркало со спектральным делением каналов расположено между оптической системой и устройством вывода визуальной информации под углом к оптической оси блока, при этом устройство слежения за линией взора расположено под углом к зеркалу со спектральным делением каналов.
3. Устройство по п.1, отличающееся тем, что устройство вывода визуальной информации и устройство слежения за линией взора встроены или иным образом закреплены на приспособлении, размещенном на голове.
4. Устройство по п.3, отличающееся тем, что приспособление, размещенное на голове, выполнено в виде шлема виртуальной реальности или очков дополненной или смешанной реальности.
5. Устройство по п.1, отличающееся тем, что блок управления и вывода информации находится в распоряжении пользователя.
6. Устройство по п.1, отличающееся тем, что устройство обратной связи выполнено в виде кнопки, обеспечивающей реакцию типа «да/нет», или в виде джойстика, обеспечивающего реакцию в виде перемещения в пространстве, или в виде нейроинтерфейса, обеспечивающего изменение сигналов в каналах зрительных анализаторов, или в виде устройства, анализирующего зрительные реакции.
7. Устройство по п.1, отличающееся тем, что устройство обратной связи расположено в руках наблюдателя или иной части тела наблюдателя или на голове наблюдателя.
8. Устройство по п.1, отличающееся тем, что контроллер обработки данных, полученных с устройства обратной связи, выполнен в едином блоке с устройством обратной связи.
9. Устройство по п.1, отличающееся тем, что контроллер обработки данных, полученных с устройства обратной связи, выполнен отдельно от устройства обратной связи, при этом связь между контроллером обратной связи и устройством обратной связи выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации.
10. Устройство по п.1, отличающееся тем, что генератор изображения, контроллер управления координатами демонстрации изображения, контроллер – анализатор координат линии взора установлены на приспособлении, размещенном на голове вместе с устройством вывода визуальной информации и устройством слежения за линией взора.
11. Устройство по п.1, отличающееся тем, что генератор изображения, контроллер управления координатами демонстрации изображения, контроллер – анализатор координат линии взора размещены в отдельном блоке, при этом связь между этим блоком и приспособлением, размещенным на голове, выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации.
12. Устройство по п.1, отличающееся тем, что контроллер – анализатор координат линии взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации и генератор изображения размещены вместе с блоком управления и вывода информации пользователю.
13. Устройство по п.1, отличающееся тем, что контроллер – анализатор координат линии взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации и генератор изображения размещены в отдельном блоке, при этом связь между этим блоком и блоком управления и вывода информации пользователю выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации.
14. Устройство по пп.9, 11, 13, отличающееся тем, что беспроводная технология передачи информации реализована посредством Wi-Fi, Bluetooth, IoT.
15. Устройство по п.1, отличающееся тем, что наблюдатель и пользователь могут быть одним и тем же лицом.
