Носимое устройство обнаружения взгляда глаз в транспортном средстве
Группа изобретений относится к медицинской технике, а именно к системе и способу для определения направления взгляда оператора транспортного средства. Система содержит датчики измерения движения глазных мышц, компьютер. Датчики движения глазных мышц включены в устройство, носимое оператором транспортного средства. Компьютер включает в себя процессор и память. Память хранит инструкции, исполняемые компьютером по способу. При этом принимают данные движения глазных мышц от датчика. Определяют по упомянутому измерению направление взгляда оператора. Активируют операцию транспортного средства, если уровень внимательности оператора, основанный на направлении взгляда, ниже предварительно определенного порогового значения. Определяют опасность на проезжей части на пути транспортного средства из данных датчиков транспортного средства. Определяют недостаток внимания к опасности на проезжей части на основе определения, что направление взгляда изменилось от направления опасности на проезжей части. Предупреждают оператора при определении недостатка внимания к опасности на проезжей части. Обеспечивается способ и система определения направления взгляда оператора транспортного средства для определения уровня внимательности. 3 н. и 17 з.п. ф-лы, 5 ил.
УРОВЕНЬ ТЕХНИКИ
[0001] Определение, касающееся того, отвлекается ли водитель транспортного средства, может иногда выполняться посредством обнаружения, смотрит ли водитель наружу на дорогу, или вместо этого на пассажиров, автомобильное радио и т.д. К несчастью, системы контроля взгляда водителя зачастую являются дорогостоящими, неудобными, сложными для использования и громоздкими. Такие системы контроля могут зачастую ограничивать свободу перемещения водителя и/или могут мешать работе транспортного средства.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
В одном варианте осуществления настоящего изобретения обеспечена система, содержащая: один или более датчиков, включенных в устройство, носимое оператором транспортного средства, чтобы измерять движение глазных мышц; и компьютер, который включает в себя процессор и память, причем память хранит инструкции, исполняемые компьютером, так что компьютер программируется, чтобы: принимать данные, указывающие движение глазных мышц, от носимого датчика; определять, используя упомянутое измерение, направление взгляда оператора; использовать направление взгляда, чтобы определять уровень внимательности оператора; и активировать операцию транспортного средства, если уровень внимательности оператора ниже предварительно определенного порогового значения.
В дополнительном варианте осуществления обеспечена система, в которой носимое устройство является маской.
В еще одном дополнительном варианте осуществления обеспечена система, в которой один или более датчиков могут включать в себя любой из датчика латерального движения кантуса, датчика внутреннего движения кантуса и датчика верхнечелюстного движения.
В еще одном дополнительном варианте осуществления обеспечена система, в которой носимое устройство беспроводным образом соединяется с компьютером.
В еще одном дополнительном варианте осуществления обеспечена система, в которой компьютер дополнительно программируется, чтобы извлекать из памяти параметр, касающийся направления взгляда, и использовать упомянутый параметр в определении уровня внимательности оператора.
В еще одном дополнительном варианте осуществления обеспечена система, в которой операция транспортного средства включает в себя по меньшей мере одно из активации дроссельной заслонки, активации механизма рулевого управления и активации тормозов.
В еще одном дополнительном варианте осуществления обеспечена система, в которой предоставляют направление взгляда по меньшей мере одному из человеко-машинного интерфейса компьютера в транспортном средстве и мобильного пользовательского устройства.
В еще одном дополнительном варианте осуществления обеспечена система, в которой компьютер дополнительно программируется, чтобы предоставлять направление взгляда удаленному серверу.
В еще одном дополнительном варианте осуществления обеспечена система, в которой компьютер дополнительно программируется, чтобы определять опасность из данных датчика транспортного средства и предупреждать оператора, когда уровень внимательности оператора указывает недостаток внимания к опасности.
В другом варианте осуществления настоящего изобретения обеспечен способ, содержащий этапы, на которых: принимают данные от одного или более датчиков, включенных в устройство, носимое оператором транспортного средства, чтобы измерять движение глазных мышц; и определяют, используя упомянутое измерение, направление взгляда оператора; используют упомянутое направление взгляда, чтобы определять уровень внимательности оператора; и активируют операцию транспортного средства, если уровень внимательности оператора ниже предварительно определенного порогового значения.
В дополнительном варианте осуществления обеспечен способ, в котором носимое устройство является маской.
В еще одном дополнительном варианте осуществления обеспечен способ, в котором один или более датчиков могут включать в себя любой из датчика латерального движения кантуса, датчика внутреннего движения кантуса и датчика верхнечелюстного движения.
В еще одном дополнительном варианте осуществления обеспечен способ, дополнительно содержащий этапы, на которых извлекают из памяти параметр, касающийся направления взгляда, и используют параметр в определении уровня внимательности оператора.
В еще одном дополнительном варианте осуществления обеспечен способ, в котором операция транспортного средства включает в себя по меньшей мере одно из активации дроссельной заслонки, активации механизма рулевого управления и активации тормозов.
В еще одном дополнительном варианте осуществления обеспечен способ, в котором предоставляют направление взгляда по меньшей мере одному из человеко-машинного интерфейса компьютера в транспортном средстве и мобильного пользовательского устройства.
В еще одном дополнительном варианте осуществления обеспечен способ, дополнительно содержащий этап, на котором предоставляют направление взгляда удаленному серверу.
В еще одном дополнительном варианте осуществления обеспечен способ, дополнительно содержащий этап, на котором определяют опасность из данных датчика транспортного средства и предупреждают оператора, когда уровень внимательности оператора указывает недостаток внимания к опасности.
В другом варианте осуществления настоящего изобретения обеспечен носимый датчик, содержащий: один или более датчиков, включенных в устройство, носимое оператором транспортного средства, чтобы измерять движение глазных мышц; и компьютер на связи с упомянутым устройством, при этом компьютер определяет движение глазных мышц оператора.
В дополнительном варианте осуществления настоящего изобретения обеспечен носимый датчик, в котором упомянутое устройство, носимое оператором транспортного средства, является маской.
В еще одном дополнительном варианте осуществления настоящего изобретения обеспечен носимый датчик, в котором один или более датчиков могут включать в себя любой из датчика бокового движения кантуса, датчика внутреннего движения кантуса и датчика верхнечелюстного движения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0002] Фиг. 1 - это блок-схема примерной носимой системы обнаружения взгляда глаз в транспортном средстве.
[0003] Фиг. 2A - это вид маски, которая должна быть носима около глаз оператора, показывающий датчики обнаружения движения глаз в системе на фиг. 1.
[0004] Фиг. 2B иллюстрирует десять позиций взгляда, которые предоставляют возможность сравнений горизонтальных, вертикальных и диагональных движений глаз.
[0005] Фиг. 3 - это схема примерного процесса для обнаружения взгляда оператора, носящего маску с датчиками.
[0006] Фиг. 4 - это схема другого примерного процесса для обнаружения взгляда оператора, носящего маску с датчиками.
[0007] Фиг. 5 - это схема другого примерного процесса для обнаружения взгляда оператора, носящего маску с датчиками.
ОПИСАНИЕ
Введение
[0008] Фиг. 1 - это блок-схема примерной носимой системы 100 обнаружения взгляда глаз в транспортном средстве. Транспортное средство 10 включает в себя компьютер 12, который принимает данные от носимой лицевой маски 20 с массивом датчиков (см. фиг. 2), которая носится оператором транспортного средства 10. Носимая лицевая маска 20 с массивом датчиков типично включает в себя датчики движения глазных мышц или т.п., которые размещаются вокруг глаза, чтобы принимать электрические сигналы глазных мышц, так, как известно для различных использований, в том числе выполнения измерений, которые могут быть использованы, чтобы определять направление взгляда глаза. Компьютер 10 использует данные от носимой лицевой маски 20 с массивом датчиков, чтобы определять направление взгляда оператора транспортного средства, например, направлен ли взгляд оператора на дорогу или куда-либо еще. Компьютер 12 может дополнительно анализировать взгляд оператора на основе изображения дороги от камеры 16, чтобы обнаруживать опасность, о которой оператор может не знать. Дополнительно, компьютер 12 может предупреждать оператора и/или выполнять корректировки операций транспортного средства 10 на основе возможного столкновения, например, с опасностью на дороге.
Примерные элементы системы
[0009] Транспортное средство 10 включает в себя компьютер 12 транспортного средства, который, в свою очередь, включает в себя процессор и память, память включает в себя одну или более форм компьютерно-читаемых носителей и хранит инструкции, исполняемые процессором для выполнения различных операций, т.е., программирование, включающее в себя раскрытое в данном документе. Например, компьютер 12, в целом, включает в себя, и приспособлен исполнять, инструкции, чтобы принимать данные от носимой лицевой маски 20 с массивом датчиков, чтобы определять направление взгляда носящего.
[00010] Компьютер 12 конфигурируется для связи с одним или более удаленными компьютерами 25 и/или одним или более мобильными пользовательскими устройствами 17, через шлюз 18, которая, как описано ниже, может включать в себя различные проводные и/или беспроводные сетевые технологии, например, сотовые, Bluetooth, проводные и/или беспроводные сети пакетной коммутации и т.д. Дополнительно, компьютер 12, в целом, включает в себя инструкции для приема данных, например, от лицевой маски 20 с массивом датчиков и/или человеко-машинного интерфейса (HMI) 19, который может быть одним или более из системы интерактивного голосового ответа (IVR), графического пользовательского интерфейса (GUI), включающего в себя экран ввода касанием или т.п., и т.д. Компьютер 12 может также быть соединен с внешней памятью 14 для дополнительных требований хранения.
[00011] Компьютер 12, который собирает и хранит данные, полученные от маски 20, может отправлять данные удаленному серверу 25 через внешний шлюз 28, который может быть одним или более компьютерными серверами, каждый, как правило, включает в себя по меньшей мере один процессор и по меньшей мере одну память, причем память хранит инструкции, исполняемые процессором, включающие в себя инструкции для выполнения различных этапов и процессов, описанных в данном документе. В целом, сервер 25 может быть использован для множества целей, например, взаимодействия с навигационной системой транспортного средства 10, предоставления данных, используемых для предложения маршрута транспортного средства 10 и/или его атрибутов, и т.д. Сервер 25 может включать в себя или быть соединен с возможностью обмена данными с хранилищем 30 данных для хранения данных, таких как информация об утомлении водителя, потенциальные точки маршрута для остановки для отдыха, и т.д. Таким образом, одним возможным действием сервера 25 в системе 100 является прием указания от компьютера 12 транспортного средства 10 через шлюз 18, что взгляд глаз оператора транспортного средства 10 указывает, что оператор может нуждаться в перерыве на отдых, и тогда навигационная система транспортного средства должна предлагать точки маршрута, чтобы удовлетворять возможную потребность оператора транспортного средства 10.
[00012] Пользовательское устройство 17, типично мобильное устройство, перемещаемое или носимое пользователем, может быть любым устройством из множества вычислительных устройств, включающих в себя процессор и память, а также функциональные возможности связи. Например, пользовательское устройство 17 может быть переносным компьютером, планшетным компьютером, смартфоном и т.д., который включает в себя функциональные возможности для беспроводной связи с использованием IEEE 802.11, Bluetooth и/или протоколов сотовой связи. Дополнительно пользовательское устройство 17 может использовать такие функциональные возможности, чтобы связываться через шлюз 18 в том числе с компьютером 12 транспортного средства. Пользовательское устройство 17 может связываться с компьютером 12 транспортного средства 10 с помощью других механизмов, таких как сеть в транспортном средстве 10, известные протоколы, такие как Bluetooth, и т.д. Соответственно, пользовательское устройство 17 может быть использовано, чтобы выполнять некоторые из всех операций в данном документе, приписываемых компьютеру 12, например, принимать данные от лицевой маски 20 с массивом датчиков, выполнять определение о направлении взгляда оператора и предоставлять определение через пользовательский интерфейс пользовательского устройства 17. Дополнительно, пользовательское устройство 17 может быть использовано, чтобы дополнять и/или заменять HMI 19 компьютера 12.
[00013] Оператор 10 транспортного средства может носить носимую лицевую маску 20 с массивом датчиков, иллюстрированную на фиг. 2A. Маска 20, как правило, прикрепляется к оператору так, чтобы прижиматься к лицу оператора, и может носиться без помехи зрению оператора. Лицевая маска 20 с массивом датчиков типично включает в себя множество датчиков 22, 24, 26 движения глазных мышц, размещенных повсюду на маске 20. Размещение датчика движения глазных мышц может включать в себя датчик 22 латерального движения кантуса, датчик 24 внутреннего движения кантуса и датчик 26 верхнечелюстного движения.
[00014] Существуют шесть глазодвигательных мышц, которые действуют, чтобы поворачивать или вращать глаз вокруг его вертикальной, горизонтальной и его переднезадней осей. Верхняя косая (SO) мышца, главным образом, поворачивает верх глаза к носу, вниз и наружу. Верхняя прямая мышца (SR) перемещает глаз вверх, вдоль вертикального меридиана и поворачивает верх глаза к носу и перемещает глаз внутрь. Медиальная прямая (MR) мышца перемещает глаз вдоль горизонтального меридиана к носу. Латеральная прямая (LR) мышца перемещает глаз вдоль горизонтального меридиана от носа. Нижняя косая (IO) мышца поворачивает верх глаза от носа, а также перемещает глаз вверх и наружу. Нижняя прямая (IR) мышца перемещает глаз вниз вдоль вертикального меридиана, а также поворачивает верх глаза от носа и перемещает глаз внутрь.
[00015] Фиг. 2B иллюстрирует десять позиций взгляда, которые предоставляют возможность сравнений горизонтального, вертикального и диагонального глазных движений, создаваемых шестью глазодвигательными мышцами, когда оба глаза и множество мышц работают вместе. В примере в соответствии с взглядом 30 вверх вправо и со ссылкой на таблицу 41 мышц, SR или верхняя прямая мышца в правом глазу и IO или нижняя косая мышца в левом глазу сокращаются, в то время как другие мышцы глаза находятся в состоянии покоя. Сокращение мышцы является активацией участков, генерирующих напряжение в мышечных волокнах. За завершением сокращения мышцы следует расслабление мышцы или состояние покоя, которое является возвращением мышечных волокон в их создающее низкое напряжение состояние. Датчики 22, 24, 26 (фиг. 2A) могут обнаруживать, когда мышца сокращается и когда мышца находится в состоянии покоя. В другом примере взгляд 38 вниз и влево сокращает SO-мышцу правого глаза и IR-мышцу левого глаза. Конвергенция 39 возникает, когда MR-мышцы обоих правого и левого глаза сокращаются.
[00016] Действия шести мышц, ответственных за движение глаза, зависят от позиции глаза во время сокращения мышц. Четыре мышцы управляют движением глаза в четырех основных направлениях или вверх, вниз, влево и вправо, в то время как оставшиеся две мышцы управляют корректировками, участвующими в противодействии движению головы. Зрительная система в мозгу является слишком медленной, чтобы обрабатывать информацию, если изображения перемещаются по сетчатке глаза более чем на несколько градусов в секунду. Например, чтобы иметь возможность видеть, в то время как человек движется, мозг должен компенсировать движение головы, поворачивая глаза. Глаза должны следовать за целью, поскольку только небольшой участок глаза, называемый центральной ямкой, обеспечивает острое зрение. Поскольку движения глаз, как правило, являются быстрыми и точными и могут управляться сознательно, большинство движений глаз может совершаться без осознанного усилия.
[00017] Датчики 22, 24, 26 могут быть беспроводным образом соединены с компьютером 12 транспортного средства 10, или датчики 22, 24, 26 могут быть непосредственно соединены с маской 20, которая может быть проводным образом соединена с компьютером 12 транспортного средства 10 напрямую и/или может связываться с компьютером 12 через один или более различных механизмов беспроводной связи, включающих в себя любое желаемое сочетание механизмов проводной (например, кабельной и волоконной) и/или беспроводной (например, сотовой, беспроводной, спутниковой, микроволновой и радиочастотной) связи и любой желаемой сетевой топологии (или топологий, когда используется множество механизмов связи). Примерные сети передачи данных включают в себя беспроводные сети передачи данных (например, использующие Bluetooth, IEEE 802.11 и т.д.), локальные вычислительные сети (LAN) и/или глобальные вычислительные сети (WAN), включающие в себя Интернет и предоставляющие услуги передачи данных.
[00018] Маска 20 с массивом датчиков может иметь размер, чтобы вмещать лицо оператора транспортного средства 10. Маска 20 может быть бумажного типа с покрытием, но может, альтернативно или дополнительно, быть изготовлена из тканевого материала или пластмассового материала. Лицевая маска 20 с массивом датчиков может удерживаться на лице посредством ремня-липучки, который идет вокруг головы оператора, и/или лицевая маска 20 с массивом датчиков может иметь клейкое вещество, нанесенное на первую поверхность, т.е., поверхность, контактирующую с кожей. Клейкое вещество может быть акрилатом, включающим в себя метакрилаты и эпоксидные диакрилаты, которые также известны как виниловые смолы.
[00019] Камера 16 и детектор 13 объекта может быть размещен на транспортном средстве 10, чтобы обнаруживать объекты впереди транспортного средства 10 посредством отправки изображений и/или обнаружения информации для компьютера 12. Детектор 13 объекта может быть любым из множества типов, таким как лидар, радар, ультразвуковой, сонар и т.д. Компьютер 12, используя информацию о взгляде, может определять, был ли фокус оператора за пределами транспортного средства 10, и/или видит ли оператор опасность на проезжей части. Если оператор определяется как отвлекшийся, например, смотрит не на опасность на проезжей части, компьютер 12 может затем отправлять тревожный сигнал оператору. Тревожный сигнал может быть отправлен HMI 19, пользовательскому устройству 17 или любому другому устройству привлечения внимания.
Примерная последовательность операций процесса
[00020] Фиг. 3 является схемой примерного процесса 300 для определения текущего направления взгляда глаз оператора транспортного средства.
[00021] Процесс 300 начинается на этапе 305, на котором компьютер 12 инициирует измерения посредством лицевой маски 20 с массивом датчиков. Например, пользователь может предоставлять ввод с пользовательского устройства 17, чтобы инициировать измерения от датчиков 22, 24, 26 движения глазных мышц в лицевой маске 20 с массивом датчиков, например, из приложения смартфона или т.п. Компьютер 12 может обнаруживать лицевую маску 20 с массивом датчиков и тип и число датчиков 22, 24, 26. Дополнительно этап 305 может включать в себя предоставление идентификации оператора-субъекта компьютеру 12 и/или прием входных данных, касающихся и/или возвращающих параметры, относящиеся к оператору-субъекту, такие параметры предоставляются для большей точности в оценке направления взгляда глаз, как описано более подробно ниже.
[00022] Затем на этапе 310 компьютер 12 принимает данные от лицевой маски 20 с массивом датчиков, например, результаты измерений от датчика 22, 24, 26, которые, как описано выше, могут быть использованы в качестве указателей расположения глаза и/или направления взгляда пассажира транспортного средства.
[00023] Затем на этапе 315 компьютер 12 определяет, обнаружено ли изменение расположения глаз пассажира, например, изменилось ли направление взгляда. Дополнительно, после определения направления взгляда глаз пользователя, компьютер 12 может отправлять данные о движении и/или расположении глаз пользовательскому устройству 17, чтобы предоставлять текущее направление взгляда глаза. Например, текущее направление взгляда может включать в себя направление и расстояние движения глаза.
[00024] Затем на этапе 320 компьютер 12 оценивает движения глаз оператора и определяет текущее направление взгляда оператора. Например, компьютер 12 может использовать модель внимательности оператора или другие известные модели и/или уравнения, чтобы определять направление взгляда оператора. Модель внимательности оператора может использовать такие параметры как возраст оператора-субъекта, пол, прием лекарственных препаратов, рост и/или вес. Такие параметры могут быть предоставлены компьютеру 12 транспортного средства, например, согласно пользовательскому вводу через HMI 19 и/или пользовательское устройство 17, и могут быть сохранены в памяти компьютера 12. Дополнительно или альтернативно, такие параметры для оператора-субъекта могут быть сохранены в хранилище 30 данных сервера 25 и могут быть извлечены компьютером 12 согласно идентификатору оператора-субъекта. Сохранены ли локально на компьютере 12 или удаленно на сервере 25, такие параметры могут быть использованы, чтобы динамически улучшать характеристику прогнозирования стохастической модели.
[00025] Затем на этапе 325 компьютер 12 может предоставлять оценку в HMI 19, пользовательскому устройству 17 и т.д. Компьютер 12 может также предоставлять оценку серверу 25, где она может быть сохранена в хранилище 30 данных. Пользователь, например, через компьютер 12 или пользовательское устройство 17, может предоставлять дополнительные входные данные, которые должны быть предоставлены серверу 25, чтобы предоставлять возможность адаптивного обучения и уточнения относительно конкретного оператора-субъекта или вычислений текущего взгляда в более обобщенно. Соответственно, компьютер 12 может принимать обновления одной или более моделей, например, множества моделей, соответствующих различным параметрам, от сервера 25, и/или может быть запрограммирован, чтобы выполнять такие обновления. Дополнительно, как упомянуто выше, оценка текущего взгляда оператора-субъекта, выполненная на этапе 320, может быть использована как основа для операций транспортного средства 10. Например, если оценка оператора указывает, что оператор выглядит вялым, компьютер 12 транспортного средства может запрашивать, чтобы навигационная система транспортного средства 10 предоставила маршрут, или модифицировала существующий маршрут, чтобы указывать одну или более точек маршрута, имеющих зону отдыха.
[00026] Затем на этапе 330 компьютер 12 определяет, должен ли процесс 300 продолжаться. Например, пользователь может предоставлять входные данные, останавливающие измерения от лицевой маски 20 с массивом датчиков, компьютер 12 может обнаруживать, что лицевая маска 20 с массивом датчиков была снята с оператора-субъекта и т.д., альтернативно или дополнительно, процесс 300 может не продолжаться, если транспортное средство 10, включающее в себя компьютер 12, выключено и/или остановлено. В любом случае, если процесс 300 продолжается, исполняется этап 310. Иначе, процесс 300 заканчивается после этапа 330.
[00027] Фиг. 4 является схемой другого примерного процесса 400 для определения текущего взгляда глаз оператора транспортного средства и тревожного оповещения оператора, взгляд которого не находится там, где он должен быть. Процесс 400 начинается на этапе 405, который аналогичен этапу 305. Дополнительно, этап 410, следующий за этапом 405, аналогично похож на этап 310, описанный выше.
[00028] На этапе 420, следующем за этапом 410, компьютер 12, способом, аналогичным способу, описанному выше относительно этапа 320, выполняет оценку текущего взгляда оператора-субъекта.
[00029] Затем на этапе 425 компьютер 12 принимает информацию, касающуюся любых потенциальных опасностей. Например, изображение с камеры 17 может быть цифровым образом обработано, чтобы определять, находятся ли какие-либо объекты впереди транспортного средства 10. Дополнительно или альтернативно, детектор 13 объекта может указывать компьютеру 12 потенциальные опасности.
[00030] На этапе 430 компьютер 12 определяет, является ли опасность угрожающей, например, являет и представляет собой угрозу транспортному средству 10. Наличие или отсутствие опасности на дороге может быть определено с помощью данных датчика транспортного средства 10, чтобы определять потенциальное препятствие, определять расстояние до препятствия, вероятность того, что транспортное средство 10 будет пересекать препятствие, и т.д. Например, компьютер может определять, направлен ли взгляд глаз не в направлении фактической или потенциальной опасности, такой как неподвижный объект, подвижный объект или принципиальное другое транспортное средство (POV), которое вероятно должно приходить в текущее или потенциальное направление движения, и представляет собой угрозу транспортному средству 10. В другом примере компьютер 12 может также определять траекторию перемещения взгляда глаз и оценивает, будет ли потенциальная или фактическая опасность вероятно замечена своевременным образом. Если так, далее исполняется этап 435, иначе исполняется этап 440.
[00031] На этапе 435 компьютер 12 активирует одну или более операций в транспортном средстве 10 на основе обнаруженной опасности, сигнализирует оператору, что существует опасность снаружи транспортного средства 10, с помощью предупреждения. Например, предупреждение может быть слышимым тоном, воспроизводимым через HMI 19, и/или компьютер 12 может осуществлять вибрацию на рулевом колесе. Дополнительно, например, операции могут включать в себя по меньшей мере одно из приведения в действие дроссельной заслонки транспортного средства 10, рулевого управления и тормозов, чтобы избегать источника опасности. Например, при определении грозящей опасности, и что внимание оператора падает ниже порогового значения внимательности, компьютер 12 может быть запрограммирован применять тормоза транспортного средства 10 и/или управлять рулевым управлением транспортного средства 10, например, предоставляя инструкции электронному блоку управления известным образом, чтобы избегать опасности.
[00032] На этапе 440, который может следовать за этапами 430, 435, способом, аналогичным способу, описанному выше относительно этапа 330, определяется, продолжается ли процесс 400. Если так, тогда далее исполняется этап 410. Иначе, процесс 400 заканчивается.
[00033] Фиг. 5 является схемой другого примерного процесса 500 для определения текущего взгляда глаз оператора транспортного средства и тревожного оповещения оператора, взгляд которого не находится там, где он должен быть.
[00034] Процесс 500 начинается на этапе 505, на котором компьютер 12 принимает информацию, касающуюся любых потенциальных опасностей, и определяет расстояние и диапазон относительно потенциальной опасности. Например, изображение от камеры 17 может быть цифровым образом обработано, чтобы определять расстояние и направление относительно каких-либо объектов, которые находятся впереди транспортного средства 10. Дополнительно или альтернативно, детектор 13 объекта может указывать компьютеру 12 расстояние и ориентацию относительно потенциальных источников опасности.
[00035] Затем на этапе 510 компьютер определяет степень изменения расстояния и ориентации относительно потенциальной опасности. Например, потенциальный источник опасности может быть на десять метров ближе к транспортному средству, чем в предыдущем определении.
[00036] Затем на этапе 515 получается направление взгляда, которое может быть получено из процесса, аналогично похожего на этапы процесса 300.
[00037] Затем на этапе 520 компьютер 12 определяет, существует ли возможность столкновения. Например, компьютер будет использовать такие факторы как скорость транспортного средства 10, расстояние и ориентацию относительно потенциального источника опасности и любое перемещение какой-либо потенциальной опасности, и т.д. Если не существует вероятности столкновения, например, когда потенциальная опасность перемещается от пути транспортного средства 10, процесс возвращается к этапу 505, иначе процесс продолжается на этапе 525.
[00038] На этапе 525 компьютер 12 определяет, существует ли время, чтобы оператор транспортного средства 10 наблюдал за потенциальной опасностью без вмешательства компьютера. Определение может быть основано на времени движения до потенциальной опасности. Если время движения является по существу длительным, процесс возвращается к этапу 505, иначе процесс 500 продолжается на этапе 530. Например, потенциальная опасность находится в 50 метрах впереди транспортного средства 10, при скорости 10 км/ч транспортное средство 10 потратит приблизительно 18 секунд, чтобы достигать потенциальной опасности. Альтернативно, если транспортное средство 10 двигалось со скоростью 100 км/ч, время движения будет меньше двух секунд.
[00039] На этапе 530 компьютер 12 активирует одну или более операций в транспортном средстве 10 на основе обнаруженной опасности, предупреждает оператора, что существует опасность снаружи транспортного средства 10, с помощью предупреждения, которое является аналогичным этапу 435 процесса 400.
[00040] На этапе 535, способом, аналогичным способу, описанному выше относительно этапа 330, определяется, продолжается ли процесс 500. Если так, тогда затем исполняется этап 505. Иначе, процесс 500 заканчивается.
Заключение
[00041] Используемое в данном документе, наречие "по существу" означает, что форма, структура, измерение, количество, время и т.д. могут отклоняться от точно описанной геометрии, расстояния, измерения, количества, времени и т.д. вследствие несовершенств в материалах, механической обработке, производстве и т.д.
[00042] Термин "примерный" используется в данном документе в смысле выражения примера, например, ссылка на "примерный виджет" должна рассматриваться как простая ссылка на пример виджета.
[00043] Вычислительные устройства, такие как устройства, обсужденные в данном документе, в общем, включают в себя инструкции, исполняемые посредством одного или более вычислительных устройств, таких как идентифицированные выше, и для выполнения блоков или этапов процессов, описанных выше. Например, этапы обработки, обсужденные выше, осуществляются как компьютерные исполняемые инструкции.
[00044] Машиноисполняемые инструкции могут быть компилированы или интерпретированы из компьютерных программ, созданных с использованием множества языков и/или технологий программирования, включающих в себя, без ограничения и отдельно или в комбинации, Java™, C, C++, C#, Python, Visual Basic, Java Script, Perl, HTML и т.д. В общем, процессор (например, микропроцессор) принимает инструкции, например, из памяти, машиночитаемого носителя и т.д. и исполняет эти инструкции, тем самым выполняя один или более процессов, включающих в себя один или более процессов, описанных в данном документе. Такие инструкции и другие данные могут храниться и передаваться с использованием множества компьютерно-читаемых носителей. Файл в вычислительном устройстве, в целом, является совокупностью данных, сохраненных на считываемом компьютером носителе, таком как носитель хранения, оперативное запоминающее устройство и т.д.
[00045] Компьютерно-читаемый носитель включает в себя любой носитель, который участвует в предоставлении данных (например, инструкций), который может быть считан посредством компьютера. Такой носитель может принимать множество форм, включающих в себя, но без ограничения, энергонезависимые носители, энергозависимые носители и т.д. Энергонезависимые носители включают в себя, например, оптические или магнитные диски и другое постоянное запоминающее устройство. Энергозависимые носители включают в себя, например, динамическое оперативное запоминающее устройство (DRAM), которое типично составляет основную память. Обычные формы компьютерно-читаемых носителей включают в себя, например, гибкий диск, дискету, жесткий диск, магнитную ленту, любой другой магнитный носитель, CD-ROM, DVD, любой другой оптический носитель, перфорационную карту, бумажную ленту, любой другой физический носитель с рисунками отверстий, RAM, PROM, EPROM, FLASH-EEPROM, любую другую микросхему памяти или картридж, или любой другой носитель, с которого компьютер может выполнять считывание.
[00046] На чертежах, идентичные ссылки с номерами указывают идентичные элементы. Дополнительно, некоторые или все из этих элементов могут быть изменены. Что касается носителей, процессов, систем, способов и т.д., описанных в данном документе, должно быть понятно, что, хотя этапы таких процессов и т.д. были описаны как происходящие согласно некоторой упорядоченной последовательности, такие процессы могут быть применены на практике с помощью описанных этапов, выполняемых в порядке, отличном от порядка, описанного в данном документе. Дополнительно должно быть понятно, что некоторые этапы могут выполняться одновременно, что другие этапы могут быть добавлены, или что некоторые этапы, описанные в данном документе, могут быть опущены. Другими словами, описания процессов в данном документе предоставляются в целях иллюстрации некоторых вариантов осуществления и никоим образом не должны истолковываться как ограничивающие заявленное изобретение.
[00047] Соответственно, должно быть понятно, что вышеприведенное описание предназначено быть иллюстративным, а не ограничивающим. Многие варианты осуществления и применения, отличные от предоставленных примеров, будут понятны специалистам в области техники по прочтении вышеприведенного описания. Объем изобретения должен быть определен, не со ссылкой на вышеприведенное описание, но должен вместо этого быть определен со ссылкой на прилагаемую формулу изобретения, вместе с полным объемом эквивалентов, к которым такие пункты формулы приписаны. Ожидается и предполагается, что будущие разработки произойдут в уровне техники, обсужденном в данном документе, и что раскрытые системы и способы будут включены в такие будущие варианты осуществления. Резюмируя, должно быть понятно, что изобретение способно к модификации и вариативности и ограничено только последующей формулой изобретения.
[00048] Все термины, используемые в формуле изобретения, предполагают получение их самых широких разумных принципов толкования и их обычных значений, которые понятны специалистам в области техники, пока явное указание на противоположное не будет сделано в данном документе. В частности, использование сингулярных артиклей, таких как "a", "the", "упомянутый" и т.д., должно читаться, чтобы перечислять один или более указанных элементов, пока формула изобретения не перечислит явное ограничение до противоположного.
1. Система для определения направления взгляда оператора транспортного средства, содержащая:
один или более датчиков, включенных в устройство, носимое оператором транспортного средства, чтобы измерять движение глазных мышц; и
компьютер, который включает в себя процессор и память, причем память хранит инструкции, исполняемые компьютером, так что компьютер программируется, чтобы:
принимать данные, указывающие движение глазных мышц, от носимого датчика;
определять, используя упомянутое измерение, направление взгляда оператора;
использовать направление взгляда, чтобы определять уровень внимательности оператора;
активировать операцию транспортного средства, если уровень внимательности оператора, основанный на направлении взгляда, ниже предварительно определенного порогового значения;
определять опасность на проезжей части на пути транспортного средства из данных датчиков транспортного средства;
определять недостаток внимания к опасности на проезжей части на основе определения, что направление взгляда изменилось от направления опасности на проезжей части; и
предупреждать оператора при определении недостатка внимания к опасности на проезжей части.
2. Система по п. 1, в которой компьютер дополнительно программируется, чтобы извлекать из памяти параметр, касающийся направления взгляда, и использовать упомянутый параметр в определении уровня внимательности оператора.
3. Система по п. 1, в которой операция транспортного средства включает в себя по меньшей мере одно из активации дроссельной заслонки, активации механизма рулевого управления и активации тормозов.
4. Система по п. 1, в которой компьютер дополнительно программируется, чтобы предоставлять направление взгляда по меньшей мере одному из человекомашинного интерфейса компьютера в транспортном средстве и мобильного пользовательского устройства.
5. Система по п. 1, в которой компьютер дополнительно программируется, чтобы предоставлять направление взгляда удаленному серверу.
6. Система по п. 1, в которой компьютер дополнительно программируется, чтобы определять утомление оператора на основе направления взгляда и определять точку маршрута для транспортного средства, когда утомление оператора указывает на вялость.
7. Система по п. 1, в которой движение глазных мышц является сокращением по меньшей мере одной мышцы в каждом глазе, в то время как другие мышцы в каждом глазе расслаблены.
8. Система по п. 7, в которой инструкции дополнительно включают в себя инструкции для определения направления взгляда на основе одной или более мышц в каждом глазе, которые сокращаются.
9. Способ для определения направления взгляда оператора транспортного средства, содержащий этапы, на которых:
принимают данные от одного или более датчиков, включенных в устройство, носимое оператором транспортного средства, чтобы измерять движение глазных мышц; и
определяют, используя упомянутое измерение, направление взгляда оператора;
используют упомянутое направление взгляда, чтобы определять уровень внимательности оператора; и
активируют операцию транспортного средства, если уровень внимательности оператора, основанный на направлении взгляда, ниже предварительно определенного порогового значения;
определяют опасность на проезжей части на пути транспортного средства из данных датчиков транспортного средства;
определяют недостаток внимания к опасности на проезжей части на основе определения, что направление взгляда изменилось от направления опасности на проезжей части; и
предупреждают оператора при определении недостатка внимания к опасности на проезжей части.
10. Способ по п. 9, дополнительно содержащий этапы, на которых извлекают из памяти параметр, касающийся направления взгляда, и используют параметр в определении уровня внимательности оператора.
11. Способ по п. 9, в котором операция транспортного средства включает в себя по меньшей мере одно из активации дроссельной заслонки, активации механизма рулевого управления и активации тормозов.
12. Способ по п. 9, дополнительно содержащий этап, на котором предоставляют направление взгляда по меньшей мере одному из человекомашинного интерфейса компьютера в транспортном средстве и мобильного пользовательского устройства.
13. Способ по п. 9, дополнительно содержащий этап, на котором предоставляют направление взгляда удаленному серверу.
14. Способ по п. 9, дополнительно содержащий этап, на котором определяют утомление оператора на основе направления взгляда и определяют точку маршрута для транспортного средства, когда утомление оператора указывает на вялость.
15. Способ по п. 9, в котором движение глазных мышц является сокращением по меньшей мере одной мышцы в каждом глазе, в то время как другие мышцы в каждом глазе расслаблены.
16. Способ по п. 15, дополнительно содержащий этап, на котором определяют направление взгляда на основе одной или более мышц в каждом глазе, которые сокращаются.
17. Система для определения направления взгляда оператора транспортного средства, содержащая процессор и память, причем память хранит инструкции, исполняемые процессором, чтобы:
принимать данные от одного или более датчиков, включенных в устройство, носимое оператором транспортного средства, чтобы измерять движение глазных мышц; и
определять, используя упомянутое измерение, направление взгляда оператора;
использовать направление взгляда, чтобы определять уровень внимательности оператора;
активировать операцию транспортного средства, если уровень внимательности оператора, основанный на направлении взгляда, ниже предварительно определенного порогового значения;
определять опасность на проезжей части на пути транспортного средства из данных датчиков транспортного средства;
определять недостаток внимания к опасности на проезжей части на основе определения, что направление взгляда изменилось от направления опасности на проезжей части; и
предупреждать оператора при определении недостатка внимания к опасности на проезжей части.
18. Система по п. 17, в которой процессор дополнительно программируется, чтобы извлекать из памяти параметр, касающийся направления взгляда, и использовать упомянутый параметр в определении уровня внимательности оператора.
19. Система по п. 17, в которой процессор дополнительно программируется, чтобы определять утомление оператора на основе направления взгляда и определять точку маршрута для транспортного средства, когда утомление оператора указывает на вялость.
20. Система по п. 17, в которой движение глазных мышц является сокращением по меньшей мере одной мышцы в каждом глазе, в то время как другие мышцы в каждом глазе расслаблены.
