Система и способы контроля поведения водителя для управления автопарком в парке транспортных средств с использованием устройства формирования изображения, обращенного к водителю

Изобретение относится к контролю эксплуатации транспортных средств автопарка с использованием одного или нескольких устройств формирования изображения, обращенных к водителю и расположенных в транспортных средствах автопарка, для регистрации действий водителей автопарка и их пассажиров и передачи отчетов о контролируемых действиях в центральную систему управления автопарком. Предусмотрена система, использующая датчики и камеру, обращенную к водителю, для контроля используемых водителем зеркал коммерческого транспортного средства, для контроля внимания водителя на дорогу, для контроля положения головы водителя относительно правильного положения головы, для контроля метрики положения головы водителя, для контроля любых помех на изображении, собираемых камерой, обращенной к водителю, и для контроля за глазами водителя, направленными на дорогу, и для выполнения регулировок адаптивной системы предупреждения о выезде за пределы полосы движения ассоциированного транспортного средства. Технический результат – повышение безопасности транспортных средств автопарка. 18 з.п. ф-лы, 21 ил.

 

Область техники, к которой относится изобретение

Варианты осуществления, представленные в данном документе, относятся, в общем, к управлению автопарком с целью повышения безопасности автопарка и производительности водителей автопарка. В частности, конкретные варианты осуществления относятся к контролю эксплуатации транспортных средств автопарка с использованием одного или нескольких устройств формирования изображения, обращенных к водителю и расположенных в транспортных средствах автопарка для регистрации действий водителей автопарка и их пассажиров и передачи отчетов о контролируемых действиях в центральную систему управления автопарком для использования с целью повышения безопасности транспортных средств автопарка и содействия повышению производительности водителей автопарка.

Перекрестная ссылка на родственные заявки

Данная заявка относится к заявке США серийный номер No. 14/233,319, поданной 12 июля 2012 года и озаглавленной: VEHICULAR FLEET MANAGEMENT SYSTEM AND METHODS OF MONITORING AND IMPROVING DRIVER PERFORMANCE IN A FLEET OF VEHICLES (номер дела патентного поверенного No.: 013097-000010), содержание которой включено сюда во всей своей полноте путем ссылки.

Данная заявка относится к заявке США серийный номер No. ____, поданный ____ и озаглавленный: SYSTEM AND METHODS OF MONITORING DRIVER BEHAVIOR FOR VEHICULAR FLEET MANAGEMENT IN A FLEET OF VEHICLES USING DRIVER-FACING IMAGING DEVICE (номера дел патентного поверенного No. PXE-BCVS-2017-11-US-02 и No. 013097-000037), содержание которых включено сюда во всей своей полноте путем ссылки.

Уровень техники

Существующие системы и способы в области управления автопарком направлены на специфические особенности систем захвата изображений и передачу данных файлов в системах захвата изображений. Например, в патенте США No. 7,671,762, выданном Бреслау (Breslau), описаны система и способ приема и передачи данных транспортного средства, который включает в себя передачу данных из одного транспортного средства в другое. В частности, способ в патенте Бреслау включает в себя передачу и прием идентификационных данных транспортных средств и данных о местоположении транспортных средств, а также использование сигналов датчика системы глобального позиционирования (GPS) и спутниковую передачу.

Другая существующая технология раскрыта в патенте США No. 6,389,340, выданном Рейнеру (Rayner), в котором описана схема, которая завершает захват изображения при возникновении инициирующего события, и в которой компоненты системы размещаются в зеркале заднего вида транспортного средства, такого как легковое или грузовое транспортное средство.

В патенте No. 7,804,426, выданном Этчесону (Etcheson), описана система и способ выборочного просмотра данных о событиях, которые содержат компьютерную сигнализацию данных о вождения для выборочного просмотра с целью экономии времени. Данные о событиях постоянно собираются и отправляются в буфер данных. Данные о событиях отправляются в детектор событий по запросу менеджера автопарка или т.п.

В соответствующей заявке США No. 14/233,319, поданной 12 июля 2012 года и озаглавленной: VEHICULAR FLEET MANAGEMENT SYSTEM AND METHODS OF MONITORING AND IMPROVING DRIVER PERFORMANCE IN A FLEET OF VEHICLES, описаны система и способ, в которых транспортные средства выполнены с возможностью сбора данных о событиях водителя и транспортного средства, выборочного сжатия и кодирования собранных данных о событиях водителя и транспортного средства и передачи сжатых и кодированных данных по беспроводной связи одному или нескольким поставщикам телематических услуг. Один или несколько серверов могут периодически опрашивать о наличии данных событий водителя, обрабатывать и предоставлять их конечным пользователям многочисленными способами, с помощью которых их можно просматривать и анализировать. Описанная система позволяет менеджерам автопарка использовать эти данные о событиях водителя, принятые посредством отчета или уведомления, или извлеченные непосредственно из веб-портала, для контроля и корректировки поведения водителя и/или для поощрения водителя в связи с его поведением, а также для реализации программ обучения и подготовки водителей или т.п.

В дополнение к вышеизложенному, также известны системы, имеющие как камеры, обращенные вперед, так и камеры, обращенные к водителю. Эти системы, как правило, непрерывно захватывают изображения проезжей части и водителя в салоне транспортного средства и сохраняют изображения в большом буферном файле, например, в буфере FOFO (первым пришел - первым вышел). Данные о проезжей части дороги и изображениях водителя отправляются в детектор событий по запросу менеджера автопарка или т.п. Таким образом, действия водителя во время любого выбранного события могут быть определены путем "перемотки назад" видео записанной операции транспортного средства до требуемого времени возникновения выбранного события.

Однако желательно более разумно контролировать поведение водителя, контролируя одно или несколько конкретных поведений, а не используя грубую визуализацию и/или общий сбор данных транспортного средства.

Кроме того, желательно проанализировать поведение одного или несколько конкретных водителей, предпочтительно до наступления каких-либо значимых событий, чтобы водитель, или другие работники, такие как менеджеры автопарка или т.п., могли быть соответствующим образом предупреждены заранее, если это возможно. Кроме того, желательно, чтобы водителей можно было дополнительно оценивать на предмет безопасности и по другим критериям, а также ранжировать по отношению к другим водителям в парке транспортных средств, чтобы мотивировать водителей вести себя лучше, тем самым повышая общую безопасность автопарка и повышая общую производительность автопарка.

Сущность изобретения

Варианты осуществления, представленные в данном документе, обеспечивают новые и улучшенные системы и способы контроля поведения водителей для управления автопарком в парке транспортных средств с использованием устройства формирования изображения, обращенного к водителю.

В вариантах осуществления, представленных в данном документе, предусмотрены системы и способы, с помощью камеры, обращенной к водителю, для прямого контроля поведения водителя в соответствии с обнаруженным положением головы водителя внутри транспортного средства, управляемого водителем. Предусмотрены системы и способы, использующие камеру, обращенную к водителю, для контроля используемых водителем зеркал коммерческого транспортного средства, для контроля внимания водителя на дорогу, для контроля положения головы водителя относительно правильного положения головы, для контроля метрики положения головы водителя, для контроля любых помех на изображении, собираемых камерой, обращенной к водителю, и для контроля за глазами водителя, направленными на дорогу, и для выполнения регулировок адаптивной системы предупреждения о выезде за пределы полосы движения ассоциированного транспортного средства. Это поведение водителя можно контролировать непосредственным образом, а также можно контролировать другое поведение, которое может быть необходимым и/или желательным в соответствии с вариантами осуществления, представленными в данном документе.

В еще одном варианте осуществления, представленном в данном документе, предусмотрены системы и способы, использующие камеру, обращенную к водителю, для косвенного контроля поведения водителя в соответствии с обнаруженными аспектами компонентов салона транспортного средства, управляемого водителем. Предусмотрены системы и способы, использующие камеру, обращенную к водителю, для контроля правильного использования водителем ремня безопасности транспортного средства, для контроля правильного положения рук водителя на рулевом колесе и для контроля за соблюдением водителем правил автопарка транспортных средств в отношении неавторизованных пассажиров, находящихся в транспортном средстве. Это поведение водителя можно контролировать непосредственным образом, а также можно контролировать другое поведение, которое может быть необходимым и/или желательным в соответствии с вариантами осуществления, представленными в данном документе.

В соответствии с вариантами осуществления, представленными в данном документе, предусмотрены системы, способы и логическая схема, включающие в себя различные датчики транспортного средства и камеру, обращенную к водителю, для определения того, когда набор из одного или более заданных условий транспортного средства будет выполнен или иным образом удовлетворен, определения позы головы водителя, обучения или иной подготовки системы по усредненным значениям позы головы водителя (тангажа, рыскания, крена и т.д.), когда набор из одного или нескольких заданных условий транспортного средства удовлетворяется или иным образом удовлетворяются, и определения любых случаев отклонения головы водителя от средних значений.

В соответствии с вариантами осуществления, представленными в данном документе, предусмотрены системы, способы и логическая схема, включающие в себя различные датчики транспортного средства и камеру, обращенную к водителю, для определения позы головы водителя, обучения или иной подготовки системы по распределению позы головы и/или "тепловой" карте позы головы и определения любых случаев отклонений позы головы водителя от распределения позы головы и/или средних значений тепловой карты позы головы.

В соответствии с вариантами осуществления, представленными в данном документе, предусмотрены системы, способы и логическая схема, включающие в себя различные датчики транспортного средства для определения того, когда выполняется набор из одного или нескольких заданных условий, подходящих для определения нарушений или неправильного поведения водителя, или иным образом удовлетворяется, например, статус двери транспортного средства, изменение скорости, необычное место остановки, видимый неавторизованный пассажир или т.п., и камера, обращенная к водителю, для получения изображений салона транспортного средства в ответ на набор из одного или более заданных условий транспортного средства.

В соответствии с вариантами осуществления, приведенными в данном документе, предусмотрены системы, способы и логические схемы, включающие в себя датчики транспортного средства и камеру, обращенную к водителю, для обучения или иной подготовки системы по средним значениям внешнего вида (эталонным изображениям или описаниям) предметов кабины транспортного средства, таких как пряжки ремней безопасности, свободные места, рулевое колесо, края дверей, расположение зеркал и определение любых случаев изменений или отклонений от средних или обученных заданных рабочих значений изученных шаблонов изображений или описаний.

В соответствии с вариантами осуществления, представленными в данном документе, предусмотрены системы, способы и логическая схема, включающие в себя различные датчики транспортного средства и камеру, обращенную к водителю, для определения головы позы вектора водителя, обучения или иной подготовки системы по средним значениям позы вектора головы водителя и выборочной адаптации других системных значений как функции вектора позы головы водителя в случае, когда происходит постоянное отклонение от водителя, смотрящего на дорогу, или водителя, смотрящего на зеркала.

В соответствии с вариантами осуществления, представленными в данном документе, системы, способы и логическая схема обеспечивают многофакторную аутентификацию с использованием нескольких датчиков и камеры, обращенной к водителю, для проверки личности водителя с использованием данных изображения водителя в комбинации с данными водителя и звукозаписью голоса водителя, например, путем формирования изображения водителя с использованием камеры, обращенной к водителю, проверки визуальной идентичности водителя в соответствии с информацией в базе данных водителя и данными изображения водителя, получения данных звукозаписи водителя, произносящего стандартизированную фразу пароля в поле зрения камеры, обращенной к водителю, проверки звукозаписи личности водителя, требования от водителя произнести свое имя, приведения к стандартизированному шаблону сравнения и записи протокола в локальную память системы в транспортном средстве.

Используемый в данном описании термин "процессорное средство" относится к любому микропроцессору, дискретной логической схемы (например, ASIC), аналоговой схеме, цифровой схеме, программируемому логическому устройству, запоминающему устройству, содержащему инструкции, и т.д. Термин "процессорное средство" также относится к "логической схеме", которая может включать в себя один или более логических элементов, комбинации логических элементов, другие компоненты схемы, аппаратные средства, программно-аппаратные средства, программное обеспечение, исполняемое на машине, и/или комбинации каждого из них для того, чтобы выполнять функцию(и) или действие(я) и/или вызывать функцию или действие из другой логической схемы, способа и/или системы, микропроцессора с программным управлением, дискретной логической схемы (например, ASIC), аналоговой схемы, цифровой схемы, программируемого логического устройства, запоминающего устройства, содержащего инструкции, и т.д. Используемый в данном документе термин "средство памяти" относится к любому невременному носителю, который участвует в хранении данных и/или в предоставлении инструкций процессору для исполнения. Такой невременный носитель может принимать различные формы, включая, но не ограничиваясь этим, энергозависимые и энергонезависимые носители. Энергонезависимые носители включают в себя, например, оптические или магнитные диски. Энергозависимые носители включают в себя, например, динамическую память и не включают в себя временные сигналы, несущие волны или т.п. Распространенные виды машиночитаемых носителей включают в себя, например, дискету, гибкий диск, жесткий диск, магнитную ленту или любой другой магнитный носитель, CD-ROM, любой другой оптический носитель, перфокарты, перфоленту, любую другую физическую среду с картиной отверстий, RAM, PROM и EPROM, FLASH-EPROM, любую другую микросхему памяти или картридж или любой другой материальный невременный носитель информации, с которого может считывать компьютер.

Другие варианты осуществления, особенности и преимущества примерных вариантов осуществления станут очевидными из последующего описания вариантов осуществления, приведенных вместе с сопроводительными чертежами, которые иллюстрируют, в качестве примера, принципы примерных вариантов осуществления.

Краткое описание чертежей

На сопроводительных чертежах, которые включены в состав и составляют часть описания, проиллюстрированы варианты осуществления настоящего изобретения, которые, вместе с общим описанием изобретения, приведенным выше, и подробным описанием, приведенным ниже, служат в качестве примеров вариантов осуществления настоящего изобретения.

Фиг.1 – схематичное представление, иллюстрирующее общий вид системы управления автопарком и расположение пользователей в соответствии с примерным вариантом осуществления.

Фиг.2 – эксплуатация примерного транспортного средства автопарка, работающего в колонне и имеющего систему контроля поведения водителя, имеющую камеру, обращенную к водителю, в соответствии с вариантом осуществления.

Фиг.3 – схематическая иллюстрация примерного варианта осуществления части модуля сбора данных системы контроля поведения водителя, имеющей камеру, обращенную к водителю, в соответствии с примерным вариантом осуществления;

Фиг.4 – блок-схема, которая иллюстрирует компьютерную систему, подходящую для прямого контроля поведения водителя в соответствии с обнаруженным положением головы водителя в пределах транспортного средства, управляемого водителем и для косвенного контроля поведения водителя, в соответствии с обнаруженными аспектами компонентов салона транспортного средства, управляемого водителем, в соответствии с примерным вариантом осуществления.

Фиг.4a – блок-схема, которая иллюстрирует исполняемые компоненты логической схемы системы контроля поведения водителя, имеющей камеру, обращенную к водителю, согласно примерному варианту осуществления.

Фиг.5a – схематичное представление, иллюстрирующее устройство формирования изображения, обращенное к водителю, в соответствии с примерным вариантом осуществления, расположенное в кабине ассоциированного транспортного средства в фиксированном местоположении в верхней части лобового стекла ассоциированного транспортного средства.

Фиг.5b – схема варианта осуществления устройства формирования изображения, обращенного к водителю (фиг.5a), выполненного в виде камеры, обращенной к водителю, в соответствии с примерным вариантом осуществления.

Фиг.6a – первый пример калибровочного изображения, выработанного камерой, обращенной к водителю (фиг.5b), и полученного во время первой операции калибровки системы контроля поведения водителя.

Фиг.6b – пример второго калибровочного изображения, выработанного камерой, обращенной к водителю (фиг.5b), и полученного во время второй операции калибровки системы контроля поведения водителя.

Фиг.7 – пример изображения, выработанного камерой, обращенной к водителю (фиг.5b), и полученного системой контроля поведения водителя во время эксплуатации ассоциированного транспортного средства.

Фиг.8 – блок-схема, иллюстрирующая способ функционирования системы контроля поведения водителей, имеющей камеру, обращенную к водителю, для реализации стратегии контроля и предоставления отчетов о поведении водителя в соответствии с примерным вариантом осуществления.

Фиг.9 – блок-схема последовательности операций, иллюстрирующая способ функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, подсчета, контроля и предоставления отчетов о пассажирах в соответствии с примерным вариантом осуществления.

Фиг.9a – блок-схема последовательности операций, иллюстрирующая дополнительный способ функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, подсчета, контроля и предоставления отчетов о пассажирах в соответствии с примерным вариантом осуществления.

Фиг.10 – блок-схема последовательности операций, иллюстрирующая способ функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, контроля и предоставления отчетов об использовании ремней безопасности в соответствии с примерным вариантом осуществления.

Фиг.10a – блок-схема последовательности операций, иллюстрирующая подробности части способа функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, контроля и предоставления отчетов об использовании ремня безопасности (фиг.10) в соответствии с примерным вариантом осуществления.

Фиг.10b – блок-схема последовательности операций, иллюстрирующая дополнительные подробности части способа функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, контроля и предоставления отчета об использовании ремня безопасности (фиг.10) в соответствии с примерным вариантом осуществления.

Фиг.11 – блок-схема последовательности операций, иллюстрирующая способ функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, контроля и предоставления отчетов о рулевом колесе в соответствии с примерным вариантом осуществления.

Фиг.12 – пример изображения, выработанного камерой, обращенной к водителю (фиг.5b), и полученного системой контроля поведения водителя во время эксплуатации ассоциированного транспортного средства, а также показывающего типичного водителя, держащего руки на рулевом колесе.

Фиг.13 – блок-схема последовательности операций, иллюстрирующая способ функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, контроля и предоставления отчетов о внимании водителя на дорогу в соответствии с примерным вариантом осуществления.

Фиг.14 – блок-схема последовательности операций, иллюстрирующая способ функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, контроля и предоставления отчетов о затрудненном обзоре в соответствии с примерным вариантом осуществления.

Фиг.15 – блок-схема последовательности операций, иллюстрирующая способ функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, контроля и предоставления отчетов о расположении головы водителя за пределами требуемого положения в соответствии с примерным вариантом осуществления.

Фиг.15a – блок-схема последовательности операций, иллюстрирующая дополнительный способ функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, контроля и предоставления отчетов о расположении головы водителя за пределами требуемого положения в соответствии с примерным вариантом осуществления.

Фиг.16 – схематичное представление, иллюстрирующее характеристики головы водителя в целях определения вектора позы головы водителя в соответствии с примерным вариантом осуществления.

Фиг.17 – блок-схема последовательности операций, показывающая способ функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для обнаружения, контроля и предоставления отчетов о том, является ли значительным изменение распределение позы головы водителя, или неприемлемой реализации стратегии внимания водителя на дорогу в соответствии с примерным вариантом осуществления.

Фиг.18 – пример карты распределения поз головы в соответствии с примерным вариантом осуществления.

Фиг.19 – блок-схема последовательности операций, иллюстрирующая способ сравнения гистограмм позы головы водителя и определения и предоставления отчетов относительно отклонений и/или изменений между гистограммами позы головы водителя.

Фиг.19a – блок-схема последовательности операций, иллюстрирующая способ сравнения статистики позы головы и определения и предоставления отчетов об отклонениях между позой головы водителя и желаемой, соответствующей ситуации статистики в соответствии с примерным вариантом осуществления.

Фиг.20 – блок-схема, иллюстрирующая способ сравнения гистограмм позы головы и определения и предоставления отчетов об отклонениях между позой головы водителя и желаемыми, соответствующими ситуации гистограммами в соответствии с примерным вариантом осуществления.

Фиг.21 – иллюстрация границ, применяемых к использованию зеркала в соответствии с примерным вариантом осуществления.

Подробное описание изобретения

В последующем описании настоящего изобретения делается ссылка на сопроводительные фигуры, которые составляют его часть и на которых в качестве иллюстрации показаны примерные варианты осуществления, иллюстрирующие принципы настоящего изобретения и способы его применения. Другие варианты осуществления могут быть использованы для практического применения настоящего изобретения, и в него могут быть внесены структурные и функциональные изменения, не выходя за пределы объема настоящего изобретения.

Обратимся теперь к чертежам, на которых показаны иллюстрации примерных вариантов осуществления для прямого контроля поведения водителя с использованием камеры, обращенной к водителю, в соответствии с обнаруженным положением головы водителя в транспортном средстве, который управляет транспортным средством, и для косвенного контроля поведения водителя с использованием камеры, обращенной к водителю, в соответствии с обнаруженными аспектами компонентов салона транспортного средства, которым управляет водитель, и в целях того же самого, но не ограничения, на фиг.1 показан общий вид системы 100 управления автопарком и отчетности в соответствии с примерным вариантом осуществления. В примерном варианте осуществления настоящего изобретения транспортные средства 110, такие как грузовые и легковые автомобили, и, в частности, транспортные средства 112 автопарка, сконфигурированы с одним или несколькими устройствами 200 сбора данных и отчетности (фиг.2), которые вырабатывают данные о событиях, такие, например, как в примере автопарка грузовых автомобилей, данные о запуске грузового автомобиля, остановке грузового автомобиля и событиях безопасности, где одна такая система включает в себя, например, систему 322 предупреждения о выезде за пределы полосы движения (LDW) (фиг.3), которая вырабатывает сигналы, указывающие на одно или более событий и данные о водителе и о событиях транспортных средств, касающиеся, например, автопарка грузовых автомобилей, виляние грузового автомобиля при движении или пересечение полосы для грузовых автомобилей. Кроме того, вторичные системы, которые будут описаны более подробно ниже со ссылкой на фиг.3, перевозимые транспортными средствами или установленные в транспортных средствах, например, таких как одна или несколько видеокамер, радар, трансмиссия, двигатель, системы контроля давления в шинах и системы торможения, могут вырабатывать дополнительные данные о событиях безопасности. Кроме того, могут также быть задействованы сторонние системы, которые вырабатывают собственные события безопасности или данные, характеризующие обнаруженные события безопасности. Например, варианты осуществления настоящего изобретения могут включать в себя программный код, реализующий систему Bendix® Wingman® ACB, поставляемую компанией Bendix Commercial Vehicle Systems LLC, которая фиксирует собственные события безопасности и другие данные, относящиеся к собственным событиям безопасности и/или относящиеся к эксплуатации транспортного средства одним или несколькими операторами, или водителями транспортных средств.

Продолжая ссылаться на фиг.1, в примерном варианте осуществления эти события и данные 120 событий выборочно отправляются через одну или несколько беспроводных сетей или беспроводных линий 122 на сетевые серверы 132 одного или нескольких поставщиков 130 услуг. Поставщики 130 беспроводных услуг используют серверы 132 (для простоты иллюстрации показан только один сервер), которые осуществляют сбор беспроводных данных 120, предоставляемых грузовыми автомобилями 112. Каждый из них также предусматривает веб-сервис, с помощью которого пользователи могут предоставлять отчеты или загружать данные.

Один или несколько серверов 140 системы 100 управления автопарком и отчетности выполнены с возможностью выборочной загрузки или иного извлечения данных из серверов 132 сбора данных, которые могут быть сторонними серверами от одного или нескольких различных поставщиков телематических услуг, таких, например, как доступные от корпорации PeopleNet Communications Corp. или Qualcomm Inc. Один или несколько серверов 140 системы 100 управления автопарком и отчетности выполнены таким образом, чтобы инициировать обработку событий о транспортных средствах и данных о событиях в транспортных средствах способами, которые будут описаны более подробно ниже. Веб-приложение 142, исполняемое на одном или нескольких серверах 140 системы 100 управления автопарком и отчетности, включает в себя динамический графический интерфейс пользователя для менеджеров 160 и администраторов 162 парка для просмотра всей информации после ее обработки. Система 100 управления автопарком и отчетности в соответствии с примерным вариантом осуществления также включает в себя одну или несколько баз 150 данных, выполненных с возможностью выборочного хранения всей информации о событиях, предоставленной из транспортных средств 112, в автопарке 110 в течение одного или нескольких назначенных интервалов времени, включая необработанные и пост-обработанные данные поездки.

В соответствии с примерным вариантом осуществления системные администраторы 162 автопарка являются пользователями, которым предоставлены интерфейсы для конфигурирования и управления автопарками, контроля производительности платформы, просмотра предупреждений, выданных платформой, и просмотра необработанных данных о событиях и последующей обработки журналов и/или просмотров. Менеджеры 160 автопарка могут просматривать информацию о событиях, предназначенную для своего соответствующего парка для внутренней обработки. Эти события могут поступать через инициируемые пользователем отчеты 170 в веб-приложение 142, исполняемое на одном или нескольких серверах 140, или через электронную почту или другие уведомления 172. В зависимости от внутренних политик и процессов или по другим причинам менеджеры 160 автопарка могут также взаимодействовать с отдельными водителями 164 в отношении целей производительности труда, корректировок, отчетов или консультативной помощи.

Таким образом, рассматриваемая система 100 управления автопарком и отчетности предусматривает длинный список функций и возможностей для конечного пользователя. Все они были разработаны таким образом, чтобы ориентироваться на водителя, чтобы менеджеры 160 автопарка могли сосредоточить свое внимание на обучение, подготовку и повышение производительности труда водителей. Одним из основных полезных и новых применений системы 100 является простота доступа к данным по производительности труда конкретного водителя и возможность приводить в норму производительность труда каждого водителя для сравнения с водителями автопарка в целом, чтобы точно определить примерных водителей для поощрений, а также тех, кто нуждается в консультативной помощи или других корректирующих действиях.

На фиг.2 показана эксплуатация примерного транспортного средства парка, работающего в основной колонне A, включающей в себя главное или ведущее транспортное средство 10, движущееся со вторым или ведомым транспортным средством 20 в соответствии с настоящим раскрытием. Как показано, ведомое транспортное средство 20 движется в непосредственной близости от ведущего транспортного средства 10 в упорядоченной колонне А по проезжей части 1. Ведомое транспортное средство 20 оснащено электронной системой 12' управления, которая включает в себя часть 300' модуля сбора данных и отчетности и блок 400' управления контролем, который будет описан более подробно ниже. Аналогичным образом, ведущее транспортное средство 10 также оснащено эквивалентной электронной системой 12 управления, которая включает в себя эквивалентную часть 300 модуля сбора данных и отчетности и эквивалентную часть 400 управления контролем. В примерных вариантах осуществления, которые будут описаны в данном документе, хотя каждый из двух или более транспортных средств, содержащих различные колонны, которые будут описаны, включают в себя одинаковую или эквивалентную электронную систему 12, 12' управления, одну и ту же или эквивалентную часть 300, 300' модуля сбора данных и отчетности и одну и ту же или эквивалентную часть 400, 400' управления контролем, при необходимости или по желанию могут эквивалентно использоваться другие отличные системы управления, имеющие функциональные возможности, которые будут описаны в данном документе.

В проиллюстрированном примерном варианте осуществления электронные системы 12, 12' управления соответствующих транспортных средств 20, 10 выполнены с возможностью взаимной передачи сигналов и обмена данными между собой, а также для передачи сигналов и обмена данными с различными другими системами связи, включая, например, удаленную систему 250 беспроводной связи и удаленную спутниковую систему 260. Эти удаленные системы 250, 260 могут предоставлять, например, по желанию данные системы глобального позиционирования (GPS) в транспортные средства 10, 20. Между транспортными средствами и удаленными системами может предоставляться или передаваться другая информация, такая, например, как данные управления и контроля автопарка, из удаленного средства управления автопарком или т.п. (не показано). Хотя эти функциональные возможности предоставлены, варианты осуществления, представленные в данном документе, находят эту удаленную связь, хотя и полезную, но не обязательно существенную, в которой варианты осуществления, представленные в данном документе, направлены на прямой контроль поведения водителя в соответствии с обнаруженным положением головы водителя в транспортном средстве, которым управляет водитель, и для косвенного контроля поведения водителя в соответствии с обнаруженными аспектами компонентов салона транспортного средства, которым управляет водитель, без необходимости консультироваться или действовать под руководством или совместно с удаленной системой 250 беспроводной связи, удаленной спутниковой системой 260, средством удаленного управления автопарком транспортных средств, центральным командным центром (CCC), центром управления сетью (NOC) или т.п.

В дополнение к вышеизложенному электронные системы 12, 12' управления каждого транспортного средства 10, 20 выполнены с возможностью поддержания связи между различными транспортными средствами (или между транспортными средствами и одним транспортным средством) (одноадресная связь V2V) (связь между широковещательным транспортным средством и одним отвечающим транспортным средством), а также связь между различными (многочисленными) транспортными средствами (широковещательная связь V2V) (связь между широковещательным транспортным средством и двумя или более отвечающими транспортными средствами), а также связь между различными транспортными средствами и инфраструктурой (V2I). Предпочтительно, локальная одноадресная связь V2V и широковещательная связь V2V соответствуют спецификации связи J2945 DSRC. В связи с этим транспортные средства, образующие основную колонну A, могут поддерживать связь друг с другом локально для самостоятельного упорядочения и размещения в колонне без необходимости ввода из CCC в соответствии с вариантами осуществления, приведенными в данном документе. Транспортные средства, образующие основную колонну A, могут также связываться с одним или несколькими другими транспортными средствами локально без необходимости ввода из CCC для согласования одного или нескольких других транспортных средств в колонне в соответствии с вариантами осуществления, представленными в данном документе. Транспортные средства, образующие основную колонну А, могут дополнительно связываться со средством управления автопарком дистанционно, как это может быть необходимо и/или желательно для прямого контроля поведения водителя в соответствии с обнаруженным положением головы водителя в транспортном средстве, которым управляет водитель, и для косвенного контроля поведения водителя в соответствии с обнаруженными аспектами компонентов салона транспортного средства, которым управляет водитель, в соответствии с дополнительными примерными вариантами осуществления, представленными в данном документе.

Как отмечено выше, предпочтительно, локальная одноадресная связь V2V и широковещательная связь V2V между транспортными средствами, как будет описано в данном документе, следует спецификации связи DSRC J2945. Эта спецификация в настоящее время не определяет прямую связь с транспортным средством. Скорее всего, в рабочем состоянии каждое транспортное средство, способное к связи, отправляет необходимую информацию посредством широковещательной передачи в каждое другое транспортное средство, способное к связи, в пределах диапазона, и одно или несколько приемных транспортных средств принимают решение относительно того, хотят ли они обработать принятое сообщение. Например, только при наличии транспортных средств, которые способны эксплуатироваться в колонне, и для которых водитель указывает через коммутатор или пользовательский интерфейс, что желательно присоединиться к этой колонне, это транспортное средство начнет широковещательную передачу и прослушивание сообщений протокола колонны. Все другие транспортные средства в этом районе могут игнорировать информацию колонны. Соответственно, как будет использовано в данном документе и в целях описания примерных вариантов осуществления, "одноадресная связь V2V" будет относиться к связи между широковещательным транспортным средством и единственным отвечающим транспортным средством, и "широковещательная связь V2V" будет относиться к связи между широковещательным транспортным средством и двумя или более отвечающими транспортными средствами. Следует принимать во внимание, что "одноадресная связь V2V" также относится к прямой взаимно однозначной связи с транспортным средством, так как спецификация связи DSRC J2945 получила дальнейшее развитие или путем использования любого одного или нескольких других стандартов, спецификаций или технологий, известных в настоящее время, или которые будут разработаны в дальнейшем.

На фиг.3 показано схематичное изображение блок-схемы, которая иллюстрирует подробности части 300 модуля сбора данных и связи буксирующего транспортного средства, показанного на фиг.2, в соответствии с примерным вариантом осуществления. Согласно принципам проиллюстрированного примерного варианта осуществления часть 300 модуля сбора данных и отчетности буксирующего транспортного средства может быть выполнена с возможностью обнаружения, контроля и представления отчетов о различных рабочих параметрах и условиях коммерческого транспортного средства и взаимодействия с ним водителя, а также выборочно вмешиваться и предпринимать корректирующие действия, которые могут быть необходимы или желательны, например, для поддержания устойчивости транспортного средства или для поддержания транспортного средства на дистанции следования относительно других транспортных средств в пределах колонны. В примерном варианте осуществления, показанном на фиг.3, часть 300 модуля сбора данных и отчетности может включать в себя одно или несколько устройств или систем 314 для предоставления входных данных, указывающих один или несколько рабочих параметров или одно или несколько состояний коммерческого транспортного средства. Например, устройства 314 могут представлять собой один или несколько датчиков, таких как, но не ограничиваясь этим, один или несколько датчиков 316 скорости вращения колеса, один или несколько датчиков ускорения, таких как многокоординатные датчики 317 ускорения, датчик 318 угла поворота рулевого колеса, датчик 319 давления тормоза, один или несколько датчиков 320 нагрузки транспортного средства, датчик 321 скорости рыскания, датчик или система 322 предупреждения о выезде за пределы полосы движения, один или несколько датчиков 323 скорости или состояния двигателя и система 324 контроля давления в шинах (TPMS). Модуль 300 сбора данных и отчетности буксирующего транспортного средства также может использовать дополнительные устройства или датчики в примерном варианте осуществления, включая, например, датчик 360 расстояния вперед и датчик 362 расстояния сзади. Другие датчики и/или исполнительные механизмы, или устройства или их комбинации для выработки электроэнергии можно также использовать иным образом, и одно или несколько устройств или датчиков могут быть объединены в один блок, если это необходимо и/или желательно.

Часть 300 модуля связи и сбора данных о буксирующем транспортном средстве может также включать в себя компоновку, использующую логическую схему, такую как контроллер или процессор 330, и логическую схему 331 управления, взаимодействующую с одним или несколькими устройствами или системами 314. Процессор 330 может включать в себя один или более входных сигналов для приема входных данных из устройств или систем 314. Процессор 330 может быть выполнен с возможностью обработки входных данных и сравнения необработанных или обработанных входных данных с одним или несколькими сохраненными пороговыми значениями или для обработки входных данных и сравнения необработанных или обработанных входных данных с одним или несколькими желаемыми в зависимости от обстоятельств значения. Процессор 330 также может включать в себя один или несколько выходов для подачи сигнала управления в одну или несколько систем 323 транспортного средства на основе сравнения. Сигнал управления может инструктировать системы 323 вмешаться в работу транспортного средства, чтобы инициировать корректирующее действие, и затем предоставить отчет об этом корректирующем действии беспроводной службе (не показана) или просто локально сохранить данные, которые будут использоваться для определения качества работы водителя. Например, процессор 330 может выработать и подать сигнал управления в электронный блок управления двигателя или исполнительное устройство, чтобы уменьшить дроссельную заслонку 334 двигателя и замедлить движение транспортного средства. Кроме того, процессор 330 может отправить сигнал управления в одну или несколько тормозных систем 335, 336 транспортного средства для выборочного включения тормозов. Согласно примерному варианту осуществления в компоновке тягач-прицеп процессор 330 может задействовать тормоза 336 на одном или нескольких колесах части прицепа транспортного средства с помощью устройства регулировки давления в тормозной системе прицепа (не показано) и тормоза 335 на одном или нескольких колесах части тягача транспортного средства 12, и затем предоставляет отчет об этом корректирующем действии беспроводной службе или просто локально сохраняют данные, которые будут использоваться для определения качества работы водителя. Возможны различные корректирующие действия, и одновременно можно инициировать несколько корректирующих действий.

Контроллер 300 может также включать в себя часть 340 памяти для хранения и доступа к системной информации, такой, например, как настройки системной логической схемы 331 и схемы управления. Однако часть 340 памяти может находиться отделено от процессора 330. Датчики 314 и процессор 330 могут быть частью ранее существовавшей системы или использовать компоненты ранее существовавшей системы. Например, на транспортном средстве может быть установлен усовершенствованный контроллер антиблокировочной тормозной системы Bendix® ABS-6TM с системой курсовой устойчивости ESP®, которую можно приобрести в компании Bendix Commercial Vehicle Systems LLC. В системе Bendix® ESP® могут использоваться некоторые или все датчики, показанные на фиг.3. Логический компонент системы Bendix® ESP® находится в электронном блоке управления антиблокировочной тормозной системой транспортного средства, который может использоваться для процессора 330 настоящего изобретения. Таким образом, многие компоненты для поддержки контроллера 330 буксирующего транспортного средства согласно настоящему изобретению могут присутствовать в транспортном средстве, оборудованном системой Bendix® ESP®, тем самым не требуя установки дополнительных компонентов. Однако контроллер 330 буксирующего транспортного средства может при необходимости использовать установленные компоненты независимым образом. Кроме того, процессор IMX,6, расположенный отдельно от системы ESP, может исполнять функции, описанные в данном документе.

Часть 300 модуля связи и сбора данных контроллера 12 буксирующего транспортного средства также может включать в себя источник входных данных 342, указывающих конфигурацию/состояние коммерческого транспортного средства. Процессор 330 может определять или оценивать конфигурацию/состояние транспортного средства на основе входных данных и может выбирать режим настройки управления или чувствительность на основе конфигурации/состояния транспортного средства. Процессор 330 может сравнивать рабочие данные, полученные от датчиков или систем 314, с информацией, предоставляемой настройкой. Настройка системы может включать в себя, но не ограничивается этим, следующее: номинальная высота центра тяжести транспортного средства, справочные карты и/или таблицы уровня боковой составляющей ускорения для системы контроля начала опрокидывания, справочные карты и/или таблицы разности между скоростью рыскания и ожидаемой скоростью рыскания для системы контроля рыскания, отклонение от номинальной величины угла поворота рулевого колеса, отклонение от номинальной величины изменения покрышек и скорости изменения давления в тормозной системе, величины и максимальные значения, которые должны применяться во время корректирующих действиях.

Конфигурация/состояние транспортного средства может относиться к набору характеристик транспортного средства, которые могут влиять на устойчивость транспортного средства (крен и/или рыскание). Например, в транспортном средстве с буксируемой частью источник входных данных 342 может сообщать тип буксируемой части. В компоновках тягач-прицеп тип прицепа, буксируемого тягачом, может влиять на устойчивость транспортного средства. Это очевидно, например, когда буксируются несколько комбинаций прицепов (двойные и тройные). Транспортные средства с несколькими комбинациями прицепов могут демонстрировать чрезмерную реакцию задних блоков при маневрировании (то есть усиливающуюся в хвостовой части). Чтобы компенсировать усиление в задней части, контроллер 330 буксирующего транспортного средства может выбрать настройку, которая делает систему более чувствительной (то есть вмешивается раньше, чем это произошло бы для одного состояния прицепа). Настройка управления может быть, например, специально определена для оптимизации производительности модуля сбора данных и связи для конкретного типа прицепа, буксируемого конкретным типом тягача. Таким образом, настройка управления может быть разной для одного и того же тягача, буксирующего один прицеп, комбинацию из двух прицепов или комбинацию из трех прицепов.

Тип груза, который перевозит коммерческое транспортное средство, и расположение центра тяжести груза может также влиять на устойчивость транспортного средства. Например, подвижные грузы, такие как цистерны с жидкостью с частично заполненными отсеками и скот, могут потенциально влиять на характеристики поворота и опрокидывания транспортного средства. Таким образом, может быть выбран более чувствительный режим настройки управления для учета подвижного груза. Кроме того, отдельный режим настройки управления может быть выбран тогда, когда транспортное средство перевозит груз, центр тяжести которого находится особенно низко или особенно высоко, например, для некоторых типов больших машин или низко расположенных плоских стальных брусков.

Кроме того, контроллер 300 функционально связан с одним или более устройствами формирования изображения, обращенными к водителю и показанными в примерном варианте осуществления для простоты и удобства иллюстрации в виде представления одной камеры 345, обращенной к водителю, из одной или нескольких физических видеокамер, расположенных на транспортном средстве, таких, например, как видеокамера, установленная в каждом углу транспортного средства, одной или нескольких камер, установленных удаленно и функционально связанных с контроллером 330, таких как камера, обращенная вперед (FFC), расположенная на транспортном средстве таким образом, чтобы записывать изображения проезжей части впереди транспортного средства, или, как в примерном варианте осуществления, в кабине коммерческого транспортного средства, направленная на водителя и/или направленная на салон кабины коммерческого транспортного средства. В примерных вариантах осуществления поведение водителя напрямую контролируется с использованием камеры 345, обращенной к водителю, в соответствии с обнаруженным положением головы водителя в транспортном средстве, управляемом транспортным средством, подробности которого будут подробно описаны ниже. В дополнительных примерных вариантах осуществления поведение водителя напрямую контролируется с использованием камеры 345, обращенной к водителю, в соответствии с обнаруженной позой головы водителя. Для целей этого описания примерных вариантов осуществления и для простоты ссылки, термин "поза головы" обозначает набор углов, описывающих ориентацию головы водителя, то есть тангаж (водитель смотрит вниз или вверх), рыскание (водитель смотрит влево или вправо) и крен (водитель наклоняет голову влево или вправо). В еще одних вариантах осуществления поведение водителя контролируется косвенно с использованием камеры 345, обращенной к водителю, в соответствии с обнаруженными аспектами компонентов салона транспортного средства, управляемого транспортным средством, подробности которого будут подробно описаны ниже. Камера 345, обращенная к водителю, может включать в себя устройство формирования изображения, поставляемое компанией Ominivision™ под номером 10635 изделия/модели, хотя при необходимости или по желанию можно использовать любое другое подходящее эквивалентное устройство формирования изображения.

Более того, контроллер 300 может также включать в себя модуль 350 передатчика/приемника (приемопередатчика), такой, например, как радиочастотный (РЧ) передатчик, включающий в себя одну или более антенн 352 для беспроводной связи запросов на автоматическое торможение, данные GPS, один или более видов данных о конфигурации и/или состоянии различных транспортных средств и т.п. между транспортными средствами и одним или несколькими пунктами назначения, такими, например, как одна или несколько беспроводных служб (не показаны), имеющих соответствующий приемник и антенну. Модуль 350 передатчика/приемника (приемопередатчика) может включать в себя различные функциональные элементы подчастей, функционально связанных с блоком управления колонной, включающим в себя, например, часть приемника связи, часть приемника датчика системы глобального позиционирования (GPS) и передатчик связи. Для передачи специфической информации и/или данных части приемника и передатчика связи также могут включать в себя одну или несколько функциональных и/или операционных частей интерфейса связи.

Процессор 330 выполнен с возможностью передачи полученных данных в один или более приемников в виде необработанных данных, то есть данных без обработки, в обработанном виде, например, в сжатом виде, в зашифрованном виде или в необходимом или желательном виде. В связи с этим процессор 330 может объединять выбранные данные из значений данных параметров транспортного средства в виде обработанных данных, характеризующих данные состояния транспортного средства более высокого уровня, например, данные от многокоординатных датчиков 317 ускорения могут быть объединены с данными, полученными от датчика 318 угла поворота рулевого колеса для определения данных о событии превышения скорости поворота. Другие гибридные данные о событии, относящиеся к транспортному средству и водителю транспортного средства и получаемые путем объединения одного или нескольких выбранных необработанных элементов данных из датчиков, включают в себя, например, и без ограничения, данные о событии чрезмерного торможения, данные о событии чрезмерной скорости поворота, событие предупреждения о выезде из полосы движения, данные о событии чрезмерного выезда из полосы движения, данные о событии выезда из полосы движения без включения сигнала поворота, данные о событии потери видеонаблюдения, данные о событии отключения системы LDW, данные о событии оповещения о расстоянии, данные о событии предупреждения о прямом столкновении, данные о событии осязательного предупреждения, данные о событии торможения для уменьшения столкновений, данные о событии ATC, данные о событии ESC, данные о событии RSC, данные о событии ABS, данные о событии TPMS, данные о событии в системе двигателя, данные о событии средней дистанции следования, данные о событии среднего потребления топлива и данные о событии среднего использования ACC. Однако важно отметить, что в соответствии с примерными вариантами осуществления, описанными в данном документе, контроллер 300 выполнен с возможностью сохранения полученных данных изображения водителя и/или салона транспортного средства в памяти 340 и выборочной передачи полученных данных изображения салона транспортного средства и водителя в один или несколько приемников через приемопередатчик 350.

В проиллюстрированном примерном варианте осуществления контроллеры 12, 12' буксировочных транспортных средств (фиг.2) соответствующих транспортных средств колонны выполнены с возможностью взаимной передачи сигналов и обмена данными между собой и между их соответствующими одним или несколькими буксируемыми транспортными средствами, а также для передачи сигналов и обмена данными с различными другими системами связи, включая, например, удаленную систему беспроводной связи и удаленную спутниковую систему. Эти удаленные системы могут передавать при необходимости данные, например, глобальной системы позиционирования (GPS), в транспортные средства. Кроме того, между транспортными средствами и удаленными системами может передаваться или использоваться для обмена другая информация, а также данные управления и контроля автопарка могут быть получены, например, из удаленного средства управления автопарком или т.п. (не показано), и данные о поведении водителя могут быть отправлены в удаленное средство управления автопарком, удаленную спутниковую систему, центр управления сетью (NOC), центральный командный центр (CCC) или т.п.

Контроллер 300 буксировочного транспортного средства, показанный на фиг.3, предназначен для исполнения вариантов осуществления одного или нескольких программных систем или модулей, которые выполняют стратегии торможения прицепа и способы контроля торможения прицепа в соответствии с рассматриваемым применением. Примерный контроллера 22 буксировочного транспортного средства может включать в себя шину или другой механизм связи для передачи информации и процессор 330, связанный с шиной для обработки информации. Компьютерная система включает в себя основную память 340, такую как оперативное запоминающее устройство (RAM) или другое динамическое запоминающее устройство для хранения информации и инструкций, которые должны исполняться процессором 330, и постоянное запоминающее устройство (ROM) или другое статическое запоминающее устройство для хранения статической информация и инструкций для процессора 330. Кроме того, могут быть также предусмотрены другие запоминающие устройства для хранения информации и инструкций, когда это необходимо или желательно.

Инструкции могут считываться в основную память 340 с другого машиночитаемого носителя, такого как другое устройство хранения через приемопередатчик 350. Исполнение последовательностей инструкций, содержащихся в основной памяти 340, заставляет процессор 330 выполнять этапы процесса, описанные в данном документе. В альтернативной реализации для реализации изобретения вместо или в сочетании с программными инструкциями может использоваться аппаратная схема. Таким образом, реализации примерных вариантов осуществления не ограничены какой-либо конкретной комбинацией аппаратных схем и программного обеспечения.

В соответствии с описаниями в данном документе термин "машиночитаемый носитель", используемый в данном документе, относится к любому невременному носителю, который участвует в предоставлении инструкций процессору 330 для исполнения. Такой невременный носитель может принимать различные формы, включающие в себя, но не ограничиваясь этим, энергозависимые и энергонезависимые носители. Энергонезависимые носители включают в себя, например, оптические или магнитные диски. Энергозависимые носители включают в себя, например, динамическую память и не включают в себя временные сигналы, несущие волны или т.п. Распространенные виды машиночитаемых носителей включают в себя, например, дискету, гибкий диск, жесткий диск, магнитную ленту или любой другой магнитный носитель, CD-ROM, любой другой оптический носитель, перфокарты, перфоленту, любые другие физические данные. носитель с картиной отверстий, RAM, PROM и EPROM, FLASH-EPROM, любую другую микросхему памяти или картридж или любой другой материальный невременный носитель, с которого может считывать компьютер.

Кроме того, в соответствии с описанием используемый в данном документе термин "логическая схема" со ссылкой на чертежи включает в себя аппаратные средства, программно-аппаратные средства, программное обеспечение, исполняемое на компьютере, и/или комбинации каждого из них, чтобы выполнять функцию(и) или действие(я) и/или вызывать функцию или действие из другой логической схемы, способа и/или системы. Логическая схема может включать в себя программно управляемый микропроцессор, дискретную логическую схему (например, ASIC), аналоговую схему, цифровую схему, программируемое логическое устройство, устройство памяти, содержащее инструкции, и т.д. Логическая схема может включать в себя один или несколько логических элементов, комбинации логических элементов или другие компоненты схемы.

На фиг.4 показана блок-схема, которая иллюстрирует компьютерную систему 400 контроля поведения водителя, подходящую для исполнения вариантов осуществления одной или более программных систем или модулей, которые выполняют контроль поведения водителя и анализ отчетов в соответствии с рассматриваемым применением. Примерная система включает в себя шину 402 или другой механизм связи для передачи информации и процессор 404, связанный с шиной для обработки информации. Компьютерная система 400 включает в себя основную память, такую как оперативное запоминающее устройство (RAM) 406 или другое динамическое запоминающее устройство для хранения информации и инструкций, которые должны исполняться процессором 404, и постоянное запоминающее устройство (ROM) 408 или другое статическое постоянное запоминающее устройство для хранения статической информации и инструкций для процессора 404. Логическое запоминающее устройство 410 также соответствующим образом предусмотрено для хранения инструкций, исполняемых процессором, и другой информации, включающей в себя, например, одно или несколько калибровочных значений непосредственно контролируемых параметров водителя, таких, например, как правильное положение головы водителя и/или одно или несколько калибровочных значений косвенно контролируемых параметров водителя, таких, например, как правильное использование ремня безопасности. Кроме того, операторские интерфейсы предоставлены в виде устройства 414 ввода, такого как клавиатура, или входа для распознавания голоса, включающего в себя микрофон и логическую схему, преобразующую звуки человеческого голоса в компьютерные команды, удобный для восприятия человеком дисплей 412 для представления водителю видимой информации, и элемент 416 управления курсором, такой как джойстик или мышь и т.п.

Примерные варианты осуществления, описанные в данном документе, относятся к использованию компьютерной системы 400, предназначенной для доступа, объединения, обработки и отображения информации, поступающей из одного или нескольких ресурсов, таких, например, как камера 345, обращенная к водителю.

В соответствии с одной реализацией информация, поступающая из камеры 345, обращенной к водителю, предоставляется компьютерной системой 400 в ответ на процессор 404, исполняющий одну или несколько последовательностей из одной или нескольких инструкций, содержащихся в основной памяти 406. Такие инструкции могут считываться в основную память 406 с другого машиночитаемого носителя, такого как логическое запоминающее устройство 410. Логическое запоминающее устройство 410 может хранить одну или несколько подсистем или модулей для выполнения прямого контроля поведения водителя, как изложено в данном документе, и/или одну или несколько подсистем или модулей для выполнения косвенного контроля поведения водителя, как изложено в данном документе. Исполнение последовательностей инструкций, содержащихся в основной памяти 406, заставляет процессор 404 выполнять этапы процесса, описанные в данном документе. В альтернативной реализации для реализации изобретения вместо или в сочетании с программными инструкциями может использоваться аппаратная схема. Таким образом, реализации примерных вариантов осуществления не ограничены какой-либо конкретной комбинацией аппаратных схем и программного обеспечения.

В соответствии с описанием используемый в данном документе термин "машиночитаемый носитель информации" относится к любому невременному носителю информации, который участвует в подаче инструкций в процессор 404 для их исполнения. Такой невременный носитель может принимать различные виды, включающие в себя, но не ограниченные этим, энергозависимые и энергонезависимые носители. К энергонезависимым носителям относятся, например, оптические или магнитные диски. Энергозависимые носители включают в себя, например, динамическую память и не включают в себя временные сигналы, несущие волны или т.п. Обычные виды машиночитаемых носителей включают в себя, например, дискету, гибкий диск, жесткий диск, магнитную ленту или любой другой магнитный носитель, CD-ROM, любой другой оптический носитель, перфокарты, перфоленту, любой другой физический носитель с картинами отверстий, RAM, PROM и EPROM, FLASH-EPROM, любую другую микросхему памяти или картридж или любой другой материальный невременный носитель, с которого может считывать компьютер.

В дополнение к этому и кроме того, в соответствии с приведенным здесь описанием термин "логическая схема", который используется в данном документе по отношению к фигурам, включает в себя аппаратные средства, программно-аппаратные средства, программное обеспечение, исполняемое на компьютере, и/или комбинацию каждого из них, чтобы выполнять функцию(и) или действие(я) и/или вызывать функцию или действие из другой логической схемы, способа и/или системы. Логическая схема может включать в себя программно-управляемый микропроцессор, дискретную логическую схему (например, ASIC), аналоговую схему, цифровую схему, программируемое логическое устройство, устройство памяти, содержащее инструкции, и т.д. Логическая схема может включать в себя один или несколько логических элементов, комбинации логических элементов или другие компоненты схемы.

Компьютерная система 400 контроля поведения водителя включает в себя интерфейс 418 связи, связанный с шиной 402, который обеспечивает двустороннюю связь передачи данных с сетевым каналом 420, который подключен к локальной сети 422. Например, интерфейс 418 связи может представлять собой карту цифровой сети с комплексными услугами (ISDN) или модем для обеспечения передачи данных по телефонной линии соответствующего типа. В качестве другого примера, интерфейс 418 связи может быть картой локальной вычислительной сети (LAN), которая обеспечивает соединение для передачи данных с совместимой LAN. Могут быть также реализованы беспроводные линии связи. В любой такой реализации интерфейс 418 связи отправляет и принимает электрические, электромагнитные или оптические сигналы, которые переносят потоки цифровых данных, характеризующих различные типы информации.

Сетевая линия 420 связи, как правило, обеспечивает передачу данных через одну или несколько сетей в другие устройства передачи данных. Например, сетевая линия 420 связи может обеспечивать соединение через локальную сеть 422 с хост-компьютером 424, поддерживающим базу 425 данных, хранящую внутренние собственные данные, и/или с оборудованием данных, управляемым поставщиком 424 Интернет-услуг (ISP). В свою очередь, ISP 426 предоставляет данные услуги связи через Интернет 428. Локальная сеть 422 и Интернет 428 используют электрические, электромагнитные или оптические сигналы, которые переносят потоки цифровых данных. Сигналы через различные сети и сигналы по сетевой линии 420 связи и через интерфейс 418 связи, которые переносят цифровые данные в компьютерную систему 400 контроля поведения водителя и из нее, являются примерными видами несущих волн, транспортирующих информацию.

Компьютерная система 400 контроля поведения водителя может отправлять сообщения и принимать данные, в том числе программный код, через сеть(и), сетевую линию 420 и интерфейс 418 связи. В примерном варианте осуществления подключенная к сети Интернет компьютерная система 400 контроля поведения водителя функционально связана с множеством внешних общедоступных, частных, правительственных или коммерческих серверов (не показаны) в качестве одной или нескольких беспроводных служб (не показаны), выполненных с возможностью выполнения веб-приложения в соответствии с примерным вариантом осуществления, который будет описан более подробно ниже. В проиллюстрированном примерном варианте осуществления первый сервер 430 связан с базой 450 данных, хранящей выбранные данные, принятые первой беспроводной службой, такой, например, как данные от первого поставщика телематических услуг, второй первый сервер 432 связан с базой 452 данных, хранящей выбранные данные, принятые второй беспроводной службой, такой, например, как данные от второго поставщика телематических услуг, и третий сервер 434 связан с базой 454 данных, хранящей выбранные собственные данные и исполняемый код для выполнения веб-приложения. Компьютерная система 400 контроля поведения водителя выполнена с возможностью выборочной передачи данных в соответствующие базы 450, 452, 454 данных через Интернет 428, ISP 426, локальную сеть 422 и интерфейс 418 связи и/или приема выбранных данных, извлеченных из баз 450, 452, 454 данных, или обоими способами в соответствии с примерными вариантами осуществления. Принятые данные обрабатываются исполняемым процессором 404 по мере их поступления и/или сохраняются в запоминающем устройстве 410 или другом энергонезависимом хранилище для последующей обработки данных или обращения с данными.

Хотя компьютерная система 400 контроля поведения водителя показана на фиг.4 как подключаемая к набору из трех (3) серверов 430, 432 и 434, специалисты в данной области техники поймут, что компьютерная система 400 контроля поведения водителя может устанавливать соединения с несколькими дополнительными серверами в Интернете 428. В примерных вариантах осуществления каждый такой сервер включает в себя интернет-приложения, основанные на HTTP, которые могут предоставлять информацию компьютерной системе 400 контроля поведения водителя по запросу способом, согласующимся с настоящими вариантами осуществления.

Выборочно размещение собственных коммерческих данных в базе данных 425 в брандмауэре 440 является выгодным по многим причинам, включая возможность быстрых комплексных локальных запросов без существенных перегрузок в сети. Однако важно поддерживать точность данных, выполняя операции обновления или обновления по расписанию на основе характеристик требуемых данных или требований к данным конкретного запроса.

Компьютерная система 400 контроля поведения водителя надлежащим образом включает в себя несколько подсистем или модулей для выполнения прямого и/или косвенного контроля поведения водителя, как изложено в данном документе. Основной целью рассматриваемой заявки является обеспечение улучшенного контроля поведения водителя, что позволяет менеджерам автопарка и т.п. лучше управлять своими водителями-операторами. В связи с этим на фиг.4a показана блок-схема, которая иллюстрирует исполняемые логические компоненты системы контроля поведения водителя, имеющей камеру, обращенную к водителю, согласно примерному варианту осуществления. Обращаясь теперь к этой фигуре, логическая схема, хранящаяся в запоминающем устройстве 410 (фиг.4), исполняется процессором для выполнения контроля поведения водителя и предоставления отчетов в соответствии с вариантами осуществления, приведенными в данном документе. Логическая схема, хранящаяся в запоминающем устройстве 410, включает в себя логическую схему 460 управления, логическую схему управления, хранящуюся в устройстве невременной памяти. Логическая схема управления исполняется процессором для обработки данных изображения таким образом, чтобы определить рабочее значение параметра контролируемого состояния ассоциированного транспортного средства, выполнить сравнение между рекомендуемым диапазоном значений параметра контролируемого состояния ассоциированного транспортного средства и рабочим значением параметра контролируемого состояния ассоциированного транспортного средства и определить состояние соответствия эксплуатации транспортного средства в соответствии с результатом сравнения между рекомендуемым диапазоном значений и рабочим значением параметра контролируемого состояния ассоциированного транспортного средства. Процессор системы может выборочно вырабатывать данные результата в соответствии с результатом.

Логическая схема, хранящаяся в запоминающем устройстве 410, дополнительно включает в себя логическую схему 462 распознавания лица, хранящуюся в устройстве невременной памяти. Логическая схема обнаружения лица исполняется процессором для обработки данных изображения таким образом, чтобы определить положение одной или нескольких областей лица-кандидата на изображении, захваченном устройством 345 формирования изображения, вероятно, выше заданного порогового значения, хранящегося в устройстве невременной памяти системы, которые будут характеризовать соответствующие одно или несколько человеческих лиц в ассоциированном транспортном средстве, и выработать набор дескрипторов лица для каждой из одной или нескольких областей лица-кандидата. Логическая схема обнаружения лица дополнительно выполнена с возможностью обработки данных изображения для определения идентичности человеческой личности, ассоциированной с набором дескрипторов лица для каждой из одной или нескольких областей лица-кандидата.

Логическая схема, хранящаяся в запоминающем устройстве 410 дополнительно, включает в себя логическую схему 464 обнаружения голоса. Логическая схема 464 обнаружения голоса исполняется процессором для идентификации человеческого лица, ассоциированного с набором дескрипторов лица для каждой из одной или нескольких областей лица-кандидата в соответствии с принятыми голосовыми данными, характеризующими записанный голос одного или нескольких пассажиров-людей, соответствующих одной или нескольким областям лица-кандидата.

Логическая схема, хранящаяся в запоминающем устройстве 410, дополнительно включает в себя логическую схему 466 движения рта. Логическая схема 466 движения рта может исполняться процессором для идентификации человека, ассоциированного с набором дескрипторов лица для каждой из одной или нескольких областей лица-кандидата в соответствии с голосовыми данными в сочетании с принятыми данными движения рта, характеризующими записанные изображения движения рта одного или нескольких пассажиров-людей, соответствующих одной или нескольким областям лица-кандидата.

Логическая схема, хранящаяся в запоминающем устройстве 410, дополнительно включает в себя логическую схему 468 обнаружения головы водителя. Логическая схема 468 обнаружения головы водителя исполняется процессором для обработки данных изображения таким образом, чтобы определение положения/определение области головы-кандидата изображения, захваченного устройством 345 формирования изображения, вероятно, выше заданного порогового значения, хранящегося в устройстве невременной памяти, будет характеризовало голову ассоциированного водителя, находящегося в ассоциированном транспортном средстве, и маркировки тегом части данных изображения, соответствующих области головы-кандидата, обнаруженной/определенной логической схемой обнаружения головы водителя в виде данных изображения головы водителя.

Логическая схема, хранящаяся в запоминающем устройстве 410 дополнительно включает в себя логическую схему 470 направления головы водителя. Логическая схема головы водителя направления головы исполняется процессором для обработки данных изображения головы водителя для того, чтобы определить направление, обращенное к голове ассоциированного водителя, и выработать данные о направлении, обращенном к голове водителя, причем данные о направлении, обращенном к голове водителя, характеризуют определенное направление, обращенное к голове ассоциированного водителя.

Логическая схема, хранящаяся в запоминающем устройстве 410 дополнительно включает в себя логическую схему 472 определения положения головы водителя. Логическая схема 472 определения положения головы водителя исполняется процессором для обработки данных изображения головы водителя вместе с данными о геометрии транспортного средства и данными о положении устройства формирования изображения для того, чтобы определить расположение головы водителя относительно одной или нескольких структур управления ассоциированного транспортного средства и выработать данные о расположении головы водителя, причем данные о положении головы водителя характеризуют определенное расположение головы ассоциированного водителя относительно одной или нескольких структур управления ассоциированного транспортного средства.

Логическая схема, хранящаяся в запоминающем устройстве 410 дополнительно, включает в себя логическую схему 474 обнаружения лица водителя. Логическая схема обнаружения лица водителя исполняется процессором для обработки данных изображения вместе с данными о геометрии транспортного средства и данными о положении устройства формирования изображения для того, чтобы определить один или несколько объектами переднего плана в данных изображения и один или несколько объектов заднего плана в данных изображения. Определенные один или несколько объектами переднего плана в данных изображения располагаются в ассоциированном транспортном средстве между устройством формирования изображения и одним или несколькими объектами заднего плана в данных изображения. Логическая схема обнаружения лица водителя исполняется процессором для обработки части данных изображения, соответствующих определенным одному или нескольким объектам переднего плана в данных изображения, для того, чтобы выборочно определить, из данных изображения, лицо водителя ассоциированного транспортного средства и выработать одно из: данных характеристик лица водителя, характеризующих выборочно определенное лицо ассоциированного водителя, или данных о блокированном изображении, характеризующих неспособность логической схемы расположения обнаружения лица водителя выборочно определять лицо водителя ассоциированного транспортного средства из данных изображения. Логическая схема обнаружения лица водителя дополнительно исполняется процессором для обработки данных о положении головы водителя и вектора нормали лица таким образом, чтобы выборочно определить, из данных изображения, лицо водителя ассоциированного транспортного средства и выработать одно из: данных характеристики лица водителя, характеризующих выборочно определенное лицо ассоциированного водителя, или данные о блокированном изображении, характеризующие неспособность логической схемы расположения обнаружения лица водителя выборочно определять лицо водителя ассоциированного транспортного средства из данных изображения.

Камера 345, обращенная к водителю, согласно примерному варианту осуществления представляет собой предпочтительно видеокамеру 510, обращенную к водителю, расположенную, как показано на фиг.5а, в верхней части лобового стекла 512 ассоциированного транспортного средства. В этом положении видеокамера 510, обращенная к водителю, лучше всего может изобразить голову 520 водителя и область 530, окружающую водителя, и в то же время одновременно дает выгодный вид на дорогу по направлению вперед для камеры, обращенной вперед. Возможен альтернативный вариант осуществления с отдельными камерами: камерой 345, обращенной к водителю, и камерой 346, обращенной вперед, и в этом случае камеру 346, обращенную вперед (FFC), лучше всего размещать высоко на лобовом стекле, как показано на фигуре, и камеру 345, обращенную к водителю, можно разместить в отдельном корпусе спереди на приборной панели или сбоку от водителя, либо низко на приборной панели, либо высоко на лобовом стекле, как показано на фигуре. В этих местах, как правило, выполняются применяемые для транспортных средств требования к беспрепятственному обзору. Центральная точка обзора лучше всего подходит для получения полного изображения кабины. В соответствии с вариантами осуществления в данном документе одно или несколько неподвижных и/или видеоизображений головы водителя используются для прямого контроля поведения водителя способами, которые будут описаны более подробно ниже, и, соответственно, в соответствии с вариантами осуществления в данном документе, одно или несколько неподвижных и/или видеоизображений области 530, окружающей водителя, используются для прямого контроля поведения водителя способами, которые будут описаны более подробно ниже.

На фиг.5b показана схема, иллюстрирующая водителя, обращенного к видеокамере 510 в соответствии с примерным вариантом осуществления, приведенным в данном документе. Как показано, видеокамера 510, обращенная к водителю, включает в себя элемент 512 корпуса, поддерживающий пару первых 540 и вторых 542 источников света, расположенных на противоположных сторонах расположенного в центре устройства 550 камеры. Пара первого и второго источников 540, 542 света представляют собой предпочтительно инфракрасные (ИК) излучатели, такие как ИК-светодиоды, с тем чтобы можно было осветить водителя и область в транспортном средстве, окружающую водителя, для целей записи изображений водителя и областей, окружающих водителя, устройством 550 камеры, не препятствуя водителю во время управления транспортным средством, например, отвлекая или ослепляя водителя и т.п. Камера 550 предпочтительно немного наклонена в сторону водителя, чтобы благоприятные оптические характеристики, такие как более высокое разрешение, вблизи центральной оси линзы были предпочтительными. В варианте осуществления горизонтальное поле обзора объектива является достаточно широким для того, чтобы видеть как водителя, так и пассажира. Горизонтальное поле обзора объектива также является достаточно широким, чтобы видеть водителя, любого (любых) пассажира(ов) и внутреннюю часть кабины транспортного средства в значительной степени, включая, например, зеркала бокового обзора транспортного средства, как будет подробно описано ниже.

На фиг.6a показано калибровочное изображение 600, полученное из камеры 345, обращенной к водителю, показывающее изображение водителя 610, изображение сиденья 620 водителя с находящимся на нем водителем, изображение правильно пристегнутого ремня 630 безопасности, изображение зеркала 640 со стороны пассажира и изображение зеркала 650 со стороны водителя. Калибровочное изображение 600 может быть получено путем визуального изображения водителя-человека, правильно расположенного на сиденье, с правильно пристегнутым ремнем безопасности и с расположением головы водителя в таком направлении, чтобы смотреть прямо на дорогу по направлению вперед. В вариантах осуществления, представленных в данном документе, одну или более частей калибровочного изображения 600 можно использовать для прямого контроля поведения водителя с использованием камеры 345, обращенной к водителю, в соответствии с обнаруженным положением головы водителя в транспортном средстве, управляемом транспортным средством, и для косвенного контроля поведения водителя с использованием камеры 345, обращенной к водителю, в соответствии с обнаруженными аспектами компонентов салона транспортного средства, управляемого транспортным средством, такими, например, как обнаруженные аспекты сиденья 620 водителя, ремня безопасности 630, левое и правое зеркала 640, 650 бокового обзора и другие вещи, включая отсутствие пассажиров на калибровочном изображении 600. В соответствии с вариантами осуществления калибровочное изображение 600 может быть получено путем формирования изображения человека-водителя, правильно расположенного на сиденье во время движения транспортного средства на более высоких скоростях, таких, например, как более 64 км (40 миль) в час, в течение которых можно осуществлять сбор данных о позе головы водителя, тем самым определяя положение головы водителя "прямо по направлению вперед". В варианте осуществления можно предположить, что средние или наиболее распространенные значения (режимы) углов головы водителя соответствуют значениям "смотреть прямо на дорогу" для этого водителя. Следует отметить, что угол рыскания, равный нулю, можно выбрать в случае, если смотреть прямо на камеру, получая вид спереди водителя, или можно выбрать в случае, если смотреть прямо по направлению вперед, то есть (как правило) в соответствии с расположением на одной прямой с сиденьем водителя, получая вид спереди и на дорогу.

На фиг.6b показано калибровочное изображение 602, полученное из камеры 345, обращенной к водителю, показывающее изображение водителя 610, изображение сиденья 620 водителя с находящимся на нем водителем, изображение неправильно надетого ремня 630' безопасности, изображение зеркала 640 со стороны пассажира и изображение зеркала 650 со стороны водителя. Калибровочное изображение 602 можно получить, поместив водителя-человека в сиденье, с неправильно пристегнутым (непристегнутым) ремнем безопасности и с расположенной головой водителя в таком направлении, чтобы смотреть прямо на дорогу по направлению вперед. В вариантах осуществления, представленных в данном документе, одну или несколько частей калибровочного изображения 602 можно использовать для прямого контроля поведения водителя с использованием камеры 345, обращенной к водителю, в соответствии с обнаруженным положением головы водителя в транспортном средстве, управляемом транспортным средством, и для косвенного контроля поведения водителя с использованием камеры 345, обращенной к водителю, в соответствии с обнаруженными аспектами компонентов салона транспортного средства, управляемого транспортным средством, такими, например, как обнаруженные аспекты сиденья 620 водителя, неправильно пристегнутый ремень безопасности, пряжка 632 ремня безопасности, левое и правое зеркала 640, 650 бокового обзора и другие детали, в том числе отсутствие пассажиров на калибровочном изображении 602.

На фиг.7 показан пример изображения 700, полученного из камеры 345, обращенной к водителю, во время эксплуатации транспортного средства, такой, например, как во время движения транспортного средства, показывающей изображение водителя 710, изображение сиденья 720 водителя с находящимся на нем водителем, изображение ремня безопасности 730, изображение зеркала 740 со стороны пассажира и изображение зеркала 750 со стороны водителя. В соответствии с вариантом осуществления, представленном в данном документе, изображение 700 представляет собой изображение, полученное непрерывно в виде видео, когда водитель управляет ассоциированным транспортным средством, и сохраненное в устройстве памяти в виде видеоданных. Изображение 700 также может быть получено непрерывно в виде последовательности фотоизображений, захваченных в определенные моменты времени и через заданные интервалы, выбранные, например, на основе скорости или других эксплуатационных характеристик транспортного средства, когда им управляет водитель, и сохранено в устройстве 340 памяти в виде упорядоченных данных фотоизображений. В описанных в данном документе вариантах осуществления одну или несколько частей изображения 700 можно использовать для прямого контроля поведения водителя с использованием камеры 345, обращенной к водителю, в соответствии с обнаруженным положением головы водителя в транспортном средстве, которым управляет транспортное средство, и для косвенного контроля поведения водителя с использованием камеры 345, обращенной к водителю, в соответствии с обнаруженными аспектами компонентов салона транспортного средства, управляемого транспортным средством, такими, например, как обнаруженные аспекты сиденья 720 водителя, неправильно надетый ремень безопасности, пряжка 732 ремня безопасности, левые и правые зеркала 740, 750 бокового обзора и другие вещи, включая присутствие любых пассажиров 760, 762 и 764 на изображении 700.

Как было отмечено выше, в вариантах осуществления, представленных в данном документе, предусмотрены система и способы, использующие камеру 345, обращенную к водителю, для прямого контроля поведения водителя в соответствии с обнаруженным положением головы водителя в транспортном средстве, управляемом водителем. В различных вариантах осуществления контролируемое поведение водителя включает в себя одно или несколько из:

1) проверки надлежащего использования водителем зеркала 750 бокового обзора со стороны водителя и/или зеркала 740 бокового обзора со стороны пассажира;

2) проверки надлежащего внимания, уделяемого водителем дороге по направлению вперед;

3) проверки не чрезмерно низкой досягаемости водителя предметов, находящимся на расстоянии, которое считается безопасным для того, чтобы их взять, при этом предпочтительной является степень маневра досягаемости, который водитель может выполнить без чрезмерного перемещения тела; и

4) проверки метрики распределения позы головы водителя.

Отчеты о проверке надлежащего использования водителем зеркала 750 бокового обзора со стороны водителя и/или зеркала 740 бокового обзора со стороны пассажира, надлежащего внимания, уделяемого водителем дороге по направлению вперед, не чрезмерно низкой досягаемости водителя предметов на расстояния, считающиеся безопасными, и метрики распределения позы головы водителя могут передаваться по отдельности и/или совместно в ассоциированную сеть управления автопарком, храниться локально или в любой комбинации удаленной единичной/коллективной отчетности и/или локального хранения. Проверка надлежащего внимания, уделяемого водителем дороге по направлению вперед, используется в варианте осуществления для адаптации системы предупреждения о выезде на полосу движения (LDW) к определенной величине внимания водителя к дороге.

В дополнительных вариантах осуществления, представленных в данном документе, и, как отмечено выше, предусмотрены системы и способы, использующие камеру 345, обращенную к водителю, для косвенного контроля поведения водителя в соответствии с обнаруженными аспектами компонентов салона транспортного средства, управляемого водителем. В различных вариантах осуществления контролируемое поведение водителя включает в себя одно или несколько из:

1) проверки правильного использования водителем ремня безопасности;

2) проверки водителя с правильным расположением рук на рулевом колесе; и

3) проверки того, что у водителя нет пассажиров или имеется надлежащий лимит пассажиров и/или проверки того, что обнаруженные пассажиры являются авторизованными пассажирами.

Использование камеры прямого обзора (DFC) для контроля и предоставления отчетов о поведении водителя

Как отмечено выше, примерные варианты осуществления, представленные в данном документе, предназначены для прямого контроля и предоставления отчетов о поведении водителя с использованием камеры, обращенной к водителю, в соответствии с обнаруженным положением головы водителя в транспортном средстве, которым управляет водитель, и для косвенного контроля и предоставления отчетов о поведении водителя с использованием камеры, обращенной к водителю, в соответствии с обнаруженными аспектами компонентов салона транспортного средства, которым управляет водитель. При прямом контроле поведения водителя водитель и/или голова водителя находятся на изображении, полученном из салона транспортного средства, и параметры различных метрик поведения водителя определяются в соответствии с расположенной головой водителя на изображении. При косвенном контроле поведения водителя один или несколько компонентов транспортного средства, такие, например, как ремень безопасности или рулевое колесо, расположены на изображении, полученном из салона транспортного средства, и параметры различных метрик поведения водителя определяются посредством логического вывода в соответствии с расположением одного или нескольких компонентов транспортного средства на изображении.

На фиг.8 показана блок-схема последовательности операций, иллюстрирующая способ 800 реализации стратегии контроля поведения водителя и отчетности в соответствии с примерным вариантом осуществления включающим в себя первый набор этапов 820 для косвенного контроля поведения водителя с использованием камеры, обращенной к водителю, в соответствии с обнаруженными аспектами компонентов салона транспортного средства, управляемого транспортным средством, и дополнительно включающий в себя второй набор этапов 830 для прямого контроля поведения водителя с использованием камеры, обращенной к водителю, в соответствии с обнаруженным положением головы водителя в пределах транспортного средства, управляемого транспортным средством. В первом наборе этапов 820 косвенного контроля поведения водителя данные изображения салона транспортного средства собираются и затем анализируются на этапе 822. В варианте осуществления данные изображения салона транспортного средства характеризуют изображение 700 (фиг.7), полученное камерой 345, обращенной к водителю, во время эксплуатации транспортного средства. После этого на этапе 824 предпринимаются одно или несколько действий на основе собранных и проанализированных данных изображения кабины. В описанных вариантах осуществления косвенный контроль поведения водителя основан не на поиске местоположения, положения или позы головы водителя на изображении, а скорее на логическом выводе поведения водителя из частей изображения, относящихся к компонентам транспортного средства, используемым водителем и предпочтительно используемым в соответствии с хорошим поведением водителя, таким, например, как правильное пристегивание ремней безопасности.

Отчасти аналогичным образом, во втором наборе этапов 830 прямого контроля поведения водителя, часть данных изображения салона транспортного средства, относящихся к изображению водителя транспортного средства, отделяется на этапе 832 от данных изображения салона транспортного средства, собранных на этапе 822. Отдельная часть может быть связана с головой водителя, сиденьем водителя, ремнем безопасности, пряжкой ремня безопасности, одним или несколькими пассажирами, или любыми другими предметами, выбранными для контроля, которые могут быть необходимыми и/или желательными. После этого на этапе 834 предпринимаются одно или несколько действий на основе части изображения водителя транспортного средства в данных изображения кабины.

I. ИСПОЛЬЗОВАНИЕ DFC ДЛЯ КОСВЕННОГО КОНТРОЛЯ ПОВЕДЕНИЯ ВОДИТЕЛЯ И ОТЧЕТНОСТИ

Поведение водителя может контролироваться в соответствии с вариантами осуществления, описанными в данном документе, с использованием камеры, обращенной к водителю, для обнаружения и контроля аспектов компонентов салона транспортного средства, управляемого транспортным средством, с последующим логическим выводом поведения водителя в соответствии с контролируемыми аспектами компонентов салона транспортного средства. Информация о прямом контроле поведения водителя собирается и локально сохраняется в транспортном средстве и в вариантах осуществления может передаваться в центральную систему управления автопарком.

Обнаружение и подсчет пассажиров

Водители коммерческих транспортных средств могут иметь одного или несколько неавторизованных пассажиров, находящихся вместе с водителем в транспортном средстве. Политика автопарка коммерческих транспортных средств часто запрещает или ограничивает количество пассажиров, которым разрешено находиться в их транспортных средствах. Поэтому было бы желательно определить, присутствуют ли в транспортном средстве какие-либо неавторизованные пассажиры. Кроме того было бы также желательно определить, сколько пассажиров находится в транспортном средстве. Кроме того, было бы желательно идентифицировать обнаруженных пассажиров, находящихся в транспортном средстве.

Примерный вариант осуществления, показанный, например, на фиг.9, предусматривает систему и способ для обнаружения, подсчета и идентификации таких пассажиров. Преимущество примерного варианта осуществления состоит в том, что он позволяет обеспечить соблюдение политики автопарка, гарантируя, что водитель придерживается политики автопарка, и что любые нарушения политики автопарка должным образом регистрируются и сообщаются.

В варианте осуществления способа 900, показанном на фиг.9, часть 822' сбора данных изображения салона включает в себя этап 902 определения времени изображения салона и этап 904 сбора данных об эксплуатации транспортного средства, таких, например, как данные о скорости транспортного средства или т.п. На этапе 906 логическая схема системы находит одно или несколько лиц в данных изображения кабины и, кроме того, подсчитывает количество найденных лиц. На этапе 908 часть 822' сбора данных изображения салона исполняет логическую схему системы для того, чтобы попытаться идентифицировать одно или несколько лиц, обнаруженных в данных изображения салона.

Далее, в способе 900, показанном на фиг.9, часть 824' принятия действий включает в себя этап 910 определения того, можно ли идентифицировать или были ли идентифицированы какие-либо из лиц, расположенных в данных кабины изображения. Если одно или несколько лиц идентифицировано, способ 900 на этапе 920 сохраняет идентификационные данные лиц вместе с данными о состоянии транспортного средства, собранными на этапе 904. С другой стороны, если какие-либо из лиц не идентифицированы, способ 900 на этапе 930 сохраняет определенное количество лиц вместе с данными о состоянии транспортного средства, собранными на этапе 904.

Кроме того, в способе 900 согласно варианту осуществления одно или более из: идентификации лиц, подсчета определенного количества лиц и/или данных о состоянии транспортного средства локально хранятся в памяти системы в транспортном средстве или передаются на этап 940 в центральную систему управления автопарком.

В соответствии с примерным вариантом осуществления камера 345, обращенная к водителю, использует широкоугольные виды камеры для получения изображения 700 салона коммерческого транспортного средства. Затем это широкоугольное изображение предпочтительно не искажается, чтобы удалить эффекты широкоугольного объектива. Неискаженные данные изображения кабины проверяются логической схемой 330, чтобы сначала найти лица на изображении и затем подсчитать обнаруженные лица. Алгоритмы обнаружения лиц, такие как алгоритм Виола-Джонса (Viola-Jones), можно использовать для определения положений областей изображений, которые могут представлять собой лица. Для этих определенных областей изображения камеры лица-кандидата вырабатываются дескрипторы лица. Затем вырабатывается ряд, перекрывающихся и нет, обнаруженных областей лица и соответствующие дескрипторы лица. Устанавливается пороговое значение для получения сходства лиц, ниже которого лица объявляются одинаковыми (посредством одинаковых векторов дескриптора лица). Аналогичным образом, обнаруженные лица могут сравниваться с ранее сохраненными векторными данными дескриптора лица для водителей и пассажиров, которым разрешено находиться в транспортном средстве. Векторные данные дескриптора лица авторизованных водителей и разрешенных пассажиров могут локально храниться в системе контроля поведения водителя или удаленно в одной или нескольких базах данных, ассоциированных с серверами 142 (фиг.1), центральной системы управления автопарком.

Логическая схема контроля, исполняемая процессором, может использоваться для ассоциирования измерений лица с предыдущими положениями, что позволяет логической схеме идентификации человека, выполняемой процессором, фокусироваться на нескольких областях. Идентифицированные (или нет) лица передаются на один или несколько серверов 142 управления автопарком (фиг.1) вместе с данными о состоянии транспортного средства, предпочтительно выбранными одновременно с идентификацией лица (лиц). Это может произойти либо во время движения транспортного средства, либо когда оно останавливается или стоит на месте.

Идентифицированные лица сравниваются либо с базой данных, находящейся в транспортном средстве, либо передаются в центральную систему 142 управления, которая имеет аналогичную базу 150 данных (фиг.1). Если будет идентифицировано лицо, не зарегистрированное в качестве разрешенного в транспортном средстве, выполняется первый проход при идентификации одного или более указанных лиц. Если идентифицированному одному или нескольким лицам известны базы данных, компьютерная система контроля поведения водителя выполняет обработку событий первого типа. Однако, если идентифицированные один или несколько человек являются неизвестными для базы данных, компьютерная система контроля поведения водителя выполняет обработку событий второго типа.

Информация выборочно передается в систему управления автопарком для анализа менеджером 160 автопарка (фиг.1) или т.п. Собранная, проанализированная и переданная информация может включать в себя любое одно или несколько из следующих значений: сколько пассажиров (то есть не водителей) находится в транспортном средстве, известны ли эти пассажиры или нет, могут ли быть отправлены дескрипторы лиц в ассоциированную систему управления автопарком, если идентифицированные пассажиры неизвестны, пол пассажиров, время дня сбора изображений, расположение транспортного средства в момент сбора данных изображения салона, снимок(ки) пассажира(ов) и снимок(ки) салона/кабины транспортного средства, которые могут считаться необходимыми и/или желательными. Неизвестные пассажиры могут быть также записаны с помощью микрофона устройства 414 ввода (фиг.4), который может присутствовать в системе, когда определяется, что пассажиры разговаривают.

На фиг.9a показан дополнительный способ 950 обнаружения того, присутствуют ли какие-либо неавторизованные пассажиры в транспортном средстве, сколько пассажиров находится в транспортном средстве, и идентификационных данных любых обнаруженных пассажиров, присутствующих в транспортном средстве. В варианте осуществления способ 950 включает в себя ряд этапов, на которых определяется, когда выполняется обнаружение пассажира, и то, что обнаруживается и отправляется. Присутствие пассажира может, как правило, ассоциироваться с открытием и закрытием пассажирской двери. В этом примере обнаружение пассажиров выполняется только в ответ на выбранные инициирующие события и в противном случае не выполняется. В варианте осуществления эталонное изображение пассажирской двери в случаях, когда она открыта, закрыта, открывается, закрывается и приоткрывается, используется для обнаружения состояния пассажирской двери как открытой, закрытой, неопределенной или т.п. Например, на фиг.6a, 6b и 7 показана дверь водителя (аналогичная по внешнему виду двери пассажира), расположенная на определенном расстоянии от водителем, и ее края находятся в фиксированном местоположении, которое используется системой в соответствии со способом 950 для определения того, открыта или закрыта она.

Способ 950 инициируется на этапе 952 системой согласно примерному варианту осуществления, в котором на этапе 954 определяется ряд обстоятельств или инициирующих событий для движения вперед с помощью способа 950 определения того, находятся ли какие-либо пассажиры в транспортном средстве. Если ни одно из инициирующих событий не обнаружено на этапе 954, модуль обнаружения пассажиров не исполняется. Однако возникновение любого одного или нескольких инициирующих событий, обнаруженных на этапе 754, приведет к исполнению модуля обнаружения пассажиров. В примерном варианте осуществления инициирующие события могут включать в себя любое одно или более из следующего: только что открылась (недавно открылась) дверь, и транспортное средство недавно остановилось; дверь (недавно) была закрыта (в этот момент сохраняется изображение), и после этого транспортное средство начинает движение; когда транспортное средство только начало движение вперед; когда наступает заданное время для исполнения, такое как интервал контроля; когда остановка произошла в необычном месте, например на шоссе, и пассажирская дверь открывается. В данном варианте осуществления могут использоваться и предусмотрены другие инициирующие события. Схема хранения данных типа черного ящика может использоваться для извлечения подходящих изображений пассажиров до того, как дверь откроется или сразу после ее закрытия. Пригодность может быть определена путем нахождения лица, ориентированного вперед к ветровому стеклу в месте, где должен появиться пассажир.

При возникновении таких обстоятельств, на этапе 956 создается изображение кабины с использованием камеры 345, обращенной к водителю, согласно варианту осуществления, описанному выше. Положения всех лиц на этом изображении определяются на этапе 958 с помощью логической схемы системы. Для этих лиц на этапе 960 вырабатываются дескрипторы лица. Дескрипторы сравниваются на этапе 962 с одной или несколькими из базы данных 340 транспортных средств (фиг.3) и/или базы 450, 452, 454 данных транспортных средств (фиг.4), и каждое лицо отмечается в соответствии со сравнением(ями) как "известное" или "неизвестное" или, альтернативно, отмечается как "разрешенное" или "неразрешенное". При необходимости или по желанию могут быть использованы любые другие подходящие метки.

На этапе 964 получается и сохраняется информация о состоянии транспортного средства, и затем на этапе 966 отчет о статусе обнаружения пассажира сохраняется и/или отправляется в центральную базу данных. В этом отчете содержится одно или несколько из числа присутствующих в транспортном средстве людей, их личности (возможно также неизвестное состояние Джона или Джейн Доу), изображение салона, местоположение транспортного средства, скорость транспортного средства, один или более статусов дверей, вид спереди, аудиозапись, если обнаружена речь из сигналов микрофона или по движению губ.

Предусмотрена система для контроля состояния авторизованных пассажиров ассоциированного транспортного средства во время эксплуатации ассоциированного транспортного средства ассоциированным водителем. Система включает в себя устройство формирования изображения, расположенное в ассоциированном транспортном средстве, устройство управления, логическую схему распознавания лица и логическую схему управления. Устройство формирования изображения захватывает изображение ассоциированного водителя, находящегося в ассоциированном транспортном средстве. Устройство формирования изображения также захватывает изображение салона ассоциированного транспортного средства и вырабатывает данные изображения, характеризующие захваченное изображение ассоциированного водителя, находящегося в ассоциированном транспортном средстве, и салона ассоциированного транспортного средства. Устройство управления включает в себя процессор, вход для данных изображения, функционально связанный с процессором, и устройство невременной памяти, функционально связанное с процессором. Вход для данных изображения выполнен с возможностью приема данных изображения из устройства формирования изображения. Логическая схема обнаружения лица хранится в устройстве невременной памяти и исполняется процессором для обработки данных изображения таким образом, чтобы определить положение одной или нескольких областей лица-кандидата изображения, захваченного устройством формирования изображения, вероятно, выше заданного порогового значения, хранящегося в устройстве невременной памяти, характеризующее соответствующее одно или несколько человеческих лиц в ассоциированном транспортном средстве. Логическая схема обнаружения лиц дополнительно исполняется процессором для выработки набора дескрипторов лица для каждой из одной или нескольких областей лица-кандидата. Логическая схема управления также сохраняется в устройстве невременной памяти и исполняется процессором для определения, на основе набора дескрипторов лица, выработанных для каждой из одной или нескольких областей лица-кандидата, количества пассажиров в качестве рабочего значения параметра количества пассажиров контролируемого состояния авторизованных пассажиров ассоциированного транспортного средства. Количество пассажиров транспортного средства может локально храниться в памяти транспортного средства и/или передаваться в центральную систему управления автопарком.

Калиброванная система обнаружения использования ремней безопасности

Слишком много водителей не могут регулярно пристегивать ремень безопасности, что ставит под угрозу их личную безопасность. Однако для водителей коммерческих транспортных средств не пристегнутый ремень безопасности свидетельствует о нарушении правила автопарковки.

Таким образом желательно выяснить, действительно ли водитель правильно пристегивает ремень безопасности во время эксплуатации транспортного средства. В связи с этим предусмотрены системы, способы и устройства обнаружения использования ремня безопасности, как описано ниже.

Камеры становятся вездесущими в коммерческих транспортных средствах для записи в цифровом "контуре" видео проезжей части впереди транспортных средств во время их движения. Видео полезно при разборе несчастных случаях и для запоминания самых последних действий транспортного средства и водителя в случае возникновения каких-либо механических или других проблем. Камеры, обращенные к водителю, также использовались, время от времени по мере необходимости, для формирования изображения водителя, например, при каждом запуске транспортного средства, чтобы в дальнейшем можно было определить личность человека, управляющего транспортным средством.

В дополнительных вариантах осуществления, представленных в данном документе, предусмотрены системы, способ и устройство на основе камеры для обнаружения того, пристегнут ли ремень безопасности. Примерный вариант осуществления способа обнаружения того, пристегнут ли ремень безопасности, показан на фиг.10, 10a и 10b. Ожидаемые признаки пристегнутого ремня безопасности обнаруживаются на изображении 700 (фиг.7), полученном камерой 345, обращенной к водителю. Эти признаки могут включать в себя линии, исходящие из исходной точки или области в пределах заранее определенной части изображения 700. Альтернативно или дополнительно, эти функции могут включать в себя линии на изображении в пределах диапазона углов. Альтернативно или дополнительно, эти признаки могут включать в себя линии, расположенные на изображении параллельно друг другу с диапазоном цветов между линиями, без разрыва или с разрывом в том месте, где заканчивается линия около точки разрыва.

На фиг.10 показана блок-схема, иллюстрирующая способ функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, контроля и предоставления отчетов о применении ремня безопасности в соответствии с примерным вариантом осуществления. Теперь со ссылкой на эту фигуру в способе 1000 согласно варианту осуществления часть 822' сбора данных изображения салона включает в себя этап 1012 определения времени изображения салона и этап 1014 сбора данных об эксплуатации транспортного средства, таких, например, как данные о скорости транспортного средства или т.п. На этапе 1016 логическая схема системы находит исходное положение ремня безопасности в данных изображения салона и, кроме того, на этапе 1018 определяет расположение ремня безопасности.

Далее, в способе 1000, показанном на фиг.10, часть 824' принятия действий включает в себя этап 1010 определения того, правильно ли пристегнут ремень безопасности водителя. Если ремень безопасности водителя пристегнут правильно, способ 1000 на этапе 1020 сохраняет идентификатор "ON" (пристегнут) или данные статуса ремня безопасности "ON". Идентификатор "ON" или данные статуса ремня безопасности "ON" могут быть сохранены вместе с изображением кабины, собранным на этапе 1014, по мере необходимости и/или желательно. С другой стороны, если ремень безопасности водителя не пристегнут надлежащим образом, способ 1000 на этапе 1030 сохраняет идентификатор "OFF” или данные статуса ремня безопасности "OFF" (не пристегнут). Аналогично приведенному выше идентификатору "ON”, идентификатор "OFF” или данные статуса ремня безопасности "OFF” могут храниться вместе с изображением кабины, собранным на этапе 1014, по мере необходимости и/или желательно.

Кроме того, в способе 1000 согласно варианту осуществления, один или более из идентификатора "ON” или данных статуса ремня безопасности "ON”, идентификатора "OFF” или данных статуса ремня безопасности "OFF” и/или изображения кабины собранного на этапе 1014, локально сохраняются в памяти системы в транспортном средстве или передаются на этапе 1040 в центральную систему управления автопарком.

На фиг.10a показана блок-схема последовательности операций, иллюстрирующая подробности части способа функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, контроля и предоставления отчетов об использовании ремня безопасности, показанной на фиг.10, в соответствии с примерным вариантом осуществления. Далее, со ссылкой на эту фигуру, калибровочное изображение 600 (фиг.6a) водителя 610, правильно пристегнутого ремнем безопасности, извлекается на этапе 1050 из локальной памяти системы. Калибровочное изображение может быть получено на начальном этапе, когда от водителя сначала не требуется пристегивать ремень безопасности, и затем на втором этапе требуется пристегнуть ремень безопасности. В качестве альтернативы, базовая модель правильно пристегнутого ремня 630 безопасности извлекается на этапе 1050 из локальной памяти. Изображение кабины транспортного средства, полученное на этапе 1014 (фиг.10), сравнивается на этапе 1052 с калибровочным изображением 600 и/или с базовой моделью правильно пристегнутого ремня 630 безопасности.

На этапе 1054 система определяет, "виден ли" ремень безопасности или иным образом обнаружен на изображении кабины транспортного средства, полученном на этапе 1014. Если на этапе 1054 ремень безопасности виден, на этапе 1056 система делает вывод относительно того, что водитель действительно правильно пристегнул ремень безопасности. После этого последовательность операций способа возвращается к части 824' принятия действий (фиг.10) способа функционирования системы контроля поведения водителя в соответствии с вариантом осуществления. Однако, если ремень безопасности не виден на этапе 1054, на этапе 1058 выполняется второе обследование на предмет освещенности или темноты покрытия тела водителя (ниже головы). Если эта область является темной, то возможно, что водитель одет в темную одежду, на которой ремень безопасности может быть не виден. Если водитель носит темную одежду, то не может быть принято решение относительно того, правильно ли он использует ремень безопасности, и на этапе 1060 система делает логический вывод о том, что водитель правильно пристегнул ремень безопасности. Если обнаружена светлая одежда и ремень безопасности не виден, на этапе 1060 система делает вывод о том, что водитель неправильно пристегнул ремень безопасности. После этого последовательность операций способа возвращается к части 824' принятия действий (фиг.10) способа функционирования системы контроля поведения водителя в соответствии с вариантом осуществления.

На фиг.10b показана блок-схема последовательности операций, иллюстрирующая дополнительные подробности части способа функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, контроля и предоставления отчетов об использовании ремня безопасности, показанной на фиг.10, в соответствии с примерным вариантом осуществления. Далее, со ссылкой на эту фигуру, калибровочное изображение 602 (фиг.6b) водителя 610, неправильно пристегнувшего свой ремень безопасности, извлекается на этапе 1070 из локальной памяти системы. Альтернативно, базовая модель неправильно пристегнутого ремня 630' безопасности извлекается на этапе 1070 из локальной памяти. Изображение кабины транспортного средства, полученное на этапе 1014 (фиг.10), сравнивается на этапе 1072 с калибровочным изображением 602 и/или с базовой моделью правильно пристегнутого ремня 630' безопасности.

На этапе 1074 система определяет, "видна" ли пряжка 631' непристегнутого ремня безопасности, или обнаружена ли она иным образом на изображении кабины транспортного средства, полученном на этапе 1014. Если пряжка 631' непристегнутого ремня безопасности не видна на этапе 1074, система на этапе 1076 считает, что водитель одет в куртку или т.п. После этого последовательность операций способа возвращается к части 824' принятия действий (фиг.10) способа функционирования системы контроля поведения водителя в соответствии с вариантом осуществления. Однако, если пряжка 631' непристегнутого ремня безопасности "видна" или иным образом обнаруживается на этапе 1074 на изображении кабины транспортного средства, полученном на этапе 1014, на этапе 1078 система приходит к выводу, что на водителе не одета куртка. После этого последовательность операций способа возвращается к части 824' принятия действий (фиг.10) способа функционирования системы контроля поведения водителя в соответствии с вариантом осуществления.

В варианте осуществления выбирается или устанавливается калибровочное изображение или модель внешнего вида ремня безопасности. Подходящая модель пряжки ремня безопасности может применяться там, где может быть видна пряжка ремня безопасности. То есть пряжка 632 (фиг.6b) не должна быть видна вблизи источника ремня безопасности, проходящего через плечо водителя. Предупреждение или иное действие, или функция могут быть выданы или иным образом инициированы после обнаружения ремня безопасности, который не пристегнул водитель.

Камера 345, обращенная к водителю, получает изображение 700 (фиг.7) во время эксплуатации транспортного средства, и, таким образом, камера может видеть или знать происхождение точки/область для ремня безопасности, которая может использоваться для обнаружения того, пристегнут ли ремень безопасности. На фиг.7 показан пользователь с пристегнутым ремнем безопасности. Эти камеры видят исходную точку для ремня безопасности и определяют, пристегнут ли ремень безопасности. Примерный вариант осуществления преимущественно использует знание исходной точки ремня безопасности вместе с калибровочным изображением 600 (фиг.6а) водителя 610 с пристегнутым ремнем 630 или базовую модель внешнего вида ремня безопасности (угол, ширина, начало, конец) на изображении, чтобы обнаружить параллельные линии в соответствующем диапазоне ширины, а также начало и конец, где они предполагаются. Если ремень не виден, способ согласно примерному варианту осуществления выполнен с возможностью определения того, является ли куртка водителя темной, что делает темный ремень невидимым, например. В этом случае способ сначала пытается увеличить чувствительность обнаружения линии, в противном случае способ объявляет, в результате анализа сомнений, что водитель носит ремень. Если надета более светлая верхняя одежда и не обнаруживается темный (темный по отношению к светлой верхней одежде) ремень, способ согласно варианту осуществления вырабатывает сигнал о том, что надета более светлая верхняя одежда, и ремень не обнаружен для хранения в локальной памяти и/или для передачи в центральную систему управления автопарком.

Следует понимать, что ремень безопасности виден как разноцветная (контрастная) полосообразная область, в отличие от объектов, расположенных рядом или позади него. В тех случаях, когда ремень безопасности скрыт шарфом или лицом человека, линия переднего края все еще может быть видна и продолжается вверх, чтобы вновь соединиться с "двусторонним" сегментом. Даже когда ремень безопасности закрыт по всей длине одеждой водителя или т.п., его концы все равно будут видны и будут продолжаться и приблизительно "указывать" друг на друга. Кроме того, следует отметить, что ремень безопасности находится слева (на изображении)/спереди местоположения при отсутствии человека, если бы он был пристегнут. Таким образом, система рассчитывает, как должно выглядеть изображение ремня при правильном пристегивании: (параллельные/одиночные/возможно, частично или полностью загороженные) линии, идущие в направлении приблизительно между двумя известными точками (областями) и внутри определенной части изображения. Система дополнительно рассматривает то, как выглядит видимая часть ремня при пристегивании позади пользователя. В связи с этим диагональные края ремня безопасности могут быть преимущественно обнаружены в соответствии с вариантами осуществления, представленными в данном документе, с использованием, например, фильтра Кирша (Kirsch) или других эквивалентных краевых фильтров или т.п.

В соответствии с вариантами осуществления, представленными в данном документе, система не одурачена и не обманута иным образом для определения правильного поведения при использовании ремня безопасности водителем, на котором надета "футболка с рисунком ремня безопасности" (футболка с изображением диагональной темной полосы, которая может выглядеть как пристегнутый ремень безопасности). В данном варианте осуществления система проверяет изображение салона на наличие набора почти параллельных краев, исходящих из верхней точки крепления ремня безопасности. В другом варианте осуществления система проверяет изображение кабины на наличие линий, продолжающихся за пределами "ремня безопасности" (ложного напечатанного ремня безопасности), который выглядит как пристегнутый. Даже если пользователь пристегивает ремень позади себя, система обнаружит разрыв или иным образом обнаружит разрыв между фактическим физическим ремнем и рисунком ложного ремня, напечатанным на футболке. Система, увидев этот разрыв, способна обнаружить то, что водитель-пользователь неправильно использует ремень безопасности.

При использовании знания исходной точки (или диапазона) вместе с калибровочным изображением 600 (фиг.6а) водителя 610, пристегнутого ремнем 630, или базовой модели внешнего вида ремня безопасности (угол, ширина, начало, конец) на изображении, также без присутствия пользователя, система выполнена с возможностью обнаружения параллельных линий в соответствующем диапазоне ширины, а также начала и окончания там, где они ожидаются. Если ремень не виден, система проверяет, не является ли куртка водителя темной (что делает, например, темный ремень невидимым), и в этом случае она сначала пытается увеличить чувствительность обнаружения линии, в противном случае система объявляет, в силу анализ сомнения, что водитель пристегнул ремень. Если надета более светлая верхняя одежда и ремень не обнаружен, система сигнализирует об этом.

Альтернативно, система может обнаружить (как правило, блестящую и, по всей видимости, светлую и контрастную), возможно, видимую пряжку ремня безопасности, если ремень не надет и не пристегнут. Камера либо из известных геометрических установочных значений, либо на этапе калибровки (просто сигнализирует, где находится исходная точка ремня), знает/обучает, где будет видна пряжка. Если ремень безопасности, возможно, не пристегнут, система может переключиться на этот второй режим и обнаружить присутствие (незащелкнутой) пряжки 632 в исходной точке, как показано, например, на фиг.6b. Кроме того, исходная точка, как правило, является фиксированной или соответствует линейному набору расположений на изображении. В варианте осуществления на калибровочном изображении 602 (фиг.6b) изображения, где должна появиться пряжка 631' непристегнутого ремня безопасности, определяется фиксированный участок, и именно там система может искать пряжку. Если пряжка ремня безопасности обнаружена в этой фиксированной области, система приходит к выводу, что водитель не пристегнут ремнем безопасности. Эквивалентно, для каждого водителя имеется фиксированный участок изображения, соответствующий тому, где появляется правильно пристегнутая пряжка 631 (фиг.6а). Совпадающий набор шаблонов для таких изображений должным образом пристегнутых и не пристегнутых ремнем безопасности может быть сохранен и сопоставлен системой с фактическим изображением. Достаточное соответствие между изображением в сохраненных наборах и исправлением изображения DFC, соответствующим тому, где может находиться пряжка, приводит систему варианта осуществления к выводу, что водитель пристегнут или не пристегнут ремнем безопасности.

Предусмотрена система для контроля использования ремня безопасности водителем транспортного средства во время эксплуатации водителем ассоциированного транспортного средства. Система включает в себя устройство формирования изображения, устройство невременной памяти, в котором хранятся данные безопасной модели, содержащие рекомендуемый диапазон значений параметра использования ремня безопасности контролируемого ремня безопасности в состоянии, пристегнутом ассоциированным водителем ассоциированного транспортного средства, логическая схема управления, хранящаяся в устройстве невременной памяти, и выход. Устройство формирования изображения захватывает изображение салона ассоциированного транспортного средства вместе с изображением ассоциированного водителя, находящегося в ассоциированном транспортном средстве, и вырабатывает данные изображения, характеризующие захваченные изображения ассоциированного водителя и салона ассоциированного транспортного средства. Логическая схема управления исполняется процессором для обработки данных изображения таким образом, чтобы определить рабочее значение параметра использования ремня безопасности контролируемого пристегнутого состояния ремня безопасности ассоциированного транспортного средства, выполнить сравнение между рекомендуемым диапазоном значений параметра использования ремня безопасности контролируемого пристегнутого состояния ремня безопасности ассоциированного транспортного средства и рабочим значением параметра использования ремня безопасности контролируемого пристегнутого состояния ремня безопасности ассоциированного транспортного средства и определить состояние соответствия транспортного средства как состояние несоответствия ремня безопасности или состояние соответствия ремня безопасности в соответствии с результатом сравнения.

В варианте осуществления устройство невременной памяти хранит калибровочное изображение водителя, пристегнутого ремнем безопасности, имеющим исходное положение относительно изображения салона ассоциированного транспортного средства, в качестве данных безопасной модели, содержащих рекомендуемый диапазон значений параметра использования ремня безопасности контролируемого пристегнутого состояния ремня безопасности ассоциированного транспортного средства. Кроме того, в варианте осуществления логическая схема управления, хранящаяся в устройстве невременной памяти, исполняется процессором для обработки данных изображения таким образом, чтобы определить, на основе калибровочного изображения, имеющего исходное положение, расположение ремня безопасности в данных изображения в качестве рабочего значения параметра использования ремня безопасности контролируемого пристегнутого состояния ремня безопасности ассоциированного транспортного средства.

В дополнительном варианте осуществления устройство невременной памяти хранит базовую модель физического внешнего вида пристегнутого ремня безопасности в качестве данных безопасной модели, содержащих рекомендуемый диапазон значений параметра использования ремня безопасности контролируемого пристегнутого состояния ремня безопасности ассоциированного транспортного средства. Кроме того, в варианте осуществления логическая схема управления, хранящаяся в устройстве невременной памяти, исполняется процессором для обработки данных изображения таким образом, чтобы определить, на основе базовой модели физического внешнего вида пристегнутого ремня безопасности, расположение ремня безопасности в данных изображения в качестве рабочего значения параметра использования ремня безопасности контролируемого пристегнутого состояния ремня безопасности ассоциированного транспортного средства.

Система примерного варианта осуществления позволяет различать тип неиспользования ремня безопасности. Эти типы могут включать, например, застегивание сзади водителя (или пассажира), ношение верхней одежды "Я ношу ремень безопасности" или вовсе отсутствие ремня безопасности. Данные, относящиеся к типу непристегнутых лиц, локально хранятся и/или передаются на центральный сервер управления автопарком вместе с фотографией непристегнутого человека или людей в транспортном средстве.

Обнаружение рук водителя на рулевом колесе

Слишком много операторов транспортных средств не могут правильно положить руки на рулевое колесо во время движения, что ставит под угрозу их личную безопасность и повышает риск повредить транспортное средство. Однако для водителей коммерческих транспортных средств неправильное, не соответствующее требованиям или неаккуратное размещение рук на рулевом колесе может также нарушать правила автопарка.

Таким образом, желательно обнаружить, правильно или нет водитель расположил руки на рулевом колесе во время эксплуатации транспортного средства. В связи с этим предусмотрены системы, способы и устройство для обнаружения расположения рук водителя на рулевом колесе, как описано ниже.

На фиг.11 показана блок-схема последовательности операций, иллюстрирующая способ функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для реализации стратегии обнаружения, контроля и предоставления отчетов о расположении рук на рулевом колесе в соответствии с примерным вариантом осуществления.

Со ссылкой на эту фигуру, в способе 1100 согласно варианту осуществления, часть 822' сбора данных изображения кабины включает в себя этап 1102 определения времени изображения кабины и этап 1104 сбора данных об эксплуатации транспортного средства, таких, например, как данные о скорости транспортного средства или т.п. На этапе 1106 логическая схема системы находит форму рулевого колеса в данных изображения кабины и, кроме того, выполняет поиск данных изображения кабины на коротких (приблизительно по ширине руки) участках рулевого колеса, которые не видны на этапе 1108.

Далее, в способе 1100, показанном на фиг.11, часть 824' принятия действий включает в себя этап 1110 определения того, находятся ли руки водителя надлежащим образом на рулевом колесе в назначенных правильных положениях. Если руки водителя находятся на рулевом колесе надлежащим образом в назначенных правильных положениях, способ 1100 на этапе 1120 сохраняет идентификатор "Hands ON” или данные о статусе рулевого колеса "Hands ON”. Идентификатор "Hands ON" (руки на рулевом колесе) или данные о статусе рулевого колеса "Hands ON” могут быть сохранены вместе с изображением кабины, собранным на этапе 1104, по мере необходимости и/или желательно. С другой стороны, если руки водителя неправильно расположены на рулевом колесе или находятся на рулевом колесе, но расположены на колесе не в назначенных правильных положениях, способ 1100 на этапе 1130 сохраняет идентификатор "Hands OFF" (руки не на рулевом колесе) или данные о статусе рулевого колеса "Hands OFF". Аналогично приведенному выше идентификатору "Hands ON”, идентификатор "Hands OFF” или данные о статусе рулевого колеса "Hands OFF” могут быть сохранены вместе с изображением кабины, собранным на этапе 1104, по мере необходимости и/или желательно.

Кроме того, в способе 1100 варианта осуществления один или более из идентификатора “Hands ON” или данных о состоянии рулевого колеса “Hands ON”, идентификатора “Hands OFF” или данных о состоянии рулевого колеса “Hands OFF” и/или изображения кабины, собранного на этапе 1104, локально сохраняются в памяти системы в транспортном средстве или передаются на этапе 1140 в центральную систему управления автопарком.

На фиг.12 показан пример изображения, выработанного камерой, обращенной к водителю (фиг.5b), и полученного системой контроля поведения водителя во время эксплуатации ассоциированного транспортного средства, и показывающего типичного водителя, держащего руки на рулевом колесе. Официальные рекомендации предписывают держать левую руку 1222 водителя 1210 в положении между 9 и 10 часами на рулевом колесе и правую руку 1220 в положении между 2 и 3 часами на рулевом колесе, которое видно на изображении 1202, показанном на фиг.12. Широкий интервал рекомендуется из-за формы расширяющейся подушки безопасности в случае столкновения. В варианте осуществления система стремится найти положения рук водителя на рулевом колесе на изображении, полученном с помощью камеры 345, обращенной к водителю. Отсутствие рук в рекомендуемых положениях, или отсутствие обеих рук на рулевом колесе вообще или не так часто, как это может потребоваться, отмечается системой как нарушение политики автопарка, которое хранится в локальной памяти и/или передается в центральную систему управления автопарком.

Вариант осуществления использует преимущества физической природы рулевых колес в коммерческих транспортных средствах, которые почти всегда являются круглыми. Круглые формы легко обнаруживаются на изображениях, даже если они видны в искаженном виде. Камера 345, обращенная к водителю, как правило, видит как водителя, так и рулевое колесо (если не все колесо, то его значительную часть), которое выглядит как эллипс. Преобразование Хафа используется для обнаружения эллипса (после учета искажения объектива) на краевом изображении, полученном из камеры 345, обращенной к водителю. Тем не менее, краевые точки на исходном изображении должны быть неискаженными, что экономит время вычислений. Преобразование Хафа возвращает место, где на изображении находится рулевое колесо (эллиптической формы на неискаженном изображении). На изображении отмечены эти краевые пиксели, которые соответствуют колесу. Пиксели на изображении, относящиеся к невидимым частям колеса, также могут быть отмечены знаками, характеризующими информацию относительно того, где колесо будет на изображении, если бы его вид не был блокирован. Таким образом, на изображении представлена модель внешнего вида всего рулевого колеса, даже если на изображении виден только сегмент рулевого колеса. Руки водителя могут скрывать части этого изображения, как это видно на фиг.12.

В варианте осуществления область изображения, полученного камерой 345, обращенной к водителю, которая ищется для этих краевых точек, может быть ограничена или иным образом уменьшена, тем самым экономя время обработки и повышая точность. Это уменьшение области поиска изображения может быть выполнено в значительной степени на основе знания оптических и механических аспектов камеры и ее физической геометрии установки, или на начальном этапе калибровки, когда обнаружены важные особенности кабины грузового автомобиля. В целях содействия ускорению поиска элементов на изображении поиск края изображения, полученном из камеры 345, обращенной к водителю, ограничен в варианте осуществления с точки зрения как части исследуемого изображения, так и того, сколько или какие направления краев должны присутствовать или иным образом ожидаются, что будут присутствовать в уменьшенной части исследуемого изображения (например, система не ожидает вертикальной кромки в верхней части рулевого колеса 1230, как это видно с точки зрения водителя; на изображении кромка рулевого колеса имеет на самом деле вид примерно вертикали).

Преобразование Хафа предпочтительно выполняется на неискаженном краевом изображении, полученном из камеры 345, обращенной к водителю, для обнаружения эллипсов. Высокая чувствительность края может использоваться по мере необходимости или по желанию, так как известны приблизительное положение/внешний вид рулевого колеса, так как имеется только один эллипс, и он находится в пределах ограниченного диапазона размеров. Альтернативой преобразованию Хафа является сохранение эталонных изображений рулевого колеса и сравнение их с тем, что видит DFC. Часть рулевого колеса этих изображений может быть идентифицирована с помощью преобразования Хафа на начальном этапе калибровки, и затем сохранена, после чего выполняется сопоставление с шаблоном для определения положения рулевого колеса на изображении без необходимости повторного выполнения преобразования Хафа.

Таким образом, в варианте осуществления используется знание о возможном положении (положениях, если они регулируются) рулевого колеса, наряду с преобразованием Хафа для обнаружения эллипса, чтобы локализовать рулевое колесо 1230 на изображении 1202 камеры, обращенной к водителю, кабины транспортного средства. Контуры этого обнаруженного эллипса 1232 проверяются на наличие недостающих участков 1240, 1242 с указанием мест, где руки 1220, 1222 водителя находятся, соответственно, на рулевом колесе. То есть руки не обнаруживаются напрямую, а скорее невидимые части рулевого колеса принимаются как положения рук.

На фиг.12 можно видеть, например, что правая рука 1220 водителя загораживает обзор рулевого колеса в поз.1240, но с обеих сторон можно видеть рулевое колесо 1230. Невидимые краевые пиксели рулевого колеса 1230 маркируются тегами, в частности, на правой и верхней сторонах, и, таким образом, система определяет, где находится правая рука 1220 водителя. Левая рука 1222 находится там, где верхняя секция рулевого колеса больше не видна в поз.1242, если смотреть слева на показанном виде. Знание цвета рулевого колеса также может использоваться в соответствии с вариантом осуществления, чтобы помочь найти рулевое колесо 1230 на изображении 1202.

Кроме того, система согласно варианту осуществления может исполнять логическую схему для контроля движений руки водителя относительно рулевого колеса. Например, система может находить активное движение руки относительно рулевого колеса (то есть изменение положения руки на рулевом колесе), которое может использоваться в качестве промежуточного параметра для внимательного водителя и регистрироваться системой как позитивные события, связанные с безопасностью. Эпизоды неизменения положения руки на рулевом колесе могут использоваться для предупреждения водителя или могут регистрироваться системой как негативные события, связанные с безопасностью.

В варианте осуществления одно или более сохраненных эталонных изображений используются для определения того, где на изображении может быть расположено рулевое колесо, если оно должно быть регулируемым. Одно или несколько сохраненных эталонных изображений сравниваются с изображением 1230 рулевого управления, полученным камерой, обращенной к водителю. Лучший соответствующий шаблон изображения эффективно находит рулевое колесо на изображении. После этого, определение «зазора на видимом» рулевом колесе, как описано выше, выполняется для определения положений рук 1220, 1222 водителя на рулевом колесе 1230 в местах 1240, 1242 определенных зазоров на изображении 1232 рулевого колеса.

В дополнение к вышеизложенному, система согласно варианту осуществления может выборочно выполнять повторное отображение эллиптически наблюдаемого на изображении рулевого колеса в круг. Это повторное отображение соответствует повторному проецированию рулевого колеса до полностью круглого вида. Секции 1240, 1242 рулевого колеса, загороженные руками 1220, 1222 водителя, также выборочно преобразуются посредством того же самого повторного отображения, и из этих повторно отображенных положений рук можно определить угловое расстояние между руками водителя. Предполагается, что при хорошем поведении водителя угловое расстояние между руками водителя составляет от приблизительно 180 градусов до приблизительно 120 градусов. Интервал между положениями рук водителя на рулевом колесе может использоваться для предупреждения водителя или может регистрироваться системой как положительные или отрицательные события, связанные с безопасностью.

Управление автопарком или другие нарушения политики, такие как: количество рук на рулевом колесе, положение рук, процент времени, в течение которого водитель удерживает колесо, и т.д. могут быть обнаружены, отмечены, предупреждены, напомнены и/или измерены. Изменение положения руки может использоваться в качестве показателя усталости водителя.

II. ИСПОЛЬЗОВАНИЕ КАМЕРЫ, ОБРАЩЕННОЙ К ВОДИТЕЛЮ, ДЛЯ КОСВЕННОГО КОНТРОЛЯ И ПРЕДОСТАВЛЕНИЯ ОТЧЕТОВ ОТНОСИТЕЛЬНО ПОВЕДЕНИЯ

Поведение водителя можно непосредственно контролировать в соответствии с вариантами осуществления, описанным в данном документе, с использованием устройства формирования изображения подготовленного для водителя во время эксплуатации транспортного средства. Данные контролируемого поведения водителя собираются и локально хранятся в транспортном средстве и в вариантах осуществления могут передаваться в виде отчета в центральную систему управления автопарком.

Обнаружение внимания водителя на дорогу

Слишком много водителей не уделяют должного внимания дороге по направлению вперед. Глаза водителя часто отклоняются от направления на дорогу из-за различных задач, выполняемых во время вождения, таких, например, как проверка контрольных приборов на приборной панели, проверка других транспортных средств с использованием боковых зеркал транспортного средства, радиоприемников или других устройств, установленных на или в кабине транспортного средства и т.п. Это подразумевает, что взгляд водителя и, следовательно, его внимание не всегда находится там, где оно должны быть, а именно на дороге, что имеет тенденцию отрицательно влиять на безопасную эксплуатацию транспортного средства, особенно когда водители отвлекаются от дороги на длительный или продолжительный период времени, или когда его внимание часто с течением времени не сосредоточено на дороге.

Поэтому желательно определить, действительно ли водитель уделяет должное внимание дороге по направлению вперед при эксплуатации транспортного средства. В связи с этим предусмотрены системы, способы и устройство для определения внимания водителя, которые описаны ниже.

В общем, в соответствии с вариантом осуществления камера 345, обращенная к водителю, системы контроля поведения водителя используется для определения направления, в котором находится голова водителя, и система соотносит это обнаруженное направление и положение камеры, обращенной к водителю, относительно конструкции кабины транспортного средства, чтобы определить, ориентирован ли водитель так, чтобы дорога ему была хорошо видна. Относительное положение между камерой, обращенной к водителю, и конструкцией кабины транспортного средства может основываться на одном или нескольких калибровочных изображениях, когда это необходимо и/или желательно. Системы, способы и устройства согласно варианту осуществления позволяют передавать сигнал в ассоциированную систему управления центральным автопарком, когда водитель не ориентирован так, чтобы он мог правильно видеть дорогу. Альтернативно и/или дополнительно, системы, способы и устройства согласно варианту осуществления позволяют сохранять данные, характеризующие невнимательность водителя, в локальном запоминающем устройстве, когда водитель не ориентирован так, чтобы он мог правильно видеть дорогу. Локально сохраненные данные о невнимательности водителя могут быть загружены, когда транспортное средство рассматриваться изолированно от дороги, когда транспортное средство обслуживается, когда водитель запрашивает загрузку или т.п.

Системы, способы и устройства согласно вариантам осуществления контролируют внимание водителя на дороге в соответствии с комбинацией положения головы водителя и положения вектора нормали лица головы водителя. Расположение головы водителя относительно конструкции кабины транспортного средства, включая, например, переднее лобовое стекло, и вектор нормали лица головы водителя определяются системами, способами и устройствами согласно вариантам осуществления. Это полезно, например, тогда, когда рассматриваются водители разного роста, управляющие одним и тем же транспортным средством в разное время. Например, водителю маленького роста нужно больше обращать внимания, чем водителю высокого роста, чтобы правильно видеть дорогу по направлению вперед.

В примерном варианте осуществления камера 345, обращенная к водителю и установленная на лобовом стекле транспортного средства, видит водителя 520 (фиг.5a) в пассажирском салоне 530. Изображение, захваченное камерой 345, анализируется для того, чтобы найти положение головы водителя и то, в какую сторону она обращена к лицу, что выражено в примерном варианте осуществления в качестве вектора 522 нормали лица. Стандартные способы определения положения лиц могут использоваться для первоначальной локализации головы водителя, после чего система контроля поведения водителя выполняет регрессию формы, чтобы определить, где находятся ориентиры лица (например, нос, уголки рта, точки козелка ушной раковины). Используя эти ориентиры, можно подобрать базовую модель головы, из которой получается вектор 522 нормали лица, подробности которого будут объяснены ниже.

Однако монокулярная камера не позволяет определить без дополнительной информации, насколько далеко находится объект. В этом случае система контроля поведения водителя может определить положение головы водителя несколькими способами, три из которых будут описаны ниже.

В соответствии с первым способом известные ориентиры на сиденье водителя используются для измерения расстояния до и/или высоты сиденья водителя, и из этих измерений расстояния и/или высоты можно определить приблизительное положение головы водителя. Известные ориентиры на сиденье 620 водителя (фиг.6а) предпочтительно содержатся в калибровочном изображении 600 (фиг.6а).

В соответствии со вторым способом одна или несколько калибровочных фотографий используются для определения положения головы водителя. Например, водителю может быть предложено откинуться непосредственно назад на сиденье с полной спинкой, создав таким образом известное положение на снимке с эталонным изображением 600 (фиг.6a).

В соответствии с третьим способом, предполагается, что на изображении 600 эталонного снимка (фиг.6а) водитель 610 сидит по центру на сиденье 620, его нос 611 будет находиться в вертикальной плоскости 621 половины сидения, что позволяет легко найти на изображении голову 520 водителя. Типичные сиденья для грузовых автомобилей перемещаются вверх и вниз, вперед и назад, и их спинки откидываются. Поэтому боковые части сиденья перемещаются в фиксированной плоскости в некотором приближении. Типичное изображение 600 грузового автомобиля показано на фиг.6а, и типичное калибровочное изображение 700 эксплуатации грузового автомобиля показано на фиг.7.

Камера 345, обращенная к водителю, позволяет определять положение точки 622 (как правило, видимой) со стороны сиденья на изображении, например, в верхнем левом углу спинки сиденья над правым плечом водителя или в другом месте, например сзади нижней подушки сиденья под вероятным положением значка удостоверения личности водителя на его правом бедре (не показано), и, таким образом, система контроля поведения водителя в соответствии с данным вариантом осуществления устанавливает луч в трехмерном пространстве, исходящий из камеры и проходящий через эту точку 622 сиденья. В монокулярной ситуации этот факт установил бы только луч, вдоль которого лежит точка сиденья, а не точно то, как далеко эта точка 622 находится от камеры 345.

Однако в соответствии с вариантами осуществления, представленными в данном документе, луч пересекает известную плоскость и тем самым определяет одну точку 622 в трехмерном пространстве пассажирского салона 530. После установки и калибровки камеры, и если положение сиденья известно, система контроля поведения водителя согласно примерному варианту осуществления использует все трехмерные координаты точки калибровки сиденья. Таким образом, система контроля поведения водителя в соответствии с вариантом осуществления позволяет лучше устанавливать данные, используемые для определения того, где в трехмерном пространстве пассажирского салона 530 находится голова водителя.

Аналогичный принцип может быть применен в соответствии с системой контроля поведения водителя в дополнительном варианте осуществления, чтобы найти кончик 611 носа водителя. В данном варианте осуществления система контроля поведения водителя предполагает, что положение носа водителя на изображении находится, скорее всего, около вертикальной плоскости 621, секущей сиденье водителя пополам. Эта преамбула снова приводит к линии, пересекающей плоскость, и, следовательно, начало трехмерного вектора нормали лица определяется в трех измерениях.

Для рассматриваемой камеры 345, обращенной к водителю, система подгоняет модель головы к внешнему виду водителя, получая тем самым вектор 522 нормали лица. Модель головы, которая является базовой, поворачивается и масштабируется в трехмерном пространстве до тех пор, пока она не будет максимально соответствовать неискаженному изображению головы водителя. Таким образом, система имеет три угла, характеризующих позу головы, в пределах общих границ модели головы, и коэффициент масштабирования. Углы позы головы водителя включают в себя, например, угол тангажа головы водителя (водитель смотрит вниз или вверх), угол рыскания головы водителя (водитель смотрит влево или вправо) и угол крена головы водителя (водитель наклоняет голову влево или вправо).

Однако система не имеет или иным образом не знает абсолютное расстояние 1640 (фиг.16) от водителя до камеры, то есть система не имеет или иным образом не знает информацию о 3D положении головы водителя (только углы). Для этого типичные пределы расстояния между зрачками могут обеспечить системе предел, при котором среднее расстояние между зрачками у женщин составляет 61,7 мм, и у мужчин среднее расстояние между зрачками составляет 64,0, причем стандартное отклонение составляет 3,5 мм. Это делает расстояние до головы, находящимся в пределах ~ +/- 10% для ~ 95% населения в целом. Таким образом, в варианте осуществления система сначала предпочтительно определяет пол водителя, затем получает соответствующее межзрачковое расстояние 1630 центра 1620 глаза до центра 1622 глаза (фиг.16) и связывает расстояние между глазами головы изображения с расстоянием от камеры. Так как система имеет углы позы головы, система может получить межзрачковое расстояние в пикселях, как если бы водитель находился прямо перед камерой. Затем, используя размер пикселя, система определяет межзрачковое расстояние в метрах и применяет фокусное расстояние объектива. Система вычисляет расстояние от головы до камеры с помощью аналогичных треугольников в виде:

Расстояние от головы до камеры = (фокусное расстояние объектива * межзрачковое расстояние в зависимости от пола)/(межзрачковое расстояние на изображении перед камерой).

Например, если имеется 20 пикселей, разделяющих зрачки (или центры 1620, 1622 глаз, выбранные в качестве промежуточного параметра для зрачков), и пиксели имеют размер 4 микрона, то расстояние между зрачками составляет 80 микрометров. Кроме того, если фокусное расстояние объектива составляет 2 миллиметра, и пол водителя определен как мужской, то расстояние от камеры до головы водителя составляет (2 мм * 64 мм/80 микрометров) или 1,6 метра. Учитывая изменчивость расстояния между глазами, можно учесть эту неопределенность в окончательном расположении головы и "смягчить" критерии для предупреждений о выходе из положения.

Используя это расстояние, система способна определить положение головы водителя в 3D пространстве, и затем использовать направление вектор нормали лица, чтобы соотнести его с кабиной автомобиля, зеркалами, датчиками, дорогой и т.д. Так как вектор 522 нормали лица, как правило, начинается на кончике носа 611, расстояние от камеры до головы известно, и угол наклона головы за счет положения кончика носа на изображении также известен, система согласно примерному варианту осуществления вычисляет положение вектора нормали лица в пространстве и проверяет, что вектор нормали лица "указывает" или иным образом направлен на или в нужные области вокруг водителя, такие как зеркала, дорога, следующая полоса движения при перестроении и т.д.

В целом, система контроля поведения водителя варианта осуществления контролирует вектор нормали лица в течение продолжительного периода времени и сравнивает контролируемый вектора нормали лица с заданными статистическими должным образом направленными векторами нормали лица. Информация вектора нормали лица локально сохраняется в памяти системы вместе с результатами сравнения во времени. Эти данные и результаты могут быть переданы в центральную систему управления автопарком, если это необходимо или желательно.

На фиг.13 показана блок-схема, иллюстрирующая способ 1300 контроля дорожного движения внимание водителя в соответствии с комбинацией расположения головы водителя и вектора нормали лица головы водителя. Изображение области салона транспортного средства получается на этапе 1310. На изображении на этапе 1320 обнаруживается голова человека. На этапе 1330 определяется положение головы человека относительно камеры 345, обращенной к водителю, и/или относительно различных компонентов салона транспортного средства. Вектор нормали лица обнаруженной головы человека определяется на этапе 1340. Оценочное расстояние между камерой и головой водителя определяется на этапе 1350. Затем на этапе 1360 внимание водителя на дороге контролируется в течение продолжительного периода времени с использованием определенного вектора нормали лица головы в сочетании с определенным положением головы, причем определенное положение головы используется в качестве базовой точки вектора нормали лица для контроля.

В дополнительном варианте осуществления функция автоматической калибровки может быть реализована путем сбора статистики о том, куда смотрит водитель при движении по автомагистрали на большой скорости. Можно предположить, что водитель движется в основном вперед, когда транспортное средство движется с некоторой скоростью, то есть водитель с большой вероятностью обращает внимание на быстрое движение, и наиболее частое или среднее направление вектора нормали будет соответствовать дороге, идущей прямо по направлению вперед. Таким образом, система согласно варианту осуществления собирает статистику векторов нормали либо способом гистограммы, либо способом рекурсивного усреднения угла позы, либо комбинацией способов гистограммы и рекурсивного усреднения угла позы. В способе гистограммы гистограмма создается и заполняется для каждого из набора углов вектора нормали "позы головы" водителя, описывающих ориентацию головы водителя, то есть гистограммы тангажа (водитель смотрит вниз или вверх), гистограммы рыскания (водитель смотрит влево или вправо) и гистограмма крена (водитель наклоняет голову влево или вправо). Статистика векторов нормалей собирается в течение заданного времени, такого, например, как 1 минута, после чего система принимает самый полный набор гистограмм, соответствующий направлению позы головы водителя прямо по направлению вперед. Альтернативно, система рекурсивно усредняет углы позы головы и определяет среднее значение как представление направления позы головы водителя прямо по направлению вперед, снова позволяя усредненным значениям пробегать достаточно долго и только тогда, когда транспортное средство движется достаточно быстро.

Обнаружение блокированной камеры для водителя

Зная, что камера 345, обращенная к водителю, в соответствии с вариантами осуществления, представленными в данном документе, бдительно следит за водителями в течение всего времени эксплуатации транспортного средства, некоторые операторы могут по своему выбору попытаться вывести из строя камеру по различным причинам, в том числе, например, чтобы скрыть нарушения правил автопарка или ошибки или т.п. Однако функциональные возможности камеры, обращенной к водителю, в значительной степени зависят от хорошей видимости водителя. Таким образом, обнаружение хорошей видимости водителя является весьма желательным для нормальной работы по обнаружению и предоставлению отчетов согласно вариантам осуществления, представленным в данном документе.

Поэтому желательно обнаружить то, пытается или нет водитель вывести из строя камеру, обращенную к водителю. В связи с этим предусмотрены системы, способы и устройство обнаружения камеры, с нарушенной функциональностью, как описано ниже. Одно преимущество этих вариантов осуществления состоит в том, что обеспечивается надлежащая работа камеры, обращенной к водителю, что полностью поддерживает многие функциональные возможности нескольких примерных вариантов осуществления, описанных в данном документе.

В общем, в соответствии с вариантом осуществления камера 345, обращенная к водителю, системы контроля поведения водителя используется для обнаружения головы водителя в кабине транспортного средства во время его эксплуатации. В варианте осуществления камера, обращенная к водителю, дополнена логической схемой распознавания лица для определения лица оператора транспортного средства. Логическая схема согласно примерному варианту осуществления исполняется для контроля постоянной доступности видимого лица, приблизительно неизменного внешнего вида, когда транспортное средство находится в движении. Логическая схема согласно примерному варианту осуществления исполняется для выработки сигнала обнаруженной потери проверки оператора, если лицо не видно и/или не определяется при движении транспортного средства.

В дополнительном варианте осуществления логическая схема согласно примерному варианту осуществления включает в себя функциональные возможности нахождения лица водителя, которая исполняется, чтобы использовать способы идентификации объекта переднего/заднего плана. Относительно статический характер камеры 345, обращенной к водителю и неподвижно установленной на опорном элементе 512 внутренней обшивки транспортного средства (фиг.5а), обеспечивает выполнение способов идентификации объектов переднего/заднего плана для контроля за постоянной доступностью видимого лица водителя, приблизительно неизменного внешнего вида во время движения транспортного средства. Первоначально фоновые пиксели, то есть те пиксели, которые считаются неизменными из-за незначительных изменений их значения, постоянно покрывают достаточно высокий процент области или даже изображения, где не ожидается появления лица водителя. Однако, когда фоновые пиксели начинают постоянно покрывать достаточно высокий процент области или даже изображение, где можно ожидать, что лицо водителя можно будет увидеть, логическая схема системы затем определяет, что изображение не имеет прямого изображения водителя, и что камера может, таким образом, считаться загороженной или иным образом блокированной. Если во время движения транспортного средства лица не видно, то вырабатывается сигнал проверки потери оператора, который выборочно передается в центральную систему управления автопарком или локально хранится в системной памяти.

В соответствии с вариантом осуществления логическая схема обнаружения лица водителя, хранящаяся в устройстве невременной памяти рассматриваемой системы контроля поведения водителя и отчетности, исполняется процессором системы для обработки данных положения головы водителя и определения вектора нормали лица, как описано выше, чтобы выборочно определять из данных изображения лицо водителя ассоциированного транспортного средства и вырабатывать одно из: данных характеристик лица водителя, характеризующих выборочно определенное лицо ассоциированного водителя, или данных блокированного изображения, характеризующих неспособность логической схемы определения положения лица водителя выборочно определять лицо водителя ассоциированного транспортного средства из данных изображения.

Рассматриваемая система контроля поведения водителя и отчетности в соответствии с данным вариантом осуществления включает в себя вход, функционально связанный с процессором, причем вход выборочно принимает из ассоциированного транспортного средства сигнал движения транспортного средства и/или сигнал активации управления человеком, характеризующий движение ассоциированного транспортного средства.

Логическая схема управления исполняется процессором, чтобы выборочно вырабатывать, в ответ на вход, принимающий сигнал движения транспортного средства, и на вырабатываемые данные с блокированным изображением, данные ограниченного обзора, характеризующие препятствие между устройством формирования изображения и ассоциированным водителем, находящимся в ассоциированном транспортном средстве.

Рассматриваемая система контроля поведения водителя и отчетности в соответствии с вариантом осуществления дополнительно включает в себя логическую схему распознавания лица водителя, хранящуюся в устройстве невременной памяти. Логическая схема обнаружения лица водителя исполняется процессором для обработки данных изображения вместе с данными о геометрии транспортного средства и данными о положении устройства формирования изображения таким образом, чтобы определить один или несколько объектов переднего плана в данных изображения и один или несколько объектов заднего плана в данных изображения, причем определенные один или несколько объектов переднего плана в данных изображения расположены в ассоциированном транспортном средстве между устройством формирования изображения и одним или несколькими объектами заднего плана в данных изображения.

Логическая схема обнаружения лица водителя дополнительно исполняется процессором для обработки части данных изображения, соответствующей определенным одному или нескольким объектам переднего плана в данных изображения, для того, чтобы выборочно определить из данных изображения лица водителя ассоциированного транспортного средства и вырабатывать одно из: данных характеристик лица водителя, характеризующих выборочно определенное лицо ассоциированного водителя, или данных блокированного изображения, характеризующих неспособность логической схемы положения распознавания лица водителя выборочно определять лицо водителя ассоциированного транспортного средства из данных изображения.

Рассматриваемая система контроля поведения водителя и отчетности согласно варианту осуществления дополнительно включает в себя вход, функционально связанный с процессором, причем вход выборочно принимает из ассоциированного транспортного средства сигнал движения транспортного средства, характеризующий движение ассоциированного транспортного средства. В варианте осуществления логическая схема управления исполняется процессором для выборочной выработки, в ответ на вход, принимающий сигнал движения транспортного средства, и на вырабатываемые данные с блокированным изображением, данных блокированного изображения, характеризующих препятствие между устройством формирования изображения и ассоциированным водителем, находящимся в ассоциированном транспортном средстве.

На фиг.14 показана блок-схема, иллюстрирующая способ 1400 контроля присутствия лица водителя в соответствии с примерным вариантом осуществления. На этапе 1402 определяется время, и на этапе 1404 получается изображение кабины транспортного средства. Время может ассоциироваться с данными изображения кабины, как это необходимо или желательно. На этапе 1406 находятся данные изображения кабины для нахождения человеческого лица приблизительно в том месте, где предположительно будет находиться лицо водителя.

На этапе 1410 выполняется определение того, найдено ли лицо водителя на изображении кабины на этапе 1406. Если лицо не найдено, на этапе 1412 выполняется дополнительное определение того, движется ли транспортное средство. Если лицо не найдено и транспортное средство движется, на этапе 1414 вырабатывается предупредительный сигнал, и на этапе 1416 выборочно передается предупредительный сигнал в центральную систему управления автопарком. Альтернативно, предупредительный сигнал может быть локально сохранен в памяти системы контроля поведения водителя согласно варианту осуществления.

Голова водителя находится в неправильном положении

Многие операторы транспортных средств дотягиваются до предметов во время вождения, таких, например, как ручки управления на приборной панели, чашки, размещенные в ближайших держателях чашек, карты или другие предметы, размещенные в центральной консоли или дверном кармане рядом с сиденьем водителя, или т.п. Разумеется, это является нормальным поведением. Однако было установлено, что получение доступа к удаленным объектам во время вождения повышает вероятность аварии примерно в восемь (8) раз.

Таким образом, желательно измерить и предупредить о выходе головы за пределы нормального положения, так как это коррелирует с чрезмерно низкой досягаемостью. Положение головы водителя используется в примерном варианте осуществления в качестве промежуточного параметра для досягаемости водителя, и, в частности, положение головы водителя используется в примерном варианте осуществления в качестве промежуточного параметра для чрезмерно низкой досягаемости водителя, таким образом, вырабатывая сигнал, характеризующий это контролируемое поведение водителя.

Примерный вариант осуществления, который будет описан в данном документе, обеспечивает проверку не чрезмерно низкой досягаемости водителя предметов на расстояния, считающиеся безопасными для того, чтобы их взять, при этом предпочтительной является степень маневра, который водитель может выполнить без чрезмерного движения тела. Понимание типичного положения головы водителя и предупреждение о превышении водителем скорости в соответствии с примерными вариантами осуществления является полезным для предотвращения аварий, вызванных невнимательностью водителя.

Система контроля поведения водителя согласно примерному варианту осуществления использует камеру 345, обращенную к водителю, для определения положения и измерения положения головы водителя. Исполнение логической схемы в системе контроля поведения водителя использует уравнения рекурсивного измерения для определения среднего значения и дисперсии набора определенных положений головы водителя. Исполняемая логическая схема вырабатывает сигнал предупреждения или уведомления, когда положение головы водителя отклоняется от среднего положения более чем на заданное количество стандартных отклонений по любой оси (x, y или z), и когда это отклонение происходит в течение заданного минимального периода времени. Заданное количество стандартных отклонений и заданное минимальное время нахождения за пределами заданного положения являются параметрами, которые могут быть установлены или иным образом выбраны оператором или администратором системы парка. Типичные значения этих устанавливаемых параметров могут иметь два (2) стандартных отклонения, по существу покрывающими около 95% нормально распределенной переменной и в течение приблизительно 1-2 секунд. События выхода за пределы заданного положения головы водителя определяются и записываются в локальном запоминающем устройстве системы контроля поведения водителя согласно примерному варианту осуществления. Поведение выхода за пределы заданного положения водителя записывается камерой 345 и может храниться вместе с другими данными, относящимися к эксплуатации транспортного средства в моменты времени, когда голова водителя вышла за пределы заданного положения, такими, например, как данные о скорости транспортного средства или т.п. Указание выхода за пределы заданного положения головы в сочетании с указанием высокой скорости транспортного средства, которые поступают от датчиков скорости транспортного средства, могут использоваться системой для классификации или иной оценки возникновения положения за пределами заданного положения более негативно, чем, например, указание выхода за пределы заданного положения головы в сочетании с указанием очень низкой скорости транспортного средства, поступающим от датчиков скорости транспортного средства. Остановка транспортного средства для досягаемости предметов, находящихся на расстоянии от водителя, которое считается безопасным для того, чтобы их взять, классифицируется или иным образом оценивается системой контроля поведения водителя согласно примерному варианту осуществления как хорошее поведение водителя. И наоборот, продолжающаяся эксплуатация транспортного средства на высоких скоростях при движении по автомагистрали, например, при досягаемости предметов, находящихся на расстоянии от водителя, которое считается безопасным для того, чтобы их взять, классифицируется или иным образом оценивается системой контроля поведения водителя согласно примерному варианту осуществления как плохое поведение водителя. Другие одно или более состояний транспортного средства могут контролироваться и комбинироваться с положением головы водителя, используемым в примерных вариантах осуществления, в качестве промежуточного параметра для досягаемости водителя с целью определения уровня поведения водителя по шкале от хорошего до плохого.

На фиг.15 показана блок-схема, иллюстрирующая способ 1500 контроля положения головы водителя, используемого в качестве промежуточного параметра для досягаемости водителя и, в частности, используемого в качестве промежуточного параметра для чрезмерно низкой досягаемости водителя, в соответствии с примерным вариантом осуществления. Время определяется на этапе 1502, и изображение кабины транспортного средства получается на этапе 1504. Время может ассоциироваться с данными изображения кабины, если это необходимо или желательно. На этапе 1506 выполняется поиск данных изображения кабины, чтобы найти голову человека, предпочтительно голову водителя. Положение головы водителя сохраняется в локальной памяти для того, чтобы на этапе 1508 среднее значение и дисперсию положения головы водителя можно было определить в течение заданного интервала времени.

На этапе 1510 выполняется определение того, находится ли положение головы водителя за пределами среднего значения и/или значения дисперсии, которые определены на этапе 1508. В варианте осуществления определение, выполненное на этапе 1510 относительно того, находится ли положение головы водителя за пределами среднего значения и/или значения дисперсии, которые определены на этапе 1508, включает в себя определение того, находится ли положение головы водителя за пределами среднего значения и/или значения дисперсии в течение заданного периода времени, который может выбираться оператором или менеджером автопарка. На этапе 1530 вырабатывается предупредительный сигнал положения головы, указывающий, что положение головы водителя находится за пределами среднего значения и/или значения дисперсии в течение заданного периода времени. На этапе 1532 записывается видеоизображение водителя, и на этапе 1534 предупредительный сигнал положения головы и видеоизображение водителя выборочно передаются менеджеру центральной системы управления автопарком.

В качестве альтернативы, предупредительный сигнал положения головы и видеоизображение водителя могут быть локально сохранены в памяти системы контроля поведения водителя согласно варианту осуществления.

На фиг.15a показана блок-схема последовательности операций, иллюстрирующая способ 1550 определения того, находится ли голова водителя за пределами заданного положения, в соответствии с примерным вариантом осуществления, с особым акцентом на сбор статистических данных "нормального" положения головы водителя, например, когда транспортное средство движется достаточно быстро и в течение достаточно длительного периода времени, перед оценкой выхода за пределы заданного положения головы водителя в соответствии с собранной статистикой. Таймер инициируется на этапе 1560, и сбор статистических данных позы головы водителя выполняется на этапе 1562. Предпочтительно, сбор статистических данных позы головы водителя выполняется тогда, когда транспортное средство движется достаточно быстро и достаточно долго. Среднее значение и значение дисперсии позы головы водителя в примерном варианте осуществления требуют некоторого времени для развития, прежде чем они приобретут какое-либо практическое значение, например, в масштабе около одной (1) минуты при движении на высокой скорости. Только после того, как на этапе 1562 будут собраны и получены средние значения и значения дисперсии позы головы водителя, система согласно варианту осуществления узнает, что является "регулярным" вождением для этого водителя, и только после этого система выполняет тестирование выхода за пределы заданного положения головы водителя. Этот тест сначала состоит из формирования изображения водителя для получения на этапе 1564 текущего изображения водителя. На этапе 1570 выполняется сравнение текущих измеренных значений позы головы (рыскание, тангаж, крен, заданное положение) и средних значений этих углов позы головы водителя, включая, например, тангаж головы водителя (водитель смотрит вниз или вверх), рыскание головы водителя (водитель смотрит влево или вправо) и крен головы водителя (водитель наклоняет голову вправо или влево), полученных на этапе 1562. Если любое из этих отклонений превышает выборочное количество стандартных отклонений, предпочтительно около двух (2) стандартных отклонений от соответствующего среднего значения, система считает, что голова водителя находится за пределами заданного положения. Таймер запускается на этапе 1572, когда голова находится за пределами заданного положения. Если значение таймера превышает пороговое значение, определенное на этапе 1574, то на этапе 1580 выдается предупреждение. Когда голова не находится в нерабочем положении, таймер сбрасывается в ноль на этапе 1582.

В соответствии с примерным вариантом осуществления логическая схема управления системы контроля поведения водителя и отчетности исполняется процессором системы для определения, в течение заданного времени обнаружения, центрального значения вектора нормали лица положения водителя транспортного средства и для определения, в течение заданного времени обнаружения, дисперсии центрального значения вектора нормали лица. Может быть определено среднее значение положения головы вектора нормали лица, и может быть определена дисперсия вектора нормали лица, чтобы представить стандартное отклонение положения головы водителя в качестве квадратного корня из дисперсии.

Запоминающее устройство хранит, в качестве параметра внимания водителя на дорогу данных безопасной модели внимания, рекомендуемый диапазон значений параметра выхода за пределы заданного положения головы водителя контролируемого состояния внимания водителя в качестве выбираемого множителя определенного стандартного отклонения вектора нормали лица.

Логическая схема управления, хранящаяся в устройстве невременной памяти, исполняется процессором системы контроля поведения водителя и отчетности для обработки вектора нормали лица, чтобы определить рабочее значение параметра внимания водителя на дорогу контролируемого состояния внимания водителя ассоциированного транспортного средства и выполнить сравнение между рекомендуемым диапазоном значений головы водителя за пределами параметра положения контролируемого состояния внимания водителя ассоциированного транспортного средства и определенным рабочим значением параметра водителя головы за пределами параметра контролируемого состояния внимания водителя ассоциированного транспортного средства.

Логическая схема управления, хранящаяся в устройстве невременной памяти, дополнительно исполняется процессором системы контроля поведения водителя и отчетности для определения значения невнимательности водителя в качестве значения невнимательности водителя.

Логическая схема управления может дополнительно определять состояние соответствия эксплуатации транспортного средства в двойном смысле в качестве одного из состояния невнимательности водителя в соответствии с первым результатом сравнения между рекомендуемым диапазоном значений и определенным рабочим значением головы водителя за пределами параметра положения контролируемого состояния внимания водителя ассоциированного транспортного средства, причем процессор вырабатывает данные о невнимательности водителя в соответствии с первым результатом, или состояния внимания водителя в соответствии со вторым результатом сравнения между рекомендуемым диапазоном значений и определенным рабочим значением головы водителя за пределами параметра положения контролируемого состояния внимания водителя ассоциированного транспортного средства.

Метрика распределения позы головы водителя

Один аспект хорошего поведения при вождении может быть охарактеризован как водитель, находящийся в правильном, индивидуальном положении для вождения, то есть способный удерживать рулевое колесо, смотреть вперед на дорогу, видеть зеркала, расположенные в пределах досягаемости педалей и т.п. По существу, надлежащее положение тела в транспортном средстве, как правило, приводит к оптимизированной работе водителя. Отклонения от этих рабочих положений ассоциируются с повышенным риском несчастных случаев, примерно в восемь раз (8), как отмечено выше. Другой аспект хорошего поведения при вождении можно охарактеризовать так, что водитель действительно смотрит туда, куда он должен смотреть во время управления транспортным средством. Например, при движении задним ходом должны использоваться зеркала, поэтому в этих условиях следует смотреть в сторону от дороги по направлению вперед и желательно смотреть на одно из зеркал транспортного средства. Небольшое движение при движении вперед может потребовать от водителя сканировать дорогу по направлению вперед с периодическим зеркальным сканированием, но при этом основное внимание уделяется дороге по направлению вперед. Однако в ситуациях с интенсивным движением, вероятно, требуется больше сканировать боковые зеркала, чем при небольшом движении. Смене полосы движения предпочтительно предшествует взгляд на полосу движения, в которую необходимо перестроиться.

Таким образом, желательно обнаруживать неправильное или отклоняющееся поведение направления, обращенного к голове, особенно на фоне текущего маневра вождения, и использовать его в качестве контролируемого события поведения. Система может предупредить водителя о ненадлежащем или отклоняющемся поведении. Сигнал может вырабатываться, когда имеет место ненадлежащее или отклоняющееся поведение, и данные, характеризующие сигнал, могут локально храниться в системе контроля, установленной на транспортном средстве, или передаваться в центральную систему управления автопарком. Неподвижные изображения или видеоизображения кабины транспортного средства могут быть записаны, когда имеет место ненадлежащее или отклоняющееся поведение, и данные, характеризующие изображения кабины, сделанные во время ненадлежащего или отклоняющегося поведения, могут локально храниться в системе контроля, установленной на транспортном средстве, или передаваться в центральную систему управления автопарком. В варианте осуществления качество разрешения/сжатия поведения водителя, записанное камерой, обращенной к водителю, может регулироваться во время ненадлежащего или отклоняющегося поведения, чтобы улучшить или иным образом повысить качество видео, чтобы отразить, что это является событием поведения позы головы водителя.

Система контроля поведения водителя согласно варианту осуществления определяет позу головы водителя, используя камеру, обращенную к водителю, логическую схему и процессор, исполняющий логическую схему, определяет распределение позы головы во времени и контролирует распределение позы головы, для предупреждения водителя, когда она отклоняется от желаемого или обычного распределения. Может быть выработан предупредительный сигнал и/или может быть инициировано событие предупреждения для сохранения данных, связанных с предупредительным сигналом, указывающим положение головы, отклоняющееся от желаемого или обычного распределения. Предупредительный сигнал и/или данные, относящиеся к предупредительному сигналу, могут передаваться в центральную систему управления автопарком.

В общем, система контролирует позу головы водителя (в направлении движения), используя камеру 345, обращенную к водителю. Пространственное распределение позы головы водителя собирается в течение продолжительного периода времени, и вырабатывается трехмерная гистограмма крена головы, тангажа и рыскания. Затем система контроля поведения водителя может проверить, есть ли (желательное и правильное) изменение в гистограмме, когда водитель управляет задним ходом транспортного средства, когда участвует в повороте (например, посмотреть налево при повороте налево) и при выполнении других действий с транспортным средством. Посредством способов обнаружения изменений могут быть обнаружены значительные отклонения от нормального распределения позы головы водителя по собранным данным позы головы, и обнаруженные отклонения могут быть отмечены, например, путем выработки сигнала отклонения позы головы водителя.

В варианте осуществления гистограмма функционирует на двух временных шкалах. Таким образом, гистограмма функционирует в длительном масштабе времени для изучения или иного развития "среднего" поведения водителя, и гистограмма функционирует в коротком масштабе времени, для обучения или иного развития поведения водителя "то, что происходит сейчас". Две гистограммы сравниваются в варианте осуществления.

На фиг.16 показана схема, иллюстрирующая изображение 1600 (не захваченное камерой, обращенной к водителю в вариантах осуществления) кабины 1610 ассоциированного транспортного средства, и иллюстрирующая камеру 345, обращенную к водителю, в соответствии с вариантом осуществления, отображающим правильно сидящего водителя 1612, надлежащим образом смотрящего на зеркало 1650 транспортного средства. Система контроля поведения водителя соответствует модели позы головы, показанной на чертеже, в виде вектора 1660 позы головы водителя, возникающего у носа 1624 водителя. Этот вектор 1660 может быть визуализирован как жестко прикрепленная ручка, соединенная с общей трехмерной моделью лица. Модель лица наклоняется, поворачивается и регулируется под углом и в масштабе до тех пор, пока она не подойдет к наблюдаемому лицу настолько близко, насколько это возможно. Трехмерные углы, соответствующие ручке, представляют собой позу головы. Следует принимать во внимание, что модель позы головы охватывает и иным образом включает в себя информацию положения головы водителя, информацию о крене головы водителя и информацию о тангаже и рыскании головы водителя.

Как описано выше, для рассматриваемой камеры 345, обращенной к водителю, система подгоняет модель головы к внешнему виду водителя, получая тем самым вектор 1660 нормали лица. Модель головы, которая является базовой, поворачивается и масштабируется в трехмерном пространстве до тех пор, пока она не будет максимально соответствовать неискаженному изображению головы водителя. Таким образом, система имеет три угла, характеризующих позу головы, в пределах общих границ модели головы, и коэффициент масштабирования. Углы позы головы водителя включают в себя, например, угол наклона головы водителя (водитель смотрит вниз или вверх), угол поворота головы водителя (водитель смотрит влево или вправо) и угол наклона головы водителя (водитель наклоняет голову влево или вправо).

Однако система не имеет или иным образом не знает абсолютное расстояние 1640 (фиг.16) от камеры 345 до водителя 1612, то есть система не имеет или иным образом не знает информацию о 3D положении головы водителя (только углы). Типичные пределы 1630 расстояния между зрачками могут обеспечить системе предел, при котором среднее расстояние между зрачками у женщин составляет 61,7 мм, и у мужчин среднее расстояние между зрачками составляет 64,0 мм, причем стандартное отклонение составляет 3,5 мм. Это делает расстояние до головы, находящимся в пределах ~ +/- 10% для ~ 95% населения в целом. Таким образом, в варианте осуществления система сначала предпочтительно определяет пол водителя, затем получает соответствующее межзрачковое расстояние 1630 центра 1620 глаза до центра 1622 глаза и связывает расстояние между глазами головы изображения с расстоянием от камеры. Так как система имеет углы позы головы, система может определить или иным образом вычислять межзрачковое расстояние 1630 в пикселях, как если бы водитель 1612 находился непосредственно перед камерой 345. Затем, используя размер в пикселях, система определяет межзрачковое расстояние 1630 в метрах и применяет фокусное расстояние объектива. Система с помощью подобных треугольников вычисляет расстояние между камерой 345 и головой 1612 водителя следующим образом:

Расстояние от головы до камеры = (фокусное расстояние объектива * межзрачковое расстояние в зависимости от пола)/(межзрачковое расстояние на изображении перед камерой).

Например, если имеется 20 пикселей, разделяющих зрачки (или центры 1620, 1622 глаз, выбранные в качестве промежуточного параметра для зрачков), и пиксели имеют размер 4 микрона, то расстояние между зрачками составляет 80 микрометров. Кроме того, если фокусное расстояние объектива составляет 2 миллиметра, и пол водителя определен как мужской, то расстояние от камеры до головы водителя составляет (2 мм * 64 мм/80 микрометров) или 1,6 метра.

Используя это расстояние, система способна определить положение головы водителя в 3D пространстве, и затем использовать направление вектора 1660 нормали лица, чтобы соотнести его с кабиной автомобиля, зеркалами, датчиками, дорогой и т.д. Так как вектор 1660 нормали лица, как правило, начинается на кончике носа 1624, расстояние от камеры до головы известно, и угол наклона головы за счет положения кончика носа на изображении также известен, система согласно примерному варианту осуществления вычисляет положение вектора нормали лица в пространстве и проверяет, что вектор нормали лица "указывает" или иным образом направлен на или в нужные области вокруг водителя, такие как зеркала, дорога, следующая полоса движения при перестроении и т.д.

Система может осуществлять сбор данных в течение выбираемого периода времени, такого, например, как в течение последних 120 секунд положения головы водителя, вводя эти собранные данные в многомерную гистограмму, хранящуюся в локальной памяти системы. Предпочтительно, чтобы циклический список, дополненный указателем на вычислительную структуру с самой старой записью, мог формировать основу хранения данных, питающую эту гистограмму.

Затем гистограмму можно сравнить с наблюдаемым безопасным состоянием. Наблюдаемое безопасное состояние может быть получено из статистики одного или нескольких безаварийных периодов времени или из одного или нескольких заданных наборов статистических данных о безаварийных временных моделях. Кроме того, гистограмма может сравниваться с желаемой гистограммой автопарка, ассоциированного с транспортным средством. Примеры сравнения гистограмм раскрыты, например, в работе Serratosa F., Sanromà G., Sanfeliu A. (2007) "A New Algorithm to Compute the Distance Between Multi-dimensional Histograms” In: Rueda L., Mery D., Kittler J. (eds) Progress in Pattern Recognition, Image Analysis and Applications. CIARP 2007. Lecture Notes in Computer Science, vol 4756. Springer, Berlin, Heidelberg, идеи которой включены в данный документ путем ссылки.

На фиг.17 показана блок-схема последовательности операций, иллюстрирующая способ функционирования системы контроля поведения водителя, имеющей камеру, обращенную к водителю, для обнаружения, контроля и предоставления отчетов о том, значительно ли изменяется распределение позы головы водителя, или неприемлемой реализации стратегии внимания водителя к дороге в соответствии с примерным вариантом осуществления. Теперь со ссылкой на эту фигуру, в способе 1700 согласно варианту осуществления часть 832' сбора данных изображений водителя включает в себя этап 1702 определения времени изображения водителя, и этап 1704 сбора данных изображения водителя. На этапе 1106 логическая схема системы определяет информацию, относящуюся к эксплуатации транспортного средства, такую как, например, данные о скорости транспортного средства или т.п., и логическая схема также определяет позу головы водителя. Исторические данные позы головы водителя обновляются на этапе 1708 с помощью вновь полученной позы головы водителя.

На этапе 1710 определяется, отличается ли собранная историческая информация от заранее определенного желаемого распределения для данного состояния транспортного средства. Если собранные исторические данные не отличаются от заданного желаемого распределения для данного состояния транспортного средства, то не предпринимается никаких действий. Однако, если собранные исторические данные действительно отличаются от заданного желаемого распределения для данного состояния транспортного средства, то способ 1700 вырабатывает на этапе 1730 предупредительный сигнал о позе головы и/или вырабатывает данные предупреждения о позе головы. Видеоизображение водителя записывается или иным образом собирается на этапе 1732, и предупредительный сигнал о положении головы и/или данные предупреждения о позе головы выборочно передаются на этапе 1734 вместе с видеоизображением водителя в центральную систему управления автопарком или подобную, аналогичную, сходную или т.п. Альтернативно, видеоизображение водителя и предупредительный сигнал о позе головы и/или данные предупреждения о позе головы могут выборочно сохраняться локально в устройстве памяти системы контроля водителя, расположенной для транспортного средства.

На фиг.18 показан пример карты 1800 распределения позы головы в соответствии с примерным вариантом осуществления. Как показано на этом чертеже, структура формирования изображения и анализа распределения поз головы может быть выполнена в сферических координатах с отображением в именованные местоположения. Отображенные местоположения могут включать в себя, например, расположение радиостанции 1822 транспортного средства, расположение правой и левой ниш для ног транспортного средства 1824 и 1826, расположение коленей водителя 1825, местоположения пассажиров в транспортном средстве 1828, расположения левого и правого зеркал транспортного средства 1830 и 1832, расположение солнцезащитного козырька транспортного средства 1850 или расположение проезжей части по направлению прямо вперед 1850. Цветовая тонированная "тепловая" карта (то есть гистограмма) может указывать то, что частота, с которой сталкивается каждое расположение, проиллюстрировано на этой фигуре, где тепловая карта, имеющая самую высокую интенсивность фокуса водителя, обозначена маркерами "х" для предположительно часто просматриваемой дороги по направлению вперед перед транспортным средством. Части карты могут ассоциироваться с метками, например, при замене радиостанции, и водитель смотрит вперед не в нормальной позе, а немного вправо, тогда область карты, с которой он сталкивается, может быть отмечена как радиостанция (или вероятность того, что это представляет собой радиостанцию, увеличивается). Аналогичные схемы маркировки могут использоваться для зеркал, этого времени, запущенного установленным мигающим сигналом поворота, и водителей, поворачивающих налево или направо, в смысле сигнала поворота.

Следует отметить, что безопасное положение вождения может меняться время от времени или в течение более длительного срока. Например, пользователю может потребоваться отрегулировать систему управления, которая находится достаточно далеко (например, вентилятор), или пользователь может изменить положение сиденья (например, чтобы облегчить боль в спине). Поэтому нам может потребоваться выполнить перезапуск гистограммы или замаскировать значения измерений, когда происходят эти, возможно временные или возможно постоянные, изменения.

На фиг.19 показана базовая блок-схема, иллюстрирующая способ 1900 сравнения гистограмм позы головы водителя, определения и предоставления отчетов относительно отклонений и/или изменений между гистограммами позы головы водителя в соответствии с вариантом осуществления. Обращаясь теперь к этой фигуре, способ 1900 определяет неправильное или поведение с отклонением направления головы водителя на основе метрики распределения позы головы водителя. Способ 1900 включает в себя этап 1910 запуска, который после этого инициирует этап 1912 системы формирования изображения водителя и кабины ассоциированного транспортного средства и получения данных изображения водителя. Поза головы водителя измеряется на этапе 1914, и на этапе 1916 создается гистограмма позы головы водителя за последние n секунд захвата изображения головы водителя.

Далее, на этапе 1920 система определяет то, показывает ли гистограмма различие между желаемым поведением водителя и фактическим поведением водителя. Если отсутствует различие между желаемым поведением водителя и фактическим поведением водителя, или если различие находится в пределах заранее определенных границ, система повторяет этап 1912, после чего система снова отображает изображения водителя и кабины ассоциированного транспортного средства и получает новые данные изображения водителя. С другой стороны, если существует различие между желаемым поведением водителя и фактическим поведением водителя, или если различие находится за пределами заданных границ, система инициирует этап 1922, после чего система вырабатывает сигнал невнимательности водителя, определенный на основе метрики распределения позы головы водителя.

На фиг.19a показана блок-схема последовательности операций, иллюстрирующая способ 1950 определения того, находится ли голова водителя за пределами заданного положения в соответствии с примерным вариантом осуществления, с особым акцентом на сбор статистических данных "нормальной" позы головы водителя, например, когда транспортное средство движется достаточно быстро и достаточно долго, перед оценкой позы головы водителя в соответствии с собранными статистическими данными. Таймер инициируется на этапе 1960, и на этапе 1962 осуществляется сбор статистических данных позы головы водителя. Предпочтительно, сбор статистических данных позы головы водителя осуществляется, когда транспортное средство движется достаточно быстро и достаточно долго. Среднее значение позы головы водителя и значения дисперсии в примерном варианте осуществления требуют некоторого времени для развития, прежде чем они приобретут какое-либо практическое значение, например, по шкале около одной (1) минуты при движении на высокой скорости. Только после того, как на этапе 1962 будут собраны и получены средние значения позы головы водителя и значения дисперсии, система согласно варианту осуществления узнает, что такое "регулярное" вождение для этого водителя, и только после этого система выполняет тестирование позы головы водителя. Этот тест состоит из формирования изображения водителя для получения на этапе 1964 текущего изображения водителя. На этапе 1970 выполняется сравнение текущих измеренных значений позы головы (рыскание, тангаж, крен, положение) и средних значений этих углов позы головы водителя, включая, например, тангаж головы водителя (водитель смотрит вниз или вверх), рыскание головы водителя (водитель смотрит влево или вправо) и крен головы водителя (водитель наклоняет голову вправо или влево), полученных на этапе 1962. Если любое из этих отклонений превышает выборочное количество стандартных отклонений, предпочтительно около двух (2) стандартных отклонений от соответствующего среднего значения, система считает, что голова водителя находится за пределами заданного положения. Таймер запускается на этапе 1972, когда голова находится за пределами заданного положения. Если значение таймера превышает пороговое значение, определенное на этапе 1974, на этапе 1980 выдается предупреждение. Когда голова не находится в нерабочем положении, таймер сбрасывается в ноль на этапе 1982.

На фиг.20 показана блок-схема последовательности операций, иллюстрирующая способ 2000 сравнения карт распределения поз головы и определения и предоставления отчетов относительно отклонений между фактической картой и требуемой соответствующей ситуации картой в соответствии с примерным вариантом осуществления. В данном варианте осуществления особое внимание уделяется сбору статистики "нормального" положения головы водителя, например, когда транспортное средство движется достаточно быстро и в течение достаточно длительного периода, перед оценкой положения головы водителя в соответствии с собранной статистикой. Таймер инициируется на этапе 2060, и на этапе 2062 осуществляется сбор статистических данных позы головы водителя. Предпочтительно, сбор статистических данных позы головы водителя осуществляется тогда, когда транспортное средство движется достаточно быстро и достаточно долго. В примерном варианте осуществления среднее значение позы головы водителя и значения дисперсии требуют некоторого времени для стабилизации, прежде чем они приобретут какое-либо практическое значение, например, по шкале около одной (1) минуты на высокой скорости. Только после того, как на этапе 2062 будут собраны и получены средние значения позы головы водителя и значения дисперсии, система согласно варианту осуществления узнает, что такое "регулярное" вождение для этого водителя, и только после этого система выполняет тестирование головы водителя за пределами заданного положения. Этот тест сначала состоит из формирования изображения водителя для получения на этапе 2064 изображения текущего водителя. На этапе 2070 выполняется сравнение текущих измеренных значений положения головы (рыскание, тангаж, крен, заданное положение) и гистограммы углов положения головы водителя, включая, например, тангаж головы водителя (водитель смотрит вниз или вверх), рыскание головы водителя (водитель смотрит влево или вправо), и на этапе 2062 получается крен головы водителя (водитель наклоняет голову влево или вправо). Если какое-либо из этих отклонений превышает допустимое количество стандартных отклонений, предпочтительно около двух (2) стандартных отклонений от соответствующего среднего значения, система считает, что голова водителя находится за пределами заданного положения. Таймер увеличивается на этапе 2072, когда голова находится за пределами заданного положения. Если значение таймера превышает пороговое значение, определенное на этапе 2074, на этапе 2080 выдается предупреждение. Когда голова не находится в нерабочем положении, таймер сбрасывается в ноль на этапе 2082.

Глаза водителя смотрят на дорогу с адаптируемой предупредительной полосой LDW

Водителям, которые неправильно смотрят на дорогу при движении вперед, вероятно, потребуется больше времени, чтобы отреагировать на опасную ситуацию. Поэтому желательно отрегулировать параметры предупреждения для системы обнаружения опасности, такой как устройство предупреждения о выезде с полосы движения или радиолокационное вспомогательное средство для определения расстояния, таким образом, чтобы водитель получал предупреждение более своевременно.

Таким образом, система примерного варианта осуществления связывает время, когда водитель не смотрит на дорогу вперед, с увеличенным параметром запаса для предупреждения. Например, можно использовать линейную зависимость, например:

Параметр предупреждения = базовое значение параметра предупреждения + (коэффициент * (время, прошедшее с момента, когда водитель последний раз смотрел на дорогу)).

В примерном варианте осуществления результирующее значение параметра предупреждения затем ограничивается некоторым максимальным значением и/или номером, который может выбрать водитель, менеджер автопарка и т.п. По истечении времени, прошедшего с того момента, когда водитель последний раз смотрел на дорогу, в соответствии с дополнительным вариантом осуществления значение "льготного периода" может быть вычтено до его использования в приведенном выше уравнении. Это предпочтительно позволяет водителю ненадолго отвести взгляд, в течение которого системы предупреждения транспортного средства не изменяют свою параметризацию. Понятно, что эквивалентная версия с отрицательным значением или корректировка в смысле уменьшения величины для вышеуказанного уравнения также могут применяться, как того требует приложение, использующее параметр.

Коэффициент в приведенном выше уравнении можно регулировать в определенных пределах, чтобы поддерживать желаемое поведение водителя, например, чтобы время движения оставалось больше некоторого минимального значения в течение по меньшей мере 95% времени. Эта корректировка может быть сделана водителем или из командного центра автопарка, который может наблюдать за статистикой поведения водителя, связанной с безопасностью.

Проверка использования зеркала водителя

Водители коммерческих транспортных средств имеют много задач для координации во время эксплуатации транспортного средства. Одной из таких задач является сканирование зеркал транспортного средства. Когда сканирование зеркала транспортного средства не выполняется должным образом или выполняется недостаточно часто, риск столкновения возрастает.

Таким образом, желательно выполнить систему, способ и устройство для проверки достаточности и адекватности использования зеркала водителя. В соответствии с вариантом осуществления камера 345, обращенная к водителю, используется для проверки правильного использования водителем зеркал транспортного средства.

Варианты осуществления преимущественно обеспечивают улучшения в эксплуатации транспортного средства, помогая повысить безопасность вождения, как для коммерческих, так и для других транспортных средств, а также для других транспортных средств, находящихся вокруг транспортного средства, имеющих системы, способы и устройства контроля поведения водителя согласно вариантам осуществления, представленным в данном документе, включая, в частности, вариант осуществления, обеспечивающий проверку использования зеркала. Вариант осуществления дополнительно обеспечивает характеристику водителя, такую как, например, информация биометрического идентификатора, и предупреждает водителя и удаленное управление автопарком, если происходит или обнаруживается какое-либо небезопасное поведение.

Алгоритмы поиска лиц на изображениях используют модель человеческого лица. Эта модель, как правило, отыскивает "ориентиры" лица, то есть контрастные, отчетливые области, такие как уголки рта, глаза и т.д. Когда найдена конфигурация таких ориентиров, которая находится в пределах геометрических ожидаемых результатов внешнего вида лица человека, находится лицо.

Конфигурация ориентиров связана с направлением, в котором лицо указывает (свою "позу") относительно камеры. Позу можно суммировать с помощью трехмерного вектора, берущего свое начало у носа человека, как показано на фиг.5a и 17, в виде трехмерного вектора 522 позы головы.

Кроме того, можно также видеть, что было определено положение лица (подбородок, рот, глаза и т.д.), размещаясь в пределах его определенного объема в пассажирском салоне. Кончик носа расположен на луче, исходящем из камеры, и в среднем приблизительно по центру на сиденье и направлен прямо вперед.

На фиг.21 показана иллюстрация границ, применяемых к использованию зеркала в соответствии с примерным вариантом осуществления. Система согласно варианту осуществления связывает вектор 522 позы лица вместе с положением головы, чтобы видеть, в каком направлении смотрит водитель (не обязательно, что смотреть или взглянуть являются одним и тем же). Хотя возможность взглянуть движением глаз только на зеркала возможна, система в течение продолжительного периода времени проверяет вектор 522 позы лица, чтобы определить, двигает ли водитель головой, чтобы посмотреть как следует на зеркала. Когда водитель не смотрит на зеркала достаточно часто 2120 или, возможно, слишком долго 2110 (в конце концов, в основном нужно смотреть вперед, например, при движении вперед), выдается предупреждение, и может быть запущена запись события безопасности, и может быть собрана статистика относительно поведения водителя.

Таким образом, система согласно варианту осуществления может использовать камеру 345, обращенную к водителю, чье положение и геометрия известны, вместе с положением головы водителя и позами для повышения безопасности, соблюдения политики, поиска намеков на усталость и сбора статистики безопасности и поведения водителя.

Частным случаем проверки использования зеркала является случай смены полосы движения. Хорошая практика вождения гласит, что зеркало, ассоциированное с полосой движения, на которую вы переходите, должно использоваться до того, как будет произведено смена полосы движения. Таким образом, например, когда сигнал поворота установлен, система согласно примерному варианту осуществления выполняет тест на использование зеркала перед сменой полосы движения. Например, тест позволяет определить, достаточно ли долго водитель смотрел на соответствующее зеркало (между верхней 2110 и нижней 2120 полосами) перед сменой полосы движения. Эквивалентно, если сигнал поворота не установлен, но полоса движения изменена (событие, обнаруживаемое системой предупреждения о выезде с полосы движения), и зеркало не просматривается, то также запускается событие "не использовать зеркало до обнаружения смены полосы движения".

Аналогичный тест для использования зеркала может быть выполнен тогда, когда водитель стоит на месте и мигает вправо. Это классическая, опасная ситуация для любых велосипедистов, расположенных на правой стороне коммерческого транспортного средства, где они могут быть сбиты при повороте грузового автомобиля. Таким образом, можно обеспечить правильное использование зеркала, проверив, что водитель посмотрел направо, прежде чем транспортное средство снова начнет движение, то есть создать визуальную блокировку при движении транспортного средства. Понятно, что левосторонняя версия этого также может быть реализована аналогичным образом в регионах, где нормой является левостороннее движение.

В соответствии с вариантом осуществления предусмотрена система, контролирующая состояние внимания водителя ассоциированного транспортного средства во время эксплуатации ассоциированного транспортного средства ассоциированным водителем. Система включает в себя устройство формирования изображения, расположенное в ассоциированном транспортном средстве, устройство управления, включающее в себя процессор, и выход, функционально связанный с процессором. Устройство формирования изображения захватывает изображение ассоциированного водителя, находящегося в ассоциированном транспортном средстве, и салона ассоциированного транспортного средства, и вырабатывает данные изображения, характеризующие захваченное изображение ассоциированного водителя, находящегося в ассоциированном транспортном средстве, и салона ассоциированного транспортного средства.

Устройство управления включает в себя вход для данных изображения, функционально связанный с процессором, устройство невременной памяти, функционально связанное с процессором, логическую схему направления головы водителя, хранящуюся в устройстве невременной памяти, и логическую схему управления, хранящуюся в невременном запоминающем устройстве.

Вход для данных изображения принимает данные изображения из устройства формирования изображения. Устройство невременной памяти хранит данные о геометрии транспортного средства, характеризующие относительные положения между одной или несколькими конструкциями ассоциированного транспортного средства, данные о положении устройства формирования изображения, характеризующие положение формирования изображения относительно одной или нескольких структур ассоциированного транспортного средства, и данные безопасной модели внимания, содержащие рекомендуемый диапазон значений параметра внимания водителя на дорогу контролируемого состояния внимания водителя ассоциированного транспортного средства.

Логическая схема обнаружения головы водителя исполняется процессором для обработки данных изображения с целью определения положения/определения области головы-кандидата изображения, захваченного устройством формирования изображения, вероятно, выше заданного порогового значения, хранящегося в устройстве невременной памяти, которое будет характеризовать голову ассоциированного водителя, находящегося в ассоциированном транспортном средстве, и маркировки тегом части данных изображения, соответствующих области головы-кандидата, обнаруженной/определенной логикой обнаружения головы водителя в качестве данных изображения головы водителя.

Логическая схема направления головы водителя исполняется процессором для обработки данных изображения головы водителя таким образом, чтобы определить направление, обращенное к голове ассоциированного водителя, и выработать данные о направлении, обращенном к голове водителя, причем данные о направлении, обращенном к голове водителя, характеризуют определенное направление движения головы ассоциированного водителя.

Логическая схема управления исполняется процессором для обработки данных о направлении, обращенном к голове водителя, вместе с данными о геометрии транспортного средства и данными о положении устройства формирования изображения таким образом, чтобы определить рабочее значение параметра внимания водителя на дорогу контролируемого состояния внимания водителя ассоциированного транспортного средства и выполнить сравнение между рекомендуемым диапазоном значений параметра внимания водителя на дорогу контролируемого состояния внимания водителя ассоциированного транспортного средства и определенным рабочим значением параметра внимания водителя на дорогу контролируемого состояния внимания водителя ассоциированного транспортного средства.

Логическая схема управления дополнительно исполняется процессором для определения состояния соответствия эксплуатации транспортного средства в соответствии с результатом сравнения между рекомендуемым диапазоном значений и определенным рабочим значением параметра внимания водителя на дорогу контролируемого состояния внимания водителя ассоциированного транспортного средства.

Логическая схема управления может в соответствии с примером определять состояние соответствия эксплуатации транспортного средства как одно из состояния невнимательности водителя в соответствии с первым результатом сравнения между рекомендуемым диапазоном значений и определенным рабочим значением параметра внимания водителя на дорогу контролируемого состояния внимания водителя ассоциированного транспортного средства, причем процессор вырабатывает данные о невнимательности водителя в соответствии с первым результатом, или состояния внимания водителя в соответствии со вторым результатом сравнения между рекомендуемым диапазоном значений и определенным рабочим значением параметра внимания водителя на дорогу контролируемого состояния внимания водителя ассоциированного транспортного средства.

На выходе выборочно принимаются данные о невнимательности водителя из процессора и вырабатывается сигнал невнимательности водителя, характеризующий определенное рабочее значение параметра внимания водителя на дорогу контролируемого состояния внимания водителя, находящегося за пределами рекомендуемого диапазона значений данных безопасной модели.

В соответствии с дополнительным примерным вариантом осуществления логическая схема управления исполняется процессором для обработки данных о направлении вперед головы водителя, вместе с данными о геометрии транспортного средства и данными о положении устройства формирования изображения таким образом, чтобы определить рабочее значение параметра внимания водителя на дорогу контролируемого состояния внимания водителя ассоциированного транспортного средства, коррелировать параметр внимания водителя на дорогу контролируемого состояния внимания водителя ассоциированного транспортного средства с рабочим значением параметра контролируемого состояния предупреждения о выезде за пределы полосы движения (LDW) ассоциированного транспортного средства и определить значение регулировки для модификации настройки системы LDW ассоциированного транспортного средства в соответствии с параметром внимания водителя на дорогу контролируемого состояния внимания водителя ассоциированного транспортного средства, коррелированного с рабочим значением параметра контролируемого состояния LDW ассоциированного транспортного средства. Выход функционально связан с входом системы LDW ассоциированного транспортного средства и выборочно принимает значение регулировки для изменения настройки LDW и доставляет значение регулировки в ассоциированное транспортное средство.

1. Система, контролирующая состояние внимания водителя транспортного средства во время эксплуатации транспортного средства водителем, причем система содержит:

устройство формирования изображения, расположенное в ассоциированном транспортном средстве, причем устройство формирования изображения захватывает изображение водителя, расположенного в транспортном средстве, и салона транспортного средства и вырабатывает данные изображения, характеризующие захваченное изображение водителя, расположенного в транспортном средстве, и салона ассоциированного транспортного средства; и

устройство управления, содержащее:

процессор;

вход для данных изображения, функционально связанный с процессором, причем вход для данных изображения принимает данные изображения из устройства формирования изображения;

устройство постоянной памяти, функционально связанное с процессором, причем устройство постоянной памяти хранит данные положения устройства формирования изображения, характеризующие положение устройства формирования изображения, относительно одной или более конструкций транспортного средства, и данные безопасной модели внимания содержат рекомендуемый диапазон значений параметра внимания водителя на дорогу контролируемого состояния внимания водителя;

логическую схему обнаружения головы водителя, хранящуюся в устройстве постоянной памяти, причем логическая схема обнаружения головы водителя исполняется процессором для того, чтобы:

обработать данные изображения для определения области головы-кандидата изображения, захваченного устройством формирования изображения, выше заданного порогового значения, сохраненного в устройстве постоянной памяти, которое будет характеризовать голову водителя; и

отметить часть данных изображения, соответствующих области головы-кандидата, определенной логической схемой обнаружения головы водителя в качестве данных изображения головы водителя;

логическую схему направления головы водителя, хранящуюся в устройстве постоянной памяти, причем логическая схема направления движения водителя исполняется процессором для того, чтобы:

обработать данные изображения головы водителя для определения вектора положения головы в качестве направления головы водителя; и

выработать данные о направлении движения головы водителя, причем данные о направлении движения головы водителя характеризуют определенное направление, обращенное к голове водителя;

логическую схему управления, хранящуюся в устройстве постоянной памяти, причем логическая схема управления исполняется процессором для того, чтобы:

обработать данные о направлении, обращенном к голове водителя, вместе с данными о положении устройства формирования изображения для определения рабочего значения параметра внимания водителя на дорогу контролируемого состояния внимания водителя указанного водителя;

определяют состояние соответствия эксплуатации транспортного средства в качестве состояния невнимательности водителя в соответствии с определенным рабочим значением параметра внимания водителя на дорогу, когда контролируемое состояние внимания водителя указанного водителя за пределами рекомендованного диапазона значений параметра внимания водителя на дорогу контролируемого состояния внимания водителя указанного водителя, причем процессор вырабатывает данные о невнимательности водителя в соответствии с определенным состоянием соответствия эксплуатации транспортного средства в качестве состояния невнимательности водителя; и

выхода, функционально связанного с процессором, причем выход выборочно принимает данные о невнимательности водителя и вырабатывает сигнал невнимательности водителя, характеризующий определенное рабочее значение параметра внимания водителя на дорогу контролируемого состояния внимания водителя, находящегося за пределами диапазона рекомендуемых значений параметра внимания водителя на дорогу контролируемого состояния внимания водителя указанного водителя.

2. Система по п.1, дополнительно содержащая:

логическую схему определения положения головы водителя, хранящуюся в устройстве постоянной памяти, причем логическая схема определения положения головы водителя исполняется процессором для того, чтобы:

обработать данные изображения головы водителя вместе с данными о положении устройства формирования изображения для определения расположения головы водителя относительно одной или более структур ассоциированного транспортного средства; и

выработать данные о расположении головы водителя, причем данные о расположении головы водителя характеризуют определенное расположение головы ассоциированного водителя относительно одной или более структур ассоциированного транспортного средства,

где логическая схема управления исполняется процессором для того, чтобы обработать выработанные данные о расположении головы водителя вместе с данными о направлении, обращенном к голове водителя, данными о положении устройства формирования изображения для определения рабочего значения параметра внимания водителя на дорогу контролируемого состояния внимания водителя транспортного средства.

3. Система по п.2, в которой:

логическая схема направления головы водителя исполняется процессором для того, чтобы:

обработать данные о расположении головы водителя для расположения лицевых ориентиров, сопоставленных с моделью головы для определения вектора нормали лица в качестве вектора положения головы для головы водителя, причем вектор нормали лица имеет начало координат в определенном месте головы водителя относительно одной или более структур управления транспортного средства; и

выработать данные о направлении вперед к голове водителя, содержащие вектор нормали лица.

4. Система по п.3, в которой:

устройство постоянной памяти, хранит данные о геометрии транспортного средства, содержащие данные о лобовом стекле транспортного средства, характеризующие относительное положение между лобовым стеклом ассоциированного транспортного средства и одной или более конструкциями транспортного средства;

данные безопасной модели внимания в устройстве постоянной памяти содержат рекомендуемый диапазон значений параметра просмотра водителем через лобовое стекло, в качестве промежуточного параметра для параметра внимания водителя на дорогу контролируемого состояния внимания водителя транспортного средства;

логическая схема управления исполняется процессором для того, чтобы:

обработать данные о расположении головы водителя и вектор нормали лица, чтобы определить рабочее значение параметра просмотра водителем через лобовое стекло;

выполнить сравнение между рекомендованным диапазоном значений параметра просмотра водителем через лобовое стекло и определенным рабочим значением параметра просмотра водителем через лобовое стекло; и

определить состояние соответствия транспортного средства в качестве одного из:

состояния невнимательности водителя в соответствии с первым результатом сравнения между рекомендованным диапазоном значений и определенным рабочим значением параметра просмотра водителем через лобовое стекло, причем процессор вырабатывает данные о невнимательности водителя в соответствии с первым результатом, или

состояния внимания водителя в соответствии со вторым результатом сравнения между рекомендуемым диапазоном значений и определенным рабочим значением параметра просмотра водителем через лобовое стекло.

5. Система по п.2, в которой:

логическая схема определения положения головы водителя исполняется процессором для определения положения головы водителя относительно одной или более структур транспортного средства посредством одного или более из:

логического вывода приблизительного расположения головы водителя относительно одной или более структур путем расположения в данных изображения ориентира на сиденье водителя транспортного средства, измерения одного или более из расстояния до и/или высоты ориентира, и логического вывода приблизительного расположения головы водителя относительно одной или более структур в соответствии с ориентиром, расположенным в данных изображения;

использования данных калибровки расположения головы водителя, характеризующих калиброванное положение головы водителя относительно одной или более структур транспортного средства, в качестве определенного расположения головы водителя относительно одной или более структур ассоциированного транспортного средства; и/или

логического вывода приблизительного расположения головы водителя относительно одной или более структур путем расположения в данных изображения вертикальной плоскости половины сиденья водителя транспортного средства и логического вывода приблизительного расположения головы водителя относительно одной или более структур в соответствии с вертикальной плоскостью половины сиденья водителя, расположенной в данных изображения.

6. Система по п.1, в которой:

логическая схема управления исполняется процессором для того, чтобы:

дискретизировать в течение заданного периода времени, данные о направлении, обращенном к голове водителя, и сохранить дискретизированные данные о направлении, обращенном к голове водителя, в устройстве постоянной памяти в виде последовательности данных о направлении, обращенном к голове водителя;

обработать сохраненную последовательность направления, обращенного к голове водителя, для определения типичного диапазона направления, обращенного к голове водителя, из дискретизированных данных направления, обращенного к голове водителя; и

сохранить в устройстве постоянной памяти определенный типичный диапазон направления, обращенного к голове водителя, из дискретизированных данных направления, обращенного к голове водителя, в качестве рекомендуемого диапазона значений параметра внимания водителя на дорогу контролируемого состояния внимания водителя транспортного средства.

7. Система по п.3, в которой:

данные о геометрии транспортного средства, хранящиеся в устройстве постоянной памяти, содержат данные зеркала транспортного средства, характеризующие относительное положение между боковым зеркалом транспортного средства и одной или несколькими конструкциями транспортного средства;

данные безопасной модели внимания в устройстве постоянной памяти содержат рекомендуемый диапазон значений для водителя, который рассматривает параметр бокового зеркала в качестве промежуточного параметра для параметра внимания водителя на дорогу контролируемого состояния внимания водителя транспортного средства;

логическая схема управления исполняется процессором для того, чтобы:

обработать данные о расположении головы водителя, вектор нормали лица и данные бокового зеркала транспортного средства для определения рабочего значения параметра просмотра водителем зеркала заднего вида контролируемого состояния внимания водителя транспортного средства;

выполнить сравнение между рекомендуемым диапазоном значений параметра просмотра водителем зеркала заднего вида контролируемого состояния внимания водителя ассоциированного транспортного средства и определенным рабочим значением параметра просмотра водителем зеркала заднего вида контролируемого состояния внимания водителя транспортного средства; и

определить состояние соответствия транспортного средства в качестве одного из:

состояния невнимательности водителя в соответствии с первым результатом сравнения между рекомендованным диапазоном значений и определенным рабочим значением параметра просмотра водителем зеркала заднего вида контролируемого состояния внимания водителя транспортного средства, причем процессор вырабатывает данные о невнимательности водителя в соответствии с первым результатом, или

состояния внимания водителя в соответствии со вторым результатом сравнения между рекомендуемым диапазоном значений и определенным рабочим значением параметра просмотра водителем зеркала заднего вида контролируемого состояния внимания водителя транспортного средства.

8. Система по п.7, в которой:

данные безопасной модели внимания содержат:

рекомендуемый верхний диапазон значений для водителя, смотрящего на параметр бокового зеркала контролируемого состояния внимания водителя транспортного средства; и

рекомендуемый нижний диапазон значений для водителя, смотрящего на параметр бокового зеркала контролируемого состояния внимания водителя транспортного средства;

логическая схема управления исполняется процессором для того, чтобы:

дискретизировать, в течение выбранного периода времени, данные о направлении, обращенном к голове водителя, и сохранить дискретизированные данные о направлении, обращенном к голове водителя, в устройство постоянной памяти в виде последовательности данных о направлении, обращенном к голове водителя;

обработать сохраненную последовательность данных о направлении, обращенном к голове водителя, для определения, в течение заданного контролируемого периода, коэффициента использования зеркала водителя в виде соотношения между количеством времени в течение заданного контролируемого периода, когда данные о направлении, обращенном к голове водителя, характеризуют голову водителя, обращенную к боковому зеркалу, и количеством времени в течение заданного контролируемого периода, когда данные о направлении, обращенном к голове водителя, характеризуют голову водителя, не обращенного к боковому зеркалу;

сравнить коэффициент использования зеркала водителя с рекомендованным верхним и нижним диапазонами значений водителя, смотрящего на параметры бокового зеркала контролируемого состояния внимания водителя транспортного средства;

выборочно выработать данные о невнимательности водителя в соответствии с коэффициентом использования зеркала водителя, который:

больше рекомендуемого верхнего диапазона значений для водителя, смотрящего на параметр бокового зеркала контролируемого состояния внимания водителя транспортного средства, или

меньше рекомендуемого нижнего диапазона значений для водителя, смотрящего на параметр бокового зеркала контролируемого состояния внимания водителя транспортного средства.

9. Система по п.3, в которой:

логическая схема управления исполняется процессором для того, чтобы:

определить, в течение заданного времени обнаружения, среднее значение положения головы вектора нормали лица;

определить, в течение заданного времени обнаружения, дисперсию среднего значения положения головы вектора нормали лица; и

определить, в течение заданного времени обнаружения, стандартное отклонение дисперсии вектора нормали лица.

10. Система по п.9, в которой:

устройство постоянной памяти сохраняет, в качестве параметра внимания водителя на дорогу данных безопасной модели внимания, рекомендованный диапазон значений параметра выхода за пределы заданного положения головы водителя контролируемого состояния внимания водителя в качестве выбираемого множителя определенного стандартного отклонения дисперсии вектора нормали лица; и

логическая схема управления, хранящаяся в устройстве постоянной памяти, исполняется процессором для того, чтобы:

обработать вектор нормали лица для определения рабочего значения параметра внимания водителя на дорогу контролируемого состояния внимания водителя транспортного средства;

выполнить сравнение между рекомендуемым диапазоном значений параметра выхода за пределы заданного положения головы водителя контролируемого состояния внимания водителя транспортного средства и определенным рабочим значением параметра выхода за пределы заданного положения головы водителя контролируемого состояния внимания водителя транспортного средства; и

определить состояние соответствия транспортного средства в качестве одного из:

состояния невнимательности водителя в соответствии с первым результатом сравнения между рекомендованным диапазоном значений и определенным рабочим значением параметра выхода за пределы заданного положения головы водителя контролируемого состояния внимания водителя транспортного средства, причем процессор вырабатывает данные о невнимательности водителя в соответствии с первым результатом, или

состояния внимания водителя в соответствии со вторым результатом сравнения между рекомендованным диапазоном значений и определенным рабочим значением параметра выхода за пределы заданного положения головы водителя контролируемого состояния внимания водителя транспортного средства.

11. Система по п.9, в которой:

логическая схема управления исполняется процессором для того, чтобы:

определить, в течение заданного времени обнаружения, среднее значение положения головы вектора нормали лица по первой, второй и третьей осям;

определить, в течение заданного времени обнаружения, дисперсию среднего значения положения головы вектора нормали лица по первой, второй и третьей осям; и

определить, в течение заданного времени обнаружения, стандартное отклонение дисперсии вектора нормали лица по первой, второй и третьей осям.

12. Система по п.11, в которой:

устройство постоянной памяти хранит, в качестве параметра внимания водителя на дорогу данных безопасной модели внимания, рекомендованный диапазон значений параметра выхода за пределы заданного положения головы водителя по первой, второй и третьей осям контролируемого состояния внимания водителя в качестве выбираемого множителя определенного стандартного отклонения дисперсии вектора нормали лица по первой, второй и третьей осям;

логическая схема управления, хранящаяся в устройстве постоянной памяти, исполняется процессором для того, чтобы:

обработать вектор нормали лица для определения рабочих значений параметра внимания водителя на дорогу по первой, второй и третьей осям контролируемого состояния внимания водителя транспортного средства;

выполнить сравнение между рекомендованными диапазонами значений параметра положения параметра выхода за пределы заданного положения головы водителя по первой, второй и третьей осям контролируемого состояния внимания водителя ассоциированного транспортного средства и определенными рабочими значениями параметра положения головы водителя по первой, второй и третьей осям контролируемого состояния внимания водителя транспортного средства; и

определить состояние соответствия транспортного средства в качестве одного из:

состояния невнимательности водителя в соответствии с первым результатом сравнения между рекомендованными диапазонами значений и определенными рабочими значениями параметра выхода за пределы заданного положения головы водителя контролируемого состояния внимания водителя транспортного средства, причем процессор вырабатывает данные о невнимательности водителя в соответствии с первым результатом, или

состояния внимания водителя в соответствии со вторым результатом сравнения между рекомендованными диапазонами значений и определенными рабочими значениями параметра выхода за пределы заданного положения головы водителя контролируемого состояния внимания водителя транспортного средства.

13. Система по п.3, дополнительно содержащая:

логическую схему обнаружения лица водителя, хранящуюся в устройстве постоянной памяти, причем логическая схема обнаружения лица водителя исполняется процессором для того, чтобы:

обработать данные о расположении головы водителя и вектор нормали лица для выборочного определения, из данных изображения, лица водителя; и

выработать одно из: данных характеристик лица водителя, характеризующих выборочно определенное лицо ассоциированного водителя, или данных блокированного изображения, характеризующих неспособность логической схемы расположения обнаружения лица водителя выборочно определять лицо водителя из данных изображения; и

вход, функционально связанный с процессором, причем вход выборочно принимает из транспортного средства сигнал движения транспортного средства, характеризующий движение транспортного средства,

где логическая схема управления исполняется процессором для выборочной выработки, в ответ на вход, принимающий сигнал движения транспортного средства и на вырабатываемые данные блокированного изображения, данных затрудненного обзора, характеризующих препятствие между устройством формирования изображения и водителем, находящимся в транспортном средстве.

14. Система по п.1, дополнительно содержащая:

логическую схему обнаружения лица водителя, хранящуюся в устройстве постоянной памяти, причем логическая схема обнаружения лица водителя исполняется процессором для того, чтобы:

обработать данные положения головы водителя и вектора нормали лица для выборочного определения, из данных изображения, лица водителя; и

выработать одно из: данных характеристик лица водителя, характеризующих выборочно определенное лицо ассоциированного водителя, или данных блокированного изображения, характеризующих неспособность логической схемы расположения обнаружения лица водителя выборочно определять лицо водителя из данных изображения; и

вход, функционально связанный с процессором, причем вход выборочно принимает из ассоциированного транспортного средства сигнал движения транспортного средства, характеризующий движение ассоциированного транспортного средства,

где логическая схема управления исполняется процессором для выборочной выработки, в ответ на вход, принимающий сигнал движения транспортного средства и на вырабатываемые данные затрудненного обзора, данных затрудненного обзора, характеризующих препятствие между устройством формирования изображения и ассоциированным водителем, находящимся в транспортном средстве.

15. Система по п.1, в которой:

логическая схема управления исполняется процессором для того, чтобы:

обработать данные о направлении, обращенном к голове водителя, вместе с данными о геометрии транспортного средства и данными о положении устройства формирования изображения для определения рабочего значения параметра внимания водителя на дорогу контролируемого состояния внимания водителя транспортного средства;

коррелировать параметр внимания водителя на дорогу контролируемого состояния внимания водителя транспортного средства с рабочим значением параметра контролируемого состояния предупреждения о выходе из полосы движения (LDW) транспортного средства; и

определить значение регулировки для изменения настройки системы LDW ассоциированного транспортного средства в соответствии с параметром внимания водителя на дорогу контролируемого состояния внимания водителя транспортного средства, коррелированного с рабочим значением параметра контролируемого состояния LDW транспортного средства;

выход функционально связан с входом системы LDW ассоциированного транспортного средства, причем выход выборочно принимает значение регулировки для модификации настройки LDW и доставляет значение регулировки в транспортное средство.

16. Система по п. 1, в которой:

логическая схема управления исполняется процессором для:

определения времени, прошедшего с момента, когда водитель смотрел прямо через лобовое стекло транспортного средства; и

выработки данных параметра предупреждения для пополнения, посредством системы обнаружения опасности транспортного средства, данных базового параметра предупреждения системы обнаружения опасности транспортного средства в соответствии с тем, что:

данные параметра предупреждения = данные базового параметра предупреждения + ((выбранный фактор) * (время, прошедшее с момента, когда водитель смотрел прямо); и

выход, принимающий выработанные данные предупреждения и вырабатывающий сигнал параметра предупреждения для использования системой обнаружения опасности транспортного средства, содержащей систему предупреждения о выезде с полосы движения и/или радиолокационное вспомогательное средство для определения расстояния, причем указанный сигнал параметра предупреждения представляет определенные данные параметра предупреждения.

17. Система по п. 16, в которой:

логическая схема управления исполняется процессором, для определения времени, прошедшего с момента, когда водитель смотрел прямо через лобовое стекло транспортного средства, посредством:

вычитания из прошедшего времени, времени, которое водитель не смотрит вперед через лобовое стекло в течение одного или более периодов, меньших заданного допустимого периода.

18. Система по п. 16, в которой

логическая схема управления исполняется процессором для выработки данных параметра предупреждения с заданным верхним максимальным значением и/или номером, посредством системы обнаружения опасности транспортного средства, данными базового параметра предупреждения системы обнаружения опасности транспортного средства.

19. Система по п. 16, в которой:

устройство постоянной памяти хранит выбираемый коэффициент, используемый для выработки данных параметра предупреждения, причем

система дополнительно содержит вход для приема выбираемого фактора от одного или более водителей транспортного средства и/или от командного центра, имеющего оперативную связь с указанной системой.