Устройство обнаружения трехмерных объектов и способ обнаружения трехмерных объектов

Группа изобретений относится к вариантам выполнения устройства обнаружения трехмерных объектов. Устройство содержит: модуль 41 задания областей обнаружения для задания области обнаружения позади с правой стороны и с левой стороны от транспортного средства; модули 33, 37 обнаружения трехмерных объектов для обнаружения трехмерного объекта, который присутствует в правосторонней области A1 обнаружения или левосторонней области A2 обнаружения позади транспортного средства, на основе информации изображений из камеры 10 сзади транспортного средства; модуль 34 оценки трехмерных объектов для определения того, представляет или нет обнаруженный трехмерный объект собой другое транспортное средство VX, которое присутствует в правосторонней области A1 обнаружения или левосторонней области A2 обнаружения. Модуль 41 задания областей обнаружения, когда влажное состояние линзы обнаруживается, изменяет позицию первой области обнаружения, которая сначала задается в качестве области обнаружения, таким образом, что эта область не включает в себя область отображения белой линии дорожной разметки на стороне полосы движения транспортного средства из числа белых линий дорожной разметки в смежных полосах движения, которые являются смежными с полосой движения, в которой едет транспортное средство, и задает вторую область обнаружения в качестве новых областей A1, A2 обнаружения. Обеспечивается повышение безопасности движения за счет точности отражения реальной обстановки на дороге. 5 н. и 8 з.п. ф-лы, 28 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству обнаружения трехмерных объектов и к способу обнаружения трехмерных объектов.

Данная заявка испрашивает приоритет заявки на патент (Япония) № 2012-166515, поданной 27 июля 2012 года, и в указанных государствах, которые признают включение документа по ссылке, содержимое, описанное в вышеуказанной заявке, содержится в данном документе по ссылке и считается частью описания настоящей заявки.

УРОВЕНЬ ТЕХНИКИ

[0002] В известном устройстве обнаружения помех, захваченные изображения окрестности транспортного средства преобразуются в вид «с высоты птичьего полета», и помеха обнаруживается с использованием разностей между двумя преобразованными изображениями вида «с высоты птичьего полета», захваченными в различные моменты времени (см. патентный документ 1).

ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] Патентный документ 1. Выложенная заявка на патент (Япония) № 2008-227646

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ПРОБЛЕМЫ, РАЗРЕШАЕМЫЕ ИЗОБРЕТЕНИЕМ

[0004] При обнаружении другого транспортного средства, едущего по смежной полосе движения относительно полосы движения рассматриваемого (ведущего) транспортного средства, в качестве помехи с использованием изображения, которое захватывает заднюю часть транспортного средства, если вода прилипает к линзе, и линза является влажной, искажается изображение белой линии дорожной разметки, которая представляет собой разделительную линию на дороге; следовательно, имеется проблема в том, что изображение искривленной белой линии дорожной разметки ошибочно некорректно идентифицируется в качестве изображения другого транспортного средства, едущего по смежной полосе движения.

[0005] Проблема, которая должна разрешаться посредством настоящего изобретения, заключается в том, чтобы предоставлять устройство обнаружения трехмерных объектов и способ обнаружения трехмерных объектов, которые позволяют обнаруживать другое транспортное средство, едущее по смежной полосе движения, с высокой степенью точности посредством предотвращения ошибочного обнаружения изображения белой линии дорожной разметки, которое захватывается, когда линза является влажной, в качестве другого транспортного средства, которое едет по смежной полосе движения, которая является смежной с полосой движения рассматриваемого транспортного средства.

СРЕДСТВО ДЛЯ РАЗРЕШЕНИЯ УКАЗАННЫХ ПРОБЛЕМ

[0006] Когда выполняется определение в отношении того, что линза находится во влажном состоянии, настоящее изобретение разрешает проблему посредством изменения позиции первой области обнаружения, которая сначала задается в качестве области обнаружения, таким образом, что эта область не включает в себя область отображения для разделительной линии на стороне полосы движения транспортного средства из разделительных линий на смежной полосе движения, которая является смежной с полосой движения, в которой едет транспортное средство, и задания второй области обнаружения.

ПРЕИМУЩЕСТВО ИЗОБРЕТЕНИЯ

[0007] Когда выполняется определение в отношении того, что линза находится во влажном состоянии, настоящее изобретение изменяет позицию первой области обнаружения, которая сначала задается в качестве области обнаружения, вдоль направления ширины транспортного средства, и задает вторую область обнаружения, в которой удаляется область отображения разделительной линии на стороне полосы движения транспортного средства из числа разделительных линий в смежных полосах движения, которые являются смежными с полосой движения, в которой едет транспортное средство; следовательно, возможно предотвращение включения разделительной линии на смежной полосе движения в область обнаружения, и возможно предотвращение ошибочного обнаружения искривленной разделительной линии, которая захватывается с использованием влажной линзы, в качестве другого транспортного средства, которое едет по смежной полосе движения, которая является смежной с полосой движения рассматриваемого транспортного средства. Как результат, возможно предоставление устройства обнаружения трехмерных объектов, которое обнаруживает другое транспортное средство, которое едет в смежной полосе движения, которая является смежной с полосой движения рассматриваемого транспортного средства, с высокой степенью точности.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008] Фиг. 1 является схематичным видом транспортного средства согласно одному варианту осуществления, к которому применяется устройство обнаружения трехмерных объектов настоящего изобретения.

Фиг. 2 является видом сверху (обнаружение трехмерных объектов посредством информации форм разностных сигналов), иллюстрирующим состояние движения транспортного средства на фиг. 1.

Фиг. 3 является блок-схемой, иллюстрирующей подробности компьютера на фиг. 1.

Фиг. 4 является видом, показывающим общее представление обработки модуля совмещения на фиг. 3. Фиг. 4(a) является видом сверху, иллюстрирующим состояние движения транспортного средства, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.

Фиг. 5 является схематичным видом, иллюстрирующим способ, которым формируется форма разностного сигнала посредством модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 6 является видом, иллюстрирующим небольшие области, разделенные посредством модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 7 является видом, иллюстрирующим пример гистограммы, полученной посредством модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 8 является видом, иллюстрирующим взвешивание, используемое посредством модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 9 является видом, иллюстрирующим работу модуля обнаружения размытостей на фиг. 3, а также операцию вычисления для формы разностного сигнала, полученной за счет этого.

Фиг. 10 является видом, иллюстрирующим другой пример гистограммы, полученной посредством модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 11 является блок-схемой последовательности операций способа (первой), иллюстрирующей способ обнаружения трехмерных объектов с использованием информации форм разностных сигналов, который осуществляется посредством модуля преобразования точки обзора, модуля совмещения, модуля обнаружения размытостей и модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 12 является блок-схемой последовательности операций способа (второй), иллюстрирующей способ обнаружения трехмерных объектов с использованием информации форм разностных сигналов, который осуществляется посредством модуля преобразования точки обзора, модуля совмещения, модуля обнаружения размытостей и модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 13 является видом, иллюстрирующим состояние движения транспортного средства (обнаружение трехмерных объектов посредством информации краев) на фиг. 1. Фиг. 13(a) является видом сверху, иллюстрирующим позиционную взаимосвязь между областями обнаружения, а фиг. 13(b) является видом в перспективе, иллюстрирующим позиционную взаимосвязь между областями обнаружения в реальном пространстве.

Фиг. 14 является видом, показывающим работу модуля вычисления яркостного различия на фиг. 3. Фиг. 14(a) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в изображении вида «с высоты птичьего полета», а фиг. 14(b) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в реальном пространстве.

Фиг. 15 является видом, показывающим подробную работу модуля вычисления яркостного различия на фиг. 3. Фиг. 15(a) является видом, иллюстрирующим область обнаружения в изображении вида «с высоты птичьего полета», а фиг. 15(b) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в изображении вида «с высоты птичьего полета».

Фиг. 16 является видом, иллюстрирующим линию края и распределение яркости на линии края. Фиг. 16(a) является видом, иллюстрирующим распределение яркости, когда трехмерный объект (транспортное средство) присутствует в области обнаружения, а фиг. 16(b) является видом, иллюстрирующим распределение яркости, когда трехмерный объект не присутствует в области обнаружения.

Фиг. 17 является блок-схемой последовательности операций способа (первой), иллюстрирующей способ обнаружения трехмерных объектов с использованием информации краев, который осуществляется посредством модуля преобразования точки обзора, модуля вычисления яркостного различия, модуля обнаружения линий краев и модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 18 является блок-схемой последовательности операций способа (второй), иллюстрирующей способ обнаружения трехмерных объектов с использованием информации краев, который осуществляется посредством модуля преобразования точки обзора, модуля вычисления яркостного различия, модуля обнаружения линий краев и модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 19 является видом, иллюстрирующим пример изображения, который показывает операцию обнаружения краев.

Фиг. 20 является видом, иллюстрирующим пример захваченного изображения камеры.

Фиг. 21 является видом, показывающим информацию, которая генерируется в случае, если искажается белая линия дорожной разметки.

Фиг. 22 является видом, иллюстрирующим пример первой области обнаружения по умолчанию.

Фиг. 23 является видом, иллюстрирующим первый пример второй области обнаружения.

Фиг. 24 является видом, иллюстрирующим второй пример второй области обнаружения.

Фиг. 25 является видом, иллюстрирующим третий пример второй области обнаружения.

Фиг. 26 является видом, иллюстрирующим четвертый пример второй области обнаружения.

Фиг. 27 является видом, иллюстрирующим пример взаимосвязи между величиной неточного совмещения области обнаружения и пороговым значением, используемым для обнаружения трехмерного объекта.

Фиг. 28 является блок-схемой последовательности операций способа другого примера, иллюстрирующей процедуру управления устройства обнаружения трехмерных объектов настоящего варианта осуществления.

ПРЕДПОЧТИТЕЛЬНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0009] Фиг. 1 является схематичным видом транспортного средства согласно одному варианту осуществления, к которому применяется устройство 1 обнаружения трехмерных объектов настоящего изобретения; устройство 1 обнаружения трехмерных объектов настоящего примера представляет собой устройство для обнаружения другого транспортного средства, на котором водитель рассматриваемого транспортного средства V должен акцентировать внимание в ходе езды, например, другого транспортного средства, с которым возможен контакт, если рассматриваемое транспортное средство V должно сменять полосу движения, в качестве помехи. В частности, устройство 1 обнаружения трехмерных объектов настоящего примера обнаруживает другое транспортное средство, которое едет по смежной полосе движения, которая является смежной с полосой движения, в которой едет рассматриваемое транспортное средство (в дальнейшем также называемой просто "смежной полосой движения"). Кроме того, устройство 1 обнаружения трехмерных объектов настоящего примера имеет возможность вычислять проезжаемое расстояние и скорость движения другого транспортного средства, которое обнаруживается. Соответственно, в примере, описанном ниже, проиллюстрирован пример, в котором устройство 1 обнаружения трехмерных объектов монтируется на рассматриваемом транспортном средстве V, и из трехмерных объектов, обнаруженных в окрестности рассматриваемого транспортного средства, обнаруживается другое транспортное средство, которое едет по смежной полосе движения, которая является смежной с полосой движения, в которой едет рассматриваемое транспортное средство. Как проиллюстрировано на чертеже, устройство 1 обнаружения трехмерных объектов настоящего примера содержит камеру 10, датчик 20 скорости транспортного средства, компьютер 30, датчик 50 капель дождя, стеклоочиститель 60, навигационное устройство 70, содержащее устройство 71 связи и GPS-устройство 72, и устройство 80 очистки линзы.

[0010] Камера 10 присоединена к рассматриваемому транспортному средству V таким образом, что оптическая ось располагается под углом θ вниз от горизонта в местоположении на высоте h в задней части рассматриваемого транспортного средства V, как проиллюстрировано на фиг. 1. Из этой позиции, камера 10 захватывает предварительно определенную область окружения рассматриваемого транспортного средства V. Предусмотрена одна камера 1, которая предоставляется для обнаружения трехмерного объекта позади рассматриваемого транспортного средства V в настоящем варианте осуществления, но другие камеры могут предоставляться для других вариантов использования, например, для получения изображения окрестности транспортного средства. Датчик 20 скорости транспортного средства обнаруживает скорость движения рассматриваемого транспортного средства V и вычисляет скорость транспортного средства из скорости вращения колес, обнаруженной, например, посредством датчика скорости вращения колес для обнаружения скорости вращения колеса. Компьютер 30 обнаруживает трехмерный объект позади транспортного средства и в настоящем примере вычисляет проезжаемое расстояние и скорость движения трехмерного объекта. Датчик 50 капель дождя, стеклоочиститель 60, навигационное устройство 70 и устройство 80 очистки линзы обнаруживают наличие/отсутствие капель дождя, которые прилипают к рассматриваемому транспортному средству V, количество капель дождя, присутствие/отсутствие очищающей жидкости, которая прилипает к линзе 11, и количество очищающей жидкости и отправляют результаты обнаружения в модуль 38 оценки, упомянутый ниже. Ниже подробно описывается каждое устройство.

[0011] Фиг. 2 является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V на фиг. 1. Как проиллюстрировано на чертеже, камера 10 захватывает заднюю сторону транспортного средства под предварительно определенным углом a обзора. В это время, угол а обзора камеры 10 задается равным углу обзора, который обеспечивает возможность захвата левой и правой полос движения в дополнение с полосой движения, в которой едет рассматриваемое транспортное средство V. Области, которые могут быть захвачены, включают в себя целевые области A1, A2 обнаружения в смежных полосах движения слева и справа от полосы движения рассматриваемого транспортного средства V позади рассматриваемого транспортного средства V. Задняя часть транспортного средства в настоящем варианте осуществления включает в себя не только место непосредственно позади транспортного средства, но также и бока задней стороны транспортного средства. Область сзади транспортного средства, которая захватывается, задается согласно углу обзора камеры 10. В качестве примера, непосредственно позади транспортного средства, вдоль направления длины транспортного средства предположительно он составляет нуль градусов, но он может задаваться с возможностью включать в себя область, которая составляет 0-90 градусов, предпочтительно 0-70 градусов и т.п., слева и справа от направления непосредственно позади.

[0012] Фиг. 3 является блок-схемой, иллюстрирующей подробности компьютера 30 на фиг. 1. Камера 10, а также датчик 20 скорости транспортного средства, датчик 50 капель дождя, стеклоочиститель 60, навигационное устройство 70 и устройство 80 очистки линзы, также проиллюстрированы на фиг. 3, чтобы четко указывать взаимосвязи соединений. Датчик 20 скорости транспортного средства, датчик 50 капель дождя, стеклоочиститель 60, навигационное устройство 70 и устройство 80 очистки линзы монтируются на транспортном средстве и могут отправлять и принимать информацию в/из компьютера 30 через бортовую сеть связи, такую как CAN (контроллерная сеть).

[0013] Как проиллюстрировано на фиг. 3, компьютер 30 содержит модуль 31 преобразования точки обзора, модуль 32 совмещения, модуль 33 обнаружения трехмерных объектов, модуль 34 оценки трехмерных объектов, модуль 38 оценки состояния линзы, модуль 41 задания областей обнаружения, контроллер 39 и модуль 40 обнаружения размытостей. Компьютер 30 настоящего варианта осуществления представляет собой конфигурацию, связанную с блоком обнаружения для трехмерного объекта, который использует информацию форм разностных сигналов. Компьютер 30 настоящего варианта осуществления также может иметь конфигурацию, связанную с блоком обнаружения для трехмерного объекта, который использует информацию краев. В этом случае, может быть предусмотрена такая конфигурация, в которой в конфигурации, проиллюстрированной на фиг. 3, блочная конфигурация A, сконфигурированная посредством модуля 32 совмещения и модуля 33 обнаружения трехмерных объектов, заменяется на блочную конфигурацию B, сконфигурированную посредством модуля 35 вычисления яркостного различия, обведенного посредством пунктирной линии, модуля 36 обнаружения линий краев и модуля 37 обнаружения трехмерных объектов. Конечно, может быть предусмотрена такая конфигурация, в которой предоставляются как блочная конфигурация A, так и блочная конфигурация B, чтобы предоставлять возможность обнаружения трехмерных объектов с использованием информации форм разностных сигналов, а также обнаружение трехмерных объектов с использованием информации краев. В случае если предоставляются блочная конфигурация A и блочная конфигурация B, блочная конфигурация A или блочная конфигурация B может работать согласно факторам окружающей среды, таким как яркость. Каждая из конфигураций описывается ниже.

[0014] ОБНАРУЖЕНИЕ ТРЕХМЕРНОГО ОБЪЕКТА ПОСРЕДСТВОМ ИСПОЛЬЗОВАНИЯ ИНФОРМАЦИИ ФОРМ РАЗНОСТНЫХ СИГНАЛОВ

Устройство 1 обнаружения трехмерных объектов настоящего варианта осуществления обнаруживает трехмерный объект, который присутствует в области A1 обнаружения в правосторонней смежной полосе движения или в области A2 обнаружения в левосторонней смежной полосе движения сзади транспортного средства, на основе информации изображений, полученной посредством монокулярной камеры, которая захватывает заднюю часть транспортного средства. Модуль 41 задания областей обнаружения задает области A1, A2 обнаружения позади с правой стороны и с левой стороны от рассматриваемого транспортного средства V в информации захваченных изображений и изменяет эти позиции. Позиции этих областей A2, A2 обнаружения не ограничены конкретным образом и могут быть надлежащим образом заданы согласно условиям обработки. В частности, когда модуль 38 оценки состояния линзы, упомянутый ниже, определяет, что линза 11 находится во влажном состоянии, модуль 41 задания областей обнаружения настоящего варианта осуществления изменяет позиции первых областей A11, A21 обнаружения, которые сначала задаются в качестве областей A1, A2 обнаружения, таким образом, что они не включают в себя область отображения белой линии дорожной разметки на стороне полосы движения рассматриваемого транспортного средства V из числа белых линий дорожной разметки на смежной полосе движения, которая является смежной с полосой движения, в которой едет рассматриваемое транспортное средство V, и задает вторые области A12, A22 обнаружения в качестве новых областей A1, A2 обнаружения. Ниже подробно описывается задание новых вторых областей A12, A22 обнаружения.

[0015] Далее описывается модуль преобразования точки обзора. Захваченные данные изображений предварительно определенной области, полученные посредством камеры 10, вводятся в модуль 31 преобразования точки обзора, и захваченные данные изображений, введенные таким способом, преобразуются в данные изображений вида «с высоты птичьего полета», которые представляют собой состояние вида «с высоты птичьего полета». Состояние вида «с высоты птичьего полета» представляет собой состояние просмотра объекта с точки обзора воображаемой камеры, которая смотрит вниз сверху, в частности, вертикально вниз. Преобразование точки обзора может быть выполнено способом, описанным, например, в выложенной заявке на патент (Япония) № 2008-219063. Причина, по которой захваченные данные изображений преобразуются в данные изображений вида «с высоты птичьего полета», основана на таком принципе, что перпендикулярные края, уникальные для трехмерного объекта, преобразуются в группу прямых линий, которая проходит через конкретную фиксированную точку, посредством преобразования точки обзора в данные изображений вида «с высоты птичьего полета»; использование этого принципа дает возможность различения плоского объекта и трехмерного объекта. Результаты процесса преобразования изображений посредством плоского объекта 31 также используются при обнаружении плоских объектов посредством информации краев, как описано ниже.

[0016] Данные изображений вида «с высоты птичьего полета», полученные посредством преобразования точки обзора, которое выполняется посредством модуля 31 преобразования точки обзора, последовательно вводятся в модуль 32 совмещения, и входные позиции данных изображений вида «с высоты птичьего полета» в различные моменты времени совмещаются. Фиг. 4 является видом, показывающим общее представление обработки модуля 32 совмещения; фиг. 4(a) является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.

[0017] Как проиллюстрировано на фиг. 4(a), предполагается, что рассматриваемое транспортное средство V в данный момент времени размещается в V1, и что рассматриваемое транспортное средство V за один момент времени до этого размещается в V2. Также предполагается, что другое транспортное средство VX размещается позади рассматриваемого транспортного средства V и едет параллельно рассматриваемому транспортному средству V, что другое транспортное средство VX в текущий момент времени размещается в V3, и другое транспортное средство VX за один момент времени до этого размещается в V4. Кроме того, предполагается, что рассматриваемое транспортное средство V проезжает расстояние d в течение одного момента времени. Фраза "за один момент времени до этого" может быть моментом времени в прошлом, которое составляет время, предварительно заданное (например, один цикл управления) с данного момента времени, либо она может быть моментом времени в прошлом, который составляет произвольное время.

[0018] В этом состоянии, изображение PBt вида «с высоты птичьего полета» в текущее время является таким, как показано на фиг. 4(b). Белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными в этом изображении PBt вида «с высоты птичьего полета» и являются относительно точными в виде сверху, но позиция другого транспортного средства VX в позиции V3 сплющивается. Дополнительно, белые линии дорожной разметки, нарисованные на поверхности дороги, также являются прямоугольными в изображении PBt вида «с высоты птичьего полета» за один момент времени до этого и являются относительно точными в виде сверху, но другое транспортное средство VX в позиции V4 сплющивается. Как описано выше, перпендикулярные края трехмерного объекта (края, которые расположены вертикально прямо в трехмерном пространстве от поверхности дороги, также включаются в строгий смысл перпендикулярного края) выглядят как группа прямых линий вдоль направления сплющивания вследствие операции для преобразования точки обзора в данные изображений вида «с высоты птичьего полета»; тем не менее, но поскольку плоское изображение на поверхности дороги не включает в себя перпендикулярные края, такое сплющивание не возникает, даже когда точка обзора преобразована.

[0019] Модуль 32 совмещения совмещает изображения PBt и PBt-1 вида «с высоты птичьего полета», такие как изображения PBt и PBt-1, описанные выше, с точки зрения данных. Когда это выполняется, модуль 32 совмещения смещает изображение PBt-1 вида «с высоты птичьего полета» за один момент времени до этого и сопоставляет позицию с изображением PBt вида «с высоты птичьего полета» в данный момент времени. Левое изображение и центральное изображение на фиг. 4(b) иллюстрируют состояние смещения на проезжаемое расстояние d′. Величина d′ смещения является величиной перемещения в данных изображений вида «с высоты птичьего полета», которая соответствует фактическому проезжаемому расстоянию d рассматриваемого транспортного средства V, как проиллюстрировано на фиг. 4(a), и определяется на основе сигнала из датчика 20 скорости транспортного средства и времени от одного момента времени до этого до данного момента времени.

[0020] После совмещения модуль 32 совмещения получает разность между изображениями PBt и PBt-1 вида «с высоты птичьего полета» и генерирует данные разностного изображения PDt. Здесь, пиксельные значения разностного изображения PDt могут быть абсолютными значениями разности в пиксельных значениях изображений PBt и PBt-1 вида «с высоты птичьего полета»; альтернативно, они могут задаваться равными 1, когда абсолютное значение превышает предварительно определенное пороговое значение p, и задаваться равными 0, когда оно не превышает, с тем чтобы соответствовать варьированию в среде освещения. Правостороннее изображение на фиг. 4 представляет собой разностное изображение PDt.

[0021] Возвращаясь к фиг. 3, модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе данных разностного изображения PDt, показанных на фиг. 4(b). В этом случае, модуль 33 обнаружения трехмерных объектов настоящего примера вычисляет проезжаемое расстояние трехмерного объекта в фактически пространстве. Модуль 33 обнаружения трехмерных объектов сначала генерирует первую форму разностного сигнала, когда обнаруживается трехмерный объект, и должно быть вычислено проезжаемое расстояние. Проезжаемое расстояние в единицу времени для трехмерного объекта используется для вычисления скорости движения трехмерного объекта. Скорость движения трехмерного объекта может быть использована для того, чтобы определять то, представляет или нет трехмерный объект собой транспортное средство.

[0022] При генерировании формы разностного сигнала, модуль 33 обнаружения трехмерных объектов настоящего варианта осуществления задает область обнаружения в разностном изображении PDt. Устройство 1 обнаружения трехмерных объектов настоящего примера обнаруживает другое транспортное средство, на которое водитель рассматриваемого транспортного средства V обращает внимание, и в частности, другое транспортное средство, едущее по полосе движения, смежной с полосой движения, в которой едет рассматриваемое транспортное средство V, когда возможен контакт, если рассматриваемое транспортное средство V должно сменять полосу движения, в качестве объекта, который должен быть обнаружен. Соответственно, в настоящем примере, в котором трехмерные объекты обнаруживаются на основе информации изображений, две области обнаружения в правой стороне и левой стороне рассматриваемого транспортного средства V задаются в изображениях, полученных из камеры 1. В частности, в настоящем варианте осуществления, прямоугольные области A1, A2 обнаружения задаются слева и справа сзади позади рассматриваемого транспортного средства V, как проиллюстрировано на фиг. 2. Другое транспортное средство, которое обнаруживается в этих областях A1, A2 обнаружения, обнаруживается в качестве помехи, которая едет по смежной полосе движения, которая является смежной с полосой движения, в которой едет рассматриваемое транспортное средство V. Такие области A1, A2 обнаружения могут задаваться согласно относительной позиции до рассматриваемого транспортного средства V либо они могут задаваться на основе позиции белых линий дорожной разметки. Когда задаются на основе позиции белых линий дорожной разметки, устройство 1 обнаружения трехмерных объектов может использовать, например, то, что известно как технологии распознавания белых линий дорожной разметки.

[0023] Модуль 33 обнаружения трехмерных объектов распознает в качестве линий L1, L2 пересечения с землей (фиг. 2) границы областей A1, A2 обнаружения, заданные таким способом, на стороне рассматриваемого транспортного средства V (на стороне в соответствии с направлением движения). В общем, линия пересечения с землей означает линию, в которой трехмерный объект находится в контакте с землей; тем не менее, в настоящем варианте осуществления, линия пересечения с землей не представляет собой линию в контакте с землей, а вместо этого задается способом, описанным выше. Даже в таком случае, разность между линией пересечения с землей согласно настоящему варианту осуществления и нормальной линией пересечения с землей, определенной из позиции другого транспортного средства VX, не является чрезвычайно большой, как определено посредством опыта, и фактически не представляет собой проблемы.

[0024] Фиг. 5 является схематичным видом, иллюстрирующим способ, которым генерируется форма разностного сигнала посредством модуля 33 обнаружения трехмерных объектов, проиллюстрированного на фиг. 3. Как проиллюстрировано на фиг. 5, модуль 33 обнаружения трехмерных объектов генерирует форму DWt разностного сигнала из части, которая соответствует областям A1, A2 обнаружения в разностном изображении PDt (чертеж справа на фиг. 4(b)), вычисленном посредством модуля 32 совмещения. В этом случае, модуль 33 обнаружения трехмерных объектов генерирует форму DWt разностного сигнала вдоль направления сплющивания трехмерного объекта посредством преобразования точки обзора. В примере, проиллюстрированном на фиг. 5, для удобства показана только область A1 обнаружения, но форма DWt разностного сигнала также генерируется для области A2 обнаружения с использованием идентичной процедуры.

[0025] Более конкретно, модуль 33 обнаружения трехмерных объектов задает линию La в направлении сплющивания трехмерного объекта в данных для разностного изображения DWt. Модуль 33 обнаружения трехмерных объектов затем подсчитывает число разностных пикселов DP, указывающих предварительно определенную разность на линии La. Здесь, разностный пиксел DP, указывающий предварительно определенную разность, является пикселом, который превышает предварительно определенное пороговое значение в случае, если пиксельное значение разностного изображения DWt является абсолютным значением разности в пиксельных значениях изображений PBt, PBt-1 вида «с высоты птичьего полета»; разностный пиксел является пикселом, указывающим 1 в случае, если пиксельное значение разностного изображения DWt выражается посредством 0 или 1.

[0026] Модуль 33 обнаружения трехмерных объектов подсчитывает число разностных пикселов DP и после этого определяет точку CP пересечения линии La и линии L1 пересечения с землей. Модуль 33 обнаружения трехмерных объектов затем коррелирует точку CP пересечения и подсчитанное число, определяет позицию на горизонтальной оси, в частности, позицию на оси в вертикальном направлении на чертеже справа на фиг. 5, на основе позиции точки CP пересечения; затем, модуль обнаружения трехмерных объектов определяет позицию на вертикальной оси, в частности, позицию на оси в поперечном направлении на чертеже справа на фиг. 5, из подсчитанного числа и определяет позиции на графике в качестве подсчитанного числа в точке CP пересечения.

[0027] Аналогично, модуль 33 обнаружения трехмерных объектов задает линии Lb, Lc, …, в направлении, в котором трехмерный объект сплющивается, подсчитывает число разностных пикселов DP, определяет позицию на горизонтальной оси на основе позиции каждой точки CP пересечения, определяет позицию на вертикальной оси из подсчитанного числа (числа разностных пикселов DP) и определяет позиции на графике. Модуль 33 обнаружения трехмерных объектов повторяет вышеуказанное в последовательности, чтобы формировать частотное распределение, за счет этого генерируя форму DWt разностного сигнала, как проиллюстрировано на чертеже справа на фиг. 5.

[0028] Линии La и Lb в направлении, в котором трехмерный объект сплющивается, имеет различные расстояния, которые перекрывают область A1 обнаружения, как проиллюстрировано на чертеже слева на фиг. 5. Соответственно, число разностных пикселов DP больше на линии La, чем на линии Lb, когда предполагается, что область A1 обнаружения заполнена разностными пикселами DP. По этой причине, модуль 33 обнаружения трехмерных объектов выполняет нормализацию на основе расстояния, на котором перекрываются линии La, Lb в направлении, в котором трехмерный объект сплющивается, и область A1 обнаружения, когда позиция на вертикальной оси определяется из подсчитанного числа разностных пикселов DP. В конкретном примере, предусмотрено шесть разностных пикселов DP на линии La, и предусмотрено пять разностных пикселов DP на линии Lb на чертеже слева на фиг. 5. Соответственно, когда позиция на вертикальной оси определяется из подсчитанного числа на фиг. 5, модуль 33 обнаружения трехмерных объектов делит подсчитанное число на расстояние перекрытия или выполняет нормализацию другим способом. Значения формы DWt разностного сигнала, которые соответствуют линиям La, Lb в направлении, в котором трехмерный объект сплющивается, в силу этого становятся практически идентичными, как проиллюстрировано в форме DWt разностного сигнала.

[0029] После того, как сгенерирована форма DWt разностного сигнала, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние посредством сравнения с формой DWt-1 разностного сигнала за один момент времени до этого. Другими словами, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние из изменения во времени форм DWt, DWt-1 разностных сигналов.

[0030] Более конкретно, модуль 33 обнаружения трехмерных объектов разделяет форму DWt разностного сигнала на множество небольших областей DWt1-DWtn (где n является произвольным целым числом в 2 или больше), как проиллюстрировано на фиг. 6. Фиг. 6 является видом, иллюстрирующим небольшие области DWt1-DWtn, разделенные посредством модуля 33 обнаружения трехмерных объектов. Небольшие области DWt1-DWtn разделяются с возможностью взаимно перекрываться, как проиллюстрировано, например, на фиг. 6. Например, небольшая область DWt1 и небольшая область DWt2 перекрывают друг друга, и небольшая область DWt2 и небольшая область DWt3 перекрывают друг друга.

[0031] Затем, модуль 33 обнаружения трехмерных объектов определяет величину смещения (величину перемещения в направлении по горизонтальной оси (в вертикальном направлении на фиг. 6) формы разностного сигнала) для каждой из небольших областей DWt1-DWtn. Здесь, величина смещения определяется из разности (расстояния в направлении по горизонтальной оси) между формой DWt-1 разностного сигнала за один момент времени до этого и формой DWt разностного сигнала в данный момент времени. В этом случае, модуль 33 обнаружения трехмерных объектов перемещает форму DWt-1 разностного сигнала за один момент времени до этого в направлении по горизонтальной оси для каждой из небольших областей DWt1-DWtn и далее оценивает позицию (позицию в направлении по горизонтальной оси), в которой ошибка относительно формы DWt разностного сигнала в данный момент времени является минимальной; и модуль обнаружения трехмерных объектов затем определяет в качестве величины смещения величину перемещения в направлении по горизонтальной оси в позиции, в которой ошибка относительно исходной позиции формы DWt-1 разностного сигнала является минимальной. Далее, модуль 33 обнаружения трехмерных объектов подсчитывает величину смещения определенной для каждой из небольших областей DWt1-DWtn и формирует гистограмму.

[0032] Фиг. 7 является видом, иллюстрирующим пример гистограммы, полученной посредством модуля 33 обнаружения трехмерных объектов. Как проиллюстрировано на фиг. 7, в величине смещения возникает некоторая величина переменности, которая представляет собой величину перемещения, в которой ошибка между небольшими областями DWt1-DWtn и формой DWt-1 разностного сигнала за один момент времени до этого является минимальной. Соответственно, модуль 33 обнаружения трехмерных объектов формирует величины смещения, включающие в себя переменность, на гистограмме и вычисляет проезжаемое расстояние из гистограммы. В этот момент, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта из максимального значения на гистограмме. Другими словами, в примере, проиллюстрированном на фиг. 7, модуль 33 обнаружения трехмерных объектов вычисляет величину смещения, указывающую максимальное значение гистограммы, в качестве проезжаемого расстояния τ*. Проезжаемое расстояние τ* представляет собой относительное проезжаемое расстояние другого транспортного средства VX относительно рассматриваемого транспортного средства V. Соответственно, модуль 33 обнаружения трехмерных объектов вычисляет абсолютное проезжаемое расстояние на основе проезжаемого расстояния τ*, полученного таким способом, и сигнала из датчика 20 скорости транспортного средства, когда должно вычисляться абсолютное проезжаемое расстояние.

[0033] Когда должна формироваться гистограмма, модуль 33 обнаружения трехмерных объектов может взвешивать множество небольших областей DWt1-DWtn и подсчитывать величины смещения, определенные для каждой из небольших областей DWt1-DWtn в соответствии со взвешиванием, чтобы формировать гистограмму. Фиг. 8 является видом, иллюстрирующим взвешивание, используемое посредством модуля 33 обнаружения трехмерных объектов.

[0034] Как проиллюстрировано на фиг. 8, небольшая область DWm (где m является целым числом в 1 или более и n-1 или менее) является плоской. Другими словами, в небольшой области DWm, имеется несущественная разность между максимальными и минимальными значениями счетчика числа пикселов, указывающими предварительно определенную разность. Модуль 33 обнаружения трехмерных объектов увеличивает взвешивание этого типа небольшой области DWm. Это обусловлено тем, что в плоской небольшой области DWm отсутствует характерность, и тем, что имеется высокая вероятность того, что ошибка должна быть усилена, когда вычисляется величина смещения.

[0035] С другой стороны, небольшая область DWm+k (где k является целым числом в n-m или менее) имеет значительную волнистость. Другими словами, в небольшой области DWm, имеется существенная разность между максимальными и минимальными значениями счетчика числа пикселов, указывающими предварительно определенную разность. Модуль 33 обнаружения трехмерных объектов увеличивает взвешивание этого типа небольшой области DWm. Это обусловлено тем, что небольшая область DWm+k, которая имеет существенную волнистость, является характерной, и тем, что имеется высокая вероятность того, что величина смещения вычисляется точно. Взвешивание небольших областей таким способом упрощает повышение точности вычисления проезжаемого расстояния.

[0036] Первая форма DWt разностного сигнала разделяется на множество небольших областей DWt1-DWtn в настоящем варианте осуществления, чтобы повышать точность вычисления проезжаемого расстояния, но это разделение на небольшие области DWt1-DWtn не требуется, когда необязательно точное вычисление проезжаемого расстояния. В этом случае, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние из величины смещения формы DWt разностного сигнала, когда ошибка между формой DWt разностного сигнала и формой DWt-1 разностного сигнала является минимальной. Другими словами, способ для определения величины смещения между формой DWt-1 разностного сигнала за один момент времени до этого и формой DWt разностного сигнала в данный момент времени не ограничивается подробностями, описанными выше.

[0037] Возвращаясь к фиг. 3, компьютер 30 содержит модуль 40 обнаружения размытостей. Модуль 40 обнаружения размытостей обнаруживает области со сгенерированной размытостью из захваченных данных изображений, захваченных посредством камеры 10. Поскольку размытость представляет собой явление ореола, которое возникает в CCD-датчике изображений и т.п., модуль 40 обнаружения размытостей может опускаться при использовании камеры 10, которая использует CMOS-датчик изображений и т.п., который не генерирует такие размытости.

[0038] Фиг. 9 является видом изображения, показывающим обработку модуля обнаружения размытостей на фиг. 3, а также операцию вычисления для формы DWt разностного сигнала. Во-первых, предполагается, что данные захваченных изображений P, в которых присутствует размытость S, вводятся в модуль 40 обнаружения размытостей. В это время, модуль 40 обнаружения размытостей обнаруживает размытость S из захваченного изображения P. Предусмотрены различные способы для обнаружения размытостей S, но в случае, например, стандартной камеры на основе CCD (прибора с зарядовой связью), размытости S возникают только ниже источника света в изображении. Соответственно, в настоящем варианте осуществления, область, которая имеет значение яркости с предварительно определенным значением или более от нижней стороны изображения в направлении верхах изображения и которая является непрерывной в вертикальном направлении, ищется и указывается в качестве области со сгенерированной размытостью S.

[0039] Модуль 40 обнаружения размытостей также генерирует данные изображения SP с размытостью, в которых пиксельные значения для сгенерированного местоположения размытости S задаются равными 1, а другие местоположения задаются равными 0. После генерирования, модуль 40 обнаружения размытостей передает данные изображения SP с размытостью в модуль 31 преобразования точки обзора. Модуль 31 преобразования точки обзора, в который введены данные изображения SP с размытостью, преобразует данные в состояние вида «с высоты птичьего полета». Модуль 31 преобразования точки обзора в силу этого генерирует данные изображения SBt вида «с высоты птичьего полета» с размытостью. После генерирования, модуль 31 преобразования точки обзора передает данные изображения SBt вида «с высоты птичьего полета» с размытостью в модуль 33 совмещения. Помимо этого, модуль 31 преобразования точки обзора передает данные изображения SBt-1 вида «с высоты птичьего полета» с размытостью за один момент времени до этого в модуль 33 совмещения.

[0040] Модуль 32 совмещения совмещает изображения SBt, SBt-1 вида «с высоты птичьего полета» с размытостью с точки зрения данных. Детали совмещения являются идентичными при совмещении изображений PBt и PBt-1 вида «с высоты птичьего полета» с точки зрения данных. После совмещения, модуль 32 совмещения считает логическую сумму областей со сгенерированной размытостью S в каждом из изображений SBt и SBt-1 вида «с высоты птичьего полета» с размытостью. Модуль 32 преобразования точки обзора за счет этого генерирует данные изображения MP с маской. После генерирования, модуль 32 совмещения передает данные изображения MP с маской в модуль 33 обнаружения трехмерных объектов.

[0041] Модуль 33 обнаружения трехмерных объектов обнуляет подсчитанное число частотного распределения для местоположений, которые соответствуют области со сгенерированной размытостью S в изображении MP с маской. Другими словами, когда генерируется форма DWt разностного сигнала, к примеру, форма DWt разностного сигнала, проиллюстрированная на фиг. 9, модуль 33 обнаружения трехмерных объектов обнуляет подсчитанное число SC посредством размытости S и генерирует скорректированную форму DWt' разностного сигнала.

[0042] Модуль 33 обнаружения трехмерных объектов в настоящем варианте осуществления определяет скорость движения рассматриваемого транспортного средства V (камера 10) и определяет величину смещения для стационарного объекта из определенной скорости движения. После того, как определена величина смещения стационарного объекта, модуль 33 обнаружения трехмерных объектов игнорирует величину смещения, которая соответствует стационарному объекту в максимальном значении гистограммы, и вычисляет проезжаемое расстояние трехмерного объекта.

[0043] Фиг. 10 является видом, иллюстрирующим другой пример гистограммы, полученной посредством модуля 33 обнаружения трехмерных объектов. Когда стационарный объект, отличный от другого транспортного средства VX, присутствует в пределах угла обзора камеры 10, два максимальных значения τ1, τ2 появляются на результирующей гистограмме. В этом случае, одно из двух максимальных значений τ1, τ2 является величиной смещения стационарного объекта. Следовательно, модуль 33 обнаружения трехмерных объектов определяет величину смещения для стационарного объекта из скорости движения, игнорирует максимальное значение, которое соответствует величине смещения, и вычисляет проезжаемое расстояние трехмерного объекта с использованием оставшегося максимального значения.

[0044] Даже когда величина смещения, соответствующая стационарному объекту, игнорируется, может быть множество других транспортных средств VX, присутствующих в пределах угла обзора камеры 10, когда имеется множество максимальных значений. Тем не менее, множество других транспортных средств VX, присутствующих в областях A1, A2 обнаружения, возникают очень редко. Соответственно, модуль 33 обнаружения трехмерных объектов прекращает вычисление проезжаемого расстояния.

[0045] Далее описывается процедура обнаружения трехмерного объекта с помощью информации форм разностных сигналов. Фиг. 11 и фиг. 12 являются блок-схемами последовательности операций способа, иллюстрирующими процедуру обнаружения трехмерного объекта согласно настоящему варианту осуществления. Как проиллюстрировано на фиг. 11, во-первых, на этапе S0, компьютер 30 задает область обнаружения на основе предварительно определенного правила. Ниже подробно описывается способ для задания этой области обнаружения. Затем, данные захваченного изображения P из камеры 10 вводятся в компьютер 30, и изображение SP с размытостью генерируется посредством модуля 40 обнаружения размытостей (S1). Затем, модуль 31 преобразования точки обзора генерирует данные изображения PBt вида «с высоты птичьего полета» из данных захваченного изображения P из камеры 10 и генерирует данные изображения SBt вида «с высоты птичьего полета» с размытостью из данных изображения SP с размытостью.

[0046] Модуль 33 совмещения затем совмещает данные изображения PBt вида «с высоты птичьего полета» и данные изображения PBt-1 вида «с высоты птичьего полета» за один момент времени до этого и совмещает данные изображения SBt вида «с высоты птичьего полета» с размытостью и данные изображения SBt-1 вида «с высоты птичьего полета» с размытостью за один момент времени до этого (S3). После этого совмещения, модуль 33 совмещения генерирует данные разностного изображения PDt и данные изображения MP с маской (S4). Модуль 33 обнаружения трехмерных объектов затем генерирует форму DWt разностного сигнала из данных разностного изображения PDt и данных разностного изображения PDt-1 за один момент времени до этого (S5). После генерирования формы DWt разностного сигнала, модуль 33 обнаружения трехмерных объектов обнуляет подсчитанное число, которое соответствует области со сгенерированной размытостью S в форме DWt разностного сигнала, и подавляет влияние размытости S (S6).

[0047] Модуль 33 обнаружения трехмерных объектов затем определяет то, имеет или нет пик формы DWt разностного сигнала первое пороговое значение α или более (S7). Когда пик формы DWt разностного сигнала не имеет первое пороговое значение α или более, в частности, когда по существу нет разности, идея заключается в том, что трехмерный объект не присутствует в захваченном изображении P. Соответственно, когда выполнено определение в отношении того, что пик формы DWt разностного сигнала не имеет пороговое значение α или более (S7: "Нет"), модуль 33 обнаружения трехмерных объектов определяет то, что трехмерный объект не присутствует, и что другое транспортное средство не присутствует в качестве помехи (фиг. 12: S16). После этого завершается операция, проиллюстрированная на фиг. 11 и фиг. 12.

[0048] С другой стороны, когда определяется, что пик формы DWt разностного сигнала имеет пороговое значение α или более (S7: "Да"), модуль 33 обнаружения трехмерных объектов определяет то, что присутствует трехмерный объект, и разделяет форму DWt разностного сигнала на множество небольших областей DWt1-DWtn (S8). Далее, модуль 33 обнаружения трехмерных объектов взвешивает каждую из небольших областей DWt1-DWtn (S9). Модуль 33 обнаружения трехмерных объектов затем вычисляет величину смещения для каждой из небольших областей DWt1-DWtn (S10) и генерирует гистограмму с учетом весовых коэффициентов (S11).

[0049] Модуль 33 обнаружения трехмерных объектов затем вычисляет относительное проезжаемое расстояние, которое представляет собой проезжаемое расстояние трехмерного объекта относительно рассматриваемого транспортного средства V, на основе гистограммы (S12). Затем, модуль 33 обнаружения трехмерных объектов вычисляет абсолютную скорость движения трехмерного объекта из относительного проезжаемого расстояния (S13). В это время, модуль 33 обнаружения трехмерных объектов дифференцирует во времени относительное проезжаемое расстояние, чтобы за счет этого вычислять относительную скорость движения, прибавляет скорость рассматриваемого транспортного средства, обнаруженную посредством датчика 20 скорости транспортного средства, и вычисляет относительную скорость движения.

[0050] Затем модуль 33 обнаружения трехмерных объектов определяет то, составляет или нет абсолютная скорость движения трехмерного объекта 10 км/ч или более, и то, составляет или нет относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V+60 км/ч или менее (S14). Когда оба условия удовлетворены (S14: "Да"), модуль 33 обнаружения трехмерных объектов определяет то, что трехмерный объект представляет собой другое транспортное средство VX (S15). После этого завершается операция, проиллюстрированная на фиг. 11 и фиг. 12. С другой стороны, когда любое из условий не удовлетворено (S14: "Нет"), модуль 33 обнаружения трехмерных объектов определяет то, что другое транспортное средство не присутствует (S16). После этого завершается операция, проиллюстрированная на фиг. 11 и фиг. 12.

[0051] В настоящем варианте осуществления, области A1, A2 обнаружения представляют собой направления с задней стороны рассматриваемого транспортного средства V, и внимание акцентируется на обнаружении другого транспортного средства VX, которое едет в смежной полосе движения, которая является смежной с полосой движения рассматриваемого транспортного средства, на которое должно обращать внимание рассматриваемое транспортное средство V в ходе езды; в частности, внимание акцентируется на том, может или нет рассматриваемое транспортное средство V контактировать с другим транспортным средством, если должна быть выполнена смена полосы движения. Это необходимо для того, чтобы определять то, может или нет рассматриваемое транспортное средство V контактировать с другим транспортным средством VX, которое едет в смежной полосе движения, которая является смежной с полосой движения рассматриваемого транспортного средства, если должна быть выполнена смена полосы движения. Соответственно, реализуется операция этапа S14. Другими словами, при условии, что система в настоящем варианте осуществления активируется на скоростной автомагистрали, когда скорость трехмерного объекта меньше 10 км/ч, редко возникают проблемы, даже если должно присутствовать другое транспортное средство VX, поскольку другое транспортное средство размещается далеко позади рассматриваемого транспортного средства V, когда выполняется смена полосы движения. Аналогично, когда относительная скорость движения трехмерного объекта превышает +60 км/ч относительно рассматриваемого транспортного средства V (в частности, когда трехмерный объект движется со скоростью, на 60 км/ч большей скорости рассматриваемого транспортного средства V), редко возникают проблемы, поскольку трехмерный объект размещается перед рассматриваемым транспортным средством, когда выполняется смена полосы движения. Соответственно, этап S14 определяет то, может или нет другое транспортное средство VX приводить к проблеме, когда выполняется смена полосы движения.

[0052] На этапе S14, выполняется определение в отношении того, составляет или нет абсолютная скорость движения трехмерного объекта 10 км/ч или более, и составляет или нет относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V+60 км/ч или менее, за счет этого получая следующее преимущество. Например, возможный случай заключается в том, что абсолютная скорость движения стационарного объекта обнаруживается равной нескольким километров в час в зависимости от ошибки крепления камеры 10. Соответственно, определение того, равна или нет скорость 10 км/ч или более, упрощает уменьшение вероятности того, что стационарный объект определяется в качестве другого транспортного средства VX. Кроме того, имеется вероятность того, что относительная скорость трехмерного объекта относительно рассматриваемого транспортного средства V обнаруживается как превышающая +60 км/ч вследствие шума. Соответственно, определение того, составляет или нет относительная скорость +60 км/ч или менее, упрощает уменьшение вероятности ошибочного обнаружения вследствие шума.

[0053] Кроме того, вместо процесса этапа S14, может быть выполнено определение в отношении того, является либо нет абсолютная скорость движения неотрицательной или не равной 0 км/ч. Помимо этого, в настоящем варианте осуществления, поскольку внимание акцентируется на том, может или нет рассматриваемое транспортное средство V контактировать с другим транспортным средством, если должна быть выполнена смена полосы движения, водителю рассматриваемого транспортного средства может выдаваться предупреждающий звук, либо может отображаться соответствующее предупреждение, когда другое транспортное средство VX обнаруживается на этапе S15.

[0054] Таким образом, согласно процедуре для обнаружения трехмерного объекта посредством информации форм разностных сигналов настоящего примера, число пикселов, которые указывают предварительно определенную разность в данных разностного изображения PDt, подсчитывается вдоль направления, в котором трехмерный объект сплющивается вследствие преобразования точки обзора, и формируется частотное распределение, чтобы за счет этого сгенерировать форму DWt разностного сигнала. Здесь, пикселы, которые указывают предварительно определенную разность в данных разностного изображения PDt, являются пикселами, которые изменены в изображении в различные моменты времени; другими словами, они являются местоположениями, которые могут истолковываться как места, в которых трехмерный объект присутствует. Соответственно, в местоположениях, в которых присутствует трехмерный объект, число пикселов подсчитывается вдоль направления, в котором трехмерный объект сплющивается, чтобы формировать частотное распределение, за счет этого генерируя форму DWt разностного сигнала. В частности, число пикселов подсчитывается вдоль направления, в котором трехмерный объект сплющивается, и следовательно, форма DWt разностного сигнала генерируется из информации касательно направления высоты относительно трехмерного объекта. Затем, проезжаемое расстояние трехмерного объекта вычисляется из изменения во времени формы DWt разностного сигнала, которая включает в себя информацию направления высоты. Следовательно, в отличие от акцентирования внимания исключительно на движении одной точки, местоположения обнаружения до изменения во времени и местоположения обнаружения после изменения во времени указываются с включенной информацией направления высоты и, соответственно, легко в итоге оказываются местоположением, идентичным местоположению трехмерного объекта; следовательно, проезжаемое расстояние вычисляется на основе изменения во времени в идентичном местоположении, и может повышаться точность вычисления проезжаемого расстояния.

[0055] Помимо этого, обнуляется подсчитанное число частотного распределения для местоположений, которые соответствуют области со сгенерированной размытостью S в форме DWt разностного сигнала. Части формы сигнала в форме DWt разностного сигнала, которые генерируются вследствие размытости S, удаляются, за счет этого упрощая предотвращение ситуации, в которой размытость S некорректно идентифицируется в качестве трехмерного объекта.

[0056] Помимо этого, проезжаемое расстояние трехмерного объекта вычисляется из величины смещения формы DWt разностного сигнала, когда ошибка между формами DWt разностных сигналов, которые генерируются в различные моменты времени, является минимальной. Соответственно, это дает возможность вычисления проезжаемого расстояния из величины смещения, которая является информацией относительно одной размерности в форме сигнала, позволяя поддерживать низкими вычислительные затраты, когда вычисляется проезжаемое расстояние.

[0057] Помимо этого, формы DWt разностных сигналов, которые генерируются в различные моменты времени, разделяются на множество небольших областей DWt1-DWtn. Множество форм сигналов, представляющих каждое местоположение трехмерного объекта, получается посредством разделения форм разностных сигналов на множество небольших областей DWt1-DWtn таким образом. Помимо этого, величины смещения определяются, когда ошибка между каждой формой сигнала является минимальной для каждой из небольших областей DWt1-DWtn, и величины смещения, которые определяются для каждой из небольших областей DWt1-DWtn, подсчитываются для того, чтобы формировать гистограмму, за счет этого вычисляя проезжаемое расстояние трехмерного объекта. Соответственно, определяется величина смещения в каждом местоположении трехмерного объекта, и определяется проезжаемое расстояние из множества величин смещения, так что может повышаться точность вычисления проезжаемого расстояния.

[0058] Помимо этого, множество небольших областей DWt1-DWtn взвешивается, и величины смещения, определенные для каждой из небольших областей DWt1-DWtn, подсчитываются в соответствии со взвешиванием, чтобы формировать гистограмму. Соответственно, возможно вычисление проезжаемого расстояния более надлежащим образом посредством увеличения взвешивания характерных областей и снижения взвешивания нехарактерных областей. Таким образом, становится возможным дополнительное повышение точности вычисления проезжаемого расстояния.

[0059] Помимо этого, весовой коэффициент увеличивается для каждой из небольших областей DWt1-DWtn формы DWt разностного сигнала, чем больше разность находится между максимальным и минимальным значениями счетчика числа пикселов, указывающих предварительно определенную разность. Соответственно, области с характерной волнистостью со значительными различиями между максимальными и минимальными значениями взвешиваются выше, а плоские области с небольшой волнистостью взвешиваются ниже. С точки зрения геометрии, точное определение величины смещения в областях со значительной волнистостью проще, чем в плоских областях; следовательно, становится возможным дополнительное повышение точности вычисления проезжаемого расстояния посредством увеличения взвешивания для областей со значительной разницей между максимальными и минимальными значениями.

[0060] Помимо этого, проезжаемое расстояние трехмерного объекта вычисляется из максимального значения гистограммы, полученной посредством подсчета величин смещения, определенных для каждой из небольших областей DWt1-DWtn. Таким образом, высокоточное проезжаемое расстояние может быть вычислено из максимального значения, даже когда существует переменность в величинах смещения.

[0061] Дополнительно, поскольку определяется величина смещения для стационарного объекта, и эта величина смещения игнорируется, возможно предотвращение ситуации, в которой точность вычисления проезжаемого расстояния трехмерного объекта уменьшается посредством стационарного объекта. Кроме того, когда игнорируется величина смещения, которая соответствует стационарному объекту, и имеется множество максимальных значений, прекращается вычисление проезжаемого расстояния трехмерного объекта. Следовательно, возможно предотвращение ситуации, в которой вычисляется ошибочное проезжаемое расстояние, к примеру, когда имеется множество максимальных значений.

[0062] В вариантах осуществления, описанных выше, скорость рассматриваемого транспортного средства V определяется на основе сигнала из датчика 20 скорости транспортного средства, но ограничения на это не налагаются; также возможно использование конфигурации, в которой скорость оценивается из множества изображений в различные моменты времени. В этом случае, датчик 20 скорости транспортного средства не требуется, и может упрощаться конфигурация.

[0063] Кроме того, в вариантах осуществления, описанных выше, захваченное изображение в данный момент времени и изображение за один момент времени до этого преобразуется в виды «с высоты птичьего полета»; преобразованные виды «с высоты птичьего полета» совмещаются; после этого генерируется разностное изображение PDt; и сгенерированное разностное изображение PDt оценивается вдоль направления сплющивания (направления, в котором трехмерный объект сплющивается, когда захваченное изображение преобразуется в вид «с высоты птичьего полета»), чтобы генерировать форму DWt разностного сигнала; тем не менее, ограничения на это не налагаются. Например, также существует возможность использования конфигурации, в которой только изображение за один момент времени до этого преобразуется в вид «с высоты птичьего полета»; преобразованный вид «с высоты птичьего полета» совмещается и затем преобразуется снова в эквивалентное захваченное изображение; разностное изображение генерируется с использованием этого изображения и изображения в данный момент времени; и сгенерированное разностное изображение оценивается вдоль направления, соответствующего направлению сплющивания (в частности, направления, полученного посредством преобразования направления сплющивания в направление в захваченном изображении), чтобы за счет этого генерировать форму DWt разностного сигнала. Другими словами, вид «с высоты птичьего полета» не должен быть явно сгенерирован как обязательный при условии, что изображение в данный момент времени и изображение за один момент времени до этого совмещаются, разностное изображение PDt генерируется из разности между двумя совмещенными изображениями, и разностное изображение PDt может быть оценено вдоль направления сплющивания трехмерного объекта, когда разностное изображение PDt преобразуется в вид «с высоты птичьего полета».

[0064] ОБНАРУЖЕНИЕ ТРЕХМЕРНОГО ОБЪЕКТА ПОСРЕДСТВОМ ИСПОЛЬЗОВАНИЯ ИНФОРМАЦИИ КРАЕВ

Далее описывается блок B обнаружения для трехмерного объекта, который использует информацию краев, который конфигурируется посредством модуля 35 вычисления яркостного различия, модуля 36 обнаружения линий краев и модуля 37 обнаружения трехмерных объектов, и который может работать вместо блока A, проиллюстрированного на фиг. 3. Фиг. 13 является видом, иллюстрирующим диапазон изображений камеры 10 на фиг. 3; фиг. 13(a) является видом сверху, а фиг. 13(b) является видом в перспективе в реальном пространстве сзади рассматриваемого транспортного средства V. Камера 10 устанавливается под предварительно определенным углом a обзора, и захватывается задняя сторона рассматриваемого транспортного средства V, включенная в предварительно определенный угол a обзора, как проиллюстрировано на фиг. 13(a). Угол a обзора камеры 10 задается таким образом, что смежные полосы движения включаются в захватываемый диапазон камеры 10 в дополнение с полосой движения, в которой едет рассматриваемое транспортное средство V, способом, идентичным способу, проиллюстрированному на фиг. 2.

[0065] Области A1, A2 обнаружения в настоящем примере являются трапецеидальными при виде сверху (в состоянии вида «с высоты птичьего полета»), и позиция, размер и форма областей A1, A2 обнаружения определяются на основе расстояний d1-d4. Области A1, A2 обнаружения примера, проиллюстрированного на чертеже, не ограничены трапециевидностью, и они также могут иметь прямоугольную или другую форму в состоянии вида «с высоты птичьего полета», как проиллюстрировано на фиг. 2. Модуль 41 задания областей обнаружения настоящего варианта осуществления также имеет возможность задавать области A1, A2 обнаружения с использованием способа, описанного выше.

[0066] Здесь, расстояние d1 является расстоянием от рассматриваемого транспортного средства V до линий L1, L2 пересечения с землей. Линии L1, L2 пересечения с землей означают линию, в которой трехмерный объект, который присутствует в полосе движения, смежной с полосой движения, в которой едет рассматриваемое транспортное средство V, контактирует с землей. В настоящем варианте осуществления, цель заключается в этом, обнаруживать другое транспортное средство VX и т.п. (включающее в себя двухколесные транспортные средства и т.п.), едущее в левой или правой полосе движения позади рассматриваемого транспортного средства V и смежной с полосой движения рассматриваемого транспортного средства V. Соответственно, расстояние d1, которое является позицией линий L1, L2 пересечения с землей другого транспортного средства VX, может быть определено таким образом, чтобы оно является практически фиксированным относительно расстояния d11 от рассматриваемого транспортного средства V до белой линии W дорожной разметки и расстояния d12 от белой линии W дорожной разметки до позиции, в которую, как прогнозируется, должно приехать другое транспортное средство VX.

[0067] Расстояние d1 не ограничивается фиксированным и может быть переменным. В этом случае, компьютер 30 распознает позицию белой линии W дорожной разметки относительно рассматриваемого транспортного средства V с использованием распознавания белых линий дорожной разметки или другой технологии, и расстояние d11 определяется на основе позиции распознанной белой линии W дорожной разметки. Расстояние d1 за счет этого переменно задается с использованием определенного расстояния d11. В настоящем варианте осуществления, описанном ниже, главным образом прогнозируемы позиция, в которой едет другое транспортное средство VX (расстояние d12 от белой линии W дорожной разметки), и позиция, в которой едет рассматриваемое транспортное средство V (расстояние d11 от белой линии W дорожной разметки), и расстояние d1 фиксированно определяется.

[0068] Расстояние d2 является расстоянием, идущим от задней концевой части рассматриваемого транспортного средства V в направлении езды транспортного средства. Расстояние d2 определяется таким образом, что области A1, A2 обнаружения размещаются, по меньшей мере, в пределах угла a обзора камеры 10. В настоящем варианте осуществления, в частности, расстояние d2 задается в контакте с диапазоном, секционированным в пределах угла a обзора. Расстояние d3 указывает длину областей A1, A2 обнаружения в направлении езды транспортного средства. Расстояние d3 определяется на основе размера трехмерного объекта, который должен быть обнаружен. В настоящем варианте осуществления, объект, который должен быть обнаружен, представляет собой другое транспортное средство VX и т.п.; следовательно, расстояние d3 задается равным длине, которая включает в себя другое транспортное средство VX.

[0069] Расстояние d4 указывает высоту, которая задана таким образом, что шины другого транспортного средства VX и т.п. включаются в реальное пространство, как проиллюстрировано на фиг. 13(b). В изображении вида «с высоты птичьего полета» расстояние d4 является длиной, проиллюстрированной на фиг. 13(a). Расстояние d4 также может быть длиной, которая не включает в себя полосы движения, дополнительно смежные с левой и правой смежными полосами движения в изображении вида «с высоты птичьего полета» (в частности, полосы движения, которые располагаются на расстоянии через одну полосу движения). Это обусловлено тем, что когда включаются полосы движения, которые располагаются на расстоянии через одну полосу движения от полосы движения рассматриваемого транспортного средства V, более невозможно отличение того, присутствует или нет другое транспортное средство VX в смежных полосах движения слева и справа от полосы движения, в которой едет рассматриваемое транспортное средство V, либо то, присутствует или нет другое транспортное средство VX в полосе движения на расстоянии через одну полосу движения.

[0070] Как описано выше, определяются расстояния d1-d4, и за счет этого определяются позиция, размер и форм областей A1, A2 обнаружения. Более конкретно, позиция верхней стороны b1 областей A1, A2 обнаружения, которые формируют трапецию, определяется посредством расстояния d1. Начальная позиция C1 верхней стороны b1 определяется посредством расстояния d2. Конечная позиция C2 верхней стороны b1 определяется посредством расстояния d3. Поперечная сторона b2 областей A1, A2 обнаружения, которые формируют трапецию, определяется посредством прямой линии L3, которая идет от камеры 10 к начальной позиции C1. Аналогично, поперечная сторона b3 областей A1, A2 обнаружения, которые формируют трапецию, определяется посредством прямой линии L4, которая идет от камеры 10 к конечной позиции C2. Позиция нижней стороны b4 областей A1, A2 обнаружения, которые формируют трапецию, определяется посредством расстояния d4. Таким образом, области, окруженные посредством сторон b1-b4, представляют собой области A1, A2 обнаружения. Области A1, A2 обнаружения являются обычными квадратами (прямоугольниками) в реальном пространстве сзади рассматриваемого транспортного средства V, как проиллюстрировано на фиг. 13(b).

[0071] Возвращаясь к фиг. 3, модуль 31 преобразования точки обзора принимает ввод захваченных данных изображений предварительно определенной области, захваченных посредством камеры 10. Модуль 31 преобразования точки обзора преобразует точку обзора входных захваченных данных изображений в данные изображений вида «с высоты птичьего полета», которые представляют собой состояние вида «с высоты птичьего полета». Состояние вида «с высоты птичьего полета» представляет собой состояние просмотра с точки обзора воображаемой камеры, в частности, которая смотрит вниз сверху, например, вертикально вниз (или немного наклонена вниз). Преобразование точки обзора может быть выполнено с использованием технологии, описанной, например, в выложенной заявке на патент (Япония) № 2008-219063.

[0072] Модуль 35 вычисления яркостного различия вычисляет яркостные различия в данных изображений вида «с высоты птичьего полета», которые подвергнуты преобразованию точки обзора посредством модуля 31 преобразования точки обзора, чтобы обнаруживать края трехмерного объекта, включенного в изображение вида «с высоты птичьего полета». Модуль 35 вычисления яркостного различия вычисляет, для каждой из множества позиций вдоль перпендикулярной воображаемой линии, идущей вдоль перпендикулярного направления в реальном пространстве, яркостное различие между двумя пикселами около каждой позиции. Модуль 35 вычисления яркостного различия допускает вычисление яркостного различия посредством способа для задания одной перпендикулярной воображаемой линии, идущей в перпендикулярном направлении в реальном пространстве, или посредством способа для задания двух перпендикулярных воображаемых линий.

[0073] Ниже описывается конкретный способ для задания двух перпендикулярных воображаемых линий. Модуль 35 вычисления яркостного различия задает первую перпендикулярную воображаемую линию, которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и вторую перпендикулярную воображаемую линию, которая отличается от первой перпендикулярной воображаемой линии, и которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, относительно данных изображений вида «с высоты птичьего полета», которые подвергнуты преобразованию точки обзора. Модуль 35 вычисления яркостного различия определяет яркостное различие между точкой на первой перпендикулярной воображаемой линии и точкой на второй перпендикулярной воображаемой линии непрерывно вдоль первой перпендикулярной воображаемой линии и второй перпендикулярной воображаемой линии. Ниже подробно описывается работа модуля 35 вычисления яркостного различия.

[0074] Модуль 35 вычисления яркостного различия задает первую перпендикулярную воображаемую линию La (в дальнейшем называемую "линией La концентрации внимания"), которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и которая проходит через область A1 обнаружения, как проиллюстрировано на фиг. 14(a). Модуль 35 вычисления яркостного различия задает вторую перпендикулярную воображаемую линию Lr (в дальнейшем называемую "опорной линией Lr"), которая отличается от линии La концентрации внимания, соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и проходит через область A1 обнаружения. Здесь, опорная линия Lr задается равной позиции на расстоянии от линии La концентрации внимания на предварительно определенное расстояние в реальном пространстве. Линии, которые соответствуют сегментам линии, идущим в перпендикулярном направлении в реальном пространстве, являются линиями, которые расходятся в радиальном направлении от позиции Ps камеры 10 в изображении вида «с высоты птичьего полета». Эти линии, расходящиеся в радиальном направлении, представляют собой линии, которые следуют направлению сплющивания трехмерного объекта при преобразовании в вид «с высоты птичьего полета».

[0075] Модуль 35 вычисления яркостного различия задает точку Pa концентрации внимания на линии La концентрации внимания (точку на первой перпендикулярной воображаемой линии). Модуль 35 вычисления яркостного различия также задает опорную точку Pr на опорной линии Lr (точку на второй перпендикулярной воображаемой линии). Линия La концентрации внимания, точка Pa концентрации внимания, опорная линия Lr и опорная точка Pr имеют взаимосвязь в реальном пространстве, которая проиллюстрирована на фиг. 14(b). Из фиг. 14(b) очевидно то, что линия La концентрации внимания и опорная линия Lr являются линиями, идущими в перпендикулярном направлении в реальном пространстве, и точка Pa концентрации внимания и опорная точка Pr являются точками, заданными с практически идентичной высотой в реальном пространстве. Точка Pa концентрации внимания и опорная точка Pr не обязательно должны строго поддерживаться на идентичной высоте, и разрешается определенная величина ошибки, которая позволяет точке Pa концентрации внимания и опорной точке Pr считаться находящимся на идентичной высоте.

[0076] Модуль 35 вычисления яркостного различия определяет яркостное различие между точкой Pa концентрации внимания и опорной точкой Pr. Если яркостное различие между точкой Pa концентрации внимания и опорной точкой Pr является большим, имеется вероятность того, что край присутствует между точкой Pa концентрации внимания и опорной точкой Pr. Соответственно, модуль 36 обнаружения линий краев, проиллюстрированный на фиг. 3, обнаруживает линию края на основе яркостного различия между точкой Pa концентрации внимания и опорной точкой Pr.

[0077] Этот аспект описывается подробнее. Фиг. 15 является видом, показывающим подробную работу модуля 35 вычисления яркостного различия. Фиг. 15(a) иллюстрирует изображение вида «с высоты птичьего полета» состояния вида «с высоты птичьего полета», а фиг. 15(b) является укрупненным видом одной части B1 изображения вида «с высоты птичьего полета», проиллюстрированного на фиг. 15(a). На фиг. 15, проиллюстрирована и описана только область A1 обнаружения, но яркостное различие вычисляется с использованием идентичной процедуры для области A2 обнаружения.

[0078] Когда другое транспортное средство VX отображается в захваченном изображении, захваченном посредством камеры 10, другое транспортное средство VX появляется в области A1 обнаружения в изображении вида «с высоты птичьего полета», как проиллюстрировано на фиг. 15(a). Линия La концентрации внимания задается на резиновом участке шины другого транспортного средства VX в изображении вида «с высоты птичьего полета» на фиг. 15(b), как проиллюстрировано в укрупненном виде области B1 на фиг. 15(a). В этом состоянии, сначала модуль 35 вычисления яркостного различия задает опорную линию Lr. Опорная линия Lr задается вдоль перпендикулярного направления в позиции, заданной на предварительно определенном расстоянии в реальном пространстве от линии La концентрации внимания. В частности, в устройстве 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, опорная линия Lr задается в позиции на расстоянии, которое составляет 10 см от линии La концентрации внимания в реальном пространстве. Опорная линия Lr в силу этого задается на колесе шины другого транспортного средства VX, например, заданном на расстоянии, которое соответствует 10 см от резины шины другого транспортного средства VX в изображении вида «с высоты птичьего полета».

[0079] Затем, модуль 35 вычисления яркостного различия задает множество точек Pa1-PaN концентрации внимания на линии La концентрации внимания. На фиг. 15(b), шесть точек Pa1-Pa6 концентрации внимания (в дальнейшем называемых "точкой Pai концентрации внимания" при указании произвольной точки) задаются для удобства описания. Произвольное число точек Pa концентрации внимания может задаваться на линии La концентрации внимания. В нижеприведенном описании, N точек Pa концентрации внимания задаются на линии La концентрации внимания.

[0080] Модуль 35 вычисления яркостного различия затем задает опорные точки Pr1-PrN таким образом, что они имеют высоту, идентичную высоте точек Pa1-PaN концентрации внимания в реальном пространстве. Модуль 35 вычисления яркостного различия вычисляет яркостное различие между парами из точки Pa концентрации внимания и опорной точки Pr с идентичной высотой. Модуль 35 вычисления яркостного различия за счет этого вычисляет яркостное различие между двумя пикселами для каждой из множества позиций (1-N) вдоль перпендикулярной воображаемой линии, идущей в перпендикулярном направлении в реальном пространстве. Модуль 35 вычисления яркостного различия вычисляет яркостное различие, например, между первой точкой Pa1 концентрации внимания и первой опорной точкой Pr1 и вычисляет яркостное различие между второй точкой Pa2 концентрации внимания и второй опорной точкой Pr2. Модуль 35 вычисления яркостного различия за счет этого определяет яркостное различие непрерывно вдоль линии La концентрации внимания и опорной линии Lr. Другими словами, модуль 35 вычисления яркостного различия последовательно определяет яркостное различие между третьей-N-ой точками Pa3-PaN концентрации внимания и третьей-N-ой опорными точками Pr3-PrN.

[0081] Модуль 35 вычисления яркостного различия повторяет операцию задания вышеописанной опорной линии Lr, задания точки Pa концентрации внимания, задания опорной точки Pr и вычисления яркостного различия при сдвиге линии La концентрации внимания в области A1 обнаружения. Другими словами, модуль 35 вычисления яркостного различия многократно выполняет вышеописанную операцию при изменении позиций линии La концентрации внимания и опорной линии Lr на идентичное расстояние в реальном пространстве вдоль направления, в котором идет линия L1 пересечения с землей. Модуль 35 вычисления яркостного различия, в частности, задает линию, которая представляет собой опорную линию Lr в предыдущем процессе, в качестве линии La концентрации внимания, задает опорную линию Lr относительно линии La концентрации внимания и последовательно определяет яркостное различие.

[0082] Возвращаясь к фиг. 3, модуль 36 обнаружения линий краев обнаруживает линию края из непрерывного яркостного различия, вычисленного посредством модуля 35 вычисления яркостного различия. Например, в случае, проиллюстрированном на фиг. 15(b), первая точка Pa1 концентрации внимания и первая опорная точка Pr1 размещаются в идентичном участке шины, и следовательно, яркостное различие является небольшим. С другой стороны, вторая-шестая точки Pa2-Pa6 концентрации внимания размещаются в резиновых участках шины, и вторая-шестая опорные точки Pr2-Pr6 размещаются в участках колеса шины. Следовательно, яркостное различие между второй-шестой точками Pa2-Pa6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6 является большим. Соответственно, модуль 36 обнаружения линий краев допускает обнаружение того, что линия края присутствует между второй-шестой точками Pa2-Pa6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6, где яркостное различие является высоким.

[0083] В частности, когда линия края должна быть обнаружена, модуль 36 обнаружения линий краев сначала назначает атрибут i-й точке Pai концентрации внимания из яркостного различия между i-й точкой Pai концентрации внимания (с координатами (xi, yi)) и i-й опорной точкой Pri (с координатами (xi′, yi′)) в соответствии с формулой 1, приведенной ниже.

[Формула 1] когда I(xi, yi)>I(xi′, yi′)+t

s(xi, yi)=1

когда I(xi, yi)<I(xi′, yi′)-t

s(xi, yi)=-1, когда вышеуказанное не справедливо

s(xi, yi)=0

[0084] В вышеприведенной формуле 1, t представляет пороговое значение, I(xi, yi) представляет значение яркости i-й точки Pai концентрации внимания, и I(xi′, yi′) представляет значение яркости i-й опорной точки Pri. В соответствии с формулой 1, атрибут s(xi, yi) точки Pai концентрации внимания равен 1, когда значение яркости точки Pai концентрации внимания превышает значение яркости, полученное посредством прибавления порогового значения t к опорной точке Pri. С другой стороны, атрибут s(xi, yi) точки Pai концентрации внимания равен -1, когда значение яркости точки Pai концентрации внимания меньше значения яркости, полученного посредством вычитания порогового значения t из опорной точки Pri. Атрибут s(xi, yi) точки Pai концентрации внимания равен 0, когда значение яркости точки Pai концентрации внимания и значение яркости опорной точки Pri находятся во взаимосвязи, отличной от вышеизложенной взаимосвязи.

[0085] Затем, модуль 36 обнаружения линий краев оценивает то, является или нет линия La концентрации внимания линией края, из неразрывности c(xi, yi) атрибута s вдоль линии La концентрации внимания, на основе следующей формулы 2.

[Формула 2] когда s(xi, yi)=s(xi+1, yi+1) (и за исключением 0=0),

c(xi, yi)=1

когда вышеуказанное не справедливо;

c(xi, yi)=0

[0086] Неразрывность c(xi, yi) равна 1, когда атрибут s(xi, yi) точки Pai концентрации внимания и атрибут s(xi+1, yi+1) смежной точки Pai+1 концентрации внимания являются идентичными. Неразрывность c(xi, yi) равна 0, когда атрибут s(xi, yi) точки Pai концентрации внимания и атрибут s(xi+1, yi+1) смежной точки Pai+1 концентрации внимания не являются идентичными.

[0087] Затем, модуль 36 обнаружения линий краев определяет сумму неразрывностей c всех точек Pa концентрации внимания на линии La концентрации внимания. Модуль 36 обнаружения линий краев делит сумму неразрывностей c, определенных таким способом, на число N точек Pa концентрации внимания, чтобы за счет этого нормализовать неразрывность c. Модуль 36 обнаружения линий краев определяет линию La концентрации внимания в качестве линии края, когда нормализованное значение превышает пороговое значение θ. Пороговое значение θ задается заранее посредством экспериментирования или посредством другого средства.

[0088] Другими словами, модуль 36 обнаружения линий краев определяет то, представляет собой или нет линия La концентрации внимания линию края, на основе формулы 3, приведенной ниже. Модуль 36 обнаружения линий краев затем определяет то, представляют собой или нет все линии La концентрации внимания, нарисованные в области A1 обнаружения, линии краев.

[Формула 3] Σc(xi, yi)/N>θ

[0089] Возвращаясь к фиг. 3, модуль 37 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе числа линий краев, обнаруженных посредством модуля 36 обнаружения линий краев. Как описано выше, устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления обнаруживает линию края, идущую в перпендикулярном направлении в реальном пространстве. Обнаружение множества линий краев, идущих в перпендикулярном направлении, указывает, что имеется высокая вероятность того, что трехмерный объект присутствует в областях A1, A2 обнаружения. Соответственно, модуль 37 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе числа линий краев, которые обнаружены посредством модуля 36 обнаружения линий краев. Более того, до обнаружения трехмерного объекта, модуль 37 обнаружения трехмерных объектов оценивает то, являются или нет линии краев, обнаруженные посредством модуля 36 обнаружения линий краев, корректными. Модуль 37 обнаружения трехмерных объектов оценивает то, равно или нет изменение яркости линий краев предварительно определенному пороговому значению или более, вдоль линий краев изображения вида «с высоты птичьего полета». Когда изменение яркости линий краев в изображении вида «с высоты птичьего полета» равно пороговому значению или более, определяется то, что линии краев обнаружены посредством ошибочной оценки. С другой стороны, когда изменение яркости линий краев в изображении вида «с высоты птичьего полета» не превышает пороговое значение, оценка заключается в том, что линии краев являются корректными. Пороговое значение задается заранее посредством экспериментирования или посредством другого средства.

[0090] Фиг. 16 является видом, иллюстрирующим распределение яркости на линии края; фиг. 16(a) иллюстрирует линию края и распределение яркости, когда другое транспортное средство VX в качестве трехмерного объекта присутствует в области A1 обнаружения, а фиг. 16(b) иллюстрирует линию края и распределение яркости, когда трехмерный объект не присутствует в области A1 обнаружения.

[0091] Как проиллюстрировано на фиг. 16(a), предполагается, что выполнено определение в отношении того, что линия La концентрации внимания, заданная на резиновом участке шины другого транспортного средства VX, является линией края в изображении вида «с высоты птичьего полета». В этом случае, изменение яркости линии La концентрации внимания в изображении вида «с высоты птичьего полета» является постепенным. Это обусловлено преобразованием изображения, захваченного посредством камеры 10 из точки обзора в изображение вида «с высоты птичьего полета», в силу чего шина другого транспортного средства VX укрупнена в изображении вида «с высоты птичьего полета». С другой стороны, предполагается, что линия La концентрации внимания, которая задается в участке знаков белого цвета "50", нарисованном на поверхности дороги, в изображении вида «с высоты птичьего полета» ошибочно оценивается как линия края, как проиллюстрировано на фиг. 16(b). В этом случае, изменение яркости линии La концентрации внимания в изображении вида «с высоты птичьего полета» имеет значительную волнистость. Это обусловлено тем, что дорога и другие участки с низкой яркостью смешиваются с участками с высокой яркостью в знаках белого цвета на линии края.

[0092] Модуль 37 обнаружения трехмерных объектов оценивает то, обнаружена или нет линия края посредством ошибочной оценки, на основе разностей в распределении яркости на линии La концентрации внимания, как описано выше. Модуль 37 обнаружения трехмерных объектов определяет то, что линия края обнаружена посредством ошибочной оценки, когда изменение яркости вдоль линии края имеет предварительно определенное пороговое значение или более. Затем, линия края не используется для обнаружения трехмерного объекта. Снижение точности обнаружения трехмерного объекта за счет этого подавляется, когда знаки белого цвета, такие как "50" на поверхности дороги, придорожная растительность и т.п., оцениваются в качестве линий краев.

[0093] В частности, модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости линии края с использованием нижеприведенной формулы 4 или 5. Изменение яркости линии края соответствует значению оценки в реальном пространстве в перпендикулярном направлении. Формула 4 оценивает распределение яркости с использованием совокупного значения квадрата разности между i-м значением I(xi, yi) яркости и смежным (i+1)-м значением I(xi+1, yi+1) яркости на линии La концентрации внимания. Формула 5 оценивает распределение яркости с использованием совокупного значения абсолютного значения разности между i-м значением I(xi, yi) яркости и смежным (i+1)-м значением I(xi+1, yi+1) яркости на линии La концентрации внимания.

[Формула 4] Значение оценки в перпендикулярном эквивалентном направлении =Σ[{I(xi, yi)-I(xi+1, yi+1)}^-2]

[Формула 5] Значение оценки в перпендикулярном эквивалентном направлении =Σ|I(xi, yi)-I(xi+1, yi+1)|

[0094] При использовании формулы 5 ограничения не налагаются, и также возможно преобразования в двоичную форму атрибута b смежного значения яркости с использованием порогового значения t2 и затем суммирование преобразованного в двоичную форму атрибута b для всех точек Pa концентрации внимания, как указано в формуле 6, приведенной ниже.

[Формула 6] Значение оценки в перпендикулярном эквивалентном направлении =Σb(xi, yi)

Тем не менее, когда |I(xi, yi)-I(xi+1, yi+1)|>t2

b(xi, yi)=1

когда вышеуказанное не справедливо.

b(xi, yi)=0

[0095] Атрибут b(xi, yi) точки Pa концентрации внимания (xi, yi) равен 1, когда абсолютное значение яркостного различия между значением яркости точки Pai концентрации внимания и значением яркости опорной точки Pri превышает пороговое значение t2. Когда вышеуказанная взаимосвязь не справедлива, атрибут b(xi, yi) точки Pai концентрации внимания равен 0. Пороговое значение t2 задается заранее посредством экспериментирования или посредством другого средства, так что линия La концентрации внимания не оценивается как находящаяся на идентичном трехмерном объекте. Модуль 37 обнаружения трехмерных объектов затем суммирует атрибут b для всех точек Pa концентрации внимания на линии La концентрации внимания и определяет значение оценки в перпендикулярном эквивалентном направлении, чтобы за счет этого оценивать то, является или нет линия края корректной.

[0096] Далее описывается способ для обнаружения трехмерного объекта, который использует информацию краев согласно настоящему варианту осуществления. Фиг. 17 и фиг. 18 являются блок-схемами последовательности операций, иллюстрирующими подробности способа для обнаружения трехмерного объекта согласно настоящему варианту осуществления. На фиг. 17 и фиг. 18, для удобства описывается операция, ассоциированная с областью A1 обнаружения, но идентичная операция также выполняется для области A2 обнаружения.

[0097] Как проиллюстрировано на фиг. 17, во-первых, на этапе S20, компьютер 30 задает область обнаружения на основе предварительно определенного правила. Ниже подробно описывается способ для задания и изменения этой области обнаружения. Камера 10 в таком случае захватывает предварительно определенную область, указываемую посредством угла a обзора и позиции присоединения на этапе S21. Далее, захваченные данные изображений, захваченные посредством камеры 10 на этапе S21, вводятся в модуль 31 преобразования точки обзора, который затем проводит преобразование точки обзора и генерирует данные изображений вида «с высоты птичьего полета» на этапе S22.

[0098] Затем, на этапе S23, модуль 35 вычисления яркостного различия задает линию La концентрации внимания на области A1 обнаружения. В это время, модуль 35 вычисления яркостного различия задает линию, соответствующую линии, идущей в перпендикулярном направлении в реальном пространстве, в качестве линии La концентрации внимания. Далее, на этапе S303, модуль 35 вычисления яркостного различия задает опорную линию Lr на области A1 обнаружения. Модуль 35 вычисления яркостного различия задает, в качестве опорной линии Lr, линию, которая соответствует линии, идущей в перпендикулярном направлении в реальном пространстве, и линию, которая также отделена на предварительно определенное расстояние в реальном пространстве от линии La концентрации внимания.

[0099] Затем, модуль 35 вычисления яркостного различия задает множество точек Pa концентрации внимания на линии La концентрации внимания на этапе S25. В это время, модуль 35 вычисления яркостного различия задает определенное число точек Pa концентрации внимания, которое не представляет собой проблему во время обнаружения краев посредством модуля 36 обнаружения линий краев. Модуль 35 вычисления яркостного различия затем задает опорные точки Pr таким образом, что точки Pa концентрации внимания и опорные точки Pr имеют идентичную высоту в реальном пространстве, на этапе S26. Точки Pa концентрации внимания и опорные точки Pr за счет этого фактически выстраиваются в ряд в горизонтальном направлении, и линия края, идущая в перпендикулярном направлении в реальном пространстве, проще обнаруживается.

[0100] Затем, на этапе S27, модуль 35 вычисления яркостного различия вычисляет яркостное различие между точками Pa концентрации внимания и опорными точками Pr на идентичной высоте в реальном пространстве. Модуль 36 обнаружения линий краев вычисляет атрибут s точек Pa концентрации внимания в соответствии с формулой 1, описанной выше. На этапе S28, модуль 36 обнаружения линий краев затем вычисляет неразрывность c атрибута s точек Pa концентрации внимания в соответствии с формулой 2, описанной выше. На этапе S29, модуль 36 обнаружения линий краев также оценивает то, превышает или нет значение, полученное посредством нормализации суммы неразрывности c, пороговое значение θ, в соответствии с формулой 3, описанной выше. Когда выполнено определение в отношении того, что нормализованное значение превышает пороговое значение θ (этап S29: "Да"), модуль 36 обнаружения линий краев обнаруживает линию La концентрации внимания в качестве линии края на этапе S30. После этого операция переходит к этапу S31. Когда выполнено определение в отношении того, что нормализованное значение не превышает пороговое значение θ (S29: "Нет"), модуль 36 обнаружения линий краев не обнаруживает линию La концентрации внимания в качестве линии края, и операция переходит к этапу S31.

[0101] На этапе S31, компьютер 30 определяет то, выполнены или нет операции этапов S23-S30 для всех линий La концентрации внимания, которые могут задаваться в области A1 обнаружения. Когда выполнено определение в отношении того, что вышеуказанные операции не выполнены для всех линий La концентрации внимания (S31: "Нет"), операция возвращается к этапу S23, задает новую линию La концентрации внимания и повторяет операцию через этап S31. С другой стороны, когда выполнено определение в отношении того, что операции выполнены для всех линий La концентрации внимания (S31="Да"), операция переходит к этапу S32 на фиг. 18.

[0102] На этапе S32 на фиг. 18, модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости вдоль линии края для каждой линии краев, обнаруженной на этапе S30 на фиг. 17. Модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости линий краев в соответствии с любой из формул 4, 5 и 6. Далее, на этапе S33, модуль 37 обнаружения трехмерных объектов исключает, из числа линий краев, линии краев, для которых изменение яркости имеет предварительно определенное пороговое значение или более. Другими словами, когда линия края, имеющая большое изменение яркости, не оценивается в качестве корректной линии края, линия края не используется для обнаружения трехмерного объекта. Как описано выше, это осуществляется для того, чтобы подавлять обнаружение знаков на поверхности дороги, придорожной растительности и т.п., включенных в область A1 обнаружения в качестве линий краев. Следовательно, предварительно определенное пороговое значение определяется посредством экспериментирования или посредством другого средства заранее и задается на основе изменения яркости, которое возникает вследствие знаков на поверхности дороги, придорожной растительности и т.п.

[0103] Затем, на этапе S34, модуль 37 обнаружения трехмерных объектов определяет то, составляет или нет число линий краев второе пороговое значение β или более. Например, второе пороговое значение β задается заранее посредством экспериментирования или посредством другого средства, на основе числа линий краев четырехколесного транспортного средства, которое появляется в областях A1 обнаружения, когда четырехколесное транспортное средство задается в качестве трехмерного объекта, который должен быть обнаружен. Когда выполнена оценка того, что число линий краев составляет второе пороговое значение β или более (S34: "Да"), модуль 37 обнаружения трехмерных объектов определяет то, что трехмерный объект присутствует в области A1 обнаружения, на этапе S35. С другой стороны, когда выполнена оценка того, что число линий краев не составляет второе пороговое значение β или более (S34: "Нет"), модуль 37 обнаружения трехмерных объектов определяет то, что трехмерный объект не присутствует в области A1 обнаружения. После этого завершается операция, проиллюстрированная на фиг. 17 и фиг. 18. Обнаруженный трехмерный объект может быть определен в качестве другого транспортного средства VX, которое едет в смежной полосе движения, которая является смежной с полосой движения, в которой едет рассматриваемое транспортное средство V, либо может выполняться определение, связанное с тем, представляет или нет этот объект собой другое транспортное средство VX, которое едет в смежной полосе движения, с учетом относительной скорости обнаруженного трехмерного объекта относительно рассматриваемого транспортного средства V.

[0104] Как описано выше, согласно способу настоящего варианта осуществления для обнаружения трехмерного объекта, который использует информацию краев, перпендикулярная воображаемая линия задается в качестве сегмента линии, идущего в перпендикулярном направлении в реальном пространстве относительно изображения вида «с высоты птичьего полета», чтобы обнаруживать трехмерный объект, присутствующий в областях A1, A2 обнаружения. Затем, яркостное различие между двумя пикселами около каждой позиции вычисляется для каждых из множества из позиций вдоль перпендикулярной воображаемой линии; как результат, возможна оценка присутствия/отсутствия трехмерного объекта на основе неразрывности яркостного различия.

[0105] В частности, линия La концентрации внимания, которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и опорная линия Lr, которая отличает от линии La концентрации внимания, задаются относительно областей A1, A2 обнаружения в изображении вида «с высоты птичьего полета». Затем, яркостное различие между точкой Pa концентрации внимания на линии La концентрации внимания и опорной точкой Pr на опорной линии Lr определяется непрерывным способом вдоль линии La концентрации внимания и опорной линии La. Яркостное различие между линией La концентрации внимания и опорной линией Lr определяется посредством определения яркостного различия между точками таким образом. Имеется высокая вероятность того, что имеется край трехмерного объекта в местоположении, в котором задана линия La концентрации внимания, когда яркостное различие между линией La концентрации внимания и опорной линией Lr является высоким. Соответственно, возможно обнаружение трехмерного объекта на основе непрерывного яркостного различия. В частности, на операцию для обнаружения трехмерного объекта не оказывается влияние, даже когда трехмерный объект укрупняется в соответствии с высотой от поверхности дороги посредством преобразования в изображение вида «с высоты птичьего полета» для того, чтобы сравнивать яркость между перпендикулярными воображаемыми линиями, идущими в перпендикулярном направлении в реальном пространстве. Следовательно, согласно настоящему примеру, может повышаться точность для обнаружения трехмерного объекта.

[0106] Помимо этого, в настоящем примере, определяется яркостное различие между двумя точками практически на идентичной высоте около перпендикулярной воображаемой линии. В частности, определение яркостного различия из точки Pa концентрации внимания на линии La концентрации внимания и опорной точки Pr на опорной линии Lr, которые имеют практически идентичную высоту в реальном пространстве, дает возможность четкого обнаружения яркостного различия, когда край, идущий в перпендикулярном направлении, присутствует.

[0107] Кроме того, в настоящем примере, атрибут назначается точке Pa концентрации внимания на основе яркостного различия между точкой Pa концентрации внимания на линии La концентрации внимания и опорной точкой Pr на опорной линии Lr; затем, выполняется определение в отношении того, является или нет линия La концентрации внимания линией края, на основе неразрывности c атрибутов вдоль линии La концентрации внимания. Следовательно, границы между областями, имеющими высокую яркость, и областями, имеющими низкую яркость, обнаруживаются в качестве линий краев, и края могут быть обнаружены в соответствии с естественными ощущениями человека. Ниже описываются результаты вышеизложенного. Фиг. 19 является видом, иллюстрирующим пример изображения, показывающего обработку модуля 36 обнаружения линий краев. Этот пример изображения является изображением, в котором первый полосковый шаблон 101, указывающий полосковый шаблон, в котором повторяются области высокой яркости и области низкой яркости, и второй полосковый шаблон 102, указывающий полосковый шаблон, в котором повторяются области низкой яркости и области высокой яркости, являются смежными друг с другом. Кроме того, в этом примере изображения, области в первом полосковом шаблоне 101, в которых яркость является высокой, и области во втором полосковом шаблоне 102, в которых яркость является низкой, являются смежными друг с другом; так же, области в первом полосковом шаблоне 101, в которых яркость является низкой, и области во втором полосковом шаблоне 102, в которых яркость является высокой, являются смежными друг с другом. Местоположение 103, размещаемое на границе между первым полосковым шаблоном 101 и вторым полосковым шаблоном 102, имеет тенденцию не восприниматься как край посредством органов чувств человека.

[0108] Напротив, поскольку области с низкой яркостью и области с высокой яркостью являются смежными друг с другом, местоположение 103 распознается в качестве края, когда край обнаруживается только посредством яркостного различия. Тем не менее, в дополнение к яркостному различию в местоположении 103, модуль 36 обнаружения линий краев оценивает местоположение 103 в качестве линии края только тогда, когда существует неразрывность в атрибутах яркостного различия. Следовательно, модуль 36 обнаружения линий краев допускает подавление ошибочной оценки, при которой местоположение 103, которое не распознается в качестве линии края посредством органов чувств человека, распознается в качестве линии края, и края могут быть обнаружены посредством органов чувств человека.

[0109] Дополнительно, в настоящем примере, выполняется определение в отношении того, что линия края обнаружена посредством ошибочной оценки, когда изменение яркости вдоль линии края, которая обнаруживается посредством модуля 36 обнаружения линий краев, имеет предварительно определенное пороговое значение или более. Трехмерный объект, включенный в захваченное изображение, зачастую появляется в укрупненном состоянии в изображении вида «с высоты птичьего полета», когда захваченное изображение, полученное посредством камеры 10, преобразуется в изображение вида «с высоты птичьего полета». Например, когда шина другого транспортного средства VX укрупняется, как описано выше, изменения яркости изображения вида «с высоты птичьего полета» в увеличенном направлении имеют тенденцию быть небольшими, поскольку шина в качестве одного местоположения укрупняется. Напротив, когда символ и т.п., нанесенный на поверхности дороги, ошибочно оценен в качестве линии края, такие области, как участок символов, который имеет высокую яркость, и такие области, как участок поверхности дороги, который имеет низкую яркость, смешанно включаются в изображение вида «с высоты птичьего полета». В таком случае, изменения яркости в укрупненном направлении имеют тенденцию быть больше. Следовательно, возможно распознавание линий краев, которые определены посредством ошибочной оценки, и повышение точности для обнаружения трехмерного объекта посредством определения изменения яркости в изображении вида «с высоты птичьего полета» вдоль линии края, как указано в настоящем примере.

[0110] КОНЕЧНОЕ ОПРЕДЕЛЕНИЕ ТРЕХМЕРНОГО ОБЪЕКТА

Возвращаясь к фиг. 3, устройство 1 обнаружения трехмерных объектов настоящего примера содержит два модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов), описанные выше, модуль 34 оценки трехмерных объектов, модуль 38 оценки состояния линзы, модуль 41 задания областей обнаружения и контроллер 39. Модуль 34 оценки трехмерных объектов в конечном счете определяет то, представляет или нет обнаруженный трехмерный объект собой другое транспортное средство VX в областях A1, A2 обнаружения, на основе результатов обнаружения из модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов). Когда заданы вторые области A12, A22 обнаружения, позиции которых изменены посредством модуля 41 задания областей обнаружения, выполняется определение в отношении того, имеется или нет другое транспортное средство VX во вторых областях A12, A22 обнаружения после изменения. Помимо этого, контроллер 39 устройства 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления управляет контентом обработки модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов) и/или модуля 34 оценки трехмерных объектов на основе результатов обнаружения для вторых областей A12, A22 обнаружения, позиции которых изменены посредством модуля 41 задания областей обнаружения, и для исходных первых областей A11, A21 обнаружения.

[0111] Ниже подробно описывается обработка модуля 41 задания областей обнаружения согласно настоящему варианту осуществления. Когда посредством модуля 38 оценки состояния линзы выполнено определение в отношении того, что линза 11 находится во влажном состоянии, модуль 41 задания областей обнаружения настоящего варианта осуществления задает вторые области A12, A22 обнаружения в позициях, которые отличаются от исходных первых областей A11, A21 обнаружения.

[0112] Сначала описывается модуль 38 оценки состояния линзы для определения состояния линзы 11.

[0113] Модуль 38 оценки состояния линзы согласно настоящему варианту осуществления обнаруживает состояние, в котором линза 11 является влажной от капель дождя или очищающей жидкости. В частности, модуль 38 оценки состояния линзы оценивает состояние дождя и обнаруживает состояние, в котором капли дождя прилипают снаружи кузова рассматриваемого транспортного средства V и, в частности, к линзе 11 камеры 10, а также количество капель дождя (количество осадков), прилипающих к линзе 11, на основе информации, полученной из одного устройства или более из датчика 50 капель дождя, стеклоочистителя 60 и навигационного устройства 70. Помимо этого, модуль 38 оценки состояния линзы обнаруживает состояние, в котором очищающая жидкость прилипает к линзе 11, а также количество очищающей жидкости, прилипающей к линзе 11, на основе времени, в которое устройство 80 очистки линзы, которое содержит насос, который подает очищающую жидкость, и форсунку, которая распыляет поданную очищающую жидкость на линзу 11, и которое распыляет очищающую жидкость на линзу 11 в предварительно определенное время в соответствии с предварительно определенным этапом очистки линзы для того, чтобы очищать линзу 11 камеры 10, распыляет очищающую жидкость на линзу 11 на этапе обработки очисткой.

[0114] Датчик 50 капель дождя в настоящем варианте осуществления содержит уступ, сконфигурированный посредством полупрозрачного материала, такого как стекло, и к которому могут прилипать капли дождя, светоизлучающую часть, которая испускает инфракрасный свет на уступ, и светоприемную часть, которая принимает отраженный свет света, который испускается из светоизлучающей части. Когда капли дождя не прилипают к открытой поверхности уступа, свет, испускаемый из светоизлучающей части, полностью отражается посредством поверхности уступа (стекла), так что светоприемная часть принимает отраженный свет, который имеет силу, практически идентичную силе излучаемого света. С другой стороны, когда капли дождя прилипают к открытой поверхности уступа, свет, испускаемый из светоизлучающей части, пропускается снаружи через капли дождя, которые прилипают к уступу (стекло), так что светоприемная часть принимает отраженный свет с ослабленной силой по сравнению с излучаемым светом. Возможно определение того, прилипают или нет капли дождя к открытой поверхности уступа (одной основной поверхности), посредством сравнения излучаемого света, который испускается из светоизлучающей части, и отраженного света, который принимается посредством светоприемной части. Помимо этого, количество капель дождя определяется на основе ослабления излучаемого света. Информация, связанная с наличием/отсутствием капель дождя, в качестве количества капель дождя отправляется в модуль 38 оценки состояния линзы компьютера 30, описанного ниже. Конфигурация датчика 50 капель дождя не ограничена таким образом; могут надлежащим образом использоваться другие датчики 50 капель дождя, известные на момент подачи заявки. Модуль 38 оценки состояния линзы определяет то, находится или нет линза 11 во влажном состоянии, на основе результата вывода датчика 50 капель дождя (наличие/отсутствие капель дождя, наличие капель дождя в предварительно определенном количестве или более).

[0115] Стеклоочиститель 60 представляет собой устройство для удаления капель дождя на ветровом стекле и заднем окне рассматриваемого транспортного средства V. Независимо от задания в качестве ручного или автоматического режима, чем больше прилипающее количество капель дождя, тем быстрее стеклоочиститель 60 вытирает стекло (или ветровое стекло). С помощью этого возможно определение того, что количество капель дождя больше, когда частота приведения в действие (интенсивность приведения в действие) стеклоочистителя 60 является более высокой, и возможно определение того, что количество капель дождя меньше (небольшое количество осадков), когда частота приведения в действие (интенсивность приведения в действие) стеклоочистителя 60 ниже. Модуль 38 оценки состояния линзы определяет то, находится или нет линза 11 во влажном состоянии, на основе оперативной информации стеклоочистителя 60 (информации, что стеклоочиститель работает, и что работа осуществляется на предварительно определенной частоте приведения в действие или более).

[0116] Навигационное устройство 70 содержит устройство 71 связи, которое обменивается информацией с внешней стороной и которое выступает в качестве устройства, которое не только может выполнять поиск маршрута, но также и предоставляет различную информацию, включающую в себя информацию о погоде, которая включает в себя информацию дождевых осадков, соответствующую информации позиции, из сервера предоставления информации, аналогично стандартному серверу предоставления информации, известному на момент подачи заявки. Информация дождевых осадков, которая должна быть получена, включает в себя наличие/отсутствие дождя, а также то, выпадает большее или меньшее количество дождевых осадков. Навигационное устройство 70 обнаруживает текущую позицию рассматриваемого транспортного средства V с использованием GPS-устройства 72 и получает информацию о погоде, включающую в себя информацию дождевых осадков в текущей позиции. Как результат, возможно получение информации, связанной с наличием/отсутствием дождя (прилипанием капель дождя) и количеством дождевых осадков снаружи.

[0117] Устройство 80 очистки линзы содержит насос, который подает очищающую жидкость, и форсунку, которая распыляет поданную очищающую жидкость на линзу 11, и устройство очистки линзы распыляет очищающую жидкость на линзу 11 в предварительно определенное время в соответствии с предварительно определенным этапом очистки линзы для того, чтобы очищать линзу 11 камеры 10. На этом этапе очистки линзы, устройство 80 очистки линзы очищает поверхность линзы 11 в соответствии с этапом очистки линзы, включающим в себя "этап A увлажнения линзы", на котором очищающая жидкость W разбрызгивается на линзу 11, чтобы увлажнять поверхность линзы 11; "первый этап B продувки воздухом", на котором газ прерывисто подается за счет продувки на линзу 11 многократно с предварительно определенным интервалом; "этап C очистки", на котором очищающая жидкость W разбрызгивается за счет продувки на линзу 11, чтобы очищать поверхность линзы 11; и "второй этап D продувки воздухом", в котором испаряется очищающая жидкость W, и сушится поверхность линзы 11. Модуль 38 оценки состояния линзы обращается к этапу очистки линзы и определяет то, что линза 11 является влажной, в то время когда выполняются "этап A увлажнения линзы", на котором очищающая жидкость разбрызгивается на линзу 11, и "этап C очистки", на котором очищающая жидкость разбрызгивается за счет продувки на линзу 11, на основе истекшего времени после начала этапа очистки линзы.

[0118] Как описано выше, модуль 38 оценки состояния линзы определяет то, является или нет линза 11 влажной, на основе информации, полученной из датчика 50 капель дождя, стеклоочистителя 60, навигационного устройства 70 или устройства 80 очистки линзы, и выводит результат в модуль 41 задания областей обнаружения.

[0119] Когда посредством модуля 38 оценки состояния линзы выполняется определение в отношении того, что линза 11 находится во влажном состоянии, модуль 41 задания областей обнаружения изменяет позиции первых областей A11, A21 обнаружения, которые сначала задаются в качестве областей A1, A2 обнаружения, таким образом, что они не включают в себя область отображения белой линии дорожной разметки на стороне полосы движения рассматриваемого транспортного средства V из числа белых линий дорожной разметки на смежной полосе движения, которая является смежной с полосой движения, в которой едет рассматриваемое транспортное средство V, и задает вторые области A12, A22 обнаружения в качестве новых областей A1, A2 обнаружения.

[0120] Между тем, если жидкость, такая как вода или очищающая жидкость, прилипает к линзе 11, и линза 11 находится во влажном состоянии, то искажается изображение, которое формируется посредством линзы 11. Пример информации K изображений, полученной через влажную линзу 11, проиллюстрирован на фиг. 20. Изображение в нижней части фиг. 20 является изображением номерного знака LP, а заштрихованная серым часть в верхней стороне является изображением кожуха C камеры 10. Изображение в области между номерным знаком LP и кожухом C изменяется моментально вместе с движением рассматриваемого транспортного средства V. Информация K изображений области между номерным знаком LP и кожухом C включает в себя изображение поверхности RD дороги для дороги, по которой едет рассматриваемое транспортное средство V, и изображение неба SK на заднем фоне, расходящегося выше этой поверхности RD дороги, как проиллюстрировано на фиг. 20.

[0121] Когда процесс преобразования изображений проводится с использованием информации K изображений, захваченной через влажную линзу 11, к примеру, информации, проиллюстрированной на фиг. 20, возникают случаи, в которых края плоского объекта должны иметь характеристику краев трехмерного объекта вследствие эффекта водяной пленки, которая закрывает линзу 11. Если информация форм разностных сигналов или информация краев вычисляется с использованием способа, описанного выше на основе этого типа информации изображений, и выполняется обнаружение трехмерных объектов, возникают случаи, в которых плоский объект, такой как белая линия дорожной разметки на дороге (разделительная линия), ошибочно распознается в качестве изображения трехмерного объекта, к примеру, другого транспортного средства VX.

[0122] Как конкретно проиллюстрировано посредством левостороннего чертежа на фиг. 21, когда линза 11, которая не является влажной, используется для того, чтобы захватывать область A1a обнаружения, в которой нарисована белая линия Q1 дорожной разметки, и когда информация форм разностных сигналов (информация краев) определяется на основе этого захваченного изображения, характеристики белой линии Q1 дорожной разметки, которая представляет собой плоский объект, не извлекаются, как проиллюстрировано посредством G1a. С другой стороны, как проиллюстрировано посредством правостороннего чертежа на фиг. 21, белая линия Q2 дорожной разметки искажается, когда влажная линза 11 используется для того, чтобы захватывать область A1b обнаружения, в которой нарисована белая линия Q2 дорожной разметки; следовательно, если информация форм разностных сигналов (информация краев) определяется на основе этого захваченного изображения, то возникают случаи, в которых характеристика Z трехмерного объекта извлекается, как проиллюстрировано посредством G1b, даже если захваченные объекты представляют собой только плоские объекты. Если процесс обнаружения трехмерных объектов продолжается на основе этого результата обнаружения, то возникают случаи, в которых изображение белой линии дорожной разметки обнаруживается в качестве другого транспортного средства VX.

[0123] Чтобы предотвращать этот тип ошибочного обнаружения, устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления задает вторые области A12, A22 обнаружения в позициях, которые отличаются от первых областей A11, A21 обнаружения по умолчанию, когда обнаружено влажное состояние линзы 11. Эти вторые области A12, A22 обнаружения задаются посредством изменения позиций таким образом, что они не включают в себя область отображения белой линии дорожной разметки на стороне полосы движения рассматриваемого транспортного средства V из числа белых линий дорожной разметки в смежных полосах движения, которые являются смежными с полосой движения, в которой едет рассматриваемое транспортное средство V, так что возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11. Как результат, возможно предотвращение снижения точности результатов обнаружения, вызываемого за счет становления влажной линзы 11, и возможно предоставление устройства 1 обнаружения трехмерных объектов, которое обнаруживает другое транспортное средство, которое едет в смежной полосе движения, с высокой степенью точности.

[0124] Ниже описывается конкретный способ для задания вторых областей A12, A22 обнаружения на основе фиг. 22-25.

[0125] Фиг. 22 иллюстрирует первые области A11, A21 обнаружения, которые сначала задаются в качестве областей A1, A2 обнаружения. Первые области A11, A21 обнаружения задаются в позициях, которые включают в себя другое транспортное средство VX, которое едет в полосе движения, представляющей собой смежную полосу движения, и белую линию дорожной разметки, которая указывает позицию полосы движения, представляющей собой смежную полосу движения. Позиции первых областей A11, A21 обнаружения могут задаваться как позиции, в которых выполняется постоянная обработка (позиции по умолчанию).

[0126] Как проиллюстрировано на фиг. 23, когда модуль 38 оценки состояния линзы определяет то, что линза 11 находится во влажном состоянии, модуль 41 задания областей обнаружения согласно настоящему варианту осуществления изменяет первые области A11, A21 обнаружения, которые сначала задаются в качестве областей A1, A2 обнаружения, на позиции, которые отделены от опорной линии P, которая проходит через позицию установки камеры 10 и которая располагается вдоль направления y длины транспортного средства для рассматриваемого транспортного средства V, на первое предварительно определенное расстояние W1; модуль задания областей обнаружения затем задает вторые области A12, A22 обнаружения в позициях после изменения их на новые области A1, A2 обнаружения. Посредством отделения первых областей A11, A21 обнаружения с левой и с правой стороны от центра полосы движения рассматриваемого транспортного средства V на расстояние W1 таким способом, предусмотрена такая конфигурация, в которой область отображения разделительных линий (белых линий дорожной разметки) на стороне полосы движения рассматриваемого транспортного средства V из числа разделительных линий в смежных полосах движения, которые являются смежными с полосой движения, в которой едет транспортное средство, не включается во вторые области A12, A22 обнаружения; следовательно, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11. Когда другое транспортное средство VX присутствует в областях A1, A2 обнаружения, главным образом, захватываются только разделительные линии (белые полосы движения) на стороне полосы движения рассматриваемого транспортного средства V из числа разделительных линий. Соответственно, в настоящем варианте осуществления, вторые области A12, A22 обнаружения задаются посредством изменения позиций таким образом, что они не включают в себя (удаляют) область отображения для разделительных линий (белых линий дорожной разметки) на стороне полосы движения рассматриваемого транспортного средства V из числа разделительных линий в смежных полосах движения, которые являются смежными с полосой движения, в которой едет транспортное средство.

[0127] Как проиллюстрировано на фиг. 24, когда модуль 38 оценки состояния линзы определяет то, что линза 11 находится во влажном состоянии, модуль 41 задания областей обнаружения согласно настоящему варианту осуществления изменяет позиции вторых областей A12, A22 обнаружения на области в первых областях A11, A21 обнаружения, которые сначала задаются в качестве областей A1, A2 обнаружения, которые являются отсутствующими областями A13, A23, которые меньше второго предварительно определенного расстояния W2 от опорной линии P, которая проходит через позицию установки камеры 10 и которая располагается вдоль направления y длины транспортного средства для рассматриваемого транспортного средства V, и задает новые области A1, A2 обнаружения. Посредством исключения из областей обнаружения областей в первых областях A11, A21 обнаружения, которые располагаются с левой и с правой стороны от центра полосы движения рассматриваемого транспортного средства V менее чем на расстоянии W2, предусмотрена такая конфигурация, в которой белые линии дорожной разметки (разделительные линии) в смежных полосах движения не должны включаться во вторые области A12, A22 обнаружения; как результат, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11.

[0128] Как проиллюстрировано на фиг. 25, когда модуль 38 оценки состояния линзы определяет то, что линза 11 находится во влажном состоянии, модуль 41 задания областей обнаружения согласно настоящему варианту осуществления задает вторые области A12, A22 обнаружения, в которых области A14, A24, которые меньше одной третьей предварительно определенного расстояния W3 от опорной линии P, которая проходит через позицию установки камеры 10 и которая располагается вдоль направления y длины транспортного средства для рассматриваемого транспортного средства V, маскируются (удаляются) из первых областей A11, A21 обнаружения, которые сначала задаются в качестве областей A1, A2 обнаружения, в качестве новых областей A1, A2 обнаружения. В такой конфигурации, в которой области в первых областях A11, A21 обнаружения, которые располагаются с левой и с правой стороны от центра полосы движения рассматриваемого транспортного средства V менее чем на расстоянии W3, не выступают в качестве областей обнаружения (маскирование), предусмотрена такая конфигурация, в которой белые линии дорожной разметки (разделительные линии) в смежных полосах движения не обнаруживаются во вторых областях A12, A22 обнаружения; как результат, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11.

[0129] Предварительно определенные расстояния W1-W4 могут задаваться заранее и сохраняться в компьютере 30, или они могут сохраняться в ассоциации с информацией дороги (информацией позиции) в картографической информации, сохраняемой посредством навигационного устройства 70; предварительно определенные расстояния W1-W4, которые соответствуют информации дороги, которой принадлежит информация позиции, также могут последовательно считываться на основе информации позиции, обнаруженной посредством GPS в навигационном устройстве 70. Предварительно определенные расстояния могут составлять идентичное расстояние или различные расстояния. Когда белая линия дорожной разметки (ширина полосы движения) составляет приблизительно 15 см, предварительно определенные расстояния W1-W4 могут составлять приблизительно 25-300 см.

[0130] Когда посредством модуля 38 оценки состояния линзы выполняется определение в отношении того, что линза 11 находится во влажном состоянии, модуль 41 задания областей обнаружения настоящего варианта осуществления обнаруживает область отображения, в которой белая линия дорожной разметки (разделительная линия) отображается на дороге, на основе изображения, захваченного посредством камеры 10, и изменяет позиции первых областей A11, A21 обнаружения, которые сначала задаются в качестве областей A1, A2 обнаружения, так что удаляется область отображения (так, что она не включает в себя область отображения), и задает вторые области A12, A22 обнаружения в качестве новых областей A1, A2 обнаружения. Посредством удаления области отображения белой линии дорожной разметки из первых областей A11, A21 обнаружения таким способом, предусмотрена такая конфигурация, в которой белые линии дорожной разметки (разделительные линии) в смежных полосах движения не обнаруживаются во вторых областях A12, A22 обнаружения; следовательно, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11. Способ для различения белых линий дорожной разметки, включенных в поверхность дороги, и извлечения областей, которые включают в себя дифференцированные белые линии дорожной разметки, не ограничен конкретным образом, и могут надлежащим образом применяться способы обработки изображений, известные на момент подачи заявки.

[0131] В среде захвата, в которой контрастность белых линий дорожной разметки (разделительных линий) является высокой, становится значительной тенденция для извлечения характеристики изображения трехмерного объекта из изображения белой линии дорожной разметки, которая представляет собой плоский объект. В этом типе ситуации, предпочтительно, предусмотрена такая конфигурация, в которой разделительные белые линии дорожной разметки смежных полос движения не включаются в области A1, A2 обнаружения. Соответственно, модуль 41 задания областей обнаружения согласно настоящему варианту осуществления вычисляет уровень контрастности белых линий дорожной разметки, отображаемых на дороге, на основе изображения, захваченного посредством камеры 10, и задает вторые области A12, A22 обнаружения в качестве новых областей A1, A2 обнаружения, когда вычисленный уровень контрастности белых линий дорожной разметки имеет предварительно определенное пороговое значение или более. Таким образом, вторые области A12, A22 обнаружения задаются таким образом, что белые линии дорожной разметки (разделительные линии) в смежной полосе движения не обнаруживаются, когда контрастность белых линий дорожной разметки (разделительных линий) высокая; следовательно, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11.

[0132] Между тем, если первые области A11, A21 обнаружения перемещаются далеко за пределы опорной линии P на основе способов, описанных выше, возникают случаи, в которых белые линии дорожной разметки (разделительные линии) за пределами смежных полос движения не включаются в области A1, A2 обнаружения, когда другое транспортное средство VX не присутствует в области A1, A2 обнаружения. В этом случае, если линза 11 является влажной, возникают случаи, в которых искажаются белые линии дорожной разметки за пределами смежных полос движения при захвате, приводя к ошибочному обнаружению. Соответственно, когда выполняется определение в отношении того, что расстояние ΔW(W1-W0) между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения имеет предварительно определенное значение или более, как проиллюстрировано на фиг. 26, модуль 41 задания областей обнаружения согласно настоящему варианту осуществления задает в качестве новых областей A1, A2 обнаружения вторые области A12, A22 обнаружения, в которых область A25, которая отделена от опорной линии P, которая проходит через позицию установки камеры 10 и которая располагается вдоль направления y длины транспортного средства для рассматриваемого транспортного средства V, на четвертое предварительно определенное расстояние W4 или более, удаляется из заданных вторых областей A12, A22 обнаружения посредством удаления или маскирования. Таким образом, вторые области A12, A22 обнаружения задаются таким образом, что белые линии дорожной разметки (разделительные линии) за пределами смежных полос движения (дальше от полосы движения рассматриваемого транспортного средства V) не обнаруживаются, когда расстояние ΔW(W1-W0) между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения имеет предварительно определенное значение или более; следовательно, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11.

[0133] Ниже описывается контроллер 39 устройства 1 обнаружения трехмерных объектов настоящего варианта осуществления. Контроллер 39 согласно настоящему варианту осуществления предотвращает определение трехмерного объекта, обнаруженного посредством модулей 33, 37 обнаружения трехмерных объектов, в качестве другого транспортного средства VX, которое присутствует в правосторонней области A1 обнаружения или в левосторонней области A2 обнаружения, посредством модуля 34 оценки трехмерных объектов по мере того, как увеличивается расстояние между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения, заданными посредством модуля 41 задания областей обнаружения.

[0134] Поскольку области A1, A2 обнаружения по умолчанию (первые области A11, A21 обнаружения) задаются в позициях, которые позволяют надлежащим образом обнаруживать другое транспортное средство VX в обычное время, возникают случаи, в которых другое транспортное средство VX ошибочно обнаруживается, когда области A1, A2 обнаружения изменяются, и трехмерный объект обнаруживается с использованием идентичных условий и способов, как обычно. Соответственно, в настоящем варианте осуществления, пороговое значение, связанное с разностью в пиксельных значениях при генерировании информации форм разностных сигналов, увеличивается таким образом, что обнаружение другого транспортного средства VX подавляется (так, что обнаружение является менее вероятным) по мере того, как увеличивается расстояние между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения.

[0135] Фиг. 27 иллюстрирует пример взаимосвязи между каждым пороговым значением, используемым для операции для обнаружения другого транспортного средства VX, и расстоянием ΔW между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения. Каждое пороговое значение задается выше по мере того, как увеличивается ΔW, как проиллюстрировано на фиг. 27. Таким образом, обнаружение трехмерного объекта и определение обнаруженного трехмерного объекта в качестве другого транспортного средства VX подавляются по мере того, как увеличивается расстояние ΔW(W1-W0) между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения; следовательно, возможно предотвращение ошибочного обнаружения, вызываемого посредством сдвига областей A1, A2 обнаружения.

[0136] Помимо этого, контроллер 39 согласно настоящему варианту осуществления имеет возможность выводить в модуль 33 обнаружения трехмерных объектов команду управления для вывода значения, полученного посредством подсчета числа пикселов, которые указывают предварительно определенную разность в разностном изображении изображения вида «с высоты птичьего полета» и формируются в частотное распределение, которое является более низким по мере того, как увеличивается расстояние между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения. Значение, полученное посредством подсчета числа пикселов, которые указывают предварительно определенную разность в разностном изображении изображения вида «с высоты птичьего полета» и формируются в частотное распределение, является значением на вертикальной оси формы DWt разностного сигнала, сгенерированной на этапе S5 на фиг. 11. Посредством понижения выходного значения таким способом, чувствительность обнаружения может регулироваться таким образом, что другое транспортное средство VX, которое едет в смежной полосе относительно полосы движения рассматриваемого транспортного средства V, должно обнаруживаться с меньшей вероятностью, обеспечивая возможность предотвращения ошибочного обнаружения другого транспортного средства VX.

[0137] Далее описывается команда управления, используемая для обнаружения трехмерного объекта на основе информации краев. Контроллер 39 согласно настоящему варианту осуществления выводит в модуль 37 обнаружения трехмерных объектов команду управления для увеличения предварительно определенного порогового значения, связанного с яркостью, используемой при обнаружении информации краев, по мере того, как увеличивается расстояние между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения. Предварительно определенное пороговое значение, связанное с яркостью, используемой при обнаружении информации краев, является пороговым значением θ для определения значения, полученного посредством нормализации суммы неразрывности c атрибутов каждой точки Pa концентрации внимания на этапе S29 на фиг. 17; альтернативно, оно является вторым пороговым значением β для оценки числа линий краев на этапе S34 на фиг. 18. Посредством увеличения порогового значения для определения таким способом, чувствительность обнаружения может регулироваться таким образом, что другое транспортное средство VX, которое едет в смежной полосе относительно полосы движения рассматриваемого транспортного средства V, должно обнаруживаться с меньшей вероятностью, обеспечивая возможность предотвращения ошибочного обнаружения другого транспортного средства VX.

[0138] Дополнительно, контроллер 39 согласно настоящему варианту осуществления выводит в модуль 37 обнаружения трехмерных объектов команду управления для вывода объема обнаруженной информации краев, который является более низким по мере того, как увеличивается расстояние между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения. Объем обнаруженной информации краев является значением, полученным посредством нормализации суммы неразрывности c атрибутов каждой точки Pa концентрации внимания на этапе S29 на фиг. 17 или числа линий краев на этапе S34 на фиг. 18. Посредством понижения выходного значения таким способом, чувствительность обнаружения может регулироваться таким образом, что другое транспортное средство VX, которое едет в смежной полосе относительно полосы движения рассматриваемого транспортного средства V, должно обнаруживаться с меньшей вероятностью посредством задания выходного значения меньшим; следовательно, возможно предотвращение ошибочного обнаружения другого транспортного средства VX, которое едет по смежной полосе движения.

[0139] Соответственно, когда выполнено определение в отношении того, что расстояние ΔW(W1-W0) между заданными вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения имеет предварительно определенное значение или более, модуль 38 задания областей обнаружения согласно настоящему варианту осуществления изменяет позиции и задает третью область A25 обнаружения в области в заданных вторых областях A12, A22 обнаружения, которая отделена от опорной линии P, которая проходит через позицию установки камеры 10 и которая располагается вдоль направления y длины транспортного средства для рассматриваемого транспортного средства, на пятое предварительно определенное расстояние W5 или более (см. фиг. 26). Контроллер 39 затем предотвращает определение трехмерного объекта, обнаруженного из информации на основе изображения, соответствующего этой третьей области A25 обнаружения, в качестве другого транспортного средства VX. В частности, контроллер обнаруживает трехмерный объект на основе изображения, соответствующего третьей области A25 обнаружения, и увеличивает первое пороговое значение α, второе пороговое значение β и θ, которые применяются в процессе для определения того, представляет или нет обнаруженный трехмерный объект собой другое транспортное средство VX.

[0140] Таким образом, когда расстояние ΔW(W1-W0) между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения является большим, подавляется обнаружение трехмерного объекта из информации изображений, соответствующей области, которая отделена от опорной линии P вдоль направления y длины транспортного средства для транспортного средства на пятое предварительно определенное расстояние W5 или более, и определение обнаруженного трехмерного объекта в качестве другого транспортного средства VX; следовательно, возможно предотвращение ошибочного обнаружения, вызываемого посредством сдвига областей A1, A2 обнаружения.

[0141] Фиг. 28 является процедурой управления для устройства 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления. Модуль 38 оценки состояния линзы оценивает то, находится или нет линза 11 во влажном состоянии, на основе различной информации, полученной из датчика 50 капель дождя, стеклоочистителя 60, навигационного устройства 70 или устройства 80 очистки линзы на этапе S41. Если линза 11 не находится во влажном состоянии, процесс переходит к этапу S42 и задает первые области A11, A21 обнаружения по умолчанию в качестве областей A1, A2 обнаружения. С другой стороны, определяется то, что если линза 11 находится во влажном состоянии, процесс переходит к этапу S43.

[0142] Модуль 41 задания областей обнаружения определяет то, составляет или нет контрастность, которая является яркостным различием между внутренней и внешней частью краев изображения, обнаруженного в качестве белой линии дорожной разметки, предварительно определенное значение или более, и переходит к этапу S42, если контрастность меньше предварительно определенного значения; затем, первые области A11, A21 обнаружения по умолчанию задаются в качестве областей A1, A2 обнаружения на этапе S43. С другой стороны, процесс переходит к этапу S44, если контрастность составляет предварительно определенное значение или более, и задаются новые вторые области A12, A22 обнаружения с измененными позициями. Модуль 41 задания областей обнаружения задает новые вторые области A12, A22 обнаружения с использованием одного из множества способов для задания, описанных выше.

[0143] Когда величина ΔW неточного совмещения заданных позиций новых вторых областей A12, A22 обнаружения относительно заданных позиций первых областей A11, A21 обнаружения по умолчанию не составляет предварительно определенное значение или более, процесс переходит к этапу S46, и контроллер 39 задает одно из пороговых значений, которые применяются к обнаружению трехмерных объектов и определению, связанному с присутствием другого транспортного средства, к примеру, первое пороговое значение α, пороговое значение θ и второе пороговое значение β, более высоким по мере того, как становится большой величина ΔW неточного совмещения, с тем чтобы подавлять обнаружение трехмерных объектов на этапе S45. Пороговое значение задается высоким при обработке информации изображений, получаемой из новых вторых областей A12, A22 обнаружения.

[0144] На этапе S45, когда величина ΔW неточного совмещения заданных позиций новых вторых областей A12, A22 обнаружения относительно заданных позиций первых областей A11, A21 обнаружения по умолчанию составляет предварительно определенное значение или более, процесс переходит к этапу S47, и модуль 41 задания областей обнаружения задает третью область A25 обнаружения, которая отделена от опорной линии P вдоль направления y длины транспортного средства для рассматриваемого транспортного средства V на пятое предварительно определенное расстояние W5 или более (см. фиг. 26). Контроллер 39 затем предотвращает обнаружение трехмерного объекта в качестве другого транспортного средства VX из информации на основе изображения, соответствующего этой третьей области A25 обнаружения. Другими словами, одно из пороговых значений, которые применяются при обработке изображения, соответствующего третьей области A25 обнаружения, к примеру, первое пороговое значение α, пороговое значение θ и второе пороговое значение β, задается высоким.

[0145] Контроллер 39 изменяет каждое из пороговых значений, используемых для каждой из операций, таким образом, что оно выше начального значения, стандартного значения и других заданных значений (так, что обнаружение является менее вероятным); альтернативно, контроллер изменяет выходное значение, которое сравнивается с каждым из пороговых значений, таким образом, что оно ниже (так, что обнаружение является менее вероятным), чтобы предотвращать обнаружение трехмерного объекта посредством модулей 33, 37 обнаружения трехмерных объектов или определение трехмерного объекта в качестве другого транспортного средства VX посредством модуля 37 оценки трехмерных объектов.

[0146] Конкретный контент операции заключается в следующем.

[0147] Когда модуль 33 обнаружения трехмерных объектов, который обнаруживает трехмерный объект с использованием информации форм разностных сигналов, обнаруживает трехмерный объект, когда информация форм разностных сигналов составляет предварительно определенное первое пороговое значение α или более, контроллер 39 генерирует команду управления для увеличения первого порогового значения α, так что трехмерный объект легко не обнаруживается, и выводит эту команду управления в модуль 33 обнаружения трехмерных объектов.

[0148] Аналогично, когда модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект, когда информация форм разностных сигналов составляет предварительно определенное первое пороговое значение α или более, контроллер 39 генерирует команду управления для снижения и вывода значения, полученного посредством подсчета числа пикселов, которые указывают предварительно определенную разность в разностном изображении изображения вида «с высоты птичьего полета» и формируются в частотное распределение, и выводит эту команду управления в модуль 38 обнаружения трехмерных объектов.

[0149] Помимо этого, когда модуль 33 обнаружения трехмерных объектов, который обнаруживает трехмерный объект с использованием информации форм разностных сигналов, извлекает число пикселов, которые указывают пиксельное значение, равное пороговому значению p или более, в качестве числа пикселов, которые указывают предварительно определенную разность, контроллер 39 генерирует команду управления для увеличения порогового значения p, так что трехмерный объект легко не обнаруживается, и выводит эту команду управления в модуль 38 обнаружения трехмерных объектов.

[0150] Аналогично, когда модуль 33 обнаружения трехмерных объектов извлекает число пикселов, которые указывают пиксельное значение, равное пороговому значению p или более, в качестве числа пикселов, которые указывают предварительно определенную разность, контроллер 39 генерирует команду управления для снижения и вывода числа пикселов, которые извлекаются из разностного изображения вдоль направления, в котором сплющивается трехмерный объект, когда точка обзора преобразуется в изображение вида «с высоты птичьего полета», и выводит эту команду управления в модуль 38 обнаружения трехмерных объектов.

[0151] Когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерный объект с использованием информации краев, извлекает линию края на основе пикселов, которые указывают яркостное различие в предварительно определенное пороговое значение t или более, контроллер 39 генерирует команду управления для увеличения предварительно определенного порогового значения t, так что трехмерный объект легко не обнаруживается, и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов.

[0152] Аналогично, когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерный объект с использованием информации краев, извлекает линию края на основе пикселов, которые указывают яркостное различие в предварительно определенное пороговое значение t или более, контроллер 39 генерирует команду управления для снижения и вывода значения яркости пикселов и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов.

[0153] Когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерный объект с использованием информации краев, обнаруживает трехмерный объект на основе линии края, имеющей длину в пороговое значение θ, включенное в информацию краев, или более, контроллер 39 генерирует команду управления для увеличения порогового значения θ, так что трехмерный объект легко не обнаруживается, и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов.

[0154] Аналогично, когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерный объект с использованием информации краев, обнаруживает трехмерный объект на основе линии края, имеющей длину в пороговое значение θ, включенное в информацию краев, или более, контроллер 39 генерирует команду управления для снижения и вывода значения длины линии края обнаруженной информации краев и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов.

[0155] Когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерный объект с использованием информации краев, обнаруживает трехмерный объект на основе определения, связанного с тем, включается или нет число линий краев, которые имеют предварительно определенную длину или более, в информацию краев, например, линии краев, имеющие длину в пороговое значение θ или более, составляют второе пороговое значение β или более, контроллер 39 генерирует команду управления для увеличения второго порогового значения β, так что трехмерный объект легко не обнаруживается, и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов.

[0156] Когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерный объект с использованием информации краев, обнаруживает трехмерный объект на основе определения, связанного с тем, включается или нет число линий краев, которые имеют предварительно определенную длину или более, в информацию краев, например, линии краев, имеющие длину в пороговое значение θ или более, составляют второе пороговое значение β или более, контроллер 39 генерирует команду управления для снижения и вывода числа обнаруженных линий краев, которые имеют предварительно определенную длину или более, и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов.

[0157] Помимо этого, когда скорость движения обнаруженного трехмерного объекта составляет предварительно определенную скорость, которая задается заранее, или более, и модуль 34 оценки трехмерных объектов определяет то, что этот трехмерный объект представляет собой другое транспортное средство, контроллер 39 генерирует команду управления для увеличения предварительно определенной скорости, которая становится нижним пределом при определении того, что трехмерный объект представляет собой другое транспортное средство, так что трехмерный объект легко не обнаруживается, и выводит эту команду управления в модуль 34 оценки трехмерных объектов.

[0158] Аналогично, когда скорость движения обнаруженного трехмерного объекта составляет предварительно определенную скорость, которая задается заранее, или более, и модуль 34 оценки трехмерных объектов определяет то, что этот трехмерный объект представляет собой другое транспортное средство, контроллер 39 генерирует команду управления для снижения и вывода скорости движения трехмерного объекта, которая сравнивается с предварительно определенной скоростью, которая становится нижним пределом при определении того, что трехмерный объект представляет собой другое транспортное средство, и выводит эту команду управления в модуль 34 оценки трехмерных объектов.

[0159] Помимо этого, когда скорость движения обнаруженного трехмерного объекта меньше предварительно определенной скорости, которая задается заранее, и модуль 34 оценки трехмерных объектов определяет то, что этот трехмерный объект представляет собой другое транспортное средство, контроллер 39 генерирует команду управления для снижения предварительно определенной скорости, которая становится верхним пределом при определении того, что трехмерный объект представляет собой другое транспортное средство, и выводит эту команду управления в модуль 34 оценки трехмерных объектов.

[0160] Аналогично, когда скорость движения обнаруженного трехмерного объекта меньше предварительно определенной скорости, которая задается заранее, и модуль 34 оценки трехмерных объектов определяет то, что этот трехмерный объект представляет собой другое транспортное средство, контроллер 39 генерирует команду управления для увеличения скорости движения трехмерного объекта, которая сравнивается с предварительно определенной скоростью, которая становится верхним пределом при определении того, что трехмерный объект представляет собой другое транспортное средство, и выводит эту команду управления в модуль 34 оценки трехмерных объектов.

[0161] Здесь, "скорость движения" включает в себя абсолютную скорость трехмерного объекта, а также относительную скорость трехмерного объекта относительно рассматриваемого транспортного средства. Абсолютная скорость трехмерного объекта может быть вычислена из относительной скорости трехмерного объекта, или относительная скорость трехмерного объекта может быть вычислена из абсолютной скорости трехмерного объекта.

[0162] Первое пороговое значение α является пороговым значением для определения пика формы DWt разностного сигнала на этапе S7 по фиг. 11. Пороговое значение p является пороговым значением для извлечения пикселов, имеющих предварительно определенное пиксельное значение. Предварительно определенное пороговое значение t является пороговым значением для извлечения пикселов или компонентов краев, которые имеют предварительно определенное яркостное различие. Пороговое значение θ является пороговым значением для определения значения (длины края), полученного посредством нормализации суммы неразрывности c атрибутов каждой точки Pa концентрации внимания на этапе S29 на фиг. 17; второе пороговое значение β является пороговым значением для оценки количества (числа) линий краев на этапе S34 на фиг. 18. Посредством увеличения порогового значения для определения таким способом, чувствительность обнаружения может регулироваться таким образом, что другое транспортное средство VX, которое едет в смежной полосе относительно полосы движения рассматриваемого транспортного средства V, должно обнаруживаться с меньшей вероятностью, обеспечивая возможность предотвращения ошибочного обнаружения другого транспортного средства VX.

[0163] Контроллер 39 согласно настоящему варианту осуществления выводит в модуль 33 обнаружения трехмерных объектов команду управления для снижения и вывода значения, полученного посредством подсчета числа пикселов, которые указывают предварительно определенную разность в разностном изображении изображения вида «с высоты птичьего полета» и которые формируются в частотное распределение. Значение, полученное посредством подсчета числа пикселов, которые указывают предварительно определенную разность в разностном изображении изображения вида «с высоты птичьего полета» и которые формируются в частотное распределение, является значением на вертикальной оси формы DWt разностного сигнала, сгенерированной на этапе S5 на фиг. 11. Помимо этого, контроллер 39 согласно настоящему варианту осуществления выводит в модуль 37 обнаружения трехмерных объектов команду управления для снижения и вывода обнаруженной информации краев. Обнаруженная информация краев является длиной линии края, которая является значением, полученным посредством нормализации суммы неразрывности c атрибутов каждой точки Pa концентрации внимания на этапе S29 на фиг. 17, а также числа линий краев на этапе S34 на фиг. 18. Контроллер 39 снижает значение, полученное посредством нормализации суммы неразрывности c атрибутов каждой точки Pa концентрации внимания или количества линий краев, так что трехмерный объект легко не обнаруживается в последующем процессе. Посредством понижения выходного значения таким способом, чувствительность обнаружения может регулироваться таким образом, что другое транспортное средство VX, которое едет в смежной полосе относительно полосы движения рассматриваемого транспортного средства V, должно обнаруживаться с меньшей вероятностью; следовательно, возможно предотвращение ошибочного обнаружения другого транспортного средства VX, которое едет по смежной полосе движения.

[0164] Когда задаются вторые области A12, A22 обнаружения, и задается каждое из пороговых значений, процесс переходит к этапу S48, и выполняется операция для обнаружения трехмерного объекта. Операция для обнаружения трехмерного объекта выполняется посредством модуля 33 обнаружения трехмерных объектов в соответствии с операцией с использованием информации форм разностных сигналов на фиг. 11 и 12 или посредством модуля 37 обнаружения трехмерных объектов с операцией, которая использует информацию краев на фиг. 17 и 18. Затем, на этапе S43, когда трехмерный объект обнаруживается посредством модулей 33, 37 обнаружения трехмерных объектов в областях A1, A2 обнаружения, процесс переходит к этапу S49, и обнаруженный трехмерный объект определяется в качестве другого транспортного средства VX. С другой стороны, когда трехмерный объект не обнаруживается посредством модулей 33, 37 обнаружения трехмерных объектов в областях A1, A2 обнаружения, процесс переходит к этапу S51, и выполняется определение в отношении того, что другое транспортное средство VX не присутствуют в первых областях A11, A21 обнаружения.

[0165] Согласно устройству 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления настоящего изобретения, которое выполнено с возможностью работать вышеописанным способом, получаются следующие преимущества.

(1) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, вторые области A12, A22 обнаружения задаются в позициях, которые отличаются от первых областей A11, A21 обнаружения по умолчанию, когда обнаружено влажное состояние линзы 11. Эти вторые области A12, A22 обнаружения задаются в позициях, которые не включают в себя область отображения белой линии дорожной разметки на стороне полосы движения рассматриваемого транспортного средства V из числа белых линий дорожной разметки в смежных полосах движения, которые являются смежными с полосой движения, в которой рассматриваемое едет транспортное средство V; следовательно, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11. Как результат, возможно предотвращение снижения точности результатов обнаружения, вызываемого за счет становления влажной линзы 11, и возможно предоставление устройства 1 обнаружения трехмерных объектов, которое обнаруживает другое транспортное средство, которое едет в смежной полосе движения, с высокой степенью точности. Это преимущество аналогично получается как при обнаружении другого транспортного средства VX на основе информации форм разностных сигналов, так и при обнаружении другого транспортного средства VX на основе информации краев.

[0166] (2) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, посредством отделения первых областей A11, A21 обнаружения с левой стороны и с правой стороны от центра полосы движения рассматриваемого транспортного средства V на расстояние W1, может быть предусмотрена такая конфигурация, в которой белые линии дорожной разметки (разделительные линии) в смежных полосах движения не должны включаться во вторые области A12, A22 обнаружения; как результат, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11.

[0167] (3) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, посредством исключения из областей обнаружения областей в первых областях A11, A21 обнаружения, которые располагаются с левой стороны и с правой стороны от центра полосы движения рассматриваемого транспортного средства V менее чем на расстоянии W2, может быть предусмотрена такая конфигурация, в которой белые линии дорожной разметки (разделительные линии) в смежных полосах движения не должны включаться во вторые области A12, A22 обнаружения; следовательно, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11.

[0168] (4) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, посредством конфигурирования этого устройства так, что области в первых областях A11, A21 обнаружения, которые располагаются с левой и с правой стороны от центра полосы движения рассматриваемого транспортного средства V менее чем на расстоянии W3, не выступают в качестве областей обнаружения (маскирование), может быть предусмотрена такая конфигурация, в которой белые линии дорожной разметки (разделительные линии) в смежных полосах движения не обнаруживаются во вторых областях A12, A22 обнаружения; следовательно, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11.

[0169] (5) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, посредством удаления области отображения белой линии дорожной разметки из первых областей A11, A21 обнаружения, может быть предусмотрена такая конфигурация, в которой белые линии дорожной разметки (разделительные линии) в смежных полосах движения не обнаруживаются во вторых областях A12, A22 обнаружения; как результат, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11.

[0170] (6) В случае, в котором контрастность белых линий дорожной разметки (разделительных линий) является высокой, имеется высокая вероятность того, что должно возникать ошибочное обнаружение вследствие искаженного изображения белой линии дорожной разметки. Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, вторые области A12, A22 обнаружения задаются таким образом, что белые линии дорожной разметки (разделительные линии) в смежной полосе движения не обнаруживаются, когда контрастность белых линий дорожной разметки (разделительных линий) высокая; следовательно, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11.

[0171] (7) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, вторые области A12, A22 обнаружения задаются таким образом, что белые линии дорожной разметки (разделительные линии) за пределами смежных полос движения (дальше от полосы движения рассматриваемого транспортного средства V) не обнаруживаются, когда расстояние ΔW(W1-W0) между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения имеет предварительно определенное значение или более; как результат, возможно исключение эффекта искаженного изображения белой линии дорожной разметки, захваченного посредством влажной линзы 11.

[0172] (8) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, обнаружение трехмерного объекта и определение обнаруженного трехмерного объекта в качестве другого транспортного средства VX подавляются по мере того, как увеличивается расстояние ΔW(W1-W0) между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения; следовательно, возможно предотвращение ошибочного обнаружения, вызываемого посредством сдвига областей A1, A2 обнаружения.

[0173] (9) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, когда расстояние ΔW(W1-W0) между вторыми областями A12, A22 обнаружения и первыми областями A11, A21 обнаружения является большим, подавляется обнаружение трехмерного объекта из информации изображений, соответствующей области, которая отделена от опорной линии P вдоль направления y длины транспортного средства для транспортного средства на пятое предварительно определенное расстояние W5 или более, а также определение обнаруженного трехмерного объекта в качестве другого транспортного средства VX; как результат, возможно предотвращение ошибочного обнаружения, вызываемого посредством сдвига областей A1, A2 обнаружения.

[0174] Камера 10, описанная выше, соответствует модулю захвата согласно настоящему изобретению; модуль 31 преобразования точки обзора, описанный выше, соответствует средству преобразования изображений согласно настоящему изобретению; модуль 32 совмещения и модуль 33 обнаружения трехмерных объектов, описанные выше, соответствуют средству обнаружения трехмерных объектов согласно настоящему изобретению; модуль 35 вычисления яркостного различия, модуль 36 обнаружения линий краев и модуль 37 обнаружения трехмерных объектов, описанные выше, соответствуют средству обнаружения трехмерных объектов согласно настоящему изобретению; модуль 34 оценки трехмерных объектов, описанный выше, соответствует средству оценки трехмерных объектов; модуль 38 оценки состояния линзы, описанный выше, соответствует средству оценки состояния линзы; модуль 41 задания областей обнаружения, описанный выше, соответствует средству задания областей обнаружения; и датчик 20 скорости транспортного средства, описанный выше, соответствует датчику скорости.

[0175] Модуль 21 совмещения в настоящем варианте осуществления совмещает в виде «с высоты птичьего полета» позиции изображений вида «с высоты птичьего полета», полученных в различные моменты времени, и получает совмещенные изображения вида «с высоты птичьего полета»; тем не менее, операция "совмещения" может быть выполнена с точностью, соответствующей типу объектов, которые должны быть обнаружены, или требуемой точности для обнаружения. Операция может быть операцией строгого совмещения, при которой совмещение проводится на основе идентичного времени и идентичной позиции, или эта операция может быть операцией нестрогого совмещения, при которой выясняются координаты каждого изображения вида «с высоты птичьего полета».

СПИСОК НОМЕРОВ ССЫЛОК

[0176] 1 - устройство обнаружения трехмерных объектов

10 - камера

11 - устройство очистки линзы

20 - датчик скорости

30 - компьютер

31 - модуль преобразования точки обзора

32 - модуль совмещения

33, 37 - модуль обнаружения трехмерных объектов

34 - модуль оценки трехмерных объектов

35 - модуль вычисления яркостного различия

36 - модуль обнаружения краев

38 - модуль оценки состояния линзы

39 - контроллер

40 - модуль обнаружения размытостей

41 - модуль задания областей обнаружения

50 - датчик капель дождя

60 - стеклоочиститель

70 - навигационное устройство

80 - устройство очистки линзы

a - угол обзора

A1, A2 - область обнаружения

CP - точка пересечения

DP - разностные пикселы

DWt, DWt' - формы разностных сигналов

DWt1-DWm, DWm+k-DWtn - небольшая область

L1, L2 - линия пересечения с землей

La, Lb - линия в направлении, в котором трехмерный объект сплющивается

P - захваченное изображение

PBt - изображение вида «с высоты птичьего полета»

PDt - разностное изображение

MP - изображение с маской

S - размытость

SP - изображение с размытостью

SBt - изображение вида «с высоты птичьего полета» с размытостью

V - рассматриваемое транспортное средство

VX - другое транспортное средство

1. Устройство обнаружения трехмерных объектов, отличающееся тем, что оно содержит:
- средство захвата изображений, содержащее линзу для захвата изображения позади транспортного средства;
- средство задания областей обнаружения для задания области обнаружения позади транспортного средства;
- средство обнаружения трехмерных объектов для обнаружения трехмерного объекта, который присутствует в области обнаружения, на основе изображения, полученного средством захвата изображений; и
- средство оценки состояния линзы для обнаружения того, находится или нет линза во влажном состоянии, при этом:
- когда средством оценки состояния линзы выполняется определение в отношении того, что линза находится во влажном состоянии, средство задания областей обнаружения изменяет позицию первой области обнаружения, которая сначала задается в качестве области обнаружения, вдоль направления ширины транспортного средства и задает вторую область обнаружения, в которой удаляется область отображения для разделительной линии на стороне полосы движения транспортного средства из числа разделительных линий в смежных полосах движения, которые являются смежными с полосой движения, в которой едет транспортное средство, в качестве области обнаружения.

2. Устройство обнаружения трехмерных объектов, отличающееся тем, что оно содержит:
- средство захвата изображений, содержащее линзу для захвата изображения позади транспортного средства;
- средство задания областей обнаружения для задания области обнаружения позади транспортного средства;
- средство обнаружения трехмерных объектов для обнаружения трехмерного объекта, который присутствует в области обнаружения, на основе изображения, полученного средством захвата изображений; и
- средство оценки состояния линзы для обнаружения того,
находится или нет линза во влажном состоянии, при этом:
- когда средством оценки состояния линзы выполняется определение в отношении того, что линза находится во влажном состоянии, средство задания областей обнаружения удаляет часть первой области обнаружения, которая сначала задается в качестве области обнаружения, и задает вторую область обнаружения, в которой удаляется область отображения для разделительной линии на стороне полосы движения транспортного средства из числа разделительных линий в смежных полосах движения, которые являются смежными с полосой движения, в которой едет транспортное средство, в качестве области обнаружения.

3. Устройство обнаружения трехмерных объектов, отличающееся тем, что оно содержит:
- средство захвата изображений, содержащее линзу для захвата изображения позади транспортного средства;
- средство задания областей обнаружения для задания области обнаружения позади транспортного средства;
- средство обнаружения трехмерных объектов для обнаружения трехмерного объекта, который присутствует в области обнаружения, на основе изображения, полученного средством захвата изображений; и
- средство оценки состояния линзы для обнаружения того, находится или нет линза во влажном состоянии, при этом:
- когда средством оценки состояния линзы выполняется определение в отношении того, что линза находится во влажном состоянии, средство задания областей обнаружения маскирует часть первой области обнаружения, которая сначала задается в качестве области обнаружения, и задает вторую область обнаружения, в которой удаляется область отображения для разделительной линии на стороне полосы движения транспортного средства из числа разделительных линий в смежных полосах движения, которые являются смежными с полосой движения, в которой едет транспортное средство, в качестве области обнаружения.

4. Устройство обнаружения трехмерных объектов по любому из пп.1-3, в котором:
- когда средством оценки состояния линзы выполняется определение в отношении того, что линза находится во влажном состоянии, вторая область обнаружения в пределах первой области обнаружения, которая сначала задается в качестве области обнаружения и не включает в себя область отображения, задается в качестве области обнаружения.

5. Устройство обнаружения трехмерных объектов по любому из пп.1-3, в котором средство задания областей обнаружения вычисляет уровень контрастности разделительной линии, отображаемой на дороге, на основе изображения, захваченного посредством камеры, и задает вторую область обнаружения в качестве новой области обнаружения, когда вычисленный уровень контрастности разделительной линии имеет предварительно определенное пороговое значение или более.

6. Устройство обнаружения трехмерных объектов по любому из пп.1-3, в котором:
- когда выполняется определение в отношении того, что расстояние между заданной второй областью обнаружения и первой областью обнаружения имеет предварительно определенное значение или более, средство задания областей обнаружения задает область, в которой удаляется область отображения разделительной линии за пределами смежной полосы движения разделительных линий в смежных полосах движения, которые являются смежными с полосой движения, в которой едет транспортное средство, в качестве области обнаружения посредством удаления или маскирования частичной области в пределах заданной второй области обнаружения вдоль направления ширины транспортного средства для транспортного средства.

7. Устройство обнаружения трехмерных объектов по любому из пп.1-3, дополнительно содержащее контроллер, который предотвращает определение трехмерного объекта, который обнаруживается средством обнаружения трехмерных объектов, в качестве другого транспортного средства, которое присутствует в правосторонней области обнаружения или левосторонней области обнаружения, средством оценки трехмерных объектов, по мере того как увеличивается расстояние между второй областью обнаружения и первой областью обнаружения, заданными средством задания областей обнаружения.

8. Устройство обнаружения трехмерных объектов по любому из пп.1-3, в котором:
- средство задания областей обнаружения, когда выполняется определение в отношении того, что расстояние между заданной второй областью обнаружения и первой областью обнаружения имеет предварительно определенное значение или более, задает третью область обнаружения в области в пределах заданной второй области обнаружения, которая отделяется вдоль направления ширины транспортного средства для транспортного средства на предварительно определенное расстояние или более; и
- дополнительно содержит контроллер, который предотвращает определение трехмерного объекта, который обнаруживается из информации на основе изображения, соответствующего третьей области обнаружения, в качестве другого транспортного средства.

9. Устройство обнаружения трехмерных объектов по любому из пп.1-3, в котором средство оценки состояния линзы определяет то, находится или нет линза во влажном состоянии, на основе информации, полученной из одного или более из датчика капель дождя, стеклоочистителя, навигационного устройства или устройства очистки для линзы, смонтированных на транспортном средстве.

10. Устройство обнаружения трехмерных объектов по любому из пп.1-3, отличающееся тем, что дополнительно содержит:
- средство преобразования изображений для преобразования точки обзора изображения, полученного средством захвата изображений, в изображение вида "с высоты птичьего полета"; и
- средство оценки трехмерных объектов для определения того, представляет или нет трехмерный объект, обнаруженный средством оценки трехмерных объектов, собой другое транспортное средство, при этом:
- средство задания областей обнаружения задает области обнаружения позади с правой стороны и с левой стороны от транспортного средства;
- средство обнаружения трехмерных объектов совмещает в виде "с высоты птичьего полета" позиции изображений вида "с высоты птичьего полета", полученных в различные моменты времени средством преобразования изображений, генерирует информацию форм разностных сигналов посредством подсчета числа пикселов, которые указывают предварительно определенную разность в разностном изображении вдоль направления, в котором сплющивается трехмерный объект, когда точка обзора изображения вида "с высоты птичьего полета" преобразуется в разностное изображение совмещенных изображений вида "с высоты птичьего полета", и формирования частотного распределения и обнаруживает трехмерный объект, который присутствует в области обнаружения, на основе информации форм разностных сигналов; и
- средство оценки трехмерных объектов определяет то, представляет или нет трехмерный объект, обнаруженный средством обнаружения трехмерных объектов, собой другое транспортное средство, которое присутствует в правосторонней области обнаружения или левосторонней области обнаружения.

11. Устройство обнаружения трехмерных объектов по любому из пп.1-3, отличающееся тем, что дополнительно содержит:
- средство преобразования изображений для преобразования точки обзора изображения, полученного средством захвата изображений, в изображение вида "с высоты птичьего полета"; и
- средство оценки трехмерных объектов для определения того, представляет или нет трехмерный объект, обнаруженный средством оценки трехмерных объектов, собой другое транспортное средство, при этом:
- средство задания областей обнаружения задает области обнаружения позади с правой стороны и с левой стороны от транспортного средства;
- средство обнаружения трехмерных объектов обнаруживает информацию краев, в которой яркостное различие взаимно смежных областей изображения имеет предварительно определенное пороговое значение или более вдоль направления, в котором сплющивается трехмерный объект, когда точка обзора преобразуется в изображение вида "с высоты птичьего полета" и изображение вида "с высоты птичьего полета", полученное средством преобразования изображений, и обнаруживает трехмерный объект на основе информации краев; и
- средство оценки трехмерных объектов определяет то, представляет или нет трехмерный объект, обнаруженный средством обнаружения трехмерных объектов, собой другое транспортное средство, которое присутствует в правосторонней области обнаружения или левосторонней области обнаружения.

12. Устройство обнаружения трехмерных объектов, в котором:
- компьютер, смонтированный на транспортном средстве, программируется со способом, чтобы осуществлять:
- этап, на котором преобразуют точку обзора изображения, полученного средством захвата изображений, смонтированным на транспортном средстве и содержащим линзу для захвата изображения позади транспортного средства, чтобы создавать изображение вида "с высоты птичьего полета";
- этап, на котором задают область обнаружения позади с правой стороны и с левой стороны от транспортного средства;
- этап, на котором совмещают в виде "с высоты птичьего полета" позиции изображений вида "с высоты птичьего полета", полученных в различные моменты времени, генерируют информацию форм разностных сигналов посредством подсчета числа пикселов, которые указывают предварительно определенную разность в разностном изображении вдоль направления, в котором сплющивается трехмерный объект, когда точка обзора изображения вида "с высоты птичьего полета" преобразуется в разностное изображение совмещенных изображений вида "с высоты птичьего полета", и формирования частотного распределения, и обнаруживают трехмерный объект, который присутствует в области обнаружения, на основе информации форм разностных сигналов; и
- этап, на котором определяют то, представляет или нет обнаруженный трехмерный объект собой другое транспортное средство, которое присутствует в правосторонней области обнаружения или левосторонней области обнаружения; и
- этап, на котором обнаруживают то, находится или нет линза во влажном состоянии, при этом:
- когда выполняется определение в отношении того, что линза находится во влажном состоянии, этап для того, чтобы задавать область обнаружения, изменяет позицию первой области обнаружения, которая сначала задается в качестве области обнаружения, вдоль направления ширины транспортного средства, и задает вторую область обнаружения, в которой удаляется область отображения для разделительной линии на стороне полосы движения транспортного средства из числа разделительных линий в смежных полосах движения, которые являются смежными с полосой движения, в которой едет транспортное средство, в качестве области обнаружения.

13. Устройство обнаружения трехмерных объектов, в котором:
- компьютер, смонтированный на транспортном средстве, программируется со способом, чтобы осуществлять:
- этап, на котором преобразуют точку обзора изображения, полученного средством захвата изображений, смонтированным на транспортном средстве и содержащим линзу для захвата изображения позади транспортного средства, чтобы создавать изображение вида "с высоты птичьего полета";
- этап, на котором задают область обнаружения позади с правой стороны и с левой стороны от транспортного средства;
- этап, на котором обнаруживают информацию краев, в которой яркостное различие взаимно смежных областей изображения имеет предварительно определенное пороговое значение или более вдоль направления, в котором сплющивается трехмерный объект, когда точка обзора преобразуется в изображение вида "с высоты птичьего полета" в изображении вида "с высоты птичьего полета", полученном средством преобразования изображений, и обнаруживают трехмерный объект на основе информации краев;
- этап, на котором определяют то, представляет или нет обнаруженный трехмерный объект собой другое транспортное средство, которое присутствует в правосторонней области обнаружения или левосторонней области обнаружения; и
- этап, на котором обнаруживают то, находится или нет линза во влажном состоянии, при этом:
- когда выполняется определение в отношении того, что линза находится во влажном состоянии, этап для того, чтобы задавать область обнаружения, изменяет позицию первой области обнаружения, которая сначала задается в качестве области обнаружения, вдоль направления ширины транспортного средства, и задает вторую область обнаружения, в которой удаляется область отображения для разделительной линии на стороне полосы движения транспортного средства из числа разделительных линий в смежных полосах движения, которые являются смежными с полосой движения, в которой едет транспортное средство, в качестве области обнаружения.