Система помощи при вождении и способ определения дождевых капель для нее

Изобретение относится к системе помощи при вождении транспортного средства, в частности к способу определения дождевых капель. Техническим результатом является создание способа определения дождевых капель, который допускает определение дождевой капли при недопущении уменьшения точности определения для окружающей обстановки. Предложена система помощи при вождении, которая устанавливается на транспортном средстве и содержит: средство 10 захвата изображений I окрестностей, включающее в себя фрагмент движущегося объекта, средство 22 хранения первых линий E1 контура, определенных из первого изображения I окрестностей, захваченного в нормальных условиях средством 10 захвата изображений, и средство 23 вычисления степени совпадения между первой линией E1 контура и второй линией E2 контура, определенной из второго изображения I окрестностей, в данный момент захваченного средством 10 захвата изображений. Средство 24 оценки дождевых капель оценивает то, что дождевая капля прилипла к модулю линз средства 10 захвата изображений, в ответ на снижение степени совпадения между первой линией E1 контура и второй линией E2 контура. 4 н. и 5 з.п. ф-лы, 13 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к системе помощи при вождении и к способу определения дождевых капель.

УРОВЕНЬ ТЕХНИКИ

[0002] К настоящему времени предложено устройство отслеживания на транспортном средстве, которое включает в себя камеру, способную переключаться между первым фокусным расстоянием для определения дождевых капель, прилипших к транспортному средству, и вторым фокусным расстоянием для захвата изображения окрестностей транспортного средства, и которое определяет то, прилипла или нет дождевая капля, из изображения, захваченного посредством камеры на первом фокусном расстоянии (см. патентный документ 1).

СПИСОК БИБЛИОГРАФИЧЕСКИХ ССЫЛОК

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] Патентный документ 1. Публикация заявки на патент (Япония) № 2005-225250

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[0004] Тем не менее, устройство отслеживания на транспортном средстве, описанное в патентном документе 1, должно переключать фокусное расстояние, чтобы определять дождевую каплю, и в силу этого может приводить к вероятности уменьшения точности определения для окружающей обстановки. Следует отметить, что эта проблема не ограничена случаем определения дождевой капли, находящейся на транспортном средстве, и также может возникать в случае определения дождевой капли, находящейся на других движущихся объектах (автоматическом навигационном роботе и т.п.).

[0005] Следовательно, настоящее изобретение имеет цель предоставлять систему помощи при вождении и способ определения дождевых капель для нее, которые допускают определение дождевой капли при недопущении уменьшения точности определения для окружающей обстановки.

РЕШЕНИЕ ЗАДАЧИ

[0006] Система помощи при вождении настоящего изобретения предоставляет различные виды информации водителю движущегося объекта из результата захвата изображений окрестностей движущегося объекта. Главный признак этой системы помощи при вождении заключается в том, что система помощи при вождении включает в себя: средство захвата изображений, установленное на движущемся объекте и выполненное с возможностью захватывать изображение окрестностей, включающее в себя фрагмент движущегося объекта; средство хранения первых линий контура, выполненное с возможностью сохранять первую линию контура, определенную из первого изображения окрестностей, захваченного в нормальных условиях посредством средства захвата изображений; средство вычисления, выполненное с возможностью вычислять степень совпадения между первой линией контура, сохраненной в средстве хранения первых линий контура, и второй линией контура, определенной из второго изображения окрестностей, в данный момент захваченного посредством средства захвата изображений; и средство оценки дождевых капель, выполненное с возможностью оценивать то, что дождевая капля прилипла к модулю линз средства захвата изображений, в ответ на снижение степени совпадения между первой линией контура и второй линией контура.

[0007] Помимо этого, главный признак способа определения дождевых капель по настоящему изобретению заключается в том, что способ включает в себя: этап захвата изображений для захвата изображения окрестностей, включающего в себя фрагмент движущегося объекта, выполняемый посредством средства захвата изображений, установленного на движущемся объекте; этап вычисления для вычисления степени совпадения между заранее сохраненной первой линией контура, определенной из первого изображения окрестностей, захваченного в нормальных условиях на этапе захвата изображений, и второй линией контура, определенной из второго изображения окрестностей, в данный момент захваченного; и этап оценки дождевых капель для оценки того, что дождевая капля прилипла к модулю линз средства захвата изображений, в ответ на снижение степени совпадения между первой линией контура и второй линией контура.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

[0008] Согласно настоящему изобретению захватываются изображения окрестностей, включающие в себя фрагмент движущегося объекта, и вычисляется степень совпадения между первой линией контура, определенной из первого изображения окрестностей, захваченного в нормальных условиях, и второй линией контура, определенной из второго изображения окрестностей, в данный момент захваченного. Затем в ответ на снижение степени совпадения между первой линией контура и второй линией контура, оценивается то, что дождевая капля прилипла к модулю линз средства захвата изображений. Таким образом, определение дождевых капель может быть выполнено без изменения фокусного расстояния, и определение дождевых капель может быть выполнено при недопущении уменьшения точности определения для окружающей обстановки.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Фиг.1 является схемой конфигурации системы помощи при вождении согласно первому варианту осуществления настоящего изобретения и иллюстрирует пример, в котором система помощи при вождении устанавливается на движущемся объекте, таком как транспортное средство.

Фиг.2 является блок-схемой, иллюстрирующей подробности компьютера, проиллюстрированного на Фиг.1.

Фиг.3 является схемой, иллюстрирующей изображение, захваченное посредством камеры, проиллюстрированной на Фиг.1 и 2.

Фиг.4 является схемой, иллюстрирующей основные принципы вычисления степени отклонения посредством модуля вычисления степени отклонения, проиллюстрированного на Фиг.3.

Фиг.5 является блок-схемой последовательности операций, иллюстрирующей способ определения дождевых капель согласно первому варианту осуществления настоящего изобретения.

Фиг.6 является блок-схемой последовательности операций, иллюстрирующей способ определения дождевых капель согласно модифицированному примеру первого варианта осуществления настоящего изобретения.

Фиг.7 является блок-схемой, иллюстрирующей подробности компьютера системы помощи при вождении согласно второму варианту осуществления настоящего изобретения.

Фиг.8 является схемой, иллюстрирующей изображение, захваченное посредством камеры, проиллюстрированной на Фиг.7.

Фиг.9 является блок-схемой последовательности операций, иллюстрирующей способ определения дождевых капель согласно второму варианту осуществления настоящего изобретения.

Фиг.10 является блок-схемой последовательности операций, иллюстрирующей способ определения дождевых капель согласно модифицированному примеру второго варианта осуществления настоящего изобретения.

Фиг.11 является блок-схемой, иллюстрирующей подробности компьютера системы помощи при вождении согласно третьему варианту осуществления настоящего изобретения.

Фиг.12 является блок-схемой последовательности операций, иллюстрирующей способ определения дождевых капель согласно третьему варианту осуществления настоящего изобретения.

Фиг.13 является блок-схемой последовательности операций, иллюстрирующей способ определения дождевых капель согласно четвертому варианту осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0010] Ниже в этом документе описываются предпочтительные варианты осуществления настоящего изобретения на основе чертежей. Следует отметить, что следующие несколько вариантов осуществления включают в себя одинаковые составные элементы. По этой причине в нижеприведенном описании общие ссылки с номерами присоединены к одинаковым составным элементам, и перекрывающееся описание опускается.

Первый вариант осуществления

[0011] Фиг.1 является схемой конфигурации системы 1 помощи при вождении согласно настоящему варианту осуществления и иллюстрирует пример, в котором система 1 помощи при вождении устанавливается в движущемся объекте, таком как транспортное средство V. Система 1 помощи при вождении, проиллюстрированная на Фиг.1, выполнена с возможностью предоставлять различные виды информации водителю оснащенного системой транспортного средства V из результата захвата изображений окрестностей оснащенного системой транспортного средства V и включает в себя камеру 10 (средство захвата изображений), компьютер 20 и предупреждающее устройство 30.

[0012] Камера 10, проиллюстрированная на Фиг.1, устанавливается в позиции на высоте h в задней части оснащенного системой транспортного средства V с оптической осью, направленной вниз под углом θ1 от горизонтали. Камера 10 выполнена с возможностью захватывать изображение области определения из вышеуказанной позиции. На основе изображения, захваченного посредством камеры 10, компьютер 20 выполнен с возможностью определять препятствие и т.п., существующее в окрестностях оснащенного системой транспортного средства V. Помимо этого, компьютер 20 в настоящем варианте осуществления выполнен с возможностью определять то, прилипает или нет дождевая капля к модулю линз камеры 10, в дополнение к определению препятствия и т.п.

[0013] Предупреждающее устройство 30 выполнено с возможностью выдавать предупреждение водителю оснащенного системой транспортного средства V в случае, если препятствие и т.п., определенная посредством компьютера 20, с большой вероятностью должно входить в контакт с оснащенным системой транспортным средством V. Предупреждения также могут быть выданы для других случаев. Кроме того, в случае, если дождевая капля прилипла к модулю линз, предупреждающее устройство 30 также выдает предупреждение о прилипании дождевых капель водителю. Здесь, способ предупреждения может быть осуществлен через представление на графическом дисплее или через речевое оповещение.

[0014] Дополнительно, в настоящем варианте осуществления камера 10 выполнена с возможностью захватывать изображение местоположения позади оснащенного системой транспортного средства V и принудительно включать бампер, в качестве фрагмента P оснащенного системой транспортного средства V, в диапазон захвата изображений. Другими словами, камера 10 (средство захвата изображений) согласно настоящему варианту осуществления устанавливается на оснащенном системой транспортном средстве V (движущемся объекте) и захватывает изображения I окрестностей (первое изображение окрестностей или второе изображение окрестностей), включающие в себя фрагмент P оснащенного системой транспортного средства V. Здесь, фрагмент оснащенного системой транспортного средства V не ограничивается бампером и может быть любым фрагментом, изображение которого может стабильно захватываться. Например, диапазон захвата изображений может включать в себя номерной знак, задний спойлер, спойлер на крыше кабины, кожух камеры 10 и т.п. в зависимости от позиции установки или направления оптической оси камеры 10. Различные способы могут использоваться в качестве способа установки камеры 10 на оснащенном системой транспортном средстве V. Например, камера 10 может быть установлена на оснащенном системой транспортном средстве V интегрально собранным способом либо может быть съемно установлена на оснащенном системой транспортном средстве V.

[0015] Фиг.2 является блок-схемой, иллюстрирующей подробности компьютера 20, проиллюстрированного на Фиг.1. Здесь, Фиг.2 также иллюстрирует камеру 10 и предупреждающее устройство 30, чтобы понятно показывать то, как эти части соединяются.

[0016] Как проиллюстрировано на Фиг.2, компьютер 20 включает в себя модуль 21 определения текущих контуров (средство определения контуров), модуль 22 хранения опорных контуров (средство хранения первых линий контура: средство хранения опорных контуров), модуль 23 вычисления степени отклонения (средство вычисления) и модуль 24 оценки дождевых капель (средство оценки дождевых капель).

[0017] Модуль 21 определения текущих контуров выполнен с возможностью определять контур E фрагмента P оснащенного системой транспортного средства V в изображении, захваченном посредством камеры 10. Фиг.3 является схемой, иллюстрирующей изображение I окрестностей (первое изображение окрестностей и второе изображение окрестностей), захваченное посредством камеры 10, проиллюстрированной на Фиг.1 и 2. Как проиллюстрировано на Фиг.3, захваченное изображение включает в себя фрагмент P (например, бампер) оснащенного системой транспортного средства V в дополнение к поверхности дороги и т.п. Модуль 21 определения текущих контуров выполнен с возможностью определять контур E2 (вторую линию контура) в предварительно определенной области A (по меньшей мере, частичной области изображения I окрестностей, включающей в себя фрагмент движущегося объекта: области, в которой изображение бампера оснащенного системой транспортного средства V должно быть захвачено в настоящем варианте осуществления) в изображении, описанном выше. Здесь, в качестве способа определения контуров может использоваться способ, который заключает в себе применение фильтра Собела, лапласова фильтра и т.п. и последующее преобразование в двоичную форму с использованием предварительно определенного порогового значения.

[0018] В примере, проиллюстрированном на Фиг.3, захваченное изображение (изображение I окрестностей) включает в себя бампер, и предварительно определенная область A задается как область, в которой должно быть захвачено изображение бампера оснащенного системой транспортного средства V. По этой причине, предварительно определенная область A находится в пределах и вокруг центрального нижнего фрагмента захваченного изображения (изображения I окрестностей). В случае, если фрагмент P оснащенного системой транспортного средства V, отличный от бампера, включается в захваченное изображение (изображение I окрестностей), другая область, включающая в себя фрагмент P оснащенного системой транспортного средства V, может задаваться в качестве предварительно определенной области A по мере необходимости.

[0019] Здесь следует снова обратиться к Фиг.2. Модуль 22 хранения опорных контуров выполнен с возможностью заранее сохранять, в качестве начального значения, форму E1 опорного контура (первую линию контура) для фрагмента P оснащенного системой транспортного средства V, предназначенного для захвата изображений посредством камеры 10. В настоящем варианте осуществления модуль 22 хранения опорных контуров сохраняет, в качестве формы E1 опорного контура (первой линии контура), первую линию E1 контура, определенную из первого изображения I окрестностей, захваченного посредством камеры 10 (средства захвата изображений) в нормальных условиях.

[0020] В частности, модуль 22 хранения опорных контуров заранее сохраняет форму E1 контура, полученную из фрагмента P оснащенного системой транспортного средства V в нормальных условиях, таких как хорошая погода и т.п. (когда дождевые капли не прилипли к модулю линз камеры 10).

[0021] Как описано выше, модуль 22 хранения опорных контуров (средство хранения опорных контуров: средство хранения первых линий контура) выполнен с возможностью сохранять форму E1 опорного контура (первую линию контура), определенную из первого изображения I окрестностей (предварительно определенной области A), захваченного в нормальных условиях (при хорошей погоде и т.п.) посредством камеры 10 (средства захвата изображений).

[0022] Напротив, модуль 21 определения текущих контуров (средство определения контуров) выполнен с возможностью определять контур E2 (вторую линию контура) из второго изображения I окрестностей (предварительно определенной области A), в данный момент захваченного посредством камеры 10 (средства захвата изображений).

[0023] Модуль 23 вычисления степени отклонения выполнен с возможностью вычислять степень совпадения между формой E1 опорного контура (первой линией контура), определенной из первого изображения I окрестностей (предварительно определенной области A), захваченного в нормальных условиях (при хорошей погоде и т.п.) посредством камеры 10 (средства захвата изображений), и контуром E2 (второй линией контура), определенным из второго изображения I окрестностей (предварительно определенной области A), в данный момент захваченного посредством камеры 10 (средства захвата изображений).

[0024] Более конкретно, модуль 23 вычисления степени отклонения вычисляет степень отклонения между формой E1 контура (первой линией контура), сохраненной в модуле 22 хранения опорных контуров, и контуром E2 (второй линией контура), определенным посредством модуля 21 определения текущих контуров. В этом вычислении контур, определенный из второго изображения I окрестностей (предварительно определенной области A), в данный момент захваченного посредством камеры 10 (средства захвата изображений), используется в качестве контура E2 (второй линии контура).

[0025] Фиг.4 является схемой, иллюстрирующей основные принципы вычисления степени отклонения посредством модуля 23 вычисления степени отклонения, проиллюстрированного на Фиг.3. Способ вычисления степени отклонения описывается ниже посредством использования двух примерных способов, но не ограничивается ими двумя.

[0026] Сначала описывается первый способ. Как проиллюстрировано на Фиг.4, в случае, если дождевая капля прилипла к модулю линз камеры 10, более конкретно, в случае, если определение контуров выполняется для второго изображения I окрестностей (предварительно определенной области A), захваченного с дождевой каплей, прилипшей к модулю линз камеры 10, контур E2 (вторая линия контура: определенный контур), определенный посредством модуля 21 определения текущих контуров, и форма E1 опорного контура (первая линия контура: опорный контур), сохраненная в модуле 22 хранения опорных контуров, отличаются друг от друга. Это обусловлено тем, что дождевая капля, прилипшая к модулю линз, преломляет свет по-иному и фактически формирует новую линзу.

[0027] В первом способе модуль 23 вычисления степени отклонения, во-первых, извлекает специальную точку P2 для определенного контура E2 (второй линии контура) и точку P1 для опорного контура E1 (первой линии контура), которая оценивается как соответствующая специальной точке P2. В этом процессе модуль 23 вычисления степени отклонения извлекает, в качестве соответствующей точки, например, точку P1 рядом со специальной точкой P2 в вертикальном направлении изображения. Затем модуль 23 вычисления степени отклонения определяет то, на сколько пикселей извлеченные две точки P1, P2 сдвигаются друг от друга. В примере, проиллюстрированном на Фиг.4, две точки P1, P2 сдвигаются друг от друга на два пиксела. Таким образом, модуль 23 вычисления степени отклонения определяет степень отклонения между двумя точками P1, P2 как "2".

[0028] Модуль 23 вычисления степени отклонения определяет степени отклонения между всеми соответствующими точками P1, P2. В частности, модуль 23 вычисления степени отклонения вычисляет степени отклонения между специальными точками и соответствующими точками одну за другой от самой левой точки до самой правой точки для определенного контура Е2 и опорного контура Е1 и затем вычисляет сумму вычисленных степеней отклонения в качестве конечной степени отклонения.

[0029] Ниже описывается второй способ. Во втором способе модуль 23 вычисления степени отклонения использует градиенты яркости. В частности, модуль 23 вычисления степени отклонения вычисляет, например, направления градиента яркости (см. ссылки с номерами D1, D2 на Фиг.4) для соответствующих двух точек P1, P2. Здесь, направление D1 градиента яркости для опорного контура E1 может быть вычислено заранее.

[0030] Затем модуль 23 вычисления степени отклонения вычисляет угол θ, сформированный посредством двух направлений D1, D2 градиента яркости. Затем модуль 23 вычисления степени отклонения определяет степень отклонения между двумя точками P1, P2 как 8.

[0031] Модуль 23 вычисления степени отклонения определяет степени отклонения между всеми соответствующими точками P1, P2. В частности, модуль 23 вычисления степени отклонения вычисляет степени отклонения из направлений градиента яркости одна за другой от самой левой точки до самой правой точки для определенного контура E1 и опорного контура E2 и затем вычисляет сумму вычисленных степеней отклонения в качестве конечной степени отклонения.

[0032] Здесь следует снова обратиться к Фиг.2. Модуль 24 оценки дождевых капель выполнен с возможностью оценивать то, что дождевая капля прилипла к модулю линз камеры 10, в ответ на снижение степени совпадения между первой линией контура и второй линией контура. В частности, когда степень отклонения, вычисленная посредством модуля 23 вычисления степени отклонения, равна или превышает предварительно определенное значение, модуль 24 оценки дождевых капель определяет то, что степень совпадения снижена, и оценивает то, что дождевая капля прилипла к модулю линз камеры 10. Как описано в отношении Фиг.4, когда дождевая капля прилипла к модулю линз, дождевая капля формирует новую линзу, и определенный контур E2 и опорный контур E1 отклоняются друг от друга. В отличие от этого, когда дождевая капля не прилипла к модулю линз, определенный контур E2 и опорный контур E1 не отклоняются друг от друга теоретически. По этой причине, когда степень отклонения равна или превышает предварительно определенное значение, модуль 24 оценки дождевых капель определяет то, что степень совпадения снижена, и оценивает то, что дождевая капля прилипла к модулю линз камеры 10. Помимо этого, если оценивается то, что дождевая капля прилипла к модулю линз камеры 10, модуль 24 оценки дождевых капель отправляет уведомление относительно результата оценки в предупреждающее устройство 30. В ответ на уведомление предупреждающее устройство 30 представляет водителю речевое сообщение или изображение, указывающее то, что дождевая капля прилипла (например, индикатор того, что обзор камеры является плохим).

[0033] Следует отметить, что степень совпадения и степень отклонения имеют обратное соотношение, в которой контуры могут быть оценены как отклоняющиеся (не совпадающие), когда вышеприведенная степень отклонения равна или превышает предварительно определенное значение, и могут быть оценены как не отклоняющиеся (совпадающие), когда степень отклонения меньше предварительно определенного значения.

[0034] Далее описывается способ определения дождевых капель в отношении блок-схемы последовательности операций способа. Фиг.5 является блок-схемой последовательности операций, иллюстрирующей способ определения дождевых капель согласно настоящему варианту осуществления.

[0035] Как описано выше, сначала камера 10 (средство захвата изображений), установленная на оснащенном системой транспортном средстве V (движущемся объекте), захватывает текущее изображение I окрестностей (второе изображение окрестностей), включающее в себя фрагмент P оснащенного системой транспортного средства V (этап захвата изображений).

[0036] Затем как проиллюстрировано на Фиг.5, модуль 21 определения текущих контуров определяет контур из предварительно определенной области A в изображении, захваченном посредством камеры 10 (S1). Таким образом, на этапе S1 этап определения контуров выполняется для того, чтобы определять контур E2 (вторую линию контура: определенный контур) для фрагмента P оснащенного системой транспортного средства V в изображении, в данный момент захваченном на этапе захвата изображений.

[0037] Затем модуль 23 вычисления степени отклонения вычисляет степень отклонения между контуром E2, определенным на этапе S1, и опорным контуром E1, сохраненным в модуле 22 хранения опорных контуров (S2). Любой из способов, описанных в отношении Фиг.4, либо другой способ используется в качестве способа вычисления степени отклонения. Таким образом, на этапе S2 этап вычисления выполняется для того, чтобы вычислять степень отклонения между опорным контуром E1 (первой линией контура), заранее сохраненным для фрагмента движущегося объекта, предназначенного для захвата изображений на этапе захвата изображений, и контуром E2 (второй линией контура: определенным контуром), определенным на этапе определения контуров.

[0038] Затем модуль 24 оценки дождевых капель оценивает то, равна или превышает либо нет степень отклонения, вычисленная на этапе S2, предварительно определенное значение (S3). Если оценивается то, что степень отклонения, вычисленная на этапе S2, равна или превышает предварительно определенное значение (S3: "Да"), модуль 24 оценки дождевых капель определяет то, что степень совпадения снижена, оценивает то, что дождевая капля прилипла к модулю линз, и отправляет уведомление относительно результата оценки в предупреждающее устройство 30.

[0039] Таким образом, на этапе S3 выполняется этап оценки дождевых капель, при этом, если степень отклонения, вычисленная на этапе вычисления, равна или превышает предварительно определенное значение, определяется, что степень совпадения снижается, и тем самым оценивается то, что дождевая капля прилипла к модулю линз камеры 10.

[0040] Здесь, когда модуль 24 оценки дождевых капель оценивает то, что дождевая капля прилипла к модулю линз камеры 10, предупреждающее устройство 30 оценивает то, равна или превышает либо нет степень отклонения, вычисленная на этапе S2, данное значение (S4). Для этой оценки степени отклонения предупреждающее устройство 30 может содержать, например, модуль оценки степени отклонения. Модуль оценки степени отклонения может быть выполнен с возможностью оценивать то, что степень отклонения является высокой, когда степень отклонения, вычисленная на этапе S2, равна или превышает предварительно установленное данное значение (значение, превышающее предварительно определенное значение, используемое для определения на этапе S3), или оценивать то, что степень отклонения является низкой, когда степень отклонения меньше данного значения.

[0041] Затем если степень отклонения оценивается как ниже данного значения (значения, используемого для определения на этапе S4) (S4: "Да"), чувствительность для того, чтобы определять другое транспортное средство (другой движущийся объект) из текущего изображения I окрестностей (второго изображения окрестностей), в данный момент захваченного на этапе захвата изображений, понижается (S5). Например, средство понижения чувствительности определения, предоставленное в предупреждающем устройстве 30, может понижать чувствительность для того, чтобы определять другое транспортное средство, посредством повышения порогового значения определения, используемого посредством непроиллюстрированного модуля определения транспортного средства, чтобы определять другой движущийся объект (другое транспортное средство) из текущего изображения I окрестностей (второго изображения окрестностей).

[0042] Что касается способа понижения чувствительности определения транспортного средства, может быть понижена общая чувствительность посредством регулирования порогового значения для всей разности или контура, либо может быть понижена чувствительность релевантной части изображения (части, где дождевая капля прилипла). Вместо этого может сначала регулироваться общая чувствительность, а затем может быть дополнительно понижена чувствительность релевантной части (части, в которой дождевая капля прилипла).

[0043] После этого, если присутствует другое транспортное средство, предупреждающее устройство 30 представляет присутствие транспортного средства (S6). В частности, непроиллюстрированный модуль определения транспортного средства выполняет операцию определения другого транспортного средства (другого движущегося объекта), и если другое транспортное средство (другой движущийся объект) определяется, предупреждающее устройство 30 представляет присутствие транспортного средства. После этого, обработка, проиллюстрированная на Фиг.5, завершается и выполняется итеративным способом с начала.

[0044] С другой стороны, если степень отклонения оценивается как равная или превышающая данное значение (значение, используемое для определения на этапе S4) (S4: "Нет"), предупреждающее устройство 30 уведомляет, что система не может работать (S7). В частности, когда степень отклонения равна или выше данного значения (значения, используемого для определения на этапе S4), оценивается то, что дождевые капли прилипли к модулю линз камеры 10 настолько существенно, что определение другого транспортного средства посредством использования камеры 10 является невозможным, и модуль уведомления предупреждающего устройства 30 уведомляет то, что определение другого транспортного средства является невозможным. После этого обработка, проиллюстрированная на Фиг.5, завершается и выполняется итеративным способом с начала.

[0045] Между тем, если оценивается то, что степень отклонения меньше предварительно определенного значения (S3: "Нет"), модуль 24 оценки дождевых капель определяет то, что степень совпадения не снижена, и оценивает то, что дождевая капля не прилипла к модулю линз камеры 10. После этого обработка, проиллюстрированная на Фиг.5, завершается и выполняется итеративным способом с начала.

[0046] Как описано выше, согласно системе 1 помощи при вождении и способу определения дождевых капель согласно настоящему варианту осуществления, захватывается текущее изображение I окрестностей, включающее в себя фрагмент P оснащенного системой транспортного средства V (движущегося объекта), и вычисляется степень совпадения между опорным контуром E1 (первой линией контура), определенным из первого изображения I окрестностей, захваченного в нормальных условиях, и контуром E2 (второй линией контура), определенным из текущего захваченного второго изображения I окрестностей. Затем в ответ на снижение степени совпадения между опорным контуром E1 (первой линией контура) и контуром E2 (второй линией контура), оценивается то, что дождевая капля прилипла к модулю линз камеры 10 (средства захвата изображений).

[0047] В частности, диапазон захвата изображений включает в себя не только окрестности оснащенного системой транспортного средства V, но также и фрагмент P оснащенного системой транспортного средства V, и контур фрагмента P оснащенного системой транспортного средства V, который должен быть получен посредством определения контуров, сохраняется в качестве формы E1 опорного контура (первой линии контура). Помимо этого, контур E2 (вторая линия контура) определяется для фрагмента P оснащенного системой транспортного средства V в фактически захваченном изображении, и вычисляется степень отклонения от сохраненной формы контура. Если степень отклонения равна или превышает предварительно определенное значение, степень совпадения определяется как сниженная, и дождевая капля определяется как прилипшая к модулю линз. Здесь, если дождевая капля прилипла к модулю линз, свет преломляется посредством дождевой капли, и в силу этого сохраненная форма контура и определенный контур отклоняются друг от друга. Таким образом, определение дождевых капель может быть выполнено без изменения фокусного расстояния, а также определение дождевых капель может быть выполнено при недопущении снижения точности определения для окружающей обстановки.

[0048] Помимо этого, когда модуль 24 оценки дождевых капель (средство оценки дождевых капель) оценивает то, что дождевая капля прилипла к модулю линз камеры 10 (средства захвата изображений), чувствительность для того, чтобы определять другое транспортное средство (другой движущийся объект) из второго изображения I окрестностей, в данный момент захваченного посредством камеры 10 (средства захвата изображений), понижается. Это позволяет предотвращать определение объекта, отличного от другого транспортного средства (другого движущегося объекта), в качестве другого транспортного средства (другого движущегося объекта) при использовании камеры 10, в которой дождевая капля прилипла к линзе.

[0049] Кроме того, поскольку камера 10 устанавливается с оптической осью, направленной под углом вниз от горизонтального направления, дождевая капля, прилипшая к модулю линз, может принудительно оставаться в некоторой позиции в нижнем фрагменте линзы. Это позволяет предотвращать случай, когда последовательное изменение позиции дождевой капли затрудняет определение контуров.

[0050] Дополнительно, вычисление степени отклонения от разности между направлениями градиента яркости обеспечивает определение явления, при котором градиенты яркости изменяются вместе с формированием системы линз посредством дождевой капли. Таким образом, может быть повышена точность определения дождевых капель.

Модифицированный пример первого варианта осуществления

[0051] Система 1 помощи при вождении и способ определения дождевых капель для нее согласно настоящему модифицированному примеру по существу являются идентичными системе и способу в вышеприведенном первом варианте осуществления, но другая обработка выполняется после того, как модуль 24 оценки дождевых капель выполняет оценку дождевых капель.

[0052] В дальнейшем в этом документе поясняется способ определения дождевых капель согласно настоящему модифицированному примеру со ссылкой на блок-схему последовательности операций способа на Фиг.6.

[0053] Для начала выполняется обработка, идентичная обработке в вышеуказанном первом варианте осуществления на этапах S11-S13. Если точнее, камера 10 (средство захвата изображений), установленная на оснащенном системой транспортном средстве V (движущемся объекте), захватывает текущее изображение I окрестностей (второе изображение окрестностей), включающее в себя фрагмент P оснащенного системой транспортного средства V.

[0054] Затем модуль 21 определения текущих контуров определяет контур в предварительно определенной области A в изображении, захваченном посредством камеры 10 (S11).

[0055] Затем модуль 23 вычисления степени отклонения вычисляет степень отклонения между контуром E2, определенным на этапе S11, и опорным контуром E1, сохраненным в модуле 22 хранения опорных контуров (S12). Здесь, любой из способов, описанных в отношении Фиг.4, либо другой способ используется в качестве способа вычисления степени отклонения.

[0056] Затем модуль 24 оценки дождевых капель оценивает, равна или превышает либо нет степень отклонения, вычисленная на этапе S12, предварительно определенное значение (S13).

[0057] Если оценивается то, что степень отклонения равна или превышает предварительно определенное значение (S13: "Да"), модуль 24 оценки дождевых капель определяет то, что степень совпадения снижена, оценивает то, что дождевая капля прилипла к модулю линз, и отправляет уведомление относительно результата определения в предупреждающее устройство 30.

[0058] Здесь, когда модуль 24 оценки дождевых капель оценивает то, что дождевая капля прилипла к модулю линз камеры 10, чувствительность определения дождевых капель понижается для части, которая оценивается как имеющая прилипшую дождевую каплю в предварительно определенной области A изображения I окрестностей (второго изображения окрестностей) (S14). Например, средство понижения чувствительности определения дождевых капель, предоставленное в предупреждающем устройстве 30, может повышать пороговое значение определения для части, которая оценивается как имеющая прилипшую дождевую каплю, в предварительно определенной области A текущего изображения I окрестностей (второго изображения окрестностей), и тем самым может понижать чувствительность определения дождевых капель для части по сравнению с оставшейся частью.

[0059] После этого обработка, проиллюстрированная на Фиг.6, завершается и затем выполняется итеративным способом с начала. Следует отметить, что, если дождевая капля оценивается как прилипшая к модулю линз камеры 10, оценка во второй и последующих итерациях выполняется с использованием пониженной чувствительности для части, оцененной как имеющая дождевую каплю в предварительно определенной области A, но пороговая чувствительность определения остается неизменной для другой части. Это дает возможность определения дополнительных прилипших дождевых капель. Таким образом, когда дополнительное число достигает предварительно определенного уровня или выше, степень отклонения может быть скорректирована, например, в соответствии с таким уравнением, как "степень отклонения = степень отклонения определения дождевых капель × (1+ увеличенная величина)". Такая коррекция степени отклонения обеспечивает обработку в случае, когда число дождевых капель резко повышается.

[0060] Кроме того, что касается части с регулируемой чувствительностью, вследствие прилипания дождевых капель, предпочтительно выполнять обработку, которая включает в себя исключенную часть, снова после того, как истек определенный период времени. Это обусловлено тем, что состояние прилипания дождевых капель варьируется во времени вследствие испарения дождевых капель или других причин.

[0061] Между тем, если оценивается то, что степень отклонения меньше предварительно определенного значения (S13: "Нет"), модуль 24 оценки дождевых капель определяет то, что степень совпадения не снижена, и оценивает то, что дождевая капля не прилипла к модулю линз камеры 10. После этого, обработка, проиллюстрированная на Фиг.6, завершается и затем выполняется итеративным способом с начала.

[0062] Вышеприведенный модифицированный пример также может обеспечивать операции и преимущества, аналогичные преимуществам в вышеуказанном первом варианте осуществления.

[0063] Кроме того, в настоящем модифицированном примере, когда модуль 24 оценки дождевых капель оценивает то, что дождевая капля прилипла к модулю линз камеры 10, чувствительность определения дождевых капель понижается для части, оцененной как имеющая дождевую каплю в предварительно определенной области A в изображении I окрестностей (втором изображении окрестностей). Понижение чувствительности определения дождевых капель для части, имеющей прилипшую дождевую каплю, как описано выше, упрощает определение дождевой капли, заново прилипшей к предварительно определенной области A.

Второй вариант осуществления

[0064] Система 1A помощи при вождении и способ определения дождевых капель согласно настоящему варианту осуществления по существу являются идентичными системе и способу в вышеуказанном первом варианте осуществления.

[0065] В частности, система 1A помощи при вождении выполнена с возможностью предоставлять различные виды информации водителю оснащенного системой транспортного средства V из результата захвата изображений окрестностей оснащенного системой транспортного средства V и включает в себя камеру 10 (средство захвата изображений), компьютер 20A и предупреждающее устройство 30.

[0066] Эта камера 10 также устанавливается на оснащенном системой транспортном средстве V (движущемся объекте) и выполнена с возможностью захватывать изображения I окрестностей (первое изображение окрестностей и второе изображение окрестностей), включающие в себя фрагмент P оснащенного системой транспортного средства V.

[0067] В настоящем варианте осуществления компьютер 20A включает в себя модуль 21 определения текущих контуров (средство определения контуров), модуль 22 хранения опорных контуров (средство хранения первых линий контура: средство хранения опорных контуров), модуль 23A вычисления степени изменения контуров (средство вычисления) и модуль 24 оценки дождевых капель (средство оценки дождевых капель), как проиллюстрировано на Фиг.7.

[0068] В настоящем варианте осуществления, как проиллюстрировано на Фиг.8, модуль 21 определения текущих контуров определяет контур E2 (вторую линию контура) для предварительно определенной области A1 (области, которая является областью выше бампера оснащенного системой транспортного средства V, в которой изображение бампера не захватывается в настоящем варианте осуществления) в изображении I окрестностей (первом изображении окрестностей и втором изображении окрестностей), включающем в себя фрагмент P оснащенного системой транспортного средства V (движущегося объекта).

[0069] Затем модуль 23A вычисления степени изменения контуров (средство вычисления) выполнен с возможностью вычислять степень совпадения между формой E1 опорного контура (первой линией контура), определенной из первого изображения I окрестностей (предварительно определенной области A1), захваченного посредством камеры 10 (средства захвата изображений) в нормальных условиях (при хорошей погоде и т.п.), и контуром E2 (второй линией контура), определенным из второго изображения I окрестностей (предварительно определенной области A1), в данный момент захваченного посредством камеры 10 (средства захвата изображений).

[0070] В частности, модуль 23A вычисления степени изменения контуров (средство вычисления) вычисляет степень изменения формы контуров между формой E1 контура (первой линией контура), сохраненной в модуле 22 хранения опорных контуров, и контуром E2 (второй линией контура), определенным посредством модуля 21 определения текущих контуров. В этом процессе контур, определенный из второго изображения I окрестностей (предварительно определенной области A1), в данный момент захваченного посредством камеры 10 (средства захвата изображений), используется в качестве контура E2 (второй линии контура).

[0071] Здесь также любой из способов, описанных в отношении Фиг.4, либо другой способ используется в качестве способа вычисления степени изменения формы контуров. Эта степень изменения формы контуров также имеет обратное соотношение со степенью совпадения.

[0072] Тем не менее, что касается способа вычисления степени изменения формы контуров, может использоваться способ, в котором часть, в которой возникает меньший контур, чем в окружающей части, оценивается как имеющая прилипшую дождевую каплю.

[0073] Когда этот способ используется, часть, имеющая прилипшую дождевую каплю, оценивается следующим образом.

[0074] Для начала, область над бампером, заданная в качестве предварительно определенной области A1, является областью, в которой поверхность дороги стабильно показывается в качестве стационарного фонового объекта, и интенсивность контура (яркостное различие между пикселами) в этой области обычно является постоянной. По этой причине, если отсутствует часть, имеющая интенсивность контура ниже окружающей части, можно оценивать то, что дождевая капля не прилипает. С другой стороны, если существует часть, имеющая интенсивность контура ниже окружающей части, часть, имеющая меньшую интенсивность контура, может быть оценена в качестве части, к которой прилипает дождевая капля. Более конкретно, вычисляется интеграл части, оцененной как имеющая низкую интенсивность контура при просмотре во временной последовательности (например, счетчик для части увеличивается, когда интенсивность контура равна или меньше предварительно определенного значения). Затем, когда счетчик для части достигает предварительно определенного значения или выше, часть распознается как имеющая большую степень отклонения от окружающей части и тем самым оценивается как имеющая определение дождевых капель. Следует отметить, что этот способ может использоваться для случая определения контура E2 (второй линии контура), в котором изображение бампера оснащенного системой транспортного средства V захватывается в предварительно определенной области A, аналогично первому варианту осуществления. Иначе говоря, вышеуказанный процесс может применяться к кузову транспортного средства, и когда интенсивность контура фрагмента кузова транспортного средства становится ниже обычно наблюдаемой интенсивности контура кузова транспортного средства, фрагмент, имеющий меньшую интенсивность контура, может быть оценен как имеющий прилипшую дождевую каплю.

[0075] Далее поясняется способ определения дождевых капель со ссылкой на блок-схему последовательности операций способа. Фиг.9 является блок-схемой последовательности операций, иллюстрирующей способ определения дождевых капель согласно настоящему варианту осуществления.

[0076] Прежде всего, камера 10 (средство захвата изображений), установленная на оснащенном системой транспортном средстве V (движущемся объекте), захватывает текущее изображение I окрестностей (второе изображение окрестностей), включающее в себя фрагмент P оснащенного системой транспортного средства V (этап захвата изображений).

[0077] Затем, как проиллюстрировано на Фиг.5, модуль 21 определения текущих контуров определяет контур для предварительно определенной области A1 в изображении, захваченном посредством камеры 10 (S21).

[0078] После этого модуль 23A вычисления степени изменения контуров (средство вычисления) вычисляет степень изменения формы контуров между контуром E2, определенным на этапе S21, и опорным контуром E1, сохраненным в модуле 22 хранения опорных контуров (S22). Вышеприведенный способ и т.п. используется в качестве способа вычисления степени изменения формы контуров.

[0079] После этого модуль 24 оценки дождевых капель оценивает то, меньше либо нет степень изменения формы контуров, вычисленная на этапе S22, предварительно определенного значения (S23). Затем, если оценивается то, что степень изменения формы контуров меньше предварительно определенного значения (S23: "Да"), модуль 24 оценки дождевых капель определяет то, что степень совпадения снижена, оценивает то, что дождевая капля прилипла к модулю линз, и отправляет уведомление относительно результата определения в предупреждающее устройство 30.

[0080] Когда модуль 24 оценки дождевых капель оценивает то, что дождевая капля прилипла к модулю линз камеры 10, на этом этапе выполняется обработка, аналогичная обработке этапов S4-S6, описанной в вышеприведенном первом варианте осуществления.

[0081] В частности, предупреждающее устройство 30 оценивает то, меньше либо нет степень отклонения степени изменения формы контуров, вычисленная на этапе S22, данного значения (S24).

[0082] Затем, если степень отклонения оценивается как ниже данного значения (значения, используемого для определения на этапе S24) (S24: "Да"), чувствительность для того, чтобы определять другое транспортное средство (другой движущийся объект) из текущего изображения I окрестностей (второго изображения окрестностей), в данный момент захваченного на этапе захвата изображений, понижается (S25).

[0083] После этого, если присутствует другое транспортное средство, предупреждающее устройство 30 представляет присутствие транспортного средства (S26). После этого обработка, проиллюстрированная на Фиг.9, завершается и затем выполняется итеративным способом с начала.

[0084] С другой стороны, если степень отклонения оценивается как равная или превышающая данное значение (значение, используемое для определения на этапе S24) (S24: "Нет"), предупреждающее устройство 30 уведомляет, что система не может работать (S27). После этого обработка, проиллюстрированная на Фиг.9, завершается и затем выполняется итеративным способом с начала.

[0085] Между тем, если оценивается то, что степень изменения формы контуров равна или превышает предварительно определенное значение (S23: "Нет"), модуль 24 оценки дождевых капель определяет то, что степень совпадения не снижена, и тем самым оценивает то, что дождевая капля не прилипла к модулю линз камеры 10. После этого обработка, проиллюстрированная на Фиг.9, завершается и затем выполняется итеративным способом с начала.

[0086] Вышеуказанный вариант осуществления также может формировать операции и преимущества, аналогичные преимуществам в вышеприведенном первом варианте осуществления.

Модифицированный пример второго варианта осуществления

[0087] Система 1A помощи при вождении и способ определения дождевых капель для нее согласно настоящему модифицированному примеру по существу являются идентичными системе и способу в вышеприведенном втором варианте осуществления, но другая обработка выполняется после того, как модуль 24 оценки дождевых капель выполняет оценку дождевых капель.

[0088] В дальнейшем в этом документе, поясняется способ определения дождевых капель согласно настоящему модифицированному примеру со ссылкой на блок-схему последовательности операций способа на Фиг.10.

[0089] Для начала выполняется обработка, идентичная обработке в вышеуказанном втором варианте осуществления на этапах S31-S33. Затем на этапах S34 и S35, выполняется обработка, идентичная обработке в вышеуказанном модифицированном примере первого варианта осуществления.

[0090] Если точнее, камера 10 (средство захвата изображений), установленная на оснащенном системой транспортном средстве V (движущемся объекте), захватывает текущее изображение I окрестностей (второе изображение окрестностей), включающее в себя фрагмент P оснащенного системой транспортного средства V.

[0091] Затем модуль 21 определения текущих контуров определяет контур для предварительно определенной области A1 в изображении, захваченном посредством камеры 10 (S31).

[0092] Затем модуль 23A вычисления степени изменения контуров (средство вычисления) вычисляет степень изменения формы контуров между контуром E2, определенным на этапе S31, и опорным контуром E1, сохраненным в модуле 22 хранения опорных контуров (S32). Вышеприведенный способ и т.п. используется в качестве способа вычисления степени изменения формы контуров.

[0093] Затем модуль 24 оценки дождевых капель оценивает то, равна или превышает либо нет степень изменения формы контуров, вычисленная на этапе S32, предварительно определенное значение (S33).

[0094] Затем, если оценивается то, что степень изменения формы контуров меньше предварительно определенного значения (S33: "Да"), модуль 24 оценки дождевых капель определяет то, что степень совпадения снижена, оценивает то, что дождевая капля прилипла к модулю линз, и отправляет уведомление относительно результата определения в предупреждающее устройство 30.

[0095] Здесь, когда модуль 24 оценки дождевых капель оценивает то, что дождевая капля прилипла к модулю линз камеры 10, чувствительность определения дождевых капель понижается для части, которая определяется как имеющая прилипшую дождевую каплю в предварительно определенной области A1 изображения I окрестностей (второго изображения окрестностей) (S34).

[0096] После этого обработка, проиллюстрированная на Фиг.10, завершается и затем выполняется итеративным способом с начала.

[0097] Между тем, если оценивается то, что степень изменения формы контуров равна или превышает предварительно определенное значение (S33: "Нет"), модуль 24 оценки дождевых капель определяет то, что степень совпадения не снижена, и тем самым оценивает то, что дождевая капля не прилипла к модулю линз камеры 10. После этого обработка, проиллюстрированная на Фиг.10, завершается и затем выполняется итеративным способом с начала.

[0098] Вышеуказанный модифицированный пример также может формировать операции и преимущества, аналогичные преимуществам в вышеприведенном первом варианте осуществления и в его модифицированном примере либо в вышеприведенном втором варианте осуществления.

Третий вариант осуществления

[0099] Система 1B помощи при вождении и способ определения дождевых капель для нее согласно настоящему варианту осуществления по существу являются идентичными системе и способу в вышеприведенном первом варианте осуществления.

[0100] В частности, система 1B помощи при вождении выполнена с возможностью предоставлять различные виды информации водителю оснащенного системой транспортного средства V из результата захвата изображений окрестностей оснащенного системой транспортного средства V и включает в себя камеру 10 (средство захвата изображений), компьютер 20B и предупреждающее устройство 30.

[0101] Эта камера 10 также устанавливается на оснащенном системой транспортном средстве V (движущемся объекте) и выполнена с возможностью захватывать изображения I окрестностей (первое изображение окрестностей и второе изображение окрестностей), включающие в себя фрагмент P оснащенного системой транспортного средства V.

[0102] Фиг.11 является блок-схемой, иллюстрирующей подробности компьютера 20B. Здесь Фиг.11 также иллюстрирует камеру 10 и предупреждающее устройство 30, чтобы понятно показывать соединения между этими частями.

[0103] Как проиллюстрировано на Фиг.11, компьютер 20B включает в себя модуль 21 определения контуров (средство определения контуров), модуль 22 хранения опорных контуров (средство хранения опорных контуров), модуль 23 вычисления степени отклонения (средство вычисления степени отклонения) и модуль 24 оценки дождевых капель (средство определения дождевых капель).

[0104] Модуль 21 определения контуров выполнен с возможностью определять контур E для фрагмента P оснащенного системой транспортного средства V в изображении, захваченном посредством камеры 10. Захваченное изображение включает в себя захваченное изображение фрагмента P (например, бампера) оснащенного системой транспортного средства V в дополнение к поверхности дороги и т.п. Модуль 21 определения контуров определяет контур E в предварительно определенной области A (которая является областью, в которой должно быть захвачено изображение бампера оснащенного системой транспортного средства V) в захваченном изображении.

[0105] Модуль 22 хранения опорных контуров выполнен с возможностью заранее сохранять, в качестве начального значения, форму E1 опорного контура (первую линию контура) для фрагмента P оснащенного системой транспортного средства V, предназначенного для захвата изображений посредством камеры 10. В настоящем варианте осуществления модуль 22 хранения опорных контуров сохраняет в качестве формы E1 опорного контура (первой линии контура) первую линию E1 контура, определенную из первого изображения I окрестностей, захваченного посредством камеры 10 (средства захвата изображений) в нормальных условиях.

[0106] В частности, модуль 22 хранения опорных контуров заранее сохраняет форму E1 контура, полученную из фрагмента P оснащенного системой транспортного средства V в нормальных условиях (при хорошей погоде и т.п.), когда дождевые капли не прилипают к модулю линз камеры 10.

[0107] Как описано выше, модуль 22 хранения опорных контуров (средство хранения первых линий контура: средство хранения опорных контуров) выполнен с возможностью сохранять форму E1 опорного контура (первую линию контура), определенную из первого изображения I окрестностей (предварительно определенной области A), захваченного в нормальных условиях (при хорошей погоде и т.п.) посредством камеры 10 (средства захвата изображений).

[0108] Напротив, модуль 21 определения контуров (средство определения контуров) выполнен с возможностью определять контур E2 (вторую линию контура) из второго изображения I окрестностей (предварительно определенной области A), в данный момент захваченного посредством камеры 10 (средства захвата изображений).

[0109] Модуль 23 вычисления степени отклонения выполнен с возможностью вычислять степень совпадения между формой E1 опорного контура (первой линией контура), определенной из первого изображения I окрестностей (предварительно определенной области A), захваченного в нормальных условиях (при хорошей погоде и т.п.) посредством камеры 10 (средства захвата изображений), и контуром E2 (второй линией контура), определенным из второго изображения I окрестностей (предварительно определенной области A), в данный момент захваченного посредством камеры 10 (средства захвата изображений).

[0110] Более конкретно, модуль 23 вычисления степени отклонения вычисляет степень отклонения между формой E1 контура (первой линией контура), сохраненной в модуле 22 хранения опорных контуров, и контуром E2 (второй линией контура), определенным посредством модуля 21 определения текущих контуров. В этом вычислении контур, определенный из второго изображения I окрестностей (предварительно определенной области A), в данный момент захваченного посредством камеры 10 (средства захвата изображений), используется в качестве контура E2 (второй линии контура).

[0111] Когда степень отклонения, вычисленная посредством модуля 23 вычисления степени отклонения, равна или превышает предварительно определенное значение, модуль 24 оценки дождевых капель определяет то, что степень совпадения снижена, и оценивает то, что дождевая капля прилипла к модулю линз камеры 10. Как описано в отношении Фиг.4 в вышеприведенном первом варианте осуществления, когда дождевая капля прилипла к модулю линз, дождевая капля формирует новую линзу, и тем самым определенный контур E2 и опорный контур E1 отклоняются друг от друга. В отличие от этого, когда дождевая капля не прилипла к модулю линз, определенный контур E2 и опорный контур E1 не отклоняются друг от друга теоретически. По этой причине, когда степень отклонения равна или превышает предварительно определенное значение, модуль 24 оценки дождевых капель определяет то, что степень совпадения снижена, и оценивает то, что дождевая капля прилипла к модулю линз камеры 10. Помимо этого, если оценивается то, что дождевая капля прилипла к модулю линз камеры 10, модуль 24 оценки дождевых капель отправляет уведомление относительно результата оценки в предупреждающее устройство 30. В ответ на уведомление предупреждающее устройство 30 представляет водителю речевое сообщение или изображение, указывающее то, что дождевая капля прилипает (например, индикатор того, что обзор камеры является плохим).

[0112] Кроме того, в настоящем варианте осуществления модуль 22 хранения опорных контуров имеет функцию, чтобы обновлять опорный контур E1. Более конкретно, если степень отклонения, вычисленная посредством модуля 23 вычисления степени отклонения, сохраняется равной или меньше предписанного значения за определенный период времени, модуль 22 хранения опорных контуров сохраняет, в качестве формы опорного контура, контур, определенный посредством модуля 21 определения контуров в пределах определенного периода времени. Эта конфигурация также предоставляет обработку случая, в котором даже позиция или оптическая ось камеры 10 постепенно смещаются.

[0113] Далее поясняется способ определения дождевых капель со ссылкой на блок-схему последовательности операций способа. Фиг.12 является блок-схемой последовательности операций, иллюстрирующей способ определения дождевых капель согласно настоящему варианту осуществления. Как проиллюстрировано на Фиг.12, прежде всего модуль 21 определения контуров определяет контур для предварительно определенной области A в изображении, захваченном посредством камеры 10 (средства захвата изображений), установленной на оснащенном системой транспортном средстве V (движущемся объекте) (S41). После этого модуль 23 вычисления степени отклонения вычисляет степень отклонения между определенным контуром E2, определенным на этапе S41, и опорным контуром E1, сохраненным в модуле 22 хранения опорных контуров (S42). Любой из способов, описанных в отношении Фиг.4, либо другой способ используется в качестве способа вычисления степени отклонения.

[0114] Затем модуль 24 оценки дождевых капель определяет то, равна или превышает либо нет степень отклонения, вычисленная на этапе S42, предварительно определенное значение (S43). Если определено то, что степень отклонения равна или превышает предварительно определенное значение (S43: "Да"), модуль 24 оценки дождевых капель определяет то, что степень совпадения снижена, определяет то, что дождевая капля прилипла к модулю линз, и отправляет уведомление относительно результата определения в предупреждающее устройство 30. В ответ на уведомление предупреждающее устройство 30 выдает предупреждение, что обзор камеры является плохим (S44). После этого завершается обработка, проиллюстрированная на Фиг.12.

[0115] Между тем, если определено то, что степень отклонения не равна или превышает предварительно определенное значение (S43: "Нет"), компьютер 20B выполняет обработку обновления опорного контура E1 на этапах S45-S47. В частности, обработка обновления выполняется следующим образом. Во-первых, модуль 23 вычисления степени отклонения вычисляет абсолютное значение разности между степенью отклонения для текущего цикла обработки и степенью отклонения для предыдущего цикла обработки (S45). Затем модуль 23 вычисления степени отклонения вычисляет сумму абсолютных значений для предварительно определенного числа предыдущих циклов обработки и определяет то, меньше или нет сумма предписанного значения (S46).

[0116] Если сумма определяется как меньшая предписанного значения (S46: "Да"), можно сказать, что степень отклонения остается небольшой в течение предварительно определенного периода времени, и можно предположить, что любая вычисленная степень отклонения формируется вследствие постепенного смещения позиции или оптической оси камеры 10. Таким образом, модуль 23 вычисления степени отклонения отправляет в модуль 22 хранения опорных контуров сигнал, указывающий результат определения, и модуль 22 хранения опорных контуров обновляет опорный контур E1 до определенного контура E2, который определяется посредством модуля 21 определения контуров в пределах предварительно определенного периода времени (S47). После этого завершается обработка, проиллюстрированная на Фиг.12.

[0117] Здесь, определенный контур E2, до которого обновляется опорный контур E1, может быть любым из определенных контуров E2, определенных в пределах предварительно определенного периода времени, и может быть самым последним определенным контуром E2 или самым первым определенным контуром E2. Вместо этого также может быть использовано среднее нескольких определенных контуров E2.

[0118] Между тем, если сумма степеней отклонения определяется как не меньшая предписанного значения (S46: "Нет"), обработка, проиллюстрированная на Фиг.12, завершается без обновления опорного контура E1.

[0119] Вышеприведенный вариант осуществления также может формировать операции и преимущества, аналогичные преимуществам в вышеуказанном первом варианте осуществления.

[0120] Кроме того, когда степень отклонения сохраняется меньше предписанного значения в течение предварительно определенного периода времени, контур, определенный в пределах предварительно определенного периода времени, сохраняется в качестве формы опорного контура, и тем самым форма опорного контура обновляется. Это позволяет сохранять новую форму контура, соответствующую деформации компонента транспортного средства или изменению позиции установки и т.п. камеры 10.

Четвертый вариант осуществления

[0121] Система 1C помощи при вождении и способ определения дождевых капель согласно настоящему варианту осуществления по существу являются идентичными системе и способу в вышеуказанном третьем варианте осуществления.

[0122] Фиг.13 является блок-схемой, иллюстрирующей подробности компьютера 20C системы 1C помощи при вождении согласно четвертому варианту осуществления. Здесь, Фиг.13 также иллюстрирует камеру 10 и предупреждающее устройство 30, чтобы понятно показывать то, как компоненты соединяются друг с другом.

[0123] Как проиллюстрировано на Фиг.13, в четвертом варианте осуществления компьютер 20C включает в себя модуль 25 хранения предыдущих контуров (средство хранения предыдущих контуров: средство хранения первых линий контура) вместо модуля 22 хранения опорных контуров (средства хранения опорных контуров). Модуль 25 хранения предыдущих контуров сохраняет, в качестве предыдущего контура, контур, определенный посредством модуля 21 определения контуров в предписанный период времени перед текущим временем (например, в предыдущем цикле обработки).

[0124] По этой причине модуль 23 вычисления степени отклонения вычисляет степень отклонения между определенным контуром E2, определенным в текущей обработке посредством модуля 21 определения контуров, и предыдущим контуром (первой линией контура), сохраненным в модуле 25 хранения предыдущих контуров. Затем, если степень отклонения равна или превышает предварительно определенное значение, модуль 24 оценки дождевых капель определяет то, что степень совпадения снижена, и определяет то, что дождевая капля прилипла к модулю линз, и предупреждающее устройство 30 предупреждает, что обзор камеры 10 является плохим.

[0125] Далее описывается способ определения дождевых капель согласно четвертому варианту осуществления. В способе определения дождевых капель согласно четвертому варианту осуществления опорный контур E1 не обновляется. Таким образом, выполняется обработка на этапах S41-S44, проиллюстрированная на Фиг.12, и затем, если "Нет" определяется на этапе S43, обработка, проиллюстрированная на Фиг.12, завершается без выполнения обработки на этапах S45-S47.

[0126] Вышеприведенный настоящий вариант осуществления также может формировать операции и преимущества, аналогичные преимуществам в вышеуказанном третьем варианте осуществления.

[0127] Кроме того, настоящий вариант осуществления допускает предотвращение случая, когда последовательное изменение позиции или формы дождевой капли затрудняет определение контуров, и допускает определение явления, когда градиенты яркости изменяются вместе с формированием системы линз посредством дождевой капли. Таким образом, может быть повышена точность определения дождевых капель.

[0128] Кроме того, согласно настоящему варианту осуществления, поскольку степень отклонения от предыдущего контура вычисляется, можно определять то, как форма контура дождевой капли изменяется во времени в зависимости от воздушного потока в ходе движения транспортного средства. Таким образом, может быть повышена точность определения дождевых капель.

[0129] Хотя настоящее изобретение описано выше на основе вариантов осуществления, настоящее изобретение не ограничено вышеприведенными вариантами осуществления и может быть изменено без отступления от сущности настоящего изобретения либо может быть реализовано в любой комбинации вариантов осуществления.

[0130] Например, в вышеприведенных вариантах осуществления система помощи при вождении устанавливается в транспортном средстве, но не ограничивается этим. Система помощи при вождении может быть установлена в велосипеде, автоматическом навигационном роботе и т.п. Помимо этого, степень отклонения может быть вычислена не только с использованием способов, описанных выше, но также и с использованием любого другого способа.

[0131] Дополнительно, в зависимости от дня или ночи область определения контуров (предварительно определенная область) может переключаться, например, между областью, включающей в себя бампер, и областью, расположенной около бампера, но не включающей в себя бампер.

[0132] Дополнительно, для темного места пороговое значение определения может задаваться низким, так что вещество, имеющее высокую яркость, может быть определено в качестве дождевой капли.

[0133] Кроме того, пороговое значение определения может задаваться низким, так что определенная форма контура с большей вероятностью должна оцениваться в качестве дождевой капли по мере того, как округлость формы контура становится более высокой.

[0134] Содержимое заявки на патент (Япония) № 2011-088727 (поданной 13 апреля 2011 года) полностью содержится в данном документе по ссылке.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

[0135] Согласно настоящему изобретению можно предоставлять систему помощи при вождении и способ определения дождевых капель для нее, которые допускают определение дождевой капли при недопущении уменьшения точности определения для окружающей обстановки.

СПИСОК НОМЕРОВ ССЫЛОК

[0136]

1 - система помощи при вождении

10 - камера (устройство захвата изображений)

20 - компьютер

21 - модуль определения текущих контуров (средство определения контуров)

22 - модуль хранения опорных контуров (средство хранения опорных контуров: средство хранения первых линий контура)

23 - модуль вычисления степени отклонения (средство вычисления)

24 - модуль определения дождевых капель (средство определения дождевых капель)

25 - модуль хранения предыдущих контуров (средство хранения предыдущих контуров: средство хранения первых линий контура)

30 - предупреждающее устройство

V - оснащенное системой транспортное средство

1. Система помощи при вождении, чтобы предоставлять различные виды информации водителю движущегося объекта из результата захвата изображений окрестностей упомянутого движущегося объекта, содержащая:
- средство захвата изображений, установленное на движущемся объекте и выполненное с возможностью захватывать изображение окрестностей, включающее в себя фрагмент движущегося объекта;
- средство хранения первых линий контура, выполненное с возможностью сохранять первую линию контура, определенную из первого изображения окрестностей, захваченного заранее посредством средства захвата изображений;
- средство определения контуров, выполненное с возможностью определять вторую линию контура из второго изображения окрестностей, в данный момент захваченного посредством средства захвата изображений;
- средство вычисления, выполненное с возможностью вычислять степень совпадения между первой линией контура, сохраненной в средстве хранения первых линий контура, и упомянутой второй линией контура, определенной посредством средства определения контуров; и
- средство оценки дождевых капель, выполненное с возможностью оценивать то, что дождевая капля прилипла к модулю линз средства захвата изображений, в ответ на снижение степени совпадения между первой линией контура и второй линией контура, при этом:
- средство вычисления вычисляет степень отклонения между первой линией контура, сохраненной в средстве хранения первых линий контура, и второй линией контура, определенной посредством средства определения контуров, и
- когда упомянутая степень отклонения равна или превышает предварительно определенное значение, средство оценки дождевых капель определяет то, что степень совпадения снижена, и оценивает то, что дождевая капля прилипла к модулю линз средства захвата изображений, при этом
упомянутая система помощи при вождении дополнительно содержит средство понижения чувствительности определения, выполненное с возможностью понижать чувствительность определения другого движущегося объекта из второго изображения окрестностей, в данный момент захваченного посредством средства захвата изображений, посредством повышения порога обнаружения для обнаружения другого движущегося объекта из второго изображения окрестностей, когда средство оценки дождевых капель оценивает то, что дождевая капля прилипла к модулю линз средства захвата изображений.

2. Система помощи при вождении, чтобы предоставлять различные виды информации водителю движущегося объекта из результата захвата изображений окрестностей упомянутого движущегося объекта, содержащая:
- средство захвата изображений, установленное на движущемся объекте и выполненное с возможностью захватывать изображение окрестностей, включающее в себя фрагмент движущегося объекта;
- средство хранения первых линий контура, выполненное с возможностью сохранять первую линию контура, определенную из первого изображения окрестностей, захваченного заранее посредством средства захвата изображений;
- средство определения контуров, выполненное с возможностью определять вторую линию контура из второго изображения окрестностей, в данный момент захваченного посредством средства захвата изображений;
- средство вычисления, выполненное с возможностью вычислять степень совпадения между первой линией контура, сохраненной в средстве хранения первых линий контура, и упомянутой второй линией контура, определенной посредством средства определения контуров; и
- средство оценки дождевых капель, выполненное с возможностью оценивать то, что дождевая капля прилипла к модулю линз средства захвата изображений, в ответ на снижение степени совпадения между первой линией контура и второй линией контура, при этом:
- средство вычисления вычисляет степень отклонения между первой линией контура, сохраненной в средстве хранения первых линий контура, и второй линией контура, определенной посредством средства определения контуров, и
- когда упомянутая степень отклонения равна или превышает предварительно определенное значение, средство оценки дождевых капель определяет то, что степень совпадения снижена, и оценивает то, что дождевая капля прилипла к модулю линз средства захвата изображений, при этом
система помощи при вождении дополнительно содержит средство понижения чувствительности определения дождевых капель, выполненное с возможностью понижать чувствительность определения дождевых капель из второго изображения окрестностей, в данный момент захваченного посредством средства захвата изображений, когда средство оценки дождевых капель оценивает то, что дождевая капля прилипла к модулю линз средства захвата изображений, причем
когда средство оценки дождевых капель оценивает то, что дождевая капля прилипла к модулю линз средства захвата изображений, средство понижения чувствительности определения дождевых капель понижает чувствительность определения дождевых капель в части второго изображения окрестностей, в данный момент захваченного посредством средства захвата изображений, причем упомянутая часть оценивается как имеющая прилипшую дождевую каплю.

3. Система помощи при вождении по п.2, в которой, когда степень отклонения, вычисленная посредством средства вычисления, остается равной или меньшей предписанного значения в течение предварительно определенного периода времени, средство хранения первых линий контура сохраняет, в качестве первой линии контура, вторую линию контура, определенную посредством средства определения контуров в пределах упомянутого предварительно определенного периода времени.

4. Система помощи при вождении по п.2, в которой средство хранения первых линий контура сохраняет, в качестве первой линии контура, вторую линию контура, определенную посредством средства определения контуров в предписанный период времени перед текущим временем.

5. Система помощи при вождении по п.2, в которой средство захвата изображений устанавливается с оптической осью, направленной под углом вниз от горизонтального направления.

6. Система помощи при вождении по п.2, в которой средство вычисления вычисляет степень отклонения посредством определения, на сколько пикселей точка на второй линии контура, определенной посредством средства определения контуров, сдвигается от точки на первой линии контура, сохраненной посредством средства хранения первых линий контура, причем упомянутая точка на первой линии контура соответствует упомянутой точке на второй линии контура, определенной посредством средства определения контуров.

7. Система помощи при вождении, чтобы предоставлять различные виды информации водителю движущегося объекта из результата захвата изображений окрестностей упомянутого движущегося объекта, содержащая:
- средство захвата изображений, установленное на движущемся объекте и выполненное с возможностью захватывать изображение окрестностей, включающее в себя фрагмент движущегося объекта;
- средство хранения первых линий контура, выполненное с возможностью сохранять первую линию контура, определенную из первого изображения окрестностей, захваченного заранее посредством средства захвата изображений;
- средство определения контуров, выполненное с возможностью определять вторую линию контура из второго изображения окрестностей, в данный момент захваченного посредством средства захвата изображений;
- средство вычисления, выполненное с возможностью вычислять степень совпадения между первой линией контура, сохраненной в средстве хранения первых линий контура, и упомянутой второй линией контура, определенной посредством средства определения контуров; и
- средство оценки дождевых капель, выполненное с возможностью оценивать то, что дождевая капля прилипла к модулю линз средства захвата изображений, в ответ на снижение степени совпадения между первой линией контура и второй линией контура, при этом:
- средство вычисления вычисляет степень отклонения между первой линией контура, сохраненной в средстве хранения первых линий контура, и второй линией контура, определенной посредством средства определения контуров, и
- когда упомянутая степень отклонения равна или превышает предварительно определенное значение, средство оценки дождевых капель определяет то, что степень совпадения снижена, и оценивает то, что дождевая капля прилипла к модулю линз средства захвата изображений, в которой:
- средство вычисления вычисляет степень отклонения посредством определения, на сколько пикселей точка на второй линии контура, определенной посредством средства определения контуров, сдвигается от точки на первой линии контура, сохраненной посредством средства хранения первых линий контура, причем упомянутая точка на первой линии контура соответствует упомянутой точке на второй линии контура, определенной посредством средства определения контуров, при этом
- средство вычисления определяет то, на сколько пикселей каждая из всех точек на второй линии контура, определенной посредством средства определения контуров, сдвинуты от точки на первой линии контура, сохраненной посредством средства хранения первых линий контура, причем упомянутая точка на первой линии контура соответствует упомянутой точке на второй линии контура, определенной посредством средства определения контуров; и
- вычисляет, в качестве степени отклонения, сумму определенных чисел пикселей для всех точек.

8. Система помощи при вождении, чтобы предоставлять различные виды информации водителю движущегося объекта из результата захвата изображений окрестностей упомянутого движущегося объекта, содержащая:
- средство захвата изображений, установленное на движущемся объекте и выполненное с возможностью захватывать изображение окрестностей, включающее в себя фрагмент движущегося объекта;
- средство хранения первых линий контура, выполненное с возможностью сохранять первую линию контура, определенную из первого изображения окрестностей, захваченного заранее посредством средства захвата изображений;
- средство определения контуров, выполненное с возможностью определять вторую линию контура из второго изображения окрестностей, в данный момент захваченного посредством средства захвата изображений;
- средство вычисления, выполненное с возможностью вычислять степень совпадения между первой линией контура, сохраненной в средстве хранения первых линий контура, и упомянутой второй линией контура, определенной посредством средства определения контуров; и
- средство оценки дождевых капель, выполненное с возможностью оценивать то, что дождевая капля прилипла к модулю линз средства захвата изображений, в ответ на снижение степени совпадения между первой линией контура и второй линией контура, при этом:
- средство вычисления вычисляет степень отклонения между первой линией контура, сохраненной в средстве хранения первых линий контура, и второй линией контура, определенной посредством средства определения контуров, и
- когда упомянутая степень отклонения равна или превышает предварительно определенное значение, средство оценки дождевых капель определяет то, что степень совпадения снижена, и оценивает то, что дождевая капля прилипла к модулю линз средства захвата изображений, в которой
средство вычисления вычисляет степень отклонения на основе разности между направлением градиента яркости точки на второй линии контура, определенной посредством средства определения контуров, и направлением градиента яркости точки на первой линии контура, сохраненной посредством средства хранения первых линий контура, причем упомянутая точка на первой линии контура соответствует упомянутой точке на второй линии контура, определенной посредством средства определения контуров.

9. Система помощи при вождении по п.8, в которой средство вычисления:
- вычисляет угол, сформированный посредством направления градиента яркости каждой из всех точек на второй линии контура, определенной посредством средства определения контуров, и направления градиента яркости точки на первой линии контура, сохраненной посредством средства хранения первых линий контура, причем упомянутая точка на первой линии контура соответствует упомянутой точке на второй линии контура, определенной посредством средства определения контуров; и
- вычисляет, в качестве степени отклонения, сумму вычисленных углов для всех точек.