Способ распознавания светофора и устройство распознавания светофора

Изобретение относится к способу распознавания светофора и устройству распознавания светофора. Способ распознавания светофора, содержащий этапы, на которых захватывают изображение направления движения транспортного средства с использованием блока формирования изображения, получают местоположение стоп-линии, соответствующей светофору, расположенному в направлении движения транспортного средства, оценивают, может ли транспортное средство замедлиться с заданным ускорением замедления и может ли остановиться перед стоп-линией, на основе местоположения стоп-линии. Способ содержит этап выбора светофора, соответствующего стоп-линии, в качестве целевого светофора в случае, когда оценено, что транспортное средство не может остановиться перед стоп-линией, устанавливают область обнаружения, соответствующую целевому светофору, на изображении, и определяют состояние отображения целевого светофора посредством выполнения обработки изображения в области обнаружения. Устройство распознавания светофора содержит блок формирования изображения, установленный на транспортном средстве, и контроллер. Достигается повышение точности распознования изображения. 2 н. и 7 з.п. ф-лы, 4 ил.

 

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к способу распознавания светофора и устройству распознавания светофора.

УРОВЕНЬ ТЕХНИКИ

[0002] В соответствии с патентным документом 1 предложен способ, в котором знак остановки, красный световой сигнал или желтый световой сигнал из состояний отображения светофора обнаруживаются по изображению, полученному камерой у каждого перекрестка, и в котором сигнал тревоги генерируется, когда собственное транспортное средство приближается к стоп-линии на некоторой скорости транспортного средства или выше.

[0003] Кроме того, в соответствии с патентным документом 2 предлагается способ, в котором для двух или более светофоров, расположенных перед транспортным средством, в случае, когда первый светофор, ближайший к транспортному средству, указывает состояние, в котором транспортное средство не может ехать, а второй светофор перед первым светофором указывает состояние, в котором транспортное средство может ехать, сигнал тревоги выдается, когда скорость собственного транспортного средства превышает некоторый верхний предел.

СПИСОК ЦИТИРУЕМЫХ ДОКУМЕНТОВ

ПАТЕНТНЫЙ ДОКУМЕНТ

[0004] Патентный документ 1: Опубликованная японская патентная публикация № 2011-145892

Патентный документ 2: Опубликованная японская патентная публикация № 2018-092371

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[0005] Однако, поскольку способ, описанный в патентном документе 1, сконфигурирован для последовательного обнаружения состояния отображения светофора у каждого перекрестка, этот способ имеет проблему, заключающуюся в том, что генерация сигнала тревоги задерживается, когда интервалы между перекрестками относительно близкие. Кроме того, в случае, когда одновременно определяется отображение множества светофоров, расположенных перед транспортным средством, посредством использования методики, описанной в патентном документе 2, поскольку второй светофор всегда отслеживается в дополнение к первому светофору, существует проблема в том, что вычислительная нагрузка становится большой.

[0006] Настоящее изобретение было выполнено с учетом вышеуказанных проблем, и цель настоящего изобретения состоит в том, чтобы предоставить способ распознавания светофора и устройство распознавания светофора, способные распознавать светофоры, которые необходимо обнаружить, при этом подавляя увеличение вычислительной нагрузки, даже когда расстояние между перекрестками относительно малое.

РЕШЕНИЕ ЗАДАЧИ

[0007] Чтобы решить вышеупомянутые проблемы, способ распознавания светофора и устройство распознавания светофора в соответствии с аспектом настоящего изобретения оценивают, может ли транспортное средство замедлиться с заданным ускорением замедления и может ли остановиться перед стоп-линией, на основе местоположения стоп-линии, соответствующей светофору, расположенному в направлении движения транспортного средства, выбирают светофор, соответствующий стоп-линии, в качестве целевого светофора в случае, когда оценено, что транспортное средство не может остановиться перед стоп-линией, устанавливают область обнаружения, соответствующую целевому светофору, на изображении, полученном посредством захвата направления движения транспортного средства, и определяют состояние отображения целевого светофора посредством выполнения обработки изображения в области обнаружения.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

[0008] Согласно настоящему изобретению возможно распознавать светофоры, которые необходимо обнаружить, подавляя при этом увеличение вычислительной нагрузки, даже когда расстояние между перекрестками относительно короткое.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009]

Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства распознавания светофора согласно варианту осуществления настоящего изобретения.

Фиг. 2 является блок-схемой последовательности операций, иллюстрирующей процедуру обработки устройства распознавания светофора согласно варианту осуществления настоящего изобретения.

Фиг. 3 является схематичным видом, показывающим пример взаимного расположения между транспортным средством и множеством светофоров.

Фиг. 4 является схематичным видом, показывающим пример установки области обнаружения на захваченном изображении.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0010] Далее будут подробно описаны варианты осуществления настоящего изобретения со ссылкой на чертежи. В описании одни и те же элементы обозначены одними и теми же ссылочными позициями, и дублирующееся описание будет опущено.

[0011] [Конфигурация устройства распознавания светофора]

Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства распознавания светофора согласно настоящему варианту осуществления. Как показано на фиг. 1, устройство распознавания светофора в соответствии с настоящим вариантом осуществления включает в себя блок 71 формирования изображения и контроллер 100, и контроллер 100 соединен с блоком 71 формирования изображения, датчиком 73 в транспортном средстве, блоком 75 получения картографической информации и устройством 400 управления транспортным средством по проводному или беспроводному каналу связи.

[0012] Здесь блок 71 формирования изображения, датчик 73 в транспортном средстве и устройство 400 управления транспортным средством установлены на транспортном средстве (не показано), но блок 75 получения картографической информации и контроллер 100 могут быть установлены на транспортном средстве или могут быть установлены вне транспортного средства.

[0013] Блок 71 формирования изображения захватывает изображение транспортного средства в направлении движения. Например, блок 71 формирования изображения представляет собой цифровую камеру, снабженную твердотельным датчиком изображения, таким как ПЗС или КМОП, и формирует изображение окружения транспортного средства для захвата цифрового изображения периферийной области транспортного средства. Блок 71 формирования изображения формирует изображения в заданном диапазоне вокруг транспортного средства посредством установки фокусного расстояния, угла обзора объектива, вертикального и горизонтального углов камеры и т.п.

[0014] Изображение, захваченное блоком 71 формирования изображения, выводится на контроллер 100 и сохраняется в блоке памяти (не показан) в течение заданного периода времени. Например, блок 71 формирования изображения захватывает изображения в заданные интервалы времени, и изображения, захваченные в заданные интервалы времени, сохраняются в блоке памяти как прошлые изображения. Прошлое изображение может быть удалено по истечении заданного периода с момента захвата прошлого изображения.

[0015] Датчик 73 в транспортном средстве включает в себя датчик обнаружения объекта, установленный на транспортном средстве, такой как лазерный радар, радар миллиметрового диапазона и камера, который обнаруживает объект, существующий вокруг транспортного средства. Датчик 73 в транспортном средстве может включать в себя множество различных типов датчиков обнаружения объекта.

[0016] Датчик 73 в транспортном средстве обнаруживает окружающую среду вокруг транспортного средства. Например, датчик 73 в транспортном средстве может обнаруживать движущийся объект, включая другое транспортное средство, мотоцикл, велосипед, пешехода, и неподвижный объект, включая остановившееся транспортное средство, а также местоположение, позицию, размер, скорость, ускорение, замедление, скорость рыскания и т. д. движущегося объекта и неподвижного объекта по отношению к транспортному средству. Датчик 73 в транспортном средстве может выводить, например, поведение двухмерного объекта в зенитном ракурсе (также называемом видом сверху), наблюдаемом с воздуха над транспортным средством, в качестве результата обнаружения. Кроме того, датчик 73 в транспортном средстве может обнаруживать знак (дорожный знак или знак, отображенный на поверхности дороги), направляющий рельс и т.п., существующие вокруг транспортного средства. Кроме того, датчик 73 в транспортном средстве может обнаруживать скользкость дорожного покрытия на полосе движения, по которой движется транспортное средство, посредством обнаружения скорости вращения и разницы в скорости вращения колес, обеспеченных в транспортном средстве.

[0017] Кроме того, датчик 73 в транспортном средстве обнаруживает состояние транспортного средства в дополнение к окружающей среде вокруг транспортного средства. Например, датчик 73 в транспортном средстве может обнаруживать скорость движения транспортного средства (скорость движения в направлении вперед-назад, направление влево-вправо, скорость поворота), угол поворота колес, обеспеченных в транспортном средстве, и изменение скорости угла поворота.

[0018] Кроме того, датчик 73 в транспортном средстве может измерять абсолютное положение транспортного средства, то есть местоположение, угловое пространственное положение и скорость транспортного средства относительно заданной опорной точки, с помощью датчика определения положения, который измеряет абсолютное положение транспортного средства, таких как GPS (глобальная система позиционирования) и одометр.

[0019] Блок 75 получения картографической информации получает картографическую информацию, указывающую структуру дороги, по которой движется транспортное средство. Картографическая информация, полученная блоком 75 получения картографической информации, включает в себя информацию о структуре дороги, такую как абсолютные положения полос движения, отношения соединения полос движения и относительные взаимные расположения. Кроме того, картографическая информация, полученная блоком 75 получения картографической информации, может включать в себя информацию об объекте, такую как место стоянки транспортных средств и заправочная станция. Кроме того, картографическая информация может включать в себя информацию о местоположении светофора, типе светофора, местоположении стоп-линии, соответствующей светофору, и т.п. Блок 75 получения картографической информации может обладать картографической базой данных, в которой хранится картографическая информация, или может получать картографическую информацию с внешнего сервера картографических данных с помощью облачных вычислений. Кроме того, блок 75 получения картографической информации может получать картографическую информацию, используя связь транспортное средство-транспортное средство и связь дорога-транспортное средство.

[0020] Устройство 400 управления транспортным средством управляет транспортным средством (не показано) на основе результата распознавания светофора, полученного контроллером 100. Например, устройство 400 управления транспортным средством может управлять транспортным средством посредством автоматического вождения в соответствии с заданным маршрутом движения или может поддерживать операцию вождения находящихся в транспортном средстве людей. Кроме того, устройство 400 управления транспортным средством может быть устройством уведомления, которое уведомляет находящихся в транспортном средстве людей о результате распознавания светофора.

[0021] Контроллер 100 (пример блока управления или блока обработки) представляет собой микрокомпьютер общего назначения, включающий в себя ЦП (центральный процессор), память и блок ввода/вывода. Компьютерная программа (программа распознавания светофора) для работы в качестве устройства распознавания светофора установлена в контроллере 100. Выполняя компьютерную программу, контроллер 100 функционирует как множество схем обработки информации (110, 120, 130, 140, 150, 160), включенных в устройство распознавания светофора.

[0022] Здесь показан пример, в котором множество схем обработки информации (110, 120, 130, 140, 150, 160), включенных в устройство распознавания светофора, реализуются программным обеспечением. Однако также возможно сконфигурировать схемы обработки информации (110, 120, 130, 140, 150, 160), подготовив специальное аппаратное обеспечение для выполнения каждой из следующей обработки информации. Кроме того, множество схем обработки информации (110, 120, 130, 140, 150, 160) могут быть сконфигурированы отдельным аппаратным обеспечением. Кроме того, схема обработки информации (110, 120, 130, 140, 150, 160) также может использоваться в качестве электронного блока управления (ЭБУ), используемого для другого управления, относящегося к транспортному средству.

[0023] Контроллер 100, в качестве множества схем обработки информации (110, 120, 130, 140, 150, 160), включает в себя блок 110 получения собственного местоположения, блок 120 получения местоположения остановки, блок 130 вычисления, блок 140 установки области обнаружения, блок 150 определения и блок 160 вывода.

[0024] Блок 110 получения собственного местоположения получает абсолютное положение транспортного средства, то есть текущее местоположение транспортного средства относительно заданной опорной точки, посредством датчика 73 в транспортном средстве. Кроме того, блок 110 получения собственного местоположения может получать информацию о текущей скорости, ускорении и позиции транспортного средства с помощью датчика 73 в транспортном средстве.

[0025] Блок 120 получения местоположения остановки ищет картографическую информацию, полученную блоком 75 получения картографической информации, и извлекает светофор, расположенный в направлении движения транспортного средства. Затем блок 120 получения местоположения остановки получает местоположение стоп-линии, соответствующей извлеченному светофору, из картографической информации. Блок 120 получения местоположения остановки может выполнять поиск картографической информации, полученной блоком 75 получения картографической информации, на основе текущего местоположения и позиции транспортного средства, полученных блоком 110 получения собственного местоположения, и может извлекать светофор, расположенный в направлении движения транспортного средства. Кроме того, блок 120 получения местоположения остановки может извлекать светофор в пределах диапазона, изображение которого может быть сформировано блоком 71 формирования изображения. Кроме того, блок 120 получения местоположения остановки может извлекать как светофор, так и стоп-линию, соответствующую извлеченному светофору, из изображения, захваченного блоком 71 формирования изображения, и может получать местоположение стоп-линии, соответствующей извлеченному светофору, посредством получения местоположения светофора и стоп-линии по отношению к транспортному средству. То есть местоположение стоп-линии, соответствующей светофору, может быть получено без использования местоположения собственного транспортного средства или картографической информации, и способ получения местоположения стоп-линии, соответствующей светофору, может быть изменен соответственно.

[0026] Кроме того, блок 130 вычисления оценивает, может ли транспортное средство замедлиться с заданным ускорением замедления и может ли оно остановиться перед стоп-линией на основе местоположения стоп-линии, полученного блоком 120 получения местоположения остановки. В частности, блок 130 вычисления вычисляет расстояние D между текущим местоположением транспортного средства и местоположением стоп-линии для каждого извлеченного светофора. Затем блок 130 вычисления вычисляет величину ускорения α замедления, когда транспортное средство останавливается на стоп-линии, посредством деления квадрата текущей скорости V транспортного средства на удвоенное расстояние D.

[0027] То есть величина ускорения α замедления может быть оценена по следующему уравнению (1).

α=V^2/2D ... (1)

[0028] Затем блок 130 вычисления оценивает, что транспортное средство не может остановиться перед стоп-линией путем замедления с заданным ускорением β замедления в случае, когда вычисленная величина ускорения α замедления больше, чем величина заданного ускорения β замедления. Заданное ускорение β замедления представляет собой значение, полученное посредством экспериментов или т.п. заранее, чтобы находящиеся в транспортном средстве люди не испытывали чувство дискомфорта из-за внезапного замедления.

[0029] Вместо вычисления ускорения α замедления и оценки того, может ли транспортное средство остановиться, блок 130 вычисления может вычислить предполагаемое местоположение остановки, когда транспортное средство замедляется с заранее заданным ускорением β замедления, и может оценить, что транспортное средство не может остановиться до стоп-линии, если стоп-линия расположена между предполагаемым местоположением остановки и транспортным средством. В частности, блок 130 вычисления может вычислять заданное расстояние DH, которое транспортное средство проходит до тех пор, пока транспортное средство не остановится, замедляясь с заданным ускорением β замедления, посредством деления квадрата текущей скорости V транспортного средства на удвоенное заданное ускорение β замедления.

[0030] То есть заданное расстояние DH можно оценить по следующему уравнению (2).

DH=V^2/2β ... (2)

[0031] Затем блок 130 вычисления может устанавливать местоположение, опережающее заданное расстояние DH от текущего местоположения транспортного средства в направлении движения транспортного средства, в качестве предполагаемого местоположения остановки, и может оценивать, что транспортное средство не может быть остановлено перед стоп-линией в случае, когда стоп-линия расположена между предполагаемым местоположением остановки и транспортным средством. То есть, в случае, когда предполагаемое местоположение остановки находится дальше стоп-линии вдоль направления движения транспортного средства, если смотреть от транспортного средства, блок 130 вычисления может оценивать, что транспортное средство не может остановиться перед стоп-линией.

[0032] Блок 130 вычисления выбирает из светофоров, извлеченных блоком 120 получения местоположения остановки, светофор, соответствующий стоп-линии, у которой оценено, что транспортное средство не может остановиться, перед транспортным средством, в качестве светофора (целевого светофора), который должен быть определен.

[0033] Выбор целевого светофора будет описан со ссылкой на фиг. 3. Фиг. 3 является схематичным видом, показывающим пример взаимного расположения между транспортным средством и множеством светофоров. На фиг. 3 показано, что транспортное средство, движущееся со скоростью V, находится в местоположении PS (координаты x=0), в направлении движения транспортного средства существуют светофор TS1, светофор TS2 и светофор TS3, и стоп-линии, соответствующие каждому из вышеуказанных светофоров TS1, TS2, TS3, находятся в местоположении P1 (координаты x=D1), местоположении P2 (координаты x=D2) и местоположении P3 (координаты x=D3).

[0034] Здесь предполагается, что предполагаемое местоположение остановки устанавливается в местоположении PT на основании заданного расстояния DH, вычисленного по приведенному выше уравнению (2). В этом случае, даже если транспортное средство замедляется с заданным ускорением β замедления, это означает, что транспортное средство не может остановиться перед стоп-линией в местоположении P1 и стоп-линией в местоположении P2. Это связано с тем, что стоп-линия в местоположении P1 и стоп-линия в местоположении P2 существуют на участке между предполагаемым местоположением остановки в местоположении PT и транспортным средством в местоположении PS.

[0035] Следовательно, блок 130 вычисления выбирает светофор TS1, соответствующий стоп-линии в местоположении P1, и светофор TS2, соответствующий стоп-линии в местоположении P2, в качестве целевых светофоров. С другой стороны, светофор TS3, соответствующий стоп-линии в местоположении Р3, не выбирается в качестве целевого светофора.

[0036] Согласно уравнению (1), поскольку ускорение α замедления и расстояние D находятся в обратно пропорциональной зависимости, можно видеть, что величина ускорения замедления, необходимого для остановки у стоп-линии в местоположении P1 или стоп-линии в местоположении P2 больше, чем величина заданного ускорения β замедления. Это связано с тем, что расстояние D1 и расстояние D2 короче заданного расстояния DH. Таким образом, целевой светофор, выбранный в случае, когда блок 130 вычисления вычисляет ускорение α замедления и оценивает, может ли транспортное средство быть остановлено, соответствует целевому светофору, выбранному в случае, когда блок 130 вычисления оценивает, может ли транспортное средство быть остановлено на основе взаимного расположения между стоп-линией и предполагаемым местоположением остановки.

[0037] Блок 140 установки области обнаружения устанавливает область обнаружения, соответствующую целевому светофору, на изображении, захваченном блоком 71 формирования изображения. Здесь «область обнаружения» означает область, в которой оценивается присутствие целевого светофора на изображении, и представляет собой целевой диапазон обработки изображения блоком 150 определения, описанным ниже. Местоположение светофора, отраженного в диапазоне формирования изображения на изображении, может быть оценено на основе направления формирования изображения блока 71 формирования изображения, местоположения и ориентации транспортного средства во время формирования изображения и местоположения светофора. Блок 140 установки области обнаружения устанавливает, например, часть захваченного изображения, которая включает в себя оцененное местоположение светофора на изображении, в качестве области обнаружения.

[0038] Установка области обнаружения будет описана со ссылкой на фиг. 4. Фиг. 4 является схематичным видом, показывающим пример установки области обнаружения на захваченном изображении. На фиг. 4 показано, как область R1 обнаружения, область R2 обнаружения и область R3 обнаружения устанавливаются в соответствии со светофором TS1, светофором TS2 и светофором TS3, соответственно.

[0039] Когда светофор TS1 и светофор TS2 выбраны в качестве целевых светофоров, а светофор TS3 не выбран в качестве целевого светофора, как показано на фиг. 3, область R3 обнаружения, соответствующая светофору TS3, не устанавливается.

[0040] Поскольку на изображении для светофора, соответствующего стоп-линии, не задана область обнаружения, в которой транспортное средство может затормозить с заданным ускорением замедления и остановиться перед ним, возможно уменьшить вычислительную нагрузку при определении целевого светофора в области обнаружения и определении состояния отображения целевого светофора.

[0041] Кроме того, поскольку область обнаружения несомненно установлена на изображении для светофора, соответствующего стоп-линии, где транспортное средство не может остановиться впереди, даже если транспортное средство замедляется с заданным ускорением замедления, возможно надежно определить состояние отображения с помощью светофора, который необходимо обнаружить в качестве цели обнаружения, даже если расстояние между перекрестками относительно близко. Следовательно, возможно распознавать светофор, который необходимо обнаружить, подавляя при этом увеличение вычислительной нагрузки.

[0042] Блок 150 определения выполняет обработку изображения в области обнаружения, обнаруживает целевой светофор в области обнаружения и определяет состояние отображения целевого светофора. Блок 150 определения обнаруживает светофор, например, путем сопоставления с шаблоном. При сопоставлении с шаблоном в качестве шаблона используется стандартное изображение светофора, а область обнаружения сканируется при смещении изображения на один пиксель за раз, и, например, вычисляется корреляция распределения яркости. Затем, когда корреляция достигает наибольшего значения, обнаруживается, что светофор находится в том местоположении на изображении, где расположен шаблон.

[0043] «Цветовой сигнал», указываемый светофором, включает в себя «зеленый сигнал», «желтый сигнал» и «красный сигнал». Значение «цветового сигнала» определяется правилами дорожного движения, которым должно следовать транспортное средство. Например, «зеленый сигнал» означает «можно проезжать», а «красный сигнал» означает «остановиться в местоположении остановки». «Желтый сигнал» означает «остановиться в местоположении остановки, за исключением случаев, когда невозможно безопасно остановиться из-за близости к местоположению остановки».

[0044] Такое различение «зеленого сигнала», «желтого сигнала» и «красного сигнала» может быть выполнено таким образом, что оценивается, что светится «цветовой сигнал», имеющий самый высокий уровень яркости среди трех «цветовых сигналов».

[0045] Кроме того, светофор может указывать не только «цветовой сигнал», но и «сигнал стрелки», указывающий направление, разрешенное для движения транспортного средства на перекрестке, где установлен светофор. Например, «сигнал стрелки» является «сигналом правого поворота», «сигналом прямого движения» и/или «сигналом левого поворота».

[0046] «Сигнал стрелки» не ограничен «сигналом правого поворота», «сигналом прямого движения» и «сигналом левого поворота», и могут быть рассмотрены различные варианты в зависимости от структуры перекрестка, на котором установлен светофор. Значение «сигнала стрелки» определяется правилами дорожного движения, которым должно следовать транспортное средство.

[0047] Блок 150 определения выполняет обработку изображения в области обнаружения и определяет состояние свечения «цветового сигнала» и «сигнала стрелки» светофора как состояние отображения светофора.

[0048] Обработка изображения обнаружения светофора блоком 150 определения может использовать машинное обучение, такое как машина опорных векторов или нейронная сеть. При обнаружении светофора скорость распознавания можно повысить, подготовив обучающую базу данных, в которой заранее хранятся шаблоны светофоров разных размеров, и используя обучающую базу данных для обращения к ней в зависимости от расстояния до светофора.

[0049] Блок 160 вывода выводит состояние отображения целевого светофора, определенное блоком 150 определения. Например, состояние отображения целевого светофора выводится из блока 160 вывода в устройство 400 управления транспортным средством и используется для управления транспортным средством. Кроме того, состояние отображения целевого светофора может быть выведено из блока 160 вывода на устройство уведомления (не показано) и сообщено находящемуся в транспортном средстве человеку через устройство уведомления.

[0050] [Процедура обработки устройства распознавания светофора]

Далее со ссылкой на блок-схему последовательности операций на фиг. 2 будет описана процедура обработки распознавания светофора устройством распознавания светофора согласно настоящему варианту осуществления. Процесс распознавания светофора, показанный на фиг. 2, может выполняться каждый раз, когда блок 71 формирования изображения получает изображение, или может выполняться каждый цикл, когда обработка изображения выполняется в области обнаружения после того, как блок 71 формирования изображения получает изображение.

[0051] На этапе S101 блок 110 получения собственного местоположения получает абсолютное положение транспортного средства с помощью датчика 73 в транспортном средстве.

[0052] На этапе S103 блок 120 получения местоположения остановки ищет картографическую информацию, полученную блоком 75 получения картографической информации, и извлекает светофор, расположенный в направлении движения транспортного средства.

[0053] На этапе S105 блок 120 получения местоположения остановки получает местоположение стоп-линии, соответствующей извлеченному светофору, из картографической информации.

[0054] На этапе S107 блок 130 вычисления вычисляет условие выбора для выбора целевого светофора из извлеченных светофоров. В частности, в случае оценки, может ли транспортное средство замедлиться с заданным ускорением замедления и остановиться перед стоп-линией, блок 130 вычисления вычисляет величину ускорения α замедления в случае, когда транспортное средство останавливается у стоп-линии. Кроме того, в случае оценки, может ли транспортное средство быть остановлено, на основе взаимного расположения между стоп-линией и предполагаемым местоположением остановки, блок 130 вычисления вычисляет заданное расстояние DH, на котором транспортное средство замедляется с заданным ускорением β замедления и движется до остановки транспортного средства.

[0055] На этапе S109 блок 130 вычисления выбирает целевой светофор из извлеченных светофоров, используя вычисленные условия выбора. Дальнейшее будет описано исходя из предположения, что выбрано N целевых светофоров.

[0056] Например, если вычисленная величина ускорения α замедления больше, чем величина заданного ускорения β замедления, блок 130 вычисления оценивает, что транспортное средство не может остановиться перед стоп-линией, когда транспортное средство замедляется с заданным ускорением β замедления, и выбирает светофор, соответствующий стоп-линии, в качестве целевого светофора. Кроме того, блок 130 вычисления может выбрать светофор, соответствующий стоп-линии, в качестве целевого светофора, при этом расстояние D между транспортным средством и стоп-линией меньше вычисленного заданного расстояния DH.

[0057] На этапе S111 блок 140 установки области обнаружения устанавливает область обнаружения, соответствующую целевому светофору, на изображении, захваченном блоком 71 формирования изображения.

[0058] На этапе S121 блок 150 определения устанавливает переменную i на 1.

[0059] На этапе S123 блок 150 определения определяет состояние отображения целевого светофора (i-го целевого светофора), ближайшего к транспортному средству из N целевых светофоров. В частности, обработка изображения выполняется в области обнаружения, соответствующей i-му целевому светофору, ближайшему к транспортному средству, и блок 150 определения определяет состояние отображения целевого светофора.

[0060] На этапе S125 блок 150 определения проверяет переменную i и определяет, удовлетворяется ли «i=N», и если удовлетворяется «i=N» (ДА на этапе S125), переходит к этапу S131.

[0061] Если «i=N» не удовлетворено на этапе S125 (НЕТ на этапе S125), на этапе S127 блок 150 определения определяет, возможно ли двигаться прямо на стоп-линии (возможно двигаться прямо), соответствующей к i-му целевому светофору, на основе состояния отображения i-го целевого светофора.

[0062] Блок 150 определения может определять, может ли транспортное средство двигаться прямо, на основе плана движения транспортного средства, а не на основе состояния отображения целевого светофора. В частности, исходя из плана движения транспортного средства, если транспортное средство не едет прямо, а поворачивает налево или направо на перекрестке, расположенном перед i-м целевым светофором, транспортное средство не проедет через стоп-линию, соответствующую i-му целевому светофору. В этом случае блок 150 определения может определить, что транспортное средство не может двигаться прямо на i-м целевом светофоре.

[0063] Если определено, что «транспортное средство может двигаться прямо» на этапе S127 (ДА на этапе S127), процесс переходит к этапу S129, и блок 150 определения добавляет 1 к переменной i.

[0064] Если определено, что «транспортное средство не может двигаться прямо» на этапе S127 (НЕТ на этапе S127), процесс переходит к этапу S131.

[0065] На этапе S131 блок 160 вывода выводит состояние отображения целевого светофора, определенное блоком 150 определения. Выходное состояние отображения целевого светофора используется, например, в устройстве 400 управления транспортным средством.

[0066] В блок-схеме последовательности операций на фиг. 2 поясняется, что блок 150 определения определяет, может ли «транспортное средство двигаться прямо» на i-м целевом светофоре на основе состояния отображения i-го целевого светофора после того, как блок 140 установки области обнаружения устанавливает область обнаружения, соответствующую целевому светофору, на изображении. Поясняется, что блок 150 определения не определяет, может ли «транспортное средство двигаться прямо» в состоянии отображения для (i+1)-го и последующих целевых светофоров в случае, когда определено, что «транспортное средство не может двигаться прямо» на i-м целевом светофоре.

[0067] Однако этот вариант осуществления не ограничен примером, показанным на блок-схеме последовательности операций на фиг. 2. Например, после установки области обнаружения от первого до i-го целевого светофора из N целевых светофоров можно определить, может ли «транспортное средство двигаться прямо», на основе состояния отображения i-го целевого светофора, и в случае, когда определено, что «транспортное средство не может двигаться прямо» на i-м целевом светофоре, область обнаружения, соответствующая (i+1)-му и последующим целевым светофорам, может не устанавливаться. Поскольку количество областей обнаружения, установленных на изображении, может быть уменьшено, вычислительная нагрузка на блок 140 установки области обнаружения и блок 150 определения может быть уменьшена.

[0068] Кроме того, блок 140 установки области обнаружения может устанавливать область обнаружения, соответствующую целевому светофору, на изображении, когда транспортное средство ускоряется или движется с постоянной скоростью, и может не устанавливать область обнаружения, соответствующую целевому светофору, на изображении, когда транспортное средство замедляется. Когда транспортное средство замедляется, предполагается, что транспортное средство остановится у стоп-линии, ближайшей к транспортному средству, и считается, что нет необходимости учитывать светофор, соответствующий стоп-линии, удаленной от транспортного средства. Следовательно, когда транспортное средство замедляется, вычислительную нагрузку можно уменьшить, не устанавливая область обнаружения, соответствующую целевому светофору.

[0069] [Эффект вариантов осуществления]

Согласно настоящему изобретению способ распознавания светофора и устройство распознавания светофора в соответствии с настоящим вариантом осуществления захватывают изображение направления движения транспортного средства с помощью блока формирования изображения, установленного на транспортном средстве, получают местоположение стоп-линии, соответствующей светофору, расположенному в направлении движения транспортного средства, оценивают, может ли транспортное средство замедлиться с заданным ускорением замедления и может ли остановиться перед стоп-линией, на основе местоположения стоп-линии, выбирают светофор, соответствующий стоп-линии в качестве целевого светофора в случае, когда оценено, что транспортное средство не может остановиться перед стоп-линией, устанавливают область обнаружения, соответствующую целевому светофору, на изображении, и определяют состояние отображения целевого светофора посредством выполнения обработки изображения в области обнаружения.

[0070] В результате возможно определить состояние отображения целевого светофора, соответствующего стоп-линии, у которой транспортное средство не может быть остановлено, даже если транспортное средство замедляется с заданным ускорением замедления, и возможно безопасно замедлить и/или остановить транспортное средство посредством вывода состояние отображения.

[0071] В частности, область обнаружения несомненно установлена на изображении для светофора, соответствующего стоп-линии, перед которой транспортное средство не может остановиться, даже если транспортное средство замедляется с заданным ускорением замедления, и таким образом возможно надежно определить состояние отображения с помощью светофора, который необходимо обнаружить в качестве цели обнаружения, даже если расстояние между перекрестками относительно близко. В результате безопасность транспортного средства может быть повышена.

[0072] С другой стороны, поскольку область обнаружения не установлена на изображении для светофора, соответствующего стоп-линии, перед которой транспортное средство может остановиться посредством замедления с заданным ускорением замедления, возможно уменьшить вычислительную нагрузку при обнаружении целевого светофора в области обнаружения и определении состояния отображения целевого светофора.

[0073] Следовательно, возможно распознавать светофор, который необходимо обнаружить, подавляя при этом увеличение вычислительной нагрузки.

[0074] Кроме того, способ распознавания светофора и устройство распознавания светофора в соответствии с настоящим вариантом осуществления могут вычислять ускорение замедления для транспортного средства, чтобы оно остановилось у стоп-линии, и могут оценивать, что транспортное средство не может остановиться перед стоп-линией в случае, когда величина ускорения замедления больше, чем величина заданного ускорения замедления. В результате целевой светофор может быть надежно выбран со ссылкой на заданное ускорение замедления.

[0075] Кроме того, способ распознавания светофора и устройство распознавания светофора согласно настоящему варианту осуществления могут вычислять предполагаемое местоположение остановки, когда транспортное средство замедляется с заданным ускорением замедления, и могут оценивать, что транспортное средство не может остановиться перед стоп-линией, если стоп-линия находится между предполагаемым местоположением остановки и транспортным средством. В результате целевой светофор может быть надежно выбран со ссылкой на предполагаемое местоположение остановки, определенное на основе заданного ускорения замедления.

[0076] Кроме того, способ распознавания светофора и устройство распознавания светофора согласно настоящему варианту осуществления могут получать местоположение стоп-линии, соответствующей светофору, на основе местоположения транспортного средства и картографической информации, при этом картографическая информация включает в себя информацию о местоположении светофора. В результате целевой светофор может быть надежно выбран на основе положения светофора, включенного в картографическую информацию.

[0077] Кроме того, способ распознавания светофора и устройство распознавания светофора согласно настоящему варианту осуществления могут устанавливать область обнаружения, соответствующую целевому светофору, на изображении, если все светофоры между стоп-линией, соответствующей целевому светофору, и транспортным средством указывают, что транспортное средство может двигаться прямо по запланированному маршруту движения транспортного средства. В результате количество областей обнаружения, установленных на изображении, может быть уменьшено, так что вычислительная нагрузка может быть уменьшена.

[0078] Кроме того, способ распознавания светофора и устройство распознавания светофора согласно настоящему варианту осуществления могут получать ускорение транспортного средства и могут устанавливать область обнаружения, соответствующую целевому светофору, на изображении в случае, когда транспортное средство ускоряется или движется с постоянной скоростью. В результате в сцене, где необходимо определить не только состояние отображения светофора рядом с транспортным средством, но также состояние отображения светофора, удаленного от транспортного средства, можно выбрать светофор, который необходимо обнаружить, в качестве целевого светофора, и возможно выполнить определение состояния отображения светофора, который необходимо обнаружить. В результате безопасность транспортного средства может быть повышена. С другой стороны, когда транспортное средство замедляется, вычислительную нагрузку можно уменьшить, не устанавливая область обнаружения, соответствующую целевому светофору.

[0079] Кроме того, способ распознавания светофора и устройство распознавания светофора согласно настоящему варианту осуществления могут получать местоположение транспортного средства, скорость транспортного средства и местоположение стоп-линии для каждого цикла выполнения обработки изображения и оценивать может ли транспортное средство остановиться перед стоп-линией. Вычислительная нагрузка, связанная с обработкой изображения, как правило, больше, чем вычислительная нагрузка для получения местоположения транспортного средства, скорости транспортного средства и местоположения стоп-линии, и вычислительная нагрузка для оценки остановки транспортного средства перед стоп-линией. Таким образом, возможно предотвратить задержку другой обработки во время ожидания обработки изображения, выполняя другую обработку в каждом цикле, в котором выполняется обработка изображения.

[0080] Кроме того, способ распознавания светофора и устройство распознавания светофора согласно настоящему варианту осуществления могут оценивать, может ли транспортное средство остановиться перед стоп-линией посредством замедления транспортного средства с заданным ускорением замедления в случае, если все светофоры между стоп-линией и транспортным средством указывают, что транспортное средство может двигаться прямо по запланированному маршруту движения транспортного средства. В результате количество оценок остановки транспортного средства перед стоп-линией может быть уменьшено, аи вычислительная нагрузка может быть снижена.

[0081] Соответствующие функции, описанные в приведенном выше варианте осуществления, могут быть реализованы одной или множеством схем обработки. Схемы обработки включают в себя запрограммированные устройства обработки, такие как устройство обработки, включающее в себя электрическую схему, и включают в себя устройства, такие как специализированная интегральная схема (ASIC) и обычные элементы схемы, которые приспособлены для выполнения функций, описанных в варианте осуществления.

[0082] Хотя содержание настоящего изобретения было описано выше со ссылкой на вариант осуществления, настоящее изобретение не ограничено этими описаниями, и специалистам в данной области техники будет очевидно, что могут быть сделаны различные модификации и усовершенствования. Не следует истолковывать, что настоящее изобретение ограничено описаниями и чертежами, которые составляют часть настоящего раскрытия. На основе настоящего раскрытия специалистам в данной области техники будут очевидны различные альтернативные варианты осуществления, практические примеры и способы работы.

[0083] Нет необходимости упоминать, что настоящее изобретение также включает в себя различные варианты осуществления, которые здесь не описаны. Следовательно, технический объем настоящего изобретения должен определяться только изобретением, определяющим объекты патентования в соответствии с объемом формулы изобретения, соответствующим образом полученным из приведенных выше описаний.

СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙ

[0084]

71 блок формирования изображения

73 датчик в транспортном средстве

75 блок получения картографической информации

100 контроллер

110 блок получения собственного местоположения

120 блок получения местоположения остановки

130 блок вычисления

140 блок установки области обнаружения

150 блок определения

160 блок вывода

400 устройство управления транспортным средством.

1. Способ распознавания светофора, содержащий этапы, на которых:

захватывают изображение направления движения транспортного средства с использованием блока формирования изображения, установленного на транспортном средстве,

получают местоположение стоп-линии, соответствующей светофору, расположенному в направлении движения транспортного средства,

оценивают, может ли транспортное средство замедлиться с заданным ускорением замедления и может ли остановиться перед стоп-линией, на основе местоположения стоп-линии,

выбирают светофор, соответствующий стоп-линии, в качестве целевого светофора в случае, когда оценено, что транспортное средство не может остановиться перед стоп-линией,

устанавливают область обнаружения, соответствующую целевому светофору, на изображении, и

определяют состояние отображения целевого светофора посредством выполнения обработки изображения в области обнаружения.

2. Способ распознавания светофора по п. 1, дополнительно содержащий этапы, на которых:

вычисляют ускорение замедления для транспортного средства, чтобы оно остановилось у стоп-линии, и

оценивают, что транспортное средство не может остановиться перед стоп-линией в случае, когда величина ускорения замедления больше, чем величина заданного ускорения замедления.

3. Способ распознавания светофора по п. 1 или 2, дополнительно содержащий этапы, на которых:

вычисляют предполагаемое местоположение остановки, когда транспортное средство замедляется с заданным ускорением замедления, и

оценивают, что транспортное средство не может остановиться перед стоп-линией, если стоп-линия расположена между предполагаемым местоположением остановки и транспортным средством.

4. Способ распознавания светофора по любому из пп. 1-3, дополнительно содержащий этап, на котором:

получают местоположение стоп-линии, соответствующей светофору, на основе местоположения транспортного средства и картографической информации,

при этом картографическая информация включает в себя информацию о местоположении светофора.

5. Способ распознавания светофора по любому из пп. 1-4, дополнительно содержащий этап, на котором:

устанавливают область обнаружения, соответствующую целевому светофору, на изображении, если все светофоры между стоп-линией, соответствующей целевому светофору, и транспортным средством указывают, что транспортное средство может двигаться прямо по запланированному маршруту движения транспортного средства.

6. Способ распознавания светофора по любому из пп. 1-5, дополнительно содержащий этапы, на которых:

получают ускорение транспортного средства, и

устанавливают область обнаружения, соответствующую целевому светофору, на изображении в случае, когда транспортное средство ускоряется или движется с постоянной скоростью.

7. Способ распознавания светофора по любому из пп. 1-6, дополнительно содержащий этапы, на которых:

получают местоположение транспортного средства, скорость транспортного средства и местоположение стоп-линии для каждого цикла выполнения обработки изображения, и

оценивают, может ли транспортное средство остановиться перед стоп-линией.

8. Способ распознавания светофора по любому из пп. 1-7, дополнительно содержащий этап, на котором:

оценивают, может ли транспортное средство остановиться перед стоп-линией посредством замедления транспортного средства с заданным ускорением замедления в случае, если все светофоры между стоп-линией и транспортным средством указывают, что транспортное средство может двигаться прямо по запланированному маршруту движения транспортного средства.

9. Устройство распознавания светофора, содержащее блок формирования изображения, установленный на транспортном средстве, и контроллер, при этом контроллер

захватывает изображение направления движения транспортного средства с использованием блока формирования изображения,

получает местоположение стоп-линии, соответствующей светофору, расположенному в направлении движения транспортного средства,

оценивает, может ли транспортное средство замедлиться с заданным ускорением замедления и может ли остановиться перед стоп-линией, на основе местоположения стоп-линии,

выбирает светофор, соответствующий стоп-линии, в качестве целевого светофора в случае, когда оценено, что транспортное средство не может остановиться перед стоп-линией,

устанавливает область обнаружения, соответствующую целевому светофору, на изображении, и

определяет состояние отображения целевого светофора посредством выполнения обработки изображения в области обнаружения.