Способ калибровки камеры, установленной за лобовым стеклом на автомобиле
Владельцы патента RU 2762201:
Общество с ограниченной ответственностью "Научно-производственное предприятие "ИТЭЛМА" (ООО "НПП "ИТЭЛМА") (RU)
Изобретение относится к способам обеспечения безопасности движения автомобиля за счет повышения точности работы систем предупреждения водителя о смене полосы движения и об опасном сближении с впереди идущим автомобилем. Способ динамической внешней калибровки камеры на автомобиле, установленной за лобовым стеклом автомобиля и направленной вперед по ходу движения, заключается в том, что регистрируют последовательность кадров во время движения автомобиля в процессе калибровки, формируют матрицу М, в ячейках матрицы накапливают информацию о точках пересечений в так называемой точке схода, полученные траектории периодически проверяют на длину и прямолинейность, короткие и сильно отклоняющиеся от прямой не принимают к рассмотрению, оставшиеся траектории аппроксимируют прямыми, и точки их попарного пересечения суммируют в соответствующих ячейках матрицы М, зная пиксельные координаты усредненной точки схода, определяют углы установки камеры, такие как угол тангажа (pitch) и угол рыскания (yaw).
Достигается повышение точности калибровки во время движения. 2 ил.
Изобретение относится к калибровке камеры, установленной за лобовым стеклом автомобиля и направленной вперед по ходу движения. Такая камера используется в системах помощи водителю для выдачи предупреждений при смене полосы движения, при опасном сближении с впереди идущим автомобилем, а также для управления переключением ближнего и дальнего света фар. Для правильной оценки расстояния до объектов и их положения на дороге системам помощи водителю необходимо знать внешние параметры калибровки камеры, такие как углы ее установки относительно продольной оси автомобиля.
Известные способы определения внешних параметров камеры основаны на использовании калибровочных стендов (1. Zhang Z. A flexible new technique for camera calibration // IEEE Transactions on pattern analysis and machine intelligence. - 2000. - T. 22. - № 11. - C. 1330-1334). Основным недостатком данных способов является требование трудоемкой процедуры установки стенда перед автомобилем и предварительной точной внутренней калибровки камеры.
Переустановка камеры на лобовое стекло автомобиля вносит некоторые погрешности, ухудшающие точность ее калибровки.
Задачей описываемого изобретения является проведение внешней калибровки уже установленной камеры за лобовым стеклом в режиме реального времени при прямолинейном движении автомобиля, что позволяет улучшить надежность и точность калибровки во время движения.
Описываемый способ позволяет провести внешнюю калибровку камеры в режиме реального времени при прямолинейном движении автомобиля. Процесс калибровки не требует использования дополнительных стендов или мишеней. Калибровка должна проводиться в светлое время суток в условиях хорошей видимости при отсутствии тумана и осадков в виде дождя и снега.
Для реализации задачи в способе динамической внешней калибровки камеры на автомобиле, установленной за лобовым стеклом автомобиля и направленной вперед по ходу движения, регистрируют последовательность кадров, получаемых камерой во время движения автомобиля в процессе калибровки, формируют матрицу М, с ячейками, в которых накапливают информацию о точках пересечений траекторий особых точек в так называемой точке схода, полученные траектории периодически проверяют на длину и прямолинейность, короткие и сильно отклоняющиеся от прямой не принимают к рассмотрению, оставшиеся траектории аппроксимируют прямыми, и точки их попарного пересечения суммируют в соответствующих ячейках матрицы М, зная пиксельные координаты усредненной точки схода определяют углы установки камеры, такие как угол тангажа (pitch) и угол рыскания (yaw).
где Vx, Vy – пиксельные координаты точки схода,
Сх, Су – оптический центр камеры,
ƒx, ƒy – фокусное расстояние камеры в пикселях, при этом угол крена (roll) устанавливают равным нулю, что соблюдается при установке камеры.
Изобретение поясняется чертежом, где на фиг. 1 представлено изображение одного кадра, который обрабатывается в вычислительном блоке.
На фиг. 2 представлено изображение выделенной области дорожного полотна при виде сверху.
Далее описывается перечень действий в режиме калибровки. На поступающих кадрах алгоритм трекинга отслеживает особые точки. Это могут быть точки, расположенные как на дорожном полотне, так и на стационарных объектах, рядом с дорогой. В качестве особых точек выбираются так называемые угловые точки (2. Shi J. et al., Good features to track // 1994 Proceedings of IEEE conference on computer vision and pattern recognition. - IEEE, 1994. - C. 593-600), в которых градиент интенсивности имеет значительный перепад в двух направлениях. Трекинг особых точек осуществляется с помощью метода оптического потока Лукаса-Канаде (3. Bouguet J.Y. et al., Pyramidal implementation of the affine lucas kanade feature tracker description of the algorithm // Intel corporation. - 2001. - T. 5. - № 1-10. - C. 4).
При идеальном прямолинейном движении автомобиля траектории этих точек на кадре представляют из себя пересекающиеся прямые, которые соответствуют параллельным траекториям этих точек в системе координат автомобиля. На кадре эти прямые пересекаются в так называемой точке схода, зная пиксельные координаты усредненной точки схода, можно определить по формулам (1) и (2) углы установки камеры, такие как угол тангажа (pitch) и угол рыскания (yaw). Угол крена (roll) предполагается равным нулю, что, как правило, соблюдается при установке камеры. Следует отметить, что незначительные отклонения угла крена от нуля практически не влияют на функционирование различных модулей системы помощи водителю.
В реальных условиях автомобиль движется не прямолинейно и подвержен небольшим раскачиваниям, что приводит к тому, что траектории особых точек не являются прямыми, пересекающимися в точке схода. Для оценки положения точки схода формируется матрица М, с размерами равными размеру кадра, в ячейках накапливается информация о точках пересечений. Полученные траектории периодически проверяются на длину и прямолинейность, короткие и сильно отклоняющиеся от прямой не принимаются к рассмотрению. Оставшиеся траектории 1 (фиг. 1) аппроксимируются прямыми, и точки их попарного пересечения суммируются в соответствующих ячейках матрицы М.
Периодически максимальный элемент в матрице М сравнивается с экспериментально найденным порогом, и при превышении данного порога процесс калибровки завершается. Процесс может быть завершен принудительно по истечении заданного времени, которое не превышает одной минуты. Координаты максимального значения матрицы М считаются найденной оценкой точки схода Vx, Vy. По найденным координатам точки схода 2 (фиг. 1) углы установки камеры определяются по формулам (1) и (2)
Полученные углы установки камеры используются для получения вида сверху (фиг. 2), с целью преобразования области дорожного полотна в виде трапеции 3 (фиг. 1). После преобразования получают полосы дорожной разметки 4, направленные параллельно вдоль линии движения автомобиля (см. фиг. 2), что свидетельствует о верно выполненной калибровке.
Таким образом описываемый способ позволяет провести внешнюю калибровку камеры в режиме реального времени при прямолинейном движении автомобиля.
Способ динамической внешней калибровки камеры на автомобиле, установленной за лобовым стеклом автомобиля и направленной вперед по ходу движения, заключающийся в том, что определяют углы установки камеры относительно продольной оси автомобиля, отличающийся тем, что регистрируют последовательность кадров, получаемых камерой во время движения автомобиля в процессе калибровки, формируют из них матрицу М, в ячейках которой накапливают информацию о точках пересечений траекторий особых точек в так называемой точке схода, полученные траектории периодически проверяют на длину и прямолинейность, короткие и сильно отклоняющиеся от прямой не принимают к рассмотрению, оставшиеся траектории аппроксимируют прямыми, и точки их попарного пересечения суммируют в соответствующих ячейках матрицы М, зная пиксельные координаты усредненной точки схода, определяют углы установки камеры, такие как угол тангажа (pitch) и угол рыскания (yaw),
где Vx, Vy – пиксельные координаты точки схода,
Сх, Су – оптический центр камеры,
ƒx, ƒy – фокусное расстояние камеры в пикселях, при этом угол крена (roll) принимается равным нулю, что соблюдается при установке камеры.
