Навигационное устройство с информацией, получаемой от камеры

Изобретение относится к навигационному оборудованию транспортных средств. Предложенное навигационное устройство выполнено с возможностью отображать навигационные указания на дисплее, принимать видеосигнал с камеры и отображать комбинацию изображения с камеры из видеосигнала от камеры и навигационных указаний на дисплее. Устройство, являющееся персональным навигационным устройством, включает в себя камеру, выполненную с ним за одно целое. Оно выполнено с возможностью предоставлять опцию из меню, которая позволяет пользователю регулировать относительное положение отображаемого с камеры изображения относительно навигационных указаний. С помощью предложенного устройства отображаются инструкции для пользователя, которые быстро и легко интерпретируются. 14 з.п. ф-лы, 12 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к навигационному устройству, навигационное устройство выполнено с возможностью отображать навигационные указания на дисплее.

Кроме того, настоящее изобретение относится к транспортному средству, содержащему такое навигационное устройство, и способу предоставления навигационных указаний. Более того, настоящее изобретение относится к вычислительной программе и носителю данных.

Уровень техники

Навигационные устройства предшествующего уровня техники, построенные на базе GPS (глобальной системы позиционирования), хорошо известны и широко используются в качестве автомобильных навигационных систем. Такое навигационное устройство, построенное на базе GPS, относится к вычислительному устройству, которое в функциональном соединении с внешним (внутренним) GPS-приемником способно определять собственную глобальную позицию. Кроме того, вычислительное устройство способно определять маршрут между начальным и конечным адресами, которые могут быть введены пользователем вычислительного устройства. В типичном варианте, вычислительное устройство способно посредством программного обеспечения вычислять "наилучший" или "оптимальный" маршрут между местоположениями начального и конечного адресов из картографической базы данных. "Наилучший" или "оптимальный" маршрут определяется на основе предварительно определенных критериев и не обязательно должен быть самым быстрым или самым коротким.

Навигационное устройство может, в типичном варианте, быть прикреплено на приборную доску транспортного средства, а также может быть реализовано как часть бортового компьютера транспортного средства или автомобильной аудиосистемы. Навигационное устройство также может быть (частью) носимой системы, например PDA.

Используя позиционную информацию, получаемую от GPS-приемника, вычислительное устройство может определять на регулярной основе собственную позицию и может отображать текущую позицию транспортного средства пользователю. Навигационное устройство может содержать устройства памяти для хранения картографических данных и дисплей для отображения выбранной части картографических данных.

Кроме того, оно может предоставлять инструкции, как следовать определенному маршруту, путем отображения на дисплее и/или формирования в качестве звуковых сигналов из динамиков (например, "поверните налево через 100 метров") соответствующих навигационных указаний. Графика, изображающая действия, которые должны быть выполнены (например, стрелка влево указывает поворот налево впереди), может быть отображена в строке состояния, а также может быть самостоятельно наложена на соответствующие развязки дорог/повороты и т.п. на карте.

Хорошо известна способность автомобильных навигационных систем предоставлять возможность водителю, когда он ведет автомобиль вдоль маршрута, вычисленного навигационной системой, инициировать повторное вычисление маршрута. Это полезно, когда на пути автомобиля встречаются дорожные работы или большой автомобильный затор.

Также хорошо известна способность предоставлять возможность пользователю выбирать тип алгоритма вычисления маршрута, применяемого навигационной системой, путем выбора, например, "нормального" режима и "быстрого" режима (который вычисляет маршрут в кратчайшее время, но не исследует множество альтернативных маршрутов, как в нормальном режиме).

Также хорошо известна возможность предоставления вычисления маршрута с заданными пользователем критериями, например, пользователь может предпочесть обзорный маршрут, который должен быть вычислен устройством. Программное обеспечение устройства затем вычисляет различные маршруты и оценивает наиболее предпочтительные из них, которые содержат вдоль маршрута наибольшее число точек интереса (известные как POI), которые отмечены как представляющие собой, например, живописную архитектуру.

В предшествующем уровне техники навигационные устройства отображали карты, которые являются, как и большинство карт, стилизованным или схематическим представлением реального мира. Большинству людей затруднительно перевести довольно абстрактную версию реального мира в нечто, что может быть легко распознано и понято. Навигационные устройства также известны тем, что отображают (псевдо) трехмерную проекцию карты, как если смотреть сверху и/или сзади транспортного средства. Это помогает упростить интерпретацию пользователем отображаемых картографических данных, так как это соответствует визуальному восприятию мира пользователем. Тем не менее, такой (псевдо)перспективный вид является стилизованным или схематическим представлением, которое все еще является трудным для интерпретирования пользователем.

Все еще необходимо дать возможность людям легко и быстро следовать указаниям, которые показываются на дисплее, что особенно актуально в персональных навигационных системах, таких, которые могут использоваться в качестве автомобильной навигационной системы. Следует понимать, что водитель транспортного средства должен тратить как можно меньше времени на просмотр и интерпретацию отображаемых картографических данных, так как его/ее внимание должно быть сфокусировано на дороге и дорожном движении.

Раскрытие изобретения

Следовательно, целью настоящего изобретения является предоставить навигационное устройство, которое разрешает, по меньшей мере, одну из проблем, описанных выше, и отображает инструкции для пользователя, которые дают возможность легкой интерпретации.

Для того чтобы достигнуть этой цели, изобретение предоставляет навигационное устройство согласно преамбуле, характеризующееся тем, что навигационное устройство дополнительно выполнено с возможностью принимать сигнал от камеры, и навигационное устройство дополнительно выполнено с возможностью отображать комбинацию изображения с камеры из сигнала от камеры и навигационные указания на дисплее.

Путем наложения или комбинирования навигационных указаний поверх изображения с камеры водителю представляется удобный для восприятия вид, который дает возможность легкой и быстрой интерпретации. Пользователю нет необходимости переводить абстрактное представление реального мира, поскольку изображение с камеры является представлением один-в-один реального вида, который видит пользователь. Комбинирование сигнала с камеры и навигационных указаний может быть любым видом комбинирования, например, наложением одного поверх другого, одновременным отображением в различных частях дисплея. Комбинирование, с другой стороны, может быть комбинированием во времени, т.е. альтернативным показом сигнала с камеры и навигационных указаний. Они могут менять друг друга после предварительно определенного временного интервала (например, 5 секунд) или могут менять друг друга в результате ввода от пользователя.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, в котором камера выполнена интегрировано с навигационным устройством. Такое навигационное устройство не требует сигнала с внешней камеры. Навигационное устройство может, например, быть прикреплено на приборную доску транспортного средства таким образом, чтобы камера предоставляла изображение через лобовое стекло.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, в котором навигационные указания являются одной или более позиционными стрелками, маршрутом, стрелкой, точкой интереса, дорогой, зданием, картографическими данными, такими как векторные данные, сохраненные, по меньшей мере, в запоминающем устройстве, например, на жестком диске, в постоянном запоминающем устройстве, в электрически стираемом программируемом постоянном запоминающем устройстве и в оперативном запоминающем устройстве. Все виды навигационных указаний могут быть отображены. Следует отметить, что такие навигационные указания также могут предоставлять информацию, которая по сути не является необходимой для навигации (поиска маршрута), но также может снабжать пользователя дополнительной информацией.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, дополнительно выполненному с возможностью накладывать навигационные указания поверх изображения с камеры таким образом, что позиция навигационного указания находится в предварительно определенной пространственной взаимосвязи по отношению к соответствующим частям изображения с камеры. Это обеспечивает пользователя изображением, которое может быть очень легко интерпретировано, так все навигационные указания могут быть отображены так, что они совпадают с действующей позицией соответствующего элемента на изображении с камеры. Например, стрелка, указывающая правый поворот, может быть наложена поверх изображения с камеры так, что она совпадает с поворотом, как видно на изображении камеры.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, причем навигационное устройство содержит процессор, устройство позиционирования и датчики ориентации, устройство позиционирования и датчики ориентации выполнены с возможностью связываться с процессором, процессор выполнен с возможностью использовать показания от устройства позиционирования и датчиков ориентирования для того, чтобы вычислить положение и ориентацию камеры и/или навигационного устройства, на основании которых процессором вычисляются позиции навигационных указаний на дисплее. Знание точной позиции и ориентации камеры и/или навигационного устройства позволяет более точно наложить навигационные указания поверх сигнала с камеры.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, причем навигационное устройство определяет географическое положение, используя технологию определения местоположения, такую как GPS, Европейская система Галилео или любая другая спутниковая система глобальной навигации, или технологию определения местоположения на основе наземных маяковых радиосигналов.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, в котором процессор вычисляет ориентацию камеры по отношению к первой оси вращения, которая практически вертикальна при использовании, путем сравнения позиций камеры и/или навигационного устройства, определенных устройством позиционирования, в последовательные моменты времени. Сравнивая позиции камеры и/или навигационного устройства в последовательные моменты времени, может быть вычислено направление движения камеры и/или навигационного устройства. Из этого могут быть вычислены ориентация и изменение в ориентации камеры.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, причем навигационное устройство содержит компас, предоставляющий показания компаса процессору, процессор выполнен с возможностью вычислять ориентацию камеры по отношению к первой оси вращения, которая практически вертикальна при использовании, на основе показаний компаса. Компас предоставляет легкий эффективный способ определения ориентации камеры.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, в котором датчики ориентации содержат датчики наклона для того, чтобы определять ориентацию камеры по отношению ко второй и третьей осям вращения, вторая и третья оси вращения практически горизонтальны при использовании. Для того чтобы объединить или наложить навигационные указания более точным способом по отношению к изображению с камеры, измеряется угловая ориентация камеры по отношению ко второму и/или третьему направлению.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, в котором процессор использует технологии распознавания образов для того, чтобы наложить навигационные указания поверх изображения с камеры так, чтобы позиция навигационных указаний находилась в предварительно определенной пространственной взаимосвязи по отношению к соответствующим частям изображения с камеры. Используя технологию распознавания образов, навигационные указания могут быть объединены и/или наложены поверх сигнала с камеры без необходимости знать точную ориентацию камеры. Определение позиции навигационных указаний поверх изображения с камеры может быть выполнено исключительно с помощью технологий распознавания образов, однако технологии распознавания образов могут быть также использованы в комбинации с определенной ориентацией камеры для того, чтобы дополнительно повысить точность.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, причем навигационное устройство использует картографические данные в качестве входа для технологий распознавания образов. Использование картографических данных может упростить технологии распознавания образов, например, упростить распознавание, например, дороги, когда устройство приблизительно знает из картографических данных, где находится дорога. Это делает распознавание образов более точным и/или может снизить время вычисления.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, причем навигационное устройство выполнено с возможностью принимать калибровочные корректировки, сохранять эти калибровочные корректировки и применять калибровочные корректировки при объединении навигационных указаний и изображения с камеры. Это, в частности, эффективно, когда навигационные указания объединяются таким способом, что навигационные указания накладываются поверх изображения с камеры так, чтобы иметь предварительно определенную пространственную взаимосвязь по отношению к изображению с камеры. Калибровочные корректировки могут быть использованы для коррекции ошибок смещения.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, причем навигационное устройство выполнено с возможностью принимать и считывать настройки камеры и использовать настройки камеры для того, чтобы вычислять позицию навигационных указаний на дисплее. Различные настройки камеры могут привести в результате к различным сигналам с камеры. Предоставление навигационного устройства с такими настройками камеры дополнительно повысит точность объединения навигационных указаний с изображением с камеры.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, причем навигационное устройство выполнено с возможностью принимать сигналы от более чем одной камеры, и навигационное устройство выполнено с возможностью выбирать один из сигналов для отображения на дисплее. Сигналы с более чем одной камеры, предоставляя различные перспективы, могут, например, быть использованы технологиями распознавания образов для того, чтобы повысить качество распознавания образов с помощью математических соотношений. Более чем одна камера может быть также использованы для того, чтобы предоставлять пользователю варианты выбора между различными углами камер.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, в котором камера чувствительна к электромагнитному излучению, находящемуся вне диапазона электромагнитного спектра, который видим человеческим глазом.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, в котором камера - это инфракрасная камера. Такая камера позволяет использовать навигационное устройство ночью.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, в котором камера выполнена с возможностью приближать и/или удалять изображение. Это позволяет пользователю настраивать вид камеры согласно его или ее предпочтениям.

Согласно другому варианту осуществления изобретение относится к навигационному устройству, в котором камера выполнена с возможностью приближать и/или удалять изображение в зависимости, например, от скорости навигационного устройства/транспортного средства. Это предоставляет сигнал с камеры, который автоматически подстраивается к скорости навигационного устройства. Так, в случае, когда скорость навигационного устройства относительно высока, камера может приблизить изображение, чтобы дать пользователю дополнительно лучший вид вперед.

Согласно другому варианту осуществления изобретение относится к приборной доске, содержащей навигационное устройство, согласно тому, как описано выше.

Согласно другому варианту осуществления изобретение относится к транспортному средству, содержащему навигационное устройство, согласно тому, как описано выше.

Согласно другому варианту осуществления изобретение относится к транспортному средству, причем транспортное средство содержит датчик наклона транспортного средства для того, чтобы определить наклон транспортного средства, предоставляющий показания наклона транспортного средства навигационному устройству. Это - эффективный способ измерить наклон транспортного средства.

Согласно другому варианту осуществления изобретение относится к способу предоставления навигационных указаний, способ содержит этапы:

- отображения навигационных указаний на дисплее, характеризующийся тем, что способ дополнительно содержит этапы:

- приема сигнала от камеры, и

- отображения комбинации изображения с камеры из сигнала из камеры и навигационных указаний поверх изображения с камеры на дисплее.

Согласно другому варианту осуществления изобретение относится к вычислительной программе, которая, когда загружена в компьютер, дает возможность выполнять вышеописанный способ.

Согласно другому варианту осуществления изобретение относится к носителю данных, содержащему вычислительную программу, описанную выше.

Краткое описание чертежей

Варианты осуществления настоящего изобретения будут описаны только в качестве примера, со ссылкой на сопроводительные схематические чертежи, в которых соответствующие ссылочные символы указывают соответствующие части и на которых:

Фиг.1 представляет схематическую блок-схему навигационного устройства;

Фиг.2 представляет схематический вид навигационного устройства;

Фиг.3 представляет схематическую блок-схему навигационного устройства согласно варианту осуществления изобретения;

Фиг.4 схематически представляет транспортное средство, содержащее навигационное устройство согласно варианту осуществления изобретения;

Фиг.5 схематически представляет навигационное устройство согласно варианту осуществления изобретения;

Фиг.6 схематически представляет навигационное устройство согласно варианту осуществления изобретения;

Фиг.7 схематически представляет камеру согласно варианту осуществления изобретения;

Фиг.8a и 8b схематически представляют различные движения изображения камеры на дисплее как результат различных наклонов камеры;

Фиг.9 схематически представляет последовательность операций функционирования навигационного устройства 10 согласно варианту осуществления изобретения;

Фиг.10 схематически представляет навигационное устройство согласно варианту осуществления изобретения;

Фиг.11 представляет навигационное устройство согласно варианту осуществления изобретения; и

Фиг.12 представляет навигационное устройство согласно дополнительному варианту осуществления изобретения.

Подробное описание изобретения

Фиг.1 показывает схематическую блок-схему варианта осуществления навигационного устройства 10, содержащего процессор 11 для выполнения арифметических операций. Процессор 11 выполнен с возможностью соединяться с блоками памяти, которые хранят инструкции и данные, такими как жесткий диск 12, постоянное запоминающее устройство (ROM) 13, электрически стираемое программируемое постоянное запоминающее устройство (EEPROM) 14 и оперативное запоминающее устройство (RAM) 15. Блоки памяти могут содержать картографические данные 22. Эти картографические данные могут быть двумерными картографическими данными (широта и долгота), но также могут содержать третье измерение (высоту). Картографические данные могут дополнительно содержать дополнительную информацию, например информацию о бензиновых/газовых заправочных станциях, точках интереса. Картографические данные могут также содержать информацию о форме зданий и объектов вдоль дороги.

Процессор 11 также может быть выполнен с возможностью соединяться с одним или более устройств ввода, такими как клавиатура 16 или мышь 17. Клавиатура 16 может, например, быть виртуальной клавиатурой, представленной на дисплее 18, который является чувствительным к прикосновению экраном. Процессор 11 может дополнительно связываться с одним или более устройств вывода, например, дисплей 18, динамик 29 и одним или более блоков 19 считывания для того, чтобы считывать, например, флоппи-диски 20 или CD ROM 21. Дисплей 18 может быть традиционным компьютерным дисплеем (например, ЖК) или может быть дисплеем проекционного типа, таким как расположенный на уровне лобового стекла дисплей, используемый для проецирования инструментальных данных на лобовое стекло или ветровой щиток автомобиля. Дисплей 18 может также быть дисплеем, выполненным с возможностью функционировать как чувствительный к прикосновению экран, что позволяет пользователю вводить инструкции и/или информацию посредством прикосновения к дисплею 18 своим пальцем.

Процессор 11 дополнительно может быть выполнен с возможностью связываться с другими вычислительными устройствами или устройствами связи с помощью устройства 25 ввода/вывода. Устройство 25 ввода/вывода показано как выполненное с возможностью устанавливать связь через сеть 27.

Динамик 29 может быть реализован как часть навигационного устройства10. В случае, когда навигационное устройство 10 используется как автомобильное навигационное устройство, навигационное устройство 10 может использовать динамики автомобильного радио, бортового компьютера или подобное.

Процессор 11 дополнительно может быть выполнен с возможностью связываться с устройством 23 позиционирования, таким как GPS-приемник, которое предоставляет информацию о позиции навигационного устройства 10. Согласно этому варианту осуществления устройство 23 позиционирования - это устройство 23 позиционирования, построенное на базе GPS. Тем не менее, следует понимать, что навигационное устройство 10 может быть реализовано с помощью других видов GNSS (спутниковая систем глобальной навигации), такой как Европейская система Галилео. Также оно не ограничено системами определения положения/скорости на спутниковой основе и также может быть развернуто с помощью наземных маяковых сигналов или любых других видов систем, которые позволяют устройству определять свое географическое положение.

Тем не менее, следует понимать, что они могут быть представлены с другими или отличными по количеству блоками памяти, устройствами ввода и устройствами считывания, хорошо известными специалистам в данной области техники. Кроме того, один или несколько этих устройств могут быть физически расположены удаленно от процессора 11, если потребуется. Процессор 11 показан как один блок, однако, он может содержать несколько процессоров, функционирующих параллельно и управляемых одним главным процессором, который может быть расположен удаленно от других, как хорошо известно специалистам в данной области техники.

Навигационное устройство 10 показано как вычислительная система, но может быть любой системой обработки сигналов с аналоговой и/или цифровой и/или программной технологией, выполненной с возможностью выполнять функции, описываемые в данном документе. Следует понимать, что поскольку навигационное устройство 10 показано на фиг.1 как множество компонентов, навигационное устройство 10 может быть реализовано как единое устройство.

Навигационное устройство 10 может использовать навигационное программное обеспечение, например, навигационное программное обеспечение Navigator от компании TomTom B.V. Программное обеспечение Navigator может запускаться на PDA-устройстве Pocket PC с чувствительным к прикосновению экраном (например, для управления стилусом), таком как Compaq iPaq, или на любом другом устройстве, которое имеет встроенный GPS-приемник 23. Объединенная система PDA и GPS-приемника сконструирована для того, чтобы использоваться в качестве автомобильной навигационной системы. Изобретение также может быть осуществлено в любой другой форме навигационного устройства 10, например, в виде GPS-приемника/компьютера/дисплея, или устройства, сконструированного для использования вне транспортного средства (например, для пешеходов) или в транспортных средствах, отличных от автомобиля (например, в самолетах).

Фиг.2 показывает навигационное устройство 10, описанное выше.

Навигационное программное обеспечение, когда запущено в навигационном устройстве 10, отображает экран нормального навигационного режима на дисплее 18, как показано на фиг.2. Это вид может предоставлять инструкции для управления транспортным средством с помощью комбинации текста, символов, голосовых подсказок и перемещаемой карты. Ключевые элементы пользовательского интерфейса следующие: 3D карта, занимающая большую часть экрана. Отметим, что карта также может быть показана как 2D карта.

Карта показывает позицию навигационного устройства 10 и его непосредственное окружение, вращаемое таким образом, что направление, в котором навигационное устройство 10 перемещается, всегда направлено "вверх". Строка 2 состояния может проходить через экран в нижней четверти экрана. Текущее положение навигационного устройства 10 (которое навигационное устройство определило самостоятельно с помощью традиционного GPS-определения положения) и его ориентация (которое выводится из направления движения) показаны позиционной стрелкой 3. Маршрут 4, вычисленный устройством (с помощью алгоритмов вычисления маршрута, сохраненных в устройствах 11, 12, 13, 14, 15 памяти в качестве применяемых к картографическим данным, сохраненным в картографической базе данных в устройствах 11, 12, 13, 14, 15 памяти), показан как затемненный путь. На маршруте 4 все основные действия (например, закругления поворотов, пересечения дорог, круговые развязки и т.п.) схематически изображены стрелкой 5, наложенной поверх маршрута 4. Строка 2 состояния также включает в себя с левой стороны схематическую иконку, изображающую следующее действие 6 (в данном случае поворот направо). Строка 2 состояния также показывает расстояние до следующего действия 6 (например, правый поворот - здесь расстояние 50 м) как извлеченное из базы данных всего маршрута, вычисленного устройством (т.е. из списка всех дорог и связанных предпринимаемых действий, задаваемых маршрутом). Строка 2 состояния также показывает название текущей дороги 8, оставшееся до конца поездки время 9 (в данном случае 2 минуты 40 секунд), актуальное оценочное время 25 прибытия (11:36) и расстояние до цели 26 (1,4 км). Строка 2 состояния может дополнительно показывать дополнительную информацию, например, мощность GPS-сигнала в виде индикатора мощности сигнала стилем подобно используемым в мобильных телефонах.

Как уже упомянуто выше, навигационное устройство может содержать устройства ввода, такое как чувствительный к прикосновению экран, который позволяет пользователю вызывать навигационное меню (не показано). Из этого меню могут быть инициированы и управляться другие навигационные функции. Разрешение выбора навигационных функций из экрана меню, которые сами по себе очень легко вызываются (например, одним действием от отображения карты до экрана меню), значительно упрощает взаимодействие пользователя и делает его более быстрым и простым. Навигационное меню включает в себя варианты для ввода пользователем места назначения.

Фактическая физическая структура навигационного устройства 10 сама по себе фундаментально может не отличаться от любого традиционного карманного компьютера за исключением встроенного GPS-приемника 23 или GPS-данных, получаемых от внешнего GPS-приемника. Следовательно, устройства 12, 13, 14, 15 памяти хранят алгоритмы вычисления маршрута, картографическую базу данных и программное обеспечение пользовательского интерфейса; процессор 12 интерпретирует и обрабатывает пользовательский ввод (например, с помощью чувствительного к прикосновению экрана) для того, чтобы ввести начальный и конечный адреса и все другие входные команды управления, и применяет алгоритмы вычисления маршрута для того, чтобы вычислить оптимальный маршрут. "Оптимальность" может ссылаться на критерий, например наименьшее время или наикратчайшее расстояние или некоторые другие связанные с пользователем факторы.

Более конкретно, пользователь вводит свою начальную позицию и требуемое место назначения в навигационное программное обеспечение, запущенное на навигационном устройстве 10, с помощью предоставленных устройств ввода, таких как чувствительный к прикосновению экран 18, клавиатура 16 и т.п. Пользователь затем выбирает способ, которым будет вычислен маршрут: предлагаются различные режимы, например, "быстрый" режим, который вычисляет маршрут очень быстро, но маршрут может не быть кратчайшим; "полный" режим, который просматривает все возможные маршруты и выделяет кратчайший, однако требует больше времени для вычисления, и т.п. Возможны другие варианты с заданным пользователем маршрутом, который является живописным, например проходит через множество POI (точек интереса), которые помечены как виды с живописной архитектурой, или проходят через множество POI возможного интереса для детей или использует наименьшее число пересечений дорог, и т.д.

Сами дороги описываются в картографической базе данных, которая является частью навигационного программного обеспечения (или иным образом доступна для него), запущенным на навигационном устройстве 10, как линии, т.е. векторы (например, начальная точка, конечная точка, направление для дороги, полностью дорога составлена из многих сотен таких секций, каждая уникально задана параметрами начальной точки/конечной точки, направления). Карта затем составляется из таких векторов дорог плюс точки интереса (POI), плюс названия дорог, плюс другие географические элементы, такие как границы парков, границы рек и т.п., все они задаются в терминах векторов. Все картографические элементы (например, векторы дорог, POI и т.п.) задаются в координатной системе, которая соответствует или относится к координатной системе GPS, давая возможность поместить позицию устройства, как определенную через GPS-систему, на соответствующую дорогу, показанную на карте.

Вычисление маршрута использует сложные алгоритмы, которые являются частью навигационного программного обеспечения. Алгоритмы применяются для того, чтобы подсчитать большое количество потенциальных разных маршрутов. Навигационное программное обеспечение затем оценивает их по заданному пользователем критерию (или по настройкам по умолчанию устройства), такому как сканирование в полном режиме, с маршрутом по живописным местам, старинные музеи и без камер измерения скорости. Маршрут, который наилучшим образом соответствует заданным критериям, затем вычисляется процессором 11 и затем сохраняется в базе данных в устройствах 12, 13, 14, 15 памяти как последовательность векторов, названий дорог и действий, необходимых выполнить на конечной точке вектора (например, соответствующих предварительно заданным расстояниям вдоль каждой дороги на маршруте, например, через 100 метров поворот налево на улицу х).

Фиг.3 показывает схематическую блок-схему навигационного устройства 10 согласно изобретению, в которой соответствующие ссылочные символы ссылаются на соответствующие части, как на фиг.1 и 2.

Согласно изобретению камера 24 предоставляется так, что она выполнена с возможностью предоставлять сигнал реального времени процессору 11. Камера 24 при использовании позиционируется так, чтобы она регистрировала дорогу впереди пользователя. Когда позиционируется в автомобиле, камера 24 позиционируется так, чтобы она регистрировала дорогу впереди транспортного средства. Камера 24 может быть встроенной в навигационное устройство 10 или может быть физически отделена от него. Если отделена, камера 24 может быть подключена к процессору 11 через кабельное или беспроводное соединение. Камера 24 может быть позиционирована на крыше транспортного средства или в передней части транспортного средства, например, в непосредственной близости от головных фар.

Навигационное устройство 100 может также быть представлено с более чем одной камерой 24, чтобы позволить пользователю переключаться между различным углами съемки камер. Также может быть предусмотрена камера заднего вида. Камера может быть камерой любого типа, например, цифровой камерой или аналоговой камерой. Изображение, как зарегистрированное камерой 24, отображается на дисплее 18.

Камера 24 может также быть камерой, которая чувствительна к электромагнитному излучению, находящемуся вне электромагнитного спектра, который видим человеческим глазом. Камера может быть инфракрасной камерой, что позволяет использовать ее ночью.

Фиг.4 показывает пример навигационного устройства 10, позиционированного на приборной доске автомобиля 1. Навигационное устройство 10 содержит камеру 24, которая направлена на дорогу впереди автомобиля 1. Фиг.4 дополнительно показывает, что дисплей 18 повернут лицевой поверхностью к пользователю.

Согласно изобретению навигационное устройство 10 выполнено с возможностью отображать сигнал реального времени с камеры на дисплее 18 и объединять или накладывать одно или более навигационных указаний. Навигационные указания могут быть одним из следующего: позиционная стрелка 3, маршрут 4, стрелка 5, точка интереса, дороги, здания и все дополнительные навигационные указания, сохраненные в навигационном устройстве 10. Они также могут включать собственно картографические данные, например, векторные данные, описывающие дороги. Более детальное описание, как это достигается, следует ниже.

Изображения, предоставляемые камерой 24, не будут стабильными из-за неровностей дороги, вибраций транспортного средства, вызываемых двигателем и т.п. Следовательно, навигационное устройство может быть предоставлено с программным обеспечением, которое убирает такие нежелательные вибрации для того, чтобы обеспечить стабильное изображение. Программное обеспечение, которое убирает нежелательные вибрации изображений, предоставляемых камерой 24, широко используется в видеокамерах, где оно используется под названием "steady cam" (стабилизация изображения). Об этом хорошо известно специалистам в данной области техники.

Сигнал с камеры 24 может дополнительно обрабатываться для того, чтобы повысить качество изображений. Эта обработка может содержать настройку яркости, контраста, а также может быть любым подходящим фильтром. Фильтры могут быть использованы для повышения качества изображений в дождливую погоду.

Сигнал с камеры 24 может быть отображен на дисплее в реальном времени, но также может быть отображен как статичное изображение, которое обновляется в определенные моменты времени, например, каждые 0,5 секунды. Подходящие временные интервалы между полными обновлениями могут быть определены в зависимости от скорости навигационного устройства 10/транспортного средства, изменения направления движения (с учетом изгибов дороги).

Также навигационное устройство может быть выполнено с возможностью выполнять приближение или удаление в зависимости, например, от скорости навигационного устройства/транспортного средства. Такая операция масштабирования может быть выполнена путем отправки сигнала управления к камере 24, отдавая ей инструкцию выполнить операцию масштабирования. Операция масштабирования может, тем не менее, также быть выполнена путем отображения укрупненным образом на дисплее 18 части принимаемого сигнала с камеры.

Вариант осуществления 1

Фиг.5 изображает первый вариант осуществления настоящего изобретения. Фиг.5 показывает статичное изображение, зарегистрированное камерой 24, как отображаемое навигационным устройством 10. Как можно видеть, стрелка 5, указывающая правый поворот, наложена процессором 11. Согласно варианту осуществления легкое для восприятия изображение отображается для пользователя, облегчая интерпретацию. Этот вариант осуществления имеет преимущество в том, что не требует сложной математики или обработки данных.

Вместо навигационных указаний, изображенных на фиг.5, могут быть отображены другие навигационные указания, которые упомянуты выше, включая представленные в перспективе навигационные указания, например, представленные в перспективе стрелки.

Вариант осуществления 2

Фиг.6 показывает другое статичное изображение, зарегистрированное камерой 24. Согласно этому примеру навигационное устройство 10 накладывает маршрут 4 и стрелку 5. Маршрут 4 и стрелка 5 наложены таким образом, что их позиции на дисплее 18 согласуются с изображением, представленным камерой 24. Фиг.6 ясно показывает, что маршрут 4 отображается так, что он согласуется с дорогой, показываемой на дисплее 18. Кроме того, стрелка 5 отображается таким образом, что она точно указывает правый поворот в изображении, представленном камерой 24.

Следует понимать, что вариант осуществления, показанный на фиг.5, может быть легко получен путем наложения или объединения изображения, предоставленного камерой 24, и навигационного указания, например стрелки 5. Тем не менее, для того чтобы создать изображение, как представлено на фиг.6, требуется более сложная обработка данных для того, чтобы сопоставить изображение, представленное камерой 24, с навигационными указаниями. Это будет описано более подробно ниже.

Для того чтобы наложить навигационные указания так, чтобы они имели предварительно определенную пространственную взаимосвязь по отношению к соответствующим частям изображения с камеры, необходимо знать точную позицию камеры, направление и настройки камеры. Если вся информация известна, процессор 11 вычисляет позицию, например, дороги на дисплее 18 и накладывает маршрут 4.

Первое, необходимо определить позицию камеры 24. Это легко может быть выполнено с помощью GPS-информации, определенной процессором 11 и/или устройством 23 позиционирования. Информация позиционирования навигационного устройства 10, а следовательно, и камеры 24, всегда доступна в навигационном устройстве 10 согласно использованию по предшествующему уровню техники.

Второе, необходимо определить ориентацию камеры 24. Это может быть выполнено с помощью датчиков ориентации, выполненных с возможностью связываться с процессором 11. Датчики ориентации могут быть устройством 23 позиционирования или датчиками 27, 28 наклона. Датчики 27, 28 наклона могут быть гироскопами.

Фиг.7 изображает камеру 24 согласно варианту осуществления настоящего изобретения. Необходимо определить первое направление вращении по отношению к оси С, как показано на фиг.7. Это также легко может быть выполнено с помощью GPS-информации, определенной процессором 11 и/или устройством 23 позиционирования. Сравнивая позицию навигационного устройства 10 в последовательные моменты времени, может быть определено направление движения навигационного устройства 10. Эта информация также всегда доступна в навигационном устройстве 10 согласно использованию по предшествующему уровню техники. Допустим, что камера 24 направлена по направлению движения навигационного устройства 10. Тем не менее, это не является необходимым условием, как будет дополнительно раскрыто ниже.

Первое направление С вращения камеры 24 также может быть определено с помощью (электронного) компаса, входящего в конструкцию навигационного устройства или камеры 24. Компас может быть электронным компасом или аналоговым компасом. Компас предоставляет показания компаса, которые передаются процессору 11. На основе показаний компаса процессор 11 определяет первое направление вращения камеры 24.

Для того чтобы дополнительно определить ориентацию камеры 24, камера 24 может быть оснащена датчиками 27, 28 наклона, как показано на фиг.7. Датчики 27, 28 наклона выполнены с возможностью измерять наклон камеры 24. Первый датчик 27 наклона выполнен с возможностью измерять наклон камеры во втором направлении вращения, как показано изогнутой стрелкой А на фиг.7, т.е. вращение вокруг оси, по существу перпендикулярной плоскости чертежа. Наклон во втором направлении вращения определяет высоту горизонта в изображении с камеры, отображаемом на дисплее 18. Влияние такого вращения на отображаемое изображение с камеры схематически показано на фиг.8а.

Второй датчик 28 наклона выполнен с возможностью измерять наклон как результат вращения вокруг третьей оси вращения, являющейся центрально осью камеры 24, изображенной на фиг.7 пунктирной линией В. Влияние такого вращения на отображаемое изображение с камеры схематически показано на фиг.8b.

При использовании первая ось вращения по существу вертикальна, а вторая и третья оси вращения по существу перпендикулярны относительно первой оси вращения и относительно друг друга.

Значения наклона, определенные датчиками 27, 28 наклона, передаются процессору 11. Датчики наклона 27 и 28 могут также быть выполнены в виде одного встроенного датчика наклона.

Кроме того, настройки камеры, в частности степень масштабирования линз камеры 24, угол обзора камеры, фокусное расстояние и т.п., могут быть переданы процессору 11.

На основе информации, доступной процессору 11 по описанной позиции, направлению и настройкам камеры 24, процессор 11 определяет позицию, в которой отображаются на дисплее 18 дороги, перекрестки, развилки, точки интереса и т.п., соответствующие картографическим данным, сохраненным в устройствах 11, 12, 13, 14, 15 памяти.

На основе этой информации процессор 11 может наложить навигационные указания, например, маршрут 4, стрелку 5, точки интереса POI и т.п. поверх изображения с камеры, отображаемого процессором так, что они совпадают с видом от камеры. Может быть полезным накладывать навигационные указания так, что они как будто плывут по поверхности дороги или имеют некоторую другую предварительно определенную пространственную взаимосвязь с ней.

Поскольку навигационное устройство вычисляет, как далеко находится любое соединение дороги или поворот (или другое изменение направления), оно может приблизительно рассчитать, какую форму должно иметь навигационное указание, отображаемое на дисплее 18, и где оно должно быть спозиционировано для того, чтобы соответствовать действительному положению изменения направления, показываемому в сигнале с камеры 24.

Тем не менее, могут возникать ошибки по нескольким причинам. На первом месте: навигационное устройство может быть закреплено на приборной доске транспортного средства множеством способов. Например, при определении первого направления вращения камеры 24 относительно оси С путем сравнения позиций навигационного устройства 24 в последовательные моменты времени допускаем, что камера направлена точно вперед. Однако в случае, когда камера 24 недостаточно аккуратно выровнена с транспортным средством, может возникать расхождение наложенных навигационных указаний.

Как описывается выше, в случае, когда предусматривается камера 24 с встроенным компасом, первая ориентация вращения камеры относительно оси С может быть вычислена путем сравнения показаний компаса с определенными направлениями движения навигационного устройства 10. Тем не менее, все еще может возникать ошибка, приводящая в результате к расхождению наложенных навигационных указаний и сигнала с камеры.

Кроме того, датчики наклона 27, 28 могут быть способны измерять только относительный наклон, а не абсолютный наклон. Это означает, что навигационное устройство 10 необходимо калибровать для того, чтобы разрешить точное позиционирование навигационных указаний поверх изображения с камеры.

Для того чтобы компенсировать такие ошибки, навигационное устройство 10 может быть предусмотрено с вариантами выбора в меню, которые дают возможность пользователю отрегулировать относительную позицию отображаемого изображения по отношению к отображаемому изображению с камеры. Такая регулировка может быть выполнена навигационным устройством 10 путем изменения позиции, в которой отображаются навигационные указания, и/или путем изменения позиции, в которой отображается изображение с камеры, и/или путем изменения ориентации камеры 24. Для последнего варианта камера 24 может быть предусмотрена с приводным устройством для того, чтобы изменять ее ориентацию. Камера 24 может быть активирована независимо от навигационного устройства 10. В случае, когда камера встроена в навигационное устройство 10, приводное устройство может изменять ориентацию навигационного устройства 10 или только камеры 24 относительно навигационного устройства 10.

Пользователь может просто использовать стрелочные кнопки для того, чтобы откалибровать навигационные указания так, чтобы они совпали с изображением с камеры. Например, если камера 24 позиционирована таким образом, что она наклонена влево относительно оси С, как показано на фиг.7, навигационные указания находятся справа от соответствующих частей изображения с камеры. Пользователь может просто скорректировать эту ошибку, используя левую стрелочную кнопку для того, чтобы перетащить навигационные указания влево. Навигационное устройство 10 может дополнительно быть выполнено с возможностью предоставлять пользователю варианты регулировки отображаемой ориентации вращения наложенных навигационных указаний относительно отображаемого изображения с камеры.

Навигационное устройство 10 может также быть выполнено с возможностью предоставлять пользователю варианты корректирования перспективных расхождений, например, возникающих из-за различных высот размещения камеры 24. Камера 24, спозиционированная наверху автомобиля, предоставляет другой вид дороги (другой перспективный вид), чем камера 24, спозиционированная на приборной доске или между головными фарами транспортного средства. Для того чтобы сделать навигационные указания, например, 3D-направления (например, 3D-стрелку), или вектор, представляющий дорогу, совпадающими с видом камеры, необходимо применить перспективную деформацию навигационных указаний. Такая перспективная деформация зависит от высоты размещения камеры 24, настроек камеры и второго направления вращения камеры 24 в направлении стрелки А, как показано на фиг.7.

Процессор 11 сохраняет такие введенные калибровочные корректировки и применяет подобные калибровочные корректировки ко всем дополнительно отображаемым изображениям. Все дополнительные изменения в измеренной позиции, направлении и ориентации камеры 24 могут быть обработаны процессором 11 для последующего гарантирования точного наложения навигационных указаний. Это дает возможность точного компенсирования перемещений камеры, вызванных изменениями транспортного средства или вызванных скоростными развязками, крутыми поворотами, ускорениями, торможением и т.п. или другими причинами, вызывающими колебания в ориентации камеры 24.

Фиг.9 изображает последовательность операций функционирования навигационного устройства 10 согласно второму варианту осуществления изобретения. Этапы, показанные в последовательности операций, могут выполняться процессором 11. Следует отметить, что все этапы, связанные с вводом адреса места назначения, выбором маршрута и т.п., опущены на этом чертеже, так как эти этапы хорошо известны на предшествующем уровне техники.

На первом этапе 101 навигационное устройство 10 включается и пользователь выбирает режим камеры. Это изображено на фиг.9 как "Начало".

На втором этапе 102 процессор 11 определяет позицию навигационного устройства 10. Это может быть выполнено посредством ввода сигнала от устройства 23 позиционирования, такого как GPS-устройства, как обсуждалось выше.

На следующем этапе 103 процессор 11 определяет направление движения навигационного устройства 10. Снова входной сигнал от устройства 23 позиционирования используется для этого.

Далее, на этапе 104 процессором 11 определяется ориентация камеры 24 и настройки камеры. Снова используется входной сигнал от устройства 23 позиционирования. Кроме того, используется входной сигнал от датчиков наклона 27, 28 для того, чтобы определить ориентацию камеры 24.

Согласно этапу 105 изображение с камеры отображается на дисплее 18 процессором 11. На этапе 106 процессор 11 накладывает выбранное количество навигационных указаний (например, стрелку 3 текущей позиции, маршрут 4, стрелку 5, точки интереса, дороги, картографические данные и т.п.). Для того чтобы это сделать, вся накопленная информация используется для того, чтобы вычислить позицию и форму отображаемых навигационных указаний. Если необходимо, пользователь может откалибровать это вычисление путем регулировки позиции и/или формы наложенных навигационных указаний. Этот необязательный этап изображен этапом 107.

Этапы 102-107 могут повторяться настолько часто, насколько это необходимо или желательно в процессе использования.

Виртуальные знаки других видов в дополнение к стрелке 5 указания направления могут также быть сохранены в устройствах 12, 13, 14, 15 памяти. Например, иконки, относящиеся к названиям дорог, знаки трафика, скоростные ограничения, камеры измерения скорости или точки интереса, сохраненные в устройствах 12, 13, 14, 15 памяти, могут быть сохранены. Все из них могут быть наложены поверх сигнала с камеры 24 с пространственным положением на отображаемом изображении с камеры, которое соответствует элементам реального мира, которым соответствуют виртуальные знаки. Здесь процессор берет двумерные картографические данные из навигационного программного обеспечения, которые включают в себя данные о положении этих элементов реального мира, и применяют геометрическую трансформацию, чтобы корректно расположить их при наложении на видеосигнал.

В случае, например, когда транспортное средство с навигационным устройством 10 едет вверх или вниз по горе, датчики 27, 28 наклона определяют наклон в направлении стрелки А, как показано на фиг.7. Тем не менее, для того чтобы корректно наложить навигационные указания поверх изображения с камеры так, чтобы навигационные указания совпадали с изображением с камеры, этот наклон не следует корректировать. Это может быть достигнуто путем предоставления навигационного устройства с картографическими данными, содержащими информацию по высоте. На основе картографических данных по высоте навигационное устройство 10 вычисляет наклон камеры 24, который соответствует ориентации дороги, по которой движется транспортное средство. Этот предсказанный наклон сравнивается с наклоном, обнаруженным датчиками 27, 28 наклона. Разница между предсказанным наклоном и обнаруженным наклоном используется для регулировки позиции наложенных навигационных указаний.

В случае, если картографические данные не содержат информацию по высоте, может быть предусмотрено транспортное средство с датчиком 30 наклона транспортного средства. Датчик 30 наклона транспортного средства выполнен с возможностью предоставлять показания наклона транспортного средства процессору 11. Показания датчика 30 наклона транспортного средства затем сравниваются с показаниями датчиков 27, 28 наклона и разница, вызванная нежелательными вибрациями и т.п., используется для регулировки позиции наложенных навигационных указаний.

Следует понимать, что могут приниматься во внимание все типы вариаций раскрытого выше и показанного примера.

Фиг.10 изображает пример, в котором картографические данные также содержат данные, описывающие объекты вдоль дороги, такие как здания 31. Согласно этому примеру навигационные указания 3, 4, 5, которые наложены поверх здания 31, могут быть показаны штриховыми или мигающими линиями. Это дает возможность пользователю наблюдать картографические данные, маршрут 4 и стрелки 5, которые были бы в ином случае невидимы из-за зданий.

Третий вариант осуществления

Согласно третьему варианту осуществления навигационные указания накладываются поверх изображения с камеры с помощью технологий распознавания образов.

В последние годы был достигнут значительный прогресс в области анализа в реальном времени кадров изображения (например, видеосигнала, такого как предоставляемого камерой 24), для того чтобы идентифицировать реальные объекты в видеосигнале. Широко доступна литература в этой области, для примера ссылка может быть сделана на US 5627915 (Princeton Video Image Inc.), в котором видео со сцены, например, со спортивного стадиона, анализируется программным обеспечением распознавания образов; оператор вручную указывает высококонтрастные области на стадионе, например, линии, отмеченные на игровой поверхности; границы игровой поверхности, рекламные щиты, и программное обеспечение выстраивает геометрическую модель всего стадиона с помощью таких высококонтрастных отметок на земле. Затем программное обеспечение способно анализировать видеосигнал в реальном времени в поисках таких отметок на земле; затем оно способно захватывать сохраненное сформированное компьютером изображение (например, рекламу для рекламных щитов), применять геометрическую трансформацию к сохраненному изображению так, что когда оно вставляется в видеосигнал в положении, определенном относительно геометрической модели, с помощью технологий синтеза изображения, оно выглядит как абсолютно естественная часть сцены для зрителя данного видео.

Может быть сделана ссылка на US 2001/0043717 (Facet Technology); она раскрывает систему, которая может анализировать видео, взятое из движущегося транспортного средства, для того чтобы распознавать дорожные знаки.

Обобщая, область техники распознавания образов, применяемая для анализа видео реального времени для того, чтобы распознавать элементы реального мира, является большой и хорошо развитой областью.

В одной реализации навигационное устройство 10 применяет программное обеспечение распознавания образов для распознавания элементов реального мира в видеосигнале от камеры 24 и отображает навигационные указания (такие как стрелка 5) на дисплее 18 в предварительно определенной пространственной взаимосвязи с элементами реального мира, распознанными в видеосигнале. Например, видеосигнал может показывать текущую дорогу, вдоль которой движется навигационное устройство 10, и навигационные указания становятся трехмерными указаниями (например, трехмерной стрелкой), которые накладываются поверх этой дороги. Повороты дороги и другие элементы могут быть графически или с помощью иконок представлены и спозиционированы так, чтобы накладываться поверх элементов реального мира, к которым они относятся.

Процессор может быть запрограммирован так, что он может распознавать элементы с высоким визуальным контрастом, которые ассоциативно связаны с данной дорогой. Элементами также могут быть транспортные средства, движущиеся в попутном направлении, или разметка дороги (например, разметка края дороги, разметка разделительной полосы и т.д.).

Следует отметить, что навигационное устройство 10 запрограммировано так, что оно может распознавать элементы с высоким визуальным контрастом, которые ассоциативно связаны с дорогой. Например, элементами также могут быть транспортные средства, движущиеся в попутном направлении, или разметка дороги.

Навигационное устройство 10 может, например, быть запрограммировано с геометрической моделью дороги впереди: модель может быть просто двумя линиями. Модель может просто быть векторными данными, сохраненными для того, чтобы сформировать картографические данные, как описано выше.

Затем при использовании программное обеспечение распознавания образов отыскивает визуальные элементы в видеопотоке реального времени, предоставляемого камерой 24, которые соответствуют сохраненной геометрической модели (например, двум линиям). Один раз определив положение этих элементов, это будет иметь эффект распознавания дороги впереди. В типичном варианте это потребует быстрого перевода и трансформации, применяемых к элементам, распознанным в видеосигнале (например, две линии), для того чтобы получить соответствие с сохраненной моделью; перевод является x-y-переводом, чтобы приблизительно выровнять распознанные элементы с сохраненной моделью. Трансформация включает в себя отображение в перспективе для того, чтобы согласоваться с различными высотами расположения камеры, и относительную ориентацию между двумя линиями для того, чтобы согласоваться с различными углами обзора камеры и относительным углом между камерой и дорогой. Аналогично трансформации могут быть применены для того, чтобы сохраненную модель выровнять и приспособить к распознанным элементам.

Как будет понятно специалистам в данной области техники, полезно для алгоритма распознавания образов иметь на входе картографические данные. Распознавание образа может проходить более простым и быстрым способом, когда алгоритм заблаговременно имеет сведения о шаблонах для распознавания. Эти сведения могут быть с легкостью получены из доступных картографических данных.

Поскольку трансформация известна, то относительно просто придать форму предварительно сохраненным иконкам стрелок так, чтобы их перспектива, форма и ориентация соответствовала таковым для дороги в любом данном видеокадре (для этого могут быть подходящими различные виды геометрических преобразований), и затем накладывать стрелки направлений поверх дороги, показываемой на дисплее, с помощью традиционного синтеза изображения. Может быть полезным накладывать стрелку так, что она кажется плывущей по поверхности дороги или имеет с ней некоторую другую предварительно определенную пространственную взаимосвязь.

Поскольку навигационное устройство 10 вычисляет, как далеко находится любое соединение дороги или поворот (или другое изменение направления), оно может приблизительно рассчитать, какую форму необходимо придать навигационному указанию, отображаемому на дисплее 18, чтобы соответствовать действительному положению изменения направления, показываемому в сигнале с камеры.

Следует понимать, что навигационное устройство 10 также может использовать комбинацию вариантов осуществления, описанных выше. Например, навигационное устройство может использовать измерения позиции и ориентации, чтобы грубо определить позицию навигационных указаний на дисплее 18 и использовать технологии распознавания образов, чтобы определить позицию навигационных указаний на дисплее 18.

Следует понимать, что можно рассматривать множество альтернатив и вариантов вышеописанных вариантов осуществления. Например, другие элементы, которые указывают наименования дорог, дорожные знаки (например, односторонняя дорога, нет въезда, номер съезда, названия объектов местности и т.п.), ограничения скорости, камеры замера скорости и точки интереса, сохраненные в устройствах 12, 13, 14, 15 памяти, также могут быть наложены поверх видеосигнала - пространственное расположение таких "виртуальных обозначений" в видеокадре может соответствовать элементам реального мира, к которым относятся эти "виртуальные обозначения". Здесь ограничение скорости (например, текст "30 миль/ч") может быть наложено так, что оно кажется лежащим или является частью поверхности дороги с ограничением скорости в 30 миль/ч. Иконка, представляющая конкретный дорожный знак, может быть наложена поверх видеопотока так, что она появляется в том месте, в котором практически должен стоять реальный знак.

Другие виды виртуальных обозначений, в дополнение к стрелкам 5 указания направления, могут быть сохранены в устройствах 12, 13, 14, 15 памяти. Например, иконки, относящиеся к названиям дорог, дорожным знакам, ограничениям скорости, камерам измерения скорости, автобусным остановкам, музеям, номерам домов и точкам интереса, могут быть сохранены в устройствах 12, 13, 14, 15 памяти. Все они могут быть также быть наложены поверх видеосигнала с пространственным положением в отображаемом видео, которое соответствует элементам реального мира, к которым относятся эти "виртуальные обозначения". Здесь, программное обеспечение берет двумерные картографические данные от навигационного программного обеспечения, которое снабжено данными о местоположении этих элементов реально мира, и применяет геометрическую трансформацию, которая приводит к их корректному размещению при наложении на видеопоток.

Согласно дополнительной альтернативе технологии распознавания образов могут быть также выполнены с возможностью распознавать объекты на дороге, такие как, например, другие транспортные средства и грузовики. Когда такие объекты распознаются, отображаемый маршрут 4 может быть показан в виде штриховой линии, как показано на фиг.11. Это обеспечивает изображение, которое более легко интерпретируется пользователем.

Четвертый вариант осуществления

Согласно четвертому варианту осуществления сигнал от камеры 24 и навигационные указания, такие как стрелка 3 позиции, маршрут 4, стрелка 5, точки интереса (POI), дороги, здания, картографические данные, т.е. векторные данные не накладываются, но показываются на дисплее 18 комбинированным способом.

Такая комбинация может быть достигнута путем разделения дисплея на первую часть и вторую часть, где в первой части отображается сигнал с камеры, а во второй части отображаются навигационные указания. Кроме того, комбинация также может быть выполнена в течение времени, т.е. навигационное устройство может быть выполнено с возможностью последовательно поочередно показывать сигнал с камеры и навигационное указание. Это может быть достигнуто путем показа сигнала с камеры в течение первого периода (например, 2 секунды), а затем показа навигационных указаний в течение второго периода (например, 2 секунды). Тем не менее, навигационное устройство может предоставлять пользователю варианты выбора для переключения между сигналом с камеры и навигационными указаниями, по его желанию.

Конечно, может использоваться более одной камеры. Пользователю могут быть предоставлены варианты выбора для переключения с сигнала первой камеры на сигнал второй камеры. Пользователь может выбрать одновременное отображение на дисплее 18 сигнала с более чем одной камеры.

Согласно дополнительной альтернативе пользователь может приближать (укрупнять) или удалять (уменьшать) изображение. При удалении изображения на дисплее 18 будет отображаться все большее окружение навигационного устройства 10. Следует понимать, что пользователь может выбрать, например, "вид с вертолета", как показано на фиг.2, включающий в себя позицию навигационного устройства 10. Такой вид предоставляет изображение навигационного устройства 10 (или транспортного средства) при виде сзади. Конечно, такой вид не может быть обеспечен камерой, зафиксированной на навигационном устройстве 10 или транспортном средстве. Следовательно, навигационное устройство 10 может предоставить изображение, как показано на фиг.12, где только часть изображения - это вид с камеры, окруженный картографическими данными и навигационными указаниями.

Поскольку конкретные варианты осуществления изобретения были описаны выше, следует признать, что изобретение может быть осуществлено на практике другими способами, чем были описаны. Например, изобретение может принимать форму вычислительной программы, содержащей одну или множество последовательностей машиночитаемых инструкций, описывающих способ, раскрытый выше, или носителя хранения данных (например, полупроводниковая память, магнитный или оптический диск), имеющего подобную вычислительную программу, сохраненную на нем. Как будет понятно специалистам в данной области техники, любые программные компоненты также могут быть реализованы в виде аппаратных компонентов.

Вышеприведенные варианты осуществления изобретения рассматриваются в качестве иллюстративных, а не ограничивающих. Таким образом, для специалистов в данной области техники очевидно, что могут быть реализованы модификации описанного изобретения без отступления от его объема, определенного формулой изобретения, приведенной ниже.

1. Навигационное устройство (10), выполненное с возможностью отображать навигационные указания на дисплее, принимать видеосигнал с камеры (24) и отображать комбинацию изображения с камеры из видеосигнала от камеры и навигационных указаний на дисплее, отличающееся тем, что оно является персональным навигационным устройством, которое включает в себя камеру (24), выполненную с ним за одно целое, и оно выполнено с возможностью предоставлять опцию из меню, которая позволяет пользователю регулировать относительное положение отображаемого с камеры изображения относительно навигационных указаний.

2. Навигационное устройство по п.1, в котором опция из меню, позволяющая пользователю регулировать относительное положение отображаемого с камеры изображения относительно навигационных указаний, действует так, чтобы изменять положение, в котором находится изображение с камеры, а положение, в котором находятся навигационные указания, остается неизменным.

3. Навигационное устройство по п.1 или 2, в котором опция из меню, позволяющая пользователю регулировать относительное положение отображаемого с камеры изображения относительно навигационных указаний, действует так, чтобы изменять положение, в котором находятся навигационные указания, а положение, в котором находится изображение с камеры, остается неизменным.

4. Навигационное устройство по п.1, в котором опция из меню, позволяющая пользователю регулировать относительное положение отображаемого с камеры изображения относительно навигационных указаний, действует так, чтобы изменять положение, в котором находятся навигационные указания, и положение, в котором находится изображение с камеры.

5. Навигационное устройство по любому из предыдущих пунктов, которое отменяет обработку сложных типов данных путем отображения навигационных указаний как перспективных, имеющих определенную форму стрелок.

6. Навигационное устройство по п.1, в котором навигационные указания являются одним или более из маршрута (40) и стрелки (5).

7. Навигационное устройство по п.6, которое выполнено с возможностью накладывать навигационные указания (4, 5) поверх изображения с камеры так, что положение навигационных указаний (4, 5) находится в предварительно определенной пространственной взаимосвязи по отношению к соответствующим частям изображения с камеры.

8. Навигационное устройство по п.1, которое выполнено с возможностью принимать калибровочные корректировки, сохранять эти калибровочные корректировки и применять калибровочные корректировки при объединении навигационных указаний (4, 5) и изображения с камеры.

9. Навигационное устройство по п.8, в котором калибровочные корректировки используются для коррекции ошибок смещения.

10. Навигационное устройство по п.1, которое выполнено с возможностью изменять а) отображение комбинации видеоизображения с камеры (24) и навигационных указаний (3, 4, 5) на б) отображение навигационных указаний вместе с выбранной частью картографических данных в результате ввода, сделанного пользователем.

11. Навигационное устройство по п.10, которое обрабатывает видеосигналы, используя распознавание образов.

12. Навигационное устройство по п.1, в котором при распознавании образов определяются признаки реального мира.

13. Навигационное устройство по п.1, в котором при распознавании образов определяются указатели на дороге.

14. Навигационное устройство по п.1, которое имеет сенсорный экран.

15. Навигационное устройство по п.14, в котором опция из меню выбирается посредством сенсорного экрана.