Система комбинированного трекинга

Изобретение относится к области вычислительной техники. Технический результат заключается в повышении точности определения местоположения и ориентации пользователя или устройства. Система включает устройство оптического трекинга, предназначенное для определения местоположения и ориентации пользователя или устройства относительно окружающих объектов на основе стереоизображения в видимом и инфракрасном диапазонах, устройство инерциального трекинга, предназначенное для определения ориентации пользователя или устройства в пространстве относительно первоначальной ориентации, устройство локального трекинга, предназначенное для определения динамического местоположения пользователя или устройства в ограниченном пространстве путем считывания информации с датчиков, расположенных в заранее заданных местоположениях реального пространства, устройство спутникового трекинга, предназначенное для определения местоположения пользователя или устройства в открытом пространстве, роботизированный тахеометр, предназначенный для высокоточного определения статической или медленно меняющейся позиции пользователя или устройства в ограниченном или открытом пространстве, блок сбора и обработки данных с устройств, где происходит вычисление местоположения и ориентации пользователя или устройства. 2 з.п. ф-лы, 1 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области вычислительной техники, в частности, к системам позиционирования.

УРОВЕНЬ ТЕХНИКИ

Задача навигации и отслеживания перемещения пользователей становятся все более и более актуальными с каждым днем.

Из уровня техники известно решение, описывающее систему позиционирования (TW-561273 опубл. 2003-11-11). Недостатком данного решения является то, что из-за сильной удаленности источников сигнала система имеет довольно высокую погрешность(вплоть до нескольких метров).

Кроме того, из уровня техники известно решение(CN203020332U опубл. 2013-06-26),описывающеесистему использования инерционного и спутникового позиционирования. Система применяется для диагностики железнодорожных путей и позволяет отслеживать координаты выходящих за пределы нормы участков дорог. Система состоит из двух комбинированных устройств, каждое из которых включает в себя инерционное устройство и спутниковый передатчик. Эти два устройства соединяются и цепляются к тяговому устройству, после чего позволяют точно измерить форму и дефекты рельс.

В связи с тем, что один из компонентов(GPS) нестабилен в закрытом пространстве, то получают неверные показания при проезде тягового устройства с системой позиционированияпод землёй или в тоннелях.

Кроме того, известна (CN108195374А опубл. 2018-06-22) комбинированная навигационная система для транспортного средства, которая использует комбинированные инерционный и спутниковый трекинги для навигационных расчетов и отслеживания позиции. Известная система содержитподсистему MIMU (микроинерциальный измерительный блок), подсистему GPS (глобальную систему позиционирования), подсистему микромагнитного компаса, подсистему альтиметра атмосферного давления и компьютер. Полученные данные с магнитометра, акселерометра и барометра объединяются с позицией, полученной с GPS датчика, после чего производятся расчеты для навигации и позиционирования. В данном решении, как и в указанном выше, недостатком является то, что оно работает не стабильнов закрытом пространстве, поскольку получает неверные показания при перемещении транспортного средства под землёй или в тоннелях.

Существует изобретение для отслеживания позиции психиатрических больных в помещении. Данное решение основано на слиянии GPS и локального трекинга в отслеживающее позицию устройство, для удаленного контроля местонахождения больных и сохранения статистики их перемещений (CN1057017552A опубл. 2016-06-16). Аналогичные системы совмещения GPS и локального трекинга используются для отслеживания пожарных и известны из таких решений, как: CN103076619A опубл. 2013-05-01 и CN201220735859U опубл. 2012-12-27.

Таким образом, проблема существующего уровня техники заключается в том, что известные технологии не позволяют определять точное и надежное позиционирование объектов как на открытой местности, так и внутри помещений.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящее изобретение относится к системам позиционирования. Возможные области применения:

1. Строительная промышленность и производство, где может быть использовано для:

a. Высокоточного планирования будущего производственного процесса.

b. Упрощенного и точного контроля за ходом строительных работ.

c. Визуализации объектов с использованием смешанной реальности.

d. Контроль перемещения персонала, грузов и машин/механизмов с целью оптимизации бизнес процессов

2. Сфера образовательных технологий и организации выставочных пространств, где может быть использовано для:

a. Проведения экскурсий по реальным объектам.

b. Обучения профессиональным и прикладным навыкам.

3. Развлекательная индустрия, где может быть использовано для:

a. Различного рода приложений, включающих в себя работу с реальным миром, включающую технологии виртуальной реальности.

4. Маркетинг:

a. С целью определения потока людей и времени проведенного перед каким-либо объектом.

5. Пожарная и промышленная безопасность:

a. Определение людей в опасных зонах.

b. Помощь при эвакуации людей в случае возникновения ЧП.

Технической проблемой, на решение которой направлено заявленное техническое решение, является создание системы комбинированного трекинга, которая охарактеризована в независимых пунктах формулы. Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения.

Данное техническое решение направлено на устранение недостатков, присущихсуществующим решениям, известным из уровня техники.

Технический результат заключается в точном определении местоположения и ориентации пользователя или устройства.

В предпочтительном варианте реализации заявленасистема комбинированного трекинга, содержащая следующий список устройств:

1.1. Устройство оптического трекинга, предназначенное для определения местоположения и ориентации пользователя или устройства относительно окружающих объектов на основе стереоизображения в видимом и инфракрасном диапазонах;

1.2. Устройство инерциального трекинга, предназначенное для определения ориентации пользователя или устройства в пространстве относительно первоначальной ориентации;

1.3. Устройство локального трекинга, предназначенное для определения динамического местоположения пользователя или устройства в ограниченном пространстве путем считывания информации с датчиков, расположенных в заранее заданных местоположениях реального пространства;

1.4. Устройство спутникового трекинга, предназначенное для определения местоположения пользователя или устройства в открытом пространстве;

1.5. Роботизированный тахеометр, предназначенный для высокоточного определения статической или медленно меняющейся позиции пользователя или устройства в ограниченном или открытом пространстве;

1.6. Блок сбора и обработки данных с устройств (1.1-1.5.), где происходит вычисление местоположения и ориентации пользователя или устройства.

В частном варианте блок сбора и обработки данных вычисляет местоположение и ориентацию пользователя или устройства следующим образом:

2.1. Полученные данные с каждого устройства (1.1-1.5.) фильтруются разрозненно с учетом коэффициентов и значений данных, полученных от набора оставшихся устройств;

2.2. Объединение данных, поступающих с устройств (1.1-1.5.), с помощью разработанного доверительного алгоритма на основе матрицы весов и алгоритма приоритетов;

2.3. Фильтрация ошибочных данных с использованием фильтра высокий или низких значений (high-lowpassfilter).

В другом частном варианте определение динамической позиции в устройстве локального трекинга (1.3) происходит следующим образом:

3.1. Вычисляется расстояние от датчиков, расположенных в заранее заданных местоположениях реального пространства, до метки, отслеживаемого объекта (пользователь или устройство), используя две задержки, которые естественным образом возникают при передаче сигнала, после чего данные фильтруются и сглаживаются;

3.2. Определяется точная статическая позиция методом мультилатерации в момент приема сигнала;

3.3. Набор полученных данных фильтруют и сглаживают динамическую позицию за промежуток времени, учитывая предсказания следующей стохастической позиции.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемым чертежом, который представлен для пояснения сути изобретения и никоим образом не ограничивает область изобретения. К заявке прилагается следующий чертеж:

Фиг. 1 иллюстрирует систему комбинированного трекинга.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Настоящее изобретение направлено на обеспечение системы комбинированного трекинга.

Как представлено на Фиг. 1, заявленнаясистема комбинированного трекингасостоит из следующих устройств:

устройства оптического трекинга (1.1), предназначенного для определения местоположения и ориентации пользователя или устройства относительно окружающих объектов на основе стереоизображения в видимом и инфракрасном диапазонах;

устройства инерциального трекинга (1.2), предназначенного для определения ориентации пользователя или устройства в пространстве относительно первоначальной ориентации;

устройства локального трекинга (1.3), предназначенного для определения динамического местоположения пользователя или устройства в ограниченном пространстве путем считывания информации с датчиков, расположенных в заранее заданных местоположениях реального пространства;

устройства спутникового трекинга (1.4), предназначенного для определения местоположения пользователя или устройства в открытом пространстве;

роботизированного тахеометра (1.5), предназначенного для высокоточного определения статической или медленно меняющейся позиции пользователя или устройства в ограниченном или открытом пространстве;

блока сбора и обработки данных с указанных выше устройств (1.6), в котором после обработки полученных данных получают выходной результат (1.7).

Разработанная система имеет инерциальный и оптический трекинги, что позволяет точно знать, куда смотрит пользователь, все углы поворота по осям, очень точно оценивать позицию за счет оптического трекинга.

Точное позиционирование пользователя или устройств, в частности такими устройствами являются - тележка, робот, погрузчик, техника, в закрытой и на открытой местности, превышающей по размерам рабочие полигоны для аналогичных решений в дополненной реальности/виртуальной реальности/смешанной реальности (VR/MR/AR) (полигоны от 0.005га, до нескольких сотен га). Использование наиболее приспособленного устройства трекинга в зависимости от окружающей ситуации, а также бесшовный переход внутри системы между компонентами трекинга при изменении ситуации.

В заявленном решении было получено позиционирование с погрешностью ±3см на открытом испытательном полигоне 15х10м, как в подвижном, так и статичном состоянии, что превышает рабочие полигоны аналогичных решений от других разработчиков.

Нижеперечисленные варианты технической реализации даны для примера и также не являются ограничивающими.

Текущая техническая задача заявленного решения достигается за счет объединения в единую систему показаний с множества устройств трекинга (Sensorfusion). Полученные данные пропускаются через фильтры и доверительные системы, которые настроены исходя из текущего рабочего полигона.

Компоненты текущего технического решения:

1. Всегда работающие (постоянные) компоненты:

a. Устройство оптического трекинга (1.1), позволяющее при наличии физических объектов или меток, иметь плавное позиционирование на рабочем полигоне;

b. Устройство инерциального трекинга (1.2 (IMU) - устройство использует для позиционирования акселерометры, гироскоп и магнитометр, которые позволяют рассчитать точные углы поворота в пространстве, а также определить начальную ориентацию;

c. Программная часть, которая находится в блоке сбора и обработки данных (1.6) с устройств (1.1-1.5), занимающаяся обработкой полученных данных (используются фильтры и прогнозирование), выделением более истинных данных, за счёт коэффициентов доверия, что позволяет получить нужный результат от сочетания вышеописанных программно-аппаратных решений.

2. Компоненты, которые могут не работать в определенных условиях или иметь разный уровень доверительности данных:

a. Устройство локального трекинга(1.3) позволяет достигнуть точной позиции в замкнутом помещении или на рабочем полигоне, где спутниковая навигация не даёт доверительных данных;

b. Устройство спутникового трекинга (1.4), обеспечивающие получение позиции без длительной подготовки на полигоне;

c. Роботизированный тахеометр (1.5), предназначенный для высокоточного (+-1 мм) определения позиции удаленной точки в прямой видимости (до 5 км).

По сравнению с указанными аналогами для локального позиционирования используется оптический и инерционный трекинги, в связке с локальным либо спутниковым позиционированием, в результате такой связки получают плавное и высокоточное позиционирование на локальном полигоне.

Использованиебольшого количестваустройств позволяетзаявленной системеработатьна разных полигонах (возможны условия, где один компонент не будет заведомо работать, но будет работать другой). Кроме того,в заявленном решении используется программное обеспечение, которое позволяет выдать более точные результаты позиционирования.

Устройство оптического трекинга (1.1)

Устройство оптического трекинга(1.1) представляет собой камеру или стереокамеру, размещенную на отслеживаемом объекте. На основе смещения изображения, которое видит камера, вычисляется изменение позиции и поворота объекта. В случае применения стереокамеры в расчет также берется “карта глубин” изображения.

Оптический трекинг предоставляет точные данные с высоким темпом, но как относительная система трекинга, имеет недостаток - с течением времени накапливается ошибка в положении и ориентации (drift). Это обуславливается наличием в поле зрения камеры подвижных объектов или однородных объектов, перемещение которых оптически нельзя отделить от перемещения отслеживаемого объекта.

Для более точного позиционирования могут использоваться графические метки или объекты реального мира. Оптический трекинг определяет эти объекты, и программная часть вычисляет положение и ориентацию относительно их. Это позволяет исключить или уменьшить накапливаемую ошибку (drift) в положении и ориентации.

Устройство инерциального трекинга (1.2)

Устройство инерциального трекинга (IMU)(1.2) представляет собой электронное устройство, которое включает в себя датчики: акселерометры, гироскопы, магнитометр. На основе данных с датчиков вычисляется относительное перемещение и изменения в ориентации. На основе данных от магнитометра определяется изначальная ориентация отслеживаемого объекта, а также происходит регулярная корректировка ориентации.

Инерциальный трекинг работает с высоким темпом и предоставляет очень точные данные по ориентации, но имеет погрешность по поступательному перемещению. Аналогично оптическому трекингу, инерциальный трекинг имеет накапливаемую ошибку, но его показания не зависят от перемещения объектов рядом с отслеживаемым объектом. Это свойство учитывается программной частью(1.5) для корректировки данных оптического трекинга (1.1).

Устройство локального трекинга (1.3)

Устройство локального трекинга (1.3) представляет собой систему неподвижных якорей и подвижных меток (тэг). Якоря заранее размещаются на рабочем полигоне и имеют свои координаты. В системе локального трекинга(1.3) определяется местоположение подвижной метки (или множества меток) используя методы трилатерации (измеряется время прохождения радиоволн от между якорями и тэгом) и триангуляции (измеряются углы приема радиоволн). В некоторых реализациях вместо радиоволн может использоваться ультразвук.

Устройство локального трекинга (1.3) предоставляет точную позицию без накапливаемой ошибки (drift), но тем выдачи данных ниже чем у оптического и инерциального трекингов. При этом, точность и темп выдачи данных значительно выше решений на базе GPS/ГЛОНАСС (спутниковый трекинг), но требует подготовки полигона. Используется в основном внутри помещений, но может использоваться и на открытой местности.

Основным недостатком локального радиотрекинга(1.3) является зависимость показаний от наличия в зоне металлических объектов или других объектов с высокой способностью отражать радиоволны. Поэтому показания локального трекинга(1.3) нуждаются в предварительной калибровке и корректировке от других систем, что и происходит в программной части блока сбора и обработки данных с устройств (1.5).

Устройство спутникового трекинга (1.4)

Устройство спутникового трекинга (1.4) представляет собой GPS/ГЛОНАСС приемник с антенной. Данные от устройства спутникового трекинга (1.4) поступают в программную часть блока сбора и обработки данных с устройств (1.5) с предварительной обработкой, заложенной в приемнике.

Устройство спутникового трекинга (1.4) используется в случаях, когда полигон заранее не подготовлен для работы устройства локального трекинга(1.3) или не может быть подготовлен. Например, работа системы позиционирования в городе или на трассе продуктопроводов.

Роботизированный тахеометр (1.5)

Тахеометр предназначен для высокоточного (+-1 мм) определения позиции удаленной точки в прямой видимости (до 5 км). Используется для проверки строительных конструкций, построения плана рельефа местностии разбивки пространства. Роботизированный тахеометр отличает наличие в конструкции сервоприводов, которые позволяют распознавать, захватывать и отслеживать цель. Кроме этого роботизированный тахеометр имеет интерфейс передачи информации на внешние носители или устройства. Наиболее известные производители: Leica, Sokkia, Trimble.

В системе комбинированного трекинга роботизированный тахеометр отслеживает позицию отражателя, закрепленного на отслеживаемом устройстве и передаёт эти данные в блок сбора и обработки данных системы. Таким образом вычисляется позиция устройства с точностью +-1 мм. К недостаткам относятся: необходимость прямой видимости между тахеометром и отражателем; отслеживаемое устройство должно быть статично или медленно перемещаться (обычно не быстрее 2-3 км/ч). Эти недостатки устраняются за счет других способов позиционирования, описанных выше.

Имеется программная часть, входящая в блок сбора и обработки данных с устройств, занимающаяся обработкой данных с остальных компонентов системы (1.1-1.5.).

Последовательно раскроем работу программной части:

1) Сырые данные собираются с устройств трекинга (1.1-1.5).

2) Взависимости от исходника данных, данные пропускаются через фильтры ошибочных данных (Пример -BandPass) и первичные фильтры сглаживания шумов (Пример фильтра - фильтр Калмана).

3) Если нужно, работает модуль расчета координаты (на основе мультилатерации) из полученных данных. Это бывает нужно, при использовании локального радио трекинга (1.3). Полученные координаты передаются дальше.

4) На данном этапе позиции и повороты приводятся к одной системе координат, т.к. устройства могут вести расчёт по-разному. Пример: позиции, которую возвращают локальный (1.3) и оптический (1.1) трекинг имеют левую и правую систему координат после трансформаций, они приводятся к одной системе так, что, например, смещение по одной из декартовых осей на метр, смещает в конечном результате трекингов (1.1, 1.3, 1.4) на метр по данной оси оба одинаково.

5) Полученные позиции с предыдущих шагов фильтруются, с использованием фильтра UKF, доработанного под применение в алгоритмах заявленного решения.

6) Из полученных на предыдущем шаге данных от устройств трекинга (1.1-1.5) начинается расчёт позиции и поворота пользователя. Зная рабочий диапазон устройств и возможности работы устройств (1.1-1.5), мы задаем приоритет устройствам (1.1-1.5) в доверительном алгоритме. В зависимости от заданных приоритетов данные одних устройств корректируются по данным от других устройств.

Примеры реализации:

a) Обновление данных локального (1.3) трекинга сильно медленнее оптического (1.1), но локальный (1.3) трекинг не накапливает отклонение и очень точен. В связи с этим, мы выставляем максимальный приоритет локальному (1.3) трекингу, а работу запускаем на быстро обновляющемся оптическом (1.1) трекинге. Как только рабочая позиция отклоняется от позиции локального (1.3) трекинга больше чем на установленную заранее погрешность, происходит сброс позиции оптического (1.1) трекинга на позицию локального (1.3).

b) Находясь в сильно зашумленном пространстве спутниковый (1.4) трекинг показывает небольшие перемещения системы. Но выставленный заранее приоритет на инерциальный (1.2) трекинг, будет сообщать нам, что мы не двигаемся, что позволит избежать ошибочных смещений.

c) Аналогично, выставленный приоритет повороту оптического (1.1) или инерциального (1.2) трекинга, позволяет приводить к одной системе поворот пользователя, так как мы имеем данные с двух источников, мы сами выбираем, какой из них делается опорным, а какой рабочим, что при корректировке выдаёт более точный и быстрый результат.

d) В случае, когда применяется роботизированный тахеометр (1.5) и с него поступают данные о позиции отслеживаемого устройства, то этим данным присваивается максимальный вес. Однако, скорость обновления позиции в этом случае недостаточна для комфортной работы, поэтому применяется метод аналогичный локальному трекингу, описанный в пункте «a». В целом, эта реализация уместна для ситуаций, когда требуется высокая точность определения позиции статического или медленно перемещающегося объекта.

7) Обработанные данные являются итоговой координатой и поворотом пользователя в пространстве (1.6).

Выходной результат на фиг. 1 представлен под позицией (1.7).

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

1. Система комбинированного трекинга пользователя или пользовательского устройства, содержащая следующий список устройств:

1.1. устройство оптического трекинга, предназначенное для определения местоположения и ориентации пользователя или пользовательского устройства относительно окружающих объектов на основе стереоизображения в видимом и инфракрасном диапазонах;

1.2. устройство инерциального трекинга, предназначенное для определения ориентации пользователя или пользовательского устройства в пространстве относительно первоначальной ориентации;

1.3. устройство локального трекинга, предназначенное для определения динамического местоположения пользователя или пользовательского устройства в ограниченном пространстве путем считывания информации с датчиков, расположенных в заранее заданных местоположениях реального пространства;

1.4. устройство спутникового трекинга, предназначенное для определения местоположения пользователя или пользовательского устройства в открытом пространстве;

1.5. роботизированный тахеометр, предназначенный для высокоточного определения статической или медленно меняющейся позиции пользователя или пользовательского устройства в ограниченном или открытом пространстве;

1.6. блок сбора и обработки данных с устройств (1.1-1.5), где происходит вычисление местоположения и ориентации пользователя или пользовательского устройства.

2. Система по п.1, в которой блок сбора и обработки данных вычисляет местоположение и ориентацию пользователя или пользовательского устройства следующим образом:

2.1. полученные данные с каждого устройства (1.1-1.5) фильтруются разрозненно с учетом коэффициентов и значений данных, полученных от набора оставшихся устройств;

2.2. объединение данных, поступающих с устройств (1.1-1.5), с помощью разработанного алгоритма на основе матрицы весов и алгоритма приоритетов;

2.3. фильтрация ошибочных данных с использованием фильтра высоких или низких значений (BandPass filter, high-low pass filter).

3. Система по п.1, в которой определение динамической позиции в устройстве локального трекинга (1.3) происходит следующим образом:

3.1. вычисляется расстояние от датчиков, расположенных в заранее заданных местоположениях реального пространства, до метки отслеживаемого объекта (пользователь или устройство), используя две задержки, которые естественным образом возникают при передаче сигнала, после чего данные фильтруются и сглаживаются;

3.2. определяется точная статическая позиция методом мультилатерации в момент приема сигнала;

3.3. набор полученных данных фильтруют и сглаживают динамическую позицию за промежуток времени, учитывая предсказания следующей стохастической позиции.