Система, устройство и способ текущего контроля положения и ориентации транспортного средства, погрузочного устройства и груза при работе погрузочного устройства

Изобретение относится к способу и устройству для сенсорной системы (с сенсорной платформой, развернутой на конце крана), хорошо приспособленной для компенсации вертикальной качки в ходе процесса погрузки на судно и разгрузки с него груза, когда кран установлен на нефтяной платформе. Сенсорная система содержит сенсорную платформу (15) для изображения перемещения поверхности судна (4) относительно груза (3), при этом груз (3) подвешен на стреле (8) крана (5), установленном на нефтяной платформе (6), и перемещается между судном (4) и нефтяной платформой (6). Судно (4) движется независимо относительно нефтяной платформы (6) как в вертикальной, так и в горизонтальной плоскости. Сенсорная платформа (15) установлена с возможностью преимущественно неограниченного обзора поверхности судна (4). Сенсорная платформа (15) содержит дальномер для самостоятельного измерения расстояния в определенном направлении между дальномером и выбранной областью поверхности судна (4). Дальномер содержит линию для выходного сигнала для передачи данных дальности. Сенсорная система (15) содержит блок последующей обработки для обработки данных дальности, выводимых упомянутым дальномером. Выходные данные блока последующей обработки включают в себя параметр, описывающий перемещение поверхности судна (4) относительно груза (3). Предложены также устройство сенсорной платформы и способ, используемый для изображения перемещения поверхности второго транспортного средства относительно подвешенного грузового объекта. Достигается создание способа и системы для определения движения груза, подвешенного на погрузочном устройстве первого транспортного средства относительно поверхности второго транспортного средства, являющегося подвижным независимо от первого транспортного средства. Достигается создание способа и системы для автоматической компенсации вертикального движения первого и второго транспортных средств. Достигается предоставление изображения груза и второго транспортного средства, наблюдаемого измерительным прибором. 3 н. и 32 з. п. ф-лы, 21 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится в целом к системе, устройству и способу для погрузки и/или выгрузки объекта во второе транспортное средство и/или из него, при этом погрузочное устройство смонтировано на первом транспортном средстве, и груз подвешен, возможно, на канате или тросе, на погрузочном устройстве. Более конкретно, настоящее изобретение относится к способу и устройству для сенсорной системы (с сенсорной платформой, развернутой на конце крана), хорошо приспособленной для компенсации вертикальной качки в ходе процесса погрузки на судно и разгрузки с него груза, когда кран установлен на нефтяной платформе.

УРОВЕНЬ ТЕХНИКИ

Работа и контроль расположения множества объектов, когда объекты изменяют положение и ориентацию индивидуально, являются распространенной проблемой в повседневной жизни. Особенно сложной она является, когда один объект должен быть погружен на второй независимо перемещающийся объект или разгружен с него. Обычно с ней сталкиваются в ситуациях морской погрузки/разгрузки, но она может встречаться в любых различный ситуациях, например, в космосе, когда космические корабли должны стыковаться, или в лесной среде, когда мобильная машина для валки деревьев загружает древесину на индивидуально перемещающийся грузовик.

Традиционно задачу погрузки и разгрузки выполняют квалифицированные операторы крана или другой соединительной системы и с использованием других систем предупреждения и измерения.

Решения проблемы погрузки и разгрузки в море, где судно с краном движется под влиянием волн, и осуществляется компенсация вертикальной качки для стабилизации нагрузки, даже если конструкция крана движется, известны специалисту в данной области техники.

Документ US 6505574 B1 описывает решения проблемы, согласно которым применены способ и система для уменьшения вызванной волнением моря вертикальной скорости подвешенного на кране груза.

Документ US 5943476 описывает, согласно некоторым аспектам, измерение ориентации объекта относительно позиционирования рабочих органов роботов.

Общим для большинства доступных усовершенствованных систем является то, что они представляют решения, относящиеся к погрузке и разгрузке, когда сам кран/оператор находится под влиянием движения, и когда задача состоит в том, чтобы компенсировать и поддерживать абсолютное движение груза как можно более устойчивым, или когда система вычисляет ориентацию объекта с целью дальнейшего манипулирования системой.

Стандарты и спецификации в области морского транспорта накладывают ограничения максимально допустимых весов груза для погрузки/разгрузки в условиях бурного моря, и тем самым увеличивают коэффициенты стоимости погрузки и разгрузки груза между морскими судами. Стандарты также требуют, чтобы допустимая грузоподъемность была снижена на основе максимальной высоты волны, что делает операции подъема менее эффективными, когда максимальная показательная высота волны увеличивается.

Проблемы возникают, когда груз должен быть погружен или разгружен в неустойчивых условиях, таких как в состояниях бурного моря (большие волны), и когда погрузочное устройство, установленное на неподвижном или плавающем транспортном средстве, то есть, кране, установленном на нефтяной платформе, потенциально движется независимо от целевой плоскости, такой как погрузочная палуба на судне снабжения, движущимся независимо от крана, и груз может подвергаться раскачиванию не в фокусе направляющих систем. Эти ситуации совместно, частично совместно или индивидуально создают трудные условия эксплуатации для крановщиков, и совместно с малыми допусками веса из-за ограниченности человеческих возможностей, стандартами и правилами, эти факторы увеличивают объем работы и сложность погрузки и разгрузки груза.

Существует потребность в улучшенной системе для обеспечения автоматической компенсации изменений расстояния между грузом и плоскостью для погрузки или разгрузки независимо от перемещения самой плоскости или транспортного средства, удерживающего/поднимающего груз, такого как кран, установленный на платформе, при операции подъема краном.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задачей изобретения является создание способа и системы для определения движения груза, подвешенного на погрузочном устройстве первого транспортного средства относительно поверхности второго транспортного средства, являющегося подвижным независимо от первого транспортного средства. Для решения этой задачи обеспечивается измерительное устройство для получения точной оценки расстояния от положения измерительного прибора, то есть расстояния между измерительным прибором и целевой областью на поверхности второго транспортного средства и, в случае необходимости, расстояния между измерительным прибором и грузом. Непрерывный контроль этого расстояния будет показывать траекторию движения как первого транспортного средства, так и выбранной области второго транспортного средства.

Другой задачей изобретения является создание способа и системы для автоматической компенсации вертикального движения первого и второго транспортных средств. Оператор, управляющий грузом, подвешенным на погрузочном устройстве первого транспортного средства, в таком случае может не учитывать компоненты вертикальной качки крана или поверхности второго транспортного средства. Система будет непрерывно компенсировать расстояние между грузом и целевой поверхностью и стремиться поддерживать его постоянным и изменять его только в соответствии с командами оператора для опускания или подъема груза.

Другой задачей изобретения является предоставление изображения груза и второго транспортного средства, наблюдаемого измерительным прибором. Крановщик в этом случае может предварительно отобрать область палубы второго транспортного средства, и оператор и/или измерительная система будет непрерывно получать информацию о вертикальной качке этой области. Таким образом, в примере, где одно или больше транспортных средств являются плавучими объектами, может быть вычислена точная величина максимальной показательной высоты волны.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - вид типичной установки согласно изобретению, где кран манипулирует грузом на платформе, и плавучего судна, на которое погружают груз или разгружают с него.

Фиг. 2 - схематичный вид сверху груза, прикрепленного к тросу над целевой областью палубы судна, наблюдаемый сенсорной платформой, расположенной на конце крана.

Фиг. 3 - схематичный вид сбоку сенсорного устройства.

Фиг. 4 - вид механической конфигурации сенсорной платформы.

Фиг. 5 - концептуальное изображение, показывающее хорошие и плохие характерные точки.

Фиг. 6 - пример модели перемещения по дальности: "модель восьмерка".

Фиг. 7 - пример модели перемещения по дальности: "спираль".

Фиг. 8 - вид сбоку типичного плавучего основания с контейнерным грузом.

Фиг. 9 - блок-схема последовательности операций Способа 1 - адаптивный режим.

Фиг. 10 - блок-схема последовательности операций Способа 2 - адаптивный параллельный режим.

Фиг. 11 - блок-схема последовательности операций Способа 3 - режим определения фиксированного местонахождения.

Фиг. 12 - блок-схема последовательности операций способа отслеживания груза.

Фиг. 13 - блок-схема последовательности операций общего способа слежения движения.

Фиг. 14 - блок-схема последовательности операций обнаружения груза и определения местоположения.

Фиг. 15 - блок-схема последовательности операций способа измерения расстояния с проверкой местоположения груза.

Фиг. 16 - блок-схема последовательности операций отслеживания груза на основе трехмерной модели.

Фиг. 17 - блок-схема последовательности операций инициализации отслеживания цели (груза или судна).

Фиг. 18 - блок-схема последовательности операций отслеживания посредством согласования характерных точек (используемого для отслеживания груза и судна).

Фиг. 19 - блок-схема последовательности операций покадрового отслеживания груза.

Фиг. 20 - блок-схема последовательности операций целевого шаблона коррекции.

Фиг. 21 - блок-схема последовательности операций оценки положения, используемой для оценки трехмерного положения груза и судна.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Описанные здесь варианты осуществления изобретения следует понимать только как его примерные варианты, и изобретение не ограничено в его объеме деталями следующего описания или иллюстрациями на чертежах и блок-схемах последовательности операций способов. Изобретение может быть осуществлено и выполнено различными способами.

В соответствии с настоящим изобретением существует несколько механизмов, включенных в повышение уровня безопасности и производительности процессов погрузки/разгрузки. Настоящее изобретение демонстрирует свои новые признаки в условиях окружающей среды, где и погрузочное устройство на первом транспортном средстве, и поверхность второго транспортного средства находятся в движении независимо друг от друга, и груз, подвешенный на погрузочном устройстве, должен быть погружен на поверхность второго транспортного средства или разгружен с нее.

Сенсорная платформа включает в себя камеру, используемую для захвата изображений, что позволяет системе и/или оператору идентифицировать положение цели на палубе судна, и/или идентифицировать и отслеживать груз.

Сенсорная платформа также включает в себя дальномер, который используется для измерения расстояния между сенсорной платформой и палубой судна и, таким образом, позволяет системе компенсировать индивидуальные перемещения крана, груза и судна.

Для ясности описания изобретения и формулы изобретения будет применена специальная терминология. Следует понимать, что каждый конкретный термин включает в себя все технические эквиваленты, которые работают подобным образом для достижения подобной цели.

Камера - устройство захвата изображения любого типа, то есть, цифровое, аналоговое, инфракрасное, устройство рассеяния тепла, радар, гидролокатор и другие.

Характерная точка - точка в изображении, которая содержит множество локальных структурных/информационных изображений. Общими примерами являются углы и кресты. Общим требованием для хороших характерных точек является локально уникальная, пространственно локализованная и масштабная инвариантность. Углы 31 в целом являются хорошими характерными точками, поскольку они имеют большие разности интенсивности в двух разных направлениях, как показано на фиг. 5. Углы, также, вероятно, будут локально уникальны и пространственно локализованы. Край 32, с другой стороны, обычно не локально уникален и не пространственно локализован.

Определение контура означает, что при слежении на основе контура отслеживаемый объект представлен рядом обнаруженных характерных точек. Для определения движения объекта сначала вычисляется движение каждой характерной точки. На основе движения каждой индивидуальной характерной точки определяется движение объекта. Обычный способ определения контура представляет следящая система Kanade-Lucas-Tomasi (KLT), которая признана и известна специалистам в данной области техники.

Жесткое движение - движение твердого тела (то есть, тела, которое не деформируется), составленное вращением, поступательным перемещением и масштабированием. Жесткое движение представлено двухмерным изображением как матрица 3x3, называемая эвклидовым/подобным преобразованием. Матрица 3x3, представляющая подобное преобразование, имеет следующую форму:

и преобразует однородную координату посредством вращения, поступательного перемещения и масштабирования, где а - это угол поворота, S - это коэффициент изменения масштаба и tx, ty - это поступательное перемещение (в направлениях x и y).

Судно - термин, используемый в общем смысле, и также включает в себя любой тип морского/плавучего средства.

Сегментация изображения - сегментация изображения в процессе деления изображения на различные части, такие как судно и океан, часто представляющие разные объекты.

Выброс - резко выделяющееся значение наблюдения, которое является численно удаленным от остальной части данных. Выбросы часто показательны относительно погрешности измерения.

Устойчивые статистические методы - устойчивые статистические методы с использованием устойчивого оценивания, которые устойчивы к выбросам. Небольшие количества резко выделяющихся значений в массиве данных значительно не влияют на устойчивое оценивание. Способы устойчивой оценки признаны и известны специалистам в данной области техники.

RANSAC - согласованность случайного выбора - общее устойчивое оценивание, часто используемое в машинном зрении и известное специалистам в данной области техники.

Фильтр Калмана - математический метод, названный по имени Рудольфа Э. Калмана. Его целью является использование результатов измерений, которые наблюдаются в течение времени, когда они содержат шум (случайные вариации) и другие неточности, и выдача величин, которые имеют тенденцию быть ближе к истинным значениям измерений и связанным с ними расчетными величинами.

PnP/P3P - главная n-точка, определяющая расположение трехмерного объекта на основе его двухмерного изображения с ограниченным количеством опорных точек.

Препятствие - возникает, когда один объект находится между наблюдателем и другим объектом. Более близкий объект загораживает более удаленный, например, в полученном изображении. Загороженная поверхность является частью более удаленного объекта, скрытой более близким объектом.

Гироскоп - устройство для измерения или поддержания ориентации на основе принципов сохранения углового перемещения. Механический гироскоп представляет собой по существу вращающееся колесо или диск, ось которого может свободно принимать любую ориентацию. Эта ориентация изменяется намного меньше в ответ на данный внешний вращающий момент, чем если бы она не имела большего момента количества движения, связанного с высокой скоростью вращения гироскопа. Так как внешний вращающий момент минимизирован благодаря установке устройства на универсальных шарнирах, его ориентация остается почти фиксированной независимо от любого движения платформы, на которой оно смонтировано. Также существуют гироскопы, основанные на других принципах работы, такие как интегрированные микроэлектромеханические гироскопические системы, встречающиеся в бытовых электронных устройствах, твердотельных кольцевых лазерах и волоконнооптических гироскопах и высокочувствительном квантовом гироскопе.

Инклинометр или клинометр - инструмент для измерения углов наклона (или крена), угла возвышения или угла склонения объекта относительно направления силы тяжести. Он также известен как измеритель наклона, указатель наклона, средство предупреждения о наклоне, датчик наклона, уклономер, градиометр, уровнемер, индикатор уровня, деклинометр, и указатель килевой и бортовой качки. Клинометры измеряют и наклоны вверх (положительные наклоны, видимые наблюдателем, смотрящим вверх) и наклоны вниз (отрицательные наклоны, видимые наблюдателем, смотрящим вниз).

Оптическое кодирующее устройство - электромеханическое устройство, которое преобразует угловое положение вала или оси в аналоговый или цифровой код.

Существенные параметры камеры обычно содержат фокусное расстояние, центр изображения, разрешение, параметры дисторсии объектива (радиальная дисторсия, тангенциальная дисторсия).

Алгоритм Левенберга-Маркуардта обеспечивает численное решение проблемы минимизации функции, обычно нелинейной, в пространстве параметров функции.

"Модель восьмерка" перемещения по дальности - модель, которую "рисует" дальномер при наблюдении сверху, как показано на фиг. 6.

Спиральное перемещение по дальности - модель, которую "рисует" дальномер при наблюдении сверху, как показано на фиг. 7.

Система управления краном - система управления, управляющая перемещением крана. Она применяет и экспонирует входные и выходные параметры, такие как вращающий момент, текущая длина проволочного каната, направление проволочного каната и скорость, угловые положения соединений крана и т.д.

Техника автоматического управления или техника систем управления - техническая дисциплина, в которой применяется теория управления для проектирования систем с предсказуемым поведением. На практике используют датчики для определения эксплуатационных характеристик управляемого устройства (часто транспортного средства), и эти измерения могут использоваться для обеспечения обратной связи для входных приводов, которые могут осуществлять коррекции в направлении желательных рабочих характеристик.

Задача оптимизации в математике, информатике и экономике, оптимизации или математическом программировании обращается к выбору лучшего элемента из некоторого набора доступных вариантов. В самом простом случае это означает решение проблем, когда стремятся минимизировать или максимизировать действительную функцию посредством систематического выбора величин действительных или целочисленных переменных из доступного набора. Эта формулировка с использованием скалярной, действительной целевой функции (целевой функции), вероятно, является самым простым примером; обобщение теории оптимизации и методик до других формулировок содержит большую область прикладной математики. В более общем смысле это означает обнаружение "наилучших доступных" величин некоторой целевой функции при задаваемой области, включающей в себя множество различных типов целевых функций и различных типов областей.

СРЕДНЕКВАДРАТИЧЕСКАЯ ОШИБКА (MSE):

Измерение квадратичной ошибки между наблюдением (y) и оценкой (y’)-(y-y’)^2. Суммирование всех пар наблюдений и оценок дает сумму квадратичной ошибки, и деление на количество наблюдений дает среднеквадратическую ошибку. Среднеквадратическая ошибка является просто средней квадратичной ошибкой, вычисленной по группе. Среднеквадратическая ошибка может использоваться и в качестве оптимального критерия для получения оценочной функции (то есть, для минимизации среднеквадратической ошибки), и как способ оценки оценочной функции. Замена среднего значения (в указанном выше определении) медианой дает срединную квадратичную ошибку (устойчивую к резко выделяющимся значениям). Замена квадратичной ошибки абсолютной разностью (то есть, abs(y-y’)) дает Среднюю абсолютную разность (MAD).

Средняя абсолютная разность (MAD): См. Среднеквадратическая ошибка (MSE).

Сегментация - деление изображения на отдельные части, при этом отдельные части соответствуют разным объектам (например, судну и океану).

Текстурная сегментация - сегментация изображения на основе разностей визуальных признаков, то есть, текстура разных объектов изображении.

Текстурная сегментация на основе фильтра (FBTS) основана на предположении, что визуальные различия (то есть, текстура объектов) имеют разные статистические свойства. Посредством применения пригодных фильтров (что зависит от текстур) важные свойства для разделения объектов будут усилены, в то время как менее важные визуальные свойства будут подавлены. Изображение сегментировано посредством сравнения гистограммы реакций фильтра для разных объектов.

СЕГМЕНТАЦИЯ ИЗОБРАЖЕНИЯ СУДНА/ОКЕАНА

Деление изображения на зоны, содержащие суда и океан, может осуществляться с применением текстурной сегментации на основе фильтра. Визуальное изображение судов и вида океана из положения датчика очень отличаются. Визуальное изображение океана представляет собой довольно обширную однородную область с однородной яркостью с небольшими границами или без них, в то время как визуальное изображение палубы судна однородно, разнообразно по яркости и имеет большое количество кромок. Сегментация на основе фильтра будет обнаруживать наличие судов или океана в изображении и, кроме того, она будет классифицировать обнаруженную зону как судно или океан. Выходные данные сегментации судна/океана представляют текущее местоположение судна относительно океана. Предыдущее положение судна/океана может использоваться в качестве начального значения для сегментации текущего кадра изображения.

Модельный прогнозный контроль или MPC является усовершенствованным способом управления технологическим процессом, который используется в перерабатывающих отраслях промышленности, например на химических заводах и нефтеперерабатывающих заводах, начиная с 1980-х годов. Модельные прогнозные контроллеры основаны на динамических моделях процесса, чаще всего, линейных эмпирических моделях, полученных идентификацией систем.

Модельный прогнозный контроль (MPC) является алгоритмом регулирования нескольких взаимосвязанных величин, который использует:

- внутреннюю динамическую модель процесса;

- историю прошлых действий управления и

- целевую функцию J оптимизации по удаляющемуся прогнозируемому горизонту, для вычисления оптимальных действий управления.

Целевая функция оптимизации задана как:

не нарушая ограничений (нижнего/верхнего пределов),

где:

x_i=i-ая контролируемая переменная (например, измеренная температура);

r_i=i-ая опорная переменная (например, требуемая температура);

u_i=i-ая регулируемая переменная (например, контрольное значение);

w_xi=весовой коэффициент, отражающий относительную значимость x_i;

W_ul=весовой коэффициент, бракующий относительно большие изменения u_i и т.д.

SLAM - это визуальный метод одновременной навигации и построения карты, то есть, группа методик для определения местонахождения объекта и одновременного построения карты окружающей среды. Визуальный метод одновременной навигации и построения карты обычно предусматривает применение одной или более камер, как входных датчиков, для определения местонахождения и построения карт.

SFM - определение структуры объекта по отображению движения, то есть, группа методов, в которой применяется множество изображений от одной или более камер для создания двухмерной или трехмерной структуры.

Стереоскопическое зрение - группа методов, в которой применяют две или более камер для вычисления трехмерной карты/карты глубин визуализируемого трехмерного пространства.

Трассировка лучей, при заданном относительном положении между камерой и целью, включая в себя существенные параметры камеры, - процесс распространения луча (вектора) от фокальной точки через заданную координату точки двухмерного изображения. Цель состоит в том, чтобы обнаружить координату (трехмерную) пересечения с объектом, если он существует.

Система и устройство согласно настоящему изобретению описаны в нескольких рабочих режимах, когда система имеет два основных рабочих режима a и b и дополнительные режимы c и d:

a) как систему поддержки принятия решений для крановщика, содействующую правильности решения крановщика в трудных условиях;

b) как датчик, выдающий данные измерения вертикальной качки в систему управления краном, которая может использовать информацию для активной компенсации вертикальной качки между этими двумя транспортными средствами. Система также может контролировать текущие правила техники безопасности для работы крана, например, в море, посредством выдачи более точного и правильного руководства на максимальной допустимой характерной высоте волны для каждой категории груза;

c) активной компенсации раскачивания/колебаний;

d) автоматизированного управления большей частью операций крана, таких как:

i. доставка и погрузка груза в определенное местоположение A;

ii. подъем и перемещение;

iii. разгрузка в определенном местоположении B.

Настоящее изобретение использует разные способы слежения со способностью восстановления при незначительных преградах и временных потерях объектов. Предполагается, что сенсорная платформа 15 с камерой располагается над судном 4 и наблюдает судно 4 сверху, как показано на фиг. 1. Сенсорная платформа 15 соединена со стрелой крана, что означает, что сенсорная платформа 15 может перемещаться во всех направлениях (x, y и z) относительно судна, но в целом ведет наблюдение вниз. Ориентация сенсорной платформы 15 может временно изменяться обычно из-за движения стрелы 8 крана, но будет быстро в пределах <10 секунд возвращаться к ориентации наблюдения вниз. Перемещение стрелы крана может осуществляться при нормальной работе крана или из-за вынужденного перемещения, вызванного, например, жесткими погодными условиями, волнами или другими управляемыми или не поддающимися влиянию условиями. В качестве альтернативы, шарнирным соединением может управлять контур активного управления и электродвигатели или другие приводы, которые постоянно обеспечивают требуемую ориентацию (например, вниз). Выходной сигнал от датчика (датчиков) вращения и/или инклинометра, гироскопа или другого средства может использоваться как входной сигнал, например, для сервоконтроллера, который также может использоваться в качестве входного сигнала управления для электродвигателей или других приводов, которые могут управлять ориентацией шарнирного соединения (ориентацией сенсорной платформы 15). Судно 4 может быть визуально представлено как проходящее в двухмерной плоскости, представляющей океанскую поверхность 7, как показано на фиг. 2. Визуальное представление может состоять из одного или множества изображений на мониторе, экране или подобном средстве, и/или как цифровое или аналоговое представление, которое может использоваться для ввода в компьютерную систему. Камера работает с заданными количествами кадров секунду для того, чтобы перемещение 4 судна в двухмерной плоскости было небольшим (то есть, не больше нескольких пикселей между последовательными кадрами). Стрела 8 крана, с другой стороны, может двигаться быстрее, вызывая быстрое изменение двухмерного положения 4 судна в изображениях камеры (то есть, больше нескольких пикселей между последовательными кадрами). Поле 2 обзора является достаточно большим для захвата значительной части 4 судна. Видимые детали/характерные точки 31, 32 на судне 4 являются стационарными на судне, но будут перемещаться в поле зрения камеры, когда сенсорная платформа 15 и/или судно движется. Большинство видимых деталей останется видимым в поле зрения камеры в ходе операции погрузки/разгрузки. Однако некоторые незначительные видимые детали на судне 4 могут изменяться, например, из-за движения людей и/или оборудования, и/или из-за изменения условий освещения и т.д. Во время слежения существует/видима достаточно большая область 4 судна, то есть, больше 10 характерных точек. Точка слежения может временно выпадать из захваченного изображения, или она может быть загорожена.

На фиг. 2 показано изображение, захваченное сенсорной платформой 15 (например, камерой) из положения на стреле 8 крана, на котором изображено судно 4, океан 7, груз 3 и линия 9. Также показано потенциальное целевое местоположение 14 для измерения расстояния.

Сенсорная система 1 показана более подробно на фиг. 3. Канал 11 передачи данных датчика может быть аналоговой или цифровой связью, например, Ethernet, RS422, RS485, OPC или другими протоколами передачи данных, и может нести информацию в обоих направлениях. Сенсорная платформа 15 включает в себя системные датчики, такие как камера, датчики вращения, дальномер и т.д., как описано ниже.

Выходные данные от сенсорной системы 1, переданные по каналу 11 передачи данных, могут содержать данные измерений местоположения и скорости целевой области относительно сенсорной платформы 15 (например, могут использоваться системой управления активной компенсации вертикальной качки крана). Выходные данные также могут содержать положение и ориентацию груза относительно сенсорной платформы 15 (например, могут использоваться системой управления краном для компенсации раскачивания и/или для автоматического позиционирования и погрузки/разгрузки груза). Выходные данные также могут содержать данные о положении и ориентации второго транспортного средства относительно сенсорной платформы 15.

Входные данные к сенсорной системе 1, полученные по каналу 11 передачи данных, могут содержать скорость крюка, азимут стрелы, текущую длину/скорость/направление проволочного каната, радиус выноса стрелы крана, геометрию стрелы (длину, соединения и т.д.), включая в себя углы всех соединений на стреле крана (например, угол коленчатого соединения шарнирно-сочлененного крана). Другими словами, всю кинематическую информацию и состояние всей или части геометрии крана.

Компьютер (компьютеры) 12 выполняет один или множество алгоритмов программного обеспечения и может использовать архитектуру мультипроцессорной системы, если ее содержит компьютер (компьютеры), для обеспечения более высоких рабочих характеристик и способности осуществлять множество параллельных процессов и способов, например, для проверки результатов относительно друг друга. Применены один или более интерфейсов 13 данных между датчиком (датчиками) на сенсорной платформе 15 и компьютером (компьютерами) 12 для аналоговой или цифровой связи, например, Ethernet, RS422, RS485, OPC, световод или другие. Сенсорная платформа 15 далее описана в одном возможном варианте выполнения на фиг. 4. Шарнир 21 с пассивным демпфированием обеспечивает то, что сенсорная платформа 1 всегда ориентирована вниз, и система пассивного демпфирования гасит вибрации и колебания. Направлением можно также активно управлять посредством добавления, например, одного или нескольких серводвигателей (не показаны) или приводов и соответствующих датчиков 28 вращения. В качестве альтернативы или добавления к датчику вращения могут использоваться инклинометр или гироскоп или подобное средство для определения фактического направления сенсорной платформы 1. Применена точка 22 монтажа для прикрепления устройства к стреле крана, и опорный кронштейн 30 образует "раму", к которой прикреплены другие компоненты. Корпус 23 камеры образует корпус для датчиков, таких как камера (не показана), и/или сервоконтроллера, и/или сервопривода и/или другого средства (не показано). В корпусе 23 камеры могут быть расположены инклинометр и/или гироскоп, которые могут использоваться в дополнение к датчику 28 вращения или в качестве замены последнего. Применен второй корпус 24 для расположения дальномера (не показан), который может быть единственным лазерным дальномером, универсальным измерительным устройством (например, Astech LDM 301A или другим) и другими инструментами, такими как датчики вращения, гироскопы и т.п. Применены наклонно-поворотные кронштейны 26 с осями для обеспечения вращения дальномера посредством вращения второго корпуса 24 вокруг двух осей. Передачи 27 соединены с электродвигателями 25 для сообщения вращательного усилия наклонно-поворотным осям. Все или некоторые из компонентов сенсорной системы 1 могут быть расположены в одном или более отдельных корпусов (не показаны), некоторые из которых или все могут быть взрывобезопасными. Расположение между камерой в корпусе 23 камеры и опорным кронштейном 30 зафиксировано и не будет изменяться (то есть, "центр" камеры и исходное положение для панорамирования известно и неизменно). Положение и ориентация опорного кронштейна 30 могут изменяться, но относительное положение между камерой и опорным кронштейном 30 будет статическим. Адаптер источника питания и блок управления, включающий в себя регуляторы частоты вращения двигателя и приводы (обычно серводвигатель), могут быть установлены внутри корпуса 23 камеры или в одном или более отдельных контейнеров (не показаны). Камера в целом ведет наблюдение вниз (то есть, ориентация зафиксирована), но может временно отклоняться от направления вниз, когда сенсорная платформа 1 движется/вращается из-за ускорений или колебаний. Устройство панорамирования обеспечивает способность вращения второго корпуса 24, который содержит дальномер, вокруг двух осей. Дальномер должен быть направлен на целевую точку 14 на корабле/судне, как определено описанными здесь способами.

Адаптивный режим слежения показан блок-схемой последовательности операций на фиг. 9, где расстояние до 4 судна вблизи настоящему положению груза 3 определяют с применением измерительное устройство посредством следующих этапов:

1. Инициализации 101 устройства отслеживания груза, при этом груз обнаруживается автоматически устройством обнаружения груза, как описано блок-схемой последовательности операций на фиг. 14, или оператор вручную выбирает груз, который будет разгружен, и определяет ограничивающий прямоугольник, охватывающий груз. Процедура инициализации устройства отслеживания груза описана более подробно на фиг. 12.

2. Инициализации 102 сегментации судна, при этом судно 4 должно быть сегментировано для того, чтобы измерительное устройство всегда было направлено на судно 4 (а не на океан 7).

3. Повторного отслеживания 103 груза, то есть текущего положения груза, определяемого, как описано ниже согласно способу отслеживания груза.

4. Сегментации 104 судна, то есть определения текущего местоположения судна.

5. Коррекции 105 ориентации измерительного устройства, то есть, коррекции ориентации измерительного устройства таким образом, что оно направляется к местоположению на судне вблизи настоящего местоположения груза.

6. Измерения 111 расстояния, то есть доклад о текущем расстоянии до местоположения на судне. Если текущее доложенное расстояние равно или вблизи длине проволочного каната, предполагается, что измерение было выполнено ошибочно относительно груза на проволочном канате. В этом случае ориентация измерительного устройства будет перемещена дальше от последнего известного местоположения груза для измерения расстояния до палубы судна.

Этот процесс повторяется, пока не будет получен действительный результат измерения расстояния, или после максимального числа отказов полученный результат измерения расстояния будет обрабатываться как недопустимый.

7. Выполнения последующей обработки 112, как описано ниже. Последующая обработка может быть выполнена асинхронно в отдельной цепочке.

При отказе повторения 103 отслеживания груза или судна процедура может переходить к этапу 101, чтобы повторно инициализировать и использовать устройство обнаружения груза, как описано ниже и в блок-схеме последовательности операций на фиг. 14, для автоматического определения местоположения груза.

В случае, когда выбранное местоположение на судне находится вне границы изображения при наблюдении камерой, двухмерные координаты все же могут быть оценены с использованием перемещения других характерных точек 31, 32 на судне 4. Дополнительно могут использоваться углы оси стрелы, полученные от системы управления краном, для оценки положения выбранного местонахождения вне изображения камеры и, следовательно, направление измерения расстояния все же может быть обновлено.

Адаптивный режим параллельного слежения определен блок-схемой последовательности операций на фиг. 10, где расстояние до 4 судна, близкое к настоящему положению груза 3, определено с использованием устройства измерения расстояния и камеры. Проверка местоположения груза выполняется с заданными интервалами с использованием устройства измерения расстояния.

Последующая обработка 112 может включать в себя модели и прогноз вертикальной качки, используемые для фильтрации измерений, например, сравнения, регулирования, удаления и интерполяции измеренных величин в соответствии со смоделированными величинами, и прибавления данных, когда отслеживание цели или измерения расстояния не удаются для одной или более итераций. Последующая обработка также может включать в себя предсказание будущих величин, основанных на прошлых измеренных величинах и моделях. Использование модели, которая описывает вертикальную качку, позволит непрерывно докладывать об относительной скорости между грузом и палубой судна, даже если некоторые данные от устройства измерения расстояния будут признаны недействительными. Этот подход часто известен как Модельный прогнозный контроль.

Адаптивный режим параллельного слежения прогоняет два параллельных процесса, которые обмениваются информацией во время выполнения. Цепочка А выполняет фактические измерения расстояния, и также проверяет местоположение груза 3, подаваемого при помощи цепочки В. Цепочка А также может внутренне запускать новую цепочку или асинхронную задачу для получения результатов измерения расстояния последующей обработки, как описано ниже. Цепочка Выполняет отслеживание груза и судна на основе двухмерного наблюдения. Цепочка А основывается на цепочке В для поиска текущего относительного положения груза и судна для проверки положения с использованием одного или более измерений расстояния. Цепочки A и B основаны на способе обнаружения груза на основе измерения расстояния, как описано ниже и на таблице на фиг. 14, для инициализации и повторной инициализации после отказа автоматически.

ЦЕПОЧКА А:

1. Инициализация способа А.1 измерения расстояния (описанного на фиг. 15).

2. Выполнение повторений А.2 измерения расстояния и повторений проверки местоположения груза (описанных на фиг. 15). Повторение этапа 2, когда он завершен.

3. Если происходит отказ А.3, переход к этапу 1 и повторная инициализация.

ЦЕПОЧКА В:

1. Инициализация 101 устройства отслеживания груза, при этом груз обнаруживается автоматически устройством обнаружения груза, как описано блок-схемой последовательности операций на фиг. 14, или оператор вручную выбирает груз, который будет разгружен, и определяет ограничивающий прямоугольник, охватывающий груз. Фиг. 12 содержит подробное описание процедуры инициализации устройства отслеживания груза.

2. Инициализация сегментации судна 102, то есть судно должно быть сегментировано так, чтобы измерительное устройство всегда было направлено к судну (а не к океану).

3. Повторное отслеживание 103 груза - определение текущего положения груза, как описано на фиг. 12.

4. Сегментация судна 104 - определение текущего местоположения судна.

5. Если происходит отказ B.5, переход к этапу 1 и повторная инициализация.

В случае если выбранное местоположение на судне 4 находится вне границы изображения при наблюдении от камеры, двухмерные координаты все же могут быть оценены с использованием перемещения других характерных точек 31, 32 на судне. Кроме того, углы оси стрелы, полученные от системы управления краном, могут использоваться для оценки положения местонахождения вне изображения камеры, и, следовательно, направление измерения расстояния все же может быть скорректировано.

Режим определения фиксированного местонахождения указан в таблице на фиг. 11, где расстояние до 4 судна выбранном местоположении на судне 4 определяют с использованием измерительного устройства посредством следующих этапов:

1. Инициализация 101 устройства отслеживания груза, при этом груз обнаруживается автоматически устройством обнаружения груза, как описано блок-схемой последовательности операций на фиг. 14, или оператор вручную выбирает груз, который будет разгружен, и ограничивающий прямоугольник, определяет ограничивающий прямоугольник, охватывающий груз. Фиг. 12 содержит подробное описание процедуры инициализации устройства отслеживания груза.

2. Выбор 100 местоположения судна, когда крановщик предварительно отбирает местоположение на судне, или местоположение избирается автоматически на основе положения груза. Выбранное местоположение будет отслеживаться, и текущее расстояние до местоположения будет докладываться на последующих этапах.

3. Инициализация 102 сегментации судна, когда судно должно быть сегментировано так, чтобы измерительное устройство всегда было направлено к судну (а не на океан).

4. Инициализация 106 системы глобального движения; фиг. 13 содержит подробное описание процедуры.

5. Повторное отслеживание 103 груза, при этом определяется текущее положение груза. См. фиг. 12-15 для детального ознакомления.

6. Повторение 107 действия системы глобального движения, то есть, текущее положение судна определяют с использованием исключительно характерных точек на судне (то есть характерные точки около настоящего местоположения груза игнорируются). См. фиг. 13 для детального ознакомления.

7. Повторение 104 сегментации судна, то есть, определение текущего местоположения судна.

8. Создание 109 эмпирического местоположения, то есть, если предыдущее местоположение было загорожено движущимся грузом, должно быть создано новое местоположение. Конструируется местоположение, содержащее достаточно хорошие характерные точки около предыдущего местоположения, и вновь обнаруженное местоположение будет отслеживаться в последовательных кадрах (то есть, пока новое местоположение будет загорожено).

9. Коррекция 110 ориентации измерительного устройства, при этом ориентация измерительного устройства корректируется таким образом, что она направляется к выбранному местоположению на судне.

10. Измерение 111 расстояния, то есть доклад о текущем расстоянии до выбранного местоположения. Если доложенное текущее расстояние равно (в пределах некоторого зазора) длине проволочного каната, предполагается, что измерение было выполнено ошибочно относительно груза на проволочном канате. В этом случае ориентация измерительного устройства будет перемещена дальше от последнего известного местоположения груза для измерения расстояния до палубы судна.

Этот процесс повторяется, пока не будет осуществлено действительное измерение расстояния, или после максимального числа отказов полученное измерение расстояния будет рассматриваться как недопустимое.

11. Выполнение 112 последующей обработки, как описано выше. Последующая обработка может быть выполнена асинхронно в отдельной цепочке.

Когда нормальная работа нарушается, инициируется и выполняется "режим восстановления". В случае отказа устройства 103 отслеживания груза и/или сегментации 108 судна и/или глобального движения 107 во время повторений, коррекция ориентации 110 измерительного устройства все же может быть выполнена с использованием данных датчика 28 вращения и/или инклинометра и/или гироскопа 29 и/или углов поворота оси 8 стрелы от системы управления для управления ориентацией дальномера. Предполагая, что груз 3 и/или судно/корабль 4 неподвижны в течение ограниченного периода времени, информация от датчиков может быть подана, например, прямо сервоконтроллеру, который скорректирует ориентацию измерительного устройства в "режиме восстановления". Режим восстановления может быть прерван, если какая-либо из осей крана вращается, или принимающая установка/судно/платформа вращается/движется и может двигаться в течение, например, 2-3 секунд, в то время как средства 102, 106 зрительного восприятия пытаются обнаружить груз и судно в новых поступающих изображениях.

Способ текущего контроля груза на проволочном канате описан в блок-схеме последовательности операций на фиг. 12 на следующих этапах, где входными данными для процедуры является текущий кадр, и жесткое движение груза между t-1 и t является выходными данными, при этом изображение и характерные точки от предыдущего кадра сохраняются и обозначены как t-1, и изображение и характерные точки текущего кадра изображения обозначены как t:

1. Выделение 201 вручную ограничивающего прямоугольника вокруг груза или использование 401, 402 и 403 устройства обнаружения груза, как показано на фиг. 14, для обнаружения груза. Центр ограничивающего прямоугольника, как предполагается, является центром груза.

2. Вычисление 202 характерных точек на грузе. Для исключения краевых задач будут учитываться только признаки, находящиеся в ограничивающем прямоугольнике.

3. Проверка 203 правильности характерной точки решает, обнаружены ли достаточно хорошие характерные точки в ограничивающем прямоугольнике. Если достаточно хорошие характерные точки не могут быть обнаружены на грузе, он не может отслеживаться. Успешное обнаружение: переход к этапу 204. Отказ: переход к этапу 201 или сбой.

4. Получение/предоставление 204 нового кадра t. Изображение и характерные точки от предыдущего этапа сохраняются и обозначены как t-1.

5. Проверка 205 правильности изображения решает, достаточно хорошо ли изображение для дальнейшей обработки. Основные измерения качества изображения для детектирования плохого качества изображения, например, из-за размытого изображения и/или переэкспонирования/недоэкспонирования. Успешный результат: переход к этапу 206. Отказ: переход к этапу 211.

6. Обнаружение 206 характерных точек, найденных в предыдущем изображении (t-1), в текущем изображении t. Часть характерных точек, существующих в изображении t-1, может не быть обнаружена в изображении t.

7. Оценка 207 того, обнаружены ли достаточно хорошие признаки. Было ли количество обнаруженных признаков достаточным для оценки движения груза между двумя кадрами? Да: переход к этапу 208. Нет: переход к этапу 212.

8. Оценка 208 двухмерного движения (вращение и поступательное перемещение) между t-1 и t с использованием согласованных характерных точек и фильтра Калмана. Оценку вычисляют с использованием устойчивых статистических методов, таких как согласованность случайного выбора (то есть, небольшое количество резко выделяющихся значений в массиве данных имеет небольшое влияние на оценку). Оценка представляет собой матрицу 3х3, которая представляет строгое преобразование груза (в большинстве случаев прямоугольный контейнер).

9. Проверка 209 того, является ли преобразование относительно перемещений индивидуальных характерных точек между t-1 и t приемлемым, например: среднеквадратическая ошибка (или средняя квадратичная ошибка) достаточно мала. Достаточно малая в одном примере может составлять 30 см, определенная в сантиметрах в мировых расстояниях (вычисленных с использованием количества пикселей, приблизительного расстояния до груза и внутренних параметров камеры). Успех: переход к этапу 210. Отказ: переход к этапу 214.

10. Прибавление вновь изобретенных характерных точек 210 в пределы текущего ограничивающего прямоугольника груза. Некоторые признаки могут быть потеряны во время отслеживания груза, и, таким образом, необходимо добавить новый признак на каждом этапе.

11. Максимальное количество отказов 211 достигнуто? Метод восстановления работоспособности должен получить новое изображение. Это может быть сделано только ограниченное количество раз без успешного слежения. Как только максимальное число новых кадров достигнуто, система отказывает, и пользователь должен еще раз указать груз. Максимальное количество отказов может составлять, например, 100.

12. Корреляция 212 является стратегией восстановления, используемой, если обнаружено слишком мало признаков, согласованных для определения настоящего положения груза. Последнее известное местоположение груза может быть коррелировано с текущим изображением для обнаружения и определения текущего положения груза.

13. Корреляционная проверка 213 правильности решает, была ли методика восстановления работоспособности успешна. Успех: переход к 208. Отказ: переход к 211.

14. Группирование 214 характерных точек является методикой восстановления работоспособности, используемой, если характерные точки перемещаются несовместимо. Восстановление может осуществляться в случае, когда некоторые характерные точки были обнаружены на судне, а не на грузе. Это будет приводить к двум типам движения характерных точек: один набор характерных точек перемещается наряду с грузом, и один набор перемещается наряду с судном. Посредством группирования движения характерных точек в две группы может быть определено движение груза.

15. Проверка 215 правильности преобразования решает, была ли успешной стратегия восстановления группирования характерных точек. Успех: переход к 210. Отказ: переход к 211.

16. Конфигурация 216 камеры, способ оптимизации/процедура, как описано ниже.

17. Выходные данные содержат данные жесткого движения (то есть матрицу 3х3) груза между кадрами t-1 и t.

Дополнительно можно при каждом повторении проверять результат, полученный от устройства отслеживания груза, сравнивая размер прямоугольника ограничения груза (самый малый прямоугольник, который окружает груз) и доложенной длины проволочного каната при данном повторении с предполагаемым двухмерным размером, заданным пусковыми размерами, внутренними параметрами камеры и начальной длиной проволочного каната.

Способ/процедура оптимизации конфигурации камеры используется для обеспечения лучших параметров конфигурации для камеры во время текущих обстоятельств любой момент времени. Это означает, что установки экспозиции и синхронизация оптического затвора регулируются для получения лучших деталей изображения для способов слежения. Конфигурируемые параметры также могут включать в себя коэффициент масштабирования. При запуске процедуры для камеры используют множество заданных параметров конфигурации, таких как, без ограничения указанным, синхронизацию оптического затвора и установку экспозиции, и одно или более изображений отбирают в каждом наборе заданных параметров конфигурации. Получаемые изображения подвергают обработке рядом способов для получения изображения с лучшими характеристиками для текущего контроля. Эта процедура хорошо известна специалистам в данной области техники, и примеры способов оптимизации направлены на:

1. 90 процентов пикселей должны быть ненасыщены (например, меньше чем 250 в диапазоне 0-255).

2. Обнаружение максимального числа характерных точек.

Набор параметров конфигурации, который достигает лучшего изображения (изображений), выбирают в качестве текущих установок. Эта процедура может осуществляться непрерывно параллельно с другими способами, описанными согласно настоящему изобретению.

Способ текущего контроля глобального движения судна/корабля относительно камеры двухмерного изображения описан блок-схемой последовательности операций на фиг. 13 следующими этапами, где входные данные для процедуры содержат информацию о текущем положении груза, сегментации судна и данные гироскопа/инклинометра, и жесткое движение судна между кадрами t-1 и t является выходными данными:

1. Вычисление 301 характерных точек на судне (t-1). Только характерные точки, далекие от границы судна, будут приняты для исключения краевых задач.

2. Удаление 302 характерных точек вблизи местоположения груза, при этом характерная точка около настоящего местоположения груза будет игнорироваться. Текущее положение и ориентация груза будут охвачены кругом или ограничивающим прямоугольником, и будет учитываться только характерная точка вне круга или ограничивающего прямоугольника.

3. Проверка 303 правильности характерной точки решает, были ли достаточно хорошие характерные точки найдены на судне. Если достаточно хорошие характерные точки не могут быть найдены на контейнере, то судно не может отслеживаться. Успех: переход к этапу 304. Отказ: переход к этапу 301 или сбой (потенциально запускают новую сегментацию судна и инициализацию обнаружения груза).

4. Получение/предоставление 304 нового кадра t. Изображение и характерные точки от предыдущего этапа сохраняются и обозначены как t-1.

5. Проверка 305 правильности изображения решает, достаточно хорошо ли изображение для дальнейшей обработки. Основные измерения качества изображения для детектирования плохого качества изображения из-за, например, размытости изображения и/или переэкспонирования/недоэкспонирования. Успех: переход к этапу 306. Отказ: переход к этапу 316.

6. Вычисление (306) характерных точек на сегментированном судне.

7. Удаление (307) характерных точек, которые слишком близки к текущему местоположению груза.

8. Решение 308, были ли найдены достаточно хорошие характерные точки. Решение, было ли обнаружено достаточно хороших характерных точек для определения движения судна между кадрами t-1 и t. Например, минимальное число хороших характерных точек может составлять 10. Успех: переход к этапу 309. Отказ: переход к этапу 313.

9. Согласование 309 характерных точек, обнаруженных в t, с обнаруженными в t-1.

10. Оценка 310 двухмерного жесткого движения между кадрами t-1 и t с использованием согласованных характерных точек. Устойчивый статистический метод, такой как согласованность случайного выбора, используется для вычисления оптимального жесткого движения между кадрами t-1 и t. Калмановская фильтрация используется для рекурсивной оценки движения.

11. Проверка строгого преобразования относительно перемещений индивидуальных характерных точек, то есть среднеквадратической ошибки (или срединной квадратичной ошибки) того, что среднеквадратическая ошибка достаточно мала. Понятие "достаточно малый" может в одном примере составлять 30 см в сантиметрах в мировых расстояниях (вычисленных с использованием количества пикселей, оцененного расстояния до груза и внутренних параметров камеры). Успех: переход к этапу 312. Отказ: переход к этапу 313.

12. Прибавление 312 вновь изобретенных характерных точек на судне, расположенных "достаточно" далеко от настоящего положения груза. Некоторые характерные точки могут быть потеряны во время слежения судна. Таким образом, необходимо добавить новые признаки в каждый этап.

13. Решение, достигнуто ли максимальное количество отказов. Метод восстановления работоспособности направлен на получение нового изображения. Это может быть сделано только ограниченное количество раз без успешного слежения. Как только максимальное число новых кадров достигнуто, система отказывает, и способ обычно может быть повторно инициализирован крановщиком. Максимальное количество отказов предварительно установлено как заданное количество.

14. Способ 316 оптимизации конфигурации камеры, как описано выше (может непрерывно выполняться параллельным процессом).

15. Выход процесса содержит жесткое движение (то есть, матрицу 3х3) судна между кадрами t-1 и t.

Способ с использованием дальномера для обнаружения груза и определения местонахождения груза, висящего на проволочном канате в пределах поля обзора дальномера, смонтированного на платформе панорамирования, описан блок-схемой последовательности операций на фиг. 14 следующими этапами, где входные данные для процедуры содержат информацию текущей длины проволочного каната, и двухмерный ограничивающий прямоугольник, охватывающий груз, представляет выходные данные:

1. Сканирование 401 поля 2 обзора/сканирования устройством измерения расстояния и основанием панорамирования с использованием выборочной траектории "в форме восьмерки".

2. Извлечение 402 выборок, которые дальше ожидаемого расстояния по оси z груза (вычисленного как функция, например, текущей длины проволочного каната).

3. Решение 403, был ли обнаружен груз. Например, сравнение выбранных расстояний с длиной проволочного каната. Если груз был обнаружен, переход к этапу 405, иначе, переход к этапу 404.

4. Расщепление 404 поля обзора (области выборки) на 4 подобласти и переход к этапу 1 для каждой области. Если размер подобласти меньше порогового значения (например, 1/16 области поля обзора датчика 2), прекращение и отказ осуществления способа.

5. Спиральная выборка 405 дальности, начиная от центра масс, определенного характерными точками, обнаруженными на грузе. Выборка, пока не будет обнаружен один полный виток без любых новых характерных точек на грузе.

6. Выход 406 алгоритма представляет собой двухмерный ограничивающий прямоугольник, охватывающий груз.

В дополнение к способу, описанному блок-схемой последовательности операций на фиг. 14, также можно автоматически обнаруживать груз, когда груз расположен в целевой области, например, на палубе судна. Это возможно, например, посредством излучения света на груз, проецирования светового шаблона, добавления визуального маркера (например, известного объекта) на груз и т.п. Сенсорная система в этом случае может выполнять стандартные способы распознавания образов, основанные на изображениях от камеры, для идентификации груза. Другой альтернативой является изменение направления дальномера таким образом, чтобы сканировать всю область и анализировать местоположения выборки и изображения от камеры для обнаружения всего груза в пределах поля 2 обзора датчика. После этого этапа можно определить стратегию отбора обнаруженного груза, который будет отслеживаться, например, начиная от верхнего левого угла поля 2 обзора датчика. Могут применяться другие стратегии отбора, например, обнаружения груза, самого близкого к центру поля обзора. Таким образом, идентификация груза может быть автоматизирована также, когда груз расположен, например, на палубе судна или в области, например, нефтяной платформы.

Способ, который выполняет непрерывные измерения дальности и который также проверяет местоположение груза с заданными интервалами с использованием информации от системы отслеживания груза, описанной выше и показанной на фиг. 12, для проверки и коррекции текущего направления дальномера, описан блок-схемой последовательности операций на фиг. 15, где входные данные для процедуры содержат текущее положение груза, ограничивающий прямоугольник, охватывающий груз, и информацию о текущем положении/сегментации судна:

1. Определение 501 положения выборки вне груза, но на палубе судна. Область выборки определяют относительно положения и ориентации груза и не как зафиксированное положение на палубе судна.

2. Направление 502 дальномера на область выборки и запуск выборки.

3. В каждом заданном промежутке времени (например, 100 миллисекунд):

i. Получение текущего местоположения груза от устройства отслеживания груза на основе двухмерной камеры и системы отслеживания судна (обычно доступное в параллельных цепочках, выполняемых следящими системами).

ii. Определение линии между точкой текущей выборки и текущим (центральным) положением груза.

iii. Осуществление выборки вдоль линии, пока груз не будет обнаружен, или пока измерительное устройство не будет направлено к центру груза.

iv. Проверка 503 местоположения груза (то есть проверка того, что разность измеренного расстояния и текущей длины проволочного каната меньше, например, 2 метров).

4. Перемещение 504 положения выборки в соответствии с движением груза таким образом, что относительное положение области выборки сохраняется. Приспособление для поддержания области выборки на судне (не на море).

5. Направление 505 дальномера на местоположение и измерение дальности.

6. Выполнение 112 последующей обработки, как описано выше. Последующая обработка может быть выполнена асинхронно в отдельной цепочке. Переход к 504, если заданный промежуток времени не истек, в противном случае, переход к 503.

7. Если проверка 507 груза отказывает, проверка местоположения груза повторно инициализируется с использованием "Способа обнаружения и определения местонахождения груза", как описано выше и на фиг. 14, и местоположение груза тогда используется, чтобы повторно инициализировать устройство отслеживания груза на основе двухмерной камеры.

Когда один из главных способов, описанных выше, для измерения расстояния выполнил одно или более повторений, следующее измерение расстояния может быть обработано и отфильтровано.

Измерения расстояния будут выполняться с заданным интервалом, обычно каждые 5-20 миллисекунд. Стрела 8 крана, сенсорная платформа 1 и плавучее основание 4 будут двигаться независимо. Это в дополнение к математическим и механическим неточностям направления дальномера всегда на одно местоположение, может вызывать смещение фактической цели измерений между целями выборки по дальности. Фактическая цель может перемещаться между, например, палубой 4 судна 2 и верхней поверхностью груза/контейнера/структуры 41, если целевое местоположение на судне слишком близко к краю, например, контейнера, как показано на фиг. 8.

Основной результат системы - это получение относительной вертикальной скорости между концом стрелы 8 крана и целевым местоположением 14, 42 на судне, что означает, что оценки дальности, которые отклоняются больше чем те, которые расцениваются как "нормальные", могут быть отфильтрованы. Относительная скорость - это изменение дальности в секунду, означающее, что если существует большое изменение расстояния между выборками, то изменения появятся как "пики" в ряду данных. Стандартные методики фильтрации и/или прогнозирование на основе модели, известные специалисту в данной области техники, могут применяться, для уменьшения или устранения пиков и использования синтетических/прогностических данных вместо отфильтрованных данных. Следовательно, система будет устойчивой к неточному наведению дальномера.

Учитывая положение в изображении от "камеры с двухмерными координатами" или координату пикселя, будет полезно вычислить (трехмерную) внешнюю координату точки посредством последующих входных данных, этапов и функций, когда положение камеры относительно расположения панорамирования зафиксировано. Для достижения преобразования двухмерных координат в предполагаемые трехмерные координаты необходимо знать установленное преобразование между камерой и модулем панорамирования, текущую ориентацию дальномера, дальность до цели, выдаваемую дальномером, двухмерные координаты камеры, включая существенные параметры камеры, и ориентацию сенсорной платформы (обычно предполагая, что она направлена прямо вниз).

Это позволяет осуществлять приблизительное измерение вертикального расстояния между сенсорной платформой и целью под ней, что также допускает вычисление предполагаемых трехмерных координат данного положения в двухмерном изображении.

Одно возможное отображение/преобразование предложено ниже. Способ и действие могут быть достигнуты другими способами, известными специалисту в данной области техники.

Допустим, что P=[Px, Py, 0] являются нормализованными координатами пикселя, определяющими координаты пикселя в объективе камеры.

Допустим, что D является оценочным значением расстояния от фокальной точки камеры до трехмерного положения (последнего известного расстояния или начального приближения).

Допустим, что Cp является положением камеры во внешней системе координат.

Допустим, что Сх, Cy и Cz являются единичными векторами, дающими положительные оси x, y и Z камеры (вправо, вверх и в сторону).

Допустим, что Cf является фокусным расстоянием камеры.

Допустим, что Lp является центром вращения для дальномера.

Допустим, что V является трехмерным положением во внешней системе координат, вычисленных на основе пикселя P и расстояния D.

V=Cp+нормирование (Cx*Px+Cy*Py+Cz*Cf)*D

Мы можем теперь вычислить направление измерительного устройства от положения устройства к внешней системе координат L:

L=нормализация (V-Lp);

В соответствии с одним возможным вариантом осуществления настоящего изобретения, как описано на фиг. 1, настоящее изобретение в состоянии улучшить параметры, предоставленные крановщику для управления краном и, таким образом, улучшения процесса погрузки и разгрузки и безопасности во время этого процесса.

На фиг. 1 дополнительно показана типичная установка согласно настоящему изобретению, где сенсорная платформа 15 смонтирована на конце стрелы 8 крана, будучи направленной вниз к плавучему основанию 4 и грузу 3 с определенным полем наблюдения/линией визирования 2. Кран 5 установлен на нефтяной платформе 6, работающей в море 7 (с волнами). Груз 3 прикреплен к канату/тросу 9 при помощи крюкового устройства 10, свисающего от конца стрелы 8 крана. Система также будет хорошо функционировать, например, для шарнирно-сочлененных кранов.

Последовательность изображений, наблюдаемых на фиг. 2, снятых камерой 1, предоставляется крановщику. Последовательность показывает судно 4 под концом стрелы 8 крана в режиме реального времени.

Вертикальная качка в целевом местоположении 14 палубы 4 судна или области вблизи груза 3, соединенного с краном проволочным канатом 9, должна непрерывно измеряться и докладываться. В частности, данные о вертикальной скорости целевого местоположения 14 и вертикальной качке должны быть сообщены крановщику или системе управления краном в режиме реального времени.

Как установка/судно/платформа 6, где расположен кран 5, так и установка/судно/платформа 4, где должен быть погружен или разгружен груз 3, (возможно) подвержены вертикальной качке. Система контролирует составленную вертикальную качку между этими двумя судами/платформами, то есть, относительную вертикальную качку между краном 5 и установкой/судном/платформой 4.

Крановщик выбирает целевое местоположение 14 на палубе судна, которое будет отслеживаться, и при этом измеряются параметры вертикальной качки, связанные с целевым местоположением 14. Оператор может иначе выбрать груз, что заставит систему отслеживать груз и измерять вертикальную качку палубы 4 судна в положении вблизи груза наблюдаемого сенсорной платформой 15.

Дальномер 24 постоянно измеряет вертикальную качку вокруг выбранного целевого местоположения (отслеживает целевое местоположение 14 на палубе судна или отслеживает груз 3). Скорость вертикальной качки демонстрируется крановщику в режиме реального времени. Крановщику также могут быть представлены ограничения вследствие коррекций.

Об отказе измерения вертикальной качки по любой причине, когда он повторяется определимое число раз, крановщику активно сообщают.

В другом варианте осуществления изобретения активный режим компенсации вертикальной качки выдает относительную скорость между плавучим основанием 4 и концом стрелы 8 крана. Скорость измеряется в положении вблизи груза 3 при наблюдении вниз груза 3 и палубы 4 судна от дальномера 24, таким образом, позволяя системе управления краном (не показана) активно компенсировать относительную вертикальную качку непосредственно под грузом 3 в любой данный момент времени.

"Компенсация вертикальной качки", "подъем" и "касание поверхности", являются тремя разными функциями, которые обычно будут доступны крановщику.

"Компенсация вертикальной качки" является нормальным функционированием, когда, если оператор не дает команд для опускания или подъема груза, расстояние между грузом 3 и, например, палубой 4 судна остается постоянным, несмотря на перемещения при вертикальной качке судна и крана. Груз будет в этом режиме "следовать" за палубой судна вверх и вниз. Это перемещение всегда прибавляется к командам подъема от операторов.

"Подъем" - это функция, которая может использоваться, когда оператор хочет автоматически запустить управление краном, например, при подъеме груза 3 с палубы 4 судна. Система управления будет использовать режим "компенсации вертикальной качки", но будет также прогнозировать следующую впадину вертикальной качки и начинать ускорение вверх от палубы судна вскоре после того, как впадина вертикальной качки будет пройдена, для обеспечения безопасного подъема, и продолжать движение вверх после того, как гребень вертикальной качки достигнут, для достижения определенного расстояния над палубой судна прежде, чем будет достигнут следующий гребень вертикальной качки.

"Касание поверхности" является функцией, которая может использоваться, когда оператор намерен позволить крану автоматически управлять спуском груза 3, например, на палубу 4 судна. Оператор все же управляет горизонтальным направлением груза (по осям x и y), в то время как система управления осуществляет полный контроль скорости проволочного каната и движением в вертикальном направлении (ось z). Система будет прогнозировать следующий гребень вертикальной качки и опускать груз с этого момента вниз с мягким касанием поверхности прежде, чем будет достигнута впадина вертикальной качки, и продолжать операцию спуска для обеспечения достаточного ослабления натяжения проволочного каната для исключения подъема груза, если какая-либо из следующих впадин вертикальной качки более глубока, чем та, когда было осуществлено касание поверхности.

При оптимальном задании условий окружающей среды, когда нет ошибок, нет необходимости в синхронизации по времени операций подъема или касания поверхности с впадиной вертикальной качки или гребнем вертикальной качки, соответственно. Компенсация вертикальной качки сделает эти операции свободными от риска в любом состоянии последовательностей вертикальной качки.

Один возможный вариант осуществления настоящего изобретения может компенсировать раскачивание и/или колебание груза 3, подвешенного на проволочном канате 9. Благодаря подаче данных о положении груза 3 в режиме реального времени в систему управления краном (не показана), эта информация, включающая в себя длину проволочного каната/троса 9, которая в настоящее время используется, достаточна для активного управления краном 5, чтобы компенсировать раскачивание/колебание груза 3, подвешенного на проволочном канате/тросе 9.

Будет использоваться математическая модель, описывающая кинематику крана 5, включающего в себя проволочный канат/трос 9 и груз/нагрузку 3 на проволочном канате/тросе 9. Она позволяет отслеживать сенсорной системой 1 груз 3 и минимизировать разность между скоростью и/или ускорением стрелы 8 крана и скоростью и/или ускорением груза 3. В идеальном случае, груз 3 должен иметь такое же ускорение, как и скорость конца стрелы 8 крана. Техника автоматического управления обычно будет использовать числовой минимизатор, например, Левенберга-Маквардта, чтобы минимизировать целевую функцию (разность скорости/ускорения груза 3 и конца стрелы 8 крана). Входные параметры будут представлять собой длину проволочного каната/троса 9, скорость проволочного каната, груза 3, положение относительно сенсорной платформы 15, все углы соединений крана 5 и математическую модель кинематики крана 5. Числовой минимизатор будет инициализирован с первоначальной оценкой параметров управления краном (скорости/ускорения/мощности относительно всех соответствующих двигателей/гидросистем) для наилучшего согласования с текущим состоянием груза 3. В процедуре инициализации будут применены устойчивые оценки и подход согласованности случайного выбора.

Другой возможный вариант осуществления настоящего изобретения должен включать в себя крюковое устройство 10, которое имеет способности дистанционно управляемого запирания и отпирания, при этом, таким образом, можно дополнительно увеличить уровень автоматизации управления краном 5. Вместо активного управления краном 5 оператором с использованием его нормальных управляющих устройств, например, рукояток, кнопок и джойстиков, оператор может использовать, например, один или более сенсорных экранов. Один сенсорный экран может показывать вид, снятый камерой в корпусе 23 камеры, расположенном на сенсорной платформе 15, направленной вниз, при этом другой сенсорный экран или часть первого сенсорного экрана могут показывать область, в которую должен перемещаться груз. При касании объекта и/или определении его центра, краном можно управлять для автоматического движения в указанное положение с оптимальной скоростью и опускания крюкового устройства 10 в правильное положение. Крюковое устройство 10 с дистанционным управлением, в этом случае, может сцепляться с грузом 3, и груз 3 будет готов для перемещения. Посредством идентификации цели, к которой должен быть перемещен груз, то есть, посредством касания положения на втором экране, система управления может выдать команду крану 5 на подъем и перемещение груза в заданную целевую область автоматически и отсоединение груза 3 посредством отсоединения крюкового устройства 10 с дистанционным управлением. Расстояние до палубы в целевом местоположении выдается в систему управления устройством 24 измерения расстояния, и, следовательно, система управления может определять, когда необходимо замедлить/остановить вертикальное перемещение груза. Разные изображения на разных экранах, описанных выше, могут быть отображены на одном экране чередующимися изображениями посредством переключения или разделения экрана на множество частей, каждая из которых отображает разные изображения. Функциональность сенсорного экрана может быть замещена другими средствами для перемещения и отбора местоположений на изображениях, то есть, шаровым манипулятором и указательным графическим символом. Специалисту в данной области компьютерной графики известны другие способы.

Полуавтоматические характеристики, достигнутые посредством предоставления возможности крановщику выполнять некоторые или все части операций автоматического управления краном, описаны выше.

Существует множество возможностей отбора целевой области. Примеры включают в себя, но не ограничиваются выбором, основанным на заданном "плане палубы", или он может быть активно выбран с использованием камеры сенсорной системы 1 или одной или более фиксированных камер (не показаны), контролирующих целевую область.

При помощи устройства отслеживания груза и системы отслеживания судна согласно настоящему изобретению, это может быть достигнуто продолжением операции активной компенсации раскачивания, описанной выше. В дополнение к компенсации раскачивания логика техники автоматического управления может применять задачу оптимизации, которая минимизирует поступательное перемещение между грузом/крюком и положением цели для обеспечения автоматизированного перемещения от исходного местоположения к положению цели. Кроме того, система может автоматически погружать или разгружать груз. Можно даже определять относительно большие исходные области и области назначения и позволять системе сканировать и обнаруживать груз, который будет поднят из исходной области. Система также может автоматически сканировать и определять местоположение доступных отметок/областей, где находится пространство для разгрузки груза, то есть, "отметок" в целевой области, делая всю обработку груза автоматической при определенных исходной и целевой области.

В соответствии с другим возможным вариантом осуществления настоящего изобретения, изобретение может быть осуществлено для применения в других областях, таких как, но не ограниченных ими:

1. Передача или операции между самолетами, движущимися в воздухе.

2. Передача или операции между морем или землей и движущимся самолетом.

3. Передача или операции между движущимися транспортными средствами на земле.

4. Передача или операции между морем или землей и движущимся транспортным средством на земле.

Некоторыми более конкретными вариантами применения являются:

1. Выполнение операций с ветроэнергетической установкой: когда, например, при монтаже/демонтаже лопастей на плавучей ветроэнергетической установке волны будут вызывать движение и плавучего основания, и ветроэнергетической установки. С использованием настоящего изобретения для отслеживания, например, ротора, крана или дистанционно управляемого рычага (и т.п.) можно будет компенсировать перемещение, сообщаемое и плавучему основанию, и ветроэнергетической установке, позволяя выполнять этот вид операции в море даже при большом волнении.

2. Автоматизированный "режим следования": транспортное средство автоматически "захватывает" другое целевое местоположение 14 и следует за его перемещениями. Подобно адаптивному круиз-контролю на автомобилях, но с использованием настоящего изобретения можно управлять не только скоростью, но также и направлением.

3. Трехмерное сканирование перемещения целей: с использованием настоящего изобретения можно отслеживать объект и создавать его трехмерное плотное множество точек, в то время как он движется.

Теперь будет описан конкретный вариант осуществления изобретения, когда изобретение используется с отслеживанием груза и судна на основе трехмерной модели. Фиг. 16 описывает краткий обзор процедуры.

Процедура начинается с фазы 601 инициализации. В этой фазе, как показано на фиг. 17, оператор или система определяет 701 текущее двухмерное положение груза. Обнаруживаются 703 характерные точки, и вычисляются 704 дескрипторы характерных точек на целевой области груза. Дальномер направляют на целевую область груза, и осуществляют выборку расстояния до груза. В этом случае, могут быть определены 705 трехмерные (x, y, z) положения характерных точек с использованием результата измерения расстояния и двухмерного положения. Также могут использоваться способы стереоскопического зрения, определения структуры объекта по отображению движения или метод одновременной навигации и построения карты для определения трехмерного (x, y, z) положения характерных точек.

Текущее положение судна, в этом случае, определяется и отбирается 701 на экране или одном из нескольких экранов, как описано в указанных выше вариантах осуществления изобретения, оператором. Судно также может быть расположено системой распознаванием зрительных образов. Нет необходимости в определении полного местоположения судна, но, предпочтительно, должна определяться как можно большая область судна, покрывающая, по меньшей мере, местоположение, где должен быть погружен груз, должен быть определен. Обнаруживаются 703 характерные точки, и вычисляются 704 дескрипторы характерных точек в целевой области судна. Дальномер направляют к целевой области судна, и производят выборку расстояния до груза. Трехмерные (x, y, z) положения характерных точек определяют 705 с использованием результата измерения расстояния. Также могут использоваться стереоскопическое зрение, определение структуры объекта по отображению движения или метод одновременной навигации и построения карты для определения трехмерных (x, y, z) положений характерных точек. После фазы (601) инициализации известны много трехмерных характерных точек с дескрипторами на грузе и на судне.

Как груз, так и судно отслеживаются "слежением посредством детектирования". Текущее положение груза и судна вычисляют посредством согласования характерных точек, обнаруженных 803 в целевом шаблоне с характерными точками, обнаруженными 801 в текущем кадре. После этапа слежения между трехмерными характерными точками в начальном кадре и двухмерной характерной точкой в текущем кадре соответствие установлено (и для груза, и для судна). Соответствие между трехмерными точками и двухмерными точками используется для оценки текущего положения груза и судна. (Используются известные алгоритмы P3P/PnP для оценки трехмерного положения). В случае необходимости, "отслеживание посредством детектирования" также может включать в себя корректировку 604 целевого шаблона. Эта процедура удаляет неиспользованные или плохие характерные точки и прибавляет новую хорошую характерную точку в шаблон. Трехмерное положение вновь добавленной характерной точки может быть вычислено с использованием оценки 603, 611 трехмерного положения (вычисленного с использованием текущего шаблона и текущего кадра изображения).

Груз и судно также отслеживаются с использованием способа 607, 614 покадрового слежения. Согласно способу 607, 614, покадрового слежения, начальный целевой шаблон заменяется предыдущим кадром, где были обнаружены груз/судно. Покадровое слежение устойчиво к небольшим межкадровым изменениям и улучшает оценку определения положения груза. Модель 605 перемещения груза и модель 613 движения корабля для использования с фильтрами типа Калмана используются для дальнейшего улучшения оценки положения. Кроме того, модели могут использоваться для прогноза в случае отсутствия наблюдений.

Местоположения груза и судна используются для определения положения, в которое должен быть направлен 618 дальномер. Это осуществляют посредством вычисления (двухмерного) вектора, соединяющего центр груза и центр судна. Это является направлением, в котором дальномер будет направляться 619 для исключения осуществления измерений прямо на грузе. Величина этапа по этой линии определяется с использованием текущего расстояния до груза.

Модель вертикальной качки судна для использования с фильтрами типа фильтров Калмана используется для дальнейшего улучшения оценки 620 вертикальной качки судна. Кроме того, модель вертикальной качки судна может использоваться для прогноза в случае недостаточного наблюдения положения груза/судна или отсутствия наблюдений (лазерных измерений).

Теперь будет более подробно описан каждый этап в процессе, где изобретение используется в трехмерной модели при отслеживании груза и судна.

Инициализация 601, 609 обнаружения характерного положения (модель, основанная на трехмерном слежении) предусматривает получение входных данных, включающих в себя изображение, содержащее целевую область (например, груз или судно), и выходные данные этого этапа в процессе будет выдавать трехмерные характерные точки (x, y, z) с (двухмерными) дескрипторами характерных точек. Пошаговый процесс для этого показан на фиг. 17 и может быть описан следующим образом:

701. Выбор вручную/автоматически целевой области, которая будет отслеживаться в изображении. Выбранная область представляет собой целевой шаблон.

702. Коррекция целевого шаблона (таким образом, чтобы он был ортогональным относительно камеры).

703. Обнаружение характерных точек в целевом шаблоне.

704. Вычисление (двухмерных) дескрипторов для обнаруженных характерных точек.

705. Направление измерения расстояния на целевую область и измерение расстояния (z) до груза.

706. Определение трехмерного положения (x, y, z) характерных точек, связывая расстояние z, полученное измерением расстояния, и предполагая, что груз является плоским объектом.

В качестве альтернативы этапу 706 могут использоваться метод одновременной навигации и построения карты, определение структуры объекта по отображению движения или способы стереоскопического наблюдения для определения положения глубины/трехмерных положений характерных точек.

Согласование 602, 610 в конечном числе характерных точек (слежение на основе трехмерной модели) судна или груза предусматривает получение входных данных, включающих в себя характерные точки и дескрипторы для целевого шаблона или предыдущего кадра и текущего кадра изображения. Выходные данные этого этапа в процессе будет выдавать согласованные характерные точки между целевым шаблоном и текущим кадром и (дополнительные) скорректированные характерные точки и дескрипторы для целевого шаблона. Пошаговый процесс для этого показан на фиг. 18 и может быть описан следующим образом:

801. Обнаружение характерной точки в текущем кадре.

802. Вычисление дескрипторов для характерных точек, обнаруженных в текущем кадре.

803. Согласование обнаруженных характерных точек с характерными точками, обнаруженными в целевом шаблоне или предыдущем кадре.

Покадровое отслеживание 607, 614 судна или груза предусматривает получение входных данных, включающих в себя предыдущий кадр, целевую область в предыдущем кадре и текущем кадре. Выходные данные этого этапа в процессе будут показывать вращение и поступательное перемещение целевого объекта между предыдущим кадром и текущим кадром (то есть, изменение положения между кадрами). Пошаговый процесс для этого показан на фиг. 19 и может быть описан следующим образом:

901. Выборка характерных точек в целевой области в предыдущем кадре

902. Выборка дескрипторов для обнаруженных характерных точек в предыдущем кадре.

903. Выборка характерных точек в текущем кадре.

904. Выборка дескрипторов для обнаруженных характерных точек в текущем кадре.

905. Согласование обнаруженных характерных точек.

906. Оценка существенной матрицы с использованием согласованных характерных точек (учитывая, что были согласованы 8 или больше характерных точек).

907. Выборка вращения R и поступательного перемещения T из существенной матрицы.

В качестве альтернативы этапам 906 и 907 может использоваться следующий подход:

908. Использование обнаруженных характерных точек для выполнения лучевого зондирования в предыдущем кадре, чтобы получить трехмерные координаты (x, y, z) согласованных характерных точек.

909. Использование трехмерных координат (x, y, z) лучевого зондирования и соответствующих двухмерных координат текущего кадра изображения для оценки исходного положения (вращения R и поступательного перемещения T) с использованием P3P в схеме согласованности случайного выбора.

910. Выполнение численного уточнения (например, Левенберга-Маркуардта) положения (вращения R и поступательного перемещения T) от начального положения на основе Р3Р/согласованности случайного выбора.

Целевой шаблон коррекции 604, 612 включает входные данные, включающие в себя положение груза, согласованные характерные точки и дескрипторы и обнаруженные характерные точки и дескрипторы. Выходные данные этого этапа в процессе будут показывать обновленные характерные точки и дескриптор для целевого шаблона. Пошаговый процесс для этого показан на фиг. 20 и может быть описан следующим образом:

1001. Удаление часто несогласованной характерной точки из целевого шаблона.

1002. Удаление характерных точек, которые часто рассматриваются как резко выделяющиеся значения оценкой текущего положения.

1003. Добавление часто обнаруживаемой характерной точки в целевой области, которая уже не является частью представительного целевого шаблона.

Оценка 603, 611 положения в трехмерном формате включает получение входных данных, включающих в себя согласованные характерные точки (то есть, согласование между трехмерной характерной точкой в целевом шаблоне и характерными точками, обнаруженными в текущем кадре), и существенные параметры камеры (то есть, фокусное расстояние и центр камеры). Выходные данные этого этапа в процессе будут показывать текущее трехмерное положение и ориентацию груза (то есть, вращение в типе векторной карты и вектор T смещения). Пошаговый процесс для этого показан на фиг. 21 и может быть описан следующим образом:

1101. Применение P3P в схеме согласованности случайного выбора, чтобы обнаружить исходное положение (R', T'), которое имеет большинство не выделяющихся значений в соответствии с порогом для ошибки повторного проектирования.

1102. Выборка не выделяющихся значений (двухмерных/трехмерных соответствий) для исходного положения (R', T').

1103. Уточнение положения (R', T') посредством нелинейной оптимизации (например, Левенберга-Маркуардта), которая минимизирует ошибку повторного проектирования. Только не выделяющиеся значения используются для минимизации, и исходное положение (R', T') задается как исходная точка.

В Модели 605, 613 движения груза или судна компонент модели движения груза или судна оценивает текущее положение и ориентацию груза или судна. Он является фильтром типа фильтра Кальмана, который рекурсивно оценивает положение и ориентацию на основе предыдущих наблюдений, текущих наблюдений и модели движения груза или судна. Модель движения груза или судна также может прогнозировать положение груза или судна на основе прежнего наблюдения и модели движения. Примерами моделей движения являются постоянная скорость и линия поведения колебаний. Главные задачи для модели движения груза или судна состоят в том, чтобы дать более точную оценку настоящего положения груза или судна, и в случае потери наблюдения дать прогноз настоящего положения.

В Модели 620 вертикальной качки судна компонент модели вертикальной качки судна оценивает текущую вертикальную качку (положение) и темп вертикальной качки (скорости) судна. Фильтр Кальмана рекурсивно оценивает вертикальную качку судна на основе предыдущих наблюдений, текущих наблюдений и модели вертикальной качки (адаптивной модели волны) судна. Модель вертикальной качки также может прогнозировать вертикальную качку судна на основе предшествующего наблюдения и модели вертикальной качки. Главными задачами модели вертикальной качки судна состоят в том, чтобы дать более точную оценку вертикальной качки и амплитуды вертикальной качки судна и в случае отсутствия наблюдений дать прогноз текущей вертикальной качки и амплитуды вертикальной качки.

На этапе 618 лазерного наведения компонент лазерного наведения определяет, куда необходимо направить дальномер. Вычисляется (двухмерный) вектор от центра настоящего положения груза к центру настоящего положения судна. Длина шага вдоль этого вектора вычисляется с использованием текущей ориентации и размера груза. Выходом алгоритма является желательная трехмерная точка (x, y, z), которую должен пересечь лазерный луч.

На этапе лазерного управления 619 компонент управления лазером вычисляет углы наклона/поворота, необходимые для пересечения желательной трехмерной точки (x, y, z) лазерным лучом.

В одном или более описанных здесь вариантов применения расстояния до цели/поверхности позади/ниже отслеживаемого объекта не могут не представлять интереса. Вместо этого может представлять больший интерес получение и отслеживание трехмерного положения отслеживаемого объекта. В этом случае фокус дальномера всегда будет направлен на сам отслеживаемый объект.

Также можно отслеживать множество объектов способами двухмерного и или трехмерного зрительного восприятия одновременно. Глубина/расстояние до каждого объекта, в этом случае, может быть выбрана с использованием дальномера посредством изменения его направления, соответственно, для последовательного облучения отслеживаемых объектов.

С использованием инклинометра в корпусе 23 камеры и существенных параметров камеры можно оценить положение конца стрелы крана относительно изображения камеры. Относительное положение и скорость между положением груза и положением конца стрелы крана могут использоваться для обнаружения и предупреждения о раскачивании груза для предотвращения раскачивания или гашения раскачивания посредством активного контроля системы управления краном.

Описанные варианты осуществления изобретения и детали, описанные в каждом варианте его осуществления, не следует рассматривать в качестве ограничений изобретения, а они должны рассматриваться просто как примеры возможных вариантов осуществления изобретения. Признаки, которые описаны в вариантах осуществления изобретения, не ограничены соответствующим описанием варианта осуществления изобретения, а должны рассматриваться как признаки, которые могут быть использованы в любом из вариантов или в любом другом описанном сценарии в этом описании изобретения или в формуле изобретения, или на фигурах.

1. Сенсорная система, содержащая сенсорную платформу (1) для изображения перемещения поверхности второго транспортного средства относительно подвешенного грузового объекта, при этом грузовой объект подвешен на погрузочном устройстве, установленном на первом транспортном средстве, и перемещается между упомянутым первым транспортным средством и упомянутым вторым транспортным средством, при этом упомянутое второе транспортное средство движется независимо относительно первого транспортного средства как в вертикальной, так и в горизонтальной плоскости, и упомянутая сенсорная платформа установлена с возможностью преимущественно неограниченного обзора поверхности второго транспортного средства,

упомянутая сенсорная платформа содержит дальномер для самостоятельного измерения расстояния в определенном направлении между дальномером и выбранной областью поверхности упомянутого второго транспортного средства,

упомянутый дальномер имеет линию для выходного сигнала для передачи данных дальности, и

упомянутая сенсорная система содержит блок последующей обработки для обработки данных дальности, выводимых упомянутым дальномером, и выходные данные от упомянутого блока последующей обработки включают в себя по меньшей мере один параметр, описывающий перемещение поверхности второго транспортного средства относительно упомянутого подвешенного грузового объекта.

2. Сенсорная система по п. 1, в которой упомянутая сенсорная платформа содержит дальномер для самостоятельного измерения расстояния в определенном направлении между дальномером и выбранной областью упомянутого подвешенного грузового объекта, причем упомянутая сенсорная система содержит блок последующей обработки для обработки данных дальности, выдаваемых упомянутым дальномером, причем блок последующей обработки дополнительно содержит средство для прогнозирования положения поверхности упомянутого второго транспортного средства, и выходные данные от упомянутого блока последующей обработки включают в себя по меньшей мере, один параметр, описывающий перемещение поверхности второго транспортного средства относительно упомянутого подвешенного грузового объекта.

3. Сенсорная система по п. 1, в которой упомянутая сенсорная платформа включает в себя устройство захвата изображения, приспособленное для получения изображения упомянутого движения упомянутого груза.

4. Сенсорная система по п. 2, в которой упомянутая сенсорная платформа включает в себя устройство захвата изображения, приспособленное для получения изображения упомянутого движения упомянутого груза.

5. Сенсорная система по п. 3, причем упомянутая сенсорная система создает двухмерное или трехмерное изображение упомянутой выбранной области подвешенного груза и двухмерное или трехмерное изображение выбранной области поверхности упомянутого второго транспортного средства.

6. Сенсорная система по п. 4, причем упомянутая сенсорная система создает двухмерное или трехмерное изображение упомянутой выбранной области подвешенного груза и двухмерное или трехмерное изображение выбранной области поверхности упомянутого второго транспортного средства.

7. Сенсорная система по п. 3, в которой упомянутое полученное изображение представляет собой изображение поверхности второго транспортного средства, отображенное на дисплее, при этом упомянутый дальномер измеряет расстояние между дальномером и выбранной областью, выбранной посредством распознавания упомянутой области на упомянутом дисплее.

8. Сенсорная система по п. 4, в которой упомянутое полученное изображение представляет собой изображение поверхности второго транспортного средства, отображенное на дисплее, при этом упомянутый дальномер измеряет расстояние между дальномером и выбранной областью, выбранной посредством распознавания упомянутой области на упомянутом дисплее.

9. Сенсорная система по п. 5, в которой упомянутое полученное изображение представляет собой изображение поверхности второго транспортного средства, отображенное на дисплее, при этом упомянутый дальномер измеряет расстояние между дальномером и выбранной областью, выбранной посредством распознавания упомянутой области на упомянутом дисплее.

10. Сенсорная система по п. 6, в которой упомянутое полученное изображение представляет собой изображение поверхности второго транспортного средства, отображенное на дисплее, при этом упомянутый дальномер измеряет расстояние между дальномером и выбранной областью, выбранной посредством распознавания упомянутой области на упомянутом дисплее.

11. Сенсорная система по п. 7, в которой упомянутый дисплей является интерактивным сенсорным экраном, образующим средство для определения упомянутой выбранной области упомянутой поверхности второго транспортного средства или упомянутого подвешенного грузового объекта.

12. Сенсорная система по п. 8, в которой упомянутый дисплей является интерактивным сенсорным экраном, образующим средство для определения упомянутой выбранной области упомянутой поверхности второго транспортного средства или упомянутого подвешенного грузового объекта.

13. Сенсорная система по п. 9, в которой упомянутый дисплей является интерактивным сенсорным экраном, образующим средство для определения упомянутой выбранной области упомянутой поверхности второго транспортного средства или упомянутого подвешенного грузового объекта.

14. Сенсорная система по п. 10, в которой упомянутый дисплей является интерактивным сенсорным экраном, образующим средство для определения упомянутой выбранной области упомянутой поверхности второго транспортного средства или упомянутого подвешенного грузового объекта.

15. Сенсорная система по любому из пп. 1-14, в которой упомянутое погрузочное устройство приспособлено для использования упомянутых выходных данных от упомянутого блока последующей обработки как входных параметров для компенсации положения грузового объекта с перемещениями, соответствующими измеренным или прогнозируемым перемещениям упомянутой выбранной области поверхности второго транспортного средства.

16. Сенсорная система по любому из пп. 1-14, в которой упомянутая сенсорная платформа включает в себя инклинометр, выполненный с возможностью оценки положения точки подвеса упомянутого грузового объекта, подвешенного на упомянутом погрузочном устройстве, установленном на упомянутом первом транспортном средстве, относительно устройства захвата изображения и использования относительного положения и скорости между местоположением груза и положением точки подвеса для обнаружения раскачивания груза.

17. Сенсорная система по п. 15, в которой упомянутая сенсорная платформа включает в себя инклинометр, выполненный с возможностью оценки положения точки подвеса упомянутого грузового объекта, подвешенного на упомянутом погрузочном устройстве, установленном на упомянутом первом транспортном средстве, относительно устройства захвата изображения и использования относительного положения и скорости между местоположением груза и положением точки подвеса для обнаружения раскачивания груза.

18. Сенсорная система по п. 16, в которой, когда обнаружено раскачивание упомянутого груза, упомянутое обнаружение используется для предотвращения упомянутого раскачивания или гашения упомянутого раскачивания посредством активного управления системой управления операцией погрузки.

19. Сенсорная система по п. 17, в которой, когда обнаружено раскачивание упомянутого груза, упомянутое обнаружение используется для предотвращения упомянутого раскачивания или гашения упомянутого раскачивания посредством активного управления системой управления операцией погрузки.

20. Устройство сенсорной платформы для самостоятельного измерения расстояния в определенном направлении между сенсорной платформой и выбранной областью поверхности, при этом упомянутая сенсорная платформа приспособлена для установки на основной опоре и содержит дальномер, при этом сенсорная платформа также содержит:

точку (22) монтажа для прикрепления сенсорной платформы к основной опоре, базовый кронштейн (30), соединенный с точкой (22) монтажа посредством шарнира (21), первый корпус (23), жестко прикрепленный к опорному кронштейну (30), второй корпус (24), соединенный с базовым кронштейном (30) через наклонно-поворотные кронштейны (2 6).

21. Устройство сенсорной платформы (1) по п. 20, в котором:

упомянутый шарнир (21) содержит демпфирующее средство для гашения вибраций и колебаний, при этом упомянутый базовый кронштейн (30), соединенный с точкой (22) монтажа посредством шарнира (21), приспособлен для образования крепежного элемента для компонентов, содержащих:

упомянутый первый корпус (23), жестко прикрепленный к базовому кронштейну (30), при этом корпус образует кожух для камер, сервоконтроллеров, сервоприводов, инклинометров, гироскопов и датчиков,

упомянутый второй корпус (24) соединен с базовым кронштейном (30) через наклонно-поворотные кронштейны (26) с корпусом, создающим ось для инструментов измерения расстояния, то есть одного дальномера, датчиков вращения и гироскопов, причем приводы (27) и электродвигатели (25) соединены с упомянутыми наклонно-поворотными кронштейнами (26), образуя средство для вращения второго корпуса (24) вокруг одной или более осей, и линий передачи для обеспечения входа и выхода к и от компонентов, содержащихся на сенсорной платформе.

22. Устройство сенсорной платформы (1) по п. 20, в котором упомянутая основная опора представляет собой стрелу крана, транспортное средство или подвешенный груз, предлагающие полный или частичный неограниченный обзор операции погрузки объекта.

23. Устройство сенсорной платформы (1) по п. 21, в котором упомянутая основная опора представляет собой стрелу крана, транспортное средство или подвешенный груз, предлагающие полный или частичный неограниченный обзор операции погрузки объекта.

24. Устройство сенсорной платформы (1) по п. 20, при этом сенсорная платформа дополнительно содержит:

один или множество серводвигателей или приводов (28), включая в себя один или множество датчиков вращения для активного направления сенсорной платформы в намеченном направлении.

25. Устройство сенсорной платформы (1) по п. 21, при этом сенсорная платформа дополнительно содержит:

один или множество серводвигателей или приводов (28), включая в себя один или множество датчиков вращения для активного направления сенсорной платформы в намеченном направлении.

26. Устройство сенсорной платформы (1) по п. 22, при этом сенсорная платформа дополнительно содержит:

один или множество серводвигателей или приводов (28), включая в себя один или множество датчиков вращения для активного направления сенсорной платформы в намеченном направлении.

27. Устройство сенсорной платформы (1) по п. 23, при этом сенсорная платформа также содержит:

один или множество серводвигателей или приводов (28), включая в себя один или множество датчиков вращения для активного направления сенсорной платформы в намеченном направлении.

28. Устройство сенсорной платформы (1) по любому из пп. 21, 23, 25 и 27, в котором упомянутые демпфирующие средства представляют собой активные и/или пассивные демпфирующие средства.

29. Устройство сенсорной платформы (1) по любому из пп. 21, 23, 25 и 27, в котором упомянутые линии передачи содержат линии передачи мощности и/или информации для обеспечения входных данных и выходных данных к и от инструментов и электрических компонент сенсорной платформы.

30. Устройство сенсорной платформы (1) по п. 28, в котором упомянутые линии передачи содержат линии передачи мощности и/или информации для обеспечения входных данных и выходных данных к и от инструментов и электрических компонент сенсорной платформы.

31. Способ, используемый для изображения перемещения поверхности второго транспортного средства относительно подвешенного грузового объекта, при этом грузовой объект подвешен на погрузочном устройстве, смонтированном на первом транспортном средстве и перемещаемом между упомянутым первым транспортным средством и упомянутым вторым транспортным средством, при этом упомянутое второе транспортное средство движется независимо относительно первого транспортного средства как в вертикальной, так и в горизонтальной плоскости, и сенсорная платформа установлена с возможностью преимущественно неограниченного обзора поверхности второго транспортного средства, при этом упомянутая сенсорная платформа содержит дальномер для самостоятельного измерения расстояния в определенном направлении между дальномером и выбранной областью поверхности упомянутого второго транспортного средства, причем упомянутый дальномер имеет линию выходного сигнала для передачи данных дальности и упомянутая сенсорная система содержит блок последующей обработки для обработки данных дальности, выдаваемых упомянутым дальномером, и выходные данные от упомянутого блока последующей обработки включают в себя, по меньшей мере, один параметр, описывающий перемещение поверхности второго транспортного средства относительно упомянутого подвешенного грузового объекта.

32. Способ по п. 31, в котором способ также содержит устройство захвата изображения, приспособленное для получения изображения упомянутой операции перемещения груза для получения двухмерного или трехмерного описания упомянутой выбранной области подвешенного груза и двухмерного или трехмерного описания выбранной области поверхности упомянутого второго транспортного средства.

33. Способ по п. 31, в котором выходные данные блока последующей обработки используют как входные данные в блок управления, используемый для управления активной компенсацией вертикальной качки при упомянутой операции с подвешенным грузом.

34. Способ по п. 32 или 33, причем способ также содержит инклинометр, выполненный с возможностью оценки положения точки подвеса упомянутого грузового объекта, подвешенного на упомянутом погрузочном устройстве, смонтированном на упомянутом первом транспортном средстве относительно устройства захвата изображения, и использования относительного положения и скорости между положением груза и положением точки подвеса для обнаружения раскачивающегося груза.

35. Способ по п. 33, в котором упомянутое детектирование качающегося груза используют для предотвращения раскачивания для предотвращения или гашения раскачивания посредством активного управления системой управления операцией погрузки.