Способ автоматизированного захвата груза краном

Изобретение относится к системам компьютерного зрения для мостовых и козловых кранов и предназначено для эффективного и безопасного захвата грузов, имеющих форму рулона, при помощи С-образного крюка. Для захвата осуществляют ввод размеров рулона и С-образного крюка, размеров и технических параметров видеокамеры в память компьютера. Осуществляют захват видеоизображения с по меньшей мере одной видеокамеры в режиме реального времени. Передают видеоизображения с камеры в память компьютера. Осуществляют обработку видеоизображения в реальном времени. Определяют внешнюю и внутреннюю окружности рулона. Вычисляют расстояние между центром внутренней окружности рулона и центром видеоизображения. Вычисляют путь перемещения крюка к центру рулона на основании рассчитанного расстояния между центром внутренней окружности рулона и центром видеоизображения и размеров рулона, С-образного крюка, размеров и технических характеристик камеры, введенных в память компьютера. Осуществляют отправку данных о пути перемещения крюка в систему управления краном на совмещение центра видеоизображения с центром внутренней окружности рулона. Вычисляют расстояние между С-образным крюком и рулоном на основе информации о размерах внутренней и внешней окружностей рулона, С-образного крюка, размеров и технических характеристик камеры, введенных в память компьютера. Вычисляют расстояние, на которое должен продвинуться С-образный крюк внутрь рулона для его захвата, на основании данных о разнице расстояния между С-крюком и рулоном на видеоизображении, а также размеров и технических характеристик камеры, введенных в память компьютера. Вычисляют путь перемещения крюка внутрь рулона на основании рассчитанного расстояния, на которое должен продвинуться С-образный крюк внутрь рулона для его захвата и размеров рулона, С-образного крюка, размеров и технических характеристик камеры, введенных в память компьютера. Осуществляют отправку данных о пути перемещения крюка внутрь рулона в системы управления краном для захвата рулона. Осуществляют перемещение С-образного крюка до совпадения центра внутренней окружности рулона с центром видеоизображения, при этом по мере перемещения С-образного крюка производят пересчет расстояния смещения. Достигается увеличение скорости захвата груза, повышение точности автоматического захвата грузов, а также снижение вероятности повреждения груза. 5 з.п. ф-лы, 11 ил.

 

Область техники, к которой относится изобретение

Заявленное техническое решение относится к системам компьютерного зрения для мостовых и козловых кранов и предназначено для эффективного и безопасного захвата грузов, имеющих форму рулона, при помощи С-образного крюка.

Уровень техники

Для подъема груза в форме рулона оператор подводит С-образный крюк к его центру. С целью минимизации вероятности повреждения груза оператору необходимо точно позиционировать С-образный крюк, чтобы избежать столкновения крюка и груза в процессе захвата. Однако столкновения периодически происходят ввиду ручного метода управления краном.

Ручной метод имеет ряд недостатков: низкая скорость захвата, высокий риск повреждения груза, необходимость в привлечении дополнительных рабочих для стабилизации и позиционирования С-образного крюка крана. Данные недостатки приводят к увеличению издержек на изготовление и, как следствие, к более высокой цене реализации конечной продукции.

Из уровня техники известен способ и устройства для подъема, транспортировки и опускания груза, известный из US6256553B1, опубл. 03.07.2001. В известном техническом решении для транспортировки рулонов, контейнеров и иных грузов, используется кран с С-образным крюком (или несколькими крюками, предназначенными для захвата груза с двух сторон) или захватом иного типа.

Известный метод включает в себя следующие шаги: выбор груза для транспортировки; захват груза при помощи хотя бы одного элемента захвата; первая контрольная точка задает начальное местоположение груза. Координаты точки передаются в систему автоматического управления; второй контрольной точкой являются координаты места, в которое необходимо переместить груз. Информация о второй контрольной точке также передается в систему автоматического управления; В процессе транспортировки груза его текущее расположение сравнивается со второй контрольной точкой.

Для реализации описываемого подхода необходима хотя бы одна камера, установленная на С-образном крюке. Информация с камеры передается на карту видеозахвата компьютера, компьютер переводит информацию в цифровой вид и вычисляет расстояние между текущим и конечным расположением груза. В свою очередь, произведенные расчеты позволяют скорректировать скорость и направление движения крана.

Основное предназначение метода, описываемого в патенте US6256553B1, заключается в автоматизации процесса транспортировки груза, при этом габариты и особенности самого груза не учитываются.

Описываемый метод не нацелен на обеспечение сохранности груза в процессе захвата.

В случае, когда расстояние между камерой и объектом для захвата заранее неизвестно, согласно описываемому методу, требуется использование дополнительного оборудования: двух камер и лазера.

В случае если параметры груза, информация о которых необходима для осуществления захвата, заранее известна в системе, они загружаются из нее, что требует дополнительного объема памяти по сравнению с предложенным нами подходом.

В случае если система не способна определить необходимую позицию для осуществления захвата, поиск начинается заново. Предложенный нами подход позволяет избежать таких случаев.

В заявленном в настоящем изобретении способе в основе процесса предобработки изображения лежит принцип изменения контрастности. Изменение контрастности изображения позволяет повышать эффективность выделения очертаний объекта на фоне. В свою очередь патент US6256553B1 предполагает осуществление предварительной классификации изображений на основе разбиения в одну из цветовых категорий (около 10). Данный метод требует гораздо большего количества вычислительных ресурсов.

Описываемый в US6256553B1 метод требует наличия моторизированной камеры. В процессе захвата и перемещения требуется изменять угол наклона камеры в диапазоне от 0 до 90 градусов. Заявленный способ не требует осуществлять изменение положения камеры в процессе работы системы.

Несмотря на то, что авторы патента US6256553B1 заявляют о возможности работы с использованием только 1 камеры, примеры, приведенные в описании метода, задействуют 2 камеры. Для всех сценариев использования описываемого нами метода требуется только 1 камера.

Основное отличие заявленного технического решения заключается в том, что оно описывает метод захвата рулонов. Данная система позволяет с особой точностью перемещать хрупкие грузы определенного вида, не повреждая их.

Этот результат достигается за счет использования системы позиционирования С-образного крюка на основе алгоритмов компьютерного зрения. Согласно заявленному методу, оператор имеет возможность перевода системы управления положением С-образного крюка крана в автоматический режим вблизи точки захвата груза. Метод точного автоматического позиционирования при приближении С-образного крюка к грузу позволит сократить количество повреждений.

Заявленное техническое решение раскрывает, в первую очередь, не перемещение груза из точки А в точку Б, а способ точного автоматического захвата грузов определенной формы с целью сохранения его состояния.

Согласно описанной в патенте “US6256553B1” методике, траектория перемещения крюка рассчитывается на основании результата попиксельного сравнения видеоизображений. Предлагаемая в заявленном изобретении методика основана на преобразовании Хафа, которое используется для идентификации заранее известных фигур на изображениях. Подробно метод описан в работе H.K. Yuen и др. “A Comparative Study Of Hough Transform Methods For Circle Finding”.

Раскрытый в настоящем изобретении мметод основан на отслеживании в каждый момент времени лишь очертаний груза. Появление большого количества посторонних объектов в кадре или изменение погодных условий, может оказать сильное влияние на систему обработки изображений, описанную в конкурирующем патенте, так как она основана на попиксельном сравнении двух изображений. Предлагаемый нами подход повышает скорость обработки видеоизображений и перерасчет координат по каждому новому кадру, а также является менее чувствительным к освещению и погодным условиям: выделять объект определенной формы на изображении проще, чем различать объекты произвольной формы в условиях, которые изменились критично.

Сущность изобретения

Задачей, решаемой заявленным техническим решением, является решение создание системы автоматизированного захвата груза краном, позволяющей снизить вероятность повреждения груза при захвате крюком, увеличить скорость захвата груза, отказаться от привлечения дополнительных рабочих, а также снизить требуемый уровень концентрации оператора.

Техническим результатом заявленного технического решения является увеличение скорости захвата груза, повышение точности автоматического захвата грузов, а также снижение вероятности повреждения груза.

Технический результат заявленного технического решения достигается за счет использования системы позиционирования С-образного крюка на основе алгоритмов компьютерного зрения. Согласно заявленному методу, оператор имеет возможность перевода системы управления положением С-образного крюка крана в автоматический режим вблизи точки захвата груза. Метод точного автоматического позиционирования при приближении С-образного крюка к грузу позволит сократить количество повреждений.

Подолее подробно технический результат заявленного технического решения достигается за счет того, что способ безопасного захвата рулона при помощи С-образного крюка, оснащенного видеокамерой, включает в себя этапы, на которых: осуществляют ввод размеров рулона и С-образного крюка, размеров и технических параметров видеокамеры в память компьютера; осуществляют захват видеоизображения с по меньшей мере одной видеокамеры в режиме реального времени; передают видеоизображения с камеры в память компьютера; осуществляют обработку видеоизображения в реальном времени и определяют внешнюю и внутреннюю окружности рулона; вычисляют расстояния между центром внутренней окружности рулона и центром видеоизображения; вычисляют путь перемещения крюка к центру рулона на основании рассчитанного расстояния между центром внутренней окружности рулона и центром видеоизображения и размеров рулона, С-образного крюка, размеров и технических характеристик камеры, введенных в память компьютера; осуществляют отправку данных о пути перемещения крюка в систему управления краном на совмещение центра видеоизображения с центром внутренней окружности рулона; вычисляют расстояния между С-образным крюком и рулоном на основе информации о размерах внутренней и внешней окружностей рулона, С-образного крюка, размеров и технических характеристик камеры, введенных в память компьютера; вычисляют расстояния, на которое должен продвинуться С-образный крюк внутрь рулона для его захвата, на основании данных о разнице расстояния между С-крюком и рулоном на видеоизображении, а также размеров и технических характеристик камеры, введенных в память компьютера; вычисляют путь перемещения крюка внутрь рулона на основании рассчитанного расстояния, на которое должен продвинуться С-образный крюк внутрь рулона для его захвата и размеров рулона, С-образного крюка, размеров и технических характеристик камеры, введенных в память компьютера; осуществляют отправку данных о пути перемещения крюка внутрь рулона в системы управления краном для захвата рулона, осуществляют перемещение С-образного крюка до совпадения центра внутренней окружности рулона с центром видеоизображения, при этом по мере перемещения С-образного крюка производят пересчет расстояния смещения, осуществляют захват рулона.

В частном случае реализации технического решения размеры рулона определяют как глубину, внутренний и внешний диаметр.

В частном случае реализации технического решения размеры С-образного крюка определяют как плечо захвата, высота крюка, высота шейки, глубина плеча захвата, ширина плеча захвата.

В частном случае реализации технического решения размеры видеокамеры определяют как ширину, длину, высоту и положение относительно С-образного крюка.

В частном случае реализации технического решения обработка видеоизображения в реальном времени включает этапы, на которых: переводят изображение в оттенки серого; осуществляют изменение контрастности изображения и выделяют очертания окружностей на изображении; производят размытие изображения по Гауссу; осуществляют поиск окружностей посредством преобразования Хафа, определяют координаты центра окружностей.

В частном случае реализации технического решения используют видеокамеру с разрешением не менее 360x180 пикс, фокусным расстоянием не менее 50 мм, углом обзора камеры не менее 35 градусов и частотой кадров не менее 24 кадра/секунду.

Краткое описание чертежей

Детали, признаки, а также преимущества настоящего изобретения следуют из нижеследующего описания вариантов реализации заявленного технического решения с использованием чертежей, на которых показано:

На рис. 1 представлен общий вид системы захвата рулонов;

На рис. 2 представлен общий вид С-образного крюка;

На рис. 3 представлен метод измерения расстояния между С-образным крюком и рулоном, а также метод измерения пути перемещения крюка внутрь рулона;

На рис. 4 представлен метод совмещения центра внутренней окружности рулона с центром видеоизображения;

На рис. 5А - 5Б представлен алгоритм работы системы;

На рис. 6 - рис.11 представлены конкретные примеры реализации заявленного технического решения посредством двух рулонов: рулон серого цвета с параметрами D1 = 50 мм, D2 = 100 мм, и рулон древесного цвета с параметрами D1 = 70 мм, D2 = 140 мм.;

на рис. 6 – введение параметров одного из рулонов, камеры компьютерного зрения и С-образного крюка, необходимых для работы системы;

на рис. 7 – определение внешней/внутренней окружности захватываемого рулона;

на рис. 8 – совмещение центров видеоизображения и окружностей рулона;

на рис. 9 – расчет расстояния между центрами видеоизображения и окружностей рулона, расчет минимального расстояния между камерой и захватываемым рулоном;

на рис. 10 – положение С-образного крюка относительно рулона после выравнивания центров;

на рис. 11 – перемещение С-образного крюка внутрь рулона.

На рисунках цифрами обозначены следующие позиции:

1 – рулон; 2 – С-образный крюк; 3 – камера компьютерного зрения; 4 – подвижной мост крана; 5 – тележка; 6 – место хранения груза; 7 – поле обзора камеры; 8 – внутренний диаметр рулона; 9 – внешний диаметр рулона; 10 – плечо С-образного крюка.

На рисунках буквами обозначены следующие параметры:

A – Длина плеча С-образного крюка; B – Высота С-образного крюка; C – Высота шейки; D – Высота плеча С-образного крюка; E – Ширина С-образного крюка.

a – Максимальная глубина введения плеча С-образного крюка; b – Длина камеры компьютерного зрения; D1 – Внешний диаметр захватываемого рулона; D2 – Внутренний диаметр захватываемого рулона; X – Минимальное расстояние между камерой и захватываемым рулоном.

d – Расстояние между центром видеоизображения и центром захватываемого рулона в плоскости видеоизображения.

Раскрытие изобретения

Актуальные на сегодняшний день системы управления подъемными кранами включают в себя сложные системы стабилизации. Они являются вспомогательными и облегчают работу оператора. Однако оператор не всегда имеет достаточный обзор рабочей области. Для решения этой проблемы в систему крана внедряются дополнительные обзорные видеокамеры и пульты дистанционного управления. Такие системы позволяют увеличить информированность оператора крана, но не предотвращают столкновение крюка с грузом. Необходимость постоянной концентрации влечет за собой возрастающую усталость оператора. Вследствие этого повышается вероятность столкновения крюка и груза. Для решения данной проблемы необходимо привлечение двух рабочих для осуществления оттяжки крюка.

Предлагаемый метод позволит снизить вероятность повреждения груза при захвате крюком, увеличить скорость захвата груза, отказаться от привлечения дополнительных рабочих, а также снизить требуемый уровень концентрации оператора.

Перед началом работы оператору крана необходимо ввести параметры захватываемого груза в интерфейс.

Осуществляют ввод размеров рулона и С-образного крюка, размеров и технических параметров видеокамеры в память компьютера.

Оператор осуществляет подведение С-образного крюка на безопасное расстояние до груза и активирует систему автоматического захвата груза.

Расстояние, на котором система переводится из ручного режима в автоматический, устанавливается оператором самостоятельно, исходя из способности системы детектировать центр рулона. Способность определения центра рулона зависит от параметров груза, крюка, видеокамеры, уровня освещенности и прочих параметров.

Осуществляют захват видеоизображения с по меньшей мере одной видеокамеры в режиме реального времени. Установленная на С-образном крюке видеокамера производит захват изображения и передает в систему обработки компьютера.

Осуществляют обработку видеоизображения в реальном времени

Переводят изображения в оттенки серого. Далее осуществляют изменение контрастности для более точного выделения очертаний окружностей на изображении. С целью минимизации шумов и усреднения координат определенных точек центра окружностей производится размытие изображения по Гауссу.

К предобработанному изображению применяется алгоритм поиска окружностей, основанный на преобразовании Хафа. Ошибочно найденные окружности отбрасываются в автоматическом режиме и не принимаются во внимание в ходе дальнейшей обработки.

После определения координат центра окружности производится расчет расстояния между центром груза и центром видеоизображения. Метод совмещения центра внутренней окружности рулона с центром видеоизображения проиллюстрирован на рис.4 и включает в себя этапы, на которых:

- вычисляют разность между пиксельными координатами центра видеоизображения и центра окружностей захватываемого рулона;

- на основе введенных параметров захватываемого рулона (D1 и D2) выполняют расчет физического расстояния между центрами видеоизображения и захватываемого рулона (d);

- в систему управления крана передают сигнал перемещения крюка в плоскости, параллельной плоскости видеоизображения, с целью уменьшения расстояния между центрами видеоизображения и захватываемого рулона (d);

- выполнение алгоритма осуществляют в режиме реального времени, пока не совпадут центры видеоизображения и захватываемого рулона.

Вычисляют путь перемещения крюка к центру рулона на основании рассчитанного расстояния между центром внутренней окружности рулона и центром видеоизображения и размеров рулона, С-образного крюка, размеров и технических характеристик камеры, введенных в память компьютера.

Рассчитанное в предыдущем пункте расстояние передают в систему управления краном. По мере движения крюка, производится пересчет расстояния смещения.

Вычисляют расстояния между С-образным крюком и рулоном на основе информации о размерах внутренней и внешней окружностей рулона, С-образного крюка, размеров и технических характеристик камеры, введенных в память компьютера.

Описание метода измерения расстояния между С-образным крюком и рулоном проиллюстрировано на рис.3 и включает этапы, на которых:

- на основе введенных параметров захватываемого рулона (D1 и D2) выполняется перевод пиксельных координат и размеров окружностей рулона на видеоизображении в физические;

- на основе разницы между введенными параметрами захватываемого рулона (D1 и D2) и рассчитанных длин окружностей рулона на видеоизображении вычисляется расстояние (X), при котором происходит данное масштабирование.

Вычисляют расстояния, на которое должен продвинуться С-образный крюк внутрь рулона для его захвата, на основании данных о разнице расстояния между С-крюком и рулоном на видеоизображении, а также размеров и технических характеристик камеры, введенных в память компьютера.

Вычисляют путь перемещения крюка внутрь рулона на основании рассчитанного расстояния, на которое должен продвинуться С-образный крюк внутрь рулона для его захвата и размеров рулона, С-образного крюка, размеров и технических характеристик камеры, введенных в память компьютера проиллюстрировано на рис.3.

Перемещение крюка производится до тех пор, пока центр внутренней окружности рулона не будет совпадать с центром видеоизображения. Колебания крюка на пути к грузу могут частично нивелироваться за счет пересчета траектории движения и высокого быстродействия системы. На конечном этапе крюк продвигается внутрь рулона и осуществляет захват. После чего система управления краном переводится в ручной режим для дальнейшей транспортировки груза.

Ниже приведены конкретные примеры реализации заявленного технического решения. Примеры проиллюстрированы на рисунках 6-10.

В качестве примеров использованы два рулона: а) рулон серого цвета с параметрами D1 = 50 мм, D2 = 100 мм, б) рулон древесного цвета с параметрами D1 = 70 мм, D2 = 140 мм (рис. 7а, 7б).

Видеоизображение с камеры компьютерного зрения, установленной на С-образном крюке, передается в память компьютера. Полученное видеоизображение обрабатывается компьютером, посредством которого определяют окружность на профиле захватываемого рулона при внесении его в поле зрения камеры компьютерного зрения. Определение внешней/внутренней окружности захватываемого рулона.

Посредством компьютера пересчитывают координаты окружности на видеоизображении в пространственные координаты. После чего он отправляет управляющий сигнал на драйверы шаговых двигателей для совмещения центров видеоизображения и окружностей рулона с заданной точностью. Совмещение центров видеоизображения и окружностей рулона (рис. 8а, 8б). Положение С-образного крюка относительно рулона после выравнивания центров (рис. 9а, 9б).

Посредством компьютера рассчитывают путь перемещения внутрь рулона на основе введенных параметров рулона и камеры, а также расстояния от камеры до рулона, определенного через масштабирование рулона заданного размера на видеоизображении. После чего компьютер передает управляющий сигнал по перемещению С-образного крюка внутрь рулона (рис. 10а, 10б).

1. Способ безопасного захвата рулона при помощи С-образного крюка, оснащенного видеокамерой, включающий в себя этапы, на которых:

осуществляют ввод размеров рулона и С-образного крюка, размеров и технических параметров видеокамеры в память компьютера;

осуществляют захват видеоизображения с по меньшей мере одной видеокамеры в режиме реального времени;

передают видеоизображения с камеры в память компьютера;

осуществляют обработку видеоизображения в реальном времени

и определяют внешнюю и внутреннюю окружности рулона;

вычисляют расстояние между центром внутренней окружности рулона и центром видеоизображения;

вычисляют путь перемещения крюка к центру рулона на основании рассчитанного расстояния между центром внутренней окружности рулона и центром видеоизображения и размеров рулона, С-образного крюка, размеров и технических характеристик камеры, введенных в память компьютера;

осуществляют отправку данных о пути перемещения крюка в систему управления краном на совмещение центра видеоизображения с центром внутренней окружности рулона;

вычисляют расстояния между С-образным крюком и рулоном на основе информации о размерах внутренней и внешней окружностей рулона, С-образного крюка, размеров и технических характеристик камеры, введенных в память компьютера;

вычисляют расстояние, на которое должен продвинуться С-образный крюк внутрь рулона для его захвата, на основании данных о разнице расстояния между С-крюком и рулоном на видеоизображении, а также размеров и технических характеристик камеры, введенных в память компьютера;

вычисляют путь перемещения крюка внутрь рулона на основании рассчитанного расстояния, на которое должен продвинуться С-образный крюк внутрь рулона для его захвата и размеров рулона, С-образного крюка, размеров и технических характеристик камеры, введенных в память компьютера;

осуществляют отправку данных о пути перемещения крюка внутрь рулона в системы управления краном для захвата рулона,

осуществляют перемещение С-образного крюка до совпадения центра внутренней окружности рулона с центром видеоизображения, при этом по мере перемещения С-образного крюка производят пересчет расстояния смещения,

осуществляют захват рулона.

2. Способ по п. 1, отличающийся тем, что размеры рулона определяют как глубину, внутренний и внешний диаметр.

3. Способ по п. 1, отличающийся тем, что размеры С-образного крюка определяют как плечо захвата, высота крюка, высота шейки, глубина плеча захвата, ширина плеча захвата.

4. Способ по п. 1, отличающийся тем, что размеры видеокамеры определяют как ширину, длину, высоту и положение относительно С-образного крюка.

5. Способ по п. 1, отличающийся тем, что обработка видеоизображения в реальном времени включает этапы, на которых:

переводят изображение в оттенки серого;

осуществляют изменение контрастности изображения и выделяют очертания окружностей на изображении;

производят размытие изображения по Гауссу;

осуществляют поиск окружностей посредством преобразования Хафа, определяют координаты центра окружностей.

6. Способ по п. 1, отличающийся тем, что используют видеокамеру с разрешением не менее 360x180 пикс, фокусным расстоянием не менее 50 мм, углом обзора камеры не менее 35 градусов и частотой кадров не менее 24 кадра/секунду.