Способ и устройство определения местонахождения изнашиваемой детали на изображении рабочего инструмента

Группа изобретений относится к обработке изображений для определения местонахождения изнашиваемой детали на изображении рабочего инструмента. Технический результат – сокращение времени установки в ввода в эксплуатацию, повышение надежности системы мониторинга изнашиваемых деталей. Устройство определения местонахождения изнашиваемой детали на изображении рабочего инструмента содержит датчик изображений для захвата, по меньшей мере, одного изображения рабочего инструмента во время работы тяжелого оборудования, при этом изображение содержит множество пикселей, каждый из которых имеет определенное значение яркости, цепь обработки, сконфигурированную на: выбор последовательных подмножеств пикселей из множества пикселей; обработку каждого подмножества пикселей, чтобы определять, удовлетворяют ли значения яркости пикселей из подмножества пикселей критерию соответствия, указывающему на вероятность того, что подмножество пикселей соответствует изнашиваемой детали. При этом обработка каждого подмножества пикселей включает обработку каждого подмножества пикселей посредством соответствующего множества входных узлов нейронной сети, каждый входной узел имеет присвоенный ему вес и способен создавать взвешенные выходные сигналы в ответ на принятое значение яркости. Критерий соответствия основан на обработке помеченного множества обучающих изображений во время обучающего упражнения до захвата, по меньшей мере, одного изображения рабочего инструмента, при этом обучающее упражнение обеспечивает возможность определять присвоенные веса для множества входных узлов. 2 н. и 30 з.п. ф-лы, 20 ил.

 

Предпосылки создания изобретения

Область техники, к которой относится изобретение

Настоящее изобретение относится в целом к обработке изображений, более точно, к обработке изображений с целью определения местонахождения изнашиваемой детали на изображении рабочего инструмента.

Описание известного уровня техники

Тяжелое оборудование, используемое в шахтах и на карьерах, обычно содержит рабочий инструмент, такой как погрузчик, экскаватор или одноковшовый экскаватор с прямой лопатой для копания, погрузки, манипулирования или перемещения материала, такого как руда, грязь или другие отходы. Во многих случаях рабочий инструмент имеет расходуемое землеройное оборудование (GET, от английского - Ground Engaging Tool), которое часто имеет зубья из закаленного металла и адаптеры для проникновения в материал. В процессе эксплуатации зубья и/или адаптеры могут изнашиваться, повреждаться или отсоединяться. Такие зубья и/или адаптеры обычно называются изнашиваемыми деталями и также могут включать другие детали, такие как межзубьевая защита. Эти изнашиваемые детали подвержены износу вследствие контакта зачастую с абразивным материалом и считаются расходуемыми компонентами, которые предназначены для защиты более долговечных деталей GET.

При горных работах или открытой разработке отсоединившаяся изнашиваемая деталь, например недостающий зуб или адаптер, может повредить находящееся ниже по потоку оборудование для переработки руды. Необнаруженная изнашиваемая деталь может также создавать угрозу безопасности, поскольку, например, при попадании зуба в рудодробилку, он может перемещаться с очень высокой скоростью за счет зацепления с лопастями дробилки, что создает потенциально смертельную угрозу безопасности. В некоторых случаях изнашиваемая деталь может застревать в технологическом оборудовании ниже по потоку, таком как дробилка, излечение из которого вызывает простои и создает угрозу безопасности рабочих. Изнашиваемая деталь также может проходить через дробилку и наносить значительный ущерб другому технологическому оборудованию ниже по потоку, например, прорезать конвейерную ленту в продольном и/или поперечном направлении. Это может создавать особую сложность в случае зубьев погрузчика или экскаватора, которые обычно являются более длинными и узкими, чем зубья ковша механической лопаты. Кроме того, знание текущего размера и длины изнашиваемой детали также может иметь большое значение при горных работах или открытой разработке. Определение состояния изнашиваемых деталей, такого как их размер (длина), помогает прогнозировать, когда требуется замена или переустановка этих изнашиваемых деталей, чтобы предотвратить повреждение рабочего инструмента, а также предотвратить неэффективную эксплуатацию вследствие незапланированного технического обслуживания.

Существуют системы мониторинга с помощью камер контроля состояния изнашиваемых деталей рабочих инструментов, связанных с тяжелым оборудованием, таких как фронтальные погрузчики, колесные погрузчики, одноковшовые погрузчики, гусеничные экскаваторы с обратной лопатой, электрические одноковшовые экскаваторы с прямой лопатой и гидравлические одноковшовые экскаваторы с прямой лопатой. В таких системах мониторинга могут использоваться алгоритмы слежения за ковшом с целью его контроля во время работы, идентификации зубьев и других изнашиваемых деталей на ковше и передачи предупреждения оператору в случае отсоединения какой-либо детали рабочего инструмента.

Сохраняется потребность в способах и устройствах определения местонахождения и/или состояния изнашиваемых деталей на изображении рабочего инструмента, связанного с тяжелым оборудованием.

Краткое изложение сущности изобретения

В соответствии с одной из раскрытых особенностей предложен способ определения местонахождения изнашиваемой детали на изображении рабочего инструмента, связанного с тяжелым оборудованием. Способ включает захват, по меньшей мере, одного изображения рабочего инструмента во время работы тяжелого оборудования, при этом изображение содержит множество пикселей, каждый из которых имеет определенное значение яркости. Способ также включает выбор последовательных подмножеств пикселей из множества пикселей и обработку каждого подмножества пикселей, чтобы определить, удовлетворяют ли значения яркости пикселей из подмножества пикселей критерию соответствия, указывающему на вероятность того, что подмножество пикселей соответствует изнашиваемой детали. Критерий соответствия основан на обработке помеченного множества обучающих изображений во время обучающего упражнения до захвата, по меньшей мере, одного изображения рабочего инструмента. Обработка каждого подмножества пикселей может включать, по меньшей мере, одно из следующего: прямую обработку значений яркости пикселей, извлечение признаков пикселей из подмножества пикселей и/или генерирование гистограммы ориентированных градиентов для подмножества пикселей.

Обработка каждого подмножества пикселей может включать обработку каждого подмножества пикселей посредством соответствующего множества входных узлов нейронной сети, при этом каждый входной узел имеет присвоенный ему вес и способен создавать взвешенные выходные сигналы в ответ на принятое значение яркости.

Способ может включать прием взвешенных выходных сигналов от входных узлов на множестве скрытых узлов нейронной сети, при этом каждый скрытый узел имеет присвоенный ему вес и способен создавать взвешенные выходные сигналы в ответ на взвешенные выходные сигналы, принятые от входных узлов.

Способ может включать прием взвешенных выходных сигналов от скрытых узлов на одном или нескольких выходных узлах, при этом один или несколько выходных узлов имеют присвоенный им вес и способны создавать взвешенные выходные сигналы в ответ на взвешенные выходные сигналы, принятые от скрытых узлов.

Множество скрытых узлов может включать скрытые узлы одного или нескольких слоев, при этом узлы каждого последовательного слоя оперируют выходными сигналами, созданными узлами предыдущего слоя.

Захват, по меньшей мере, одного изображения может включать захват последовательности изображений рабочего инструмента во время работы, при этом один или несколько слоев включают слой памяти, содержащий узлы, способные на основании результатов обработки предыдущих изображений рабочего инструмента конфигурировать нейронную сеть на обработку последовательных изображений рабочего инструмента.

Обработка помеченного множества обучающих изображений во время обучающего упражнения может включать обработку помеченных множеств последовательных обучающих изображений.

Определение того, соответствуют ли значения яркости пикселей из подмножества пикселей критерию соответствия, может включать определение того, превышают ли взвешенные выходные сигналы контрольное пороговое значение.

Прием взвешенных выходных сигналов от входных узлов на множестве скрытых узлов может включать прием взвешенных выходных сигналов от входных узлов на первом множестве скрытых узлов и прием взвешенных выходных сигналов от первого множества скрытых узлов на втором множестве скрытых узлов, при этом каждый из второго множества скрытых узлов имеет присвоенный ему вес и способен создавать взвешенные выходные сигналы в ответ на взвешенные выходные сигналы, принятые от первого множества скрытых узлов.

Обработка каждого подмножества пикселей может включать обработку каждого подмножества пикселей с использованием сверточной нейронной сети, имеющей множество слоев, включающих, по меньшей мере, один сверточный слой, сконфигурированный на создание свертки пикселей в каждом подмножестве пикселей, а обработка помеченного множества обучающих изображений может включать обработку обучающих изображений, чтобы сконфигурировать сверточную нейронную сеть на реализацию критерия соответствия с целью создания выходных данных классификации пикселей, указывающих, соответствуют ли пиксели из подмножеств пикселей изнашиваемой детали.

Создание свертки может включать создание свертки с использованием разреженного ядра, записи в котором разделены строками и столбцами нулевых значений.

Создание свертки может включать создание свертки с использованием разреженного ядра, записи в котором разделены множеством строк и множеством столбцов нулевых значений.

Сверточная нейронная сеть может содержать слой подвыборки, сконфигурированный на обработку свертки с целью обеспечения множества выходных сигналов подвыборки, при этом каждый выходной сигнал подвыборки основан на значениях, связанных с множеством пикселей в свертке.

В слое подвыборки может быть реализован один из методов, включающих максимизирующую подвыборку, усредняющую подвыборку и стохастическую подвыборку.

Способ может включать передискретизацию изображения с целью создания передискретизированного множества пикселей, при этом обработка с использованием сверточной нейронной сети может включать обработку передискретизированного множества пикселей, а сверточная нейронная сеть сконфигурирована на реализацию критерия соответствия с использованием соответствующим образом передискретизированного множества обучающих изображений.

Передискретизация данных пикселей может включать, по меньшей мере, одно из следующего: повышающую дискретизацию изображения и понижающую дискретизацию изображения с целью создания передискретизированного множества пикселей.

Захват, по меньшей мере, одного изображения может включать захват последовательности изображений рабочего инструмента во время работы, а сверточная нейронная сеть может содержать, по меньшей мере, один слой памяти, способный на основании результатов обработки предыдущих изображений рабочего инструмента конфигурировать нейронную сеть на обработку последовательных изображений рабочего инструмента с целью создания выходных данных классификации пикселей для последовательности изображений.

Обработка помеченного множества обучающих изображений во время обучающего упражнения может включать обработку помеченных множеств последовательных обучающих изображений.

Помеченное множество обучающих изображений может содержать множество изображений, которые были помечены пользователем.

Помеченное множество обучающих изображений может содержать множество изображений, которые были помечены компьютерным методом.

Обучающие изображения могут содержать изображения различных примеров изнашиваемой детали, помеченные как содержащие изнашиваемую деталь, и другие изображения, помеченные как не содержащие изнашиваемую деталь.

Выбор последовательных подмножеств пикселей из множества пикселей может дополнительно включать обработку множества пикселей, чтобы определить, присутствует ли на изображении рабочий инструмент, и, если рабочий инструмент присутствует на изображении, ограничение множества пикселей пикселями в пределах представляющий интерес области, в которую входит рабочий инструмент, до выбора последовательных подмножеств пикселей из множества пикселей.

Обработка множества пикселей, чтобы определить, присутствует ли на изображении рабочий инструмент, может включать выбор, по меньшей мере, одного подмножества пикселей из множества пикселей, обработку, по меньшей мере, одного подмножества пикселей, чтобы определить, удовлетворяют ли значения яркости пикселей, по меньшей мере, из одного подмножества пикселей критерию соответствия рабочему инструменту, указывающему на вероятность того, что рабочий инструмент находится в пределах, по меньшей мере, одного подмножества пикселей, при этом критерий соответствия рабочему инструменту может быть основан на обработке помеченного множества обучающих изображений во время обучающего упражнения до захвата, по меньшей мере, одного изображения рабочего инструмента.

Выбор последовательных подмножеств пикселей из множества пикселей может включать одно из следующего: выбор последовательных подмножеств пикселей, имеющих фиксированный заданный размер, и вычисление размера подмножества пикселей на основе захваченного изображения.

Критерий соответствия может содержать множество значений весов, соответствующих пикселям из подмножества пикселей, а обработка каждого подмножества пикселей может включать вычисление произведения яркости пикселя и соответствующего значения веса для каждого пикселя из подмножества пикселей с целью определения взвешенного выходного сигнала пикселя, и определение того, удовлетворяет ли подмножество пикселей критерию соответствия путем определения того, превышает ли комбинация взвешенных выходных сигналов подмножества пикселей пороговое значение.

Определение того, могут ли взвешенные выходные сигналы подмножества пикселей превышать пороговое значение, может включать объединение определенных взвешенных выходных сигналов подмножества пикселей, и определение того, превышает ли объединенный взвешенный выходной сигнал пороговое значение.

Захват, по меньшей мере, одного изображения может включать захват множества изображений рабочего инструмента во время работы тяжелого оборудования, при этом выбор и обработка подмножеств пикселей из множества пикселей могут выполняться для каждого изображения, а способ может дополнительно включать определение того, удовлетворяют ли значения яркости пикселей из подмножеств пикселей критерию соответствия на последовательных изображениях из множества изображений.

Захват, по меньшей мере, одного изображения может включать захват, по меньшей мере, одного изображения с использованием датчика изображений, имеющего чувствительность к волнам, по меньшей мере, в видимом спектре или инфракрасном спектре.

Способ может включать определение размерного признака изнашиваемой детали.

Способ может включать определение, по меньшей мере, одного из следующего: является ли состояние изнашиваемой детали удовлетворительным на основании заранее заданных критериев и прогнозирование времени отказа изнашиваемой детали на основании скорости ее износа с течением времени.

В соответствии с другой раскрытой особенностью предложено устройство определения местонахождения изнашиваемой детали на изображении рабочего инструмента, связанного с тяжелым оборудованием. Устройство содержит датчик изображений для захвата, по меньшей мере, одного изображения рабочего инструмента во время работы тяжелого оборудования, при этом изображение содержит множество пикселей, каждый из которых имеет определенное значение яркости. Устройство также содержит цепь обработки, сконфигурированную на выбор последовательных подмножеств пикселей из множества пикселей. Цепь обработки также сконфигурирована на обработку каждого подмножества пикселей, чтобы определять, удовлетворяют ли значения яркости пикселей из подмножества пикселей критерию соответствия, указывающему на вероятность того, что подмножество пикселей соответствует изнашиваемой детали. Критерий соответствия основан на обработке помеченного множества обучающих изображений во время обучающего упражнения до захвата, по меньшей мере, одного изображения рабочего инструмента.

Датчиком изображений может являться датчик изображений, имеющий чувствительность к волнам, по меньшей мере, в видимом спектре или инфракрасном спектре.

Другие особенности и признаки станут очевидными для специалистов в данной области техники после рассмотрения следующего далее описания конкретных раскрытых вариантов осуществления со ссылкой на прилагаемые чертежи.

Краткое описание чертежей

На чертежах, иллюстрирующих раскрытые варианты осуществления:

на фиг. 1 схематически показано устройство определения местонахождения и/или состояния изнашиваемой детали согласно первому раскрытому варианту осуществления;

на фиг. 2 показан вид в перспективе колесного погрузчика, в котором реализовано показанное на фиг. 1 устройство;

на фиг. 3 показан вид в перспективе гусеничного одноковшового экскаватора с обратной лопатой, в котором может быть реализовано показанное на фиг. 1 устройство;

на фиг. 4 показан вид в перспективе гидравлического одноковшового экскаватора с прямой лопатой, в котором может быть реализовано показанное на фиг. 1 устройство;

на фиг. 5 показан вид в перспективе электрического одноковшового экскаватора, в котором реализовано показанное на фиг. 1 устройство;

на фиг. 6 показана блок-схема цепи обработки устройства, показанного на фиг. 1;

на фиг. 7 показана блок-схема способа определения местонахождения изнашиваемой детали показанной на фиг. 6 цепью обработки;

на фиг. 8 показан один из примеров захваченного изображения части ковша колесного погрузчика, показанного на фиг. 3;

на фиг. 9 изображено подмножество пикселей, связанное с частью изображения, показанного на фиг. 8;

на фиг. 10 показана блок-схема способа, в котором показанная на фиг. 6 цепь обработки определяет, удовлетворяет ли подмножество пикселей на фиг. 9 критерию соответствия;

на фиг. 11 показана блок-схема способа контролируемого обучения, реализуемого показанной на фиг. 6 цепью обработки;

на фиг. 12 показан снимок экрана, созданный показанной на фиг. 6 цепью обработки во время способа контролируемого обучения, показанного на фиг. 11;

на фиг. 13 схематически показана искусственная нейронная сеть для реализации части способа, показанного на фиг. 7;

на фиг. 14 показана блок-схема способа определения местонахождения изнашиваемой детали показанной на фиг. 6 цепью обработки в соответствии с одним из альтернативных вариантов осуществления;

на фиг. 15 показан один из примеров захваченного изображения части ковша показанного на фиг. 2 электрического одноковшового экскаватора в варианте осуществления способа, показанном на фиг. 14;

на фиг. 16 показана блок-схема способа определение местонахождения и мониторинга состояние изнашиваемой детали показанной на фиг. 6 цепью обработки в соответствии с другим раскрытым вариантом осуществления;

на фиг. 17 показан график, иллюстрирующий местонахождения изнашиваемых деталей на множестве изображений, генерированных в соответствии со способом, показанным на фиг. 16;

на фиг. 18 показан график, иллюстрирующий основные компоненты местонахождений изнашиваемых деталей, связанные с местонахождениями изнашиваемых деталей, показанными на фиг. 17;

на фиг. 19 схематически показана сверточная нейронная сеть, реализованная в цепи обработки, показанной на фиг. 6; и

на фиг. 20 показан снимок экрана на дисплее, показанном на фиг. 1.

Подробное описание

На фиг. 1 показано устройство определения местонахождения изнашиваемой детали и/или состояния изнашиваемой детали рабочего инструмента, связанного с тяжелым оборудованием, обозначенное позицией 100. Устройство 100 содержит датчик 102 изображений и цепь 104 обработки. Датчик 102 изображений поддерживает связь с цепью 104 обработки по каналу 106 связи. Устройство 100 также содержит дисплей 108, который поддерживает связь с цепью 104 обработки по каналу 110 связи.

Как показано на фиг. 2, в одном из вариантов осуществления датчик 102 изображений установлен на колесном погрузчике 250. Колесный погрузчик 250 имеет рабочий инструмент в виде ковша 252, установленный на боковых опорах 254. Ковш 252 имеет множество изнашиваемых зубьев 256, которые подвержены износу или повреждению во время работы. Датчик 102 изображений обычно установлен между боковыми опорами и имеет соответствующее поле 258 обзора. Во время работы зубья 256 на ковше 252 обычно входят в поле 258 обзора и выходят из него. Установленный датчик 102 изображений более подробно показан на вставке 260. В этом варианте осуществления датчик 102 изображений выполнен в виде тепловизионного датчика, чувствительного к волнам инфракрасного диапазона. Термическое формирование изображений особо применимо для мониторинга зубьев 256 показанного на фиг. 2 колесного погрузчика 250, поскольку датчик 102 изображений отображает заднюю сторону ковша 252, и также существует меньшая вероятность того, что руда застрянет в ковше и перекроет обзор зубьев.

Как показано на фиг. 1, датчик 102 изображений имеет монтажный кронштейн 112, с помощью которого датчик прикреплен к колесному погрузчику 250 под ковшом 252. Обычно кронштейн 112 рассчитан на крепление к погрузчику конкретного типа, в данном случае колесному погрузчику Caterpillar™ и может обеспечивать ударную изоляцию и виброизоляцию датчика 102 изображений. Датчик 102 изображений защищен от выпадающих из ковша 252 обломков защитным корпусом 114. В некоторых вариантах осуществления внутри защитного корпуса 114 может помещаться система очистки линз (не показанная) для подачи промывочной жидкости под высоким давлением и/или потока сжатого воздуха для очистки датчика 102 изображений, который обращен вверх и не защищен во время работы.

Как показано на фиг. 3, аналогичный датчику 102 датчик может быть установлен на другом тяжелом оборудовании, таком как гусеничный экскаватор с обратной лопатой, обозначенный позицией 120. Экскаватор 120 имеет ковш 122 с зубьями 124. В проиллюстрированном варианте осуществления показаны два возможных местонахождения датчика изображений, обозначенные позициями 126 и 128, каждое из которых имеет соответствующее поле 130 и 132 зрения. Датчик 126, 128 изображений более подробно показан на вставке 134 и включает датчик 136 изображений видимого спектра и источник 138 освещения для освещения поля 130 или 132 зрения.

Как показано на фиг. 4, аналогичный датчику 102 датчик в качестве альтернативы может быть установлен на гидравлическом одноковшовом экскаваторе с прямой лопатой, обозначенном позицией 140, которая имеет ковш 142 с зубьями 144. Датчик 146 изображений установлен на рычажном механизме 148, который поддерживает ковш 142 экскаватора. Датчик изображений 146 более подробно показан на вставке 150 и содержит датчик 152 изображений видимого спектра и источник 154 освещения для освещения ковша 142 экскаватора.

Как показано на фиг. 5, в другом варианте осуществления датчик 212 изображений может быть установлен на электрическом одноковшовом экскаваторе 200. Датчик 212 изображений установлен на конце стрелы 202 экскаватора 200 и ориентирован таким образом, чтобы обеспечивать изображения рабочего инструмента экскаватора, в данном случае ковша 204. Датчик 212 изображения более подробно показан на вставке 214 и содержит монтажный кронштейн 216, корпус 218 и в данном варианте осуществления источник 220 освещения. В этом варианте осуществления датчик 212 изображения имеет чувствительность к волнам видимого спектра, но в других вариантах осуществления может использоваться температурный датчик, и источник 220 освещения может отсутствовать. Монтажный кронштейн 216 может быть рассчитан на обеспечения виброизоляции и/или ударной изоляции датчика 212 изображений и источника 220 освещения. Ковш 204 имеет множество зубьев 206, которые в случае электрического экскаватора обычно представляют собой сменные изнашиваемые детали. Датчик 212 изображений имеет поле 208 зрения (обозначенное пунктирными линиями), в которое входит ковш 204 и зубья 206. Обычно поле зрения 208 сконфигурировано таким образом, что ковш 204 остается в поле зрения при выемке руды экскаватором 200 во время горных работ. В варианте осуществления, показанном на фиг. 5, в кабине 210 экскаватора 200 находятся процессор 104 и дисплей 108. Дисплей 108 служит для обеспечения обратной связи с оператором экскаватора 200.

В некоторых вариантах осуществления устройство 100 может также содержать источник освещения (не показанный) для освещения поля зрения при работе в условиях слабой освещенности. В вариантах осуществления, в которых датчик 102 или 212 изображений чувствителен к инфракрасным волнам, освещение может не требоваться, поскольку зубья нагреваются во время работы и обеспечивают высокую контрастность инфракрасного изображения даже в условиях слабой освещенности.

В других вариантах осуществления датчик 102 изображений может быть установлен на другом тяжелом оборудовании, таком как гидравлические одноковшовые экскаваторы, фронтальные погрузчики, колесные погрузчики, одноковшовые погрузчики и экскаваторы с обратной лопатой.

Цепь обработки

На фиг. 6 показана блок-схема цепи 104 обработки. Как показано на фиг. 6, в цепь 104 обработки входит микропроцессор 300, память 302 и порт 304 ввода-вывода, при этом все они поддерживают связь с микропроцессором 300. В одном из вариантов осуществления цепь 104 обработки может быть оптимизирована для выполнения функций обработки изображений. Микропроцессор 300 может содержать графический процессор 334 (ГП) для повышения скорости выполнения цепью 104 обработки задач обработки изображений. Микропроцессор 300 также содержит порт 306 интерфейса (такой как порт интерфейса SATA) для подключения массового запоминающего устройства 308, такого как жесткий диск или твердотельный накопитель. В памяти 302 или массовом запоминающем устройстве 308 могут храниться управляющие программы с указаниями для микропроцессора 300 по выполнению функций, связанных с определением местонахождения зубьев на изображениях ковша 204 или 252.

Порт 304 ввода-вывода также может содержать сетевой интерфейс 310, имеющий порт для подключения к сети, такой как Интернет или другая локальная сеть (ЛВС). В качестве альтернативы или дополнительно порт 304 ввода-вывода может содержать беспроводной интерфейс 314 для беспроводного подключения к точке беспроводного доступа к сети. Локальная сеть и/или беспроводная сеть могут быть реализованы в электрическом одноковшовом экскаваторе 200 и могут использоваться в качестве каналов 106 и 110 связи, соединяющих датчик 102 изображений, цепь 104 обработки и дисплей 108. В качестве альтернативы, каналы 106 и 110 связи могут быть реализованы с использованием кабелей. Управляющие программы могут загружаться в память 302 или массовое запоминающее устройство 308, например, с использованием сетевого интерфейса 310 или беспроводного интерфейса 314.

Порт 304 ввода-вывода также содержит интерфейс 320 дисплея, имеющий сигнальный выход 322 для формирования сигналов управления дисплеем 108. В одном из вариантов осуществления дисплеем 108 может являться сенсорный дисплей, а интерфейс 320 дисплея также может содержать USB-порт 324, который поддерживает связь с сенсорным интерфейсом дисплея с целью приема входных сигналов от оператора. Порт 304 ввода-вывода также может иметь дополнительные USB-порты (не показанные) для подключения клавиатуры и/или других периферийных интерфейсных устройств.

Порт 304 ввода-вывода дополнительно содержит порт 330 ввода для приема сигналов изображения от датчика 102 изображений. В одном из вариантов осуществления датчиком 102 изображений может являться цифровая камера, а портом 330 ввода сигналов изображения может являться порт 1394 стандарта IEEE (Firewire), USB-порт или другой применимый порт для приема сигналов изображения. В других вариантах осуществления датчиком 102 изображений может являться аналоговая камера, которая, например, генерирует видеосигналы стандарта NTSC или PAL, а портом 330 ввода сигналов изображения может являться аналоговый вход средства 332 захвата кадра. В других вариантах осуществления (не показанных) цепь 104 обработки может быть частично или полностью реализована с использованием аппаратной логической схемы, включая, например, дискретные логические схемы и/или специализированную интегральную схему (ASIC).

Способ определения местонахождения изнашиваемой детали

На фиг. 7 показана блок-схема способа 400 определения местонахождения изнашиваемой детали, такой как зубья 256 рабочего инструмента в виде ковша 252 или зубья 206 ковша 204, на изображении рабочего инструмента цепью 104 обработки. Шаги способа в целом отображают команды, которые могут считываться из памяти 302 или массового запоминающего устройства 308 и которые предписывают микропроцессору 300 выполнение различных функций. Фактическая программа для реализации каждого шага может быть записана, например, на любом применимом языке программирования, таком как С, С++, С# и/или язык ассемблера.

Выполнение способа 400 начинается с шага 402, на котором микропроцессор 300, побуждает датчик 102 изображений захватить изображение рабочего инструмента. Один из примеров захваченного изображения рабочего инструмента в виде ковша 252, обозначенного позицией 500, показан на фиг. 8. Изображение 500 содержит множество пикселей, представляющих ковш 252, при этом каждый из них имеет определенное значение яркости. В показанном варианте осуществления изображение 500 захвачено с использованием системы термического формирования изображений, чувствительной к волнам инфракрасного диапазона. Нагревание зубьев вследствие трения, возникающего из-за зацепления изнашиваемых деталей с рудой в способе ее выемки, может обеспечить тепловизионное изображение почти при любых условиях освещения. В других вариантах осуществления изображение может захватываться с использованием системы формирования изображений в диапазоне видимых волн. Изображение 500 содержит фоновые области 502, в которых отсутствуют какие-либо объекты, области 504 и 506, в которых присутствуют объекты, не являющиеся частью рабочего инструмента, и рабочий инструмент (ковш) 252. Области 502 и 504 и ковш 252 на изображении 500 представлены пикселями контрастирующей яркости, которая в целом зависит от уровня освещенности и других факторов. Обычно число пикселей на изображении является большим, при этом каждый пиксель имеет небольшой размер (например, 75 пикселей на дюйм отображаемого изображения).

Затем на шаге 404 микропроцессор 300 выбирает подмножество 510 пикселей из множества пикселей. В качестве иллюстрации показано, что подмножество 510 содержит всего 60 пикселей, но на практике подмножество содержит более 60 пикселей в зависимости от размера изнашиваемой детали, местонахождение которой должна быть определено на изображении 500. Поскольку размер подмножества 510 пикселей обычно превышает размер изнашиваемой детали, в него входит изнашиваемая деталь, такая как зуб 256, а также часть фоновой области 502 и области рабочего инструмента 252.

Затем выполнение способа продолжается на шаге 406, на котором микропроцессор 300 обрабатывает подмножество 510 пикселей. В этом варианте осуществления при обработке подмножества 510 пикселей на шаге 408 определяется, удовлетворяют ли значения яркости пикселей из подмножества пикселей критерию соответствия. В одном из вариантов осуществления обработка может соответствовать фактическим значениям яркости пикселей. В других вариантах осуществления может извлекаться другая информация на основании яркости, например, путем деления изображения на связанные ячейки и составления гистограммы направлений уклонов или направлений краев в каждой ячейке.

Если на шаге 406 подмножество 510 пикселей удовлетворяет критерию соответствия, на шаге 408 микропроцессор 300 переходит к шагу 410, и подмножество пикселей помечается как подмножество с высокой вероятностью соответствия изнашиваемой детали, то есть одному из зубьев 256. На шаге 410 микропроцессор 300 также сохраняет местонахождения подмножества 510 пикселей. Местонахождение подмножества 510 пикселей может сохраняться путем сохранения номеров строки и столбца пикселя на изображении 500 для опорного пикселя из помеченного подмножества пикселей. Например, в качестве указания местонахождения изнашиваемой детали может сохраняться центральный пиксель из подмножества 510. В качестве альтернативы, для указания местонахождения подмножества 510 пикселей могут использоваться строка и столбец в верхнем левом углу. Затем на шаге 410 микропроцессор переходит к шагу 412. Если на шаге 408 подмножество 510 пикселей не удовлетворяет критерию соответствия, микропроцессор 300 переходит к шагу 412.

На шаге 412 микропроцессор 300 определяет, следует ли обрабатывать дополнительные подмножества пикселей, и, если это так, микропроцессор переходит к шагу 414 выбора последовательного подмножества пикселей для обработки, которая предусматривает перемещение подмножества 510 пикселей в направлении стрелки 512. В одном из вариантов осуществления последовательные подмножества пикселей перекрывают друг друга по горизонтали примерно на 70-85% с целью обеспечения надежного обнаружения изнашиваемой детали на изображении. В других вариантах осуществления большее или меньшее взаимное перекрывание последовательных подмножеств пикселей может достигаться в соответствии с желаемым компромиссом между надежным обнаружением и оптимальным временем обработки каждого изображения. Например, когда скорость обработки не является проблемой, последовательные подмножества пикселей могут быть разделены всего одним пикселем.

Затем микропроцессор 300 возвращается от шага 412 к шагу 406 для каждого последовательного подмножества 510 пикселей, и повторно выполняет шаги 406 и 408. Как только подмножество 510 пикселей достигает правого края изображения 500, оно может перемещаться вниз (то есть в положение подмножества 510а пикселей) и обратно до левого края изображения для продолжения в направлении 512. В качестве альтернативы, подмножество 510 пикселей может перемещаться от правого края до левого края изображения 500 в направлении, указанном стрелкой 514. В одном из вариантов осуществления последовательные подмножества пикселей перекрывают друг друга по вертикали примерно на 70-85% с целью обеспечения надежного обнаружение изнашиваемой детали на изображении, а в других вариантах осуществления может использоваться большее или меньшее взаимное перекрывание по вертикали последовательных подмножеств пикселей. Если на шаге 412 микропроцессор 300 определяет, что обработка дополнительных подмножеств пикселей не требуется, выполнение способа завершается на шаге 416. Если на шаге 410 не помечены какие-либо подмножества пикселей, считается, что изображение 500 не содержит изнашиваемую деталь.

Критерий соответствия

На фиг. 10 проиллюстрирован способ 450, в котором на шаге 408 определяется, удовлетворяет ли подмножество 510 пикселя критерию соответствия для подмножества 510b пикселей. Вариант осуществления изобретения описан применительно к подмножеству 510b пикселей на изображении 500, которое в целом совмещено с центром зуба 256. На фиг. 9 показано подмножество 510b пикселей в увеличенном масштабе вместе с частью изображения 500, которая содержит зуб 256. Как показано на фиг. 9, пиксели 602 из подмножества 510b пронумерованы с использованием индексов х (604) и у (606) для облегчения ссылки. Каждый пиксель 602 из подмножества 510b имеет присвоенный ему вес W_xy, который в показанном варианте осуществления для наглядности принят за целое число от 0 до 256. В этом варианте осуществления веса W_xy заданы заранее и сохранены в памяти 302 цепи 104 обработки, показанной на фиг. 7.

Выполнение способа 450 начинается с шага 452, на котором микропроцессор 300 считывать яркость I_xy первого пикселя (0,0) из подмножества 510b пикселей. Затем на шаге 454 микропроцессор 300 считывает из памяти 302 цепи 104 обработки вес W_xy, присвоенный первому пикселю (0,0) из подмножества 510b пикселей.

Затем выполнение способа продолжается на шаге 456, на котором микропроцессор 300 вычисляет произведение яркости I_xy и веса W_xy пикселей. Затем на шаге 458 микропроцессор 300 накапливает сумму S значений R_xy. Таким образом, в этом варианте осуществления изобретения произведения и W_xy объединяются просто путем суммирования значений пикселей 602 из подмножества 510b. Если на шаге 460 установлено, что пиксель (х,у) не является последним пикселем (то есть пикселем (5,9)) из подмножества, микропроцессор 300 переходит к шагу 462 выбора следующего пикселя (например, пикселя (0,1)). Затем на шаге 462 микропроцессор 300 возвращается к шагу 452, и повторно выполняете шаги с 452 по 460 для пикселя (0,1). Если на шаге 460 установлено, что пиксель (0,1) является последним пикселем (то есть пикселем (5,9)) из подмножества 510b, выполнение способа 450 завершается с возвратом к шагу 408, показанному на фиг. 7. Таким образом, на шаге 458 микропроцессор 300 накапливает сумму произведений ΣR_xy яркости I_xy и веса W_xy для каждого из пикселей 602 из подмножества 510b.

В этом варианте осуществления значение ΣR_xy, полученное при выполнении способа 450, может сравниться с пороговым значением на шаге 408, и, если пороговое значение превышено, подмножество 510b пикселей считается соответствующим зубу и затем соответствующим образом помечается при выполнении способа 400. Когда подмножество 510b пикселей содержит фоновую область, такую как области 502, 504 или 506, корреляция между более высокими весами W_xy в подмножестве пикселей является в целом низкой, в результате чего значения ΣR_xy являются более низкими. Однако, когда подмножество 510b пикселей содержит зуб, при умножении более высоких весов W_xy, присвоенных определенным пикселям из подмножества пикселей, на более высокие яркости пикселей, получают более высокие значения ΣR_xy. Порог может выбираться эмпирически с целью обеспечения желаемого уровня достоверности при идентификации зубьев на изображении 500. В качестве альтернативы порог может выбираться динамически на основании свойств изображения 500.

На практике, при значительной степени взаимного перекрывания последовательных подмножеств 510 пикселей, значения ΣR_xy в нескольких перекрывающих друг друга подмножеств пикселей могут превышать порог, и, следовательно, эти подмножеств пикселей помечаются как содержащие зуб. В этом случае в способ 400 может включаться дополнительный шаг выбора только одного подмножества пикселей с наибольшим значением ΣR_xy из множества перекрывающих друг друга подмножеств пикселей во избежание многократного обнаружения одного и того же зуба на изображении 500.

Генерирование критерия соответствия

В одном из вариантов осуществления критерий соответствия может генерироваться с использованием способа контролируемого обучения на основании изображений изнашиваемой детали. На фиг. 11 проиллюстрирован один из вариантов осуществления способа контролируемого обучения, обозначенного позицией 500. Хотя способ 550 может быть реализован в цепи 104 обработки, показанной на фиг. 6, обычно для выполнения способа обучения удобно использовать настольный компьютер. Выполнение способа 550 начинается на шаге 552, на котором компьютер принимает множества изображений. Изображения можно удобно сохранять в подкаталоге на жестком диске компьютера. Множество изображений может содержать различные примеры идентифицируемой изнашиваемой детали, такие как изображения зубьев множества различных ковшей экскаваторов и/или другого тяжелого рабочего оборудования, включая зубья в различных положениях на конкретном ковше. Множество изображений также может содержать изображения, которые не соответствуют изнашиваемой детали, и предпочтительно изображения частей экскаватора или другого тяжелого оборудования, которые могут ошибочно приниматься за изнашиваемую деталь.

Затем на шаге 554 компьютер отображает первое изображение. На фиг. 12 позицией 650 обозначен снимок экрана, созданный прикладной программой контролируемого обучения, действующей в настольном компьютере. Снимок 650 экрана содержит отображаемое изображение 652 ковша погрузчика (такого как погрузчик 250, показанный на фиг. 3), имеющего множество зубьев. Затем выполнение способа 550 продолжается на шаге 556, на котором компьютер принимает вводимый пользователем один или несколько ограничивающих прямоугольников, которые идентифицируют отдельные зубья на изображении. На снимке 650 экрана показано множество таких ограничивающих прямоугольников, каждый из которых окружает соответствующий зуб. Программа контролируемого обучения обеспечивает набор кнопок управления, которые позволяют пользователю размещать прямоугольники вокруг каждого зуба с помощью функций перетаскивания. Кнопки управления также обеспечивают доступ к функциям настройки каждого прямоугольника таким образом, чтобы большая часть его площади была занята зубом, но при этом ниже и по бокам зуба оставалось определенное пространство.

Затем на шаге 558 компьютер извлекает отдельные изображения зубьев на основании введенных пользователей ограничивающих прямоугольников 654. Пиксели внутри каждого ограничивающего прямоугольника 654 могут сохраняться как отдельный файл изображений с указанием имени файла или группироваться в каталог, с указанием того, изображения помечены пользователем как изображения зубьев.

Затем на шаге 560 компьютер определяет, обработано последнее изображение из множества изображений. Если остаются изображения, которые требуется обработать, выполнение способа продолжается на шаге 562, на котором компьютер выбирает следующее изображение. Затем выполнение шагов 554-560 повторяется для каждого последовательного изображения, пока не будет завершено контролируемое обучение, и все зубья на множестве изображений не будут извлечены и помечены как изображения зубьев.

Выполнение способа 550 продолжается на шаге 564, на котором компьютер считывает каждое извлеченное изображение. Затем на шаге 566 компьютер обрабатывает изображение, чтобы генерировать и уточнить критерий соответствия на основании изображения. На шаге 568 компьютер определяет, остаются ли еще извлеченные изображения, требующие обработки, и, если это так, на шаге 570 компьютер выбирает следующее изображение для обработки. Если на шаге 568 обработаны все извлеченные изображения, компьютер переходит к шагу 572, а критерий соответствия сохраняется как критерий соответствия для использования в способе 400, показанном на фиг. 7. В одном из вариантов осуществления контролируемое обучение может дополнительно предусматривать использование изображений, которые помечены как не содержащие изнашиваемой детали. Например, как показано на фиг. 12, части 656 изображения 652 могут выбираться пользователем или произвольно помечаться как изображения без зубьев. Изображения без изнашиваемой детали могут использоваться для генерирования критерия соответствия, который менее чувствителен к ложноположительной идентификации изнашиваемой детали на изображении.

Реализация нейронной сети

В одном из вариантов осуществления обработка подмножества пикселей на шаге 406, показанном на фиг. 7, может быть реализована с использованием искусственной нейронной сети. На фиг. 13 показан один из примеров небольшой нейронной сети, обозначенной позицией 800. Нейронная сеть 800 содержит входной слой 802, содержащий входные сигналы x₁, х₂, х₃, … x_j. Входные сигналы x_j могут, например, представлять значения яркости пикселей из подмножества пикселей. Нейронная сеть 800 также содержит один или несколько скрытых слоев, каждый из которых содержит множество узлов или нейронов. В данном случае нейронная сеть 800 содержит скрытые слои 804 и 806. Каждый нейрон в скрытом слое 804 имеет соответствующую функцию активации ƒ₁, ƒ₂, ƒ₃, … ƒ_n, при этом функции активации имеют вид следующего уравнения:

в котором W означает вес, присвоенный каждому нейрону, а b означает смещение. Каждый слой нейронной сети необязательно может иметь смещение, которым является нейрон, имеющий постоянное значение "1" и связан с каждым нейроном в слое. Во время обучающего упражнения также должны определяться значения веса этих нейронов смещения. Если смещение не используется, значение "b" в уравнении 1 устанавливается равным нулю.

Аналогичным образом скрытый слой 806 содержит нейроны, имеющие функции активации g₁, g₂, … g_n. Функция активации каждого из нейронов в слое 804 генерирует выходной сигнал в ответ на входные сигналы x_j, которые принимаются нейронами в скрытом слое 806. Функция активации каждого из нейронов в слое 806 аналогичным образом генерирует выходной сигнал в ответ на входные сигналы нейронов в слое 804. В других вариантах осуществления скрытые слои 804 и 806 могут содержать большее число нейронов, каждый из которых имеет функцию активации.

Нейронная сеть 800 также имеет выходной слой 808, содержащий нейрон, имеющий функцию активации h, которая может иметь форму, аналогичную форме упомянутой выше функции активации, и генерирует результат h_Wb(x_j) вычислений.

Путем выбора соответствующих значений W и b веса для нейронов в слоях 804, 806 и 808 нейронную сеть 800 можно конфигурировать на получение результата вычислений, который указывает, представляет ли входное подмножество пикселей конкретную изнашиваемую деталь. Таким образом, оценка результата вычислений для любого конкретного входного подмножества пикселей, захваченного во время работы, включает оценку функций активации ƒ₁, ƒ₂, ƒ₃, … ƒ_n, g₁, g₂, … g_n и h с использованием сохраненных значений W и b с целью определения выходных сигналов слоев 804-808. В таком случае результат h_Wb(x_j) вычислений указывает, установлено ли, что входное подмножество пикселей соответствует изнашиваемой детали. В этом случае результат вычислений может являться доверительным значением, которое может сравниваться с пороговым значением с целью преобразования результата в форму двоичного "0" или "1", указывающую, было ли определено местонахождение изнашиваемой детали.

В рассмотренном выше варианте осуществления обработка на шаге 566, показанном на фиг. 11, может быть реализована путем обучения нейронной сети 800 с использованием множества подмножеств пикселей, представляющих конкретную изнашиваемую деталь, такую как зуб. Обучение может осуществляться до захвата изображений рабочего инструмента во время работы и может сохраняться в памяти в виде набора данных, содержащих значения W и b веса. Выбор соответствующих значений веса может предусматривать контролируемое обучение. В одном из вариантов осуществления способ обучения может предусматривать выбор пользователем разнообразных подмножеств пикселей, которые помечены как содержащие изнашиваемую деталь, а затем подачу подмножеств пикселей через нейронную сеть 800. Желаемый выходной сигнал для каждого изображения может обозначаться как у, при этом в данном случае у=1 указывает, что подмножество пикселей содержит идентифицированную изнашиваемую деталь, а у=0 указывает, что подмножество пикселей не содержит изнашиваемую деталь. Функция стоимости для оптимизации нейронной сети 800 может быть записана в виде следующего уравнения:

которое представляет собой функции стоимости с полуквадратичным отклонением. Для обучающего набора, имеющего m подмножеств пикселей, общая функция стоимости представлена уравнением:

К представленной выше функции стоимости могут добавляться другие члены, например, член регуляризации, который снижает значения веса с целью предотвращения избыточного обучения. Затем функцию стоимости J минимизируют с использованием алгоритма минимизации, такого как алгоритм обычного градиентного спуска, который определяет значения W и b, обеспечивающие самое точное соответствие между результатом h_Wb(x_j) вычислений и присвоенным значением у для каждого из обучающих подмножеств пикселей.

Могут быть реализованы различные другие подходы к обучению с целью предварительного определения значений W и b веса, связанных с критерием соответствия. В некоторых вариантах осуществления критерий соответствия может полностью предварительно задаваться во время обучающего упражнения. В других вариантах осуществления критерий соответствия может предварительно задаваться частично во время обучающего упражнения и изменяться во время работы тяжелого оборудования при повторной реализации нейронной сети, как описано далее. Альтернативная реализация

На фиг. 14 показана блок-схема 700 способа определения местонахождения изнашиваемой детали на изображении рабочего инструмента цепью 104 обработки в соответствии с одним из альтернативных вариантов осуществления. Выполнение способа начинается с шага 702, на котором микропроцессор 300 захватывает изображение рабочего инструмента, содержащее множество пикселей. Затем на шаге 704 микропроцессор 300 выбирает подмножество пикселей для обработки. Изображение 500, показанное на фиг. 8, воспроизведено на фиг. 15. Однако, как показано на фиг. 15, в показанном варианте осуществления подмножество 752 пикселей выбрано таким образом, чтобы конкретно охватывать несколько зубьев 256 или все зубья, связанные с рабочим инструментом 252, а не только один зуб.

Затем на шаге 706 микропроцессор 300 обрабатывает подмножество пикселей, а на шаге 708 определяет, удовлетворяют ли значения яркости пикселей из подмножества пикселей критерию соответствия рабочему инструменту, указывающему вероятность того, что рабочий инструмент находится в пределах, по меньшей мере, одного подмножества пикселей. Удовлетворяет ли подмножество 752 пикселей критерию соответствия, может определяться на шаге 708, в целом, как описано выше применительно к подмножеству 510b пикселей за исключением того, что значения веса W_xy в этом варианте осуществления связаны с рабочим инструментом в целом, а не только с зубьями 256. Критерий соответствия рабочему инструменту также может определяться на шаге 708 на основании обработки помеченного множества обучающих изображений рабочего инструмента во время обучающего упражнения аналогично тому, как это описано в связи со способом 550, проиллюстрированным на фиг. 11.

Если на шаге 708 установлено, что значения яркости пикселей удовлетворяют критерию соответствия, выполнение способа продолжается на шаге 710, на котором микропроцессор 300 помечает подмножество пикселей как соответствующее рабочему инструменту. На шаге 710 микропроцессор 300 также может сохранять подмножество пикселей в памяти 300. Затем на шаге 712 микропроцессор 300 определяет, обработано ли последнее подмножество пикселей на изображении 500. Если остаются подмножества пикселей, требующие обработки, микропроцессор 300 переходит от шага 712 к шагу 714, выбирает следующее подмножество пикселей и возвращается к шагу 706 обработки следующего выбранного подмножества пикселей. Таким образом, подмножество 752 пикселей на изображении 500 сканируется, как в целом описано выше применительно к подмножеству 510 пикселей. Если на шаге 708 установлено, что значения яркости пикселя не удовлетворяют критерию соответствия, выполнение способа продолжается на шаге 712.

Если на шаге 712 установлено, что не осталось подмножеств пикселей, требующих обработки, микропроцессор 300 переходит к шагу 716. Затем на шаге 716 микропроцессор 300 устанавливает, определено ли местонахождение рабочего инструмента. Если на шаге 710 какое-либо из подмножеств пикселей помечено как удовлетворяющее критерию соответствия рабочему инструменту, считается, что местонахождение рабочего инструмента определено, и микропроцессор возвращается от шага 716 к шагу 404 способа 400, показанного на фиг. 7. Затем может осуществляться идентификация изнашиваемой детали, такой как зубья 256, на основании помеченного подмножества пикселей, содержащего рабочий инструмент 252, местонахождение которого определено. Если несколько подмножеств пикселей помечены как удовлетворяющие критерию соответствия, на шаге 716 микропроцессор 300 дополнительно выбирает подмножество пикселей с наибольшей суммой произведений ΣR_xy. Если местонахождение рабочего инструмента не обнаружено на шаге 716, микропроцессор 300 переходит к шагу 718, на котором микропроцессор корректирует размер подмножества пикселей. Затем микропроцессор 300 возвращается от шага 718 к шагу 704, а повторно выполняет шаги 702-716 с использованием скорректированного подмножества пикселей. Захваченные изображения обычно могут иметь различный масштаб и/или формат, поскольку во время работы ковш 252 перемещается относительно датчика 102 изображений (фиг. 2), обеспечивая различные перспективы последовательно захваченных изображений. Соответственно, в качестве размера подмножества 752 пикселей первоначально может устанавливаться значение по умолчанию, которое может затем увеличиваться, чтобы обеспечить большую вероятность того, что на изображении 500 находится рабочий инструмент 252.

Таким образом, способ 700 обеспечивает сначала идентификацию ковша на изображении с использованием критерия соответствия на основе изображений различных ведер, а затем изнашиваемой детали, такой как зубья после того, как на изображении идентифицирован ковш.

Отслеживание изнашиваемой детали

Описанные выше способы имеют целью определение местонахождения изнашиваемой детали в пределах одного изображения. На практике датчик 102 изображений может быть реализован с использованием видеокамеры, которая производит съемку со скоростью 30 кадров в секунду. Даже в вариантах осуществления, в которых рабочий инструмент перемещается достаточно быстро, будет снята серия кадров изображения и, по меньшей мере, часть этих кадров изображения может быть обработана с целью определения местонахождения изнашиваемой детали. При фиксированном местонахождении датчика 102 изображений (например, на стреле 202 электрического одноковшового экскаватора 200) зубья 256 будут отображаться на многих последовательных кадрах, но будут иметь различный масштаб в зависимости от того, насколько далеко находится ковш от датчика 102 изображений. Зубья также будут иметь различный формат из-за угла между ковшом 252 и полем 208 обзора датчика 102 изображений.

В результате обработки изображений с целью определения местонахождения зубьев 256 может быть не определено местонахождение одного из зубьев. Хотя это событие может интерпретироваться как признак того, что зуб отсоединился или отломился, оно также может являться результатом несовершенной обработки и сопоставления на шагах 408 и 410, показанных на фиг. 7. На фиг. 16 проиллюстрирован один из вариантов осуществления изобретения, обозначенный в целом позицией 850, в котором зуб идентифицируется на основании множества кадров. Выполнение способа начинается на шаге 852, на котором микропроцессор 300 захватывает множество изображений рабочего инструмента. Традиционные видеокамеры могут производить съемку со скоростью 30 кадров в секунду, но цепь 104 обработки может не иметь достаточной емкости для обработки кадров с такой скоростью, и, следовательно, цепь обработки может отбрасывать некоторые из кадров, или может снижаться скорость захвата изображений датчиком 102 изображений.

Затем на шаге 854 микропроцессор 300 обрабатывает каждое изображение и определяет местонахождение изнашиваемой детали на изображении 500 (или множества изнашиваемых деталей в случае множества зубьев 256 ковша 252). Обработка может быть выполняться в соответствии с способом 400, показанным на фиг. 7, или может являться сочетание способа 400 и способа 700, показанного на фиг. 14. Сохраненная строка может определять местонахождение столбца каждого результирующего набора пикселей, который помечен как содержащий зуб и тем самым обеспечивает местонахождение зубьев на изображении 500.

Затем на шаге 856 микропроцессор 300 обрабатывает местонахождения зубьев с целью извлечения местонахождений зубьев на множестве изображений. В одном из вариантов осуществления для каждого из множества изображений генерируется одномерный (1-D) вектор, представляющий местонахождения помеченных подмножеств пикселей. 1-D вектор может иметь размер, соответствующий известному числу зубьев 256 конкретного ковша 252. Затем объединяют несколько из одномерных векторов в двумерную (2-D) матрицу наблюдения. Один из примеров местонахождений зубьев на множестве изображений графически представлен на фиг. 17, на которой местонахождения каждого обнаруженного зуба указаны цифрами 1-9, обозначенными позицией 904. Изменение местонахождения зуба можно рассматривать как ограниченное несколькими различными траекториями, например, траекториями 904 и 906 для 5-го и 6-го зубьев. В одном из вариантов осуществления применяется факторный анализ с целью извлечения субкомпонентов, указывающих основные изменения в местонахождении зубьев. Как показано на фиг. 18, наибольшие изменения в местонахождении зубьев обнаруживаются в двух основных компонентах, обозначенных позициями 920 и 922.

Затем выполнение способа продолжается на шаге 858, на котором микропроцессор 300 на основании анализа основных компонентов определяет, отсутствует ли зуб на последовательных изображениях постоянно или только в отдельных случаях на одном или нескольких изображениях. В одном из вариантов осуществления основные компоненты образуют матрицу из Р×2*N, где Р означает число основных компонентов, которые считаются захватывающими 95% изменений в местонахождении зубьев. N означает известное число зубьев у неповрежденного ковша, координаты х и у каждого из которых находятся по центру изображения. Если на изображении обнаружено М зубьев (М<N), из матрицы основного компонента выбирается столбец 2*М, общее число переменных величин которого составляет 2*N. Другими словами, столбцы 2*(N-M) из матрицы основных компонентов не учитываются, и генерируется суб-основной компонент, который имеет размер Р×2*М. Затем прогнозируется одномерный обнаруженный центр местонахождения зубьев (который имеет длину 2*М относительно суб-основного компонента размером Р×2*М) с целью получения набора коэффициентов. Задача прогнозирования решается методом оценки наименьших квадратов, и вычисляется ошибка оценки. Затем повторяется способ выбора столбцов 2*М из столбцов 2*N, и каждый раз вычисляется ошибка оценки. Столбцы 2*М, которые приводят к минимальной ошибке, обеспечивают оценку местонахождения обнаруженных зубьев. Коэффициенты, соответствующие минимальной ошибке, умножаются на столбцы 2*(N-M), которые не были обнаружены, и идентифицируется местонахождение не обнаруженных или отсутствующих зубьев.

В результате обнаружения и отслеживания зубьев при выполнении способа 850 оцениваются местонахождения зубьев на последовательных изображениях, и микропроцессор 300 отбрасывает ложноположительные результаты и оценивает местонахождение(-я) возможных отсутствующих зубьев.

Если на шаге 858 установлено, что на последовательных изображениях отсутствует зуб, микропроцессор переходит к шагу 860, и зуб или другая изнашиваемую деталь помечается как отсутствующая. В одном из вариантов осуществления отсутствующий зуб идентифицируется, когда зуб отсутствует на 15 или более последовательных изображениях при их обработке со скоростью около 10 изображений в секунду. Затем на шаге 862 микропроцессор 300 генерирует предупреждение для оператора, например, путем отображения предупреждающего сообщения на дисплее 108, воспроизведения звукового сигнала, включения предупредительной световой сигнализации или использования сочетания предупреждений.

Если на шаге 858 установлено, что зуб постоянно отсутствует на последовательных изображениях, микропроцессор 300 возвращается к шагу 852, на котором захватываются дополнительные изображения, и выполнение способа 850 повторяется.

В некоторых вариантах осуществления после выполнения шага 854 нейронные сети 800 или 930 могут использоваться не только для обнаружения изнашиваемой детали, но также для измерения размерного признака, такого как длина и/или размер изнашиваемой детали. Это может делаться способом, в целом соответствующим способу 400, показанному на фиг. 7, или путем сочетания способа 400 и способа 700, показанного на фиг. 14. Способ 850 может включать дополнительные шаги 864-870, которые могут выполняться параллельно шагам 856-860. На шаге 864 микропроцессор 300 определяет размерные признаки изнашиваемой детали в пикселях. Затем на шаге 866 микропроцессор 300 преобразует размер изнашиваемой детали из пикселей в реальные размеры, обычно выраженные в сантиметрах или дюймах. В одном из вариантов осуществления на изображении рабочего инструмента может использоваться известный эталонный размер с целью обеспечения коэффициента масштабирования пикселей в реальные размеры. В одном из вариантов осуществления в качестве известных эталонных размеров может использоваться ширина рабочего инструмента или расстояние между вершинами двух концевых зубьев. Другими параметрами, влияющими на измерение длины, являются положение рабочего инструмента, расстояние от рабочего инструмента до датчика изображений и его ориентация относительно датчика изображений. Нейронную сеть можно обучать находить направление рабочего инструмента в соответствии с координатами рабочего инструмента и зубьев на изображении.

Затем выполнение способа продолжается на шаге 868, на котором микропроцессор 300 сохраняет размерный признак изнашиваемой детали в памяти 302 или массовом запоминающем устройстве 308 (показанном на фиг. 6). Затем на шаге 870 микропроцессор 300 сравнивает измеренный размера с ранее измеренными размерами и определяет, является ли удовлетворительным состояние изнашиваемой детали. Если состояние является удовлетворительным, микропроцессор 300 возвращается от шага 870 к шагу 852, и выполнение способа повторяется. Если на шаге 870 установлено, что состояние изнашиваемой детали является неудовлетворительным, микропроцессор 300 переходит к шагу 862 и генерирует предупреждение. Например, состояние может определяться как неудовлетворительное, если на шаге 870 установлено, что длина изнашиваемой детали уменьшилась до величины, ниже порогового критерия замены. В качестве альтернативы или дополнительно, может отслеживаться уменьшение длины с течением временем, и использоваться скорость износа с целью прогнозирования отказа детали или обеспечения информации для замены деталей.

Реализация рекуррентной нейронной сети

В варианте осуществления, показанном на фиг. 16, захватывается и обрабатывается серия кадров изображения с целью местонахождения изнашиваемой детали. Тем не менее, каждый последовательный кадр изображения оценивается по одному и тому же критерию соответствия, установленному в фазе обучения. В вариантах осуществления, в которых реализована нейронная сеть, она может иметь слой памяти, содержащий узлы, способные на основании результатов обработки предшествующих изображений рабочего инструмента конфигурировать нейронную сеть на обработку последовательных изображений рабочего инструмента. Такие нейронные сети, которые демонстрируют определенное поведение во времени, известны как рекуррентные нейронные сети, и в одном из вариантов осуществления могут включать длинные блоки кратковременной памяти (LSTM, от английского - long short-term memory units), которые способны изменять критерий соответствия на основании временного ряда входных сигналов (то есть последовательных изображений). Блоки LSTM служат для запоминания некоторых предшествующих значений в течение определенного времени и тем самым изменения конфигурации нейронной сети с целью обработки последовательных захваченных изображений. Рекуррентную нейронную сеть можно обучать с использованием наборов последовательных помеченных обучающих изображений с целью конфигурирования веса блоков LSTM и других узлов сети. Рекуррентная нейронная сеть может иметь несколько слоев блоков LSTM, дополняющих реализацию нейронной сети. Реализация комбинаторной нейронной сети

На фиг. 19 схематически проиллюстрирована сверточная нейронная сеть, обозначенная позицией 930. Захваченное изображение представлено прямоугольником 932 и содержит множество пикселей 934. В этом варианте осуществления изображение 932 может содержать пиксели со значениями яркости в интересующем диапазоне волн, таком как диапазон инфракрасных волн, которые отображают элементы тепловизионного изображения рабочего устройства. В других вариантах осуществления могут использоваться дополнительные наборы пиксельных данных в различных диапазонах волн. Применительно к нейронной сети каждый пиксель 934 действует как входной нейрон нейронной сети 930.

Нейронная сеть 930 также имеет сверточный слой 936, содержащий множество нейронов 938. В показанном варианте осуществления пиксель 940 на входном изображении 932 должен быть классифицирован (т.е. как соответствующий или не соответствующий изнашиваемой детали), и это делается на основании участка пикселей 942, окружающих пиксель 940. В показанном варианте осуществления участок 942 проиллюстрирован как участок размером 11 на 11 пикселей, однако его размер может соответствовать размерам элементов на захваченном изображении. В некоторых вариантах осуществления размер участка может выбираться на основании оценки исходного размера участка 942.

В нейронной сети 930 каждый нейрон 938 в сверточном слое 936 связан с подмножеством входных нейронов на изображении 932 за счет формирования ядра 944 свертки. В этом варианте осуществления ядро 944 свертки имеет размер 3 на 3 пикселя и набор из 9 значений веса W (946). Ядро 944 свертки центрировано по последовательным пикселям на участке 942 изображения 932, эффективно связывая соответствующий нейрон 938 в сверточном слое 936 с соответствующими подмножествами пикселей на захваченном изображении 932. В случае, например, пикселя 940 ядро 944 свертки минует участок 942, и значения веса 946 применяются к значениям яркости пикселя с целью получения для нейрона в сверточном слое 936 выхода, который соответствует входному пикселю 940. Ядро 944 свертки аналогичным образом связывает и обеспечивает выходы для других соответствующих нейронов 938 в сверточном слое 936. В этом варианте осуществления ядро 944 свертки применяет одни и те же значения веса W к каждому подмножеству входных пикселей и тем самым становится чувствительным к тем же элементам входных пикселей при последующем определении значений веса во время обучения нейронной сети 930.

В одном из вариантов осуществления поэлементная обработка может проходить с шагом 1 или с шагом более 1. Обычно шаг может выбираться путем проверки выходных данных классификации пикселей и выбора шага на основании компромисса между временем обработки и эффективностью определения местонахождения изнашиваемой детали на изображении 932. Преимущество одинаковых значений веса 946 для ядра 944 свертки состоит в том, что последовательные участки 942 имеют большое перекрывание, и результаты свертки могут сохраняться и повторно использоваться для каждого последовательного участка, что значительно уменьшает число требуемых вычислений. Это приводит к значительному сокращению времени обработки при обучении и впоследствии при проведении реальных оценок фрагментации с использованием обученной сети 930.

В других вариантах осуществления для выполнения свертки может использоваться разреженное ядро. Разреженное ядро построено путем вставки в ядро 944 свертки строк и столбцов нулевых значений. Разреженное ядро может иметь единственную строку и столбец нулевых значений, вставленных между каждым элементом, или несколько строк и столбцов нулевых значений, вставленных между элементами. У разреженного ядра есть преимущество перед обработкой с длиной шага более 1, в особенности, когда обработка выполняется графическим ГП 334 (показанным на фиг. 6), поскольку с последовательными соседними пикселями из наборов входных пиксельных данных по-прежнему выполняются операции. Обработка посредством ГП очень эффективна в таких условиях, а при обработке с длиной шага более 1 требуется пропускать обработку некоторых входных пикселей, что значительно снижает эффективность использования возможностей обработки посредством ГП.

Нейронная сеть 930 также имеет слой 948 подвыборки, содержащий множество нейронов 950 подвыборки. Слой 948 подвыборки объединяет выходные сигналы сверточного слоя 936 с целью уплотнения информации, чтобы нейронная сеть 930 была менее чувствительной к сдвигам и искажениям входных сигналов. В одном из вариантов осуществления применяется метод максимизирующей подвыборки, в котором находят максимальное выходное значение в группе выходных сигналов из уровня 936 свертки и устанавливают максимальное выходное значение для выходного сигнала соответствующего нейрона 950 в слое 948 подвыборки. Например, для выходного сигнала 952 в слое 948 подвыборки может устанавливаться максимальное выходное значение четырех выходных нейронов 954 в слое 936 свертки. В качестве альтернативы, могут быть реализованы другие методы подвыборки, такие как усредняющая подвыборка, когда выходные сигналы в слое 936 свертки усредняются с целью получения выходного сигнала в слое 948 подвыборки. В других вариантах осуществления может использоваться стохастическая подвыборка, когда из группы выходных сигналов в слое 936 свертки выбирается произвольный выходной сигнал с целью получения выходного сигнала в слое 948 подвыборки.

Нейронная сеть 930 дополнительно имеет выходной слой 956, который содержит нейрон 958, который обеспечивает вероятность p_w того, что пиксель 940 изображения на участке 942 соответствует изнашиваемой детали, и нейрон 960, который обеспечивает вероятность того, что пиксель не соответствует изнашиваемой детали. В одном из вариантов осуществления каждый из нейронов 958 и 960 может быть целиком связан с нейронами 938 в слое 948 подвыборки, что означает, что нейроны в выходном слое 956 могут иметь множество входных сигналов, связанных с каждым из нейронов 938.

Вариант нейронной сети 930, показанный на фиг. 19, является лишь одним из примеров сети, которая может быть сконфигурирована на создание выходных данных классификации пикселей в качестве выходного слоя 956. Обычно сеть 930 сначала конфигурируют, а затем обучают с использованием обучающих изображений, которые были проанализированы и помечены. Например, оператор может помечать области изображений, чтобы указать, содержит ли область изнашиваемую деталь. Затем изображения сохраняются вместе с информацией о мечении в качестве помеченных обучающих изображений. Желательно иметь достаточное число помеченных обучающих изображений, полученных при различных условиях освещения и других условиях, в различных масштабах и с рабочими инструментами и изнашиваемыми деталями различных типов. Одна часть помеченных обучающих изображений может использоваться для обучения сети 930, а другая часть может оставляться для проверки сети с целью оценки эффективности обучения.

На фиг. 20 показан снимок экрана, отображаемый на дисплее 108 устройства 100 на фиг. 1 и обозначенный в целом позицией 980. На снимке 980 экрана представлены различные виды, включая вид 982 ковша, вид сзади 984, иллюстрирующий область за тяжелым оборудованием, и виды 986 и 988 слева и справа, иллюстрирующие области по бокам тяжелого оборудования. На снимке 980 экрана также показан схематический вид 990, иллюстрирующий зубья рабочего инструмента. В одном из вариантов осуществления нейронная сеть 930 может быть реализована и сконфигурирована на обнаружение ковша сначала в пределах более крупного участка, обозначенного прямоугольником 992 на фиг. 20. Нейронная сеть 930 также может быть реализована и сконфигурирована на обнаружение отдельных зубьев в пределах прямоугольника 992, которые находятся на участках, обозначенных меньшими прямоугольниками 994. В этом варианте осуществления нейронная сеть 930 обнаружила, что в пределах прямоугольника 996 отсутствует зуб и на шаге 998 отразила этот результат на схематическом виде 990, на котором зуб представлен как сломанный или отсутствующий.

Передискретизация захваченного изображения

В некоторых вариантах осуществления захваченные изображения могут иметь различные масштабы и/или могут представлять рабочий инструмент и изнашиваемые детали в различных масштабах. Изображение 932 может быть передискретизировано с целью представления изнашиваемой детали с использованием меньших или больших пикселей 934. По существу, может осуществляться повышающая и/или понижающая дискретизация изображения 932 с целью получения дополнительных значений входных пикселей для обработки. Помеченные обучающие изображения могут аналогичным масштабироваться во время обучающей операции с использованием различных коэффициентов, например, 0,5×, 1× и 2×, что тем самым обеспечивает дополнительные обучающие входные данные для обучения сети 930. Таким образом, нейронная сеть 930 может создавать масштабированный выход в выходном слое 956 для каждого из масштабированных значений входных пикселей и соответствующего набора обучающих изображений.

В раскрытых выше вариантах осуществления в качестве примера изнашиваемой детали использован зуб. Однако в других вариантах осуществления также могут идентифицироваться другие изнашиваемые детали, такие как сменная межзубьевая защита. Описанный способ может сочетаться со способом 700 идентификации ковша и способом 400 идентификации зубьев с целью обеспечения высокой надежности обнаружения. В других вариантах осуществления различные раскрытые способы могут быть изменены или объединены с целью обеспечения желаемой надежности и/или скорости обнаружения.

В описанных выше вариантах осуществления предложены способ и устройство надежного обнаружения изнашиваемой детали на изображении рабочего инструмента. Изображения примеров различных соответствующих изнашиваемых деталей используются для определения критерия соответствия, который учитывает незначительные различия между изнашиваемыми деталями и другие особенности, такие как условия освещения. Также можно избегать ошибочного обнаружения путем использования легко вводящих в заблуждение изображений других деталей тяжелого рабочего оборудования или среды при определении критерия соответствия.

Рассмотренные выше варианты осуществления имеют преимущество перед традиционными способами и системами обнаружения зубьев за счет того, что не требуется процесс калибровки. В традиционных системах обнаружения зубьев обычно требуется процесс калибровки, предусматривающий тщательную маркировку местонахождения и ориентации каждого зуба на нескольких изображениях рабочего инструмента (например, на мелком, среднем и крупном планах ковша на изображении) и генерирование параметров калибровки. Получаемые параметры калибровки обучают алгоритмы обработки изображений в традиционной системе обнаружения зубьев тому, где следует искать зубья и в каких пределах ориентации могут быть найдены зубья. Хотя калибровка может все же быть включена в описанные варианты осуществления, обучающее упражнение может эффективно исключать потребности в калибровке. В некоторых вариантах осуществления в качестве параметра калибровки может требоваться только число зубьев, и при достаточном обучении заданные параметры нейронной сети будут учитывать любые задачи калибровки. Это может значительно сокращать время установки и ввода в эксплуатацию, снижать требования к обслуживанию системы и повышать надежность системы мониторинга изнашиваемых деталей.

Несмотря на то, что были описаны и проиллюстрированы конкретные варианты осуществления, такие варианты осуществления следует рассматривать лишь как иллюстративные, а не как ограничивающие изобретение, интерпретируемое в соответствии с прилагаемой формулой изобретения.

1. Способ определения местонахождения изнашиваемой детали на изображении рабочего инструмента, связанного с тяжелым оборудованием, содержащий:

захват, по меньшей мере, одного изображения рабочего инструмента во время работы тяжелого оборудования, при этом изображение содержит множество пикселей, каждый из которых имеет определенное значение яркости;

выбор последовательных подмножеств пикселей из множества пикселей;

обработку каждого подмножества пикселей, чтобы определить, удовлетворяют ли значения яркости пикселей из подмножества пикселей критерию соответствия, указывающему на вероятность того, что подмножество пикселей соответствует изнашиваемой детали, при этом обработка каждого подмножества пикселей включает обработку каждого подмножества пикселей посредством соответствующего множества входных узлов нейронной сети, каждый входной узел имеет присвоенный ему вес и способен создавать взвешенные выходные сигналы в ответ на принятое значение яркости; и

при этом критерий соответствия основан на обработке помеченного множества обучающих изображений во время обучающего упражнения до захвата, по меньшей мере, одного изображения рабочего инструмента, при этом обучающее упражнение обеспечивает возможность определять присвоенные веса для множества входных узлов.

2. Способ по п. 1, в котором обработка каждого подмножества пикселей включает, по меньшей мере, одно из следующего:

прямую обработку значений яркости пикселей; извлечение признаков пикселей из подмножества пикселей;

генерирование гистограммы ориентированных градиентов для подмножества пикселей.

3. Способ по п. 1, дополнительно содержащий прием взвешенных выходных сигналов от входных узлов на множестве скрытых узлов нейронной сети, при этом каждый скрытый узел имеет присвоенный ему вес и способен создавать взвешенные выходные сигналы в ответ на взвешенные выходные сигналы, принятые от входных узлов.

4. Способ по п. 3, в котором множество скрытых узлов включает скрытые узлы одного или нескольких слоев, при этом узлы каждого последовательного слоя оперируют выходными сигналами, созданными узлами предыдущего слоя.

5. Способ по п. 4, в котором захват, по меньшей мере, одного изображения включает захват последовательности изображений рабочего инструмента во время работы, при этом один или несколько слоев включают слой памяти, содержащий узлы, способные на основании результатов обработки предыдущих изображений рабочего инструмента конфигурировать нейронную сеть на обработку последовательных изображений рабочего инструмента.

6. Способ по п. 5, в котором обработка помеченного множества обучающих изображений во время обучающего упражнения включает обработку помеченных множеств последовательных обучающих изображений.

7. Способ по п. 3, дополнительно включающий прием взвешенных выходных сигналов от скрытых узлов на одном или нескольких выходных узлах, при этом один или несколько выходных узлов имеют присвоенный им вес и способны создавать взвешенные выходные сигналы в ответ на взвешенные выходные сигналы, принятые от скрытых узлов.

8. Способ по п. 1, в котором определение того, соответствуют ли значения яркости пикселей из подмножества пикселей критерию соответствия, включает определение того, превышают ли взвешенные выходные сигналы контрольное пороговое значение.

9. Способ по п. 1, в котором прием взвешенных выходных сигналов от входных узлов на множестве скрытых узлов включает:

прием взвешенных выходных сигналов от входных узлов на первом множестве скрытых узлов в первом слое; и

прием взвешенных выходных сигналов от первого множества скрытых узлов на втором множестве скрытых узлов во втором слое, при этом каждый из второго множества скрытых узлов имеет присвоенный ему вес и способен создавать взвешенные выходные сигналы в ответ на взвешенные выходные сигналы, принятые от первого множества скрытых узлов.

10. Способ по п. 1, в котором обработка каждого подмножества пикселей включает:

обработку каждого подмножества пикселей с использованием сверточной нейронной сети, имеющей множество слоев, включающих, по меньшей мере, один сверточный слой, сконфигурированный на создание свертки пикселей в каждом подмножестве пикселей;

при этом обработка помеченного множества обучающих изображений включает обработку обучающих изображений, чтобы сконфигурировать сверточную нейронную сеть на реализацию критерия соответствия для создания выходных данных классификации пикселей, указывающих, соответствуют ли пиксели из подмножеств пикселей изнашиваемой детали.

11. Способ по п. 10, в котором создание свертки включает создание свертки с использованием разреженного ядра, записи в котором разделены строками и столбцами нулевых значений.

12. Способ по п. 10, в котором создание свертки включает создание свертки с использованием разреженного ядра, записи в котором разделены множеством строк и множеством столбцов нулевых значений.

13. Способ по п. 10, в котором сверточная нейронная сеть содержит слой подвыборки, сконфигурированный на обработку свертки для обеспечения множества выходных сигналов подвыборки, при этом каждый выходной сигнал подвыборки основан на значениях, связанных с множеством пикселей в свертке.

14. Способ по п. 13, в котором в слое подвыборки реализован один из методов, включающих максимизирующую подвыборку, усредняющую подвыборку и стохастическую подвыборку.

15. Способ по п. 10, дополнительно включающий передискретизацию изображения для создания передискретизированного множества пикселей, при этом обработка с использованием сверточной нейронной сети включает обработку передискретизированного множества пикселей, а сверточная нейронная сеть сконфигурирована на реализацию критерия соответствия с использованием соответствующим образом передискретизированного множества обучающих изображений.

16. Способ по п. 15, в котором передискретизация изображения включает, по меньшей мере, одно из следующего: повышающую дискретизацию изображения и понижающую дискретизацию изображения для создания передискретизированного множества пикселей.

17. Способ по п. 10, в котором захват, по меньшей мере, одного изображения включает захват последовательности изображений рабочего инструмента во время работы, а сверточная нейронная сеть содержит, по меньшей мере, один слой памяти, способный на основании результатов обработки предыдущих изображений рабочего инструмента конфигурировать нейронную сеть на обработку последовательных изображений рабочего инструмента для создания выходных данных классификации пикселей для последовательности изображений.

18. Способ по п. 17, в котором обработка помеченного множества обучающих изображений во время обучающего упражнения включает обработку помеченных множеств последовательных обучающих изображений.

19. Способ по п. 1, в котором помеченное множество изображений содержит множество изображений, которые были помечены пользователем.

20. Способ по п. 1, в котором множество обучающих изображений содержит множество изображений, которые были помечены компьютерным методом.

21. Способ по п. 1, в котором обучающие изображения включают: изображения различных примеров изнашиваемой детали, помеченные как содержащие изнашиваемую деталь; и

другие изображения, помеченные как не содержащие изнашиваемую деталь.

22. Способ по п. 1, в котором выбор последовательных подмножеств пикселей из множества пикселей дополнительно включает:

обработку множества пикселей, чтобы определить, присутствует ли на изображении рабочий инструмент; и

если рабочий инструмент присутствует на изображении, ограничение множества пикселей пикселями в пределах представляющей интерес области, в которую входит рабочий инструмент, до выбора последовательных подмножеств пикселей из множества пикселей.

23. Способ по п. 22, в котором обработка множества пикселей, чтобы определить, присутствует ли на изображении рабочий инструмент, включает:

выбор, по меньшей мере, одного подмножества пикселей из множества пикселей;

обработку, по меньшей мере, одного подмножества пикселей, чтобы определить, удовлетворяют ли значения яркости пикселей, по меньшей мере, из одного подмножества пикселей критерию соответствия рабочему инструменту, указывающему на вероятность того, что рабочий инструмент находится в пределах, по меньшей мере, одного подмножества пикселей,

при этом критерий соответствия рабочему инструменту основан на обработке помеченного множества обучающих изображений во время обучающего упражнения до захвата, по меньшей мере, одного изображения рабочего инструмента.

24. Способ по п. 1, в котором выбор последовательных подмножеств пикселей из множества пикселей включает одно из следующего:

выбор последовательных подмножеств пикселей, имеющих фиксированный заданный размер; и

вычисление размера подмножества пикселей на основе захваченного изображения.

25. Способ по п. 1, в котором критерий соответствия содержит множество значений весов, соответствующих пикселям из подмножества пикселей, а обработка каждого подмножества пикселей включает:

вычисление произведения яркости пикселя и соответствующего значения веса для каждого пикселя из подмножества пикселей для определения взвешенного выходного сигнала пикселя; и

определение того, удовлетворяет ли подмножество пикселей критерию соответствия путем определения того, превышает ли комбинация взвешенных выходных сигналов подмножества пикселей пороговое значение.

26. Способ по п. 25, в котором определение того, превышают ли взвешенные выходные сигналы подмножества пикселей пороговое значение, включает:

объединение определенных взвешенных выходных сигналов подмножества пикселей; и

определение того, превышает ли объединенный взвешенный выходной сигнал пороговое значение.

27. Способ по п. 1, в котором захват, по меньшей мере, одного изображения включает захват множества изображений рабочего инструмента во время работы тяжелого оборудования, а выбор и обработка подмножеств пикселей из множества пикселей выполняется для каждого изображения, при этом способ дополнительно включает определение того, удовлетворяют ли значения яркости пикселей из подмножеств пикселей критерию соответствия на последовательных изображениях из множества изображений.

28. Способ по п. 1, в котором захват, по меньшей мере, одного изображения включает захват, по меньшей мере, одного изображения с использованием датчика изображений, имеющего чувствительность к волнам, по меньшей мере, в видимом спектре или инфракрасном спектре.

29. Способ по п. 1, дополнительно включающий определение размерного признака изнашиваемой детали.

30. Способ по п. 29, дополнительно включающий определение, по меньшей мере, одного из следующего:

является ли состояние изнашиваемой детали удовлетворительным на основании заранее заданных критериев; и

прогнозирование времени отказа изнашиваемой детали на основании скорости износа изнашиваемой детали с течением времени.

31. Устройство определения местонахождения изнашиваемой детали на изображении рабочего инструмента, связанного с тяжелым оборудованием, содержащее:

датчик изображений для захвата, по меньшей мере, одного изображения рабочего инструмента во время работы тяжелого оборудования, при этом изображение содержит множество пикселей, каждый из которых имеет определенное значение яркости; цепь обработки, сконфигурированную на:

выбор последовательных подмножеств пикселей из множества пикселей; обработку каждого подмножества пикселей, чтобы определять, удовлетворяют ли значения яркости пикселей из подмножества пикселей критерию соответствия, указывающему на вероятность того, что подмножество пикселей соответствует изнашиваемой детали, при этом обработка каждого подмножества пикселей включает обработку каждого подмножества пикселей посредством соответствующего множества входных узлов нейронной сети, каждый входной узел имеет присвоенный ему вес и способен создавать взвешенные выходные сигналы в ответ на принятое значение яркости;

при этом критерий соответствия основан на обработке помеченного множества обучающих изображений во время обучающего упражнения до захвата, по меньшей мере, одного изображения рабочего инструмента, при этом обучающее упражнение обеспечивает возможность определять присвоенные веса для множества входных узлов.

32. Устройство по п. 31, в котором датчиком изображений является датчик изображений, имеющий чувствительность к волнам, по меньшей мере, в видимом спектре или инфракрасном спектре.