Автоматизированная система классификации комплектующих изделия
Изобретение относится к области информационных технологий, а именно к обработке данных изображения. Технический результат направлен на повышение точности определения искомой детали. Автоматизированная система классификации комплектующих изделия, содержащая как минимум одну видеокамеру, связанную с интерфейсом пользователя для передачи видеопотока, выполненного с помощью персонального компьютера с предустановленным программным обеспечением, связанного с модулем обнаружения и классификации, модулем обнаружения и классификации, представляющий модуль, предопределяющий, к какому классу следует отнести комплектующее изделия, выстроив при этом градацию с наиболее релевантными вариантами определения класса, присвоив удельный вес от 0 до 1 каждому варианту поиска, наиболее подходящий класс будет обозначен наибольшим удельным весом; который выполнен с возможностью обработки кадра с видеопотока и предопределения класса комплектующего изделия при помощи моделей машинного обучения Unet и ResNet50. 1 ил.
Изобретение относится к устройствам формирования цифрового изображения и, в частности, к системам и способу для обработки данных изображения, полученных с использованием датчика изображения устройства формирования цифрового изображения.
Из уровня техники известно устройство для распознавания объектов по их контурам (патент на изобретение RU 2 090 927 C1, МПК G06K 9/00, опубликовано 20.09.1997 г.), содержащее преобразователи оптических сигналов в электрические, информационные входы которых являются информационными входами устройства, а выходы подключены к информационным входам соответствующих узлов обработки изображения, установочные входы которых являются установочным входом устройства, первые и вторые выходы соответственно первыми и вторыми информационными выходами устройства, отличающееся тем, что, с целью повышения точности и надежности устройства, оно содержит группу коммутаторов, информационные входы которых соединены с третьими выходами соответствующих узлов обработки изображения, делитель частоты, выход которого соединен со счетным входом второго и управляющим входом третьего счетчиков, генератор импульсов, блок регистров.
Недостатками данного решения следует считать невысокую точность определения, а также сам подход, заключающийся в системе идентификации объектов по их контурам, а значит, заведомо разные детали, но с одинаковым контуром могут быть приняты как идентичные. Также система не предназначена для промышленного производства, а нацелена исключительно на крупные объекты.
Из уровня техники известны СИСТЕМА И СПОСОБ ДЛЯ ОБРАБОТКИ ДАННЫХ ИЗОБРАЖЕНИЯ С ИСПОЛЬЗОВАНИЕМ ПРОЦЕССОРА СИГНАЛА ИЗОБРАЖЕНИЯ, ИМЕЮЩЕГО ЛОГИКУ ОКОНЧАТЕЛЬНОЙ ОБРАБОТКИ (патент на изобретение RU 2 542 928 C2, МПК G06K 9/36 , H04N 9/73, опубликовано 27.02.2015 г.), система обработки сигнала изображения содержащая: конвейер обработки изображений, выполненный с возможностью принимать кадр первичных данных изображения, блок окончательной обработки, выполненный с возможностью принимать кадр данных яркости и цветности изображения и обрабатывать кадр данных яркости и цветности изображения с использованием логики обнаружения лиц, блок предварительной обработки, подсоединенный перед конвейером обработки изображений и имеющий машину сбора предварительной статистики.
Недостатками данной системы является обнаружения не определенных деталей по заданным параметрам, а обнаружения лиц непосредственно по контурам.
Техническим результатом заявляемого изобретения является упрощение системы идентификации/классификации комплектующих изделия, а именно: снижение временных затрат на поиск необходимого класса комплектующего, снижение потерь производства при сборке окончательных изделий.
Технический результат достигается тем, что автоматизированная система классификации комплектующих изделия содержит как минимум одну видеокамеру, связанную с интерфейсом пользователя для передачи видеопотока, выполненного с помощью персонального компьютера с предустановленным программным обеспечением, связанного с модулем обнаружения и классификации, представляющий модуль, предопределяющий, к какому классу следует отнести комплектующее изделия, вывстроив при этом градацию с наиболее релевантными вариантами определения класса, присвоив удельный вес от 0 до 1 каждому варианту поиска, наиболее подходящий класс будет обозначен наибольшим удельным весом; модуль обнаружения и классификации, который выполнен с возможностью обработки кадра с видеопотока и предопределения класса комплектующего изделия при помощи моделей машинного обучения Unet и ResNet50; как минимум один модуль обнаружения и классификации, соединенный с как минимум одним модулем принятия решения о классификации, передающим информацию в интерфейс пользователя для согласия или несогласия с присвоенным классом комплектующего изделия, представленным моделями машинного обучения Unet и ResNet50, и выполненным при помощи кнопки в интерфейсе пользователя, соединенным с базой данных хранения результатов принятых решений.
Модуль обнаружения и классификации связан двусторонней связью с моделями машинного обучения такими как Unet, определяющей маску детали (маска - границы детали, определяемые моделью машинного обучения с целью поиска по контуру заданного объекта поиска), и модель ResNet50, определяющая класс детали, сформированные в одном модуле и определяющие точное отнесение к классу комплектующего изделия путем сравнения не только контура изделия, но и его изображения. После обработки информации, модуль моделей машинного обучения Unet и ResNet50 направляет результаты обратно в модуль обнаружения и классификации, связанный путем двусторонней связи с модулем принятия решения о классификации, выводящим информацию в интерфейс пользователя для согласия/несогласия, выполненную при помощи кнопки в интерфейсе пользователя, с присвоенным классом комплектующего изделия, представленным моделями машинного обучения Unet и ResNet50.
Данные из модуля принятия решения о классификации через модуль интерфейса пользователя по односторонней связи попадают в базу данных хранения результатов принятых решений.
Для определения класса комплектующих изделия, номенклатура которых изменяется от 1 до N, необходимо присвоить номер каждой, а также провести 3D репликацию (получение трехмерного изображения) каждой комплектующей.
После оцифровки комплектующих, при помощи CAD-модели, одной для каждой детали, (автоматизированная система, реализующая информационную технологию выполнения функций проектирования, представляет собой организационно-техническую систему, предназначенную для автоматизации процесса проектирования, состоящую из персонала и комплекса технических, программных и других средств автоматизации его деятельности) для создания синтетических данных для обучения, на которых будет обучаться модель машинного обучения путем “запоминания” всей базы данных исходных комплектующих, после чего она будет производить сравнение непосредственной комплектующей изделия с общей базой данных и определять как класс детали, так и саму деталь.
Процесс идентификации происходит следующим образом.
На этапе выхода готовой комплектующей изделия над конвейерной лентой установлена видеокамера, фиксирующая в виде видеопотока готовую продукцию. После чего по связи Интернет данные видеопотока с камеры передаются непосредственно в интерфейс пользователя, содержащий кнопку “стоп” для фиксации кадра из видеопотока. Данная связь блоков обеспечивает своевременность классификации деталей в режиме реального времени.
Зафиксированный кадр передается в модуль обнаружения и классификации комплектующей изделия, где при помощи моделей машинного обучения Unet и ResNet50 определяются из всего множества наиболее подходящие по “маске” и изображению детали, после чего к каждому варианту поиска присваивается удельный вес от 0 до 1. Таким образом происходит максимально точное определение искомой детали, что снижает временные затраты на определение классификации этой же детали человеком.
Определив наиболее подходящие детали для объекта поиска, информация поступает в модуль предсказания комплектующей изделия с присвоенными критериями значимости соответствия, при этом выводится в интерфейс пользователя только подходящая деталь. В интерфейсе пользователя пользователь может как согласиться с выборкой, так и не согласиться с ней при помощи кнопки “неверно”. Следует отметить, что данная процедура значительно ускоряет процесс классификации деталей, а значит, исключается возможность бракованной сборки.
Данные о проделанной работе сохраняются в базе данных. Если оператор посчитал нужным нажать кнопку “неверно”, то данные также поступят в базу данных, чтобы при получении статистических данных принять решение, нужно ли дообучать модель машинного обучения. Данная процедура позволяет снизить процент неверного присвоения класса детали до 0, а также процент брака.
Техническая сущность заявляемого изобретения поясняется графическим материалом (фиг. 1) с обозначенными следующими позициями:
1 - камера;
2 - интерфейс пользователя;
3 - модуль обнаружения и классификации;
4 - модели машинного обучения Unet и ResNet50;
5 - сервер обработки данных видеопотока;
6 - модуль принятия решения о классификации, выводящий информацию в интерфейс пользователя для согласия/несогласия с присвоенным классом комплектующего изделия, представленным моделями машинного обучения Unet и ResNet50, выполненный при помощи кнопки в интерфейсе пользователя;
7 - база данных хранения результатов.
Далее представлен пример работы автоматизированной системы для определения классификации комплектующих изделия, содержащих номенклатуру более тысячи единиц, причем каждая деталь производится на собственном оборудовании. Поэтому, для облегчения проведения процедуры классификации, согласно технического результата, на конечном этапе выхода готовой детали, установлена как минимум одна камера, фиксирующая детали, после чего происходит сам процесс классификации следующим образом:
Камера 1, фиксируя видеопотоком все комплектующие, проходящие по конвейерной ленте, передает путем видео по односторонней связи 8 в интерфейс пользователя 2, где оператор просматривает видеопоток и останавливает кадр путем кнопки “стоп”. За счет этого нет необходимости изымать деталь с конвейерной ленты и начинать ее идентифицировать.
После остановки кадра в модуле 2, данные попадают в модуль 3 обнаружения классификации путем связи 9, после чего модуль 3 обращается путем двусторонней связи 10 к моделям машинного обучения Unet и ResNet50 4, которые расположены на сервере 5 обработки данных видеопотока и связаны путем двусторонней связи 11. Данные блоки и их связи обеспечивают точную идентификацию комплектующих изделия, а также сокращают время на идентификацию деталей, что впоследствии снизит потери при производстве, исключит возможность неверной маркировки, и в дальнейшем снизит количество брака и увеличит рентабельность.
Обработанные данные модулем 3 с выбранной деталью, которую определила модель машинного обучения, передаются в модуль 6 принятия решений о классификации, где отображается единственный результат выборки, а также присутствует кнопка “согласия” и “несогласия”, которая выводится в модуль 2 путем связи 13. После чего пользователь, нажимая кнопку “согласия” подтверждает присвоенный класс комплектующего изделия, представленный моделями машинного обучения Unet и ResNet50, после чего данный результат направляется в базу данных 7 хранения результатов по связи 14. Если же пользователь не согласен с выбором присвоенного класса комплектующего изделия, представленным моделями машинного обучения Unet и ResNet50, то отрицательный результат также записывается в базу данных 7 хранения результатов.
Таким образом достигается не только быстрота принятия решения о классификации детали, но и повышается производительность и рентабельность производства, а также минимизация брака.
Автоматизированная система классификации комплектующих изделия, содержащая как минимум одну видеокамеру, связанную с интерфейсом пользователя для передачи видеопотока, выполненного с помощью персонального компьютера с предустановленным программным обеспечением, связанного с как минимум одним модулем обнаружения и классификации, который соединен с как минимум одним модулем принятия решения о классификации, передающим информацию на интерфейс пользователя, который соединен с базой данных хранения результатов принятых решений, при этом как минимум один модуль обнаружения и классификации соединен посредством двусторонней связи с моделями машинного обучения, которые расположены на сервере: моделью Unet, определяющей маску детали – границы детали для поиска по контуру заданного объекта поиска, и моделью ResNet50, определяющей класс детали.
