Обучающее устройство, анализирующее устройство, способ обучения и носитель информации
Заявленное изобретение относится к области анализа работы человека, с целью повышения ее эффективности. Согласно варианту осуществления изобретения, обучающее устройство направлено на обучение первой модели, которая оценивает период выполнения задачи на основе данных временного ряда операции человека. Устройство получает данные первого временного ряда, которым присвоена метка задачи, извлекает шаблон из периода, указанного меткой в данных первого временного ряда. Шаблон используется в качестве характерного признака. Устройство вырабатывает временные данные, касающиеся времени появления шаблона в данных первого временного ряда. Далее устройство обучает первую модель, содержащую нейронную сеть, используя метку, данные первого временного ряда и временные данные. Таким образом, обеспечивается сокращение времени обучения, и, как следствие, повышение эффективности работы человека. 8 н. и 7 з.п. ф-лы, 21 ил.
Область техники, к которой относится изобретение
Варианты осуществления, описанные в данном документе, относятся, в общем, к обучающему устройству, анализирующему устройству, способу обучения и носителю информации.
Уровень техники
Существует технология, направленная на повышение эффективности работы путем анализа работы человека. В такой технологии желательно начинать анализ с меньшей подготовкой.
Существует способ, который извлекает шаблон каждой задачи из данных временного ряда на основе предварительно установленной последовательности задач и предварительно установленного времени задачи и оценивает период выполнения задачи из данных временного ряда с использованием шаблона. Этот способ полезен, когда последовательность задач является фиксированной, и известна стандартная продолжительность. С другой стороны, также существуют задачи, в которых последовательность, время и т.д. не являются фиксированными. Например, на рабочем месте логистики выполняется комплектация, замена этикеток, сборка коробок, упаковка в коробки, закрытие коробок, этикетирование, считывание этикеток, размещение на тележке и т.д. Последовательность, продолжительность и т.д. такой задачи могут меняться в зависимости от содержимого упакованных изделий, количества упакованных изделий, размера изделий, требований клиентов и т.д. Кроме того, в задачу примера может быть также вставлена другая задача. Желательна технология, которая позволила бы анализировать данные временных рядов, даже если время выполнения задачи или продолжительность задачи не являются фиксированными.
В качестве такой технологии может быть рассмотрен способ, в котором подготавливается модель, которая оценивает период выполнения задачи в данных временного ряда в соответствии с вводом данных временного ряда. Модель обучается с использованием данных обучающего устройства. Однако, как правило, при контролируемом обучении модели необходимо подготовить много обучающих данных, чтобы получить практическую точность. Пользователь должен потратить много времени на обучение обучающих данных.
Раскрытие сущности изобретения
Настоящее раскрытие направлено на сокращения количества обучающих данных и более быстрого обучения модели.
В одном варианте осуществления предложено обучающее устройство для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда операции человека, при этом обучающее устройство выполнено с возможностью: получения данных первого временного ряда, которым присвоена метка задачи, извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда, обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этом
данные первого временного ряда являются многомерными данными операций множества частей и операций множества суставов тела,
при этом обучающее устройство выполнено с возможностью: извлечения части измерений из данных первого временного ряда, извлечения шаблона из извлеченных данных первого временного ряда и выработки временных данных для каждого измерения указанной части измерений, и обучения первой модели с использованием метки, извлеченных данных первого временного ряда и множества наборов временных данных.
В другом варианте осуществления предложено обучающее устройство для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда операции человека, при этом обучающее устройство выполнено с возможностью: получения данных первого временного ряда, которым присвоена метка задачи, извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака, выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда, обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этом
первая модель включает в себя нейронную сеть, включающую в себя сверточный слой и слой внимания,
при этом обучающее устройство выполнено с возможностью: обучения первой модели с использованием данных первого временного ряда в качестве входных данных и с использованием метки в качестве обучающих данных, и использования временных данных для оценки первой модели при обучении.
Краткое описание чертежей
Фиг.1 – упрощенная блок-схема, иллюстрирующая систему обучения согласно первому варианту осуществления;
фиг.2A и 2B – схематичные временные диаграммы, иллюстрирующие обучающее устройство согласно первому варианту осуществления;
фиг.3 – пример таблицы задач;
фиг.4A-4D – схематичные временные диаграммы, иллюстрирующие обработку, выполняемую обучающим устройством согласно первому варианту осуществления;
фиг.5A-5C – схематичные временные диаграммы, иллюстрирующие обработку, выполняемую обучающим устройством согласно первому варианту осуществления;
фиг.6А-6С – схематичные временные диаграммы, иллюстрирующие обучающее устройство согласно первому варианту осуществления;
фиг.7A и 7B – схематичные временные диаграммы, иллюстрирующие обучающее устройство согласно первому варианту осуществления;
фиг.8A и 8B – схематичные временные диаграммы, иллюстрирующие обучающее устройство согласно первому варианту осуществления;
фиг.9 – схематичное представление нейронной сети, включенной в первую модель;
фиг.10 – схематичное представление, иллюстрирующее данные массива, выработанные из данных временного ряда;
фиг.11 – схематичное представление, иллюстрирующее данные массива, выработанные из данных временного ряда;
фиг.12 – схематичное представление, иллюстрирующее данные массива, выработанные из данных временного ряда;
фиг.13 – блок-схема, иллюстрирующая способ обучения, соответствующий системе обучения согласно первому варианту осуществления;
фиг.14A – пример изображения, и фиг.14B – пример результата обнаружения позы;
фиг.15A и 15B – схематичные изображения, иллюстрирующие состояния задачи;
фиг.16 – блок-схема, иллюстрирующая способ обучения, соответствующий системе обучения согласно модификации первого варианта осуществления;
фиг.17 – упрощенная блок-схема, иллюстрирующая систему анализа согласно второму варианту осуществления;
фиг.18 – пример выходного результата системы анализа согласно второму варианту осуществления;
фиг.19 – пример выходного результата системы анализа согласно второму варианту осуществления;
фиг.20 – блок-схема, иллюстрирующая способ анализа, соответствующий системе анализа согласно второму варианту осуществления; и
фиг.21 – упрощенная блок-схема, иллюстрирующая конфигурацию аппаратных средств.
Подробное описание изобретения
Согласно одному варианту осуществления обучающее устройство обучает первую модель. Первая модель оценивает период выполнения задачи на основе данных временного ряда операции человека. Устройство получает данные первого временного ряда, которым присваивается метка задачи. Устройство извлекает шаблон из периода, указанного меткой в данных первого временного ряда. Шаблон используется в качестве признака. Устройство вырабатывает временные данные, касающиеся времени появления шаблона в данных первого временного ряда. Устройство обучает первую модель, используя метку, данные первого временного ряда и временные данные.
Ниже, со ссылкой на сопроводительные чертежи, описаны различные варианты осуществления. В описании и на чертежах компоненты, аналогичные тем, которые описаны ранее или проиллюстрированы на предыдущем чертеже, отмечены одинаковыми ссылочными позициями, и при необходимости их подробное описание будет опущено.
На фиг.1 показана упрощенная блок-схема, иллюстрирующая систему обучения согласно первому варианту осуществления.
Система 1 обучения согласно первому варианту осуществления включает в себя обучающее устройство 10, устройство 11 ввода, устройство 12 отображения, запоминающее устройство 13 и датчик 20.
Датчик 20 осуществляет сбор данных об операции человека. Человек – это работник, выполняющий задачу. Например, датчик 20 представляет собой датчик ускорения или датчик угловой скорости. Датчик 20 установлен на части тела человека и непрерывно осуществляет сбор данных об ускорении или угловой скорости этой части тела. Таким способом получают данные временного ряда, качающиеся изменений ускорения или угловой скорости в зависимости от времени.
Обучающее устройство 10 обучает первую модель. Первая модель оценивает период, в течение которого работник выполняет задачу, на основе данных временного ряда операции человека. Пользователь использует устройство 11 ввода для ввода данных в обучающее устройство 10. Устройство 12 отображения отображает данные, выведенные из обучающего устройства 10. Запоминающее устройство 13 хранит данные, относящиеся к обучению.
На фиг.2A и 2B и фиг.4A-8B показаны схематичные временные диаграммы, иллюстрирующие обработку, выполняемую обучающим устройством согласно первому варианту осуществления. На фиг.3 показан пример таблицы задач.
Ниже, со ссылкой на фиг.2A-8B, будет подробно описан процесс обучения первой модели.
На фиг.2A показан пример данных временного ряда для ускорения, полученного датчиком 20. По горизонтальной оси отложено время. По вертикальной оси отложено значение ускорения. Пользователь присваивает метку задачи данным временного ряда, показанным на фиг.2А. В частности, метка указывает тип задачи, время, в которое задача началась, и время, в которое задача закончилась. Пользователь использует устройство 11 ввода для ввода метки в обучающее устройство 10. Как показано на фиг.2B период выполнения задачи обозначен меткой в данных временного ряда. В качестве примера, показанного на фиг.2B, метка L присваивается для того, чтобы указать, что выполняется первая задача. Обучающее устройство 10 принимает ввод метки и сохраняет ввод в запоминающее устройство 13.
Обучающее устройство 10 ассоциирует входную метку пользователя с данными и сохраняет результат в запоминающем устройстве 13. В данном документе данные временного ряда для обучения, которым присваивается метка, называются "данными первого временного ряда".
Помимо метки, пользователь предварительно регистрирует задачи, которые может выполнять работник. Регистрационные данные хранятся в запоминающем устройстве 13. Например, в таблице задач зарегистрированы многочисленные задачи, как показано на фиг.3. При маркировке пользователь вводит идентификационную информацию для обозначения задачи, указанной на метке. Идентификационная информация представляет собой, например, идентификатор или название, зарегистрированное в таблице задач. ID или название, которое указывает первую задачу, вводится для метки L.
Обучающее устройство 10 обращается к запоминающему устройству 13 и получает данные первого временного ряда и метку для обучения первой модели. Например, обучающее устройство 10 проверяет метку L, присвоенную данным первого временного ряда, показанным на фиг. 2B. Обучающее устройство 10 обращается к таблице задач, хранящейся в запоминающем устройстве 13, и определяет, имеется ли первая задача, обозначенная меткой L, в таблице задач. Когда первая задача имеется в таблице задач, обучающее устройство 10 ассоциирует данные, полученные при последующей обработке, с первой задачей и при необходимости сохраняет результат в запоминающем устройстве 13.
После получения данных первого временного ряда и метки, чтобы уменьшить объем вычислений, обучающее устройство 10 может выполнить одно или два, выбранных из: уменьшения размеров и обозначения для данных временного ряда.
Например, данные первого временного ряда являются многомерными данными. Когда датчик 20 осуществляет сбор данных об ускорении по трем осям, данные первого временного ряда являются трехмерными данными. Когда используются несколько датчиков 20, данные первого временного ряда представляют собой данные шести или более измерений. Обучающее устройство 10 уменьшает размеры данных первого временного ряда. Например, обучающее устройство 10 вырабатывает одномерные данные первого временного ряда, уменьшая размеры путем анализа главных компонентов (PCA).
Обучающее устройство 10 может символизировать значения в каждый момент времени в данных временного ряда. На фиг.4A показаны данные временного ряда, собранные датчиком 20. На фиг.4B показаны данные временного ряда после понижающей дискретизации. Данные временного ряда, в которых значения изменяются в ступенчатой конфигурации с течением времени, получают путем понижающей дискретизации. Как показано на фиг.4C, обучающее устройство 10 классифицирует значения данных временного ряда каждый раз, используя несколько пороговых значений от b1 до b3. Значения в каждый момент времени данных временного ряда обозначаются символами в соответствии с результатом классификации. Таким способом получают строки символов, показанные на фиг. 4D. Строки символов, которые получаются посредством символизации, могут использоваться в качестве данных временного ряда.
Обучающее устройство 10 извлекает шаблон, используемый в качестве признака из периода, указанного на метке в данных первого временного ряда. Шаблон представляет собой характеристический шаблон данных, появляющихся в данных первого временного ряда при выполнении задачи.
На фиг.5A показан график, схематично иллюстрирующий данные первого временного ряда, уменьшенные до одного измерения. На фиг.5А по горизонтальной оси отложено время, и по вертикальной оси – значение. На фиг.5B показан пример шаблона-кандидата, вырезанного из периода метки L. Шаблон-кандидат представляет собой данные, которые используются в качестве шаблона-кандидата, который используется в конечном итоге.
Например, пользователь предварительно устанавливает длину (период) шаблона-кандидата в соответствии с частотой дискретизации датчика 20, маневренности операции во время выполнения задачи и т.д. Желательно, чтобы длина шаблона-кандидата была значительно больше, чем частота дискретизации, с тем чтобы повысить точность анализа. Кроме того, желательно, чтобы длина шаблона-кандидата была короче по мере увеличения маневренности операции.
Обучающее устройство 10 может устанавливать длину вырезанного шаблона-кандидата на основе длины, которая предварительно установлена пользователем. Обучающее устройство 10 изменяет длину вырезанного шаблона-кандидата на заданную длину и вырезает множество шаблонов-кандидатов разной длины. Кроме того, обучающее устройство 10 может устанавливать длину шаблона-кандидата в соответствии с периодом метки. Обучающее устройство 10 устанавливает заданный процент периода метки в качестве длины шаблона-кандидата.
Обучающее устройство 10 случайным образом вырезает шаблон-кандидат из периода метки. Кроме того, обучающее устройство 10 вырезает данные сравнения из данных первого временного ряда. Например, время начала вырезания данных первого сравнения устанавливается равным времени начала данных первого временного ряда. Длина данных сравнения равна длине шаблона-кандидата.
Обучающее устройство 10 вычисляет подобие между шаблоном-кандидатом и данными сравнения. Расстояние можно использовать в качестве подобия. В качестве расстояния можно использовать расстояние с динамической деформацией времени (DTW). Когда данные первого временного ряда обозначены символами, в качестве расстояния можно использовать расстояние Левенштейна. Обучающее устройство 10 определяет подобие на основе величины, обратной расстоянию. Полученное подобие используется в качестве подобия между шаблоном-кандидатом и данными первого временного ряда для момента времени начала данных сравнения.
Обучающее устройство 10 вырезает многочисленные наборы данных сравнения во время сдвига времени начала. Величина сдвига времени начала устанавливается заранее. Кроме того, величина сдвига времени начала может быть установлена на основе частоты дискретизации датчика 20, длины шаблона-кандидата или периода метки. Например, когда частота дискретизации датчика 20 составляет 60 Гц, обучающее устройство 10 вырезает наборы данных сравнения, сдвигая моменты времени начала на 1/60 секунды.
Обучающее устройство 10 вычисляет подобие между шаблоном-кандидатом и многочисленных наборов данных сравнения. Многочисленные подобия используются как подобия между данными первого временного ряда и шаблонами-кандидатами для моментов времени начала многочисленных наборов данных сравнения. Таким способом получают данные подобия временного ряда. В дальнейшем данные подобия временного ряда называются "данными подобия". На фиг.5C показаны данные подобия между данными первого временного ряда, показанными на фиг.5A, и шаблоном-кандидатом, показанным на фиг.5B. В этом примере высокое сходство означает, что конфигурации данных аналогичны между данными первого временного ряда и шаблоном-кандидатом в этот момент времени.
Далее обучающее устройство 10 случайным образом вырезает другой шаблон-кандидат из периода метки L. Аналогично обработке, описанной выше, обучающее устройство 10 вычисляет подобие между другим шаблоном-кандидатом и многочисленными наборами данных для сравнения. Таким способом получают данные подобия, относящиеся к другому шаблону-кандидату. На фиг.6A показана данные того же временного ряда, что и на фиг.5А. На фиг.6B показан другой шаблон-кандидат. На фиг.6C показаны данные подобия для шаблона-кандидата, показанного на фиг.6B.
Обучающее устройство 10 повторяет вырезание шаблона-кандидата и выработку данных подобия до тех пор, пока количество шаблонов-кандидатов в пределах периода метки L не достигнет заданного числа.
Обучающее устройство 10 вычисляет оценку каждого шаблона-кандидата. Оценка показывает, насколько подходящим является шаблон-кандидат в качестве шаблона. Обучающее устройство 10 вычисляет оценку шаблона-кандидата на основе соответствующих данных подобия. Например, обучающее устройство 10 подсчитывает правильное число и неправильное число подходящего шаблона. Правильное число представляет собой количество раз, когда подобие превышает заданный порог, находится в пределах периода метки в данных подобия. Неправильное число представляет собой количество раз, когда время, в течение которого подобие превышает предварительно установленное пороговое значение, выходит за пределы периода метки в данных подобия. Обучающее устройство 10 увеличивает оценку по мере увеличения правильного числа. Шаблон-кандидат является более подходящим в качестве шаблона по мере увеличения оценки.
На фиг.7A показаны данные подобия, показанные на фиг.5С. Имеются три момента, когда подобие превышает пороговое значение TH1 в данных подобия. Каждый раз подобие находится в пределах периода метки L. Отношение правильного числа к неправильному числу составляет 1:0. Обучающее устройство 10 устанавливает оценку шаблона-кандидата, показанного на фиг.5B, на "1". На фиг.7B показаны данные подобия, показанные на фиг.6С. Имеется девять раз, когда подобие превышает пороговое значение TH1 в данных подобия. Три раза подобие находятся в пределах периода метки L. Шесть раз подобие находятся за пределами периода метки L. Отношение правильного числа к неправильному числу составляет 0,33:0,67. Обучающее устройство 10 устанавливает оценку шаблона-кандидата, показанного на фиг.6B, на "0,33". В ходе сравнения оценок определяется, что шаблон-кандидат, показанный на фиг.5B, больше подходит в качестве шаблона, чем шаблон-кандидат, показанный на фиг.6B.
Обучающее устройство 10 выбирает по меньшей мере один из множества шаблонов-кандидатов в качестве шаблона на основе оценок. В случае, когда целесообразность в качестве шаблона увеличивается по мере увеличения оценки шаблона-кандидата, обучающее устройство 10 выбирает не менее одного шаблона-кандидата в порядке, начиная от наивысшей оценки. Обучающее устройство 10 вырабатывает временные данные, используя выбранный шаблон. Временные данные указывают моменты времени (время), когда шаблон появляется в данных первого временного ряда.
Например, шаблон-кандидат, показанный на фиг.5B, выбран в качестве шаблона. На фиг.8A показаны данные подобия, показанные на фиг.5С. Обучающее устройство 10 обозначает моменты времени, когда подобие превышает заданный порог TH2 в данных подобия. Порог TH2 может быть равен порогу TH1. Считается, что шаблон появляется в момент, когда подобие превышает порог TH2. Обучающее устройство 10 присваивает числовое значение, превышающее 0, моментам времени, в которые подобие превышает заданный порог TH2, и присваивает 0 остальным моментам времени. Как показано на фиг.8B, временные данные для временного интервала, в котором шаблон, показанный на фиг.5B, создается таким образом. Когда выбрано несколько шаблонов, временные данные вырабатываются для каждого из шаблонов.
Обучающее устройство 10 обучает первую модель, используя метку, данные первого временного ряда и временные данные. Первая модель оценивает период выполнения задачи на основе данных временного ряда работы человека.
Желательно, чтобы первая модель включала в себя нейронную сеть. Используя нейронную сеть, можно с большей точностью оценить период выполнения задачи. Конфигурация нейронной сети является произвольной. Теперь будет описан пример предпочтительной нейронной сети согласно первому варианту осуществления.
На фиг.9 показано схематичное представление нейронной сети, включенной в первую модель.
Обучающее устройство 10 вырабатывает данные массива путем двумерного размещения значений, включенных в данные временных рядов, в М строках × N столбцах. Обучающее устройство 10 может вырабатывать данные трехмерного массива из M строк N столбцов × C карт путем наложения двумерных данных из M строк × N столбцов в качестве C карт признаков. Например, обучающее устройство 10 размещает упорядоченные по времени значения данных временного ряда как данные из M строк × N столбцов × C карт и вводит данные в нейронную сеть 90. Теперь будет описан пример, в котором обучающее устройство 10 размещает значения одномерных данных временного ряда как данные 1 строки × N столбцов × 1 слоя.
Данные входного массива вводятся в сверточный слой 91a и слой 92a внимания в блоке 90a. Сверточный слой 91a выводит данные массива F карт из данных массива C-карт. В дополнение к массиву данных F карт слой 92a внимания выводит внимание A карт. Внимание означает распределение весов векторов и указывает на область данных входного массива, на которую следует обратить внимание.
Данные массива F карт +A карт вводятся в слой 93a операции взятия максимума; и данные массива выводятся из 1 строки × (N/2) столбцов × F карт. Аналогично блоку 90a, данные массива, которые выводятся, вводятся в сверточный слой 91b и слой 92b внимания блока 90b. Данные массива из 1 строки × (N/2) столбцов × (2F карт + A карт) выводятся из блока 90b. Данные массива, которые выводятся из блока 90b, вводятся в сверточный слой 91c и слой 92c внимания блока 90c через слой 93b операция взятия максимума; и данные массива выводятся из 1 строки × (N/4) столбцов × (4F карт + A карт). Данные массива, которые выводятся из блока 90c, вводятся в сверточный слой 91d и слой 92d внимания блока 90d через слой 93c операция взятия максимума; и данные массива выводятся из 1 строки × (N/8) столбцов × (8F карт+A карт).
Данные массива, которые выводятся из блока 90d, вводятся в слой 94c повышающей дискретизации и подвергаются повышающей дискретизации до данных массива из 1 строки × (N/4) столбцов × 4F карт. Данные массива, которые выводятся из блока 90c, копируются и объединяются в блок 90e. Данные массива из блока 90c и данные массива из блока 90d накладываются и вводятся в блок 90e. В блоке 90e данные массива вводятся в сверточный слой 91e и слой 92e внимания; и данные массива выводятся из 1 строки × (N/4) столбцов × (4F карт + A карт).
Аналогично блоку 90e, данные массива из блока 90e и данные массива из блока 90b вводятся в блок 90f через слой 94b повышающей дискретизации. Данные массива вводятся в сверточный слой 91f и слой 92f внимания; и данные массива выводятся из 1 строки × (N/2) столбцов × (2F карт + A карт). Данные массива из блока 90f и данные массива из блока 90a вводятся в блок 90g через слой 94a повышающей дискретизации. Данные массива вводятся в сверточный слой 91g, слой 92g внимания и слой 95 многопеременной логистической функции; и данные массива выводятся из 1 строки × N столбцов × NL карт.
Нейронная сеть 90 выводит результат оценки задачи для введенных данных массива. Например, когда данные массива, которые выводятся, находятся в первом состоянии, это означает, что операция, соответствующая входным данным массива, выполняет отмеченную задачу. Когда выходные данные массива находятся во втором состоянии, это означает, что операция, соответствующая входным данным массива, выполняет операцию, отличную от отмеченной задачи.
Обучающее устройство 10 обучает нейронную сеть 90, используя данные первого временного ряда в качестве входных данных, и используя метку в качестве обучающих данных. Когда время вводимых данных массива находится в пределах периода метки, данные массива, которые указывают то, что задача выполняется, могут быть добавлены к обучающим данным. Когда время ввода данных массива выходит за пределы периода метки, данные массива, которые указывают, что выполняется что-то иное, чем задача, могут быть добавлены к обучающим данным. Функция оценки при обучении включает в себя термин, который минимизирует разницу между данными о времени появления шаблона и значением, которое указывает появление шаблона в слое внимания. Как описано выше, значения, которые включены во временные данные, которые размещены в M строках × N столбцах × C слоях карты.
Частота появления шаблона в отмеченной задаче является высокой. Временные данные указывают моменты времени появления шаблона. Другими словами, временные данные указывают области, которым следует уделить внимание в данных массива. Первую модель можно эффективно обучить, используя временные данные для оценки обученной первой модели. Обучающее устройство 10 сохраняет обученную первую модель в запоминающем устройстве 13.
Выше был описан пример, в котором первая модель имеет так называемую структуру U-Net. Первая модель может включать в себя другую структуру (например, Seg-Net), которая включает в себя сверточные слои и слои внимания. Первая модель может эффективно извлекать признак из данных временного ряда благодаря сверточным слоям. Точность оценки по первой модели может быть увеличена с помощью слоя внимания, указывающего на области, которым следует уделить внимание.
На фиг.10-12 показаны схематичные изображения, иллюстрирующие данные массива, выработанные из данных временного ряда.
Обучающее устройство 10 вырабатывает данные AD1 массива, размещая M-мерные данные временных рядов, например, в M столбцах × N строках, как показано на фиг.10. В примере на фиг.10 данные (значения) каждого измерения расположены во временном порядке в направлении строк. Данные измерений с первого по M размещены в направлении столбцов. Например, значение V1t1 представляет собой значение первого измерения данных временного ряда в момент времени t1. Значение VMtN представляет собой значение M-го измерения данных временного ряда в момент времени tN. Размер N является произвольным. Например, N устанавливается пользователем заранее.
В массиве AD2 данных, показанном на фиг.11 данные M-мерного временного ряда размещены в 2M столбцах. На верхней стороне в направлении столбцов размещены данные моментов времени t1-tN от первого до M-го измерений. На нижней стороне в направлении столбцов размещены данные моментов времени t(N+1) - t2N от первого до M-го измерений. Таким образом, количество наборов данных, размещенных в одном направлении, может быть установлено независимо от количества измерений данных временного ряда.
В данных AD3 массива, показанных на фиг.12, M-мерные данные временных рядов размещены в M столбцах × N строках и наложены на C-карты. Данные моментов времени t1 - tN от первого до M-го измерений расположены на первой карте. Данные моментов времени t(N+1) - t2N от первого до M-го измерений размещены во второй карте. Данные моментов времени t((C-1)N+1) - tCN от первого до M-го измерений размещены в C-й карте. Таким образом, тензор размером М столбцов × N строк × C карт может быть получен путем наложения упорядоченных по времени данных.
Аналогично данным временного ряда, обучающее устройство 10 двумерно упорядочивает временные данные с использованием способа компоновки, описанного выше.
На фиг.13 показана блок-схема, иллюстрирующая способ обучения, соответствующий системе обучения согласно первому варианту осуществления.
Датчик 20 осуществляет сбор данных об операции человека (этап S1). Например, данные представляют собой данные об ускорении; и датчик 20 осуществляет сбор данных временного ряда. Пользователь присваивает метку периода задачи данным, используемым в обучении (этап S2). Обучающее устройство 10 получает данные первого временного ряда для обучения и метку (этап S3). Обучающее устройство 10 вырезает шаблон-кандидат из периода, указанного меткой в данных первого временного ряда (этап S4). Обучающее устройство 10 использует шаблон-кандидат для выработки данных подобия (этап S5).
Обучающее устройство 10 определяет, достигло или нет количество шаблонов-кандидатов, которые вырезаются, заданного количества (этап S6). Когда количество шаблонов-кандидатов меньше заданного количества, обучающее устройство 10 повторно выполняет этап S4. Когда количество шаблонов-кандидатов не меньше заданного количества, обучающее устройство 10 выбирает шаблон из множества шаблонов-кандидатов (этап S7). Обучающее устройство 10 вырабатывает временные данные для выбранного шаблона (этап S8). Обучающее устройство 10 обучает первую модель, используя метку, данные первого временного ряда и временные данные (этап S9). Обучающее устройство 10 сохраняет обученную первую модель в запоминающем устройстве 13 (этап S10).
Ниже будут описаны преимущества первого варианта осуществления.
Для этой проблемы обучающее устройство 10 согласно первому варианту осуществления извлекает шаблон из данных первого временного ряда, которым присваивается метка. Затем обучающее устройство 10 использует шаблон для выработки временных данных и обучает первую модель, используя метку, данные первого временного ряда и временные данные. Используя временные данные, в первой модели можно указать время, на которое следует обратить внимание для оценки задачи в данных временного ряда. Даже когда обучающие данные не являются многочисленными, за счет этого можно значительно повысить точность первой модели. По сравнению с тем, когда шаблон и временные данные не используются, обучающие данные, можно уменьшить необходимые для обучения первой модели; и можно уменьшить нагрузку на пользователя.
Согласно первому варианту осуществления пользователю при маркировке достаточно ввести только время начала и время окончания задачи и тип задачи. После маркировки обучающее устройство 10 автоматически извлекает шаблон и обучает первую модель. Таким образом, первую модель может легко обучить даже пользователь, не обладающий экспертными знаниями в области маркировки.
Выше был описан пример, в котором первая модель оценивает период одного типа задачи в данных временного ряда. Первую модель можно обучить оценивать периоды нескольких типов задач в данных временного ряда. В таком случае обучающее устройство 10 выполняет извлечение шаблона, выработку временных данных и обучение первой модели для меток многочисленных типов задач.
В частности, пользователь присваивает первую метку первой задачи и вторую метку второй задачи данным временного ряда. Первая метка указывает время начала первой задачи, время окончания первой задачи и то, что выполненная задача является первой задачей. Вторая метка указывает время начала второй задачи, время окончания второй задачи и то, что выполненная задача является второй задачей. Обучающее устройство 10 получает данные первого временного ряда, которым присвоены первая и вторая метки. Обучающее устройство 10 извлекает первый шаблон из периода, указанного первой меткой в данных первого временного ряда. Обучающее устройство 10 извлекает второй шаблон из периода, указанного второй меткой в данных первого временного ряда.
Обучающее устройство 10 вырабатывает первые временные данные о времени, в течение которого первый шаблон появляется в данных первого временного ряда. Обучающее устройство 10 вырабатывает вторые временные данные о времени, в течение которого второй шаблон появляется в данных первого временного ряда. Обучающее устройство 10 обучает слои внимания, используя первую метку и первые временные данные. Обучающее устройство 10 обучает слои внимания, используя вторую метку и вторые временные данные. Обучающее устройство 10 обучает первую модель, используя первую метку, вторую метку и данные первого временного ряда.
Модификация
Обучающее устройство 10 может обучать первую модель, сосредотачиваясь только на данных временного ряда части измерений, включенных в многомерные данные временных рядов. Например, датчик 20 представляет собой датчик изображения, включенный в устройство формирования изображения. Датчик 20 непрерывно собирает изображения операций человека. Устройство формирования изображения сохраняет полученные видеоизображения в запоминающем устройстве 13.
Обучающее устройство 10 определяет позу человека на изображении. Поза представлена положениями частей и суставов человека. OpenPose или что-то подобное можно использовать для определения позы. Часть относится к одной части тела, такой как глаз, ухо, нос, голова, надплечье, плечо, предплечье, кисть, грудь, живот, бедро, голень, стопа и т.д. Сустав относится к подвижной соединительной части, такой как шея, локоть, запястье, поясница, колено, лодыжка и т.п., которая связывает по меньшей мере участок частей друг с другом.
На фиг.14A показан пример изображения. На фиг.14B показан пример результата обнаружения позы для фиг.14А.
Обучающее устройство 10 получает видеоизображение путем доступа к памяти устройства 13. Как показано на фиг.14A, обучающее устройство 10 получает статическое изображение человека 96 из видеоизображения. Обучающее устройство 10 определяет позу человека на изображении. Например, как показано на фиг.14B, обнаруживаются положения головы 97a, левого плеча 97b, левого локтя 97c, левого запястья 97d, левой руки 97e, правого плеча 97f, правого локтя 97g, правого запястья 97h, правой руки 97i и позвоночника 97j человека 96.
Обучающее устройство 10 последовательно выполняет обнаружение позы для изображений в каждый момент видеоизображения. Таким способом получают данные временного ряда положений деталей и положений суставов в каждый момент времени. В примере, показанном на фиг.14B, положение в направлении X и положение в направлении Y собираются как двумерные данные для каждой части тела, такой как голова 97a, левое плечо 97b, левый локоть 97c, левое запястье 97d, левая рука 97e, правое плечо 97f, правый локоть 97g, правое запястье 97h, правая рука 97i и позвоночник 97j; в целом получаются данные 20-мерного временного ряда.
Обучающее устройство 10 предписывает устройству 12 отображения отображать видеоизображение, которое отображается устройством формирования изображения. Пользователь использует устройство 11 ввода для ввода меток в обучающее устройство 10. В частности, пользователь вводит время начала и время окончания задачи и идентификационную информацию задачи при проверке отображаемого видеоизображения.
Данные m-мерного временного ряда, в которых изменение является большим в период, указанный меткой, извлекаются из данных n-мерного временного ряда целиком с помощью обучающего устройства 10. m и n являются целыми числами, и m меньше n. Например, обучающее устройство 10 вычисляет среднее значение и дисперсию всех данных временного ряда в периоде метки. Обучающее устройство 10 извлекает часть данных временного ряда, в которой дисперсии является большой. Например, в качестве дисперсии используется отклонение или среднеквадратическое отклонение.
Обучающее устройство 10 извлекает шаблон в течение периода, указанного на метке в извлеченных данных первого временного ряда. Шаблон извлекается из данных временного ряда каждого измерения. Другими словами, m-мерный шаблон извлекается из m-мерных данных временного ряда. Обучающее устройство 10 вырабатывает m наборов данных подобия и m наборов временных данных с использованием m-мерного шаблона и m-мерных данных временного ряда. Обучающее устройство 10 может вырабатывать m-мерные данные подобия и m-мерные временные данные. После этого, аналогично обработке, описанной выше, первая модель обучается с использованием данных первого временного ряда и временных данных.
На фиг.15A и 15B показаны схематичные изображения, иллюстрирующие состояния задачи.
В этом примере извлечение части данных временного ряда, в которой изменение является большим, соответствует сосредоточению внимания на части частей, в которой изменение является большим. Например, на фиг.15А, человек маркирует упакованное изделие. Затем, как показано на фиг.15B, человек берет устройство для считывания штрих-кода, расположенное сбоку, и считывает штрих-код с наклеенной этикетки. В частности, в это время сильно меняются положения правой руки, правого запястья, правого предплечья и правого локтя. Извлечение части данных временного ряда обучающим устройством 10 соответствует извлечению изменений положений правой руки, правого запястья, правого предплечья и правого локтя из изменений положений частей и суставов.
На фиг.16 показана блок-схема, иллюстрирующая способ обучения, соответствующий системе обучения согласно модификации первого варианта осуществления.
После этапа S3 обучающее устройство 10 извлекает данные временного ряда для части измерений из многомерных данных первого временного ряда (этап S12). После этого, аналогично блок-схеме, показанной на фиг.13, обучающее устройство 10 выполняет этап S4 и последующие этапы для данных первого временного ряда, из которых извлекается часть размеров.
Согласно модификации задача, которая включает в себя характерную операцию, такую как обозначенная часть тела, сильно перемещающаяся в указанном направлении, может быть оценена с более высокой точностью.
При размещении данных временного ряда, полученных из позы человека, для ввода в первую модель, предпочтительно, чтобы данные соседних частей или суставов были соседними в массиве данных. Например, данные для правой руки, правого голеностопного сустава, правого предплечья, правого локтя и правого плеча извлекаются как данные с большим изменением. Извлеченные данные первого временного ряда представляют собой 10-мерные данные о положениях в направлении X и Y этих частей и суставов. Когда данные расположены так, как показано на фиг.10, предпочтительно, чтобы соседние части и суставы были соседними в массиве данных, как указано ниже. Значения V1 и V2 представляют собой, соответственно, положения правой руки в направлении X и Y. Значения V3 и V4 представляют собой, соответственно, положения в направлении X и Y правого запястья. Значения V5 и V6 представляют собой, соответственно, положения правого предплечья в направлении X и Y. Значения V7 и V8 представляют собой, соответственно, положения правого локтя в направлении X и Y. Значения V9 и V10 представляют собой, соответственно, положения правого плеча в направлении X и Y. Благодаря расположению данных соседних деталей или суставов, которые должны быть соседними в данных массива, легче извлечь признак из данных массива; и можно увеличить точность оценки по первой модели.
Второй вариант осуществления
На фиг.17 показана упрощенная блок-схема, иллюстрирующая систему анализа согласно второму варианту осуществления.
По сравнению с обучающей системой 1, система 2 анализа согласно второму варианту осуществления дополнительно включает в себя анализирующее устройство 30.
Датчик 20 осуществляет сбор данных (например, данные ускорения или изображение) операции объекта анализа. Анализирующее устройство 30 обращается к запоминающему устройству 13 и получает данные об операции и первой модели, обученной обучающим устройством 10. Данные, которые собираются датчиком 20, используются анализирующим устройством 30 в качестве данных временного ряда для ввода в первую модель. Кроме того, анализирующее устройство 30 вырабатывает данные временного ряда на основе данных, собранных датчиком 20. В данном документе данные временного ряда для анализа, которые вводятся в первую модель, называются "данными второго временного ряда".
Анализирующее устройство 30 вводит данные второго временного ряда в первую модель. Анализирующее устройство 30 получает результат оценки первой модели в качестве результата анализа данных второго временного ряда. Результат анализа указывает период, в течение которого выполняется задача, в данных второго временного ряда. Анализирующее устройство 30 сохраняет результат анализа в запоминающем устройстве 13.
Используя первую модель, обученную обучающим устройством 10 в ходе анализа, можно увеличить точность анализа. Например, даже для работы, в котором последовательность задачи, продолжительность задачи и т.д. не определены, период выполнения задачи может быть проанализирован с более высокой точностью на основе данных временного ряда операции.
На фиг.18 и 19 показан пример выходного результата системы анализа согласно второму варианту осуществления.
В данном документе описан пример, в котором работник выполняет комплектование, замену этикеток, сборку коробок, упаковку в коробки, закрытие коробок, маркировку, считывание этикеток и размещение на тележке на рабочем месте логистики.
Анализирующее устройство 30 отображает результат анализа на экране устройства 12 отображения. Например, как показано на фиг.18, анализирующее устройство 30 отображает период каждой задачи в данных второго временного ряда вместе с информацией о данных второго временного ряда и задачах. В примере названия задач отображаются как информация о задачах.
Кроме того, когда период выполнения задачи оценивается с помощью первой модели, анализирующее устройство 30 получает тип задачи, которая выполняется, время начала задачи и время окончания задачи. Как показано на фиг.19, выполняемые задачи упорядочены по времени и отображаются анализирующим устройством 30. В это время, как показано на фиг.19, анализирующее устройство 30 может отображать время, когда начинается работа (job), которая включает в себя одну группу задач. Анализирующее устройство 30 может отображать задачи одного и того же типа в одной и той же форме и может отображать задачи разных типов во взаимно разных формах.
Начало работы определяется на основе одного, двух или более случаев распознавания работника на изображении, перемещения работника в заданную позицию на изображении или появления некоторого шаблона. Окончание работы определяется на основе одного, двух или более случаев отсутствия работника на изображении, перемещения работника за пределы изображения, перемещения работника в заданную позицию на изображении или истечения заданного количества времени.
В примере, показанном на фиг.19 операция, отличная от задачи, обозначена как "другая" в данных временного ряда. Например, анализирующее устройство 30 может вычислять подобие между данными второго временного ряда и шаблоном и может вырабатывать данные подобия, относящиеся к данным второго временного ряда. Анализирующее устройство 30 использует данные подобия для выработки временных данных, касающихся времени появления шаблона во вторых данных временного ряда. Когда шаблон не появляется в заданный период, анализирующее устройство 30 определяет, что задача завершена. Анализирующее устройство 30 определяет, что операция, отличная от задачи, существует по меньшей мере в части периода от последнего появления шаблона до следующего появления шаблона. Операция "Другая" соответствует операции, отличной от задачи, зарегистрированной в таблице задач, показанной на фиг.3.
Анализирующее устройство 30 может извлекать точку изменения состояния, включенную в данные временного ряда. Например, для извлечения точки изменения состояния используется скрытая марковская модель для иерархического процесса Дирихле (HDP-HMM), алгоритм k-средних, алгоритм x-средних или спектральная кластеризация. Анализирующее устройство 30 определяет, что операция, отличная от задачи, существует от одной точки изменения после появления последнего шаблона до другой точки изменения до появления следующего шаблона.
Анализирующее устройство 30 может определять операцию, отличную от задачи, на основе как времени появления шаблона во втором временном ряду, так и точки изменения состояния в данных второго временного ряда. Например, анализирующее устройство 30 определяет, что задача закончилась в точке изменения сразу после последнего появления шаблона. Анализирующее устройство 30 определяет, что задача началась в точке изменения непосредственно перед следующим появлением шаблона.
Благодаря отображению результата анализа пользователь может легко определить, какую задачу выполняет работник, в какой последовательности и приблизительно сколько времени.
На фиг.20 показана блок-схема, иллюстрирующая способ анализа, соответствующий системе анализа согласно второму варианту осуществления.
Датчик 20 осуществляет сбор данных операции человека, касающиеся объекта анализа (этап S21). Анализирующее устройство 30 получает первую модель, которая обучается обучающим устройством 10 (этап S22). Анализирующее устройство 30 получает данные второго временного ряда, которые вводятся в первую модель (этап S23). Анализирующее устройство 30 вводит данные второго временного ряда в первую модель и выполняет анализ (этап S24). Анализирующее устройство 30 выводит результат анализа (этап S25).
На фиг.21 показана упрощенная блок-схема, иллюстрирующая конфигурацию аппаратных средств.
Например, обучающее устройство 10 представляет собой компьютер и включает в себя постоянное запоминающее устройство (ROM) 10a, оперативное запоминающее устройство (RAM) 10b, центральный процессор (CPU) 10c и жесткий диск (HDD) 10d.
ROM 10a хранит программы, управляющие работой компьютера. В ROM 10а хранятся программы, необходимые для того, чтобы компьютер выполнял описанную выше обработку.
RAM 10b функционирует как область памяти, куда загружаются программы, хранящиеся в ROM 10a. CPU 10c включает в себя схему обработки. CPU 10c считывает программу управления, хранящуюся в ROM 10a, и управляет работой компьютера в соответствии с программой управления. CPU 10c загружает различные данные, полученные в результате работы компьютера, в RAM 10b. На HDD 10d хранятся данные, необходимые для обработки обучающим устройством 10, и данные, полученные в результате обработки. HDD 10d может функционировать как запоминающее устройство 13.
Вместо HDD 10d обучающее устройство 10 может включать в себя встроенную мультимедийную карту (eMMC), твердотельный накопитель (SSD), твердотельный гибридный накопитель (SSHD) и т.д.
Устройство 11 ввода включает в себя, например, по меньшей мере одно, выбранное из мыши, клавиатуры, микрофона (аудиовхода) и сенсорной панели. Например, устройство 12 отображения включает в себя по меньшей мере одно, выбранное из монитора и проектора. Можно такое использовать устройство, такое как сенсорная панель, которая функционирует как устройство 11 ввода, так и устройство 12 отображения.
Аппаратная конфигурация, аналогичная конфигурации обучающего устройства 10, применима к аппаратной конфигурации анализирующего устройства 30. Один компьютер может функционировать как обучающее устройство 10 и анализирующее устройство 30. Кроме того, процесс обработки и функции обучающего устройства 10 и анализирующего устройства 30 могут быть реализованы путем взаимодействия между собой большого количества компьютеров.
Согласно обучающему устройству, системе обучения или способу обучения, описанному выше, точность первой модели может быть увеличена при использовании меньшего количества обучающих данных. Используя анализирующее устройство, систему анализа или способ анализа, можно повысить точность анализа путем анализа данных временного ряда с использованием обученной первой модели. Аналогичные эффекты могут быть также получены при использовании программы, предписывающей компьютеру функционировать как обучающее устройство или анализирующее устройство.
Результаты обработки различных данных, описанных выше, могут храниться на невременном носителе информации (невременном машиночитаемом носителе информации), который может считывать компьютер, например, магнитный диск (гибкий диск, жесткий диск, и т.д.), оптический диск (CD-ROM, CD-R, CD-RW, DVD-ROM, DVD±R, DVD±RW и т.д.), полупроводниковую память и т.д., в виде программы, которая может исполняться компьютером.
Например, данные, которые записаны на носителе информации могут быть считаны компьютером (или встроенной системой). Формат записи (формат хранения) носителя информации является произвольным. Например, компьютер считывает программу с носителя информации предписывает CPU исполнять инструкции, представленные в программе, на основе программы. Получение (или считывание) программы компьютером может быть выполнено через сеть.
Хотя выше были описаны конкретные варианты осуществления, эти варианты осуществления были представлены только в качестве примера и не предназначены для ограничения объема изобретения. Фактически, описанные в данном документе новые варианты осуществления могут быть воплощены в множестве других форм; более того, различные исключения, замены и изменения в форме вариантов осуществления, описанных в данном документе, могут быть сделаны без отступления от сущности изобретения. Прилагаемая формула изобретения и ее эквиваленты предназначены для охвата таких форм или модификаций, которые подпадают под объем и сущность изобретения. Вышеупомянутые варианты осуществления могут применяться в сочетании друг с другом.
1. Обучающее устройство для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда операции человека, при этом обучающее устройство выполнено с возможностью:
получения данных первого временного ряда, которым присвоена метка задачи,
извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака,
выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда,
обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этом
данные первого временного ряда являются многомерными данными операций множества частей и операций множества суставов тела,
при этом обучающее устройство выполнено с возможностью:
извлечения части измерений из данных первого временного ряда,
извлечения шаблона из извлеченных данных первого временного ряда и выработки временных данных для каждого измерения указанной части измерений, и
обучения первой модели с использованием метки, извлеченных данных первого временного ряда и множества наборов временных данных.
2. Обучающее устройство для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда операции человека, при этом обучающее устройство выполнено с возможностью:
получения данных первого временного ряда, которым присвоена метка задачи,
извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака,
выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда,
обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этом
первая модель включает в себя нейронную сеть, включающую в себя сверточный слой и слой внимания,
при этом обучающее устройство выполнено с возможностью:
обучения первой модели с использованием данных первого временного ряда в качестве входных данных и с использованием метки в качестве обучающих данных, и
использования временных данных для оценки первой модели при обучении.
3. Обучающее устройство по п.1 или 2, в котором
данные первого временного ряда являются многомерными,
при этом обучающее устройство выполнено с возможностью:
уменьшения размерности данных первого временного ряда, и
извлечения шаблона из уменьшенных данных первого временного ряда.
4. Обучающее устройство по п.2, в котором
данные первого временного ряда являются многомерными данными операций множества частей и операций множества суставов тела,
при этом обучающее устройство выполнено с возможностью:
извлечения части измерений из данных первого временного ряда,
извлечения шаблона из извлеченных данных первого временного ряда и выработки временных данных для каждого измерения указанной части измерений, и
обучения первой модели с использованием метки, извлеченных данных первого временного ряда и множества наборов временных данных.
5. Обучающее устройство по п.1 или 2, в котором
данным первого временного ряда присвоено множество меток множества задач,
при этом обучающее устройство выполнено с возможностью:
извлечения множества шаблонов соответственно из множества периодов, указанных множеством меток,
выработки множества наборов временных данных, касающихся времени появления множества шаблонов в данных первого временного ряда, и
обучения первой модели с использованием множества меток, данных первого временного ряда и множества наборов временных данных, чтобы побудить первую модель оценивать периоды выполнения множества задач на основании данных временного ряда.
6. Обучающее устройство по п.1 или 2, характеризующееся тем, что выполнено с возможностью выработки данных массива путем двумерного размещения значений данных первого временного ряда,
причем данные массива вводятся в первую модель,
при этом обучающее устройство выполнено с возможностью обучения первой модели с использованием метки, данных массива, основанных на данных первого временного ряда, и временных данных.
7. Обучающее устройство по п.1, в котором
первая модель включает в себя нейронную сеть, включающую в себя сверточный слой и слой внимания,
при этом обучающее устройство выполнено с возможностью:
обучения первой модели с использованием данных первого временного ряда в качестве входных данных и с использованием метки в качестве обучающих данных, и
использования временных данных для оценки первой модели при обучении.
8. Обучающее устройство по п.1 или 2, в котором
данные типа задачи, время начала и время окончания задачи принимаются в качестве метки.
9. Обучающее устройство для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда, при этом данные временного ряда представляют собой операцию человека,
при этом обучающее устройство выполнено с возможностью выработки данных массива путем двумерного размещения значений данных первого временного ряда,
данным первого временного ряда назначается метка задачи,
при этом обучающее устройство выполнено с возможностью обучения первой модели с использованием метки и данных массива,
первая модель включает в себя сверточный слой и слой внимания.
10. Анализирующее устройство для анализа периода выполнения задачи, характеризующееся тем, что выполнено с возможностью ввода данных второго временного ряда в первую модель, обученную обучающим устройством по п.1 или 2,
причем данные второго временного ряда являются объектом анализа,
при этом анализирующее устройство выполнено с возможностью анализа периода выполнения задачи в данных второго временного ряда.
11. Анализирующее устройство по п.10, характеризующееся тем, что выполнено с возможностью анализа периода операции, отличной от указанной задачи, на основе времени появления шаблона во втором временном ряду и одной или двух точек изменения состояния в данных второго временного ряда.
12. Способ обучения для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда, при этом данные временного ряда представляют собой операцию человека, причем способ содержит этапы, на которых:
получают данные первого временного ряда, которым присвоена метка задачи;
извлекают шаблон из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака;
вырабатывают временные данные, касающиеся времени появления шаблона в данных первого временного ряда; и
обучают первую модель с использованием метки, данных первого временного ряда и временных данных, при этом
данные первого временного ряда являются многомерными данными операций множества частей и операций множества суставов тела,
при этом
извлекают часть измерений из данных первого временного ряда,
извлекают шаблон из извлеченных данных первого временного ряда и вырабатывают временные данные для каждого измерения указанной части измерений, и
обучают первую модель с использованием метки, извлеченных данных первого временного ряда и множества наборов временных данных.
13. Способ обучения для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда, при этом данные временного ряда представляют собой операцию человека, причем способ содержит этапы, на которых:
получают данные первого временного ряда, которым присвоена метка задачи;
извлекают шаблон из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака;
вырабатывают временные данные, касающиеся времени появления шаблона в данных первого временного ряда; и
обучают первую модель с использованием метки, данных первого временного ряда и временных данных, при этом
первая модель включает в себя нейронную сеть, включающую в себя сверточный слой и слой внимания,
при этом:
обучают первую модель с использованием данных первого временного ряда в качестве входных данных и с использованием метки в качестве обучающих данных, и
используют временные данные для оценки первой модели при обучении.
14. Носитель информации, на котором хранятся инструкции, представленные в программе,
причем инструкции вызывают обучение компьютером первой модели, причем первая модель оценивает период выполнения задачи на основе данных временного ряда, при этом данные временного ряда представляют собой операцию человека,
при этом инструкции вызывают выполнение компьютером:
получения данных первого временного ряда, которым присвоена метка задачи;
извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака;
выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда; и
обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этом
данные первого временного ряда являются многомерными данными операций множества частей и операций множества суставов тела,
при этом инструкции вызывают выполнение компьютером:
извлечения части измерений из данных первого временного ряда,
извлечения шаблона из извлеченных данных первого временного ряда и выработки временных данных для каждого измерения указанной части измерений, и
обучения первой модели с использованием метки, извлеченных данных первого временного ряда и множества наборов временных данных.
15. Носитель информации, на котором хранятся инструкции, представленные в программе,
причем инструкции вызывают обучение компьютером первой модели, причем первая модель оценивает период выполнения задачи на основе данных временного ряда, при этом данные временного ряда представляют собой операцию человека,
при этом инструкции вызывают выполнение компьютером:
получения данных первого временного ряда, которым присвоена метка задачи;
извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака;
выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда; и
обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этом
первая модель включает в себя нейронную сеть, включающую в себя сверточный слой и слой внимания,
при этом инструкции вызывают выполнение компьютером:
обучения первой модели с использованием данных первого временного ряда в качестве входных данных и с использованием метки в качестве обучающих данных, и
использования временных данных для оценки первой модели при обучении.
