Способ, система и устройство для обработки выборочных данных
Владельцы патента RU 2780710:
ФАЙБЕРХОУМ ТЕЛЕКОММЬЮНИКЕЙШН ТЕКНОЛОДЖИЗ КО., ЛТД (CN)
Изобретение относится к области обработки данных. Технический результат заключается в обеспечении возможности обработки выборочных данных, которые обеспечивали бы преобразование конфигурационных данных, данных аварийной сигнализации и данных о неисправностях, повышая эффективность сохранения выборочных данных и обеспечивая достижение междоменного взаимодействия выборочных данных и обмена ими между разными производителями. Такой результат достигается тем, что получают из базы данных данные аварийной сигнализации, данные о неисправностях и конфигурационные данные, относящиеся к по меньшей мере одной целевой сети, за множество моментов времени и соответственно преобразуют их в соответствующие векторы и строят для по меньшей мере одной целевой сети многоуровневое многомерное пространство, содержащее уровень данных аварийной сигнализации, уровень данных о неисправностях и уровень конфигурационных данных каждой целевой сети, причем каждый уровень представляет собой двумерную матрицу, имеющую один и тот же размер, и используется для хранения векторов, полученных в результате преобразования, в строках в соответствии с последовательностью моментов времени. 5 з.п. ф-лы, 13 ил., 1 табл.
Область техники
Настоящее изобретение относится к области техники, представляющей собой связь, в частности к способу, системе и устройству для обработки выборочных данных.
Уровень техники
Если текущий показатель рабочих характеристик оборудования оптической сети превышает предельный уровень или если происходит ухудшение некоторых потенциальных рабочих характеристик, генерируется серия данных аварийной сигнализации, которые передаются на сетевую административную платформу. В случае неисправности оборудования оптической сети генерируются и передаются как данные аварийной сигнализации, так и данные о неисправности. В настоящее время специалисты по эксплуатации и техобслуживанию осуществляют локацию неисправности и реализуют стратегию устранения неисправности путем анализа данных аварийной сигнализации и данных о неисправностях посредством административной платформы и платформы управления и при необходимости активируют защитную коммутацию для обеспечения нормальной работы оптической сети.
С непрерывным ростом масштаба оптических сетей и увеличением количества оборудования оптических сетей растет объем данных аварийной сигнализации и данных о неисправностях, генерируемых оптическими сетями. Локация и устранение сетевых неисправностей становятся все более и более сложными и трудоемкими. Традиционный режим обработки неисправностей сопряжен с огромными проблемами и сложен с точки зрения удовлетворения текущих потребностей. В частности, в условиях быстрой разработки сервисов связи и непрерывного развития и изменения технологий связи, общей тенденцией становится переход от традиционного жесткого соединения и жесткой сетевой архитектуры к нежесткому соединению и гибкой сетевой архитектуре на основе облака. Нижний уровень облачной сети реализует продвижение данных посредством оборудования оптической сети, а средний и верхний уровни реализуют администрирование и управление ресурсами и сервисами посредством платформы управления, административной платформы и платформы оркестрации. Процесс эксплуатации и техобслуживания системы является более сложным, что необходимо для реализации представления объединения сетевых данных и эффективного извлечения операций над данными и их вычислений, чтобы решить проблему сложности быстрого восстановления облачной сети после возникновения неисправностей.
Использование технологии искусственного интеллекта для анализа и устранения сетевых неисправностей является эффективным решением указанных проблем. Однако, с одной стороны, все из существующих данных аварийной сигнализации, данных о неисправностях и конфигурационных данных, ориентированных на специалистов по эксплуатации и техобслуживанию, содержат различные типы полей, такие как время начала аварийной сигнализации, тип сетевого элемента и количество ядер центрального процессора (central processing unit, CPU). Эти гетерогенные данные не могут непосредственно использоваться в качестве выборочных данных, ориентированных на машинное обучение; с другой стороны, вследствие огромного количества сетевых данных, различий между сетями различных типов и так далее, требуемые выборочные данные не могут быть гибко извлечены в соответствии с нуждами машинного обучения. Следовательно, существует насущная необходимость в гибких и эффективных способах обработки выборочных данных, чтобы удовлетворить потребности тестирования и анализа модели машинного обучения.
Раскрытие сущности изобретения
Задача настоящего изобретения состоит в создании таких способа, системы и устройства для обработки выборочных данных, которые обеспечивали бы преобразование конфигурационных данных, данных аварийной сигнализации и данных о неисправностях, ориентированных на специалистов по эксплуатации и техобслуживанию, в выборочные данные, ориентированные на машинное обучение, повышали бы эффективность сохранения выборочных данных и обеспечивали бы достижение междоменного взаимодействия выборочных данных и обмена ими между разными производителями.
В первом аспекте, в варианте осуществления настоящего изобретения предложен способ обработки выборочных данных, включающий этапы, на которых:
получают из базы данных данные аварийной сигнализации, данные о неисправностях и конфигурационные данные по меньшей мере одной целевой сети за множество моментов времени и соответственно преобразуют их в соответствующие векторы; и
строят для по меньшей мере одной целевой сети многоуровневое многоразмерное пространство, содержащее уровень данных аварийной сигнализации, уровень данных о неисправностях и уровень конфигурационных данных каждой целевой сети, причем каждый уровень представляет собой двумерную матрицу, имеющую один и тот же размер, и выполнен с возможностью сохранения векторов, полученных в результате преобразования, в строках в соответствии последовательностью моментов времени.
В сочетании с первым аспектом, в первом альтернативном варианте осуществления способ дополнительно включает этап, на котором извлекают входной вектор модели машинного обучения из уровня данных аварийной сигнализации и уровня данных о неисправностях, и извлекают выходной вектор модели машинного обучения из уровня конфигурационных данных.
В первом альтернативном варианте осуществления по первому аспекту, последовательно выполняют развертывание режима и развертывание строкового вектора на уровне данных аварийной сигнализации и уровне данных о неисправностях для получения входного вектора; и последовательно выполняют развертывание режима и развертывание строкового вектора на уровне конфигурационных данных для получения выходного вектора.
Во втором альтернативном варианте осуществления по первому аспекту, извлекают подпространство, содержащее целевые данные, из многоуровневого многоразмерного пространства, причем указанное подпространство содержит по меньшей мере одну подматрицу уровня данных аварийной сигнализации, уровня данных о неисправностях и уровня конфигурационных данных; и
последовательно выполняют развертывание режима и развертывание строкового вектора на указанном подпространстве для получения входного вектора и/или выходного вектора.
В необязательном варианте осуществления получают указанное подпространство после сегментирования многоуровневого многоразмерного пространства посредством оператора подпространственного сегментирования;
выполняют развертывание строкового вектора на матрице развертывания режима посредством первого оператора развертывания режима для получения входного вектора; и/или выполняют развертывание строкового вектора на матрице развертывания режима посредством второго оператора развертывания режима для получения выходного вектора.
В сочетании с третьим альтернативным вариантом осуществления по первому аспекту, сохраняют векторы, полученные в результате преобразования, в строках двумерной пустой матрицы в соответствии с последовательностью указанных моментов времени так, чтобы получить матрицу аварийной сигнализации, матрицу неисправностей и конфигурационную матрицу каждой соответствующей целевой сети;
соответственно сохраняют матрицу аварийной сигнализации, матрицу неисправностей и конфигурационную матрицу на уровне данных аварийной сигнализации, уровне данных о неисправностях и уровне конфигурационных данных многоуровневого многоразмерного пространства и заполняют матричные элементы, не имеющие сохраненных значений, на каждом уровне нулевыми значениями.
В сочетании с четвертым альтернативным вариантом осуществления, вектор, полученный в результате преобразования, представляет собой адамарово произведение основного вектора и вектора размерного расширения, причем каждый элемент основного вектора представляет собой значение поля в данных аварийной сигнализации, данных о неисправностях или конфигурационных данных в некоторый момент времени, и каждый элемент вектора размерного расширения представляет собой результат кратного расширения или сжатия соответствующего элемента основного вектора.
Во втором аспекте, в качестве варианта осуществления настоящего изобретения предложена система обработки выборочных данных, содержащая:
преобразовательный модуль, который выполнен с возможностью получения данных аварийной сигнализации, данных о неисправностях и конфигурационных данных по меньшей мере одной целевой сети за множество моментов времени из базы данных и их преобразования соответствующим образом в соответствующие векторы;
модуль построения пространства, который выполнен с возможностью построения, для по меньшей мере одной целевой сети, многоуровневого многоразмерного пространства, содержащего уровень данных аварийной сигнализации, уровень данных о неисправностях и уровень конфигурационных данных каждой целевой сети, причем каждый уровень представляет собой двумерную матрицу, имеющую один и тот же размер, и выполнен с возможностью сохранения векторов, полученных в результате преобразования, в строках в соответствии с последовательностью моментов времени.
В сочетании со вторым аспектом, в первом альтернативном варианте осуществления система дополнительно содержит:
модуль извлечения, который выполнен с возможностью извлечения входного вектора модели машинного обучения из уровня данных аварийной сигнализации и уровня данных о неисправностях и извлечения выходного вектора модели машинного обучения из уровня конфигурационных данных.
В первом альтернативном варианте осуществления по второму аспекту модуль извлечения содержит;
блок подматричной обработки, который выполнен с возможностью извлечения подпространства, содержащего целевые данные, из многоуровневого многоразмерного пространства, причем указанное подпространство содержит по меньшей мере одну подматрицу уровня данных аварийной сигнализации, уровня данных о неисправностях и уровня конфигурационных данных;
блок матричных вычислений, который выполнен с возможностью последовательного выполнения развертывания режима и развертывания строкового вектора на уровне данных аварийной сигнализации и уровне данных о неисправностях для получения входного вектора; последовательного выполнения развертывания режима и развертывания строкового вектора на уровне конфигурационных данных для получения выходного вектора и последовательного выполнения развертывания режима и развертывания строкового вектора на указанном подпространстве для получения входного вектора и/или выходного вектора.
В сочетании со вторым аспектом, во втором альтернативном варианте осуществления модуль построения содержит:
блок предварительной матричной обработки, который выполнен с возможностью сохранения векторов, полученных в результате преобразования, с одним и тем же источником данных в строках двумерной пустой матрицы в соответствии с указанной последовательностью моментов времени так, чтобы получить матрицу аварийной сигнализации, матрицу неисправностей и конфигурационную матрицу каждой целевой сети соответственно;
блок построения матрицы, который выполнен с возможностью сохранения соответственно матрицы аварийной сигнализации, матрицы неисправностей и конфигурационной матрицы на уровне данных аварийной сигнализации, уровне данных о неисправностях и уровне конфигурационных данных многоуровневого многоразмерного пространства и заполнения матричных элементов, не имеющих сохраненных значений, на каждом уровне нулевыми значениями.
В третьем аспекте, в варианте осуществления настоящего изобретения предложено устройство для обработки сетевых неисправностей, основанное на модели машинного обучения и содержащее систему диагностики неисправностей и систему обработки выборочных данных, описанные во втором аспекте;
указанная система диагностики неисправностей содержит модуль построения модели и модуль управления вводом-выводом; модуль построения модели выполнен с возможностью получения входного вектора и выходного вектора из системы обработки для построения модели машинного обучения, причем входной вектор извлекается из уровня данных аварийной сигнализации и уровня данных о неисправностях, а выходной вектор извлекается из уровня конфигурационных данных; и
модуль управления вводом-выводом выполнен с возможностью получения данных аварийной сигнализации и данных о неисправностях целевой сети, их преобразования соответствующим образом в соответствующие векторы, ввода этих векторов в модуль построения модели и передачи выходного вектора модуля построения модели на целевую сеть.
По сравнению с известным уровнем техники, в варианте осуществления настоящего изобретения получают данные аварийной сигнализации, данные о неисправностях и конфигурационные данные по меньшей мере одной целевой сети за множество моментов времени из базы данных, соответственно преобразуют их в соответствующие векторы и строят многоуровневое многоразмерное пространство для по меньшей мере одной целевой сети, в результате чего обеспечивают выборочные данные для модели машинного обучения для обработки неисправностей оптической сети и преобразования конфигурационных данных, данных аварийной сигнализации и данных о неисправностях, ориентированных на специалистов по эксплуатации и техобслуживанию, в выборочные данные, ориентированные на машинное обучение, повышают эффективность сохранения выборочных данных и обеспечивают достижение междоменного взаимодействия данных и обмена ими между разными производителями.
Описание чертежей
Чтобы лучше проиллюстрировать техническое решение в вариантах осуществления настоящего изобретения, ниже схематически представлены чертежи, необходимые для описания вариантов осуществления, и для специалистов в данной области техники очевидно, что чертежи в последующем описании относятся лишь к некоторым вариантам осуществления настоящего изобретения, и на основе этих чертежей могут также быть получены другие чертежи без какой-либо творческой работы.
На Фиг. 1 показан схематический чертеж облачной сетевой архитектуры;
на Фиг. 2 показана блок-схема способа обработки выборочных данных в варианте осуществления настоящего изобретения;
на Фиг. 3 показан схематический чертеж процесса получения данных из базы данных и выполнения векторизации и матрицирования на них;
на Фиг. 4 показана блок-схема способа обработки выборочных данных еще в одном варианте осуществления настоящего изобретения;
на Фиг. 5 показан вариант осуществления многоуровневого многоразмерного пространства;
на Фиг. 6 показан схематический чертеж выполнения развертывания режима и развертывания строкового вектора на многоуровневом многоразмерном пространстве согласно способу обработки выборочных данных еще в одном варианте осуществления настоящего изобретения;
на Фиг. 7 показана блок-схема выполнения развертывания режима и развертывания строкового вектора на подпространстве многоуровневого многоразмерного пространства согласно способу обработки выборочных данных еще в одном варианте осуществления настоящего изобретения;
на Фиг. 8 показан схематический чертеж вариантов осуществления подпространственной сегментации на многоуровневом многоразмерном пространстве;
на Фиг. 9 показан схематический чертеж еще одного варианта осуществления подпространственной сегментации на многоуровневом многоразмерном пространстве;
на Фиг. 10 показан схематический чертеж выполнения развертывания режима и развертывания строкового вектора на подпространстве;
на Фиг. 11 показана блок-схема развертывания режима и подпространственной сегментации многоуровневого многоразмерного пространства;
на Фиг. 12 показан схематический чертеж системы обработки выборочных данных в варианте осуществления настоящего изобретения; и
на Фиг. 13 показан схематический чертеж устройства для обработки сетевых неисправностей в варианте осуществления настоящего изобретения.
Осуществление изобретения
Технические решения по настоящему изобретению будут доходчиво и в полном объеме описаны со ссылкой на сопроводительные чертежи вариантов осуществления настоящего изобретения, причем очевидно, что описанные варианты осуществления представляют собой лишь часть вариантов осуществления настоящего изобретения, а не все варианты осуществления. Все другие варианты осуществления настоящего изобретения, полученные специалистами в данной области техники на основе вышеуказанных вариантов осуществления без применения творческой работы, должны попадать в объем защиты настоящего изобретения.
В варианте осуществления настоящего изобретения предложен способ обработки выборочных данных, согласно которому обеспечивают выборочные данные для модели машинного обучения для обработки неисправности оптической сети, преобразуют конфигурационные данные, данные аварийной сигнализации и данные о неисправностях оптической сети, ориентированные на специалистов по эксплуатации и техобслуживанию, в выборочные данные, ориентированные на машинное обучение, и таким образом повышают эффективность сохранения выборочных данных, облегчают извлечение и сравнение выборочных данных и другие операции и содействуют эффективному построению модели машинного обучения.
Оптические сети, упоминаемые в вариантах осуществления настоящего изобретения, могут представлять собой не только обычные оптические сети передачи данных, такие как оптические транспортные сети (optical transport network, OTN), пакетные транспортные сети (packet transport network, PTN) и пакетные оптические транспортные сети (packet optical transport network, POTN), но они также могут представлять собой облачные сети.
В качестве примера на Фиг. 1 показан схематический чертеж облачной сетевой архитектуры. В нижней левой части Фиг. 1 показана базовая станция облачной сети, содержащая активный антенный блок (active antenna unit, AAU), централизованный блок (centralized unit, CU) и распределенный блок (distributed unit, DU). Из них CU поддерживает высокоуровневый беспроводной протокол не в реальном времени и часть функций стока данных в основной сети и функций пограничного оборудования, а DU поддерживает функции физического уровня и функции в реальном времени. В нижней части Фиг. 1 показано кольцо доступа облачной сети, кольцо конвергенции и основное кольцо. Данные аварийной сигнализации, данные о неисправностях и конфигурационные данные по сетевому оборудованию в этих кольцевых сетях соответственно передаются на пограничный центр сбора и обработки данных, региональный центр сбора и обработки данных и основной центр сбора и обработки данных в верхней части Фиг. 1 посредством сетевой административной платформы или платформы управления. Данные аварийной сигнализации, данные о неисправностях и конфигурационные данные по базовой станции и пограничному оборудованию передаются на пограничный центр сбора и обработки данных посредством локальной платформы. Функции основной сети 5G подразделяются на функции плоскости пользователя (user plane, UP) и функции плоскости управления (control plane, CP). С одной стороны, эти центры сбора и обработки данных выполняют функции администрирования, маршрутизации и управления облачной сетью; с другой стороны, эти центры сбора и обработки данных развертывают интеллектуальную платформу облачной сети, строят базу знаний об эксплуатации облачной сети и управлении техобслуживанием на основе больших объемов сетевых данных и высоких вычислительных возможностей и служат в качестве мозга облачной сети.
В варианте осуществления настоящего изобретения каждая целевая сеть может представлять собой кольцо доступа, кольцо конвергенции или основное кольцо по Фиг. 1, однако она не ограничена этим. В других вариантах осуществления каждая целевая сеть может также представлять собой сеть доступа, сеть конвергенции или основную сеть в обычных оптических сетях (OTN, PTN или POTN).
В варианте осуществления настоящего изобретения оборудование оптической сети передает данные аварийной сигнализации и соответствующие данные о неисправностях на платформу администрирования сети, а также передает их на центр сбора и обработки данных посредством сетевой административной платформы. Тревожная сигнализация, генерируемая оборудованием оптической сети, включает сигнализацию об основных причинах и производную сигнализацию, и имеет место корреляция между сигнализацией об основных причинах и производной сигнализацией. В случае неисправности оборудования оптической сети генерируются и передаются как данные аварийной сигнализации, так и данные о неисправности, и неисправность должна быть устранена с использованием распределенных конфигурационных данных.
Поскольку в массиве данных аварийной сигнализации для оптической сети содержится большое количество повторных, избыточных, неполных и противоречивых данных, центр сбора и обработки данных сначала производит очистку данных, удаляет повторные, избыточные и низкокачественные данные для получения высококачественных множеств данных аварийной сигнализации, множеств данных о неисправностях и множеств конфигурационных данных и соответственно сохраняет эти множества данных в базе данных.
На Фиг. 2 показана блок-схема способа обработки выборочных данных в варианте осуществления по настоящему изобретению, включающего нижеследующие этапы:
S110: получают из базы данных данные аварийной сигнализации, данные о неисправностях и конфигурационные данные по меньшей мере одной целевой сети за множество моментов времени и соответствующим образом преобразуют их в соответствующие векторы.
S120: строят для по меньшей мере целевой сети многоуровневое многоразмерное пространство, каждый уровень которого представляет собой двумерную матрицу, имеющую один и тот же размер, и выполнен с возможностью сохранения векторов, полученных в результате преобразования, в строках в соответствии с последовательностью моментов времени так, чтобы соответственно получить уровень данных аварийной сигнализации, уровень данных о неисправностях и уровень конфигурационных данных каждой целевой сети.
На этапе S110 на основе корреляции между временем, генерируемым с использованием данных аварийной сигнализации, данных о неисправностях и конфигурационных данных, все из данных аварийной сигнализации, данных о неисправностях и конфигурационных данных могут быть получены в пределах установленного периода времени из базы данных, или все из данных аварийной сигнализации, данных о неисправностях и конфигурационных данных могут быть получены из базы данных периодически посуточно, понедельно или помесячно. Установленный период времени или цикл содержит данные аварийной сигнализации за множество моментов времени, данные о неисправностях за множество моментов времени и конфигурационные данные за множество моментов времени.
Данные аварийной сигнализации, данные о неисправностях и конфигурационные данные представляют собой не только гетерогенные данные, и эти данные включают поля различных типов, причем разные поля имеют разные размеры. Способ векторного представления гетерогенных данных с разными размерами включает нижеследующие этапы:
Сначала каждый фрагмент данных аварийной сигнализации, данных о неисправностях и конфигурационных данных преобразуют в основной вектор 
, где каждый элемент основного вектора представляет собой значение поля в каждом блоке данных аварийной сигнализации, данных о неисправностях или конфигурационных данных.
Например, множество выборочных данных, состоящее из всех полученных данных аварийной сигнализации, содержит Ma блоков данных аварийной сигнализации, из которых данные аварийной сигнализации, сгенерированные в некоторый момент времени, могут представлять собой один или более блоков, и каждый блок данных аварийной сигнализации содержит Na полей.
Например, блок данных аварийной сигнализации, показанных на Фиг. 3, содержит восемь полей, а именно: порядковый номер (Seq.No.), адрес (Addr.), номер строки (Line), тип аварийной сигнализации (AlarmType), время начала аварийной сигнализации (BeginTime), время окончания аварийной сигнализации (EndTime), тип платы (BoardType) и тип сетевого элемента (NetType) данных аварийной сигнализации, причем BeginTime и и EndTime указаны с точностью до секунд, AlarmType представляет собой ряды символов, и NetType представляет собой целочисленное значение.
Значения всех полей данных аварийной сигнализации, показанных на Фиг. 3, преобразуются в действительные числа и таким образом выражаются в виде элементов вектора. В процессе векторизации данных аварийной сигнализации целочисленные значения этих полей представляются в векторе в качестве значений элементов. Минимальное значение всех полей BeginTime и EndTime может быть поставлено в соответствие значению 1, и количество секунд между другими моментами времени и минимальным временем может быть добавлено к значению 1, чтобы соответственно получить соответствующие значения полей BeginTime и EndTime. Например, если BeginTime составляет на 10 секунд больше, чем минимальное время, то BeginTime соответствует значению 11, и в этом случае два этих поля располагаются в лексикографическом порядке и затем нумеруются, начиная с 1, для преобразования строки в значения в качестве элементов вектора.
Затем на основном векторе 
выполняют преобразование по размерам, и полученный в результате преобразования вектор 
будет представлять собой адамарово произведение основного вектора и вектора 
размерного расширения, то есть 
. Элемент вектора размерного расширения представляет собой результат кратного расширения или сжатия соответствующего элемента основного вектора ; например, при расширении десятичной кратной единицы ширины полосы с мега (М) до гига (G) элемент вектора размерного расширения будет равен 1024.
Согласно требованиям тренинга модели машинного обучения, соответствующий элемент основного вектора может быть умножен на соответствующий элемент вектора размерного расширения для генерирования выборочных данных, подходящих для требований тренинга. Аналогичным образом, конфигурационные данные в нижней левой части Фиг. 3 также преобразуются в соответствующие векторы. Конфигурационные данные содержат Num_CPUs: 4, то есть количество ядер центрального процессора. Например, векторная группа в нижней части Фиг. 3 показывает два вектора, которые получены в результате преобразования с использованием данных аварийной сигнализации и конфигурационных данных соответственно.
В случае данных о неисправностях и конфигурационных данных, сохраненных в частично структурированном XML-документе в оптической сети, вышеуказанный способ может также использоваться для построения вектора базы данных и вектора размерного расширения, причем количество пар ключ/значение (Key/Value) в XML соответствует размеру вектора, а значение векторного элемента соответствует значению в XML-документе.
На этапе S110 строят для целевой сети три пары векторных групп, которые соответственно представляют собой векторную группу данных аварийной сигнализации и векторную группу размерного расширения; векторную группу данных о неисправностях и векторную группу размерного расширения; и векторную группу конфигурационных данных и векторную группу размерного расширения. Полученная векторная группа данных аварийной сигнализации содержит Ma векторов данных аварийной сигнализации, полученных в результате преобразования из Ma блоков данных аварийной сигнализации, и каждый вектор данных аварийной сигнализации имеет Na элементов. Векторная группа данных о неисправностях содержит Mf векторов данных о неисправностях, полученных в результате преобразования из Mf блоков данных о неисправностях, и каждый вектор данных о неисправностях имеет Nf элементов. Векторая группа конфигурационных данных содержит Mc векторов конфигурационных данных, полученных в результате преобразования из Mc блоков конфигурационных данных, и каждый вектор конфигурационных данных имеет Nc элементов.
После выполнения векторного представления на гетерогенных данных с разными размерами, на этапе S120 выполняют матричное представление. Количество строк двумерной матрицы в многоуровневом многоразмерном пространстве представляет собой максимальное из значений общего количества векторов векторной группы данных аварийной сигнализации, векторной группы данных о неисправностях и векторной группы конфигурационных данных, то есть максимальное значение из Ma, Mf and Mc. Количество столбцов двумерной матрицы в многоуровневом многоразмерном пространстве представляет собой максимальное из значений общего количества векторных элементов векторной группы данных аварийной сигнализации, векторной группы данных о неисправностях и векторной группы конфигурационных данных, то есть максимальное значение из Na, Nf и Nc.
В соответствии с последовательностью моментов времени Ma векторов данных аварийной сигнализации, сохраняют группы векторов данных аварийной сигнализации в строках на первом уровне многоуровневого многоразмерного пространства для получения уровня данных аварийной сигнализации. Аналогичным образом могут быть получены уровень данных о неисправностях и уровень конфигурационных данных.
Многоуровневое многоразмерное пространство представлено как D = R (I1, I2, I3), где R представляет значение многоуровневого многоразмерного пространства в поле вещественных чисел, I1 представляет количество уровней, I2 представляет количество строк матрицы уровней, и I3 представляет количество столбцов матрицы уровней. Например, R(I1, :, :) представляет матричный элемент на уровне I1, R(I1, I2, :) представляет все элементы векторов на уровне I1 и в строке I2, R(2, :, :) представляет матричный элемент на уровне 2, и R(2, 3, :) представляет собой все элементы векторов на уровне 2 и в строке 3.
В варианте осуществления настоящего изобретения определяют количество уровней, строк и столбцов многоуровневого многоразмерного пространства, то есть определяют значения I1, I2 и I3 в D=R(I1, I2, I3) и местоположение матриц, векторов и элементов. При последующем построении и анализе модели машинного обучения удобно вычислять пересекающиеся и разностные множества данных аварийной сигнализации, данных о неисправностях и конфигурационных данных и выполнять операции, такие как корреляционный анализ и обработка.
Еще один вариант осуществления этапа S110 вышеуказанного способа обработки выборочных данных показан в виде этапа S110’.
На этапе S110’ возможно также сохранение векторов, полученных в результате преобразования, в строках двумерной пустой матрицы в соответствии с последовательностью моментов времени так, чтобы получить матрицу аварийной сигнализации, матрицу неисправностей и конфигурационную матрицу каждой целевой сети. Использование матрицы для сохранения вектора, полученного в результате преобразования, обеспечивает возможность экономии пространства для сохранения с помощью классического способа сохранения на основе разреженной матрицы. Например, данные в матрице могут быть сохранены на основе способа сохранения со сжатием строк (compressed row storage, CRS), чтобы сэкономить пространство для сохранения.
Более конкретно, векторы всех данных аварийной сигнализации преобразуют таким же образом, что и на вышеуказанном этапе S110, и сохраняют в двумерной пустой матрице, такой как двумерная матрица в нижней правой части Фиг. 3. При наличии Ma=7000 блоков данных аварийной сигнализации формируют матрицу аварийной сигнализации с 7000 строками и 8 столбцами. Аналогичным образом могут также быть построены матрица неисправностей и конфигурационная матрица.
Еще один вариант осуществления этапа S120 показан в виде этапа S120’, на котором получают максимальное количество строк и столбцов матрицы аварийной сигнализации, матрицы неисправностей и конфигурационной матрицы, причем это максимальное количество строк и столбцов определяют как количество строк и столбцов каждого уровня в многоуровневой многоразмерной модели.
Затем матрицу аварийной сигнализации, матрицу неисправностей и конфигурационную матрицу сохраняют на уровне данных аварийной сигнализации, уровне данных о неисправностях и уровне конфигурационных данных многоуровневого многоразмерного пространства, а матричные элементы, не имеющие сохраненных значений, на каждом уровне заполняют нулевыми значениями.
После получения многоуровневого многоразмерного пространства обеспечивается возможность экономии пространства для сохранения с помощью классического способа сохранения на основе разреженной матрицы. Например, многоуровневое многоразмерное пространство может быть сохранено на основе способа CRS.
Многоуровневое многоразмерное пространство используют для однородного представления данных аварийной сигнализации, данных о неисправностях и конфигурационных данных, что облегчает последующее построение входной и выходной переменных модели нейронной сети глубокого обучения. Входные и выходные данные модели нейронной сети глубокого обучения представляют в виде векторов. Многоуровневое многоразмерное пространство, построенное на основе варианта осуществления настоящего изобретения, обеспечивает возможность удобного и точного преобразования уровня данных аварийной сигнализации и уровня данных о неисправностях во входные векторы, благодаря чему осуществляют тренинг нейронной сети глубокого обучения и определяют закон корреляции между данными аварийной сигнализации, данными о неисправностях и конфигурационными данными.
В целом, моменты времени данных аварийной сигнализации, данных о неисправностях и конфигурационных данных по оптической сети являются различными. В других вариантах осуществления все из уровня данных аварийной сигнализации, уровня данных о неисправностях и уровня конфигурационных данных могут содержать один и тот же момент времени. Для каждого уровня, если имеет место векторная группа в определенный момент времени, то будет сохранен соответствующий строковый вектор данного уровня; если же данные в определенный момент времени отсутствуют, то соответствующий строковый вектор будет заполнен нулевыми значениями.
Как упоминалось выше, оптическая сеть содержит множество целевых сетей, таких как кольцо доступа, кольцо конвергенции и основное кольцо по Фиг. 1, которые соответственно используют исходный домен и целевой домен для представления сети доступа, сети конвергенции и сети центра сбора и обработки данных. Например, возможно определение сети доступа как исходного домена, а сети конвергенции - как целевого домена, или основной сети - как исходного домена, а сети центра сбора и обработки данных - как целевого домена, без ограничения.
Еще в одном варианте осуществления строят многоуровневое многоразмерное пространство для исходного домена и целевого домена, как показано на Фиг. 4, и способ обработки выборочных данных включает нижеследующие этапы:
S200: осуществляют получение и предварительную обработку данных. Более конкретно, это включает нижеследующие этапы:
S201: осуществляют загрузку данных аварийной сигнализации, данных о неисправностях и конфигурационных данных оптической сети в центры трех типов для сбора и обработки данных с помощью сетевой административной платформы или платформы управления.
S202: вследствие наличия большого объема повторных, избыточных, неполных и противоречивых данных в данных аварийной сигнализации, данных о неисправностях и конфигурационных данных по обширной сети, сначала выполняют очистку указанных данных с помощью указанных центров трех типов для сбора и обработки данных для удаления указанных повторных, избыточных, неполных и низкокачественных данных и получения высококачественных множеств данных аварийной сигнализации, данных о неисправностях и конфигурационных данных и затем соответственно сохраняют их в базе данных исходного домена и базе данных целевого домена.
S210: затем используют способы векторного и матричного представления гетерогенных данных с разными размерами, соответственно осуществляя преобразование данных аварийной сигнализации, данных о неисправностях и конфигурационных данных в исходном домене и целевом домене в одномерный вектор, и затем представляют их в виде соответствующей двумерной матрицы. Более конкретно, это включает нижеследующие этапы:
S211: выполняют процесс построения одномерного вектора.
S212: выполняют процесс построения двумерной матрицы.
Более конкретно, соответственно строят двумерную матрицу аварийной сигнализации, двумерную матрицу неисправностей и двумерную конфигурационную матрицу в соответствии с данными аварийной сигнализации, данными о неисправностях и конфигурационными данными исходного домена, и соответственно строят двумерную матрицу аварийной сигнализации, двумерную матрицу неисправностей и двумерную конфигурационную матрицу в соответствии с данными аварийной сигнализации, данными о неисправностях и конфигурационными данными целевого домена. Способ построения одномерного вектора и двумерной матрицы схож с вышеуказаным вариантом осуществления и не будет повторно изложен в данном документе.
S220: строят многоуровневое многоразмерное пространство для реализации унифицированного представления данных аварийной сигнализации, данных о неисправностях и конфигурационных данных в исходном домене и целевом домене. Количество строк и столбцов матрицы, полученной на этапе S212, может быть различным, например, если предположить, что количество строк и столбцов двумерной матрицы, полученной после матричного представления данных аварийной сигнализации, данных о неисправностях и конфигурационных данных, в исходном домене и целевом домене является таким, как показано в Таблице 1.
Таблица 1. Примеры количества строк и столбцов двумерной матрицы в исходном домене и целевом домене
| Тип матрицы | Количество строк и столбцов в матрице аварийной сигнализации | Количество строк и столбцов в матрице неисправностей | Количество строк и столбцов в конфигурационной матрице |
| Исходный домен | 5000×12 | 7000×18 | 3000×32 |
| Целевой домен | 3000×8 | 5000×12 | 2000×35 |
Вычисляют максимальное количество строк и максимальное количество столбцов по всем матрицам аварийной сигнализации, матрицам неисправностей и конфигурационным матрицам и определяют максимальное количество строк и максимальное количество столбцов как количество строк и столбцов каждого уровня двумерной матрицы в многоуровневом многоразмерном пространстве. Например, в Таблице 1 количество строк и столбцов каждого уровня двумерной матрицы в многоуровневом многоразмерном пространстве равно 7000 и 35 соответственно. Из них количество строк, равное 7000, означает, что максимальное количество строк в шести матрицах представляет собой количество строк в матрице неисправностей исходного домена, и количество столбцов, равное 35, означает, что максимальное количество столбцов в шести матрицах представляет собой количество столбцов в конфигурационной матрице целевого домена.
После получения максимального количества строк, равного 7000, и максимального количества столбцов, равного 35, строят модель представления шестиуровневого многоразмерного пространства на основе шести матриц в приведенной выше Таблице 1, генерируют шесть матриц с 7000 строками и 35 столбцами, затем копируют данные в этих шести матрицах во вновь сгенерированные пустые матрицы и заполняют матричные элементы, не имеющие сохраненных данных, нулевыми элементами.
На Фиг. 5 конкретно показано многоуровневое многоразмерное пространство, построенное для исходного домена и целевого домена, то есть шестиуровневое многоразмерное пространство D=R (K1, K2, K3). Уровни с первого по третий соответственно представляют собой уровень данных аварийной сигнализации, уровень данных о неисправностях и уровень конфигурационных данных в исходном домене, соответствующие матрице аварийной сигнализации, матрице неисправностей и конфигурационной матрице в исходном домене, а уровни с четвертого по шестой соответственно представляют собой уровень данных аварийной сигнализации, уровень данных о неисправностях и уровень конфигурационных данных в целевом домене, соответствующие матрице аварийной сигнализации, матрице неисправностей и конфигурационной матрице в целевом домене. Трехуровневое многоразмерное пространство в исходном домене может также быть выражено через Ds=R (I1, I2, I3), и трехуровневое многоразмерное пространство в целевом домене может также быть выражено через Dt=R (J1, J2, J3).
Согласно способу по вышеуказанному варианту осуществления, многоуровневое многоразмерное пространство может также быть построено для множества целевых сетей, таких как сеть доступа, сеть конвергенции, основная сеть и сеть центра сбора и обработки данных, без ограничений.
Благодаря данному варианту осуществления настоящего изобретения, с помощью способов векторного и матричного представления гетерогенных данных с разными размерами обеспечивается возможность преобразования структурированных и частично структурированных данных с разными размерами, относящихся к оптической сети, в векторы и матрицы, и благодаря заполнению большим количеством нулевых элементов и тому факту, что многоуровневое многоразмерное пространство представляет собой разреженную матрицу, обеспечивается возможность использования классического способа сохранения на основе разреженной матрицы таким образом, чтобы сэкономить пространство для сохранения во время процесса сохранения. В то же самое время, построение многоуровневого многоразмерного пространства не только обеспечивает достижение унифицированного представления выборочных данных в исходном домене и целевом домене, но также и обеспечивает возможность междоменного взаимодействия выборочных данных и обмена ими между разными производителями, а также устраняет препятствие в виде информационного острова для последующего машинного обучения.
На основе вышеуказанного варианта осуществления, еще в одном варианте осуществления способ обработки выборочных данных дополнительно включает этап, на котором извлекают входной вектор модели машинного обучения из уровня данных аварийной сигнализации и уровня данных о неисправностях, и извлекают выходной вектор модели машинного обучения из уровня конфигурационных данных.
В одном варианте осуществления, на уровне данных аварийной сигнализации и уровне данных о неисправностях последовательно выполняют развертывание режима и развертывание строкового вектора для получения входного вектора, и на уровне конфигурационных данных последовательно выполняют развертывание режима и развертывание строкового вектора для получения выходного вектора.
Как показано на Фиг. 6, способ обработки выборочных данных включает нижеследующие этапы.
S310: выполняют развертывание режима на многоуровневом многоразмерном пространстве для получения матрицы развертывания режима.
S320: выполняют развертывание строкового вектора на матрице развертывания режима для получения выходного вектора.
Для многоуровневого многоразмерного пространства (которое может представлять собой целевую сеть или множество целевых сетей) в вышеуказанном варианте осуществления, например многоуровневого многоразмерного пространства D=R(K1, K2, K3), показанного на Фиг. 5, используют оператор развертывания режима для развертывания каждого уровня пространства D=R(K1, K2, K3) сверху вниз. Верхний, Н-й уровень многоуровневого многоразмерного пространства размещают в крайнем левом положении, а нижний, первый уровень размещают в крайнем правом положении, чтобы сформировать матрицу развертывания режима по Фиг. 6, и затем на матрице развертывания режима выполняют развертывание строкового вектора для получения входного вектора/выходного вектора в правой части Фиг. 6. Первый строковый вектор матрицы Н-го уровня размещают на первом месте, затем размещают второй строковый вектор матрицы Н-го уровня, и в завершение размещают последний строковый вектор первого уровня.
Например, для многоуровневого многоразмерного пространства Ds=R (I1, I2, I3) в исходном домене, используют первый оператор fsi: Ds→Vysi развертывания режима для преобразования уровня данных аварийной сигнализации и уровня данных о неисправностях в многоуровневом многоразмерном пространстве Ds=R(I1, I2, I3) исходного домена во входной вектор Vysi. Второй оператор fso: Ds→Vyso развертывания режима используют для преобразования уровня конфигурационных данных в многоуровневом многоразмерном пространстве Ds=R(I1, I2, I3) в выходной вектор Vyso.
Еще в одном варианте осуществления извлекают входной вектор и/или выходной вектор из подпространства многоуровневого многоразмерного пространства, как показано на Фиг. 7, и способ обработки выборочных данных включает нижеследующие этапы.
S410: извлекают подпространство, содержащее целевые данные, из многоуровневого многоразмерного пространства, причем указанное подпространство содержит по меньшей мере одну подматрицу уровня данных аварийной сигнализации, уровня данных о неисправностях и уровня конфигурационных данных.
Подматрица может представлять собой подматрицу на одном уровне многоуровневого многоразмерного пространства; и подматрица может также представлять собой два или более уровней многоуровневого многоразмерного пространства, где каждый уровень подматрицы представляет собой подматрицу одного уровня в многоуровневом многоразмерном пространстве.
S420: Выполняют развертывание режима на указанном подпространстве для получения матрицы развертывания, и выполняют развертывание строкового вектора на матрице развертывания режима для получения входного вектора и/или выходного вектора.
На Фиг. 8 показан схематический чертеж вариантов осуществления для получения подпространства из многоуровневого многоразмерного пространства, причем в левой части Фиг. 8 показано имеющее Н уровней многоуровневое многоразмерное пространство, построенное в вышеуказанном варианте осуществления (как показано на Фиг. 5).
В первом вариант осуществления, который может быть таким, как показано штрихпунктирными линиями на Фиг. 8, соответственно извлекают подматрицу из первого уровня и Н-го уровня многоуровневого многоразмерного пространства. Аналогичным образом, извлекают подматрицу из второго уровня (для простоты, штрихпунктирная линия извлечения подматрицы из второго уровня не показана на Фиг. 8) для получения подпространства в показанной с помощью штрихпунктирной линии рамке в правой части Фиг. 8. Это подпространство содержит три подматрицы, по меньшей мере одна из которых содержит целевые данные.
Второй вариант осуществления может быть таким, как показано штриховыми линиями на Фиг. 8. Сначала извлекают первый уровень и второй уровень из многоуровневого многоразмерного пространства и затем извлекают одну подматрицу соответственно из первого уровня и второго уровня для получения подпространства в показанной штриховыми линиями рамке в правой части Фиг. 8. Это подпространство содержит две подматрицы, и по меньшей мере одна из этих подматриц содержит целевые данные. Аналогичным образом, подматрица также может быть извлечена из Н-го уровня для получения еще одного подпространства.
Два вышеуказанных варианта осуществления обеспечивают возможность извлечения подматрицы из любого места каждого уровня многоуровневого многоразмерного пространства, и оба варианта осуществления могут произвольным образом комбинироваться для получения подпространства, содержащего целевые данные.
В третьем варианте осуществления, показанном на Фиг. 9, получают подпространство после извлечения подматрицы из одного и того же места намеченного уровня в многоуровневом многоразмерном пространстве. Намеченный уровень может представлять собой один уровень или два или более уровней, без ограничения.
Операция оператора подпространственной сегментации, определяемого как g: D→D′, состоит в извлечении данных в многоуровневом многоразмерном пространстве и построении подпространства D′.
Если взять в качестве примера многоуровневое многоразмерное пространство, показанное на Фиг. 5, то многоуровневое многоразмерное пространство в целевом домене представляет собой Ds=R(I1, I2, I3), и оператор подпространственной сегментации, определяемый как gs: Ds→Ds′, извлекает данные в многоуровневом многоразмерном пространстве исходного домена и строит подпространство Ds'=R(I1′, I2′, I3′). Многоуровневое многоразмерное пространство в целевом домене представляет собой Dt=R(J1, J2, J3), и оператор подпространственной сегментации, определяемый как gt: Dt→Dt′, извлекает данные в многоуровневом многоразмерном пространстве целевого домена и строит подпространство Dt′=R(J1′, J2′, J3′).
После получения матрицы развертывания режима выполняют развертывание строкового вектора на этой матрице развертывания режима посредством первого оператора развертывания режима для получения входного вектора и/или выполняют на указанной матрице развертывания режима развертывание строкового вектора посредством второго оператора развертывания режима для получения выходного вектора.
В качестве примера на Фиг. 10 показан схематический чертеж выполнения развертывания режима и развертывания строкового вектора на подпространстве. В левой части Фиг. 10 показано подпространство, полученное из многоуровневого многоразмерного пространства исходного домена. Указанное подпространство может быть выражено через Ds′=R(I1′=2, I2′=3, I3′=3), что является моделью представления с двумя уровнями, тремя строками и тремя столбцами, где R(1, :, :) представляет подматрицу на уровне данных аварийной сигнализации исходного домена, R(2, :, :) представляет подматрицу на уровне данных о неисправностях исходного домена, R(1, 1, :) представляет первый строковый вектор подматрицы уровня данных аварийной сигнализации, и R(1, 1, :)=(6, 5, 13). Аналогичным образом, R(2, :, 3) представляет третий столбцовый вектор подматрицы уровня данных о неисправностях, и R(2, :, 3)=(12, 7B, 6). На Фиг. 10 каждый элемент в указанном подпространстве может быть точно охарактеризован по местоположению посредством указания координат каждой строки и каждого столбца каждого уровня. Например, R(1, 1, 3) представляет значение элемента в первой строке и третьем столбце первого уровня, равное 13, а R(2, 3, 2) представляет значение элемента в третьей строке и втором столбце первого уровня, равное 21.
Выполняют развертывание режима на указанном подпространстве, размещают верхнюю подматрицу уровня данных о неисправностях слева, и размещают нижнюю подматрицу уровня данных аварийной сигнализации справа, чтобы получить матрицу развертывания режима, показанную вверху справа на Фиг. 10.
Выполняют развертывание строкового вектора на матрице развертывания режима посредством первого оператора развертывания режима для получения входного вектора, то есть содержащего 18 элементов одномерного вектора внизу справа на Фиг. 10, причем первый строковый вектор верхней левой матрицы по Фиг. 10 размещают с крайней левой стороны входного вектора, затем размещают первый строковый вектор верхней правой матрицы по Фиг. 10 и в завершение размещают третий строковый вектор верхней правой матрицы.
На Фиг. 6 показано выполнение развертывания режима на многоуровневом многоразмерном пространстве посредством оператора развертывания режима для получения матрицы развертывания режима, и выполнение развертывания строкового вектора на матрице развертывания режима для получения входного вектора и выходного вектора. На Фиг. 10 показано выполнение развертывания режима на указанном подпространстве многоуровневого многоразмерного пространства посредством оператора развертывания режима для получения матрицы развертывания режима, и выполнение развертывания строкового вектора на матрице развертывания режима для получения входного вектора и выходного вектора.
Использование новых технологий, таких как трансферное обучение, для реализации интеллектуального корреляционного анализа сетевой аварийной сигнализации, а также автоматической локации и автоматического устранения неисправностей оказалось в центре внимания текущих исследований для операторов и производителей. Ключевая операция трансферного обучения самоустранению неисправностей оптической сети состоит в формальном описании данных в исходном домене и данных в целевом домене, чтобы осуществлять преобразование данных аварийной сигнализации, данных о неисправностях и конфигурационных данных по оптической сети, ориентированных на специалистов по эксплуатации и техобслуживанию, в выборочные данные, ориентированные на машинное обучение, и гибкое манипулирование указанными выборочными данными, что включает в себя определение пересекающихся и разностных множеств выборочных данных в исходном домене и целевом домене и точное извлечение части выборочных данных для тестирования и анализа. Способ обработки выборочных данных в варианте осуществления настоящего изобретения обеспечивает возможность построения более эффективной модели выборочных данных и облегчения операций, таких как извлечение и сравнение выборочных данных, и способствует эффективному построению модели трансферного обучения.
В качестве примера на Фиг. 11 показана блок-схема подпространственной сегментации, развертывания режима и развертывания строкового вектора многоуровневого многоразмерного пространства для трансферного обучения.
В левой части Фиг. 11 показано многоуровневое многоразмерное пространство Ds исходного домена. Строят входной вектор и выходной вектор исходного домена соответственно с помощью первого оператора fsi развертывания режима и второго оператора fso развертывания режима и строят подпространство Ds′ исходного домена посредством первого оператора gs подпространственной сегментации.
В правой части Фиг. 11 показано многоуровневое многоразмерное пространство целевого домена. Строят входной вектор трансферного обучения и выходной вектор целевого домена соответственно посредством третьего оператора fti развертывания режима и четвертого оператора fto развертывания режима и строят подпространство целевого домена Dt′ посредством второго оператора gt подпространственной сегментации.
Входной вектор Vysi исходного домена и входной вектор Vyti целевого домена вместе образуют входной вектор трансферного обучения для интеллектуального самоустранения неисправностей оптической сети. Выходной вектор Vyso исходного домена и выходной вектор Vyto целевого домена вместе образуют выходной вектор трансферного обучения для интеллектуального самоустранения неисправностей оптической сети.
В процессе обработки выборочных данных, согласно конкретным фактическим сценариям применения сначала извлекают подпространство, содержащее наиболее критичные атрибутивные данные в качестве целевых данных, из многоуровневой многоразмерной модели и затем строят входной вектор и выходной вектор на основе указанного подпространства. Используют сложную функцию fsiogsi: Ds→Vysi для построения входного вектора исходного домена, где операционный символ о показывает, что сначала выполняется операция gsi, а затем операция fsi. Используют сложную функцию fsoogso: Ds→Vyso для построения выходного вектора исходного домена. Для данных целевого домена при неисправности оптической сети, в варианте осуществления настоящего изобретения используют сложную функцию ftiogti: Dt→Vyti для построения входного вектора целевого домена, и используют сложную функцию ftoogto: Dy→Vyto для построения выходного вектора целевого домена.
Как показано на Фиг. 12, в варианте осуществления согласно настоящему изобретению дополнительно предложена система обработки выборочных данных, которая выполнена с возможностью реализации способов по вышеуказанным вариантам осуществления. Система обработки выборочных данных содержит преобразовательный модуль 101 и модуль 102 построения пространства.
Модуль 101 построения пространства выполнен с возможностью получения данных аварийной сигнализации, данных о неисправностях и конфигурационных данных по меньшей мере одной целевой сети за множество моментов времени из базы данных и соответствующего их преобразования в соответствующие векторы.
Модуль 102 построения пространства выполнен с возможностью построения, для по меньшей мере одной целевой сети, многоуровневого многоразмерного пространства, содержащего уровень данных аварийной сигнализации, уровень данных о неисправностях и уровень конфигурационных данных каждой целевой сети, причем каждый уровень представляет собой двумерную матрицу, имеющую один и тот же размер, и выполнен с возможностью сохранения векторов, полученных в результате преобразования, в соответствии с последовательностью моментов времени.
В других вариантах осуществления система обработки выборочных данных дополнительно содержит модуль 103 извлечения, который выполнен с возможностью извлечения входного вектора модели машинного обучения из уровня данных аварийной сигнализации и уровня данных о неисправностях и извлечения выходного вектора модели машинного обучения из уровня конфигурационных данных.
Более конкретно, модуль 103 содержит блок 1031 подматричной обработки и блок 1032 вычисления матрицы.
Блок 1031 подматричной обработки выполнен с возможностью извлечения подпространства, содержащего целевые данные, из многоуровневого многоразмерного пространства, причем указанное подпространств содержит по меньшей мере одну подматрицу уровня данных аварийной сигнализации, уровня данных о неисправностях и уровня конфигурационных данных.
Блок 1032 вычисления матрицы выполнен с возможностью последовательного выполнения развертывания режима и развертывания строкового вектора на уровне данных аварийной сигнализации и уровне данных о неисправностях для получения входного вектора; последовательного выполнения развертывания режима и развертывания строкового вектора на уровне конфигурационных данных для получения выходного вектора и последовательного выполнения развертывания режима и развертывания строкового вектора на указанном подпространстве для получения входного вектора и/или выходного вектора.
Более конкретно, модуль 102 построения пространства содержит блок 1021 предварительной матричной обработки и блок 1022 построения матрицы.
Блок 1021 предварительной матричной обработки выполнен с возможностью сохранения векторов, полученных в результате преобразования, с одним и тем же источником данных в строках двумерной пустой матрицы в соответствии с последовательностью моментов времени так, чтобы получить матрицу аварийной сигнализации, матрицу неисправностей и конфигурационную матрицу каждой целевой сети соответственно.
Блок 1022 построения матрицы выполнен с возможностью соответствующего сохранения матрицы аварийной сигнализации, матрицы неисправностей и конфигурационной матрицы на уровне данных аварийной сигнализации, уровне данных о неисправностях и уровне конфигурационных данных многоуровневого многоразмерного пространства и заполнения матричных элементов, не имеющих сохраненных значений, на каждом уровне нулевыми значениями.
Как показано на Фиг. 13, в варианте осуществления согласно настоящему изобретению дополнительно предложено устройство для обработки сетевых неисправностей, основанное на модели машинного обучения. Устройство для обработки сетевых неисправностей содержит систему 200 диагностики неисправностей и систему 100 обработки выборочных данных по вышеуказанным вариантам осуществления.
Система 200 диагностики неисправностей содержит модуль 201 построения модели и модуль 202 управления вводом-выводом. Модуль 201 построения модели выполнен с возможностью получения входного вектора и выходного вектора от системы обработки для построения модели машинного обучения, причем входной вектор извлекается из уровня данных аварийной сигнализации и уровня данных о неисправностях, а выходной вектор извлекается из уровня конфигурационных данных.
Модуль 202 управления вводом-выводом выполнен с возможностью получения данных аварийной сигнализации и данных о неисправностях целевой сети, их соответствующего преобразования в соответствующие векторы, ввода этих векторов в модуль 201 построения модели и передачи выходного вектора модуля 201 построения модели на целевую сеть.
В вышеуказанных вариантах осуществления это может быть реализовано полностью или частично посредством программного обеспечения, аппаратных средств, программно-аппаратных средств или любой их комбинации. В случае реализации посредством программного обеспечения, это может быть реализовано полностью или частично в виде компьютерного программного продукта. Компьютерный программный продукт содержит одну или более компьютерных инструкций. При загрузке в компьютер и исполнении на нем компьютерных программных инструкций, полностью или частично генерируются процессы или функции согласно вариантам осуществления настоящего изобретения. Компьютер может представлять собой компьютер общего назначения, специализированный компьютер, компьютерную сеть или другие программируемые устройства. Компьютерные инструкции могут храниться на машиночитаемом носителе для хранения данных или переданы с одного машиночитаемого носителя для хранения данных на другой машиночитаемый носитель для хранения данных. Например, компьютерные инструкции могут быть переданы с одного веб-сайта, компьютера, сервера или центра сбора и обработки данных на другой веб-сайт, компьютер, сервер или центр сбора и обработки данных с помощью проводных средств (например, коаксиального кабеля, оптического волокна, цифровой абонентской линии связи (digital subscriber line, DSL)) или беспроводных средств (например, инфракрасного излучения, СВЧ-излучения и так далее). Машиночитаемый носитель для хранения данных может представлять собой любой доступный носитель, который может считываться компьютером или устройством хранения данных, таким как сервер или центр сбора и обработки данных, объединенный с одним или более доступными носителями. Доступный носитель может представлять собой магнитный носитель (например, гибкий диск, жесткий диск, магнитную ленту), оптический носитель (например, цифровой видеодиск (digital video disc, DVD)) или полупроводниковый носитель (например, твердотельный диск (solid-state disk, SSD)), и так далее.
Настоящее изобретение не ограничивается вышеуказанными вариантами осуществления. Специалисты в данной области техники могут создавать различные улучшения и модификации без отклонения от принципов настоящего изобретения, и эти улучшения и модификации также считаются находящимися в пределах объема защиты настоящего изобретения. Содержание, которое не описано подробно в настоящем описании, относится к предшествующему уровню техники, хорошо известному специалистам в данной области техники.
1. Устройство для обработки сетевых неисправностей на основе модели машинного обучения, содержащее систему диагностики неисправностей и систему обработки выборочных данных;
при этом система обработки выборочных данных содержит:
преобразовательный модуль, который выполнен с возможностью получения данных аварийной сигнализации, данных о неисправностях и конфигурационных данных по меньшей мере одной целевой сети за множество моментов времени из базы данных и их преобразования соответствующим образом в соответствующие векторы, и
модуль построения пространства, который выполнен с возможностью построения, для по меньшей мере одной целевой сети, многоуровневого многоразмерного пространства, содержащего уровень данных аварийной сигнализации, уровень данных о неисправностях и уровень конфигурационных данных каждой целевой сети, причем каждый уровень представляет собой двумерную матрицу, имеющую один и тот же размер, и выполнен с возможностью сохранения векторов, полученных в результате преобразования, в строках в соответствии с последовательностью моментов времени;
причем указанная система диагностики неисправностей содержит модуль построения модели и модуль управления вводом-выводом, модуль построения модели выполнен с возможностью получения входного вектора и выходного вектора от системы обработки для построения модели машинного обучения, причем входной вектор извлекается из уровня данных аварийной сигнализации и уровня данных о неисправностях, а выходной вектор извлекается из уровня конфигурационных данных; и при этом
модуль управления вводом-выводом выполнен с возможностью получения данных аварийной сигнализации и данных о неисправностях целевой сети, их преобразования соответствующим образом в соответствующие векторы, ввода этих векторов в модуль построения модели и передачи выходного вектора модуля построения модели на целевую сеть.
2. Устройство для обработки сетевых неисправностей на основе модели машинного обучения по п. 1, в котором система обработки выборочных данных также содержит:
модуль извлечения, который выполнен с возможностью извлечения входного вектора модели машинного обучения из уровня данных аварийной сигнализации и уровня данных о неисправностях и извлечения выходного вектора модели машинного обучения из уровня конфигурационных данных.
3. Устройство для обработки сетевых неисправностей на основе модели машинного обучения по п. 2, в котором
входной вектор получен путем последовательного выполнения развертывания режима и развертывания строкового вектора на уровне данных аварийной сигнализации и уровне данных о неисправностях, а выходной вектор получен путем последовательного выполнения развертывания режима и развертывания строкового вектора на уровне конфигурационных данных.
4. Устройство для обработки сетевых неисправностей на основе модели машинного обучения по п. 1, в котором модуль извлечения содержит:
блок подматричной обработки, который выполнен с возможностью извлечения подпространства, содержащего целевые данные, из многоуровневого многоразмерного пространства, причем указанное подпространство содержит по меньшей мере одну подматрицу уровня данных аварийной сигнализации, уровня данных о неисправностях и уровня конфигурационных данных;
блок матричных вычислений, который выполнен с возможностью последовательного выполнения развертывания режима и развертывания строкового вектора на уровне данных аварийной сигнализации и уровне данных о неисправностях для получения входного вектора, последовательного выполнения развертывания режима и развертывания строкового вектора на уровне конфигурационных данных для получения выходного вектора и последовательного выполнения развертывания режима и развертывания строкового вектора на указанном подпространстве для получения входного вектора и/или выходного вектора.
5. Устройство для обработки сетевых неисправностей на основе модели машинного обучения по п. 1, в котором модуль построения модели содержит:
блок предварительной матричной обработки, который выполнен с возможностью сохранения векторов, полученных в результате преобразования, с одним и тем же источником данных в строках двумерной пустой матрицы в соответствии с последовательностью моментов времени так, чтобы получить матрицу аварийной сигнализации, матрицу неисправностей и конфигурационную матрицу каждой целевой сети соответственно;
блок построения матрицы, который выполнен с возможностью сохранения соответственно матрицы аварийной сигнализации, матрицы неисправностей и конфигурационной матрицы на уровне данных аварийной сигнализации, уровне данных о неисправностях и уровне конфигурационных данных многоуровневого многоразмерного пространства и заполнения матричных элементов, не имеющих сохраненных значений, на каждом уровне нулевыми значениями.
6. Устройство для обработки сетевых неисправностей на основе модели машинного обучения по п. 1, в котором
вектор, полученный в результате преобразования, представляет собой адамарово произведение основного вектора и вектора размерного расширения, причем каждый элемент основного вектора представляет собой значение поля в данных аварийной сигнализации, данных о неисправностях или конфигурационных данных в некоторый момент времени, и указанный элемент вектора размерного расширения представляет собой результат кратного расширения или сжатия соответствующего элемента основного вектора.
