Способ и система управления электронными устройствами с помощью электромиографического устройства считывания

Группа изобретений относится к медицине. Способ управления электронными устройствами осуществляют с помощью электромиографического устройства считывания. При этом регистрируют ЭМГ-сигнал пользователя при помощи электромиографического устройства считывания. Осуществляют первичную обработку полученного сигнала посредством неперекрывающейся сегментации ЭМГ-сигнала. Для каждого полученного сегмента ЭМГ-сигнала формируют набор жестовых признаков на основе квадрата дисперсии ЭМГ-сигнала для классификации жестов. Передают набор признаков ЭМГ-сигнала каждого сегмента по каналу передачи данных в базу данных нейросети и в вычислительную часть устройства. На основании полученного набора признаков нейросетевая хеш-функция в виде искусственной нейронной сети формирует вторичное признаковое пространство данных, которые подаются на метрический классификатор и описывают жест. Определяют намерение пользователя в части совершения жеста. При этом определяют тип жеста на основании сформированного набора признаков ЭМГ-сигнала посредством использования нейросетевой хэш-функции и метрического классификатора. Формируют управляющий сигнал на основании определенного типа жеста. Передают сформированный управляющий сигнал и также дополнительную информацию от гироскопа и акселерометра электромиографического устройства считывания по каналу передачи данных в исполнительный механизм. Инициируют выполнение действия исполнительного механизма на основании полученного управляющего сигнала и дополнительной информации с датчиков. Получают обратную связь от исполнительного механизма. При этом запускается вибромотор на электромиографическом устройстве считывания. Исполнительный механизм может выглядеть в виде шлема или очков с контроллером на устройстве виртуальной реальности, радиоуправляемая модель, управляемый мобильный телефон, компьютер. Достигается повышение точности позиционирования и принятия решения о захвате рукой предмета, а также регистрация более точного движения ногой, положение конечности в пространстве или определение другой двигательной функции. 2 н. и 18 з.п. ф-лы, 15 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Данное техническое решение относится к области игровых устройств и медицинской техники, а именно к реабилитации, в частности, к способам и системам для управления различными устройствами, и предназначено для игровых приспособлений и реабилитации людей с потерей конечности, с заболеваниями, приводящими к нарушениям опорно-двигательного аппарата и костно-мышечной системы, а также для использования частей изделия независимо в различных задачах улучшения качества жизни.

УРОВЕНЬ ТЕХНИКИ

Существующие в настоящее время системы управления виртуальной реальностью или игровыми устройствами, включают, как правило, двигатели, датчики, контроллеры, источники питания, механические и электрические разъемы, интерфейсы и механизмы обратной связи, все из которых являются дополнительными аксессуарами.

Известен способ и система для идентификации жестов, описанная в US 20150370333 A1, 24.12.2015. Система для идентификации жестов включает по меньшей мере один датчик, реагирующий на выполняемые пользователем жесты и процессор, коммуникативно соединенные, по меньшей мере, с одним датчиком. Способ идентификации жестов включает: получение по меньшей мере, один сигнал от, по меньшей мере, одного датчика на процессор; сегментирование, по меньшей мере, одного сигнала в окна данных; для каждого окна данных, по меньшей мере, одно подмножество окон данных: определение класса окна для окна данных процессором, класс окна выбирается процессором из библиотеки классов окон, где каждый класс окна в библиотеке оконных классов исключительно характеризует по меньшей мере, одно свойство окна данных; определение процессором соответствующей вероятности того, что каждый жест в библиотеке жестов является выполняемым пользователем жестом на основе а) класс окна для окна данных, когда i > 1, б) класс окна для окна данных, где j<i; идентификация высокой вероятности жеста для окна данных процессором, соответствующему жесту в библиотеке жестов, который имеет самую высокую вероятность того, что пользователем осуществляется определенный жест. Отличительной чертой от текущего патента является отсутствие использования нейронных сетей, сфера применения прибора, а также технология работы, в том числе беспроводная передача данных, так как текущий патент предполагает осуществление обработки данных на распознающем устройстве.

Также известен способ и система для управления устройством на основе жестов, описанный в US 2015-0261306 A1, 17.09.2015. Система управления устройством на основе жестов выполнена с возможностью установки беспроводного соединения между управляющим устройством на основе жестов и конкретным принимающим устройством, причем устройство управления на основе жестов включает в себя процессор, по меньшей мере один датчик, соединенный с возможностью взаимодействия с процессором, и беспроводной передатчик, коммуникативно соединенный с процессором. Способ управления устройством на основе жестов содержит этапы: обнаружение первого жеста, выполняемого пользователем устройства управления на основе жестов, по меньшей мере, одним датчиком, первый жест регистрируется первым принимающим устройством, идентифицируется процессором; первое приемное устройство, с которым пользователь желает взаимодействовать на основе распознанного первого жеста; конфигурирование, с помощью процессора, первого сигнала для использования только первым приемным устройством; и беспроводной способ передачи первого сигнала в первом приемном устройстве с помощью беспроводного передатчика. Отличительной чертой от текущего патента является отсутствие использования нейронных сетей, сфера применения прибора, а также технология работы, так как текущий патент предполагает осуществление обработки данных на распознающем устройстве.

Также известен способ и система управления интеллектуальной бионической конечностью, описанный в RU 2 635 632 C1, 14.12.2016, на основе данного патента были произведены улучшения в части алгоритма по распознаванию схватов, датчиков, а также архитектуры обработки данных, применения нового устройства, а именно управления не бионической конечностью, а как игрового устройства, для виртуальной реальности и не только, новые исследования легли в основу текущего патента.

В настоящее время существует постоянная потребность в улучшении систем управления и созданий новых подходов в управлении игровыми устройствами и виртуальной реальностью, которые были бы способны использоваться в реабилитации, управлении виртуальной реальностью или игровой системе, именно с данной задачей должны справится предложенные решения.

СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ

Техническая проблема, решаемая в данном техническом решении, состоит в осуществлении автономного полнофункционального управления для выполнения низкоуровневых задач манипуляции любым электронным устройством, приспособленным для этого, такими как виртуальная реальность, радиоуправляемые модели, компьютеры и т.д.

Технической задачей технического решения является разработка

– надежного функционального устройства в виде браслета или другой схожей конструкции системы с обратной связью, управляемого посредством нейромышечных сигналов, (обработка данных и распознавание схватов может происходить, как с участием компьютера или телефона, так и автономно, на самом устройстве);

– способа и системы управления вспомогательным устройством, таким как игровое устройства, виртуальная реальность, компьютер, телефон и т.п.

Техническим результатом, проявляющимся при решении указанной технической задачи и проблемы, является повышение точности позиционирования и принятия решения о захвате рукой предмета, а также регистрация более точного движения ногой, положение конечности в пространстве или определение другой двигательной функции.

Также дополнительным техническим результатом является уменьшение когнитивной нагрузки на человека, повышение эффективности управления устройствами, снижение времени отклика исполнительных устройств.

Еще одним дополнительным техническим результатом является упрощение процедуры установки и настройки системы «исполнительный механизм-считывающее устройство» за счет модульности системы – считывающее устройство является портативным, и требует примерного позиционирования при размещении, и является легкосъемным. Исполнительный механизм можем выступать в различных видах: это может быть игровым устройством, как радиоуправляемая машинка или дрон, виртуальная реальность, либо программное устройство, компьютер или система для реабилитации, связан со считывающим устройством только беспроводными каналом передачи данных.

Понижение когнитивной нагрузки на человека и повышение эффективности управления исполнительным механизмом достигается за счет использования гибридной системы управления, которая сочетает в себе способы декодирования электронейромиосигналов (миоэлектрических сигналов) и использование нейросетевой хэш-функции с учителем, по выполнению радов движений конечности человека. Также дополнительные датчики в браслете помогают лучше исполнительным механизмам после калибровки определить положение в пространстве конечности человека, скорости и направления движения.

Переданный массив данных на микроконтроллера в исполнительном механизме с возможностью позиционирования конечности в пространстве в режиме реального времени позволяет лучше позиционировать конечность и выполнять необходимые манипуляции в части управления, а также получать обратную связь от исполнительного механизма при необходимости. Также для более точного позиционирования конечности в пространстве используются дополнительные датчики, такие, как например гироскоп и акселерометр.

Использование обратной связи, реализуемой с помощью вибромотора системе считывания, позволяет обезопасить использование исполнительного механизма и передать необходимую информацию из исполнительного механизма.

Использование беспроводной передачи данных между исполнительным механизмом и системой считывания обеспечивает удобство использования системы и взаимозаменяемость компонентов, кроме того, возможность их использования независимо друг от друга.

Указанный технический результат достигается благодаря способу управления исполнительным механизмом, в котором получают по меньшей мере один ЭМГ-сигнал пациента посредством миоэлектрического устройства считывания; осуществляют обработку по меньшей мере одного ЭМГ-сигнала пользователя посредством перекрывающейся сегментации ЭМГ-сигнала; для каждого сегмента, полученного на предыдущем шаге, формируют набор признаков ЭМГ-сигнала на основе квадрата дисперсии и нейросетевой хэш-функции ЭМГ-сигнала для классификации жестов; передают набор признаков ЭМГ-сигнала каждого сегмента по каналу передачи данных в систему управления исполнительным механизмом; определяют тип жеста на основании набора признаков ЭМГ сигнала посредством использования искусственной нейронной сети и метрического классификатора; формируют управляющий сигнал на основании определенного типа жеста; передают сформированный управляющий сигнал на исполнительный механизм; получают обратную связь от системы управления посредством получения информации от внешних датчиков или алгоритма исполнительного механизма.

Система

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания и прилагаемых чертежей, на которых:

Фиг. 1 (а, б) представляет пример осуществления настройки и функционирования системы управления исполнительным механизмом, в частности, представлены картины от руки, но возможно от ноги и других мест считывания ЭМГ.

Фиг. 2 описывает общую структуру технического решения.

Фиг. 3 (а, б, в) представляет схему реализации системы управления, в том числе и для исполнительного механизма, для а) реабилитации б) игрового устройства, как пример, радиоуправляемой машинкой, а также блок-схему данной реализации, в) управления виртуальной реальностью.

Фиг 4 представляет пример реализации настройки браслета при наличии необходимого функционала в самом браслете, при отсутствии дополнительных функциональных настроек.

Фиг. 5 представляет пример схемы реализации получения данных в виде миоэлектрической системы считывания, конструкция в виде браслета со сменными электродами (поз. 1 – система считывания, поз. 2 – съемный датчик регистрации биопотенциалов, число датчиков может регулироваться, поз. 3 – эластичная манжета), но конструкция может быть и другой, в зависимости от потребности и конечности.

Фиг. 6 показывает составные части системы считывания в виде миоэлектрической системы считывания (поз. 1 и поз. 2) и их примерное расположение на конечности, как пример, руки на плече (поз. 1) или предплечье (поз. 2).

Фиг. 7 показывает пример электромиографического сигнала, зарегистрированного при волевом усилии с мышц предплечья.

Фиг. 8 показывает примерную схему реализации ЭМГ-датчика с использованием более предпочтительного для долговременного использования сухого контакта.

Фиг. 9 - блок-схема входной цепи.

Фиг. 10 изображает блок-схему системы распознавания жестов.

Фиг. 11 показывает результат пред. обработки сигнала (квадрат дисперсии с последующим контрастированием с помощью сигмоиды).

Фиг. 12 (а, б). Примеры исполнительного механизма: а) очки виртуальной реальности, пример, Oculus б) машинка на управлении Bluetooth, пример на платформе Arduino.

Фиг. 13 показывает пример осуществления обработки сигнала от системы считывания.

Фиг. 14 показывает временные функции для выделения признаков ЭМГ-сигнала.

Фиг. 15 показывает захват данных по ортонормированному базису с помощью ротации. Слева: попытка нейрона приспособиться, чтобы покрыть новые данные. Справа: конечное положение нейрона после нового покрытия данных.

ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ

Ниже будут описаны понятия и определения, необходимые для подробного раскрытия осуществляемого технического решения.

Техническое решение может быть реализовано в виде распределенной компьютерной системы.

В данном решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, чётко определённую последовательность операций (действий, инструкций).

Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).

Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические носители (CD, DVD и т.п.).

Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.

Электромиография (ЭМГ, ЭНМГ, миография, электронейромиография) — метод исследования биоэлектрических потенциалов, возникающих в скелетных мышцах человека и животных при возбуждении мышечных волокон; регистрация электрической активности мышц.

Электронейромиография (ЭНМГ) — это комплексное электрофизиологическое исследование, необходимое для определения функционального состояния периферической нервной системы и мышц [1].

Исполнительный механизм — устройство в системе автоматического регулирования и управления, непосредственно осуществляющее механическое перемещение (или поворот) регулирующего органа объекта управления, в том числе и виртуального объекта. Это может быть как комплекс устройств либо одно устройство, получающие команды от принявшего и обработавшего данные ЭМГ и не только устройства, и способное передать информацию обратной связи.

Способ физиологичного управления исполнительным механизмом на основе распознавания жестов (обработка управляющего сигнала) осуществляют следующим образом.

Предварительно осуществляют предобработку сигнала и создание входного вектора признаков ЭМГ-сигнала для классификации жестов пользователя, которая может выполняться аналогичным образом и при настройке, и при работе системы.

Для того чтобы различать и классифицировать мышечные движения, должны быть извлечены наиболее значимые части ЭМГ (признаки), которые представляют собой характеристики с достаточной для классификации информацией. По данным исследований, для классификации ЭМГ-сигналов верхних конечностей вычисляется квадрат дисперсии на каждом канале, после чего информация со всех каналов подается на нейросетевую хэш-функцию, которая выявляет ряд некоррелированных наиболее важных признаков.

Более подходящими для анализа являются признаки ЭМГ-сигнала во временной области на основе амплитуд сигналов. Такие признаки могут быть легко определены, обладают высокой стабильностью для распознавания образов с помощью ЭМГ. Для достижения лучших результатов, функция (признак) должна содержать достаточное количество информации, чтобы представлять существенные свойства ЭМГ-сигнала, и должна быть достаточно простой для быстрой обработки и классификации. В некоторых вариантах осуществления в качестве признаков могут использоваться следующие величины во временной области, измеренные как функции времени: интегральная ЭМГ; среднее арифметическое; среднее значение модуля; конечные разности; сумма элементарных площадей; дисперсия; среднеквадратичное отклонение; длина сигнала; максимальное значение ЭМГ-сигнала, более подробно информация о выборе признаков для классификации раскрыта в работе авторов [2].

Формулы для расчета этих величин показаны на Фиг. 14.

Оценка эффективности признаков осуществляется по двум главным параметрам — производительность нейронной сети и время работы — как наиболее важным для использования в реальном времени. Согласно предыдущим исследованиям, описанным в источнике информации [3], для условия выполнения требований работы в режиме реального времени время распознавания сигнала должно занимать не более 25 мс (но данные параметры регулируются нейронной сеткой, шириной окна и другими параметрами, что позволяет сделать настраиваемым время распознавания сигнала, увеличивая как в большую, так и меньшую сторону). Для комфортной работы пользователя производительность, или точность распознавания (процентное отношение верных случаев классификации ко всем рассматриваемым случаям) должна быть не ниже 95%, как показано в источнике [4]. Пример осуществления обработки сигнала представлен на Фиг. 10 и 13. С целью повышения точности классификации жеста и предотвращения ложного срабатывания исполнительного устройства бионической конечности на этапе предобработки сигнала, одновременно с вычислением максимального значения сегмента ЭМГ-сигнала, вычисляется средняя длительность превышения порогового значения ЭМГ-сигнала в окне данных в режиме реального времени, затем после центрирования и нормализации полученного сигнала принимается решение о возникновении управляющего сигнала.

Данные нейромышечной активности (данные матрицы каналов электромиографа), получают от устройства миоэлектрического считывания и оцифровывают посредством АЦП, затем проверяют условие возникновения активного сигнала (соответствующего выполнению жеста), например, 30% от заданной в настройках амплитуды. Далее разбивают полученный оцифрованный сигнал неперекрывающимся окном на сегменты, длиной, например, 25 мс. В некоторых вариантах осуществления технического решения используют функцию максимального значения сегмента, как наиболее эффективную и легко вычисляемую. Для каждого сегмента вычисляется его максимальное значение по формуле:

где x_k – k-ый сегмент сигнала, x_i – i-ое значение сегмента. Далее полученные значения нормируются следующим образом:

где X – массив данных сигнала, Х_i – i-ое значение сигнала;

И центрируют:

где – среднее арифметическое сигнала Х.

Таким образом, получают входной вектор признаков (по которому осуществляется классификация жестов) для каждого канала, с более низкой размерностью, чем у исходного сигнала (в зависимости от ширины окна): вектор длиной k вместо первоначального вектора длиной k*i, что снижает вычислительную нагрузку на микроконтроллер. Размерность понижается за счет того, что находят одно значение среди i значений.

Важно отметить, что миоэлектрическое устройство считывания также имеет режим работы электромиографа и вывода данных ЭМГ на циферблат миоэлектрическое устройство считывания или на экран исполнительного механизма, как компьютер или телефон, что лучше позволяет определить уровень сигнала от каждой мышцы или группы мышц.

На этапе настройки системы после создания входного вектора признаков ЭМГ-сигнала происходит обучение искусственной нейронной сети (ИНС). В некоторых вариантах осуществления используют ИНС на основе радиальной базисной функции (как пример, не стоит ограничиваться им, так как оптимальный вариант использование нейросетевой хэш-функции). В некоторых вариантах осуществления может использоваться многослойный персептрон нейронной сети, а также другие виды нейронных сетей или метод опорных векторов.

Для того чтобы распознать жесты, извлеченные признаки должны быть классифицированы в отличительные классы. Классификатор должен быть в состоянии справиться с факторами, которые оказывают заметное влияние на шаблоны ЭМГ в течение времени, такие, как существенное изменение сигналов ЭМГ, расположение электродов, пот и усталость, описанные в источнике информации [5].

Вышеуказанный способ может использовать трехзвенную архитектуру управления (база данных – сервер - клиент) при обработке набора признаков ЭМГ-сигнала.

Во входном слое количество нейронов равно размерности вектора признаков (который в данном случае равен числу каналов передачи данных, по которым передаются данные с датчиков), который в примере реализации изобретения может быть равен восьми: x_i, i = 1, 2…8. Скрытый слой, где число нейронов не было определено заранее, так как они были сформированы в ходе процедуры обучения, был разделен на четырнадцать субскрытых слоев. В выходном слое число нейронов было равно количеству классов в наборе обучающих данных (число жестов- число нейронов).

Базисной функцией нейронной сети в скрытом слое является функция Гаусса, а выход k-го нейрона в скрытом слое для каждого данного входа X = [x₁,x₂,x₃,x₄,x₅,x₆ x₇,x₈]^T может вычисляться по следующей формуле:

(4)

Это уравнение описывает 8-мерный гауссиан с центром в точке C = [C₁,C₂,C₃,C₄,C₅,C_6,C₇,C₈,C₃]^Т и вращается вдоль ортонормированного базиса {U₁,U₂,U₃,U₄,U₅,U₆U₇,U₈}, что позволяет нейрону покрывать поле данных соседа без смещения или любого изменения размера. Ширина этого гауссиана вдоль каждой оси равна a_i, i = 1, 2…8.

Поскольку входные векторы признаков для каждого образа являются восьмимерными, координаты, соответствующие этим векторам, представляют собой базис вида [1,0,0,0,0,0,0,0]^T, [0,1,0,0,0,0,0,0]^T … [0,0,0,0,0,0,0,1]^T. Таким образом, компонента х_i каждого входного вектора X по отношению к новым осям может быть вычислена как:

(5)

Вращение вдоль базисных векторов позволяет нейронам покрыть все близлежащие данные без увеличения радиуса. На Фиг. 15 показано, каким образом нейрон пытается приспособиться, чтобы покрыть новые данные; в правой части рисунка показано нахождение данных нейроном.

Во время настройки системы происходит запись сигнала пользователя в базу данных, данные в которой накапливаются, и используются для дообучения сети, но не всегда есть потребность в данном дообучении. Для каждого пользователя имеется вектор признаков с размером 8×N (где 8 – число каналов, N – число обучающих данных), полученный с помощью описанного выше способа (сегментации не перекрывающимися окнами). Перед процедурой обучения каждый набор данных перемешивается, а затем делится на наборы в соотношении 2:1:1 (по числу обучающих данных N) с данными для этапов обучения, тестирования и контроля соответственно.

Ортонормированный базис вычисляется через собственный вектор ковариационной матрицы. Поскольку обучающие данные вводятся в сеть последовательно, вектор средней и ковариационная матрица вычисляются рекурсивно. Для N выборок X = {х₁, х₂, ..., х_N}, в котором х_j = ℜ³, j = 1, ..., N вектор средних значений рассчитывается следующим образом:

(6)

где – это вектор средних значений множества данных X; X_N+1 – новый вектор данных, добавляемый во множество данных X.

Затем ковариационная матрица вычисляется как:

(7)

(8)

Чтобы найти ортонормированный базис для РБФ, используется концепция анализа главных компонент. Собственные величины {λ₁, λ₂, λ₃, λ₄, λ₅, λ₆ λ₇, λ₈} и соответствующие им собственные векторы {U₁,U₂,U₃,U₄,U₅,U₆U₇,U₈} вычисляются от уровня ковариационной матрицы. Далее множество собственных ортогональных векторов образуют ортонормированный базис, что показано в источнике информации [6].

Процедуру обучения нейронной сети во время настройки системы более подробно можно описать следующим образом.

Пусть Х = {(х_j, t_j)|1 ≤ j ≤ N} есть множество N обучающих данных (обучающая выборка), где x_j является вектор-функцией (компонент х_j ϵ ℜ⁸, где ℜ⁸ – множество обучающих данных) и t_j является классом, с которым необходимо соотнести жест. Пусть Ω = {Ω_k|1 ≤ k ≤ m} это набор из m нейронов. Каждый нейрон имеет пять параметров:

Ω_k = (С^k, S^k, N_k, A_k, d_k), (9)

где С^k – центр k-го нейрона, S^k – ковариационная матрица k-го нейрона, – это количество данных, соответствующих k-му нейрону, – ширина вектора k-го нейрона, и d_k – класс-метка k-го нейрона.

Поскольку новые нейроны могут быть автоматически добавлены к сети и располагаться очень близко друг к другу, возможна реализация стратегии слияния нескольких нейронов во избежание роста сети до максимальной структуры (одного нейрона для каждой единицы данных), что подробно описано в источнике информации [7].

Обученная нейронная сеть позволяет точно подстроиться под пользователя. В результате обучения ИНС сохраняют новые значения весовых коэффициентов нейронной сети в микропроцессор исполнительного механизма напрямую или в хранилище данных.

Однако следует учитывать, что другие типы ИНС, как и другие методы классификации, также могут быть осуществлены в данном изобретении специалистом в своей области.

В процессе работы системы результат распознавания жеста преобразуется в соответствующую управляющую команду (например, мысленное сжатие в «кулак» пользователем – «кулак»), и передается например на исполнительный механизм – отражается на экране компьютера или радиоуправляемая модель прекращает движение.

Система физиологичного управления на основе распознавания жестов (обработка управляющего сигнала) осуществляют следующим образом.

Вышеуказанная система состоит из миоэлектрического устройства считывания биопотенциалов, которое может быть конструктивно выполнено в виде лёгкосъёмного эластичного браслета или аналогичной конструкции (показан на Фиг. 5 поз. 1). В данном устройстве располагаются электроды для регистрации активности нервно-мышечной системы (поз.2), возникающей в ответ на фантомное движение пользователя. Причем браслет может быть размещен на предплечье на плече или других местах на теле человека и выполнен с возможностью передачи управляющего сигнала исполнительному механизму.

В данном браслете может находиться датчик беспроводной передачи данных, причем, не ограничиваясь, могут использоваться технологии беспроводной передачи данных Bluetooth или Wi-Fi, или ZigBee.

В легкосъёмном браслете или другой схожей конструкции, надеваемом на плечо, предплечье, или другие места на теле человека размещены, по меньшей мере один датчик электромиограммы, (далее датчик ЭМГ), с операционный усилитель, фильтр нижних и верхних частот, аналого-цифровой преобразователь (АЦП), микропроцессор-микроконтроллер, преобразователь напряжения и аккумуляторы, вибромотор, гироскоп и акселерометр.

Датчик ЭМГ в некоторых вариантах осуществления представляет собой набор пластин электродов, размещенных на подложке из диэлектрика. В разных вариантах осуществления технического решения электроды могут быть выполнены из нержавеющей стали или из слабополяризующихся проводящих материалов (например, из нержавеющей стали марки 12Х18Н10). В некоторых вариантах осуществления электроды могут быть выполнены следующих размеров: квадрат 1х1 см для приемной пластины (2 штуки) и прямоугольник 1х0,5 см для референта), не ограничиваясь. В некоторых случаях прямоугольник использовать нет необходимости, используется один прямоугольник на все датчики. Специалисту в данной области техники очевидно, что размер электродов может быть выполнен в другом размере, учитывая, что размер пластины влияет на амплитуду сигнала и уровень перекрестных помех.

На подложку электрода сверху может устанавливается плата усилителя биопотенциалов, которая может состоять из инструментального (дифференциального) усилителя (например, такого как INA114), фильтров нижних и верхних частот, выполненных на пассивных элементах в виде RC цепочек или на активных элементах. Через гибкие шлейфы датчики подсоединяются к плате микропроцессора, где может происходить оцифровка посредством аналого-цифрового преобразования и передача его на микроконтроллер (например, 2х 16ти битных АЦП ADS1115 и предварительная обработка сигнала на контроллере ARM микропроцессора Cortex M4) Фиг. 8.

При волевом сокращении мышцы пользователем активными электродами регистрируется разность потенциалов в низкочастотном диапазоне, возникающая в нервно-мышечной ткани.

Следует особо подчеркнуть необходимость надежного способа снятия управляющего сигнала. Частотный состав электромиограммы у пользователей, согласно исследованиям, представлен сильно зашумленным сигналом в диапазоне 0,5-300 Гц и амплитудой сигнала от 1 мкВ до 2 мВ (Фиг. 6).

Также существует совершенно новый способ решения в части датчиков, так как датчики могут быть и без усилителей. К входным цепям приборов измерения и обработки биопотенциалов предъявляются высокие требования, т.к. уровень электромиосигнала составляет всего лишь десятки микровольт – единицы милливольт, а также он значительно меньше наведенной помехи, которая может достигать десятков и даже сотен милливольт.

Под входными цепями (ВЦ) прибора с цифровой обработкой электромиосигнала , понимается цепь прохождения аналогового сигнала от электродов датчика до выхода аналого-цифрового преобразователя (АЦП).

К ВЦ предъявляют следующие основные требования:

1. Обеспечение входного сопротивления 100 Мом и более;

2. Предварительная фильтрация входного сигнала, исходя из частоты дискретизации АЦП;

3. Подавление синфазной составляющей входного сигнала не менее 100 дБ;

4. Разрядность АЦП, достаточная для преобразования сигнала уровнем 10 мкВ;

5. Наличие активной схемы подавления синфазной составляющей входного сигнала.

Кроме того, для обеспечения высокой разрешающей способности по распознаванию хватов в системе с использованием нейронной сети в качестве вычислителя, предъявляются дополнительные требования. А именно, число одновременно обрабатываемых каналов должно быть как можно большим.

На основании этих требований была выбрана микросхема ADS, которая включает в себя:

- предварительный усилитель с регулируемым коэффициентом усиления до 24;

- коэффициент подавления составляющей входного сигнала не мене 115 дБ;

- дельта-сигма АЦП разрядностью 24 бита;

- активную схему подавления синфазного сигнала;

- генератор напряжения Vcm;

- 8 дифференциальных, одновременно обрабатываемых каналов;

- частота дискретизации входного сигнала до 32000 выб./с.

Входное сопротивление ADS составляет более 1 ГОм.

Два электрода каждого канала подключены непосредственно к предварительному фильтру, образуя дифференциальный канал.

Для активного подавления синфазной составляющей входного сигнала, усиленный и инвертированный синфазный сигнал подается на третий электрод каждого датчика.

В качестве предварительного фильтра использован RC фильтр первого порядка.

Управление микросхемой ADS осуществляется по интерфейсу SPI.

Оцифрованный сигнал подается на процессор системы для дальнейшей обработки.

Блок-схема входной цепи представлена на Фиг. 9.

Осуществление технического решения (Фиг. 1а) может происходить следующим образом. Пользователь выполняет заданные жесты, при этом миоэлектрическое устройство считывания передает данные пользователя на устройство обработки данных по беспроводному каналу передачи данных (например, с использованием стандарта Bluetooth 4.0, но не ограничиваясь им), где происходит создание профиля пользователя. Затем созданный профиль записывается в память микроконтроллера.

Миоэлектрическое устройство считывания осуществляет регистрацию и фильтрацию электромиограммы (ЭМГ) и передачу данных по беспроводному каналу связи (например, с использованием стандарта Bluetooth 4.0, но не ограничиваясь им) на плату управления исполнительного механизма, размещение которой показано на Фиг. 12. Способ обработки сигнала более подробно раскрыт выше.

Фиг. 12 представляет собой вид сверху исполнительный механизм, который отличается для виртуальной реальности или для радиоуправляемой модели.

Управление виртуальной реальностью происходит следующим образом: миоэлектрическое устройство считывания в виде браслета (или схожей конструкции прибор) надевается на предплечье или плечо, либо другую часть конечности, как пример, ноги, происходит калибровка и настройка браслета, это может быть сделано на компьютере, телефоне (Фиг. 3в), как и без них (Фиг. 4). Очки виртуальной реальности состоят как минимум из разных типов линз, дисплея, деталей корпуса, вычислительной системы, акселерометра, гироскопа, датчика беспроводной связи (Bluetooth) (Фиг. 12а). Связь между браслетом и очками виртуальной реальности организовывается с помощью любой беспроводной связи, в нашем случае используются Bluetooth, при чём Bluetooth браслета настроен как ведомый, а Bluetooth очков виртуальной реальности как мастер. Миоэлектрическое устройство считывания, в виде браслета (или схожей конструкции прибор), осуществляет регистрацию и фильтрацию электромиограммы (ЭМГ), определяет положение руки и в зависимости от него отправляет на очки виртуальной реальности соответствующую команду, либо получает информацию по обратной связи. Важно, что миоэлектрическое устройство считывания помимо данных по номерам схватов отправляет на очки информацию с гироскопа и акселерометра, что позволяет лучше определить положение руки в пространстве. Возможно расположение миоэлектрического устройства считывания не только на руки, но и ноги, спину, шею, что позволит лучше определить расположение других частей тела в пространстве. Также очки виртуальной реальности способны передавать информацию обратной связи и запускать на миоэлектрическом устройстве считывания вибромотор, что позволяет создавать обратную связь, возможно также дополнительное расположение и других датчиков обратной связи и сенсоров.

Управление радиоуправляемой моделью происходит следующим образом миоэлектрическое устройство считывания в виде браслета (или схожей конструкции прибор) надевается на предплечье или плечо, происходит калибровка и настройка устройства, это может быть сделано на компьютере, телефоне (Фиг. 3б), как и без них (Фиг. 4). Радиоуправляемая модель состоит как минимум из микросхемы, датчика беспроводной связи (Bluetooth) и двигателей (Фиг. 12б). Связь между браслетом и радиоуправляемой моделью организовывается с помощью любой беспроводной связи, в нашем случае используются Bluetooth, при чём Bluetooth браслета настроен как мастер, а Bluetooth модели как ведомый. После запуска обоих устройств, с подключением без посредников, устройство беспроводной связи браслета подключается к устройству связи исполнительного механизма в нашем случае для связи требуется знание мастером названия и пароля устройства связи исполнительного механзима. В том случае, если устройства связаны через посредника (компьютер, телефон), то устройство-посредник участвует в установке связи между приборами. Миоэлектрическое устройство считывания осуществляет регистрацию и фильтрацию электромиограммы (ЭМГ), определяет положение руки и в зависимости от него отправляет на модель соответствующую команду. Список команд: F –модель начинает движение вперёд пока не получит очередную команду, B – модель начинает движение назад пока не получит очередную команду, L – модель начинает движение налево пока приходит данная команда, после её окончания продолжает действие, которое выполняло до получения команды (движение вперёд, назад, бездействие), R – модель начинает движение направо пока приходит данная команда, после её окончания продолжает действие, которое выполняло до получения команды (движение вперёд, назад, бездействие), S – остановка модели.

Модель получает команду, микросхема обрабатывает её в зависимости от команды, проводит манипуляции над моторчиками: начать вращение, изменить направление вращения, остановить. После выполнения текущей команды устройство готово к выполнению следующего. Также с модели может приходить на браслет информация обратной связи и запускать вибромотор на браслете или иные типы датчиков.

Также возможен случай реализации системы реабилитации с очками виртуальной реальности, так и без них (Фиг. 3а). А именно, когда происходит снятие данных например, по схватам с предплечья или плеча руки, и передача на компьютер или телефон для выполнения определенных схватов или движений в пространстве, движений, на компьютере или телефоне запущена программа, которая получает информацию и сигнализирует об успешном или неуспешном выполнении задания, возможна подача сигнала обратной связи на браслет.

Система управления также включает в себя:

сеть контроллера (контроллерную сеть), которая обеспечивает модульную, надежную и отказоустойчивую схему взаимодействия для обмена данными между контроллером и остальными управляющими и исполнительными органами исполнительного механизма, и которая обеспечивает передачу контроллеру намерений от нервно-мышечной системы пользователя;

источник питания;

разноцветные поверхностные светоизлучающие диодные, вибро- и звуковые индикаторы (LED), расположенные в протезе, с помощью которых посредством контроллера обеспечивается обратная связь с пользователем.

Примерные варианты осуществления системы управления включают в себя контроллер 301 (не более 2х3 см), который принимает данные о результате распознавания, осуществляет обмен данными и управление исполнительным механизмом.

Контроллер в некоторых вариантах осуществления может включать в себя блок обработки,

блок интерфейса, который физически отделен от блока обработки, причем вышеуказанные блоки могут соединяться гибким шлейфом, что позволяет осуществлять гибкое построение интерфейса без изменения соответствующего элемента управления программным обеспечением.

На Фиг. 3 показана блок-схема системы управления исполнительным механизмом, которая включает в себя контроллер протеза 301, шину 302, и по меньшей мере одну шину 303 (на Фиг. 3 показана только одна из них). Шина 302 и шина пальца 303 подключены к контроллеру 301 с помощью интерфейса ввода-вывода 304.

Контроллер 301 может являться одним из компонентов механизма (не показанного на данной схеме). Контроллер 301 является центральным звеном управления исполнительным механизмом. Таким образом, контроллер 301, который может быть конструктивно размещен внутри исполнительного механизма, несет ответственность за высокий уровень координированного управления исполнительным механизмом, а также разнообразные функции, связанные с внутренними нюансами работы исполнительного механизма.

Также, в случае необходимости, в некоторых вариантах осуществления контроллер 301 может быть размещен вне исполнительного механизма.

Одна из функций контроллера 301 – это управление движением исполнительного механизма.

Соответственно, команды о намерении пользователя передаются блоком 305 ЭНМ интерфейса (электронейромиоинтерфейса), который взаимодействует с контроллером 301 посредством шины 302 и интерфейса ввода-вывода 304, как показано на Фиг. 3. Команды из блока 305 ЭНМ интерфейса, а также информация от контроллера 306 крупноманипуляционного привода и по меньшей мере одного контроллера 307 мелкоманипуляционного привода (на Фиг. 3 показан один из них), которые поступают через шину 302 и шины 303 пальцев, позволяют способу управления исполнительного механизма, описанному выше, в контроллере 301 генерировать новые команды для управления крупноманипуляционными приводами и мелкоманипуляционными приводами.

Контроллер 301 также обеспечивает передачу сенсорных данных от датчиков или внешнего программного обеспечения с помощью вибродатчика, либо с помощью слабого электрического импульса.

Эта обратная связь позволяет пользователю ощущать внешние условия, не будучи ограниченным только визуальной или звуковой обратной связью.

В дополнительных вариантах осуществления изобретения контроллер 301 использует шину 302 для взаимодействия с дополнительными устройствами и/или аксессуарами, такими как устройства радиочастотной идентификации (RFID датчики), смартфоны и персональные цифровые помощники, хотя дополнительные или альтернативные варианты осуществления изобретения не ограничивается этими примерами.

Функционирование системы происходит следующим образом. Миоэлектрическое устройство считывания в виде браслета или аналогичной конструкции системы надевается на предплечье и плечо и подключается к компьютеру или телефону, на компьютере или телефоне происходит настройка, калибровка браслета и исполнительного механизма следующим образом. Обучающая выборка формируется следующим образом. С помощью программы калибровки на экран последовательно выводятся типы жестов, например, «кулак», «щепоть тремя пальцами», «захват «ключ»», «цилиндрический схват», и другие, которые предлагается повторить пользователю несколько раз в течение определенного времени, например, 5 раз по одной секунде, после чего полученные данные используются для обучения алгоритма распознавания на основе нейронной сети, как было описано выше. Создается профиль пользователя с новыми весовыми коэффициентами, который записывается в микроконтроллер браслета, либо запись сразу происходит в браслете. Далее исполнительный механизм и браслет могут работать автономно, на основе беспроводной связи, например, посредством Bluetooth 4.0.

Миоэлектрическое устройство считывания можно надеть до, либо после настройки исполнительного механизма благодаря эластичной манжете.

Пользователь может использовать движения, записанные при калибровке. После совершения движения, сигнал регистрируется, преобразуется и классифицируется согласно этапам, описанным выше. Благодаря наличию датчиков, передающих дополнительную информацию от исполнительного механизма, осуществляется обратная связь с пользователем, как описано выше.

ПРИМЕРЫ ОСУЩЕСТВЛЕНИЯ ТЕХНИЧЕСКОГО РЕШЕНИЯ

Миоэлектрическое устройство считывания размещается на руке пользователя и одновременно соединяется с персональным компьютером или телефоном, которое является устройством обработки данных. Пользователь, выполняя команды на экране, совершает 14 жестов (например, «Кулак», «Неполный кулак, или цилиндрический хват», «Раскрытие ладони», «Щепоть большим и указательным пальцем», «Щепоть большим и безымянным пальцами», «Поворот ладони на себя», «Поворот ладони от себя», ««Пистолет» - указательный и большой пальцы выпрямлены, остальные прижаты», «Кулак с выпрямленным большим пальцем», «Вращение предплечья на себя», «Вращение предплечья от себя», «Захват компьютерной мыши», «Захват под ключ», «Расслабление»), каждый в течение одной секунды, повторяя их согласно изображениям на экране, формируя таким образом обучающую выборку жестов.

Другой вариант, когда миоэлектрическое устройство считывания размещается на руке пользователя и одновременно выполняет не только считывание данных, но и обработку и обучение нейронной сети и не только, в дальнейшем может использоваться любой исполнительный механизм, как персональный компьютер или телефон, которые являются устройствами отражения обработанных данных по схватам. В процессе обучения может использоваться просто инструкция о последовательности схватов или исполнительный механизм для наглядности. В дальнейшем пользователь выполняет жесты, которые например отражаются на экране, например 14 жестов (например, «Кулак», «Неполный кулак, или цилиндрический хват», «Раскрытие ладони», «Щепоть большим и указательным пальцем», «Щепоть большим и безымянным пальцами», «Поворот ладони на себя», «Поворот ладони от себя», ««Пистолет» - указательный и большой пальцы выпрямлены, остальные прижаты», «Кулак с выпрямленным большим пальцем», «Вращение предплечья на себя», «Вращение предплечья от себя», «Захват компьютерной мыши», «Захват под ключ», «Расслабление»).

Электроды датчика миоэлектрического устройства считывания регистрируют разность потенциалов, возникающую при сокращении мышц, далее сигнал усиливается в 1000 раз (важно отметить, что усиление может быть как сразу на электроде, так и на АЦП, в последнем случае электрод представляет лишь защищенные пластины, передающие данные на АЦП), фильтруется в полосе 5-500 Гц и оцифровывается в АЦП. Далее, в режиме настройки, оцифрованный сигнал поступает на компьютер. Каждому цифровому отсчету сигнала по каждому жесту ставится в соответствие номер выполняемого жеста для дальнейшего обучения. Данные по каждому жесту соединяются в матрицу, соответственно, при частоте дискретизации, например, 500 или 1000 Гц, имеем набор данных размером 14х1000х8х14000 (14 жестов по 1 секунде х 1000 Герц, 8 – число каналов, 14000 – вектор целей от 1 до 14, присвоенный каждому отсчету номер жеста, по 1000 значений на каждую цель), амплитуда сигнала находится в диапазоне от 100 мкВ до 1 мВ. Затем сигнал сегментируют окнами шириной 25 мс, по 25 отсчетов на сегмент соответственно для частоты дискретизации 500 или 1000 Гц. Далее, находят максимум на каждом сегменте, получают на выходе вектор признаков размером 14х40х8х350 (размерность вектора целей также понижается). Затем данные в полученном векторе центрируются и нормируются, как описано выше. Амплитуда приводится к диапазону [-1:1] либо остается в размерность разности потенциалов.

Таким образом, получают входной вектор признаков для обучения нейронной сети. Обучение происходит согласно описанному выше алгоритму на считывающем устройстве или на другом процессоре. Далее, новые значения весов сети записываются в контроллер системы считывания. После чего пользователь может использовать систему. Данные до сегментации и данные после сегментации сохраняются в базе данных на удаленном компьютере для возможности дальнейшего исследования и для пополнения обучающей выборки нейронной сети. Также далее возможно настроить соответствие жестов, выполняемых пользователем, и хватов, реализуемых исполнительным механизмом в ответ на жест пользователя, подключив исполнительный механизм к компьютеру или напрямую к системе считывания.

Важно отметить, что количество распознаваемых схватов зависит в первую очередь от шага/перекрытия окна, и от алгоритма усреднения. Например если мы усредняем по 2м секундам, то и распознаем мы 1 жест за 2 секунды, а вот сколько данных мы пошлем на усреднение зависит от шага, если в отсчетах записать то n = fd/m, где n — количество распознанных схватов в секунду, fd — частота дискретизации, m — шаг окна в отсчетах. Можно записать это и через время, тогда n = 1/t, где t сдвиг окна в секундах.

Затем при эксплуатации системы пользователь выполняет любой из четырнадцати жестов, затем происходит регистрация и обработка сигнала. Электроды датчика регистрируют разность потенциалов, возникающую при сокращении мышц, далее сигнал усиливается в 1000 раз, фильтруется в полосе 5-500 Гц и оцифровывается в АЦП. Далее, сигнал поступает на микроконтроллер системы считывания. Набирается число данных, равное ширине окна (25 мс), соответственно, при частоте дискретизации, например, 500 или 1000 Гц, имеем вектор данных размером 25х8 (25 отсчетов за 25 мс, 8 – число каналов), амплитуда сигнала находится в диапазоне от 100 мкВ до 1 мВ. Далее, находят максимум текущего сегмента, получают на выходе вектор размером 1х8. Затем данные в полученном векторе центрируются и нормируются, как описано выше. Амплитуда приводится к диапазону [-1:1] либо остается в размерность разности потенциалов. Далее вектор подается на вход нейронной сети, которая определяет класс жеста. На основе результата классификации создается управляющая команда и передается на исполнительный механизм. Результирующий схват, которые исполнительный механизм переводит в нужное действие может быть, как аналогичным выполненному пользователю, так и иным, заданным в настройках изначально. Важно отметить, что для детей может использоваться и иное число датчиков, число каналов, например 4 или 5. Дополнительно помимо данных ЭМГ на считывающем устройстве используются данные гироскопа и акселерометра и при необходимости, они могу передаваться отдельно либо через нейросетевую хэш-функцию на исполнительный механизм, который при необходимости может передавать информацию об обратной связи и запускать на миоэлектрическом устройстве считывания вибромотор и сигнализировать пользователю о чем-то.

Полученная информация по схватам и дополнительная информация передается на исполнительные механизмы. Пример управления виртуальной реальностью происходит следующим образом: данные по схватам и дополнительная информация от миоэлектрического устройства, то есть более точное определение положения руки или ноги, передают на очки виртуальной реальности соответствующую команду, либо получает информацию по обратной связи. Важно, что миоэлектрическое устройство считывания помимо данных по номерам схватов отправляет на очки информацию с гироскопа и акселерометра, что позволяет лучше определить положение руки в пространстве. Также очки виртуальной реальности способны передавать информацию обратной связи и запускать на миоэлектрическом устройстве считывания вибромотор, что позволяет создавать обратную связь, возможно также дополнительное расположение и других датчиков обратной связи и сенсоров.

Управление радиоуправляемой моделью происходит следующим образом: после запуска обоих устройств, с подключением без посредников, устройство беспроводной связи миоэлектрическая система считывания подключается к устройству связи исполнительного механизма, в нашем случае для связи требуется знание мастером названия и пароля устройства связи исполнительного механизма. В том случае, если устройства связаны через посредника (компьютер, телефон), то устройство-посредник участвует в установке связи между приборами. Миоэлектрическое устройство считывания осуществляет регистрацию и фильтрацию электромиограммы (ЭМГ), определяет положение руки и в зависимости от него отправляет на модель соответствующую команду. Список команд: F –модель начинает движение вперёд пока не получит очередную команду, B – модель начинает движение назад пока не получит очередную команду, L – модель начинает движение налево пока приходит данная команда, после её окончания продолжает действие, которое выполняло до получения команды (движение вперёд, назад, бездействие), R – модель начинает движение направо пока приходит данная команда, после её окончания продолжает действие, которое выполняло до получения команды (движение вперёд, назад, бездействие), S – остановка модели. Модель получает команду, микросхема обрабатывает её в зависимости от команды, проводит манипуляции над моторчиками: начать вращение, изменить направление вращения, остановить. После выполнения текущей команды устройство готово к выполнению следующего. Также с модели может приходить на браслет информация обратной связи и запускать вибромотор на браслете или иные типы датчиков.

Также возможен случай реализации системы реабилитации с очками виртуальной реальности, так и без них, а именно, когда происходит снятие данных например, по схватам с предплечья или плеча руки, и передача на компьютер или телефон для выполнения определенных схватов или движений в пространстве, движений, на компьютере или телефоне запущена программа, которая получает информацию и сигнализирует об успешном или неуспешном выполнении задания, возможна подача сигнала обратной связи на миоэлектрическое устройство.

Важно отметить, что миоэлектрическое устройство считывания также имеет режим работы электромиографа и вывода данных ЭМГ на циферблат миоэлектрическое устройство считывания или на экран исполнительного механизма, как компьютер или телефон, что лучше позволяет определить уровень сигнала от каждой мышцы или группы мышц.

ИСПОЛЬЗУЕМЫЕ ИСТОЧНИКИ ИНФОРМАЦИИ

1. Коуэн X. Л., Брумлик Дж. Руководство по электромиографии и электродиагностике: Пер. с англ.-М.: Медицина, 2005.- 192 с.

2. Ivaniuk Natallia, Ponimash Zahar, Karimov Vladimir “Art of Recognition the Electromyographic Signals for Control of the Bionic Artificial Limb of the Hand”, International Conference of Artificial Intelligence, Medical Engineering, Education AIMEE 2017: Advances in Artificial Systems for Medicine and Education, pp 176-181 https://link.springer.com/chapter/10.1007/978-3-319-67349-3_16.

3. Englehart K, Hudgins B: A robust, real-time control scheme for multifunction myoelectric control. IEEE Trans Biomed Eng 2003, 50(7):848-854.

4. Van den Broek EL, Lis’y V, Janssen JH, Westerink JHDM, Schut MH, Tuinenbreijer K: Affective Man–machine Interface: Unveiling human emotions through biosignals. Biomedical Engineering Systems and Technologies: Communications in Computer and Information Science. Berlin, Germany: Springer Verlag; 2010.

5. Maria C. Selection of suitable hand gestures for reliable myoelectric human computer interface / Maria Castro, Sridhar P Arjunan, Dinesh K Kumar // BioMedical Engineering OnLine. -2015. -14:30 (9 April 2015) available at: http://www.biomedical-engineering-online.com/content/14/1/30.

6. Huihui L. Relationship of EMG/SMG features and muscle strength level: an exploratory study on tibialis anterior muscles during plantar-flexion among hemiplegia patients / Huihui Li, Guoru Zhao, Yongjin Zhou, Xin Chen, Zhen Ji, Lei Wang // BioMedical Engineering OnLine. -2014. 13:5 (27 January 2014) available at: http://www.biomedical-engineering-online.com/content/13/1/5.

7. Saichon J, Chidchanok L, Suphakant P: A very fast neural learning for classification using only new incoming datum. IEEE Trans Neural Netw 2010.

1. Способ управления электронными устройствами с помощью электромиографического устройства считывания, включающий в себя этапы, на которых:

- регистрируют по меньшей мере один ЭМГ-сигнал пользователя при помощи электромиографического устройства считывания;

- осуществляют первичную обработку полученного по меньшей мере одного ЭМГ-сигнала пользователя посредством неперекрывающейся сегментации ЭМГ-сигнала;

- для каждого полученного сегмента ЭМГ-сигнала формируют набор жестовых признаков на основе квадрата дисперсии ЭМГ-сигнала для классификации жестов;

- передают набор признаков ЭМГ-сигнала каждого сегмента по каналу передачи данных в базу данных нейросети и в вычислительную часть устройства;

- на основании полученного набора признаков нейросетевая хеш-функция, которая является искусственной нейронной сетью, формирует вторичное признаковое пространство данных, которые подаются на метрический классификатор и описывают по меньшей мере один жест;

- определяют намерение пользователя в части совершения жеста, при котором определяют тип жеста на основании сформированного набора признаков ЭМГ-сигнала посредством использования нейросетевой хэш-функции и метрического классификатора;

- формируют управляющий сигнал на основании определенного типа жеста;

- передают сформированный управляющий сигнал и также дополнительную информацию от датчиков типа гироскоп и акселерометр электромиографического устройства считывания по каналу передачи данных в исполнительный механизм;

- инициируют выполнение действия исполнительного механизма на основании полученного управляющего сигнала и дополнительной информации с датчиков;

- получают обратную связь от исполнительного механизма, при этом запускается вибромотор на электромиографическом устройстве считывания.

2. Способ по п. 1, характеризующийся тем, что при регистрации ЭМГ-сигнала регистрируется разность потенциалов в низкочастотном диапазоне, возникающая в нервно-мышечной ткани.

3. Способ по п. 1, характеризующийся тем, что при получении ЭМГ-сигнала миоэлектрическое устройство считывания осуществляет фильтрацию сигнала.

4. Способ по п. 1, характеризующийся тем, что при сегментации ЭМГ-сигнала для каждого сегмента определяют квадрат дисперсии ЭМГ-сигнала и его максимальное значение.

5. Способ по п. 1, характеризующийся тем, что обработка ЭМГ-сигнала происходит в три уровня.

6. Способ по п. 1, характеризующийся тем, что используют искусственную нейронную сеть.

7. Способ по п. 1, характеризующийся тем, что во входном слое для искусственной нейронной сети количество нейронов равно количеству каналов.

8. Способ по п. 1, характеризующийся тем, что в выходном слое для искусственной нейронной сети число нейронов равно размерности пространства признаков для метрического классификатора.

9. Способ по п. 1, характеризующийся тем, что обучение метрического классификатора происходит на электромиографическом устройстве считывания, но задействование исполнительного механизма возможно при необходимости для наглядного отражения жестов.

10. Способ по п. 1, характеризующийся тем, что содержит функционал по дополнительному сбору данных с гироскопа и акселерометра и использование их совместно с нейросетевой хэш-функцией.

11. Способ по п. 1, характеризующийся тем, что содержит функционал обратной связи с исполнительным механизмом, который позволяет с помощью вибромотора передавать информацию.

12. Система управления электронными устройствами с помощью электромиографического устройства считывания, содержащая:

электромиографическое устройство считывания ЭМГ-сигналов пользователя, выполненное с возможностью регистрации и первичной обработки ЭМГ-сигнала пользователя посредством неперекрывающейся сегментации ЭМГ-сигнала;

при этом электромиографическое устройство считывания ЭМГ-сигналов пользователя содержит по меньшей мере один миоэлектрический датчик, выполненный с возможностью регистрации ЭМГ-сигналов, устройство передачи данных, АЦП, гироскоп, акселерометр, вибромотор, аккумуляторы и микроконтроллер, выполненный с возможностью формирования набора жестовых признаков на основе квадрата дисперсии ЭМГ-сигнала и нейросетевой хэш-функции ЭМГ-сигнала для классификации жестов согласно этапам способа по п. 1;

исполнительный механизм, выполненный с возможностью реализации действий на основании полученного управляющего сигнала и дополнительной информации от гироскопа и акселерометра и выдачи обратной связи на электромиографическое устройство считывания ЭМГ-сигналов пользователя;

при этом исполнительный механизм может выглядеть в виде шлема или очков с контроллером на устройстве виртуальной реальности, радиоуправляемая модель, управляемый мобильный телефон, компьютер.

13. Система по п. 12, характеризующаяся тем, что электромиографическим устройством считывания ЭМГ-сигналов пользователя является эластичный браслет.

14. Система по п. 13, характеризующаяся тем, что электромиографическое устройство считывания ЭМГ-сигналов пользователя содержит электроды для регистрации активности нервно-мышечной системы, которые могут быть с отдельным усилителем на каждом датчике или иметь общий усилитель на АЦП, а сами датчики могут не использовать усилитель.

15. Система по п. 13, характеризующаяся тем, что электромиографическое устройство считывания ЭМГ-сигналов пользователя размещается на предплечье или на плече для руки, либо на бедре или икрах ноги.

16. Система по п. 13, характеризующаяся тем, что миоэлектрическое устройство считывания содержит датчик беспроводной передачи данных.

17. Система по п. 13, характеризующаяся тем, что электромиографическое устройство считывания ЭМГ-сигналов пользователя содержит датчик электромиограммы с операционными усилителями либо без них, фильтр нижних и верхних частот, аналого-цифровой преобразователь и микропроцессор, преобразователь напряжения, аккумулятор, вибромотор, гироскоп и акселерометр.

18. Система по п. 13, характеризующаяся тем, что электромиографическое устройство считывания содержит вибромотор для обратной связи с исполнительным механизмом.

19. Система по п. 13, характеризующаяся тем, что контроллер включает в себя блок обработки и блок интерфейса, который физически отделен от блока обработки, причем вышеуказанные блоки могут соединяться гибким шлейфом.

20. Система по п. 13, характеризующаяся тем, что электромиографическое устройство считывания ЭМГ-сигналов пользователя может работать в режиме электромиографа и вывода данных ЭМГ с электромиографического устройства считывания на циферблат электромиографического устройства считывания или на экран исполнительного механизма.