Способ и комплекс бионического управления техническими устройствами

Группа изобретений относится к медицине, а именно к способам и комплексам бионического управления протезами, ортезами, экзоскелетами и игровыми приставками. Комплекс состоит из блока датчиков, блока регистрации сигналов и блока реализации управляющих воздействий. Блок датчиков включает электродную систему для регистрации электрофизиологических сигналов ЭМГ и электрического импеданса, датчики силы для регистрации ММГ, инерционные датчики и дополнительные датчики. Блок регистрации сигналов включает входные усилители, выходы которых подключены к блоку обработки ЭМГ, блоку обработки импеданса и ММГ, входной усилитель, последовательно подключенный к процессору и коммуникатору, блок формирования управляющего воздействия и модем. Блок реализации управляющих воздействий включает последовательно соединенные модем, блок управления и исполнительный блок. Производят регистрацию электрофизиологических сигналов ЭМГ и электрического импеданса посредством системы электродов. Регистрацию механических, инерционных и дополнительных сигналов проводят с помощью соответствующих датчиков. Все сигналы, а именно электрофизиологические сигналы ЭМГ, электрического импеданса, ММГ, инерционные сигналы и дополнительные сигналы, регистрируют, обрабатывают и интерпретируют единовременно. Обработка сигналов проходит в блоке регистрации, а генерация управляющих команд реализуется в блоке формирования управляющего воздействия в режиме реального времени. Достигается повышение точности распознавания действий пользователя. 2 н. и 5 з.п. ф-лы, 1 ил.

 

Изобретение относится к области медицины и медицинской техники, а именно к системам управления различными техническими устройствами, протезами, ортезами, экзоскелетами, игровыми приставками и другими подобными устройствами, и предназначено для управления и взаимодействия с другими электронными устройствами, реабилитации людей с заболеваниями опорно-двигательного аппарата и распознавания действий.

В настоящее время с целью улучшения качества жизни и взаимодействия со специальными электротехническими системами применяется все больше биоуправляемых роботизированных систем. При разработке подобных систем ключевым является выбор способа определения типа и параметров выполняемого действия.

В современных биотехнических системах управления наибольшее распространение получило использование биопотенциалов, в особенности электромиографии - метода исследования биоэлектрических потенциалов, возникающих в скелетных мышцах человека и животных при возбуждении мышечных волокон и регистрации их электрической активности. Известно, что иннервация двигательной единицы - функциональной единицей мышцы, представляющей собой пучок мышечных волокон - приводит к деполяризации мембраны, вследствие чего по мышечным волокнам генерируется и распространяется потенциал действия, вызывающий мышечное сокращение. Сигнал электромиограммы (ЭМГ) представляет собой сумму зарегистрированных игольчатыми или поверхностными электродами потенциалов действия от мышц, вовлеченных в сокращение [De Luca, Carlo (2006), Electromyography. Encyclopedia of Medical Devices and Instrumentation, Second Edition, Volume 3. John Wiley Publisher, pp. 98-109]. Обработка и сегментация, с извлечением информативных признаков, позволяет использовать сигнал электромиограммы для распознавания действий и последующего управления устройствами [Alter, Ralph (1966), Bioelectric Control of Prostheses, Technical Report: Massachusetts Institute of Technology, Research Laboratory of Electronics].

Известен способ электромиографического управления протезами по патенту WO №2012150500, A61F 2/60. A61F 2/68 A61F 2/70, согласно которому на основе электромиографического сигнала с мышцы формируется управляющий сигнал, передаваемый в блок управления и приводящий в действие исполнительный механизм.

Недостатком данного способа, как и всех способов электромиографического управления, является то, что выделение сигналов от конкретной мышцы затруднено, так как из-за аддитивной природы ЭМГ сигнала потенциалы действия с соседних мышц перекрывают друг друга. Другим недостатком является то, что ЭМГ хорошо отражает лишь начало и конец сокращения, но по данному сигналу нельзя судить о типе совершенного движения.

Частичное решение данного ограничения изложено в «Способе бионического управления техническими устройствами», представленном патентами на изобретение и WO2017160183, А61B 5/0488, A61F 2/54. Суть данного способа бионического управления заключается в получении управляющего электрофизиологического сигнала путем пропускания зондирующего переменного электрического тока через мышцу с использованием поверхностных электродов, и регистрации электрического импеданса, сигнал изменения которого вследствие мышечных сокращений используется в дополнение к ЭМГ сигналу, регистрируемого с тех же электродов. Управляющий сигнал формируется с использованием обоих каналов.

Указанный выше способ позволяет обеспечить достаточно точное распознавание базовых движений кисти, таких как сгибание-разгибание, схват-раскрытие и обеспечить пропорциональность воспроизведения действия.

Однако недостатком данного способа и устройства выбранных в качестве прототипа является чувствительность сигнала биоимпеданса к перекосам электродной системы, изменениям площади контакта “электрод-кожа” и силе прижатия, отсутствие контроля данных параметров может привести к регистрации изменений сигнала биоимпеданса, не связанных с совершением действия, и ошибкам в управлении техническим устройством. Также с использованием только сигналов электрического импеданса и ЭМГ не представляется возможным избежать ложных срабатываний исполнительного механизма в случае выполнении действий более верхней частью конечностью, например, плечом при расположении датчиков на предплечье при ходьбе. Данную проблему возможно решить с использованием инерционных датчиков.

Известны методы управления протезами, основанные на использовании различных инерционных датчиков, таких как акселерометр, гироскоп, датчик Холла и др., а также их комбинаций и IMU-сенсоров для формирования управляющих сигналов.

Основным недостатком подобных методов является то, что для распознавания движений пальцами и жестов необходимо использовать специальную “перчатку” и располагать инерционные датчики на каждом пальце, как это реализовано в патенте RU 2670649 C1 G06F 3/01. Что определяет основные ограничения данных систем — это невозможность их применения для реабилитации пациентов с потерей конечности, а также неудобство, обусловленное габаритами конструкции. Также использование датчиков ограничивается распознаванием типов жестов, в которых присутствует кручение, не позволяя распознать движения, в которых отсутствует кручение вдоль оси датчика [Munusamy T. R. Hand Pattern Recognition Using Smart Band // Theses and Dissertations. 2015. Vol. 1126].

Датчики Холла позволяют определять угловые перемещения, применяются в протезировании для реализации обратной связи, контроля положения конечности в пространстве и обеспечения проприоцептивного восприятия для пациента [Goršič, M., Kamnik, R., Ambrožič, L., Vitiello, N., Lefeber, D., Pasquini, G., & Munih, M. (2014). Online Phase Detection Using Wearable Sensors for Walking with a Robotic Prosthesis. Sensors, 14(2), 2776–2794]. Однако системы с использованием датчиков магнитного поля подвержены влиянию внешних полей, окружающих носителя устройства, которые могут накладываться на полезный сигнал [Guanglin Li, & Kuiken, T. A. (2008). Modeling of Prosthetic Limb Rotation Control by Sensing Rotation of Residual Arm Bone. IEEE Transactions on Biomedical Engineering, 55(9), 2134–2142].

Настоящее изобретение направлено на решение вышеуказанной технической задачи, а именно на преодоление ограничений связанных с использованием известных методов регистрации движений для задач управления, т.е. обеспечение пропорционального и антропоморфного контроля исполняющего механизма (такого как протез, ортез, экзоскелет, игровая приставка и т.п.), контроля перекосов и силы прижатия регистрирующей электродной системы, определение положения исполняющего механизма в пространстве, определение линейных и угловых перемещений и увеличение информативности получаемых данных, путем комплексирования биопотенциальных (ЭМГ, биоимпеданс), механических (ММГ, IMU) и дополнительных (GPS, RFID, УЗИ, оптический, голос) сигналов.

Ожидаемым техническим результатом применения предлагаемого изобретения является повышение эффективности бионического управления техническими устройствами, а именно повышение точности распознавания действий, обеспечение более точного и антропоморфного управления, пропорциональность воспроизведения действий, увеличение количества распознаваемых действий, уменьшение искажений сигналов за счет контроля перекосов электродной системы, а также повышение точности определения положения конечности и/или исполнительного механизма в пространстве.

Для достижения этого технического результата предлагается cпособ бионического управления протезами, ортезами, экзоскелетами и игровыми приставками, заключающийся в измерении сигналов, их обработке и формировании управляющего воздействия, в котором производят регистрацию электрофизиологических сигналов электромиограммы (ЭМГ) и электрического импеданса посредством совместной тетраполярной системы электродов, причем для регистрации сигнала электрического импеданса осуществляют пропускание переменного высокочастотного тока через область измерения, а регистрацию механических, инерционных и дополнительных сигналов проводят с помощью соответствующих датчиков, причем все сигналы: электрофизиологические сигналы ЭМГ, электрического импеданса, механомиограмма (ММГ), инерционные сигналы, и дополнительные сигналы регистрируют, обрабатывают и интерпретируют единовременно, причем обработка сигналов проходит в блоке регистрации, а генерация управляющих команд реализуется в блоке формирования управляющего воздействия в режиме реального времени.

Предлагается способ бионического управления техническими устройствами в котором дополнительным сигналом является сигнал определения местонахождения пациента, который регистрируют с помощью RFID-метки и GPS.

Предлагается способ бионического управления техническими устройствами в котором дополнительным сигналом является сигнал обратной связи и подтверждения факта выполнения команды исполнительным механизмом и определения изменения оптической плотности области измерения при выполнении действия для подачи управляющих команд, причем указанный сигнал регистрируют с помощью оптических датчиков.

Предлагается способ бионического управления техническими устройствами в котором дополнительным сигналом является голосовой сигнал, который регистрируют с помощью микрофона для подачи управляющих голосовых команд оператором посредством произносимой фразы.

Технический результат также достигается комплексом для бионического управления протезами, ортезами, экзоскелетами и игровыми приставками, состоящем из блока датчиков, блока регистрации сигналов и блока реализации управляющих воздействий, в котром блок датчиков включает совместную тетраполярную электродную систему, состоящую из двух токовых электродов и измерительных электродов для регистрации электрофизиологических сигналов ЭМГ и электрического импеданса, датчики силы для регистрации ММГ, инерционные датчики и дополнительные датчики, причем блок регистрации сигналов включает входные усилители, выходы которых подключены к блоку обработки ЭМГ, блоку обработки импеданса и ММГ, входной усилитель, последовательно подключенный к процессору и коммуникатору, блок формирования управляющего воздействия и модем, а блок реализации управляющих воздействий включает последовательно соединенные модем, блок управления и исполнительный блок.

Предлагается комплекс бионического управления техническими устройствами в котром инерционными датчиками являются гироскоп, акселерометр и датчики Холла.

Предлагается комплекс бионического управления техническими устройствами в котором дополнительными датчиками являются RFID метки, GPS, УЗИ, оптические и голосовые датчики.

Таким образом, в реализуемом способе в качестве электрофизиологических сигналов используются сигнал биоимпеданса, который может быть использован для определения типа совершаемого действия (схват, сгибание, разгибание), и электромиографический сигнал, который может быть использован для регистрации мышечной активности, определения момента начала выполнения действия, а также для реализации пропорционального управления.

В реализуемом способе в качестве механических сигналов используется механомиографический сигнал, с помощью которого контролируется сила прижатия и перекосы электродной системы, из данного сигнала может быть получена дополнительная информация о совершаемом действии для повышения точности управления.

В качестве инерционных датчиков используются акселерометр, позволяющий определить факт наличия движения, гироскоп, с помощью которого можно определять и передавать на исполнительный механизм угловые перемещения, датчик Холла используется для определения положения конечности и/или исполнительного механизма в пространстве, для обеспечения проприоцептивного восприятия.

В реализуемом способе могут быть использованы дополнительные информационные каналы, соответствующие дополнительным датчикам, таким как RFID-метки и GPS, которые могут быть использованы для определения местонахождения пациента, для сужения спектра возможных управляющих команд, посылаемых на исполнительный механизм, оптические датчики – для реализации обратной связи и подтверждения факта выполнения команды исполнительным механизмом, голосовые датчики – для распознавания голосовых команд.

Для регистрации электрического импеданса согласно нормам электробезопасности предпочтительно использовать ток частотой 100 кГц и амплитудой не выше 10 мА.

Предпочтительно при этом использовать тетраполярную схему наложения электродов для регистрации сигналов ЭМГ и электрического импеданса. При этом для увеличения эффективности управления следует использовать многоканальное расположение электродных систем.

Предпочтительно, что весь процесс, начиная с регистрации электрофизиологических, механических и инерционных сигналов и заканчивая генерацией управляющих команд, занимает не более 100 мс.

Предпочтительно, что в качестве технического устройства используют роботизированные устройства, например, протез, ортез, экзоскелет и т.п., а также мультимедийные устройства.

Фиг.1: схема комплекса бионического управления техническими устройствами

Комплекс бионического управления техническими устройствами включает в себя блок датчиков (1), блок регистрации сигналов (2) и блок реализации управляющих воздействий (3). Блок датчиков (1) включает, но не ограничен, совместную тетраполярную электродную систему, состоящую из токовых электродов (4) и (5), и измерительных электродов для регистрации электрофизиологических сигналов ЭМГ и биоимпеданса (6) и (7), датчиков силы для регистрации ММГ 8, инерционных датчиков 9 (гироскопа, акселерометра и датчика Холла), а в качестве дополнительных датчиков могут быть использованы RFID метки, GPS, УЗИ, оптический сигнал, голос. Блок регистрации сигналов (2) включает входные усилители (11) и (15), выходы которых подключены к блоку обработки ЭМГ (12), блоку обработки импеданса (13) и ММГ (16), входной усилитель (17), последовательно подключенный к процессору (18) и коммуникатору (19), блок формирования управляющего воздействия (20) и модем (21). Блок реализации управляющих воздействий (3) включает модем (22), блок управления (23) и исполнительное устройство (24).

Высокочастотный зондирующий ток, пропускаемый через мышцу в момент сокращения с помощью токовых электродов (4) и (5), генерируется в источнике тока (10). Напряжение, регистрируемое измерительными электродами (6) и (7) представляет собой сумму синфазной помехи, амплитудно-модулированного сигнала биоимпеданса на частоте 100 кГц и сигнала ЭМГ. Синфазная помеха подавляется входным инструментальным усилителем (11). Сигналы ЭМГ и электрического импеданса разделяются полосовыми фильтрами с динамическими диапазонами, соответствующими динамическим диапазонам сигналов в блоках обработки ЭМГ и импеданса (12) и (13). Механомиографический сигнал регистрируется с помощью датчиков силы, на которые подается опорное напряжение из с источника опорного напряжения (14), проходит через входной усилитель (15) для подавления синфазной помехи. После сигнал с датчиков силы поступает в блок обработки сигнала ММГ (16). Сигналы с инерционных датчиков также поступают на входной усилитель (17), затем производиться их обработка и интерпретация в процессоре (18), который преобразует данные с инерционных датчиков в сигналы ориентации, а коммуникатор (19) предназначен для сопряжения информации от всех инерционных датчиков. Все зарегистрированные сигналы после их обработки поступают в блок формирования управляющего воздействия (20), который включает в себя микроконтроллер с соответствующим ПО, где генерируются управляющие команды, передаваемые через модем (21) на модем (22) блока управления (23), который интерпретирует управляющие команды в манипуляции исполнительного устройства 24 (исполнительного блока(2)).

Следующий пример иллюстрируют изобретение, не ограничивая его по существу.

Пример 1. Управление экзоскелетом

Блоки датчиков 1, включающие электродную систему для регистрации электрофизиологических сигналов ЭМГ и биоимпеданса, датчики силы для регистрации ММГ 8, инерционные датчики 9 (гироскоп, акселерометр и датчик Холла) размещаются в проекциях мышц-антагонистов (например, сгибателей-разгибателей кисти) на здоровой руке или на культе (если оператор-инвалид). Оператор напрягает и расслабляет мышцы так же, как при естественных движения сгибания и разгибания. Управляющие электрофизиологические сигналы ЭМГ и импеданса, несущие информацию о степени мышечного сокращения и типе совершенного действия, поступают с измерительных электродов 6 и 7 на входной усилитель 11 и после разделения и фильтрации в блоках обработки ЭМГ и импеданса 12 и 13 поступают в блок формирования управляющего воздействия 20, где комплексируются с сигналом ММГ, несущим информацию о совершенном мышечном движении и силе прижатия, поступающим с датчиков силы 8 и прошедшим через входной усилитель 15 и блок обработки ММГ 16, и сигналом с инерционных датчиков 9, которые интерпретируются и преобразуются в сигналы ориентации в процессоре 18 и объединяются в коммуникаторе 19.

В блоке формирования управляющего воздействия 20 за счет совместного анализа механомиографического сигнала, ЭМГ и импеданса определяется тип совершенного действия (сгибание/разгибание) и формируются соответствующие команды на объект управления (экзоскелет), за счет сигналов с инерционных датчиков формируется обратная связь, осуществляется контроль наличия движения и обеспечивается определение положения частей исполнительного механизма (экзоскелета) и конечностей оператора в пространстве.

Управляющие команды затем передаются через модем 21 на модем 22 блока управления 23, который интерпретирует управляющие команды в манипуляции исполнительного устройства 24 В качестве исполнительного устройства могут быть роботизированные устройства: протезы, ортезы, экзоскелеты, мультимедийные устройства.

Блок управления может включать себя микроконтроллер, который анализирует все зарегистрированные сигналы одновременно путем анализа их амплитудно-временных и частотных параметров, фазового и форменного анализа, нейронных сетей и т.п. материалов.

Добавление в описанный выше комплекс для бионического управления третьего механомиографического (ММГ) канала, основанного на неинвазивной оценке нейромышечной активности путем регистрации механических колебаний мышцы, связанных с изменением поперечного сечения мышцы при сокращении, с помощью тензорезисторных датчиков силы. Добавление ММГ датчика к каналу биоимпеданса и каналу ЭМГ позволит не только контролировать параметры регистрации, влияющие на качество биопотенциальных измерений, но и дополнит информацию о совершаемом действии, так как сигналы механомиограммы имеют характерные паттерны изменения для некоторых типов движения, что позволяет использовать их для задач управления [Yungher D, Craelius W. Discriminating 6 grasps using force myography of the forearm // Northeast American Society of Biomechanics (NEASB) Conference. 2007] [Kadkhodayan A., Jiang X., and Menon C. Continuous Prediction of Finger Movements Using Force Myography // Journal of Medical and Biological Engineering. 2016. Vol. 36(4). P. 594–604].

1. Способ бионического управления протезами, ортезами, экзоскелетами и игровыми приставками, заключающийся в измерении сигналов, их обработке и формировании управляющего воздействия, отличающийся тем, что производят регистрацию электрофизиологических сигналов электромиограммы (ЭМГ) и электрического импеданса посредством совместной тетраполярной системы электродов, причем для регистрации сигнала электрического импеданса осуществляют пропускание переменного высокочастотного тока через область измерения, а регистрацию механических, инерционных и дополнительных сигналов проводят с помощью соответствующих датчиков, причем все сигналы: электрофизиологические сигналы ЭМГ, электрического импеданса, механомиограмма (ММГ), инерционные сигналы, и дополнительные сигналы регистрируют, обрабатывают и интерпретируют единовременно, причем обработка сигналов проходит в блоке регистрации, а генерация управляющих команд реализуется в блоке формирования управляющего воздействия в режиме реального времени.

2. Способ бионического управления по п. 1, отличающийся тем, что дополнительным сигналом является сигнал определения местонахождения пациента, который регистрируют с помощью RFID-метки и GPS.

3. Способ бионического управления по п. 1, отличающийся тем, что дополнительным сигналом является сигнал обратной связи и подтверждения факта выполнения команды исполнительным механизмом и определения изменения оптической плотности области измерения при выполнении действия для подачи управляющих команд, причем указанный сигнал регистрируют с помощью оптических датчиков.

4. Способ бионического управления по п. 1, отличающийся тем, что дополнительным сигналом является голосовой сигнал, который регистрируют с помощью микрофона для подачи управляющих голосовых команд оператором посредством произносимой фразы.

5. Комплекс для бионического управления протезами, ортезами, экзоскелетами и игровыми приставками, состоящий из блока датчиков, блока регистрации сигналов и блока реализации управляющих воздействий, отличающийся тем, что блок датчиков включает совместную тетраполярную электродную систему, состоящую из двух токовых электродов и измерительных электродов для регистрации электрофизиологических сигналов ЭМГ и электрического импеданса, датчики силы для регистрации ММГ, инерционные датчики и дополнительные датчики, причем блок регистрации сигналов включает входные усилители, выходы которых подключены к блоку обработки ЭМГ, блоку обработки импеданса и ММГ, входной усилитель, последовательно подключенный к процессору и коммуникатору, блок формирования управляющего воздействия и модем, а блок реализации управляющих воздействий включает последовательно соединенные модем, блок управления и исполнительный блок.

6. Комплекс для бионического управления по п. 5, отличающийся тем, что инерционными датчиками являются гироскоп, акселерометр и датчики Холла.

7. Комплекс для бионического управления по п. 5, отличающийся тем, что дополнительными датчиками являются RFID метки, GPS, УЗИ, оптические и голосовые датчики.