Система и способ зрительно-кортикального протезирования

Группа изобретений относится к биоинженерным технологиям и может быть использована в медицинской практике с целью восстановления зрительных функций у людей, полностью потерявших их. Система содержит внешнюю и внутреннюю части. Внешняя часть эффективно обрабатывает видеосигнал и направляет команды на электроды, имплантированные пользователю. Предложена система для реализации способа, причем система состоит из внешней и имплантируемой частей, где имплантируемая часть представляет соединенные между собой приемную антенну в биосовместимом силиконовом корпусе, чип управления электродами, заключенный в титановый корпус и матрицу электродов из проводящего полимера, погруженных в инертную гибкую основу, а внешняя часть состоит из первого устройства, предназначенного для размещения на голове пользователя регулируемого обруча, и второго устройства - блока обработки видеосигнала, причем обруч оснащен двумя встроенными в его фронтальную часть видеокамерами, блоком питания, передающей антенной, микроконтроллером, памятью и интерфейсом для подключения блока обработки, а блок обработки видеосигнала представляет собой размещенные в корпусе микрокомпьютер, выполненный с возможностью дополнительной обработки видеосигнала с целью идентификации объектов и выдачи сигналов по результатам обработки, а также: модули Wi-Fi, Bluetooth, питания, интерфейсы для заряда, подключения внешних аудиоустройств, подключения к обручу и блок функционального управления. Группа изобретений обеспечивает уменьшение времени адаптации пользователя к новому зрительному опыту, расширение функциональных возможностей системы, а также повышение безопасности использования. 2 н. и 1 з.п. ф-лы., 5 ил.

 

Область техники

Предложенная группа изобретений относится к биоинженерным технологиям и может быть использована в медицинской практике с целью восстановления зрительных функций у людей, полностью их потерявших.

Уровень техники

Из уровня техники известны решения, направленные на восстановление зрительных функций пациентов путем стимуляции нейронов головного мозга.

Данная возможность обусловлена тем, что со зрительной зоной V1 коры головного мозга непосредственно соединены нейроны, посылающие зрительные сигналы от глаза человека. Зона коры V1 состоит из нейронов, которые отвечают за контраст, цвет, глубину, ориентацию, движение зрительного стимула. Прямое стимулирование указанных нейронов слабыми электрическими импульсами вызывает появление фосфенов, возникающих в поле зрения, что дает возможность так называемого фосфенного зрения, способного в некоторой степени заменить обычное зрение человеку, потерявшему такую способность.

Для стимуляции используют протезы, которые перманентно имплантируются в тело человека и стимулируют клетки зрительной коры головного мозга.

Например, известен кортикальный зрительный протез (US 2014222103 A1, 07.08.2014), представляющий собой размещенные на гибкой подложке внешнюю и внутреннюю части, внутренняя имплантируемая часть содержит стимулирующие электроды, а внешняя содержит катушку, предназначенную для приема и подачи сигнала на электроды.

Также известны устройство и способ зрительного протезирования (US 5159927 A, 03.11.1992). В данном решении сигнал с видеокамеры обрабатывается, преобразуется и поступает по проводному каналу в зрительный нерв. Данное решение обладает повышенной сложностью осуществления и доставляет большое неудобство пользователю при эксплуатации.

В качестве аналога изобретения можно принять решение, известное из (US 10052478 B2, 21.08.2018). В данном решении сигнал с внешней видеокамеры преобразуется процессором и передается на приемную катушку кортикального импланта посредством другой передающей катушки, причем катушки расположены в проекции друг друга в непосредственной близости.

Данное решение обладает низкой полезной функциональностью, поскольку не позволяет, в частности, осуществлять распознавание объектов, определять расстояние до распознанных объектов и снабжать пользователя информацией об окружающих объектах, что может быть, однако, необходимым в случае использования зрительных имплантов с низким разрешением.

Таким образом, общим недостатком уровня техники является низкая функциональность и эффективность воспроизведения объектов окружающей среды, приводящая к длительному времени адаптации пользователя к возможности малоэффективного распознавания зрительных образов фосфенного зрения.

Предложенная группа изобретений направлена на преодоление недостатков уровня техники и достижение технических результатов, заключающихся в уменьшении времени адаптации пользователя к новому зрительному опыту, в расширении функциональных возможностей системы, а также повышение безопасности использования.

Раскрытие изобретения

Для достижения указанных технических результатов предлагается группа изобретений, в обобщенном виде включающая систему и способ зрительно-кортикального протезирования.

Согласно первому аспекту изобретения предложена система зрительного кортикального протеза, состоящая из внешней и имплантируемой частей, где имплантируемая часть представляет соединенные между собой приемную антенну в биосовместимом силиконовом корпусе, чип управления электродами, заключенный в титановый корпус и матрицу электродов из проводящего материала на биосовместимой подложке, а внешняя часть состоит из первого устройства - предназначенного для размещения на голове пользователя регулируемого обруча, и второго устройства - блока обработки видеосигнала, причем обруч оснащен двумя встроенными в его фронтальную часть видеокамерами, блоком питания, передающей антенной, микроконтроллером, памятью и интерфейсом для подключения блока обработки, а блок обработки видеосигнала представляет собой размещенные в корпусе микрокомпьютер, выполненный с возможностью дополнительной обработки видеосигнала с целью идентификации объектов и выдачи сигналов по результатам обработки, а также: модули Wi-Fi, Bluetooth, питания, интерфейсы для заряда, подключения внешних аудиоустройств, подключения к обручу и органы управления.

Согласно второму аспекту изобретения предложен способ функционирования системы зрительного кортикального протеза, включающий получение видеосигнала от видеокамер в первом устройстве, его линейную перекодировку в команды стимуляции электродов и выдачу сигнала стимуляции электродов, а при поступлении соответствующей команды активирование дополнительной обработки видеосигнала во втором устройстве, связанным с первым устройством, которая включает: регистрацию потока видеокадров, преобразование видеокадров в паттерн усредненных сигналов с разрешением, соответствующим размеру матрицы электродов, обнаружение границ целевых объектов, распознавание объектов, создание карты глубины, определение расстояния до объектов, по результатам обработки формирование и выдачу сигнала стимуляции электродов с одновременным озвучиванием информации, полученной в результате распознавания объектов и/или определения расстояния до объектов.

Далее представлено более подробное описание предложенной группы изобретений в его предпочтительных вариантах осуществления.

Осуществление изобретения

Кортикальный зрительный протез (КЗП) приставляет собой систему, состоящую из комплекса внешних и внутренних (имплантируемых) устройств, предназначенных для искусственной активации полезных зрительных ощущений у тотально слепых людей, то есть для протезирования зрения.

Для более полного понимания сущности ниже сделаны отсылки на соответствующие поясняющие чертежи, на которых представлены компоненты предложенной системы.

Согласно чертежам, предложенная система содержит:

фиг. 1 - головное устройство в виде обруча;

фиг. 2 - блок обработки видеосигнала (дополнительной обработки);

Фиг. 3 - блок-схема элементов блока обработки видеосигнала;

фиг. 4 - имплантируемая часть, именуемая далее, как имплант или протез.

Фиг. 5 - схема использования импланта.

Система зрительного кортикального протеза состоит из внешней и имплантируемой частей.

Внешняя часть включает первое устройство, предназначенное для размещения на голове пользователя - регулируемого обруча (фиг. 1), и второе устройство - блок обработки видеосигнала (фиг. 2, 3).

Как показано на фиг. 1 обруч для головы или головное устройство включает:

- средство преобразования изображений в видеосигнал, выполненное в виде двух встроенных во фронтальную часть обруча 1 видеокамер 2. Видеокамеры 2 являются устройствами видеофиксации, и необходимы для получения изображения и карты глубины окружающего пространства, их расположение во фронтальной части обруча определяется назначением.

- встроенный микроконтроллер 3, являющийся частью аппаратного обеспечения устройства, предназначенный для преобразования видеосигнала в линейно перекодированный в команды стимуляции электродов, причем указанные команды передаются с помощью антенны 4, а также предназначенный для передачи видеосигнала с помощью кабеля (на фиг. условно не показан) на блок обработки видеосигнала 5, где преобразуется в персонализированные паттерны стимуляции, которые после возвращения на обруч для головы 1 с помощью вышеуказанной антенны 4 перенаправляются на кортикальный имплант 11,

- антенну 4, которая является внешней передающей радио катушкой, необходимой для передачи сигналов и питания,

- радиаторы охлаждения 16, расположенные во фронтальной части обруча 1, выполненные в приоритетном варианте осуществления из алюминия и предназначенные для охлаждения;

- блок питания (на фиг. условно не показан) в виде двух аккумуляторов, служащий для автономного режима работы устройства в течение определенного емкостью аккумулятора периода времени;

- интерфейс связи 17 - порт USB-С подключения к блоку обработки видеосигнала 5 и зарядки устройства, расположенный с обратной стороны обруча 1 (на фиг. 1 местоположение показано условно).

На фиг. 2, фиг. 3 показано второе устройство внешней части - блок обработки видеосигнала 5 кортикального зрительного протеза 11, в котором сигнал, преобразованный микроконтроллером, преобразуется в интеллектуальный вариант набора стимулов, а также выполняется прочая интеллектуальная обработка сигнала. Указанный блок включает:

- процессор 6, являющийся частью аппаратного обеспечения устройства, обеспечивает выполнение команд и функционала связанных блоков (блок управления параметрами стимуляции и переключения режимов 9, блок активации режима интеллектуального поиска 10, блок включения с индикацией заряда 19) на программном уровне,

- блок оперативной памяти 7, являющийся частью аппаратного обеспечения устройства, необходимый для временного хранения информации, получаемой и передаваемой внутри кортикального зрительного протеза, тесно связанный с процессором 6 при реализации работы компонентов программного уровня,

- кнопки управления 8, предназначенные для активирования блока управления параметрами стимуляции и переключения режимов 9, блока активации режима интеллектуального поиска 10 и блока включения с индикацией заряда 19,

- блок управления параметрами стимуляции и переключения режимов 9, выполненный смысловым разделом программного уровня на базе процессора 6, предназначенный для изменения режимов контурного выделения объектов и выбора параметров стимуляции электродов. Для выполнения этого функционала задействованы два правила: одно для выделения силуэтов и масок существенных объектов, а второе для выделения очерчивающих границы помещения базовых структурных линий. Для реализации указанного функционала не требуется подключение к сети Интернет, он выполняется автономно,

- блок активации режима интеллектуального поиска 10, выполненный смысловым разделом программного уровня на базе процессора 6, предназначенный для нахождения положения объекта в информационных данных, полученных с камер, и его классификации. При реализации функционала задействует алгоритм машинного зрения на основе предобученного нейросетевого алгоритма, для лучшего восприятия протезом, и соответственно пользователем объектов и пространства в различных ситуациях. Дополнительно блок 10 наделен функцией озвучивания найденного предмета пользователю через любую совместимую гарнитуру для ускоренной адаптации мозга к получаемым с помощью сигнала электродов изображений,

- блок включения с индикацией заряда 19, выполненный смысловым разделом программного уровня на базе процессора 6, предназначенный для включения и выключения устройства и оповещения пользователя об уровне заряда аккумуляторов 18,

- радиатор 16, выполненный в приоритетном варианте осуществления из алюминия, предназначенный для охлаждения аппаратного обеспечения,

- аккумулятор 18, предназначенный для автономного режима работы устройства в течение определенного емкостью аккумулятора периода времени.

Таким образом, блок обработки видеосигнала представляет собой размещенные в корпусе микрокомпьютер, выполненный с возможностью дополнительной обработки видеосигнала с целью идентификации объектов и выдачи сигналов по результатам обработки, а также: модули Wi-Fi, Bluetooth, питания, интерфейсы для заряда, подключения внешних аудиоустройств, подключения к обручу и органы управления.

Имплантируемая часть - кортикальный имплант 11 кортикального зрительного протеза, перманентно имплантируемый в тело человека и предназначенный для непосредственной стимуляции клеток зрительной коры головного мозга показана на фиг. 4.

Кортикальный имплант 11 включает:

- антенну 12, которая является приемной радио катушкой, необходимой для получения питания и функциональных команд стимуляции для электродов в виде сигналов,

- чип для управления электродами 13, являющийся заранее прошиваемым компонентом до имплантации, платой-приемником для получения данных и команд, расположенной в корпусе, преимущественно из титана.

- матрица электродов 14, погруженная в инертную гибкую основу 15, непосредственно исполняющая полученные команды, воздействуя малыми токами на нейроны зрительной коры головного мозга.

Таким образом, имплантируемая часть представляет соединенные между собой приемную антенну 12 в биосовместимом силиконовом корпусе, чип 13 управления электродами, заключенный в титановый корпус и матрицу электродов 14 из проводящего полимера погруженных в инертную гибкую основу 15.

Как показано выше, система имеет две самостоятельные структурные единицы - съемная внешняя, состоящая из обруча с двумя камерами и передающей радиочастотной катушки, а также подключаемого блока обработки видео сигнала и для распознавания изображений на основе алгоритмов искусственного интеллекта; и хроническая внутренняя, состоящая из электродной решетки с электродными окончаниями, чипа для преобразования сигнала и принимающей антенны.

Внешняя часть системы используется для получения визуальной информации об окружающем пространстве, ее обработки и трансляции на имплантируемую часть. Элементы внешней части предпочтительно соединяются посредством интерфейса USB/USB-C.

В обруч вмонтированы две камеры 2 для получения изображения и карты глубины окружающего пространства. Также в него вмонтирована антенна 4, посредством которой на имплант 11 передается питание и функциональные команды стимуляции для электродов в виде персонализированных паттернов стимуляции. В программном плане обруч 1 имеет заранее сохраненные в памяти алгоритмы для обработки сигнала с камеры и передачи на электроды без дополнительной интеллектуальной обработки с помощью блока обработки видеосигнала 5. Данная обработка может быть осуществлена посредством содержащегося в обруче микроконтроллера 3. Для более комфортного использования обруч 1 может быть оснащен радиаторами охлаждения 16, размещенными во фронтальной части, в которые монтируются видеокамеры 2, как это показано на фиг. 1.

В блоке обработки видео сигнала 5 сигнал с видеокамер 2 преобразуется в понятный протезу набор стимулов, а также осуществляется дополнительная обработка и выдача сигналов, как это показано далее. Блок имеет кнопки для функционального управления: питание, интеллектуальный поиск объектов и режим обработки видео сигнала для протеза для лучшего восприятия пространства в различных ситуациях.

Внутренняя часть (кортикальный имплант) 11 перманентно имплантируется в тело человека и предназначается для непосредственной стимуляции клеток зрительной коры головного мозга. Данная часть состоит из: антенны 12, принимающей питание и функциональные команды стимуляции для электродов; чипа 13 для управления сигналами из внешней части системы; поверхностного импланта, который представляет собой решетку из электродов 14, погруженных в инертную гибкую основу 15.

Система функционирует следующим образом.

Функционирование системы возможно только при расположении обруча 1 на голове пользователя, когда внешняя передающая и внутренняя принимающая катушки находятся в проекции друг друга и непосредственной близости, достаточной для передачи управляющего сигнала и питания.

В предпочтительном варианте имплант представляет соединенные между собой приемную антенну в биосовместимом силиконовом корпусе, чип управления электродами, заключенный в титановый корпус и матрицу электродов 10×10 (100 электродов) из проводящего материала на биосовместимой подложке.

Все элементы импланта выполнены из безопасных для организма материалов, что обеспечивает возможность хронического его использования.

Антенна 12 и чип 13 устанавливаются на поверхности черепа под скальпом, тогда как электродная решетка 14 погружается в полость черепной коробки и размещается на поверхности мозга в проекции зрительной коры - зон V1-V2-V3 на медиальной поверхности одной доли мозга, отвечающих преимущественно за активацию центрального поля зрения. Кортикальный имплант имеет отдельное программное обеспечение, которое выполняет функции получения и интерпретации полученного через катушку цифрового сигнала, а также управления аналоговой системой подачи и контроля питания на массив электродов.

В общем случае, изображение с одной из камер обруча проходит линейное кодирование микроконтроллером и преобразуется в сигналы (команды) стимуляции электродов, передаваемые передающей антенной, что вызывает появление фосфенов, возникающих в поле зрения пользователя. Данной функции может быть достаточно в случае идентификации крупных объектов. Однако если пользователю требуется идентификация средних и мелких объектов, то необходимо использование дополнительных интеллектуальных функций.

В связи с этим в изобретении предложено дополнительное направление видеосигнала в блок обработки видео сигнала.

В блоке обработки видео сигнала 5 изображение усредняется до 100 пикселей в паттерн стимуляции согласно одному из выбранных паттернов. Здесь же изображение подвергается анализу в реальном времени с помощью алгоритмов искусственного зрения для трансляции пользователю звукового описания наблюдаемой сцены (отдельных ее объектов). После обработки видеосигнала паттерн стимуляции направляется обратно напрямую в имплант через собственный радиопередатчик, чтобы посредством электромагнитного излучения в радиочастотном диапазоне транслировать информацию на принимающую антенну, связанную с чипом, запитанным от обруча путём беспроводной передачи энергии через специальную катушку и зафиксированным под скальпом к черепной коробке с помощью винтов. С принимающей катушки сигнал направляется в чип, где преобразуется в малые токи, имеющие свойства, необходимые для безопасной и эффективной стимуляции нейронов зрительной коры головного мозга. Конечным элементом устройства является электродная решетка, имеющая 100 электродных окончаний, погруженных в диэлектрический материал и располагающаяся на медиальной поверхности зрительной коры головного мозга в проекции шпорной борозды V1.

Например, сигнал с видеокамер преобразуется в понятный протезу набор стимулов: с камеры регистрируется поток цветных видеокадров с частотой 30 Гц и размером 640*480 пикселей, после чего преобразуется в паттерн усредненных сигналов с разрешением 10*10, которое соответствует матрице электродов.

В программном плане в блоке используются алгоритмы машинного зрения на основе алгоритмов искусственного интеллекта для идентификации конкретных объектов (людей, дорожных знаков, предметов обихода и т.д.). При обработке изображения параллельно используются 2 алгоритма, один для выделения силуэтов и масок существенных объектов и второй для выделения очерчивающих границы помещения базовых структурных линий.

В предложенной системе используется принцип максимально экономного воздействия по количеству электродов и длительности их активации с применением предварительной компьютерной обработки изображения с помощью микрокомпьютера. Данный подход оптимизирует визуально-геометрические свойства изображения с камеры и выполняет семантический анализ представленной на картинке информации с целью распознавания и выделения визуальных объектов интереса. Кроме того, дополнительным функционалом является функция распознавания объектов с помощью предобученного нейросетевого алгоритма с функцией озвучивания найденного предмета для ускоренной адаптации мозга к получаемым с помощью сигналов электродов изображений. Обучение нейросети может быть осуществлено с использованием библиотеки глубокого обучения нейронных сетей. Распознавание объектов может быть осуществлено с использованием одной из доступных архитектур нейронной сети, которая позволяет классифицировать и найти положение объекта на изображении. Соответствующие базы данных могут быть предварительно загружены в память микрокомпьютера, в связи с чем система может функционировать в автономном режиме без подключения к сети Интернет.

Способ функционирования предложенной системы представляет собой набор последовательных методов обработки видео сигнала с видеокамер для зрительных протезных систем, и предназначен для улучшения пользовательского опыта пользователей зрительных протезных систем в виде контурирования целевых объектов, их идентификации с помощью алгоритмов машинного зрения и искусственного интеллекта, а также определения расстояний до физических объектов наблюдаемой сцены с предоставлением обратной связи в виде озвучивания и/или виброотклика.

Способ включает как отмеченный выше режим линейного кодирования, так и активируемый режим дополнительной обработки. Данный режим может быть активирован посредством кнопки активации режима интеллектуального поиска объектов, расположенной на блоке обработки видеосигнала, что генерирует соответствующую команду управления.

Этапы способа в частном случае осуществления включают следующие этапы обработки.

Регистрируется поток цветных видеокадров с частотой 30 Гц и размером, соответствующим разрешению используемой камеры, например, 640*480 пикселей. Данное изображение проходят ряд преобразований для подготовки определения границ, после чего применяется алгоритм детектирования границ целевых объектов. Затем с каждым полученным кадром с границами объектов осуществляется ряд преобразований, в результате которых изображение усредняется до количества электродов в используемом электроде, каждому из которых соответствуют необходимые токи и временные параметры воздействий. Этап не требует подключения к сети Интернет и может быть использован в автономном режиме.

С каждым кадром осуществляется ряд преобразований и вычислений с помощью обученных алгоритмов машинного зрения (или прочих алгоритмов искусственного интеллекта), результатом чего является оповещение (путем озвучивания) пользователя протезной зрительной системы о наличии тех или иных объектов в наблюдаемой сцене. Этап не требует подключения к сети Интернет, при условии наличия в памяти обученных баз данных.

Прямая обработка видео сигнала с камер, выделение контуров, распознавание объектов и определение расстояний до физических объектов. Для данного метода в зрительном протезе должно присутствовать одна или две видео камеры. В методе синхронно анализируются данные с двух или более камер для создания карты глубины и вычисления расстояний до физических объектов. Пользователь может быть оповещен о расстоянии до объекта. Этап не требует подключения к сети Интернет и может быть использован в автономном режиме. Пользователь может быть одновременно оповещен как о наличии тех или иных объектов, так и о расстоянии до них.

Для обновления баз данных и/или выполнения этапов способа, требующих наличия соединения с сетью, могут использоваться встроенные в блок управления модули Wi-Fi или Bluetooth.

Таким образом, в описании показано, как может быть осуществлена группа изобретений с использованием известных из уровня техники средств.

Группа изобретений позволяет существенно уменьшить время адаптации пользователя к новому зрительному опыту за счет осуществления новой функции - дополнительной обработки видеосигнала и параллельного озвучивания информации, относящейся к распознаваемым объектам окружения. Это же позволяет использовать систему пользователям протезных зрительных систем с низкой разрешающей способностью. Безопасность использования обеспечивается использованными для осуществления устройств материалами. Кроме того, безопасность использования следует из возможности озвучивания пользователю информации о расстоянии до объектов.

Изготовление и испытание опытных образцов изделий системы показали их высокую эффективность и возможность использования в медицинских целях по своему назначению.

1. Система зрительного кортикального протеза, состоящая из внешней и имплантируемой частей, где

- имплантируемая часть представляет соединенные между собой приемную антенну в биосовместимом силиконовом корпусе, чип управления электродами, заключенный в титановый корпус и матрицу электродов из проводящего полимера, погруженных в инертную гибкую основу,

- а внешняя часть состоит из первого устройства, предназначенного для размещения на голове пользователя регулируемого обруча, и второго устройства - блока обработки видеосигнала,

- причем обруч оснащен двумя встроенными в его фронтальную часть видеокамерами, блоком питания, передающей антенной, микроконтроллером, памятью и интерфейсом для подключения блока обработки, а

- блок обработки видеосигнала представляет собой размещенные в корпусе микрокомпьютер, выполненный с возможностью дополнительной обработки видеосигнала с целью идентификации объектов и выдачи сигналов по результатам обработки, а также: модули Wi-Fi, Bluetooth, питания, интерфейсы для заряда, подключения внешних аудиоустройств, подключения к обручу и блок функционального управления.

2. Система зрительного кортикального протеза по п.1, отличающаяся тем, что блок функционального управления включают кнопки для функционального управления: питание, интеллектуальный поиск объектов и переключение режимов обработки видеосигнала для протеза.

3. Способ функционирования системы по п. 1, включающий получение видеосигнала от видеокамер в первом устройстве, его линейную перекодировку в команды стимуляции электродов и выдачу сигнала стимуляции электродов, а при поступлении соответствующей команды активирование дополнительной обработки видеосигнала во втором устройстве, связанном с первым устройством, которая включает: регистрацию потока видеокадров, обнаружение границ целевых объектов, преобразование видеокадров в паттерн усредненных сигналов с разрешением, соответствующим размеру матрицы электродов, распознавание объектов, создание карты глубины, определение расстояния до объектов, по результатам обработки формирование и выдачу сигнала стимуляции электродов с одновременным озвучиванием информации, полученной в результате распознавания объектов и/или определения расстояния до объектов.