Способ оптимизации работы нейрокомпьютерного интерфейса

Авторы патента:

Борзунов Сергей Викторович (RU)

Вахтин Алексей Александрович (RU)

Туровский Ярослав Александрович (RU)

Кургалин Сергей Дмитриевич (RU)

Алексеев Александр Викторович (RU)

G09B19/00 - Средства обучения, не отнесенные к другим группам этого подкласса (приборы для обучения или тренировки в прицеливании или наводке орудий F41G 3/26)

A61B5/16 - устройства для проведения психологических опытов (испытания профессиональных способностей G09B 1/00-G09B 5/00); испытание на быстроту реакции

A61B5/11 - измерение движения всего тела или его частей, например тремора головы или рук, подвижности конечностей (измерение пульса A61B 5/02)

A61B5/00 - Измерение для диагностических целей (радиодиагностика A61B 6/00; диагностика с помощью ультразвуковых, инфразвуковых и звуковых волн A61B 8/00); опознание личности

Владельцы патента RU 2657858:

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Воронежский государственный университет" (ФГБОУ ВПО "ВГУ") (RU)

Изобретение относится к нейрофизиологии, а именно к нейрокомпьютерным интерфейсам. Способ оптимизации работы нейрокомпьютерного интерфейса включает регистрацию активности головного мозга, как по отдельности, так и совместно в любой комбинации любым из следующих методов на основе использования инвазивных или неинвазивных датчиков: электроэнцефалографическим, магнитно-энцефалографическим, магнитно-резонансным томографическим, включая функциональный магнитно-резонансный томографический, транскраниальным оксиметрическим с последующей обработкой полученных данных компьютером на основе нейрокомпьютерного интерфейса, которая заключается в выделении из зарегистрированных временных последовательностей паттернов, интерпретируемых как команды, и передаче означенных команд на внешние по отношению к устройству регистрации и обработки сигнала с мозга устройства, где под внешними устройствами понимаются самоходные шасси, летающие платформы или компьютеры, при этом в ходе обработки зарегистрированных временных последовательностей оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки с последующей передачей команды на внешнее устройство сообщаются в доступной для него форме с использованием как по отдельности, так и в любых комбинациях зрительного, звукового, тактильного канала коммуникации предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса. Использование изобретения позволяет улучшить распознавание программно-аппаратной частью нейрокомпьютерного интерфейса подаваемых пользователем команд. 2 ил., 3 пр.

Изобретение относится к информационным технологиям и нейрофизиологии.

Традиционно, под нейрокомпьютерным интерфейсом (НКИ, синоним интерфейс мозг компьютер) подразумевают коммуникационную систему, в которой сообщения или команды, посылаемые индивидуумом во внешний мир, не проходят через обычные нормальные выходные каналы мозга в виде периферийных нервов и мышц [1]. Один из основоположников теории и практики НКИ [2].

В общем случае, взаимодействие человек-компьютер в рамках парадигмы НКИ выглядит следующим образом [US 2012059273; WO 2011123059; RU 2415642; [3]:

1. Пользователь, желая достичь определенного результата, изменяет активность своего головного мозга, что проявляется в изменении волновых паттернов электроэнцефалограммы (ЭЭГ), данных магнитоэнцефалограммы, степени оксигенации крови, метаболизма тех или иных отделов мозга.

2. Специализированный прибор регистрирует полученные паттерны и передает их для дальнейшей обработки на компьютер.

3. Компьютер, используя ряд алгоритмов обработки и классификации, определяет, какое именно действие необходимо совершить и реализует его через устройство-эффектор [4].

Для детекции изменения активности мозга требуется определенное время, включающая в себя как накопление необходимого временного отрезка, содержащего требуемую активность, так и время на ее обработку. При этом в рамках классической схемы управления нейрокомпьютерным интерфейсом во время от начала осознанной генерации пользователем команды до собственно вывода этой команды на управляемое устройство пользователь не имеет никакого представления о том, какие собственно команды из возможного алфавита комманд рассматриваются программно-аппаратным комплексом в плане выбора для отправки на устройство-эффектор, как соотносятся вероятности выбора этих команд и т.д. Как результат, пользователь видит какую именно команду реализовал интерфейс только тогда, когда устройство или программа-эффектор выполнили эту команду. Учитывая, что скорость работы нейрокомпьютерных интерфейсов составляет от 1 с (мировой рекорд) до 20-30 с на одну команду, очевидно, что пользователь между выполнениями команд устройством или программой-эффектором не имеет никакой информации о работе нейрокомпьютерного интерфейса, что не позволяет пользователю контролировать и/или изменять свои т.н. «ментальные» состояния, что в свою очередь не позволяет контролировать и/или изменять активность тех или иных отделов головного мозга и, следовательно, влиять на обработку означенных временных рядов.

Технической задачей изобретения является улучшение работы нейрокомпьютерного интерфейса, заключающееся в формировании дополнительного канала обратной связи компьютер-человек и обеспечивающее тем самым непосредственный контроль работы интерфейса мозг-компьютер в ходе обработки последним команд, поступивших из мозга.

Технический результат заключается в создании программно-аппаратными средствами дополнительного канала коммуникации обеспечивающий в режиме реального времени (или с минимальной временной задержкой) пользователя-оператора нейрокомпьютерным интерфейсом информацией о ходе обработки паттернов мозговой активности, что позволяет пользователю динамически менять свое т.н. «ментальное» состояние для улучшения распознания программно аппаратной частью нейрокомпьютерного интерфейса подаваемых пользователем команд.

Технический результат достигается тем, что при управлении устройствами, включая компьютер, на основе нейрокомпьютерного интерфейса (интерфейса мозг-компьютер) происходит регистрация активности головного мозга как по отдельности, так и совместно в любой комбинации любым из следующих методов: электроэнцефалографическим, магнитно-энцефалографическим, магнитно-резонансным томографическим (включая функциональный магнитно-резонансный томографический), транскраниальным оксиметрическим, включая как инвазивные, так и неинвазивные датчики. Полученные данные обрабатываются с целью выделения из зарегистрированных временных последовательностей паттернов, интерпретируемых как команды. В дальнейшем осуществляется передача означенных команд на внешние, по отношению к устройству регистрации и обработки сигнала с мозга, устройства включая, но не ограничиваясь, самоходными шасси, летающими платформами, компьютерами.

Для достижения технического результата в ходе обработки зарегистрированных с мозга временных последовательностей оператору интерфейса сообщаются в доступной для него форме, в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки и передачи команды на внешнее устройство, предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса. Общее направление потоков информации при стандартной работе нейрокомпьтерного интерфейса (черные стрелки) и дополнительное направление согласно заявке (пунктирная стрелка), (фиг. 1). Данное сообщение осуществляется с использованием как по отдельности, так и в любых комбинациях зрительного, звукового, тактильного канала коммуникации. При этом важно отметить, что в рамках классического подхода, пользователь видит какая именно команда была выбрана нейрокомпьютерным интерфейсом на основе динамики мозговой активности пользователя только после того как команда взывала ту или иную реакцию устройства-эффектора (самоходного шасси, дрона, компьютера). Поскольку команда выдается не мгновенно, а ее расчет занимает некоторое время, включающее в себя накопление мозговой активности, непосредственно обработку этой активности, генерацию команд передачу их на устройство-эффектор (фиг. 2.) то в течение этого времени пользователь не знает, какая именно команда имеет большую вероятность быть выданной на устройство эффектор. Тем временем согласно представленной заявке программно-аппаратная часть нейрокомпьютерного интерфейса сообщает пользователю «промежуточные результаты» обработки его мозговой активности, делая возможным для пользователя коррекцию его т.н. «ментальных состояний» т.е. активности головного мозга порождающую команды для интерфейса. Наличие такой обратной связи существенно улучшает работу нейрокомпьютерного интерфеса.

Пример 1. Синхронный ЭЭГ-интерфейс на анализе потенциала Р300.

Регистрируется, согласно формуле изобретения, электрическая активность мозга методом ЭЭГ (датчики расположены на кожных покровах пользователя в соответствующих позициях). При этом происходит накопление вызванного потенциала и детекция компонента Р300, показывающего, какой именно стимул был выбран пользователем. Регистрация активности головного мозга осуществляется электроэнцефалографическим методом на основе использования неинвазивных датчиков. Обработка полученных данных компьютером на основе нейрокомпьютерного интерфейса включает выделение из зарегистрированных временных последовательностей паттернов, интерпретируемых как команды, и передачу означенных команд на внешние устройства. Однако поскольку для накопления нужна серия стимулов, то, согласно формуле изобретения, после накопления каждого нового ЭЭГ паттерна, содержащего вызванный потенциал, пользователь информируется о текущих результатах расчетов и выделении потенциала Р300 с точки зрения выбора тех или иных символов, например подсвечиванием их другим цветом, отличным от цвета фона, символа и цвета стимула, выделяющего символ или группу символов. По завершении стимульной серии программно-аппаратная часть интерфейса принимает решение о том, какому стимулу соответствует наиболее выраженный потенциал Р300. Т.о. в ходе обработки зарегистрированных временных последовательностей с использованием зрительного канала коммуникации оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки и передачи команды на внешнее устройство сообщаются в доступной для него форме предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса.

Пример 2. Асихнронный интерфейс, основанный, на депрессии мю-ритма.

В этом варианте для выбора одной из двух команд пользователь должен в течение определенного времени представлять мысленные движения той рукой, которая соответствует нужной команде. В этом случае зарегистрированная ЭЭГ в дальнейшем обрабатывается спектральными методами, и, если в течение заданного времени на спектре ЭЭГ видна указанная депрессия ритма, в проекции контрлатерального полушария команда считается сгенерированной. Регистрация активности головного мозга осуществляется электроэнцефалографическим методом на основе использования неинвазивных датчиков. При этом, согласно заявке, возможен многократный расчет спектральных показателей ЭЭГ в ходе накопления сигнала, необходимого для анализа. При этом каждый этап расчета ЭЭГ показывает, какая из двух команд была бы выбрана при текущей эпохе анализа. Полученные промежуточные результаты могут сообщаться в виде тактильного стимула на ту руку пользователя, которая соответствует данной команде. Т.о. в ходе обработки зарегистрированных временных последовательностей с использованием тактильного канала коммуникации оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки и передачи команды на внешнее устройство сообщаются в доступной для него форме предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса.

Пример 3. BOLD фМРТ интерфейс.

Как и в примере 2, пользователю необходимо совершать мысленные действия одной из рук, соответствующей одной из двух команд. Область мозга, в которой зарегистрирован BOLD ответ, позволяет идентифицировать руку, которой пользователь выполняет мысленные движения. Регистрация активности головного мозга осущетвляется магнитно-резонансным методом на основе использования неинвазивных датчиков, с последующей обработкой полученных данных компьютером, на основе нейрокомпьютерного интерфейса. При этом по мере накопления сигнала, согласно заявке, пользователю может демонстрироваться, например, звуковая информация в виде звуков двух тонов, каждый из которых соответствует предварительному решению о выборе той или иной команды. Т.о. в ходе обработки зарегистрированных временных последовательностей с использованием звукового канала коммуникации оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки и передачи команды на внешнее устройство сообщаются в доступной для него форме предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса.

BOLD реакция может быть замечена и с использованием транскраниальной оксиметрии. При этом, имея данные о текущем (промежуточном) решении программно-аппаратной части интерфейса, пользователь может тем, или иным путем (например, большей концентрацией внимания) попытаться изменить решение программно-аппаратной части интерфейса, если оно не соответствует генерируемой пользователем команде.

Источники информации

1. Wolpaw J.R., D.J. McFarland /Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans/ Proc. Natl. Acad. Sci. USA. - 2004.

2. Jonathan R. Wolpaw, Niels Birbaumer, Dennis J. McFarland, Gert Pfurtscheller, Theresa M. / Brain-computer interfaces for communication and control // Vaughan Clinical Neurophysiology 113, 2002, 767-791.

3. Luis Fernando Nicolas-Alonso Jaime Gomez-Gil /Brain Computer Interfaces/ 2012, 1211-1279.

4. F Lotte, M Congedo, A L'ecuyer, F Lamarche В Arnaldi J. Neural /А review of classification algorithms for EEG-based brain-computer interfaces/ 2007.

Способ оптимизации работы нейрокомпьютерного интерфейса, включающий регистрацию активности головного мозга, как по отдельности, так и совместно в любой комбинации любым из следующих методов на основе использования инвазивных или неинвазивных датчиков: электроэнцефалографическим, магнитно-энцефалографическим, магнитно-резонансным томографическим, включая функциональный магнитно-резонансный томографический, транскраниальным оксиметрическим с последующей обработкой полученных данных компьютером на основе нейрокомпьютерного интерфейса, которая заключается в выделении из зарегистрированных временных последовательностей паттернов, интерпретируемых как команды, и передаче означенных команд на внешние по отношению к устройству регистрации и обработки сигнала с мозга устройства, где под внешними устройствами понимаются самоходные шасси, летающие платформы или компьютеры, отличающийся тем, что в ходе обработки зарегистрированных временных последовательностей оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки с последующей передачей команды на внешнее устройство сообщаются в доступной для него форме с использованием как по отдельности, так и в любых комбинациях зрительного, звукового, тактильного канала коммуникации предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса.

Изобретение относится к способам обучения детей в игровой форме. Оно предназначено для повышения эффективности обучения и оценки усвоения информационного материала детьми младшего возраста.

Способ коррекции речевых и миофункциональных нарушений у детей и взрослых и набор зондов для его осуществления // 2652951

Изобретение относится к логопедии и может быть использовано для коррекции нарушения деятельности артикуляционного аппарата. Техническим результатом является повышение индивидуальности в подходе при осуществлении способа коррекции.

Способ коррекции содержания и количества информации учебного материала // 2649289

Изобретение относится к средствам обучения. Технический результат заключается в расширении арсенала технических средств коррекции содержания и количества информации учебного материала.

Система и способ перцептивно-когнитивно-моторного обучения // 2646742

Изобретение относится к перцептивно-когнитивно-моторной системе обучения. Система включает в себя устройство для оценки или совершенствования перцептивно-когнитивных способностей субъекта в течение последовательности тренинга.

Устройство для моделирования взрывоопасной ситуации // 2646188

Изобретение относится к системам безопасности, предотвращающим развитие чрезвычайной ситуации. Технически достижимый результат - повышение эффективности защиты технологического оборудования и людских ресурсов от аварийных ситуаций путем возможности прогнозирования развития чрезвычайной ситуации при аварии на взрывоопасном объекте.

Устройство и способ для автоматической оценки хода тренировочного упражнения // 2645553

Варианты осуществления изобретения относятся к способу для автоматической оценки хода тренировочного упражнения, содержащему обеспечение (10) множества данных о местоположении по меньшей мере для одного перемещающегося объекта (120, 120а, 120b), участвующего в тренировочном упражнении, и обеспечение (20) по меньшей мере одной заранее определенной цели упражнения.

Способ создания пособия для работы по восстановлению пространственного восприятия у больных неврологической клиники // 2636298

Изобретение относится к области медицины, в частности к разделу неврологии и клинической психологии, и может найти применение в неврологической и нейрореабилитационной клинике при восстановительном обучении больных с нарушениями пространственного восприятия.

Способ организации и ведения мониторинга качества учебной работы преподавателей // 2636019

Заявленное изобретение относится к области образовательных систем с аудиовизуальными и компьютерными технологиями и может быть использовано для ведения мониторинга учебной деятельности преподавателей с целью улучшения качества преподавания.

Интерактивная автоматизированная система обучения // 2630441

Изобретение относится к автоматизированным средствам обучения. Интерактивная автоматизированная система обучения содержит по крайней мере один программно-аппаратный комплекс, поддерживающий в режиме диалога автоматизированные циклы обучения и контроля знаний обучающихся, который выполнен в виде управляющего модуля вычислительной системы, снабженного программным обеспечением системы и имеющего информационные входы и выходы, модуль индивидуального и/или группового обучения, при этом модуль индивидуального и/или группового обучения содержит не менее одного модуля объектов, который включает в себя не менее одного источника питания и не менее одного электронного прибора, один из входов которого соединен с соответствующим выходом источника питания, при этом каждый электронный прибор имеет разъемы для возможности подключения их между собой, а второй и последующие электронные приборы имеют возможность подключения к соответствующим выходам соответствующих источников питания, причем каждый электронный прибор и источник питания имеют органы управления с анимационно-графическим материалом, программными кодами и интерактивными зонами, соединенные двунаправленными линиями связи с информационными входами и выходами управляющего модуля вычислительной системы.

Способ оценки и анализа техники пилотирования по данным бортовых устройств регистрации параметрической полетной информации // 2628031

Изобретение относится к анализу техники пилотирования по данным бортовых устройств регистрации параметрической полетной информации. Для анализа техники пилотирования осуществляют формализацию курсов боевой подготовки определенным образом, разрабатывают и вводят в базу данных методические схемы упражнений, разрабатывают полетные задания на основе формализованного курса и методических схем, разрабатывают модели идентификации для различных элементов полета, считывают зарегистрированную информацию с бортового устройства регистрации, производят идентификацию элементов полета, сравнивают результаты идентификации с данными полетного задания, оценивают полноту и последовательность его выполнения, оценивают отдельные элементы полета и полет в целом, анализируют технику пилотирования с выявлением нарушений методики выполнения элементов полета, записывают результаты в базу данных статистики, получают обобщенные данные о летной подготовке экипажей авиационной части.

Способ ранжирования спортсменов по разрешающей способности зрительных событий во времени // 2657386

Изобретение относится к спортивной медицине и предназначено для определения рейтинга спортсменов. На испытуемом закрепляют носимое устройство (шлем, очки или линзы), формирующее дополненную реальность, которое входит в состав аппаратно-программного комплекса.

Способ отбора лиц по разрешающей способности зрительных событий во времени // 2657198

Изобретение относится к медицине и медицинской технике и предназначено для отбора лиц для деятельности, требующей хорошей разрешающей способности зрительных событий во времени, ограниченной инерционностью зрения, и может найти применение в авиационно-космической, транспортной и спортивной практике.

Способ прогнозирования развития хронического течения депрессивного расстройства // 2657193

Изобретение относится к медицине, а именно к психиатрии. Осуществляют прогноз развития хронического течения депрессивного расстройства.

Реализуемые на компьютере способ и система для тестирования или тренировки когнитивных функций пользователя // 2656557

Группа изобретений относится к реализуемым на компьютере способу и системе для тестирования и/или тренировки функций или навыков пользователя в области визуальной, когнитивной и/или зрительной координации движений рук.

Способ определения психофизиологической готовности группы операторов к профессиональной деятельности // 2656545

Изобретение относится к области медицины, а именно к способам психофизиологических исследований для определения психофизиологической готовности группы операторов к профессиональной деятельности.

Способ функциональной психофизиологической коррекции состояния человека // 2655883

Изобретение относится к медицине, а именно к профилактической медицине, реабилитации, спортивной медицине и физиологии, и может быть использовано при расстройствах функционального состояния, например, кардиоваскулярной системы.

Способ оценки сердечно-сосудистого риска у пациентов с хобл на фоне курения // 2654290

Изобретение относится к медицине, внутренним болезням, диагностике и предназначено для оценки сердечно-сосудистого риска у пациентов с ХОБЛ на фоне курения. Определяют факторы риска кардиоваскулярных заболеваний: половую принадлежность, степень тяжести ХОБЛ, интенсивность и длительность курения, степень табачной зависимости, повышенный уровень липопротеидов низкой плотности и наличие абдоминального ожирения.

Способ оценки склонности человека к импульсивному поведению // 2652552

Изобретение относится к психологии, в частности к психодиагностике. Определяют порог тепловой чувствительности и показатель импульсивности путем проведения тестирования по опроснику В.А.

Способ прогнозирования риска развития социальной напряженности у населения локальных территорий // 2651696

Изобретение относится к психологии, в частности к социальной психологии. У респондентов мужского и женского полов 20-30 летнего возраста, представителей коренного населения исследуемой территории определяют порог тепловой чувствительности и проводят тестирование на выявление выраженности фрустрации, раздражительности, обиды по опроснику.

Способ определения риска рака молочной железы по лазареву а.ф. // 2651131

Изобретение относится к медицине, а именно к онкологии и может быть использовано в других ее практических направлениях (терапии, гинекологии и прочие), эпидемиологии, профилактике заболеваний, в области демографических исследований.

Способ получения немагнитного дактилоскопического порошка на основе ультрадисперсного наноматериала для выявления латентных следов рук // 2657425

Изобретение относится к областям судебной экспертизы и наноструктур, а именно, к выявлению невидимых либо слабовидимых следов пальцев рук, оставленных на различных следовоспринимающих поверхностях на основе ультрадисперсного наноматериала, при проведении идентификации личности человека.