Система и способ определения ресурсного состояния на основе биометрического сигнала ээг
Владельцы патента RU 2736804:
Общество с ограниченной ответственностью «Лаборатория знаний» (RU)
Группа изобретений относится к медицине, а именно к системе и способу определения ресурсного состояния на основе сигнала ЭЭГ. Система включает блок приема сигнала (2), блок первичной обработки сигнала (3), блоки фильтрации первично обработанных сигналов (4, 5, 6), блок определения ресурсного состояния (7), блок вывода данных (11). В вариантах технического решения возможно наличие блока персонализации ресурсного состояния (12), блока фиксации отклонения от нормального состояния пользователя (13). При исполнении способа получают сигнал ЭЭГ от нейроинтерфейса пользователя (1) посредством блока приема сигнала. С блоком приема сигнала соединен блок первичной обработки сигнала. С помощью блока первичной обработки сигнала производят первичную обработку путем спектрального разложения полученного сигнала на ритмы головного мозга. С блоком первичной обработки сигнала соединены блоки фильтрации первично обработанных сигналов. С помощью блоков фильтрации проверяют сигнал на наличие помех и выполняют агрегацию первично преобразованных сигналов в группы. При этом первая группа содержит левополушарные и правополушарные альфа-ритмы. Вторая группа содержит левополушарные тета-ритмы, правополушарные альфа- и тета-ритмы. Третья группа содержит левополушарные бета-ритмы. Определяют ресурсное состояние посредством блока определения ресурсного состояния. Блок определения ресурсного состояния соединен с блоками фильтрации и сконфигурирован для определения коррелята состояния стресса на основе выделенных левополушарных и правополушарных альфа-ритмов, определения коррелята состояния увлеченности или монотонии на основе выделенных левополушарных тета-ритмов, правополушарных альфа- и тета-ритмов, определения коррелята состояния концентрации на основе выделенных левополушарных бета-ритмов, осуществления нормирования значения каждого параметра, определения промежуточного значения ресурсного состояния, нормирования промежуточного значения ресурсного состояния, определения ресурсного состояния. С блоком определения ресурсного состояния соединен блок вывода данных. С помощью блока вывода данных выводят данные путем предоставления пользователю полученных результатов. При этом модуль определения состояния стресса выполнен с возможностью определения коррелята состояния стресса путем определения фронтальной асимметрии, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора стресса и глобального среднего индикатора стресса. Модуль определения состояния увлеченности или монотонии выполнен с возможностью определения коррелята состояния увлеченности или монотонии путем суммирования первично преобразованных сигналов, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора увлеченности или монотонии и глобального среднего индикатора увлеченности или монотонии. Модуль определения концентрации выполнен с возможностью определения коррелята состояния концентрации путем оценки фронтальной бета-активности, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора концентрации и глобального среднего индикатора концентрации. Достигается повышение достоверности определения текущего ресурсного состояния за счет повышения точности обработки полученных данных и расширенной интерпретации данных о мозговой активности пользователя в режиме реального времени. 2 н. и 6 з.п. ф-лы, 13 ил.
Настоящая группа изобретений относится к области психофизиологии, в частности, к пользовательской диагностике, и может быть использована для регистрации и анализа электрических сигналов мозга человека для определения ресурсного состояния.
Ресурсное состояние пользователя определяется на основе параметров состояний стресса, увлеченности или монотонии и концентрации и представляет собой интегральный показатель активации нервных центров, сопровождающих текущую деятельность человека.
Изменения в продуктивности деятельности у людей могут быть связаны не только с когнитивными характеристиками или общим изменением функционального состояния, но и с чрезмерным повышением уровня активации (в соответствии с законом Йеркса-Додсона об оптимальном уровне активации) в условиях кратковременного стресса, а также со снижением мотивационной составляющей деятельности в случае продолжительного стресса. Традиционно объективный уровень стресса измеряется с помощью регистрации показателей вегетативной нервной системы и анализом баланса вклада симпатической и парасимпатической активации. Существует также возможность измерить уровень стресса в его взаимосвязи с эмоциональным состоянием, измеренным на основе активности электроэнцефалограммы (ЭЭГ).
Моделирование состояний увлеченности или монотонии у пользователя основывается на определении характера его деятельности. В данном случае под увлеченностью понимается состояние, соответствующее «творческой деятельности» - интересной активности, позволяющей работнику поддерживать работоспособное состояние. Под монотонией понимается состояние, соответствующее «рутинной деятельности» - активности, связанной со стереотипными, постоянно повторяющимися умственными операциями, ведущими к снижению работоспособности.
Состояние концентрации у пользователя предполагает концентрацию внимания (один из показателей устойчивого внимания). Внимание может быть описано с позиций различных теоретических моделей. Одной из них является общая модель Knudsen (2007), которая предполагает четыре ключевых (ядерных) процесса внимания, к которым относятся: хранилище рабочей памяти; конкурентный отбор, который определяет, какая информация получает доступ к рабочей памяти; нисходящий контроль, который регулирует интенсивность сигнала в каналах, и, таким образом, дает преимущество определенным типам информации в доступе к рабочей памяти; восходящие фильтры, которые автоматически повышают реакцию на нечастые стимулы или стимулы, важные для осуществления инстинктов или выученного биологически значимого поведения (экзогенное внимание). Другая широко известная модель внимания разработана М.Познером: внимание состоит из нескольких разноуровневых систем – возбуждения-бдительности, ориентировки (заднеассоциативной системы), управляющего контроля (переднеассоциаивной системы внимания) (Posner, 2004). Если системы возбуждения и ориентировки связаны с автоматическими процессами, то управляющий контроль – с произвольными. Заднеассоциативная система внимания охватывает теменную долю коры головного мозга, таламус, зоны среднего мозга, связанные с движением глаз, и отражает процессы зрительно-пространственного внимания. Управляющий контроль составляет одну из систем внимания, ответственную за селекцию информации, координацию и исполнение актуальных процессов и подавление неактуальных. По мнению М.Познера, эта система реализуется во время активации рабочей памяти, преодоления конфликтов. Таким образом, данная система может рассматриваться как необходимый аппарат для поддержания концентрации внимания. Функционирование управляющего контроля предполагает работу передней поясной извилины, медиальной и вентролатеральной префронтальной коры, базальных ганглиев.
Известен способ оценки эмоционального состояния человека [патент на изобретение RU 2291720, опубл. 20.01.2007], заключающийся в предъявлении пациенту четырех групп словесных характеристик, отражающих различные эмоциональные состояния и степень их выраженности. Затем анализируют выбранные человеком словесные характеристики, отражающие его состояние с использованием шкалы баллов. Способ позволяет дать количественную оценку степени эмоциональной дезадаптации и позволяет испытуемому самостоятельно осознать характер переживаемых эмоций.
Недостатком известного способа является низкая степень автоматизации сбора и обработки данных и достоверности полученной информации из-за субъективного метода сбора данных.
Известны система и способ обучения [заявка на изобретение US 20170330475, опубл. 16.11.2017], использующая данные электроэнцефалограммы (ЭЭГ) для анализа результатов выполнения тестов и определение того, нужно ли сделать перерыв в учебной деятельности или наоборот усложнить выполняемое задание. Система обучения включает в себя блок вывода, который выводит первую проблему и сообщение на дисплее, предлагающее пользователю сделать перерыв, блок сбора, который получает ответ на первую проблему от пользователя, блок измерения ЭЭГ, который измеряет ЭЭГ пользователя, и блок управления. Блок управления определяет, присутствует ли первая мотивация, на основе потенциала, связанного с первым событием, включенного в ЭЭГ, и, начиная с момента, когда выводится первая проблема, определяет, присутствует ли вторая мотивация пользователя на основе потенциала, связанного со вторым событием, включенным в ЭЭГ, и начинающийся с момента, в который был получен ответ, и инструктирует блок вывода выводить сообщение на дисплей, предлагающее пользователю сделать перерыв, если первая мотивация отсутствует и второй мотивации нет.
Недостатками известной системы является ограниченная сфера применения (только образование), отсутствие информации о текущем психоэмоциональном состоянии пользователя, ограниченный набор выдаваемых рекомендаций (сделать перерыв).
Известны система и способ для модуляции контента на основе данных об электрических сигналах мозга человека [заявка на изобретение US 2018278984, опубл. 27.09.2018], включая изменение представления цифрового контента по меньшей мере на одном вычислительном устройстве. Контент также может модулироваться на основе набора правил, поддерживаемых или доступных компьютерной системе, на основе пользовательского ввода, в том числе посредством приема команды управления представлением, которая может быть обработана компьютерной системой для модификации представления контента. Содержимое также может быть передано со связанной информацией о состоянии мозга. Компьютерная система может обрабатывать данные биосигнала, используя конвейер обработки биологического сигнала, чтобы определить, по меньшей мере, одно состояние мозга пользователя. Можно определить, что данные о состоянии мозга произошли в ответ на представление пользователю определенного цифрового контента. Следовательно, компьютерная система может связывать определенное состояние мозга пользователя с представленным цифровым контентом. Вместо или в дополнение к выполнению этой ассоциации компьютерная система может модифицировать представление цифрового контента, по меньшей мере, на одном вычислительном устройстве, основываясь, по меньшей мере, частично на принятых данных биосигнала и, по меньшей мере, одном правиле модификации представления, связанном с представленным цифровым контентом. Применение любых таких правил может быть использовано для обработки компонентом модулятора, взаимодействующим с источником контента.
Недостатками известных технических решений является ограниченная сфера применения (только медиа сфера), связывание состояние мозга только с представляемым цифровым контентом, узкая интерпретация данных о мозговой активности пользователя.
Настоящая группа изобретений направлена на достижение технического результата, заключающегося в повышении достоверности определения текущего ресурсного состояния за счет повышения точности обработки полученных данных и расширенной интерпретации данных о мозговой активности пользователя в режиме реального времени.
Заявленный технический результат в части системы, достигается за счет того, что система определения ресурсного состояния на основе сигнала ЭЭГ включает блок приема сигнала, выполненный с возможностью получения сигнала ЭЭГ от нейроинтерфейса пользователя, с которым соединен блок первичной обработки сигнала, выполненный с возможностью спектрального разложения полученного сигнала на ритмы головного мозга, с которым соединены блоки фильтрации первично обработанных сигналов, выполненные с возможностью проверки сигнала на наличие помех и агрегации первично преобразованных сигналов с выделением в первом блоке левополушарных и правополушарных альфа-ритмов, во втором блоке левополушарных тета-ритмов, правополушарных альфа- и тета-ритмов, во третьем блоке левополушарных бета-ритмов, с которыми соединен блок определения ресурсного состояния, включающий модуль определения состояния стресса на основе выделенных левополушарных и правополушарных альфа-ритмов, модуль определения состояния увлеченности или монотонии на основе выделенных левополушарных тета-ритмов, правополушарных альфа- и тета-ритмов, модуль определения концентрации на основе выделенных левополушарных бета-ритмов, при этом модуль определения состояния стресса выполнен с возможностью определения коррелята состояния стресса путем определения фронтальной асимметрии, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора стресса и глобального среднего индикатора стресса, модуль определения состояния увлеченности или монотонии выполнен с возможностью определения коррелята состояния увлеченности или монотонии путем суммирования первично преобразованных сигналов, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора увлеченности или монотонии и глобального среднего индикатора увлеченности или монотонии, модуль определения концентрации выполнен с возможностью определения коррелята состояния концентрации путем оценки фронтальной бета активности, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора концентрации и глобального среднего индикатора концентрации, а блок определения ресурсного состояния также выполнен с возможностью нормирования значения каждого параметра, определения промежуточного значения ресурсного состояния, нормирования промежуточного значения ресурсного состояния, определения ресурсного состояния, с блоком определения ресурсного состояния соединен блок вывода данных, выполненный с возможностью предоставления пользователю полученных результатов.
Имеются варианты развития основного технического решения:
- блок первичной обработки сигнала выполнен с возможностью реализации предварительного сглаживания полученного сигнала;
- введен блок персонализации ресурсного состояния, соединенный с блоком определения ресурсного состояния и с блоком вывода данных и выполненный с возможностью определения границ нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя;
- введен блок фиксации отклонения от нормального состояния пользователя, соединенный с блоком персонализации состояний и блоком вывода данных и выполненный с возможностью определения нахождения пользователя в заданном состоянии.
Заявленный технический результат в части способа достигается за счет того, что способ определения ресурсного состояния на основе сигнала ЭЭГ включает получение сигнала ЭЭГ от нейроинтерфейса пользователя посредством блока приема сигнала, его первичную обработку путем спектрального разложения полученного сигнала на ритмы головного мозга с помощью блока первичной обработки сигнала, проверку сигнала на наличие помех и агрегацию первично преобразованных сигналов в группы с помощью блоков фильтрации первично обработанных сигналов, первая из которых содержит левополушарные и правополушарные альфа-ритмы, вторая группа содержит левополушарные тета-ритмы, правополушарные альфа- и тета-ритмы, третья группа содержит левополушарные бета-ритмы, определение ресурсного состояния посредством блока определения ресурсного состояния, сконфигурированного для определения коррелята состояния стресса на основе выделенных левополушарных и правополушарных альфа-ритмов, определения коррелята состояния увлеченности или монотонии на основе выделенных левополушарных тета-ритмов, правополушарных альфа- и тета-ритмов, определения коррелята состояния концентрации на основе выделенных левополушарных бета-ритмов, осуществления нормирования значения каждого параметра, определения промежуточного значения ресурсного состояния, нормирования промежуточного значения ресурсного состояния, определения ресурсного состояния, вывод данных путем предоставления пользователю полученных результатов с помощью блока вывода данных.
Имеются варианты развития основного технического решения:
- на этапе первичной обработки сигнала ЭЭГ выполняют предварительное сглаживание полученного сигнала;
- после определения ресурсного состояния и перед выводом полученных данных определяют границы нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя с помощью блока персонализации ресурсного состояния;
- после определения границ нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя и перед выводом полученных данных определяют нахождение пользователя в нормальном ресурсном состоянии с помощью блока фиксации отклонения от нормального состояния пользователя.
Таким образом, за счет заявленных совокупностей признаков системы и способа повышается достоверность определения текущего ресурсного состояния на основе определения состояний стресса, увлеченности или монотонии и концентрации за счет повышения точности обработки полученных данных и расширенной интерпретации данных о мозговой активности пользователя в режиме реального времени. Это стало возможным благодаря агрегации трех групп ритмов и последующему определению ресурсного состояния путем определения коррелятов состояний стресса, увлеченности или монотонии и концентрации. Одновременно с этим расширена сфера применения заявленных технических решений (образование, собеседования, оценка контента, повышение производительности труда) и объема предоставляемых рекомендаций. Оценка ресурсного состояния осуществляется без привязки к контенту, в любое время, при различных видах деятельности.
Сущность предлагаемой группы изобретений раскрыта более подробно с помощью фигур и дальнейшего описания.
На Фиг. 1 приведена блок схема системы.
На Фиг. 2 приведена блок схема блока определения ресурсного состояния.
На Фиг. 3 приведена блок схема модуля определения состояния стресса блока определения ресурсного состояния.
На Фиг. 4 приведена блок схема модуля определения состояния увлеченности и монотонии блока определения ресурсного состояния.
На Фиг. 5 приведена блок схема модуля определения состояния концентрации блока определения ресурсного состояния.
На Фиг. 6 приведены исходные данные для определения ресурсного состояния.
На Фиг. 7 приведена сводка по рассчитываемым индексам в блоке 7 определения ресурсного состояния.
На Фиг. 8 приведена блок-схема модели определения ресурсного состояния пользователя.
На Фиг. 9-13 представлены результаты проведенного исследования.
Система определения ресурсного состояния на основе сигнала ЭЭГ (Фиг. 1 и 2) пользователя 1 включает последовательно соединенные друг с другом блок 2 приема сигнала, блок 3 первичной обработки сигнала, блоки 4, 5, 6 фильтрации первично обработанных сигналов, блок 7 определения ресурсного состояния, содержащий модуль 8 определения состояния стресса, модуль 9 определения состояния увлеченности и монотонии, модуль 10 определения состояния концентрации, блок 11 вывода данных.
Дополнительно система может содержать блок 12 персонализации ресурсного состояния, соединенный с блоком 7 определения ресурсного состояния и с блоком 11 вывода данных, а также блок 13 фиксации отклонения от нормального состояния пользователя 1, соединенный с блоком 12 персонализации ресурсного состояния и блоком 11 вывода данных.
Блок 2 приема сигнала выполнен с возможностью получения сигнала ЭЭГ от нейроинтерфейса пользователя 1, снятого с помощью нейрогарнитуры. Нейрогарнитура обеспечивает регистрацию ЭЭГ с 7-ми отведений и двигательной активности головы, а также трансляцию этих данных по беспроводному каналу связи в блок 2 приема посредством адаптера USB-BLE, подключаемого к разъему USB персонального компьютера (ПК).
Блок 3 первичной обработки сигнала выполнен с возможностью спектрального разложения полученного сигнала на ритмы головного мозга и представляет собой преобразователь исходной ЭЭГ-волны в гармонические колебания по алгоритму Фурье с определением абсолютных и относительных спектральных мощностей каждого из заданного диапазонов частот. Также блок 3 может быть выполнен с возможностью реализации предварительного сглаживания полученного сигнала путем проверки на превышение заданной амплитуды сигнала с последующим удалением участка записи, в котором произошло превышение амплитуды.
Блок 4 фильтрации первично обработанных сигналов выполнен с возможностью проверки сигнала на наличие помех путем определения амплитудного всплеска на основе статистического анализа и агрегации первично преобразованных сигналов с выделением левополушарных и правополушарных альфа-ритмов, что соответствует определению состояния стресса.
Для применения в разрабатываемой модели мониторинга уровня стресса и оптимизации стрессогенных факторов в процессе интеллектуальной деятельности были взяты методы анализа электроэнцефалограммы (ЭЭГ).
При анализе электроэнцефалограммы используются сигналы с отведений от точек F3, F4, F6, F7 по системе 10-20. Величина сигналов измеряется в милливольтах (мВ).
Блок 5 фильтрации первично обработанных сигналов выполнен с возможностью проверки сигнала на наличие помех путем определения амплитудного всплеска на основе статистического анализа и агрегации первично преобразованных сигналов с выделением левополушарных тета-ритмов, правополушарных альфа- и тета-ритмов, что соответствует определению состояния увлеченности или монотонии.
Для применения в разрабатываемой модели определения характера интеллектуальной деятельности и определения состояний увлеченности и монотонии были взяты методы анализа электроэнцефалограммы (ЭЭГ).
При анализе электроэнцефалограммы используются сигналы с отведений от точек P4, F3 по системе 10-20. Величина сигналов измеряется в милливольтах (мВ).
Блок 6 фильтрации первично обработанных сигналов выполнен с возможностью проверки сигнала на наличие помех путем определения амплитудного всплеска на основе статистического анализа и агрегации первично преобразованных сигналов с выделением левополушарных бета-ритмов, что соответствует определению состояния концентрации.
Нейрофизиологические характеристики концентрации могут отражаться в различных показателях ЭЭГ. К спектральным характеристикам, отражающим концентрацию внимания на определенном объекте, могут быть отнесены высокочастотные показатели, например, гамма-волны в диапазоне свыше 40 Гц. Они генерируются в теменно-фронтальных областях мозга, обнаруживающих синхронизацию работы нейронов в данных регионах (Kaiser, Lutzenberger, 2003; Siegel et al., 2008; Gregoriou et al., 2009; Baldauf, Desimone, 2014). Вовлечение теменных областей обусловлено активацией дорзального потока: системы “Где?”, отвечающей за переработку информации о пространственном положении объекте, и, как следствие, участвующей в активном отслеживании объекта (концентрации внимания на нем) (Mishkin, Ungerleider, 1992). Вовлечение лобных областей обусловлено активацией контролирующих процессов, участвующих в организации работы теменной коры. Другим высокочастотным показателем концентрации внимания может являться мощность в бета-диапазоне (12,5-30 Гц), появляющаяся в лобных областях мозга и распространяющая в процессе активации внимания на другие области (Jensen et al., 2005). Показано, что тренинги бета-активности повышают эффективность выполнения задач, требующих концентрации внимания, у лиц с синдромом дефицита внимания и гиперактивности (СДВГ) (Linden et al, 1996; Egner, Gruzelier, 2004; Kropotov et al., 2005). Сообщается, что дезактивация бета-ритма может являться механизмом нарушения внимания при СДВГ (Clarke et al., 2001). Одним из возможных механизмов, обуславливающих вовлеченность бета-активации в процессы внимания, может быть генетический: например, полиморфизмы гена DAT (гена транспортера дофамина) (Loo et al., 2003). Это согласуется с так называемой “дофаминовой гипотезой”, предполагающей наличие необходимого уровня (оптимума) дофамина, который требуется для эффективного осуществления не только внимания, но и других когнитивных функций посредством нейронов префронтальной коры (Schacht, 2016). Таким образом, активность в бета-диапазоне может являться биомаркером состояния концентрации (устойчивости) внимания, связанного с поддержкой необходимого уровня дофамина.
Таким образом, исходными данными для определения состояния концентрации выбран показатель высокочастотной ЭЭГ активности в бета-диапазоне с электрода в точке AF7 по системе MCN.
На Фиг. 6 приведены исходные данные для определения ресурсного состояния.
Блок 7 представляет собой программируемый модуль, сконфигурированный для осуществления последовательности вычислительных действий.
Блок 7 определения ресурсного состояния включает модуль 8 определения состояния стресса на основе выделенных левополушарных и правополушарных альфа-ритмов, модуль 9 определения состояния увлеченности или монотонии на основе выделенных левополушарных тета-ритмов, правополушарных альфа- и тета-ритмов, модуль 10 определения концентрации на основе выделенных левополушарных бета-ритмов.
Модуль 8 определения состояния стресса выполнен с возможностью определения коррелята состояния стресса путем определения фронтальной асимметрии, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора стресса и глобального среднего индикатора стресса.
На основе измеренных данных производится расчет ряда индексов, всесторонне характеризующих состояние стресса у пользователей.
Индекс асимметрии рассчитывается на основе показателей потока сигналов ЭЭГ с отведений в точках F3, F4, F6, F7 (Df3, Df4, Df6, Df7 соответственно). Индекс рассчитывается как разность логарифмов сумм мощностей в отведениях F3, F7 и сумм мощностей в отведениях F4, F8:
Iasymmetry = log(sqrt(a)) –log (sqrt (b))
Модуль 9 определения состояния увлеченности или монотонии выполнен с возможностью определения коррелята состояния увлеченности или монотонии путем суммирования первично преобразованных сигналов, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора увлеченности или монотонии и глобального среднего индикатора увлеченности или монотонии.
На основе измеренных данных производится расчет ряда индексов, всесторонне характеризующих состояние увлеченности и монотонии у пользователей.
Индекс Alpha-index - рассчитывается на основании потока сигнала с электрода в точке P4. Для обработки сигнала используется быстрое преобразование Фурье (FFT)
Iai=FFT(Dp4),
где Dp4 - сигнал с электрода в точке P4,
затем производится расчет вклада частот 8-13 Hz в общий спектр.
Индекс Thetа-index left - рассчитывается на основании потока сигнала с электрода в точке F3. Для обработки сигнала используется быстрое преобразование Фурье (FFT)
Itil =FFT(Df3),
где Df3 - сигнал с электрода в точке F3,
затем производится расчет вклада частот 4 – 7 Hz в общий спектр.
Индекс Thetа-index right - рассчитывается на основании потока сигнала с электрода в точке P4. Для обработки сигнала используется быстрое преобразование Фурье (FFT)
Itir =FFT(Dp4),
где Dp4 - сигнал с электрода в точке P4,
затем производится расчет вклада частот 4 – 7 Hz в общий спектр.
Индекс Sum – суммирование вкладов част:
Isum = Iai+Itir+Itil
Индекс z-оценки представляет собой персонализацию значений для конкретного пользователя на основе его зарегистрированных статистических показателей мат.ожидания и стандартного отклонения параметра за период наблюдений
Iz = Isum-mean(Isum)/std(Isum)
Модуль 10 определения концентрации выполнен с возможностью определения коррелята состояния концентрации путем оценки фронтальной бета активности, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора концентрации и глобального среднего индикатора концентрации.
Индекс Beta мощность определяется следующим путем.
Индекс рассчитывается на основании потока сигнала с электрода в точке AF7 (Daf7). Для обработки сигнала используется быстрое преобразование Фурье (FFT):
IBaf7 =FFT(Daf7),
затем рассчитывается мощность ритмов на полосе частот 14-30 Hz.
На Фиг. 7 приведена сводка по рассчитываемым индексам в блоке 7 определения ресурсного состояния.
Блок 7 определения ресурсного состояния также выполнен с возможностью нормирования значения каждого параметра, определения промежуточного значения ресурсного состояния, нормирования промежуточного значения ресурсного состояния, определения ресурсного состояния.
Индекс стандартизованной концентрации использует персонализованные данные о вариативности индекса концентрации у пользователя и текущее значение индекса:
Iconcz= (I Baf7-mean I Baf7)/std I Baf7
Индекс стандартизованного стресса использует персонализованные данные о вариативности индекса стресса у пользователя и текущее значение индекса:
Istressz= (I Baf7-mean I Baf7)/std I Baf7
Индекс стандартизованной увлеченности использует персонализованные данные о вариативности индекса увлеченности у пользователя и текущее значение индекса:
Ienthz= (I sum-mean I sum)/std I sum
Индекс ресурсного состояния использует на входе данные о персонализованных значениях индексов концентрации, увлеченности и стресса и рассчитывает их баланс:
IRSI= Ienthz+ Iconcz – 2*Istressz
На Фиг. 8 приведена блок-схема модели определения ресурсного состояния пользователя.
Блок 11 вывода данных представляет собой любое электронное устройство, способное выдавать информацию на какой-то из каналов восприятия пользователя, выполненный с возможностью предоставления пользователю 1 полученных результатов в текстовой, визуальной, звуковой, тактильной форме в зависимости от доступной периферии и задачи. К нему могут быть подключены монитор, дисплей, звуковые колонки, вибратор и др.
Блок 12 персонализации ресурсного состояния выполнен с возможностью определения границ нормального состояния для данного пользователя 1 путем статистического анализа исторических значений по состоянию пользователя 1, и представляет собой программируемый модуль вычислительных операций, в котором происходит расчет верхней границы нормального ресурсного состояния пользователя на основе исторических данных, вычисляется разница между текущим значением и границей состояния, а также происходит проверка нахождения среднего значения в диапазоне триггера состояний.
Блок 13 фиксации отклонения от нормального состояния пользователя выполнен с возможностью определения нахождения пользователя 1 в заданном состоянии, и представляет собой модуль, обеспечивающий проверку сильно ли отклоняются показатели текущего состояния пользователя от обычного состояния и насколько устойчиво отклонение.
Питание всех блоков обеспечивается от общего питания ПК.
Дополнительно может быть введен блок (на чертеже не показано) взаимодействия с сервером, на котором хранятся исторические данные по пользователю 1 и на который отправляются данные о состоянии для сохранения в базе данных и предъявления с помощью веб-интерфейсов.
Заявляемая система реализует следующий способ определения ресурсного состояния на основе сигнала ЭЭГ.
Пользователь 1 надевает нейроинтерфейс и включает его блютуз-адаптер для передачи сигнал ЭЭГ в заявляемую систему.
Получают сигнал ЭЭГ от нейроинтерфейса пользователя 1 посредством блока 2 приема сигнала, затем осуществляют его первичную обработку путем спектрального разложения полученного сигнала на ритмы головного мозга с помощью блока 3 первичной обработки сигнала, при необходимости выполняют предварительное сглаживание полученного сигнала.
Далее осуществляют проверку сигнала на наличие помех и агрегацию первично преобразованных сигналов в группы с помощью блоков 4, 5, 6 фильтрации первично обработанных сигналов, первая из которых содержит левополушарные и правополушарные альфа-ритмы, вторая группа содержит левополушарные тета-ритмы, правополушарные альфа- и тета-ритмы, третья группа содержит левополушарные бета-ритмы.
Последующее определение ресурсного состояния производят посредством блока 7 определения ресурсного состояния, сконфигурированного для определения коррелята состояния стресса на основе выделенных левополушарных и правополушарных альфа-ритмов, определения коррелята состояния увлеченности или монотонии на основе выделенных левополушарных тета-ритмов, правополушарных альфа- и тета-ритмов, определения коррелята состояния концентрации на основе выделенных левополушарных бета-ритмов, осуществления нормирования значения каждого параметра, определения промежуточного значения ресурсного состояния, нормирования промежуточного значения ресурсного состояния, определения ресурсного состояния.
При необходимости после определения ресурсного состояния и перед выводом полученных данных определяют границы нормального состояния для данного пользователя 1 путем статистического анализа исторических значений по состоянию пользователя 1 с помощью блока 12 персонализации ресурсного состояния. А после определения границ нормального состояния для данного пользователя 1 путем статистического анализа исторических значений по состоянию пользователя и перед выводом полученных данных определяют нахождение пользователя 1 в нормальном ресурсном состоянии с помощью блока 13 фиксации отклонения от нормального состояния пользователя 1.
Конечный вывод данных осуществляют путем предоставления пользователю 1 полученных результатов с помощью блока 11 вывода данных, также могут быть предоставлены рекомендации.
Для перехода в желаемое состояние могут быть использованы рекомендации трех типов:
1. Рекомендации для пользователей, уверенно владеющих психонетическими практиками;
2. Рекомендации, содержащие более подробную последовательность действий;
3. Рекомендации, не связанные с психотехниками и работой с эйдограммами.
Рекомендации на основе психонетических практик требуют ознакомления с базовыми психонетическими практиками, освоение которых поможет пользователю превратить свое внимание в гибкий инструмент в первую очередь для максимально эффективного перехода из нежелательных состояний в необходимое.
Для выхода из состояния перенапряжения/стресса:
1. Закройте глаза. Переведите внимание в тело. Почувствуйте, в каких местах у Вас накопилось напряжение и распространите внимание от этой части тела по всему его объему. При этом представьте себе теплый поток, который смывает Ваше напряжение.
2. Глубоко подышите в течение нескольких минут. На вдохе – представьте, как через макушку головы в Ваше тело проникает поток энергии, распространяется по позвоночнику до низа живота. Задержите дыхание на пять секунд. А на выдохе представьте, как этот поток уносит от Вас все раздражение и напряжение.
3. Проветритесь на свежем воздухе – выйдите на балкон или прогуляйтесь по улице в течение 10-15 минут.
4. Попробуйте сопровождать описанные действия успокаивающей музыкой – той, которую Вы любите, или включите ее отдельно, концентрируя внимание лишь на ней.
Для выхода из состояния монотонии:
1. Глубоко подышите в течение нескольких минут. На вдохе – представьте, как через макушку головы в Ваше тело проникает поток энергии, распространяется по позвоночнику до низа живота. Задержите дыхание на пять секунд. А на выдохе представьте, как этот поток распространяется по всему телу. Совместите дыхание с прогулкой на свежем воздухе в течение 10-15-ти минут.
2. Разогрейте руки потерев их друг о друга. Затем помассируйте уши (мочки, козелки, внутреннюю часть) в течение 3-5-ти минут. Резко сжимайте и разжимайте кулаки. Помассируйте точку в углублении основания большого и указательного пальцев.
3. Дайте Вашему телу интенсивную физическую нагрузку в виде 10-ти минутного бега или других возможных, знакомых, подходящих лично Вам физических упражнений.
4. Отвлекитесь минут на 15-20 на любимое дело, которое всегда вызывает у Вас интерес. Вы вовлечетесь в интенсивный процесс и сможете перенести эту энергию на дальнейшую работу.
Система и способ могут быть реализованы на базе персонального компьютера и могут быть использованы в любой области и при любом виде деятельности, основной задачей является выявление негативного состояния и информирование о нем пользователя для принятия своевременных мер с целью повышения производительности труда или эффективности обучения.
Пример применения способа и системы.
В детском лагере было проведено пилотное исследование возможностей нейротехнологий по оценке реакции на различные методики преподавания и курсы.
Пилотное исследование включало в себя мониторинг ресурсного состояния детей в разрезе трех состояний:
1. Стресс. Свидетельствует о негативном эмоциональном фоне.
2. Увлеченность. Свидетельствует об интересе к выполняемой задаче.
3. Концентрация. Свидетельствует о повышенном расходе нейронных ресурсов для выполнения задачи.
На основании этих критериев был вычислен Индекс ресурсного состояния (ИРС), отражающий психофизиологический баланс в процессе деятельности. ИРС позволяет провести быструю оценку того, оказывает ли активность положительное влияние на состояние детей. Чем выше ИРС, тем больший положительный эффект получает ребенок от занятия.
В оценке приняли участие 48 детей, посещающих три вида студий:
- «Керамика»
- «Ракетостроение»
- «Фортепиано»
У 7 детей собранные данные не обладают достаточной информативностью из-за особенностей возрастных изменений формы черепа, либо слишком малого времени участия в исследовании. Их данные не были включены в анализ.
На Фиг. 9-11 приведены результаты оценки усредненного состояния для студий ракетостроения, фортепиано, керамики, соответственно.
На Фиг. 12, 13 приведены результаты сравнительного анализа среднего состояния учеников за все время студии.
Ед.изм. - % времени, проведенного в каждом состоянии относительно времени замера
Выводы по исследованию:
1. Каждый из измеряемых показателей состояния находится в сильной зависимости от студии, которую посещает ребенок. Разницу между студиями нельзя объяснить различиями в возрасте детей, гендерными различиями или временем проведения занятия. Среди зафиксированных паттернов состояний нет ни одного участника, у которого встречается равномерно сниженные показатели стресса, увлеченности, концентрации. Это свидетельствует о том, что у дети активно включены в образовательный процесс. Им может не нравиться происходящее на студии (это соответствует высоким показатели стресса), но процесс обучения им не безразличен.
2. Наилучший паттерн («поток» -преобладание увлеченности и концентрации при низком стрессе) состояний наблюдается у всех участников студии «Фортепиано». Вероятнее всего такой результат возникает из-за сочетании двух основных факторов – грамотного чередования разнородной активности (самостоятельной игры на инструменте, хорового пения) и положительного эффекта, который музыка оказывает на мозг ученика. Второй фактор можно использовать для улучшения образовательной динамики остальных студий, внедряя легкую фоновую расслабляющую музыку.
3. Интересной является разница в пении и игре на инструменте: хоровое пение показывает тенденцию к снижению концентрации и повышению стресса участников. Это можно интерпретировать таким образом, что пение является менее когнитивно-сложной активностью, но при этом воспринимается как более социально ответственная деятельность.
4. Наиболее низкий ИРС наблюдается на студии «Ракетостроение». Скорее всего, это вызвано использованием на занятиях формата викторины, которая оказалась слишком сложна для большинства детей, что, в свою очередь, вызвало сильное повышение показателей стресса.
5. Формат предъявление образовательной видеозаписи оказывает положительное воздействие на концентрацию и увлеченность участников, но эффект длится недолго – спустя 3-4 минуты просмотра состояние участников нормализуется. Наилучшие состояние детей наблюдается при выполнении ручных действий – складывание ракеты-оригами. Благодаря этому можно предположить, что на более практически-ориентированных занятиях (сборка модели ракеты) состояние детей показывало бы паттерн состояния «потока».
6. Занятия на студии «Керамика» показывают паттерн состояния «потока» на большей части занятия, однако к концу занятия наблюдается спад показателей и повышение уровня стресса. Скорее всего это вызвано накоплением усталости от ручного занятия и обнаружением ошибок в сделанных изделиях. Возможно, оправдано сделать небольшое переключение (5-7 минут) во второй половине занятия на альтернативную творческую активность, не связанную с ручным трудом. Это позволит поддерживать высокий уровень концентрации детей.
Эти данные могут быть использованы при построении более эффективного учебного процесса.
1. Система определения ресурсного состояния на основе сигнала ЭЭГ включает
блок приема сигнала, выполненный с возможностью получения сигнала ЭЭГ от нейроинтерфейса пользователя, с которым соединен
блок первичной обработки сигнала, выполненный с возможностью спектрального разложения полученного сигнала на ритмы головного мозга, с которым соединены
блоки фильтрации первично обработанных сигналов, выполненные с возможностью проверки сигнала на наличие помех и агрегации первично преобразованных сигналов с выделением в первом блоке левополушарных и правополушарных альфа-ритмов, во втором блоке левополушарных тета-ритмов, правополушарных альфа- и тета-ритмов, в третьем блоке левополушарных бета-ритмов, с которыми соединен
блок определения ресурсного состояния, включающий модуль определения состояния стресса на основе выделенных левополушарных и правополушарных альфа-ритмов, модуль определения состояния увлеченности или монотонии на основе выделенных левополушарных тета-ритмов, правополушарных альфа- и тета-ритмов, модуль определения концентрации на основе выделенных левополушарных бета-ритмов,
при этом модуль определения состояния стресса выполнен с возможностью определения коррелята состояния стресса путем определения фронтальной асимметрии, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора стресса и глобального среднего индикатора стресса,
модуль определения состояния увлеченности или монотонии выполнен с возможностью определения коррелята состояния увлеченности или монотонии путем суммирования первично преобразованных сигналов, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора увлеченности или монотонии и глобального среднего индикатора увлеченности или монотонии,
модуль определения концентрации выполнен с возможностью определения коррелята состояния концентрации путем оценки фронтальной бета-активности, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора концентрации и глобального среднего индикатора концентрации,
а блок определения ресурсного состояния также выполнен с возможностью нормирования значения каждого параметра, определения промежуточного значения ресурсного состояния, нормирования промежуточного значения ресурсного состояния, определения ресурсного состояния, с блоком определения ресурсного состояния соединен
блок вывода данных, выполненный с возможностью предоставления пользователю полученных результатов.
2. Система по п. 1, отличающаяся тем, что блок первичной обработки сигнала выполнен с возможностью реализации предварительного сглаживания полученного сигнала.
3. Система по п. 1, отличающаяся тем, что введен блок персонализации ресурсного состояния, соединенный с блоком определения ресурсного состояния и с блоком вывода данных и выполненный с возможностью определения границ нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя.
4. Система по п. 3, отличающаяся тем, что введен блок фиксации отклонения от нормального состояния пользователя, соединенный с блоком персонализации состояний и блоком вывода данных и выполненный с возможностью определения нахождения пользователя в заданном состоянии.
5. Способ определения ресурсного состояния на основе сигнала ЭЭГ включает
получение сигнала ЭЭГ от нейроинтерфейса пользователя посредством блока приема сигнала,
его первичную обработку путем спектрального разложения полученного сигнала на ритмы головного мозга с помощью блока первичной обработки сигнала,
проверку сигнала на наличие помех и агрегацию первично преобразованных сигналов в группы с помощью блоков фильтрации первично обработанных сигналов, первая из которых содержит левополушарные и правополушарные альфа-ритмы, вторая группа содержит левополушарные тета-ритмы, правополушарные альфа- и тета-ритмы, третья группа содержит левополушарные бета-ритмы,
определение ресурсного состояния посредством блока определения ресурсного состояния, сконфигурированного для определения коррелята состояния стресса на основе выделенных левополушарных и правополушарных альфа-ритмов, определения коррелята состояния увлеченности или монотонии на основе выделенных левополушарных тета-ритмов, правополушарных альфа- и тета-ритмов, определения коррелята состояния концентрации на основе выделенных левополушарных бета-ритмов, осуществления нормирования значения каждого параметра, определения промежуточного значения ресурсного состояния, нормирования промежуточного значения ресурсного состояния, определения ресурсного состояния,
вывод данных путем предоставления пользователю полученных результатов с помощью блока вывода данных.
6. Способ по п. 5, отличающийся тем, что на этапе первичной обработки сигнала ЭЭГ выполняют предварительное сглаживание полученного сигнала.
7. Способ по п. 5, отличающийся тем, что после определения ресурсного состояния и перед выводом полученных данных определяют границы нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя с помощью блока персонализации ресурсного состояния.
8. Способ по п. 7, отличающийся тем, что после определения границ нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя и перед выводом полученных данных определяют нахождение пользователя в нормальном ресурсном состоянии с помощью блока фиксации отклонения от нормального состояния пользователя.
