Система для коммуникации пользователей без использования мышечных движений и речи

Изобретение относится к системе для коммуникации пользователей без использования речи и движения. Технический результат заключается в создании универсального средства для общения без использования речи и движений. Указанный результат достигается за счет системы для коммуникации пользователей без использования речи и движений, содержащей средство регистрации электроэнцефалограммы пользователя, сетевой интерфейс, сервер, предназначенный для формирования социальной сети, блок обработки данных выполнен формирующим на экране дисплея изменяющиеся световые стимулы, имеющие различные параметры изменения во времени, при этом каждому из стимулов приведено в соответствие заранее заданное действие, блок обработки данных выполнен определяющим, в режиме реального времени, стимулы, непосредственно выбранные пользователем, и выполняющим действия, соответствующие выбранным пользователем стимулам посредством отслеживания выбора объектов из множества объектов, экран устройства выполнен с возможностью отображения результатов выполнения действий по результатам предъявления стимулов нескольким пользователям на нескольких экранах, передача сведений о действиях по результатам предъявления стимулов между блоками обработки данных различных пользователей осуществляется посредством удаленного сервера. 16 з.п. ф-лы, 7 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области вычислительной техники и средствам коммуникации и предназначено как для дистанционного, так и непосредственного общения пользователей, не имеющих возможностей уверенного использования речи и движений конечностей для управления средствами коммуникации.

УРОВЕНЬ ТЕХНИКИ

Известна система (см. US20180255361, опубл. 06.09.2018), причем система содержит хранилище данных и платформу управления взаимодействием, которая связана с хранилищем данных и развлекательной платформой, причем платформа управления взаимодействием сконфигурирована для: генерации первого интерфейса, доступного первому пользователю на первом вычислительном устройстве; получения с первого вычислительного устройства первой "живой" (в прямом эфире) передачи, в которой первый пользователь вслух произносит вопрос, на который должен ответить второй пользователь; генерации второго интерфейса, доступного второму пользователю на втором вычислительном устройстве; получения со второго вычислительного устройства второй "живой" передачи, в которой пользователь вслух отвечает на вопрос первого пользователя; преобразования первой и второй "живых" передач в формат MPEG-4 и для перенаправления первой и второй "живых" передач на развлекательную платформу для вещание через широковещательную телевизионную сеть.

Известные интерфейсы для сетевого общения пользователей предполагают, что физические возможности пользователя соответствуют среднему уровню. Например, для реализации показанного выше решения требует использования речи и изображения пользователей для общения. При этом вспомогательные средства коммуникации выполнены в виде сенсорных экранов, требующих для управления уверенного использования мышц.

Также известна система интерфейса мозг-компьютер (см. US20150309572, опубл. 29.10.2015), где система интерфейса мозг-компьютер включает: подключенное к пользователю устройство для снятия электроэнцефалограммы (ЭЭГ), причем устройство для снятия ЭЭГ сконфигурировано для сбора ЭЭГ сигналов, генерируемых пользователем; дисплей, сконфигурированный для отображения изображений пользователю с использованием дисплейной панели, причем изображения соответствуют среде пользовательского интерфейса; процессор, сконфигурированный для разделения изображений на несколько категорий, для предъявления пользователю, по крайней мере, одного изображения из каждой категории из множества категорий на дисплейной панели и для осуществления мигания изображений, и процессор сконфигурирован для определения выбранного пользователем изображения на основе собранных ЭЭГ-сигналов после предъявления блоком мигания, по крайней мере, одного изображения пользователю, и для выполнения действия на основе выбранного пользователем изображения.

Недостатком такого решения является невозможность создания системы взаимодействия пользователей друг с другом, в том числе создания социальных сетей для общения пользователей друг с другом.

Задачей настоящего изобретения является преодоление указанные недостатков, и обеспечение возможности коммуникации с внешним миром и управления сервисными устройствами для пациентов без использования движений и функций речи, а также упрощение использования средств коммуникации.

СУЩНОСТЬ

Техническим результатом, достигаемым при реализации изобретения является создание универсального средства для общения без использования речи и движений, в частном случае, пользователей с ограниченными двигательными и речевыми функциями, причем указанное средство обеспечивает повышение безопасности использования при достижении скорости обмена информации между пользователями, сопоставимой со средней скоростью обмена информацией в социальных сетях общего пользования. При этом, обеспечивается возможность использования изобретения в качестве средства для ускорения социализации и повышения эффективности реабилитационных мероприятий.

Согласно одному из вариантов реализации, предлагается система для коммуникации пользователей без использования речи и движения, содержащая средство регистрации электроэнцефалограммы пользователя, информационные выходы которой соединены с блоком обработки данных, видеовыход которого соединен с дисплеем, а сетевой интерфейс предназначен для соединения с удаленным сервером, предназначенным для формирования социальной сети, выполненной с возможностью общения нескольких пользователей в режиме реального времени, при этом, средство регистрации электроэнцефалограммы выполнено с возможностью регистрации электроэнцефалограммы путем определения активности головного мозга по результатам измерения электрических потенциалов на поверхности кожи головы пользователя в режиме реального времени, выделения из электроэнцефалограммы параметров по крайней мере одной компоненты вызванных потенциалов (ВП) с заранее заданными базовыми характеристиками и формирования выходного сигнала в виде описания параметров по крайней мере одной компоненты вызванных потенциалов в цифровом виде, блок обработки данных выполнен формирующим на экране дисплея изменяющиеся световые стимулы, имеющие различные параметры изменения во времени такие, что при удержании внимания пользователя на различных стимулах по крайней мере одна компонента вызванных потенциалов имеет различные параметры, при этом, каждому из стимулов приведено в соответствие заранее заданное действие, блок обработки данных выполнен определяющим, в режиме реального времени, выбранные пользователем стимулы и выполняющим действия, соответствующие выбранным пользователем стимулам, при этом, выбранными пользователем стимулами считаются стимулы, параметры реакций в ответ на которые максимально соответствуют параметрам по крайней мере одной компоненты вызванных потенциалов, возникающих в процессе формирования стимулов на экране устройства, при этом экран устройства выполнен с возможностью отображения результатов выполнения действий, по результатам предъявления стимулов нескольким пользователям на нескольких экранах, выделение параметров по крайней мере одной компоненты вызванных потенциалов из электроэнцефалограммы производится блоком обработки данных, а передача сведений о действиях по результатам предъявления стимулов между блоками обработки данных различных пользователей осуществляется посредством удаленного сервера..

В одном из частных вариантов реализации выделение параметров по крайней мере одной компоненты вызванных потенциалов из электроэнцефалограммы производится блоком обработки данных, с использованием машинного обучения, учитывающего характер ограниченных двигательных и речевых функций пользователя.

В одном из частных вариантов реализации машинное обучение производится для каждого пользователя отдельно.

В одном из частных вариантов реализации средство регистрации электроэнцефалограммы выполнено содержащим электроды, предназначенные для соединения с кожей головы пользователя, установленные в средстве крепления с возможностью перемещения.

В одном из частных вариантов реализации средство крепления выполнено с возможностью установки и снятия электродов.

В одном из частных вариантов реализации компонентом вызванного потенциала с заранее заданными характеристиками является волна Р300.

В одном из частных вариантов реализации предлагаемая система содержит блок задания параметров стимулов.

В одном из частных вариантов реализации одним из параметров стимула является момент времени начала отображения стимула.

В одном из частных вариантов реализации по крайней мере одним из других параметров стимула является момент гашения стимула, скорость перемещения стимула по дисплею, яркость свечения стимула, частота мерцания стимула, геометрические размеры стимула, очертания стимула, информация, изображенная на стимуле.

В одном из частных вариантов реализации геометрические размеры стимула задаются в соответствии с угловыми размерами расположенного на дисплее стимула, определенными относительно положения пациента, и эти размеры подстраиваются индивидуально для каждого пользователя, чтобы обеспечить наилучшее визуальное различение им стимула для наиболее эффективного детектирования вызываемой стимулом реакции ВП.

В одном из частных вариантов реализации моменты времени начала отображения стимулов задаются различными настройками с обеспечением цикличного отображения стимулов на экране.

В одном из частных вариантов реализации частота циклов отображения стимулов выбирается такой, что минимизируются потенциальные негативные последствия для пользователя от наблюдения за стимулами на экране дисплея.

В одном из частных вариантов реализации размеры стимулов обеспечивают различимость стимулов на экране и информации, относящейся к стимулам.

В одном из частных вариантов реализации предлагаемая система выполнена с отображением на одном дисплее модуля набора сообщений с виртуальной клавиатурой, модуля отображения набираемых сообщений и модуля отображения переписки.

В одном из частных вариантов реализации модуль отображения переписки выполнен отображающим историю переписки по крайней мере с одним другим пользователем.

В одном из частных вариантов реализации модуль отображения переписки отображает сообщения, сформированные другим пользователем в реальном времени.

В одном из частных вариантов реализации средство регистрации электроэнцефалограммы выполнено с возможностью выделения блоком обработки данных из электроэнцефалограммы параметров более одной компоненты вызванных потенциалов с заранее заданными базовыми характеристиками и формирования выходного сигнала в виде описания параметров компонент вызванных потенциалов в цифровом виде, а выбранными пользователем стимулами считаются стимулы, параметры реакций в ответ на которые максимально соответствуют параметрам компонентов ВП, возникающих в процессе формирования стимулов на экране устройства.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Дополнительные цели, признаки и преимущества настоящего изобретения будут понятны из прочтения последующего описания осуществления изобретения со ссылкой на прилагаемые чертежи, на которых:

ФИГ. 1 иллюстрирует примерный вариант системы, реализующей настоящее изобретение;

ФИГ. 2 иллюстрирует примерный вариант осуществления усреднения эпох ЭЭГ;

ФИГ. 3 иллюстрирует блок-схему алгоритма классификации, согласно настоящему изобретению;

ФИГ. 4 иллюстрирует примерный вариант нейрогарнитуры, размещенной на голове пользователя;

ФИГ. 5 иллюстрирует часть описываемой системы для одного пользователя;

ФИГ. 6 иллюстрирует примерный вариант экрана дисплея с отображенными объектами для взаимодействия пользователей.

ФИГ. 7 иллюстрирует пример компьютерной системы общего назначения.

ПОДРОБНОЕ ОПИСАНИЕ

Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Сущность, приведенная в описании, является ничем иным, как конкретными деталями, обеспеченными для помощи специалисту в области техники в исчерпывающем понимании изобретения, и настоящее изобретение определяется только в объеме приложенной формулы.

Используемые в настоящем описании изобретении термины «компонент», «элемент», «система», «модуль», «часть», в частности, «составная часть», «блок» и подобные используются для обозначения компьютерных сущностей (например, объектов, связанных с компьютером, вычислительных сущностей), которые могут являться аппаратным обеспечением, в частности, оборудованием (например, устройством, инструментом, аппаратом, аппаратурой, составной частью устройства, в частности, процессором, микропроцессором, печатной платой и т.д.), программным обеспечением (например, исполняемым программным кодом, скомпилированным приложением, программным модулем, частью программного обеспечения и/или кода и т.д.) или микропрограммой (прошивкой/firmware). Так, например, компонент может быть процессом, выполняющемся/исполняющимся на процессоре, процессором, объектом, исполняемым файлом, программой, функцией, методом, библиотекой, подпрограммой и/или вычислительным устройством (например, микрокомпьютером или компьютером) или комбинацией программного или аппаратного обеспечения. В качестве иллюстрации: как приложение, запущенное на сервере, в частности, на центральном сервере, может быть компонентом или модулем, так и сервер может быть компонентом или модулем. По крайней мере, один компонент может находиться (располагаться) внутри процесса. Компонент может располагаться на одном вычислительном устройстве (например, компьютере) и/или может быть распределен между двумя и более вычислительными устройствами. Так, например, в частном случае приложение (компонент), может быть представлено серверным компонентом (серверной частью) и клиентским компонентом (клиентской частью). В частном случае, клиентский компонент устанавливается, по крайней мере, на одно вычислительное устройство, а серверный компонент устанавливается на второе вычислительное устройство, с которого, в частном случае, производится управление и/или настройка первого вычислительного устройства (и/или его составных компонентов/частей. В частном случае, модуль (и т.д.) может быть реализован (являться) одним или набором файлов, в том числе исполняемым файлом (файлами), который в свою очередь может быть связан, по крайней мере, с одной программной библиотекой, например, реализованной в виде dll-файла, являющегося скомпилированной формой библиотеки динамической компоновки (от англ. Dynamic Link Library), а также, по крайней мере, с одним файлом, например, содержащим служебные данные приложения, метаданные приложения, данные, необходимые для функционирования приложения, и/или сервисом (локальным и/или удаленным, например, веб-сервисом/веб-службой), включая приложения и сервисы, построенные на сервис-ориентированной архитектуре (от англ. service-oriented architecture/SOA), включая, но не ограничиваясь, технологии REST (от англ. Representational State Transfer — «передача состояния представления»), удалённый вызов процедур (от англ. Remote Procedure Call, RPC) и другие.

На ФИГ. 1 показан примерный вариант системы, реализующей настоящее изобретение.

Показанная на ФИГ. 1 система, описываемая в рамках настоящего изобретения, включает связанное с электронно-вычислительным устройством, например, компьютером (130А, 130Б), средство снятия (регистрации) электроэнцефалограммы (120A, 120Б) и связанный с компьютером (130А, 130Б) дисплей (110А, 110Б), в частном случае, обеспечивающий обновление кадров с частотой не менее 40 и не более 150 Гц и временем отклика не более 7 миллисекунд (мс). В частном случае, электронно-вычислительное устройство, например, компьютер (130А, 130Б) и дисплей (110А, 110Б) могут быть реализованы в виде одного устройства, например, моноблока, планшета, смартфона и т.д.

Как описано в рамках настоящего изобретения, средство регистрации электроэнцефалограммы (120А, 120Б) выполнено с возможностью выделения блоком обработки данных из электроэнцефалограммы параметров более одной компоненты вызванных потенциалов с заранее заданными базовыми характеристиками и формирования выходного сигнала в виде описания параметров компонент вызванных потенциалов в цифровом виде, а выбранными пользователем стимулами считаются стимулы, параметры реакций в ответ на которые максимально соответствуют параметрам компонентов ВП, возникающих в процессе формирования стимулов на экране устройства.

Средство снятия электроэнцефалограммы, то есть, средство регистрации электрической активности мозга 120А используется для регистрации, электроэнцефалограммы (ЭЭГ) первого пользователя (пациента) 105А, а средство регистрации электрической активности мозга) 120Б используется для снятия электроэнцефалограммы второго пользователя 105Б. Дисплеи (110А, 110Б) предназначены для отображения объектов. например, стимулов, представленных в виде цифровых или буквенных символов. пиктограмм или элементов меню с угловыми размерами, относительно глаз пользователей (105А, 105Б), позволяющими переключать внимание, с одного предъявляемого объекта на другой. В частном случае реализации, количество элементов, а также их расположение на дисплее на дисплее (110А, 110Б) задается модулем генерации стимулов (513, ФИГ. 5) в соответствии с угловыми размерами, обеспечивающими возможность различимости объектов для пользователя (105А, 105Б). В частном случае реализации, количество экранных объектов и/или их угловые размеры задаются с учетом индивидуальных особенностей пользователя (105А, 105Б). К числу индивидуальных особенностей пользователя могут быть отнесены свойства зрительного восприятия пользователем объектов и возможности пользователя удержания объектов в поле внимания. При невозможности пользователя (105А, 105Б) удерживать зрительное внимание на экранном объекте с малыми угловыми размерами в связи с размытием поля зрения или дрожанием точки фиксации взгляда, возможным, при различных нозологиях угловые размеры экранного объекта, могут быть увеличены, может быть увеличено расстояние между объектами и количество объектов, одновременно присутствующих на экране. В частном случае, осуществляется тестирование визуальной различимости объектов, например, при конфигурировании системы для работы с новым пользователем, либо при изменении расстояния от пользователя до дисплея, а также при изменении других параметров. При начальном конфигурировании и переконфигурировании задаются геометрические размеры экранных объектов, другие характеристики экранных объектов, отображаемых на экране (дисплее). В частном случае, учитывается острота зрения пользователя. Если использованные параметры объектов не удовлетворительны, например, пользователю не удается выбрать на экране требуемый стимул, в связи с недостаточной остротой зрения, то увеличение размеров объектов их контрастности обеспечивает возможность выбора пользователем объектов, если изменение геометрических характеристик не дает положительного результата, может быть использовано внесение изменений в другие параметры, например, может быть изменена частота мерцаний объектов, последовательность их возникновения на экране. Настройки интерфейса могут быть осуществлены в автоматизированном режиме, а также в режиме ручного управления пользователем или оператором. При ручной настройке интерфейса, на экране дисплея отображаются элементы интерфейса, размеры и положение которых можно изменять, а также значения параметров, которые существенно влияют на восприятие элементов (стимулов) пользователем. В частном случае, можно изменять совокупность стимулов, группируемых в пределах одного экрана.

После внесения изменений в настройки производится тестирование различимости стимулов, и, при необходимости, производится дополнительная корректировка. В частном случае, при группировке стимулов по нескольким экранам, принятые для одного из экрана параметры применяются ко всем экранам. а если изменение настроек привело к изменению количества экранов, например, в связи с существенным увеличением или уменьшением размера элементов, производится дополнительное перераспределение стимулов по экранам.

В качестве экранных объектов или стимулов используются разного рода изобразительные элементы, например, символы в виде буквы и цифр, так называемые смайлики, другие пиктограммы, а также представления элементов управления. Символы могут относиться к элементам передаваемых сообщений, а также являться элементами управления системой, например, такими элементами могут быть кнопки перехода на другой экран, кнопки включения и отключения системы. В частном случае реализации изобретения, сервисные кнопки различных экранов располагаются в разных местах дисплея, таким образом существенно снижается вероятность ложного выполнения команды перехода на другой экран при смене экранов.

Для объектов вызова системы меню и объектов систем меню исключается одинаковое расположение кнопок вызова меню на различных экранах. Стимулы, предназначенные для активации (включения) и деактивации (выключения) системы могут располагаться вне границ дисплея и могут быть выполнены в виде отдельных источников света. В частном случае реализации изобретения, объекты включения и выключения системы могут быть выделенными дисплеями, например, мерцающими светодиодными лампами.

В системе также могут использоваться дополнительные типы объектов, предназначенные для ускорения набора текстов. Такие специальные объекты могут быть выполнены в виде кнопок большего размера, чем кнопки с отдельными буквами, и на них могут отображаться слова и короткие фразы, формируемые, например, путем реализации функции предиктивного набора текстов.

Символы, отображаемые на таких кнопках, динамически меняются в зависимости от совокупности символов уже набранных пользователем. Подсистема предиктивного набора текстов может использовать динамически изменяемый словарь, сформированный, в частном случае, в результате анализа предшествующего взаимодействия пользователя (105А, 105Б) с описываемой системой. Так, например, компьютер (130А, 130Б) или центральный сервер 140 могут хранить наиболее часто используемые пользователем слова, словосочетания, предложения и другие грамматические формы в специализированной базе данных.

Специальные кнопки могут быть расположены на том же экране, что и кнопки буквенной клавиатуры, но расположены на расстоянии от любых кнопок клавиатуры, существенно большем, чем расстояние между соседними кнопками клавиатуры. Такое пространственное обособление позволяет пользователю уверенно переключать внимание на специальные кнопки, в результате чего точность распознавания объектов повышается.

Дополнительно, могут быть запущены процессы включения и/или выключения системы при заранее заданном поведении пользователя или системы. Например, при длительной неактивности пользователя система может быть отключена, система может быть отключена или перезагружена, если пользователь не использует интерфейс системы в течение длительного времени. В том случае, если пользователь прекратил использовать интерфейс, не закончив ввод слова или фразы, система может дополнительно активировать средства вызова экстренной помощи. Дополнительно может активироваться «приглашение к выключению», или «приглашение к включению» в заранее заданные часы активности пользователя.

Пользовательское оборудование 101 системы, показанное на ФИГ. 1 более подробно показано на ФИГ. 5 с соответствующим описанием.

Показанная на ФИГ. 1 система содержит и использует электроды (115А, 115Б), сконфигурированные так, что обеспечивают контакт с кожей головы пользователя для передачи соответствующих потенциалов на блок обработки аналоговых данных. Электроды могут быть закреплены в средстве фиксации электродов на голове пользователя. Электроды могут быть расположены в непосредственной близости и связаны, посредством проводников, с блоком обработки аналоговых данных, преобразующих аналоговые данные в цифровые данные по заранее заданному алгоритму, обеспечивающему оцифровку аналоговых сигналов через заранее заданные промежутки времени. Цифровые данные блока обработки аналоговых сигналов могут передаваться на компьютер (130А, 130Б), по проводному интерфейсу или с использование беспроводных средств связи, в частном случае, таких как, стандартизованное Wi-Fi соединение. В общем случае, для работы системы используется, оборудование, обычно применяемое для реализации интерфейса «мозг-компьютер на волне P300» (ИМК-P300, или англ. «P300 BCI» – brain-computer interface). В частном случае реализации, число электродов, закрепляемых на голове пользователя, а также их расположение выбирается с учетом индивидуальных особенностей пользователя. Например, по результатам проведенных хирургических операций при поражениях головного мозга, либо в результате травм головы, участки скальпа могут отсутствовать или не могут быть использованы для установки электродов. В таком случае используется средство крепления электродов, в котором количество электродов, а также места их установки задаются с учетом выявленных особенностей. В частном случае, могут быть использованы дополнительные электроды, установленные в максимально возможной близости к месту травмы. В случае существенного изменения картины распределения потенциалов на коже головы пользователя, для обеспечения функционирования системы и выделения волны «Р300» используется дополнительное обучение системы. В других случаях, например, при органических повреждения коры головного мозга, увеличение количества электродов используется для обеспечения возможности получения требуемых параметров активности головного мозга по замещающим данным.

Электронно-вычислительное устройство реализованное, например, в виде переносного или стационарного компьютера (130А, 130Б), обеспечивает анализ, активности главного мозга по результатам измерений. Анализ активности осуществляется, например, с использованием модуля обработки и анализа данных (523, ФИГ. 5). Для анализа используются электроэнцефалограммы (ЭЭГ), а также данные, относящиеся к параметрам формируемых на дисплее стимулов. При этом, основным параметром стимула, используемым при анализе, является момент его возникновения на экране (дисплее). Формирование зрительных стимулов осуществляется модулем генерации стимулов (513, ФИГ. 5), формирующим данные, необходимые для отображения стимула на дисплее в заданные моменты, с обеспечением отображения стимулов на дисплее (экране) (110А, 110Б). В частном случае, описываемая система обеспечивает такую последовательность или очередность свечения и гашения стимулов на дисплее, что исключается одновременное наличие на экране двух объектов или стимулов, места формирования которых расположены рядом друг с другом. В частном случае, возможно одновременное отображение объектов, расположенных в одной строке или в одном столбце. В этом случае, определение объекта внимания осуществляется путем последовательного определения столбца и строки, на пересечении которых расположен объект внимания. Моменты возникновения (времена возникновения), моменты гашения (времена исчезновения) и другие характеристики или параметры создаваемых зрительных стимулов могут определяться модулем генерации стимулов (513, ФИГ. 5) автоматически. Параметры стимулов могут задаваться как результат машинного обучения, в том числе с возможностью использования искусственного интеллекта. Также, время создания, а также время исчезновения, и характеристики создаваемых зрительных стимулов может быть задано пользователем, администратором центрального сервера 140, наблюдателем или лечащим врачом пользователя, являющегося пациентом лечебного учреждения. Время создания, а также время исчезновения или гашения, а также другие характеристики создаваемых зрительных стимулов могут быть заданы с использованием модуля генерации стимула (513, ФИГ. 5), например, использованием отображаемого на экране дисплея графического интерфейса пользователя.

В том случае, если зарегистрированная электроэнцефалограмма, или другими словами, зарегистрированные параметры электрической активности мозга, измеренные средством снятия электроэнцефалограммы (120А, 120Б) и переданные для обработки на компьютер, одинаково соответствует нескольким различным стимулам, пользователю может быть предложено выбрать один из объектов. соответствующий стимулам либо путем формирования дополнительного стимула – подсказки, либо путем полного гашения всех стимулов, кроме объектов потенциального внимания и отображения оставшихся стимулов в таком режиме чтобы обеспечить более точное определение объекта интереса.

В частном случае, центральный сервер может быть реализован (или являться) веб-сервером и/или специализированным вычислительным устройством (в частности, компьютером) и/или специализированным оборудованием для выполнения на нём сервисного программного обеспечения (в том числе сервисов тех или иных задач).

В частном случае, по крайней мере, одному пользователю предлагаются подсказки, относящиеся к возможности общения в пределах заданного круга контактов, например, заданного круга друзей, лечебного стационара или отделения.

Характеристиками или параметрами стимулов (объектов), отображаемых на дисплее, могут являться яркость объекта, частота появления на дисплее, принадлежность к группе объектов, отображаемых на одном групповом экране, частота мерцания в процессе отображения, длительность нахождения на дисплее время исчезновения, координаты расположения объекта на дисплее, размеры и форма объекта, скорость перемещения динамика изменения размеров и/или формы и т.д.

Характеристики зрительных стимулов могут изменяться или подбираться в процессе использования системы пользователем так, чтобы достичь максимальной скоростью выбора стимулов пользователем, либо снизить утомляемость пользователя, либо минимизировать количество ошибок системы в единицу времени, либо достичь оптимального сочетания параметров. Кроме того, при первоначальном задании параметров стимулов могут быть учтены физиологические особенности пользователя, в частности, могут быть учтены острота зрения, скорость передачи информации внутри различных структур мозга, наличие травм мозга, наличие специфических заболеваний нервной системы и мозга, влияющих на процессы восприятия. Кроме этого может быть учтен опыт пользователя при взаимодействии с интерфейсом системы. В частности, более обученные пользователи могут использовать меньшую яркость и большую скорость мерцаний, что позволяет меньше утомляться и быстрее осуществлять набор (последовательный выбор стимулов для формирования сообщений или других алфавитно-цифровых и/или визуальных структур).

В дополнение к зрительным стимулам пользователю могут быть предъявлены звуковые или тактильные стимулы, однако в целях раскрытия сущности изобретения, под стимулами, если не указано иное, подразумеваются именно зрительные или визуальные стимулы, то есть, формируемые на экране или дисплее объекты, которые могут быть восприняты визуально.

Средство снятия электроэнцефалограммы (120А, 120Б), то есть, средство регистрации электрической активности мозга (ЭЭГ), снабжено средством крепления датчиков электрических потенциалов на голове пользователя и позволяет анализировать ЭЭГ. При этом желательно использовать средства, регистрирующие электрические потенциалы с частотой не реже 50 раз в секунду. что дает возможность определять, с использованием модуля обработки и анализа данных (523, ФИГ. 5) и/или модуля обработки данных, который может являться частью энцефалографа, (120А, 120Б), специфические компоненты изменений в ЭЭГ при фокусировании внимания пользователя на объектах кратковременно отображаемых на дисплее.

В контексте описания изобретения графический дисплей или «дисплей» используется в качестве примера реализации визуальной стимульной среды, которая может быть выполнена в различных вариантах, например, с использованием отдельных элементов, представляющих символы и имеющих индивидуальные средства подсветки, матрицы светодиодов, с использованием механических или движущихся механических элементов, например, использующих шторки для скрытия символов и т.п.

Элементы управления или стимулы могут быть сгруппированы, а пользователю, в процессе использования интерфейса системы могут предъявляться различные группы элементов для обеспечения возможности достоверного определения выбранного элемента группы. При использовании нескольких групп элементов, каждая из групп содержит по крайней мере, один стимул, при выборе которого пользователем, обеспечивается либо переключение к другой группе элементов, либо отображение меню, с использованием которого обеспечивается переход к другой группе.

Для выбора одной команды пользователем (105А, 105Б) используются циклы предъявления объектов пользователю. Для осуществления выбора того или иного отображаемого (экранного) объекта, пользователь (105А, 105Б) фокусирует внимание на упомянутом объекте, который ассоциирован с интересующей его функцией, например, командой, текстовым символом (элементом), графическим элементом и т.д.. Объект может содержать изображение, которое может быть однозначно сопоставлено с результатом выбора объекта, например, может содержать графический элемент, текстовый элемент, обозначение команды (например, осуществления отправки сообщения, добавления изображения к сообщению, добавления другого пользователя в друзья, подключение к системе «Интернет», запуск приложения, интерфейса и т.д.). При осуществлении стимуляции или, другими словами, обеспечения возможности выбора объекта пользователем, пользователь следит за поведением объекта, а появление объекта на дисплее вызывает формирование специфической картины динамического распределения электрических потенциалов на поверхности головы пользователя. В общем случае, формируется специфический импульс в волны P300 (или паттерн волны Р300). Временные параметры паттерна, например, момент возникновения и длительность зависят от временных параметров стимула, к которому привлечено внимание пользователя. В объеме настоящего изобретения, сформированный паттерн распознается электронно-вычислительным устройством, а параметры паттерна соотносятся с параметрами стимулов предъявляемых пользователю, например с моментом формирования, типом и/или характером создаваемых экранных (зрительных) стимулов. Объект, которому в максимальной степени соответствует паттерн, идентифицируется как объект, на который мысленно реагирует пользователь, после чего система выполняет действия, соответствующие объекту, например, дополняет текстовую строку выбранным символом или начинает отображение символов (стимулов) другого экрана.

Специфическими компонентами может являться отклонение усредненных по целевым стимулам данных электроэнцефалограммы в динамике, в частности, в течение определенного предустановленного временного интервала, например, в течение 600 - 1000 миллисекунд, после предъявления целевого стимула от аналогичного усреднения при предъявлении нецелевого стимула, а при утрате функций отдельных участков коры головного мозга, используется дополнительное уточнение, заключающееся в том, что в частном случае, анализируются данные полученные от измененного, сниженного или увеличенного количества электродов, а анализ динамики распределения потенциалов осуществляется для всех электродов совместно с использованием методов машинного обучения или с применением искусственного интеллекта. При этом, на этапе обучения, информацию о выбранном пользователем объекте получают без использования вычислительных средств и передают системе дополнительно, либо задают последовательность стимулов, на которых должен сосредоточиться пользователь и данную последовательность используют как обучающую при сопоставлении паттернов и стимулов.

То есть, реакции, представленные раскрытыми выше специфическими компонентами, подвергаются автоматизированному анализу в режиме реального времени, например, с использованием средств машинного обучения или искусственного интеллекта. В частном случае, осуществляют предварительную специальную настройку показанной на ФИГ. 1 системы с участием пользователя (105А, 105Б), либо настройку или подстройку системы осуществляют в режиме эксплуатации. Основным требованием, предъявляемым к режиму настройки, является быстрая реакция пользователя на отклики системы, интерпретирующие его команды в режиме «верно – неверно».

При помощи встроенных в средство снятия электроэнцефалограммы (120А, 120Б) и/или в компьютер (130А, 130Б), или центральный сервер 140 элементов обработки и анализа, например, реализующих структуры искусственного интеллекта, осуществляется возможность трактовать реакции пользователя как команды для управления функциями приема-передачи сообщений, а том числе текстовых сообщений, а также модулями управления сервисными устройствами, например, устройством тревожной сигнализации, службы передачи сообщений на мобильный телефон или электрическими приводами кресла-каталки. Упомянутые элементы обработки и анализа, в том числе. средства искусственного интеллекта, могут являться частью модуля обработки и анализа данных (523, ФИГ. 5) или являться модулем компьютера (130А, 130Б), связанным со средством снятия электроэнцефалограммы (120А, 120Б) или другим модулем, например, модулем центрального сервера 140 и/или компьютера (130А, 130Б), в том числе модулем обработки и анализа данных (523, ФИГ. 5) Модуль обработки и анализа данных (523, ФИГ. 5) или, по крайней мере, одна его часть, может являться частью центрального сервера 140 и/или средства снятия электроэнцефалограммы (120А, 120Б) и/или центрального сервера 140.

Упомянутые команды для управления могут являться командами управления для веб-браузеров, систем мгновенного обмена сообщениями (систем обмена мгновенными сообщениями, от англ. Instant messaging, IM), служб коротких сообщений (от англ. Short Message Service) и других программных и/или аппаратных средств (систем и т.д.) взаимодействия, в частности, общения, пользователей друг с другом, сообществами, группами пользователей, в том числе объединенных по различным параметрам, например, увлечениям, и т.д. В частном случае, упомянутые элементы обработки и анализа, в частном случае, искусственного интеллекта, осуществляют преобразование упомянутых реакций в команды для управления функциями интернет-браузера (веб-браузера) и т.д.

Описываемая система, под условным наименованием «НейроЧат», использует алгоритм, который использует свойство мозга пользователя (человека, пациента, медицинского персонала и т.д.) изменять электрические параметры активности мозга, при наличии неопределённости в поведении объекта, в частности, экранного объекта, на который направлено внимание пользователя, причем такие изменения электрических параметров активности мозга пользователя регистрируются средством снятия электроэнцефалограммы (120А, 120Б). Описываемая система «НейроЧат» работает на любом (достаточно «мощном») компьютере (130А, 130Б) пользователя (105А, 105Б) и на любом современном дисплее (110А, 110Б), в частности, мониторе, достаточных размеров, в частности на системах, объединяющих в одном устройстве компьютер и дисплей (в частности, монитор), в частном случае, на моноблоках, планшетах и смартфонах. Стандартной (обычно используемой) частоты обновления в 60 Гц достаточно, так же, как и стандартных значений времени отклика для подобных мониторов.

Показанная на ФИГ. 1 система обеспечивает отображение на дисплее (110А, 110Б) объектов, каждый из которых характеризуется уникальным набором свойств, влияющих на электрическую активность мозга пользователя (105А, 105Б) уникальным образом. Показанная на ФИГ. 1 система распознает объект, на который направлено внимание пользователя (105А, 105Б), по электрической активности мозга такого пользователя, соответствующей указанному набору свойств. В частном случае упомянутое распознавание, или по крайней мере, часть такого распознавания, объекта может осуществляться, по крайней мере, одним модулем компьютера (130А, 130Б) и/или средства снятия электроэнцефалограммы (120А, 120Б), и/или центрального сервера 140.

Основными свойствами объектов, влияющими на изменение активности мозга, в частном случае, являются временные параметры появления объектов (изображений объектов) на дисплее (110А, 110Б) и удаление их с дисплея (экрана дисплея). В частном случае, в качестве такого свойства используется частота миганий (мерцаний, в частности, предъявлений, и т.д.) изображений объектов. В частном случае упомянутое мигание является изменением яркости и/или цвета, и/или прозрачности (экранного) объекта, а также его изображением (появляющимся и исчезающим) на дисплее (110А, 110Б), которая, в частном случае, выбирается (задается ,устанавливается) не ниже, например, 1 Герца (Гц) и, например, не выше 10 Гц, при этом, изображения объектов, в частном случае, мигают с одинаковой частотой, но появляются на дисплее (110А, 110Б) поочередно.

В частном случае реализации, поведение объектов может меняться во времени, повышая уровень неопределенности поведения объекта для пользователя.

«НейроЧат» (в частности, система «НейроЧат»), алгоритмически основан на принципе нейроуправления с помощью, так называемой, технологии «интерфейс мозг-компьютер на волне P300» (ИМК-P300, или англ. «P300 BCI» – brain-computer interface). В основе управления в данной технологии лежит анализ вызванных потенциалов (ВП) мозга человека, или потенциалов, связанных с событиями (ПСС). Эти потенциалы представляют собой специфическую реакцию мозга в ответ на редкий и/или значимый для пользователя (105А, 105Б) стимул, которая может быть получена после процедуры обработки (и анализа) зарегистрированной (снятой) электроэнцефалограммы. В большинстве случаев в средствах коммуникации на основе ИМК-P300 для стимулов используется зрительная модальность (например, появление изображений или символов на экране, или их подсветка – т.е. увеличение яркости).

Система, и, в частном случае, средство, нейроуправления (взаимодействия пользователей между собой, с различными устройствами, модулями, системами, друг с другом с использованием промежуточных и вспомогательных устройств, средств, модулей и т.д.), в частности, на основе ИМК-P300, организована следующим образом. В общем случае, пользователь (105А, 105Б) видит перед собой дисплей (110А, 110Б) с объектами (экранными объектами, зрительными объектами), в частном случае, являющимися символами (элементами-символами), представляющими собой различные команды управления (в том числе буквами, например, если интерфейс предназначен для набора текстов, взаимодействия с другими пользователями, системами, включая операционные системы и т.д.), организованными в виде матрицы, в частности, таблицы-матрицы. Таким образом, пользователю (105А, 105Б) на дисплее (110А, 110Б) осуществляется отображение стимулов в виде объектов, в частности, изображений объектов (экранных объектов).

Отдельные объекты, в частности, элементы-символы, упомянутой матрицы поочередно «подсвечиваются» (мерцают, мигают и т.д. или выделяются любым другим способом и средством) в случайном порядке. В частном случае, упомянутые объекты могут выделяться средствами системы, в частности, модулем генерации стимулов (513, ФИГ. 5) в строго определенном порядке, например, определенной последовательности с различными паузами между таким выделением, с различной интенсивностью выделения, временем отображения, подсвечивания и другими способами выделения, в частности, предъявления, объектов, по крайней мере, одному пользователю и т.д.

Пользователь (105А, 105Б) фокусирует внимание на стимуле (символе-команде, стимуле-команде, объекте, целевом стимуле, целевом символе, целевом объекте), которую он желает выбрать, и, всякий раз, когда этот объект, в частности, стимул (символ и т.д.) выделяется («загорается», отображается, подсвечивается, начинает моргать, мерцать и т.д.), мысленно должен реагировать на это событие (например, посчитать общее число подсветок этого символа). В процессе взаимодействия пользователя (105А, 105Б) с интерфейсом, в частности, графическим интерфейсом, осуществляющим, по крайней мере, отображение стимулов на дисплее, у пользователя (105А, 105Б) регистрируется ЭЭГ с использованием средства снятия электроэнцефалограммы (120А, 120Б).

На этапе обучения описываемая система использует информацию, однозначно указывающую на стимул, в частности, символ, являющийся объектом внимания пользователя (105А, 105Б), причем объектом внимания пользователя является (экранный) объект, отображаемый на дисплее (110А, 110Б). Так, например, система уведомляет пользователя (105А, 105Б), в частности, посредством модуля обработки и анализа данных (523, ФИГ. 5), например, с использованием модуля генерации стимулов (513, ФИГ. 5), о стимуле, в частности, символе, команде и т.д., на котором пользователю следует сосредоточится, и для этого стимула обеспечивается регистрация активности мозга (регистрируются данные ЭЭГ с использованием средства снятия электроэнцефалограммы (120А, 120Б)). Полученные данные ЭЭГ, относящиеся как к мерцанию символа, так и к расположению символа на экране регистрируются и используются, в частности, по крайней мере, одним модулем, например, модулем компьютера (130А, 130Б), центрального сервера 140, средства снятия электроэнцефалограммы (120А, 120Б) и т.д., для построения экспертной подсистемы. Упомянутая экспертная подсистема создается для выявления индивидуальных различий пользователей в реакции на целевые и не целевые стимулы, а именно, в различиях данных электроэнцефалограммы, причем при использовании системы определения, по крайней мере, одного стимула, который выбирает пользователь, происходит с использованием (на основе) выявленных различий. Полученные, в частности, регистрируемые или зарегистрированные данные активности мозга могут быть обработаны (полностью или частично), как компьютером (110А, 110Б), в частности, по крайне мере, одним его модулем, например, так и/или модулем обработки и анализа данных (523, ФИГ. 5), центральным сервером 140, например, по крайне мере, одним его модулем, и/или средством снятия электроэнцефалограммы (120А, 120Б), или, по крайне мере, одним его модулем, в случае, если такое средство (модуль, устройство и т.д.) снятия электроэнцефалограммы (120А, 120Б) позволяет осуществлять такую обработку, например, с использованием, по крайней мере, одного процессора, микропроцессора, а также контроллера, микроконтроллера и т.д.

Обучение экспертной подсистемы может продолжаться на этапе использования системы, например, с учетом количества ошибок или, по верным результатам, полученным в условиях недостаточной определенности соответствия ЭЭГ и любого из символов, отображаемых на дисплее (110А, 110Б).

Реакции на подсветку целевого символа-команды выделяются, по крайней мере, одним модулем (средством, устройством и т.д.), например, модулем обработки и анализа данных (523, ФИГ. 5), среди реакций на другие стимулы, в частности, символы, которые являются нецелевыми стимулами и на которые пользователь (105А, 105Б) не должен обращать внимания. В таких целевых реакциях (или ВП) присутствуют колебания потенциала существенно большей амплитуды, чем в нецелевых ВП. Упомянутые колебания потенциала могут быть обработаны модулем обработки и анализа данных (523, ФИГ. 5) и/или центральным сервером 140, и/или средством снятия электроэнцефалограммы (120А, 120Б), или, по крайне мере, одним их модулем. Одним из самых крупных и универсальных компонентов этих колебаний является специфический паттерн – так называема волна P300 (поэтому технология получила соответствующее название).

Компоненты реакции на внешние стимулы (ВП) обычно не идентифицируются на фоновой ЭЭГ, поскольку эти реакции имеют амплитуду в несколько микровольт, в то время как фоновые колебания ЭЭГ имеют, как правило, амплитуды на один-два порядка выше. Поэтому для выделения ВП используется методика, в частности, реализованная алгоритмом (реализованным программным и/или аппаратным компонентом, в частности, модулем), синхронного усреднения отдельных отрезков ЭЭГ. Один такой отрезок ЭЭГ называется эпохой (эпоха ЭЭГ). Ее длительность может варьироваться; в описываемой системе она, в частном случае, может составлять около 1 секунды. Поскольку спонтанные колебания ЭЭГ обычно не являются синхронизированными с моментами подачи стимула (внешнего стимула), то при усреднении эпох ЭЭГ относительно момента этого стимула синхронизированный по времени со стимулами сигнал потенциалов, связанных с событиями, накапливается, выделяются определенные пики (компоненты реакции), а несинхронные колебания ЭЭГ («шум») ослабляются (резко падает их амплитуда). Стоит отметить, что стимулом является предъявление объекта (или, в частном случае, предъявляемый объект) пользователю, в частности, выделение объекта (или группы объектов), причем стимул в описываемой системе является внешним по отношению к пользователю (например, в противопоставление другим типам ИМК, где пользователь осознанно внутренне может инициировать какое-либо состояние без (различных, всяких) стимулов). При последовательном предъявлении совокупности стимулов (только один из которых является в данный момент целевым для пользователя) из ЭЭГ выделяются (определяются, вычисляются) эпохи, привязанные к моменту (времени) появления (подсветки, или любого другого выделения) каждого отдельного стимула, как показано на ФИГ. 2, т.е., в частном случае, время начала одной эпохи совпадает с временем появления, в частности, предъявления, стимула.

Упомянутое выделение, по крайней мере, одной эпохи, осуществляется компьютером, в частности, модулем обработки и анализа данных (523, ФИГ. 5), и/или средством снятия электроэнцефалограммы (120А, 120Б), центральным сервером 140 и, и/или модулем (модулями) такого упомянутого средства, центрального сервера 140, компьютера и т.д.

На ФИГ. 2 показан примерный вариант осуществления усреднения эпох ЭЭГ.

Как отмечено выше, для надежного распознавания целевых реакций ВП каждый из стимулов предъявляется пользователю (105А, 105Б) многократно, после чего реакции на каждый стимул усредняются отдельно. Осуществление усреднения реакции отдельно по двум группам, к первой из которой относится группа с целевыми стимулами, а ко второй – группа с нецелевыми стимулами, позволяет выделить ряд характеристик (например, частотно-амплитудных характеристик, являющихся позитивным отклонением с латентностью, в частном случае, около 300 мс и выше после начала (предъявления) стимула), по которым выделяются целевые реакции, в частности, модулем обработки и анализа данных (523, ФИГ. 5). На целевой стимул в составе ВП возникает (или резко увеличивается в амплитуде) волна P300 – позитивное отклонение с латентностью от 300 мс и выше после начала стимула. Для того чтобы появился этот компонент, пользователю (105А, 105Б) дается задание фокусировать внимание на целевом стимуле и, в частном случае, считать моменты его появления среди нецелевых стимулов. Упомянутое задание может даваться пользователю (105А, 105Б) оператором (компьютера, сервера, в частности, центрального сервера 140, и т.д.), например, медицинским персоналом, лечащим врачом и т.д. Задание может являться голосовым и/или визуальным, т.е. предъявляться пользователю (105А, 105Б) в виде изображений (рисунков, графических элементов, фотографий и т.д.), текста и т.д. Задание может даваться, в частности, предъявляться, пользователю (105А, 105Б) с использованием компьютера (130А, 130Б), центрального сервера 140 и т.д., в частности, по крайней мере, одного модуля компьютера или модуля, например, с использованием модуля заданий, модуля настройки и т.д., в том числе с использованием дисплея (110А, 110Б), подключенных к компьютеру средств воспроизведения звука и т.д. При предъявлении аудиального (звукового) задания пользователю (105А, 105Б) такое аудиальное задание может быть предварительно сохранено в памяти компьютера (130А, 130Б) и/или центрального сервера 140, например, в виде аудиофайла, или аудиальное задание может предъявляться пользователю с использованием микрофона, связанного с компьютером (130А, 130Б) или центральным сервером 140. В целом, амплитуда P300 отражает вероятность появления стимула (положительно коррелирует с его неожиданностью). Для возникновения P300 важно, что целевой стимул должен быть не просто редким, но и должен относиться к заданию, т.е. субъект, в частности, пользователь (105А, 105Б), должен быть активно включен в задание по распознаванию целевого стимула. В различных вариациях такой задачи помимо волны P300 осуществляется, например, компьютером (130А, 130Б), в частности, модулем обработки и анализа данных (523, ФИГ. 5), усиление и ряда других компонентов (не показаны на ФИГ. 1), наиболее значимыми из которых для данного ИМК являются следующие: N1 (или N170) – негативный пик с латентностью 170-200 мс, P200 – позитивный пик с латентностью от 200 до 300 мс, N400 – негативный пик с латентностью 400-600 мс. Все эти компоненты вместе с P300 являются отражением процессов наличия внимания пользователя (105А, 105Б) к целевому стимулу и используются алгоритмами ИМК для детектировании целевой команды. Поскольку длительность каждой эпохи составляет около 1000 мс (1 секунда), которые определяются (устанавливаются) исходя из наиболее вероятного времени, в течение которого могут появляться значимые амплитудные особенности, то (все) эти компоненты априори анализируются, в частности, модулем обработки и анализа данных (523, ФИГ. 5). Реакции в ответ на стимулы могут содержать и другие компоненты ВП, Кроме того, для различения целевых и нецелевых эпох не обязательно (причем обязательным является, по крайней мере, Р300, но, в частном случае, осуществляется анализ более длительного временного интервала, как было сказано выше) наличие всех компонентов, причем их наличие и выраженность является индивидуальной особенностью каждого пользователя (субъекта) или, по крайней мере, одного пользователя. В частном случае, реакциями (пользователя) на целевые и нецелевые стимулы могут отличаться во временном диапазоне волны P300. Также в некоторых случаях максимальным (в частности, основным) компонентом, по которому различаются целевые и нецелевые стимулы, может являться P200 . Так, например, у некоторых пользователей он (компонент) может «функционально» заменять P300, в частности, обладать всеми его свойствами, но иметь более раннюю латентность. Также, у части пользователей самым крупным компонентом может являться негативный N170, который в этом случае может вносить основной вклад в распознавание целевого стимула.

Процесс разделения специфических признаков сигнала ВП на два класса – целевые и нецелевые стимулы – называется классификацией (блок-схема примерного алгоритма которой показана на ФИГ. 3), что является первой стадией работы системы, то есть происходит «обучение классификатора». Разделение (или, по крайней мере, одна часть такого разделения) специфических признаков сигнала ВП на два класса осуществляется модулем обработки и анализа данных (523, ФИГ. 5) и/или центральным сервером 140. Для классификации реакций внимания пользователя ИМК к целевому символу-команде осуществляется преобразование ВП в конечные признаки, т.е. данные универсального вида, которые далее используются в классифицирующем алгоритме, выполняемом компьютером (130А, 130Б) и/или центральным сервером 140, в частности, по крайней мере, одним модулем упомянутых компьютера и/или сервера. В качестве таких (конечных) признаков используются значения амплитуд сигнала ВП, подвергнутые процедурам (в частности, операциям, способам, реализуемых, например, программными алгоритмами) обработки, осуществляемыми компьютером (130А, 130Б) и/или центральным сервером 140, и/или средством снятия электроэнцефалограммы (120А, 120Б), в частности, по крайней мере, одним из их модулей. Такие процедуры (в частности, способы обработки) могут включать фильтрацию исходного сигнала (сигнала ЭЭГ), очистка такого сигнала от шума (удаление шума из сигнала) и артефактов, а также «даунсэмплинг», т.е. понижение размерности данных ЭЭГ. Упомянутыми артефактами могут являться амплитудные (в частности, значительные) изменения в данных ЭЭГ, не связанные с биоэлектрической активностью мозга, могут вызываться глазодвигательными или мышечными действиями. Упомянутый даунсэмплинг, как правило, используется для повышения скорости и надежности работы алгоритма выделения ВП и позволяет осуществлять снижение чувствительности (делает его менее чувствительным) к некоторым естественным изменениям в сигнале ЭЭГ (например, ритмическим изменениям ЭЭГ у каждого пользователя или группы, в частности, типе пользователей), позволяя описываемой системе эффективно работать при некоторых вариациях этого сигнала, причем такие вариации могут быть обусловлены как естественными изменениями в сигнале ЭЭГ, так и артефактами, т.е. любым типом или, по крайней мере, одним из них, «побочной» активности, которая осложняет выделение целевого сигнала. В процедуре (процессе осуществления) фильтрации упомянутого сигнала могут быть использованы различные полосные частотные фильтры (например, фильтр Баттерворта). Границы фильтрации могут варьироваться, но, как правило, составляют от 1 Гц и до 5-10 Гц, в частном случае, являющиеся эффективной полосой фильтрации для выделения полезного, в целях работы описываемой системы, сигнала, причем упомянутые границы позволяют максимально убрать «шум» в виде случайных колебаний (например, не связанных с реакцией на стимул), но при этом еще не искажают сильно целевой сигнал (компоненты ВП). В том числе может использоваться автоматическая подстройка границ фильтрации, в частности, осуществляемая компьютером (130А, 130Б) и/или центральным сервером 140, и/или средством снятия электроэнцефалограммы (120А, 120Б), После этого данные, в частности, полученные после обработки исходного сигнала (после упомянутых выше процедур) из массива однородных эпох разбиваются на эпохи (в частности, формируются два массива с целевыми и нецелевыми эпохами) относительно момента начала каждого стимула, компьютером (130А, 130Б) и/или центральным сервером 140, и/или средством снятия электроэнцефалограммы (120А, 120Б). Для упомянутой автоматической подстройки границ фильтрации может использоваться алгоритм, изменяющий границы полосы фильтрации, например, если проведенная фильтрация на стандартной полосе фильтрации не позволила выявить полезных для работы описываемой системы сигналов. Полученный массив данных (представленных в виде эпох) разбивается на два новых массива, состоящий каждый только из целевых и только из нецелевых эпох, в частности, один массив содержит целевые эпохи, а второй массив содержит нецелевые эпохи. Далее осуществляется упомянутая процедура даунсэмплинга («прореживания» данных), в процессе которой осуществляется понижение размерности данных за счет отбора (выбора) из общего массива фильтрованных данных каждого N-ного отсчета, таким образом, чтобы частота дискретизации упомянутого сигнала понизилась. Выбор степени даунсэмплинга может задаваться вручную, например, оператором, пользователем и т.д., или подстраиваться автоматически (в частности, с использованием алгоритма, перебирающего несколько различных параметров даунсэмплинга и выбирающий вариант, дающий наиболее содержательную информацию для дальнейшего анализа), например, компьютером (130А, 130Б) и/или центральным сервером 140, и/или средством снятия электроэнцефалограммы (120А, 120Б). После проведения всех подготовительных процедур (описанных выше способах обработки, таких, как даунсэмплинг, фильтрация, удаление артефактов) компьютером (130А, 130Б) и/или центральным сервером 140, и/или средством снятия электроэнцефалограммы (120А, 120Б) осуществляется генерация признаков: данные упомянутых массивов с целевыми и нецелевыми эпохами после всех подготовительных операций перегруппировываются компьютером (130А, 130Б) и/или центральным сервером 140, и/или средством снятия электроэнцефалограммы (120А, 120Б) таким образом, чтобы получились две двумерные матрицы. Такие упомянутые матрицы признаков являются входными данными для упомянутого классификатора. В частном случае, могут использоваться как линейные, так и нелинейные классификаторы. В частном случае, на выходе классификатор выдает вектор весов, который используется на следующей стадии для определения, по крайней мере, одной целевой команды.

Следующей стадией (этапом) является уже на основе имеющегося классификатора необходимость определения путем сравнения реакций ВП на все стимулы (стимулы-команды) в упомянутой матрице, какой стимул является целевым, т.е. на какой стимул направлено внимание пользователя (105А, 105Б). Таким образом, выбор пользователем (105А, 105Б) команд в ИМК-P300 происходит путем концентрации внимания пользователем (105А, 105Б) на выделении (подсветках, мерцании и т.д.) целевого стимула-команды и игнорировании подсветок остальных стимулов-команд. То есть становится возможным выбор любой команды из целого набора символов-команд, представленных на дисплее (110А, 110Б). Для определения целевой команды осуществляется применение (использование) алгоритмом обученного ранее классификатора к получаемым новым данным ЭЭГ. Для этого с исходным сигналом проделываются те же описанные выше операции предобработки (подготовительные процедуры). Далее к полученным признакам применяются имеющиеся упомянутые веса классификатора, в частности, к полученным признакам после проведения описанных подготовительных процедур, к полученным массивам данных применяется упомянутый классификатор. На основе применения весов классификатора к получаемым из ЭЭГ данным система, например, с использованием компьютера (130А, 130Б) и/или центрального сервера 140, осуществляет выделение среди всех предъявляемых стимулов, в частности, символов, один целевой стимул, в частности, символ.

То есть, в процессе эксплуатации, описываемая система осуществляет формирование меню из стимулов, в частности, по крайней мере, из двух, из символов, графического, текстового и т.д. представления таких стимулов, на дисплее (110А, 110Б), регистрирует ЭЭГ с использованием средства снятия электроэнцефалограммы (120А, 120Б) и сравнивает с использованием компьютера (130А, 130Б) и/или центрального сервера 140 полученные реакции мозга пользователя (105А, 105Б) с реакциями, которые могли бы быть сформированы в ответ на поведение (в частности, предъявления и возможные типы такого предъявления) каждого из стимулов (в частности, символов), присутствующих на дисплее (110А, 110Б). При выявлении соответствия, система выполняет команду, которая назначена для соответствующего стимула.

На ФИГ. 3 показана блок-схема алгоритма классификации.

В шаге 314 с использованием дисплея (110А, 110Б) осуществляется предъявление пользователю (105А, 105Б) целевых и нецелевых стимулов в рамках парадигмы ИМК-P300, в частности, последовательные выделения, в частности, подсветки групп стимулов, в частности, символов ИМК.

В шаге 324 с использованием средства снятия электроэнцефалограммы (120А, 120Б) осуществляется регистрация ЭЭГ в позициях с ожидаемыми наибольшими различиями реакций в ответ на целевые и нецелевые стимулы (где ожидаются наибольшие различия реакций в ответ на целевые и нецелевые стимулы).

В шаге 334 компьютером (130А, 130Б) и/или центральным сервером 140 осуществляется предобработка (процедура предобработки) сигнала, например, фильтрация и т.д., как описано выше.

В шаге 344 компьютером (130А, 130Б) и/или центральным сервером 140 осуществляется выделение отрезков (эпох) заданной длительности, привязанных к моменту подачи, в частности, предъявления, каждого стимула.

В шаге 354 компьютером (130А, 130Б) и/или центральным сервером 140 осуществляется формирование двух векторов признаков (выделенных эпох для каждого стимула в каждом канале ЭЭГ) – для целевых и нецелевых стимулов.

В шаге 364 компьютером (130А, 130Б) и/или центральным сервером 140 осуществляется классификация, в частности, для каждого признака рассчитываются веса, определяющие его значимость для различения класса целевых и нецелевых стимулов.

На ФИГ. 4 показан примерный вариант нейрогарнитуры, размещенной на голове пользователя.

Частным случаем средства снятия электроэнцефалограммы (120А, 120Б) является многоэлектродный электроэнцефалограф. В частном случае, для пациентов (пользователей) с органическими повреждениями участков головного мозга, а также и для пациентов, не потерявших функциональность, осуществляется настройка системы или, по крайней мере, одной ее части, в частности, энцефалографа (электроэнцефалографа), заключающаяся в том, что пользователю (105А, 105Б) предъявляют тестовые объекты и обеспечивают постобработку сигналов (данных) ЭЭГ таким образом, что обеспечивается максимальная различимость волн, используемых для определения объекта (символа или другого объекта), на котором сосредоточено внимание пользователя (105А, 105Б). При этом может быть осуществлена подстройка предъявления, в частности, частоты мерцания, стимулов (символов или других отображаемых объектов), обеспечивающей максимальную различимость, например, волны Р300, или могут быть исключены частоты, оказывающие индивидуальное негативное влияние, например, вызывающие предэпилептическое состояние. В частном случае, дополнительно исчезновение стимула (символа или другого объекта), с дисплея (экрана дисплея) может быть осуществлено путем плавного снижения яркости такого стимула. В частном случае настройка системы включает обучение описанных в данном изобретении алгоритмов.

Средство снятия электроэнцефалограммы (120А, 120Б), в частности, электроэнцефалограф является составной частью нейрогарнитуры, которая, обеспечивает закрепление на голове пользователя (105А, 105Б) электродов (115А, 115Б) в необходимых (определенных) позициях. В частном случае, в процессе упомянутой настройки системы, осуществляется настройка (системы) креплений, в частности, изменение местоположения, электродов (115А, 115Б) таким образом, чтобы все электроды плотно прилегали к поверхности головы пользователя (105А, 105Б) для обеспечения надежного получения сигнала ЭЭГ. Электроды располагаются в позициях, где регистрируемый сигнал ЭЭГ наиболее информативен для детектирования различий между реакциями в ответ на целевые и нецелевые стимулы. Предпочтительными областями являются теменные и латерально-затылочные области коры, как показано на ФИГ. 4.

С учетом описанного выше принципа работы системы, обеспечивается различимость реакций на целевые и нецелевые объекты внимания (мигающие последовательно в разные моменты времени и отличающиеся также позицией в пределах дисплея). Соответственно, осуществляется настройка системы, в частности, подстройка таких параметров, как временные характеристики стимулов (длительность подсветки, интервал между двумя ближайшими подсветками, общее количество подсветок и т.д.). Эти параметры, подбираются таким образом, чтобы общая частота стимуляции была комфортной (для пользователя) и не создавала побочных эффектов, в том числе в виде эпилепсии. Частотные характеристики стимулов определяются длительностью интервала «подсветка+пауза», которая, в частном случае, составляет около 200 мс (время экспозиции самого стимула вместе со временем, когда никакой символ не активен). В зависимости от индивидуальных возможностей (в частности, особенностей) и предпочтений пользователя (105А, 105Б) этот интервал может быть изменен (например, уменьшен для увеличения общей скорости работы (в частности, набора (ввода) символов), или увеличен, если пользователь не успевает реагировать на подсветки символов).

На ФИГ. 5 показана часть описываемой системы для одного пользователя, в частности, показано пользовательское оборудование 101.

Показанное на ФИГ. 5 пользовательское оборудование 101, относится к одному пользователю, в частности к пользователю 105А, компьютеру 130А, средству снятия электроэнцефалограммы 120А, связанным с ним электродам 115А, дисплею 110А, хотя, стоит понимать, что пользовательское оборудование или локальная часть системы может относиться к любому пользователю, например, к пользователю 105Б, компьютеру 130Б, средству снятия электроэнцефалограммы 120Б, связанным с ним электродам 115Б, дисплею 110Б и/или, по крайней мере, одному другому пользователю. Количество пользователей в описываемой системе, а также упомянутых компьютеров, средств, модулей, электродов, дисплеев и т.д., в частном случае не ограничено, и может зависеть от скорости соединения компьютера, или любой другой части описываемой системы (например, при наличии в их составе, или связанных с ними вычислительных устройств, средств, модулей и т.д. с возможностью осуществления соединения между такими устройствами, средствами, модулями и т.д.), с сетью (системой) Интернет, скорости обработки данных описываемых устройств, средств, модулей и т.д. и других их характеристик.

В частном случае реализации, осуществляется детектирование реакций ЭЭГ на предъявления, в частности, подсветки, командных экранных стимулов, таких, как, например, символы, связанных с модулем коммуникации 533, частным случаем которого является модуль интернет-коммуникации, и, по крайне мере, одним модулем управления, в том числе, по крайне мере, одним внешним устройством, в частном случае, являющимся системой (управления) умного дома, вертикализатором, креслом-коляской и т.д.

В частном случае, определяется темп предъявления стимулов, в частности, подсветок, индивидуально комфортный и безопасный для конкретного пользователя, например, снижающий риск возникновения эпилептического приступа.

В частном случае реализации, описываемая система содержит средства определения жизненных показателей пользователя и обеспечивает отключение (в частности, выключение) модуля коммуникации 533 и/или дисплея (110А, 110Б), и/или модуля генерации стимулов 513, и/или других модулей (средств, устройств и т.д.), например, при возникновении угрозы здоровью и/или жизни, и/или показателей, регистрируемых упомянутыми модулями (средствами, устройствами и т.д.) изменений, в частности, ухудшении состояния пользователя (105А, 105Б), например, при повышении артериального давления или повышении частоты пульса пользователя (105А, 105Б), регистрируемыми соответствующими модулями их частями, устройствами и т.д., например, тонометрами, пульсометрам и т.д., связанными, по крайней мере, с одной частью описываемой системы, в частности, по крайней мере, одним модулем, причем такие регистрирующие модули могут располагаться как на пользователе (105А, 105Б), так и являться дистанционными, в частности, позволяющими осуществлять упомянутую регистрацию на расстоянии от пользователя.

При общении пользователей, статусы участников общения (пользователей) могут задаваться пользователями или системой автоматизированного принятия решений, в частном случае, являющейся частью центрального сервера 140, компьютера и т.д. Статусы пользователей могут отличаться от статусов, заданных самими пользователей. Например, если средства слежения за параметрами жизнедеятельности пользователей (средства определения жизненных показателей пользователя), в частном случае, объединенные в систему или, в частном случае, в подсистему описываемой системы, слежения за параметрами жизнедеятельности пользователей, обнаруживают, в частности, регистрируют, что пользователь спит, то его статус автоматически переключается описываемой системой в режим «не беспокоить». В частном случае, если упомянутыми средствами зарегистрировано, что пользователь 105А находится в возбужденном состоянии, то описываемая система или, по крайней мере, один ее модуль, проверяет историю предшествующих связей, в частности, соединений, контактов и т.д., с другими пользователями, и отображает статусы других пользователей (участников). Система определяет связи пользователя 105А и статусы других пользователей, которые могут ухудшить состояние пользователя 105А, и переводит статус пользователя 105А в статус «не активный», даже если другие пользователи готовы к общению. Кроме этого, система может быть снабжена программной «аварийной кнопкой», используемой для рассылки тревожных сообщений пользователям, медицинскому персоналу и т.д.

Дополнительной особенностью организации интерфейса описываемой системы, в частном случае, является одновременное расположение на одном экране дисплея 110А модуля набора сообщений (программной, в частности, виртуальной, клавиатурой и окно с вводимым текстом), и перепиской, в частности, истории переписки, по крайней мере, с одним пользователем, в частности, с выбранным пользователем, в том числе появляющихся в реальном времени сообщений от этого пользователя. В частном случае, часть экрана или весь экран может быть использован для ввода информации, в частности, символов, с отображением или без отображения другой информации (связанной, по крайней мере, с одним пользователем, сообщениями пользователей, сообществами пользователей, комментариями пользователей, прикрепленными изображениями, уведомлениями и т.д.), причем, в частном случае, для просмотра отправленных и принятых сообщений пользователь может осуществлять выход из режима ввода информации (данных), в частности, набора (ввода) текста, или оставаться в режиме ввода информации.

В частном случае, описываемая система может являться социальной сетью или частью такой социальной сети, или другим средством взаимодействия пользователей друг с другом (в том числе может являться компьютерной игровой системой) с использованием различных устройств (модулей и т.д.), которые могут включать, по крайней мере, один процессор и/или, по крайней мере, один микроконтроллер, средства регистрации действий пользователей, например, использующихся для осуществления взаимодействия, в том числе, общения, пользователей друг с другом с использованием электронно-вычислительных устройств, например, оснащенных (или связанных с ними) средствами отображения информации, таких как, дисплеев, мониторов и т.д., и осуществляющих регистрацию действий пользователей, причем оконечные устройства (например, компьютер(ы), средство(средства) снятия электроэнцефалограммы (120А, 120Б) и т.д.) поддерживают, в том числе непрерывную, связь с центральным сервером 140, обеспечивающим вызов активных и/или неактивных пользователей и пересылку (передачу) сообщений.

В частном случае, модулем генерации стимулов 513 осуществляется создание, в частности, генерация, стимулов, отображаемых на дисплее 110А пользователю 105А. Создание стимулов модулем генерации стимулов 513 осуществляется с использованием характеристик стимулов. Характеристики стимулов и отображения стимулов, такие как, например, количество предъявляемых стимулов, (геометрические) размеры стимулов, скорость изменения (увеличения и уменьшения) размеров стимулов, время начала и окончания предъявления стимулов, частота мерцания стимулов, скорость изменение яркости стимулов, местоположение стимулов, скорость изменения местоположения стимулов, скорость перемещения стимулов, взаимное расположение стимулов относительно других стимулов, границ экрана, программного окна (интерфейсного контейнера) и т.д. задаются модулем генерации стимулов 513. В частном случае, ввод упомянутых характеристик стимулов может осуществляться в модуль генерации стимулов 513 оператором, в частности, медицинским персоналом, например, с использованием модуля задания характеристик стимулов, который может являться частью центрального сервера 140, компьютера 130А, подмодулем модуля генерации стимулов 513 или может быть связан с ними любым известным способом. Модуль генерации стимулов 513 также может осуществлять передачу данных в модуль обработки и анализа данных 523 для дальнейшей обработки или передачи на центральный сервер 140. Такими передаваемыми данными могут являться характеристики (параметры) генерируемых (и предъявляемых) стимулов, например, время создания (появления) стимулов, время исчезновения стимулов, количество стимулов и т.д., которые могут использоваться модулем обработки и анализа данных 523, как описано в рамках настоящего изобретения.

В частном случае, средство снятия (регистрации) электроэнцефалограммы 120A с использованием подключенных к нему электродов 115А осуществляет регистрацию электроэнцефалограммы (ЭЭГ), в частности, для регистрации мозговой активности (активности мозга) пользователя 105А на отображаемые пользователю 105А стимулы, в частности, на выбираемые пользователем 105А отображаемые на дисплее 110А стимулы, реакция на которые регистрируется средством снятия электроэнцефалограммы 120A. Зарегистрированная электроэнцефалограмма передается в модуль обработки и анализа данных 523 компьютера 130А с использованием проводных или/и беспроводных средств передачи данных. В частном случае, зарегистрированная электроэнцефалограмма может (также) передаваться на центральный сервер 140. В частном случае, перед передачей в модуль обработки и анализа данных 523 зарегистрированная электроэнцефалограмма может быть предварительно обработана средством снятия электроэнцефалограммы 120A или, по крайней мере, одной его частью, например, модулем предварительной обработки. Упомянутая предварительная обработка (предобработка) может включать, например, разбиение одного сигнала, регистрируемого средством снятия электроэнцефалограммы 120A, на несколько сигналов, выделение одного сигнала среди остальных сигналов, усреднение эпох, удаление (устранение) шумов, по крайней мере, одного сигнала, выделение волны P-300 и т.д. В частном случае, такая предварительная обработка может осуществляться центральным сервером 140 или компьютером, например, модулем обработки и анализа данных 523 и/или другим модулем, например, модулем предварительной обработки данных, являющимся частью центрального сервера 140 и/или компьютера 130А. В частном случае, модуль обработки данных и анализа данных 523 или, по крайней мере, одна его часть, в частности, подмодуль (субмодуль) может являться частью центрального сервера 140.

Данные, переданные в модуль обработки и анализа данных 523, в частности, переданные, средством снятия электроэнцефалограммы 120A, анализируются (и/или обрабатываются) таким модулем и/или передаются на центральный сервер 140, например, если, по крайне мере, вся или часть обработки и/или анализа таких данных осуществляется на центральном сервере 140.

В частном случае, модуль обработки и анализа данных 523 осуществляет соотнесение (в частности, сопоставление) зарегистрированной мозговой активности пользователя 105А (по временной шкале предъявления стимулов) с временем создания и характером, в частности, параметрами (характеристиками и т.д.), стимулов, переданных, средством снятия электроэнцефалограммы 120А и/или модулем генерации стимулов 513, в том числе, в соответствии с (в зависимости от) заболеванием (заболеваниями) пользователя 105А, параметрами стимулов и т.д. В частном случае, характеристики стимулов (и параметры, в частности, особенности, их предъявления) определяются, в частности, вычисляются, модулем обработки и анализа данных 523 с используемым машинным обучением, искусственным интеллектом и т.д., причем характеристики могут быть переданы в модуль генерации стимулов 513 и могут быть объединены с характеристиками стимулов, заданных (и/или хранящихся) в модуле генерации стимулов 513.

Характеристики стимулов и/или данные после анализа и обработки, как описано в рамках настоящего изобретения, и/или данные, регистрируемые (в реальном времени) или зарегистрированные средством снятия электроэнцефалограммы 120A передаются в модуль коммуникации 533, в частности, для передачи и обработки сервером 140 и/или другим компьютером, например, компьютером 130Б. В модуль коммуникации 533 также могут быть переданы характеристики стимулов из модуля генерации стимулов 513 средствами компьютера 130А.

Посредством выбора стимулов, в частности, реакции на стимулы, регистрируемой средством снятия электроэнцефалограммы 120A и обрабатываемой компьютером 130А, как описано в рамках настоящего изобретения, пользователь 105А может общаться с другими пользователями, в том числе, например, осуществлять ввод текстовых сообщений, управлять такими сообщениями, например, отправлять сообщения, выбрать пользователя, которому осуществить отправку сообщения, осуществлять переключение раскладки (программной) клавиатуры, выбрать регистр, размер, цвет и т.д. текста, выбрать и добавить изображение к сообщению, отвечать на сообщения других пользователей, добавлять комментарии к сообщениям и т.д.

Данные из модуля обработки и анализа данных 523 передаются в модуль коммуникации 533, который осуществляет передачу таких данных на центральный сервер 140. Центральный сервер 140 получает данные из модуля коммуникации 533, причем такие полученные данные могут передаваться в формате сообщений, в закодированном виде и т.д. В частном случае, на сервере 140 (в базе данных сервера 140 на устройстве хранения информации, в частности, хранилище данных) могут храниться передаваемые с компьютера (130А, 130Б) описанные в рамках настоящего изобретения настройки, например, для пользователей (110А, 110Б) с определенными заболеваниями, повреждениями определенных долей головного мозга и т.д. Центральный сервер 140 осуществляет передачу данных, в частности, сообщений, полученных с одного компьютера 130А, на другой компьютер, например, на компьютер 130Б, в частности, в модуль коммуникации такого компьютера 130Б с отображением их на дисплее такого компьютера, например, на дисплее 110Б. Упомянутая база данных может являться иерархической, объектной, объектно-ориентированной, документо-ориентированной, объектно-реляционной, реляционной, сетевой и/или функциональной базой данных, каждая из которых может быть централизованной, сосредоточенной, распределённой, неоднородной, однородной, фрагментированной (секционированной), тиражированной, пространственной, временной, пространственно-временной, циклической, сверх-большой базой данных и т.д., причем для управления, создания и использования баз данных могут использоваться различные системы управления базами данных (СУБД). В частном случае упомянутое хранилище данных может являться временным устройством хранения данных (например, Оперативным Запоминающим Устройством (ОЗУ)), постоянным хранилищем данных, например, (Программируемым) Постоянным Запоминающим Устройством (ПЗУ или ППЗУ), в том числе, реализуемым, по крайней мере, одной микросхемой или набором микросхем и т.д. Также, данные в хранилище данных могут храниться, по крайней мере, в одном файле, в частном случае, в виде текстового файла, либо данные могут храниться в любом, по крайней мере, одном другом известном в настоящее время формате хранения данных (информации) или в формате данных, изобретенном позднее.

На ФИГ. 6 показан примерный вариант экрана дисплея с отображенными объектами для взаимодействия пользователей. В частном случае, по крайней мере, один элемент, изображенный на ФИГ. 6 является стимулом. Как описано в рамках настоящего изобретения отображаемые объекты, в частности, объединенные в группы (или модули, в частности, программные модули) на экране дисплея 110А могут включать модуль набора сообщений 656, с использованием которого пользователь осуществляет ввод сообщений, например, по крайней мере, одному другому пользователю. Также отображаемые объекты могут включать историю переписки 646, например, по крайней мере, с одним пользователем, в виде отображения предыдущих и текущих (в частности, набираемых пользователем в реальном времени) сообщения.

Также отображаемые объекты могут включать окно, в частности, текстовое окно, ввода сообщений 616, в котором, в частном случае, пользователь осуществляет ввод сообщений и/или в котором пользователю отображается вводимое пользователем сообщение 626. В частном случае, окно ввода сообщений 616 также является стимулом, при выборе которого пользователя может осуществлять начало или продолжение ввода сообщения, причем программный курсор 636, который также может являться стимулом (выбираемым пользователем) может управляться пользователем, например, может перемещаться пользователем.

В частном случае, предъявляемые пользователю объекты могут быть сгруппированы, по крайней мере, в одну группу, например, в группу объектов, являющуюся модулем набора сообщений 656, и т.д. (которые на ФИГ. 6 изображены пунктирной линией), причем пользователь может переключаться между группами, как описано в рамках настоящего изобретения, например, группа может предъявляться пользователю в виде объекта, на который пользователь реагирует, либо пользователем могут быть использованы объекты, отображаемые на экране для переключения пользователя между упомянутыми группами, где упомянутые объекты переключения могут располагаться в пределах, по крайней мере, одной такой группы, располагаться за пределами такой группы, причем для отображения таких объектов переключения может использоваться, по крайней мере, один дополнительный слой отображения объектов, по крайней мере, на одном экране или в программном окне.

На ФИГ. 7 показан пример компьютерной системы общего назначения, которая включает в себя многоцелевое вычислительное устройство в виде компьютера 20 или сервера, или мобильного (вычислительного) устройства, или модуля описываемой в настоящем изобретении системы, которые, в частном случае, могут являться оконечными (вычислительными) устройствами (например, пользователя, оператора и т.д.), включающего в себя процессор 21, системную память 22 и системную шину 23, которая связывает различные системные компоненты, включая системную память с процессором 21.

Системная шина 23 может быть любого из различных типов структур шин, включающих шину памяти или контроллер памяти, периферийную шину и локальную шину, использующую любую из множества архитектур шин. Системная память 22 включает постоянное запоминающее устройство (ПЗУ) 24 и оперативное запоминающее устройство (ОЗУ) 25. В ПЗУ 24 хранится базовая система ввода/вывода 26 (БИОС), состоящая из основных подпрограмм, которые помогают обмениваться информацией между элементами внутри компьютера 20, например, в момент запуска.

Компьютер 20 также может включать в себя накопитель 27 на жестком диске для чтения с и записи на жесткий диск (не показан), накопитель 28 на магнитных дисках для чтения с или записи на съёмный магнитный диск 29, и накопитель 30 на оптическом диске для чтения с или записи на съёмный оптический диск 31 такой, как компакт-диск, цифровой видео-диск и другие оптические средства. Накопитель 27 на жестком диске, накопитель 28 на магнитных дисках и накопитель 30 на оптических дисках соединены с системной шиной 23 посредством, соответственно, интерфейса 32 накопителя на жестком диске, интерфейса 33 накопителя на магнитных дисках и интерфейса 34 оптического накопителя. Накопители и их соответствующие читаемые компьютером средства обеспечивают энергонезависимое хранение читаемых компьютером инструкций, структур данных, программных модулей и других данных для компьютера 20.

Хотя описанная здесь типичная конфигурация использует жесткий диск, съёмный магнитный диск 29 и съёмный оптический диск 31, специалист примет во внимание, что в типичной операционной среде могут также быть использованы другие типы читаемых компьютером средств, которые могут хранить данные, которые доступны с помощью компьютера, такие как магнитные кассеты, карты флеш-памяти, цифровые видеодиски, картриджи Бернулли, оперативные запоминающие устройства (ОЗУ), постоянные запоминающие устройства (ПЗУ) и т.п.

Различные программные модули, включая операционную систему 35, могут быть сохранены на жёстком диске, магнитном диске 29, оптическом диске 31, ПЗУ 24 или ОЗУ 25. Компьютер 20 включает в себя файловую систему 36, связанную с операционной системой 35 или включенную в нее, одно или более программное приложение (приложения) 37, другие программные модули 38 и программные данные 39. Пользователь может вводить команды и информацию в компьютер 20 при помощи устройств ввода, таких как клавиатура 40 и указательное устройство 42. Другие устройства ввода (не показаны) могут включать в себя микрофон, джойстик, геймпад, спутниковую антенну, сканер или любое другое.

Эти и другие устройства ввода соединены с процессором 21 часто посредством интерфейса 46 последовательного порта, который связан с системной шиной, но могут быть соединены посредством других интерфейсов, таких как параллельный порт, игровой порт или универсальная последовательная шина (УПШ). Монитор 47 или другой тип устройства визуального отображения также соединен с системной шиной 23 посредством интерфейса, например, видеоадаптера 48. В дополнение к монитору 47, персональные компьютеры обычно включают в себя другие периферийные устройства вывода (не показано), такие как динамики и принтеры.

Компьютер 20 может работать в сетевом окружении посредством логических соединений к одному или нескольким удаленным компьютерам 49. Удаленный компьютер (или компьютеры) 49 может представлять собой другой компьютер, сервер, роутер, сетевой ПК, пиринговое устройство или другой узел единой сети, а также обычно включает в себя большинство или все элементы, описанные выше, в отношении компьютера 20, хотя показано только устройство хранения информации 50. Логические соединения включают в себя локальную (вычислительную) сеть (ЛВС) 51 и глобальную компьютерную сеть (ГКC) 52. Такие сетевые окружения обычно распространены в учреждениях, корпоративных компьютерных сетях, Интернете.

Компьютер 20, используемый в сетевом окружении ЛВС, соединяется с локальной сетью 51 посредством сетевого интерфейса или адаптера 53. Компьютер 20, используемый в сетевом окружении ГКС, обычно использует модем 54 или другие средства для установления связи с глобальной компьютерной сетью 52, такой как Интернет.

Модем 54, который может быть внутренним или внешним, соединен с системной шиной 23 посредством интерфейса 46 последовательного порта. В сетевом окружении программные модули или их части, описанные применительно к компьютеру 20, могут храниться на удаленном устройстве хранения информации. Надо принять во внимание, что показанные сетевые соединения являются типичными, и для установления коммуникационной связи между компьютерами могут быть использованы другие средства.

В заключение следует отметить, что приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего изобретения, определенного формулой. Специалисту в данной области становится понятным, что могут существовать и другие варианты осуществления настоящего изобретения, согласующиеся с сущностью и объемом настоящего изобретения.

1. Система для коммуникации пользователей без использования речи и движения, содержащая средство регистрации электроэнцефалограммы пользователя, информационные выходы которой соединены с блоком обработки данных, видеовыход которого соединен с дисплеем, а сетевой интерфейс предназначен для соединения с удаленным сервером, предназначенным для формирования социальной сети, выполненной с возможностью общения нескольких пользователей в режиме реального времени, при этом средство регистрации электроэнцефалограммы выполнено с возможностью регистрации электроэнцефалограммы путем определения активности головного мозга по результатам измерения электрических потенциалов на поверхности кожи головы пользователя в режиме реального времени, выделения из электроэнцефалограммы параметров по крайней мере одной компоненты вызванных потенциалов (ВП) с заранее заданными базовыми характеристиками и формирования выходного сигнала в виде описания параметров по крайней мере одной компоненты вызванных потенциалов в цифровом виде, блок обработки данных выполнен формирующим на экране дисплея изменяющиеся световые стимулы, имеющие различные параметры изменения во времени такие, что при удержании внимания пользователя на различных стимулах по крайней мере одна компонента вызванных потенциалов имеет различные параметры, при этом каждому из стимулов приведено в соответствие заранее заданное действие, блок обработки данных выполнен определяющим, в режиме реального времени, стимулы, непосредственно выбранные пользователем, и выполняющим действия, соответствующие выбранным пользователем стимулам посредством отслеживания выбора объектов из множества объектов, при этом выбранными пользователем стимулами считаются стимулы, параметры реакций в ответ на которые максимально соответствуют параметрам по крайней мере одной компоненты вызванных потенциалов, возникающих в процессе формирования стимулов на экране устройства, при этом экран устройства выполнен с возможностью отображения результатов выполнения действий, по результатам предъявления стимулов нескольким пользователям на нескольких экранах, выделение параметров по крайней мере одной компоненты вызванных потенциалов из электроэнцефалограммы производится блоком обработки данных, а передача сведений о действиях по результатам предъявления стимулов между блоками обработки данных различных пользователей осуществляется посредством удаленного сервера.

2. Система по п. 1, отличающаяся тем, что выделение параметров по крайней мере одной компоненты вызванных потенциалов из электроэнцефалограммы производится блоком обработки данных с использованием машинного обучения, учитывающего характер ограниченных двигательных и речевых функций пользователя.

3. Система по п. 1, отличающаяся тем, что машинное обучение производится для каждого пользователя отдельно.

4. Система по п. 1, отличающаяся тем, что средство регистрации электроэнцефалограммы выполнено содержащим электроды, предназначенные для соединения с кожей головы пользователя, установленные в средстве крепления с возможностью перемещения.

5. Система по п. 4, отличающаяся тем, что средство крепления выполнено с возможностью установки и снятия электродов.

6. Система по п. 1, отличающаяся тем, что компонентом вызванного потенциала с заранее заданными характеристиками является волна Р300.

7. Система по п. 1, отличающаяся тем, что она содержит блок задания параметров стимулов.

8. Система по п. 7, отличающаяся тем, что одним из параметров стимула является момент времени начала отображения стимула.

9. Система по п. 8, отличающаяся тем, что по крайней мере одним из других параметров стимула является момент гашения стимула, скорость перемещения стимула по дисплею, яркость свечения стимула, частота мерцания стимула, геометрические размеры стимула, очертания стимула, информация, изображенная на стимуле.

10. Система по п. 9, отличающаяся тем, что геометрические размеры стимула задаются в соответствии с угловыми размерами расположенного на дисплее стимула, определенными относительно положения пациента, и эти размеры подстраиваются индивидуально для каждого пользователя, чтобы обеспечить наилучшее визуальное различение им стимула для наиболее эффективного детектирования вызываемой стимулом реакции ВП.

11. Система по п. 8, отличающаяся тем, что моменты времени начала отображения стимулов задаются различными настройками с обеспечением цикличного отображения стимулов на экране.

12. Система по п. 11, отличающаяся тем, что частота циклов отображения стимулов выбирается такой, что минимизируются потенциальные негативные последствия для пользователя от наблюдения за стимулами на экране дисплея посредством исключения частот, вызывающих предэпилептическое состояние, при выборе частоты циклов.

13. Система по п. 10, отличающаяся тем, что размеры стимулов обеспечивают различимость стимулов на экране и информации, относящейся к стимулам.

14. Система по п. 1, отличающаяся тем, что она выполнена с отображением на одном дисплее модуля набора сообщений с виртуальной клавиатурой, модуля отображения набираемых сообщений и модуля отображения переписки.

15. Система по п. 14, отличающаяся тем, что модуль отображения переписки выполнен отображающим историю переписки по крайней мере с одним другим пользователем.

16. Система по пункту 15, отличающаяся тем, что модуль отображения переписки отображает сообщения, сформированные другим пользователем в реальном времени.

17. Система по любому из предыдущих пунктов, отличающаяся тем, что средство регистрации электроэнцефалограммы выполнено с возможностью выделения блоком обработки данных из электроэнцефалограммы параметров более одной компоненты вызванных потенциалов с заранее заданными базовыми характеристиками и формирования выходного сигнала в виде описания параметров компонент вызванных потенциалов в цифровом виде, а выбранными пользователем стимулами считаются стимулы, параметры реакций в ответ на которые максимально соответствуют параметрам компонентов ВП, возникающих в процессе формирования стимулов на экране устройства.