Симуляционный комплекс для безпасного обучения медицинского персонала в условиях пандемии

Настоящее техническое решение относится к области вычислительной техники. Предложен симуляционный комплекс для медицинского персонала в условиях пандемии, содержащий, по меньшей мере, одну XR-станцию, включающую в себя набор реалистичных сценариев в виртуальной реальности по отработке навыков техники личной безопасности медицинского персонала в условиях пандемии, а также диагностики и лечения пациентов с COVID-19; вычислительный центр для централизованного управления, мониторинга и учета проведенных сессий обучения медицинского персонала, по меньшей мере, одной XR-станции, причем XR-станция содержит, по меньшей мере, одну систему для полного погружения пользователя в виртуальную реальность, причем система для полного погружения пользователя в виртуальную реальность содержит, по меньшей мере, беспроводные очки виртуальной реальности и набор беспроводных нательных датчиков захвата движений; систему трекинга пользователей в пространстве, для определения позиции и ориентации реального пользователя в виртуальной среде, причем система трекинга содержит, по меньшей мере, 2 модуля для определения позиции и ориентации пользователя в виртуальной среде, которые установлены в углах помещения, в котором осуществляется безопасное обучение медицинского персонала в условиях пандемии; центр администрирования, содержащий, по меньшей мере, два вычислительных устройства, устройство отображения и приемопередатчик видеосигнала. Изобретение обеспечивает безопасное обучение медицинского персонала в условиях пандемии, а также расширение арсенала технических средств симуляционного комплекса. 1 з.п. ф-лы, 6 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области вычислительной техники, в частности к комплексам для безопасного обучения медицинского персонала в условиях пандемии.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известно решение, выбранное в качестве наиболее близкого аналога, RU 2715148 С1, 25.02.2020. Данное решение относится к области вычислительной техники, а именно к симуляторам с использованием виртуальной реальности. Симулятор включает в себя ПК с машиночитаемым носителем. Он состоит из логической части симулятора и графической трехмерной оболочки, которые подключаются к компьютеру. Он также включает периферийные устройства для навигации в виртуальной среде. Логическая часть в виде программного комплекса включает связанные между собой посредством локального программного интерфейса модуль коммутации и модуль оценки. Коммутационный VR-симулятор спроектирован таким образом, что оператор связан двусторонней связью с инструктором и очками виртуальной реальности. В состав очков виртуальной реальности входят: шлем, наушники, микрофон, манипулятор-контроллер, трекеры положения и платформа для передвижения. Очки виртуальной реальности имеют двустороннее подключение к программной системе. Он состоит из модуля набора сценариев, модуля редактора сценариев и базового модуля программного ядра. Модуль двигателя состоит из модуля симулятора, модуля переключения, модуля оценки и голосового модуля.

Однако стоит отметить, что в известном уровне техники, не раскрыта информация об объективной автоматической оценке действий обучаемого пользователя за счет центра администрирования и вычислительного центра для централизованного управления, мониторинга и учета проведенных сессий обучения.

Предлагаемое решение направлено на устранение недостатков современного уровня техники и отличается от известных решений тем, что предложенный комплекс обеспечивает объективную автоматическую оценку действий обучаемого пользователя.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное решение, является создание симуляционного комплекса для безопасного обучения медицинского персонала в условиях пандемии. Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения.

Технический результат заключается в обеспечении безопасного обучения медицинского персонала в условиях пандемии. Дополнительный технический результат заключается в расширении арсенала технических средств симуляционного комплекса.

Заявленные технические результаты достигаются за счет осуществления симуляционного комплекса для безопасного обучения медицинского персонала в условиях пандемии, который содержит:

по меньшей мере, одну XR-станцию, включающую в себя набор реалистичных сценариев в виртуальной реальности по отработке навыков техники личной безопасности медицинского персонала в условиях пандемии, а также диагностики и лечения пациентов с COVID-19;

вычислительный центр для централизованного управления, мониторинга и учета проведенных сессий обучения медицинского персонала, по меньшей мере, одной XR-станции, причем

XR-станция содержит:

по меньшей мере, одну систему для полного погружения пользователя в виртуальную реальность, причем

система для полного погружения пользователя в виртуальную реальность содержит, по меньшей мере: беспроводные очки виртуальной реальности и набор беспроводных нательных датчиков захвата движений;

систему трекинга пользователей в пространстве, для определения позиции и ориентации реального пользователя в виртуальной среде, причем

система трекинга содержит, по меньшей мере, 2 модуля для определения позиции и ориентации пользователя в виртуальной среде, которые установлены в углах помещения, в котором осуществляется безопасное обучение медицинского персонала в условиях пандемии;

центр администрирования, содержащий, по меньшей мере, два вычислительных устройства, устройство отображения и приемопередатчик видеосигнала.

В частном варианте реализации описываемого симуляционного комплекса, XR-станция дополнительно содержит наборы одноразовых гигиенических накладок под очки виртуальной реальности и нательные датчики.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

Фиг. 1 иллюстрирует датчики захвата движений пользователя.

Фиг. 2 иллюстрирует вычислительный центр.

Фиг. 3 иллюстрирует работу системы захвата движений с помощью беспроводных трекеров.

Фиг. 4 иллюстрирует кадр из сценария выявление COVID-19 на амбулаторном приеме.

Фиг. 5 иллюстрирует кадр из сценария COVID-19 в условиях интенсивной терапии.

Фиг. 6 иллюстрирует схему вычислительного устройства.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако квалифицированному в предметной области специалисту будет очевидно, каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Компьютерные технологии активно используются в образовательном процессе практически по всему миру. Создание обучающих компьютерных симуляторов представляет собой одно из ключевых направлений в компьютеризации обучения. Полное погружение в виртуальную реальность и взаимодействие с ее объектами достигается только при использовании специальных устройств. Такие устройства, которые обеспечивают полное погружение в виртуальную реальность и имитируют взаимодействие человека с ней с помощью органов чувств, называют системами виртуальной реальности (VR).

Важным фактором для повышения уровня погружения в виртуальную среду является возможность интерактивного взаимодействия с элементами окружения и персонажами в виртуальной реальности.

Предлагаемое техническое решение, при помощи сквозных цифровых технологий виртуальной и дополненной реальности, обеспечивает непрерывное обучение медицинского персонала работе в условиях пандемии.

Симуляционный комплекс (XR-центр) для безопасного обучения медицинского персонала в условиях пандемии преобразовывает процессы симуляционного обучения медицинского персонала.

Преобразование, в первую очередь, касается обеспечения безопасного социального дистанцирования обучаемого медицинского персонала, минимизации рисков заражения любыми формами инфекций.

Сквозные цифровые технологии виртуальной и дополненной реальности:

Обеспечивают процесс симуляционного обучения медицинского персонала качественным погружением в симуляционную среду;

Обучают пользователей правилам и методам проведения амбулаторного приема, биологической безопасности и работе в интенсивной терапии в условиях пандемии;

Позволяют сэкономить значительные ресурсы по оснащению симуляционного центра;

Распределяют потоки обучаемых по локациям, обеспечивая необходимую социальную дистанцию и контроль усвоения материала при помощи объективной автоматической оценки действий обучаемого пользователя. Оценка действий пользователя происходит в конце сессии обучения. После каждой сессии обучения автоматически выставляется количество баллов, отражающее правильность выполнения действий обучаемого пользователя;

Уменьшают количество физических предметов, с которыми контактируют обучаемые, минимизируя распространение инфекций;

Исключают из процесса обучения присутствие актеров, симулирующих поведение пациента, что исключает дополнительный риск заражения инфекциями.

Симуляционный комплекс позволяет обеспечить значительное снижение риска заражения в процессе обучения специалистов в области здравоохранения (студенты, ординаторы, врачи) и содержит распределенную сеть симуляторов с единой системой управления, мониторинга и учета проведенных сессий.

Вычислительный центр (Смарт центр) представлен на Фиг. 2. Вычислительный центр - уникальная система, реализующая централизованный мониторинг, управление и ведение статистики проведенных сессий XR-станций, распределенных по различным локациям. При этом, необходимо учитывать, что количество XR-станций может не ограничиваться и все XR-станции могут находиться под единым управлением вычислительного центра. В функционал центра входит:

Отображение XR-станций на карте;

Отображение состояния XR-центра в данный момент времени;

Доступ к истории проведенных сессий и статистике;

Доступ к камерам видеонаблюдения в каждой XR-станции;

Централизованный доступ к учетным записям обучающихся и к результату проведенных с их участием сессий;

Мониторинг событий в виртуальном окружении XR станций в реальном времени;

Система мониторинга и управления сессиями XR-станций обеспечивает:

Распределение потоков обучающихся для снижения риска заражения в условиях эпидемий;

Автоматизированный сбор статистики, привязанной к учетным записям обучающихся;

Компактность, мобильность, гигиеничность оборудования;

Наличие сценариев по обучению диагностике и безопасности при работе с пациентами с подозрением на COVID-19.

XR-станции с кейсами (наборами сценариев) по противодействию COVID-19 выполнены в виде станций для отработки навыков техники личной безопасности медицинского персонала в условиях пандемии. XR - «Extended Reality» или «расширенная реальность». "Станция" - широко распространенный в симуляционной медицине термин, его можно трактовать как «Станция ОСКЭ (Объективный структурированный клинический экзамен)» или как отсылку в историю инфекционной медицины, в которой использовался термин "станция" для обозначения специальных противоэпидемиологических станций, которые размещались на базе больниц и медицинских университетов в XIX веке для противодействия эпидемии бешенства. XR-станция содержит:

Систему полного погружения в виртуальную реальность (беспроводные очки виртуальной реальности, набор беспроводных нательных датчиков захвата движений).

Систему трекинга пользователей в пространстве (компактные модули, закрепляемые в углах помещения);

Центр администрирования, содержащий по меньшей мере два вычислительных устройства, устройство отображения и приемопередатчик видеосигнала;

Наборы одноразовых гигиенических накладок под очки виртуальной реальности и нательные датчики.

XR-станция включает в себя набор высокореалистичных сценариев в виртуальной реальности по отработке навыков техники личной безопасности медицинского персонала в условиях COVID-19, а также диагностику и лечение пациентов с COVID-19.

Набор сценариев включает в себя:

Отработку навыков обеспечения безопасности врача при работе с пациентами с заражением COVID-19, включающая работу со средствами индивидуальной защиты, утилизацией отходов;

Прием пациентов с подозрением на COVID-19 в кабинете врача;

Работа с пациентами с заражениями COVID-19 различных степеней тяжести в палате интенсивной терапии с использованием аппаратов искусственной вентиляции легких (ИВЛ).

За счет центра администрирования появляется возможность наблюдать за изображениями с систем видеонаблюдения, которые установленных в каждом симуляторе, наблюдать за процессом обучения в реальном времени, просматривать записи проведенных сессий и базу данных учетных записей пользователей.

Для взаимодействия с виртуальным миром применяется комплексная технология полного погружения в виртуальную реальность. В ней реализована система определения положения в пространстве человека и частей его тела.

Благодаря этому процессу взаимодействие обучающегося с виртуальным миром происходит естественным образом без контроллеров.

В качестве комплексной технологии для полного погружения в виртуальную реальность может применяться технология Atlas VR, которая позволяет проводить любые взаимодействия с виртуальным пациентом. За счет этого нет необходимости применять физические модели (манекены пациентов) или привлекать актеров для проведения физикальных исследований (перкуссия, аускультация) и других исследований и проводить оперативные вмешательства на виртуальном пациенте.

Обучающийся пользователь естественным образом перемещается в пространстве, видит себя, взаимодействует с интерактивными объектами собственными руками без проводов и контроллеров. Перчатки с тактильной обратной связью обеспечивают возможность ощущать процесс взаимодействия с виртуальными объектами и пациентом.

Комплекс технологий трекинга содержит систему трекинга пользователей в пространстве и костюм виртуальной реальности.

Характеристики системы трекинга пользователей в пространстве:

Частота выдачи координат: 90 Гц;

Чувствительность определения координат: 1 мм;

Количество отслеживаемых пользователей одновременно: 4;

Возможность масштабирования системы для покрытия трекингом до 100 кв. м.

Костюм виртуальной реальности состоит из набора инерциальных датчиков, закрепленных на теле пользователя, и отслеживает угловые координаты частей тела пользователя в реальном времени.

Система отслеживания положений рук и ног пользователей реализована с помощью набора из четырех датчиков на каждом пользователе.

Характеристики системы отслеживания:

Частота выдачи ориентаций каждого датчика: 100 Гц;

Угловое разрешение: 16 бит;

Диапазон измеряемых угловых скоростей: +/- 2000 град./сек; Диапазон измеряемых ускорений: +/- 4g;

Программный рантайм, выполняющий прием данных в систему трекинга и костюмов, расчет итоговых координат ключевых точек и передачу данных в Unreal Engine 4;

Совместимость с UE4 и Unity.

Перчатки с тактильной обратной связью обеспечивают вибрационную обратную связь при выполнении интерактивных действий. Дополнительно присутствует эргономичная кнопка для выполнения функций захвата виртуальных объектов.

Технология трекинга частей тела пользователя и перчатки позволяют пользователю естественным образом перемещаться, взаимодействовать с виртуальными объектами и чувствовать тактильную обратную связь.

При этом технология реализует алгоритмы быстрой автоматизированной калибровки системы под конкретного пользователя, позволяющие значительно повысить эргономику и скорость подключения нательных датчиков. Пользователь встает прямо, руки по швам. Администратор инициирует процесс калибровки, и система определяет правильность закрепления датчиков на пользователе, тем самым упрощая и ускоряя процесс подключения пользователя к комплексу.

Полноту погружения дополнительно обеспечивают библиотеки моделей, анимаций и алгоритмов игровой механики для окружения, интерактивных объектов и виртуальных пациентов в симуляции.

Внешний вид модели пациента соответствует состоянию его здоровья, что можно использовать для постановки диагноза. Это реализовано за счет высокополигональных моделей, текстур высокого разрешения, анимаций, записанных актерами с помощью технологии Motion capture, и озвучки реплик, также выполненной профессиональными актерами.

Использование системы full body tracking, в отличие от классических VR джойстиков, позволяет естественным образом взаимодействовать с пациентами и интерактивными объектами. Такое взаимодействие не требует специального обучения для пользователя, а также позволяет расширить круг взаимодействий, включая такие манипуляции, как перкуссию, пальпацию, полноценную работу с аппаратом ИВЛ и т.д.

При этом предлагаемое техническое решение содержит систему интеграции и наращивания контента, которая позволяет быстро добавлять новые клинические случаи, что дает неограниченные возможности по расширению библиотеки сценариев. Все это обеспечивает качественный отрыв от конкурирующих решений и позволяет задать новый технический стандарт в симуляционной медицине.

Предлагаемое решение позволяет обучаться на самом высоком уровне образовательного процесса, проводить аккредитацию специалистов и приобретать первые профессиональные навыки без риска для пациентов.

Применение методологии Customer Relationship Management (CRM) обеспечивает тренировку психомоторики и сенсомоторики, технических и нетехнических навыков: коммуникация, лидерство, управление ресурсами команды, работа в сложной реалистичной обстановке гибридной операционной.

При этом симуляционный комплекс обеспечивает повышенную эргономику за счет работы симулятора без проводов.

Работа симулятора реализована с помощью двух технологий:

Система беспроводной передачи видеосигнала в очки виртуальной реальности;

Набор из беспроводных трэкеров для отслеживания положения рук, ног и головы пользователя в пространстве.

Вышеуказанные беспроводные технологии делают симуляционный комплекс компактным, позволяют быстро развертывать его в ограниченном пространстве, увеличивают пропускную способность.

В качестве элементов системы для полного погружения пользователя в виртуальную реальность могут использоваться:

Беспроводные очки виртуальной реальности (например, НТС Vive Pro) с приемником высокочастотного видеосигнала;

Пара инфракрасных камер для трекинга рук; Базовые станции системы трекинга Lighthouse;

4 нательных датчика для отслеживания положений частей тела пользователя;

Пара беспроводных перчаток (например, XR-Clinic Glove). Дополнительно, симуляционный комплекс оборудован роутером и IP камерой видеонаблюдения.

Основными отличительными признаками от известных аналогов являются следующие признаки:

Использование датчиков захвата движений пользователя (Фиг. 1). Применение алгоритмов построения скелета виртуального аватара пользователя, что позволяет выполнять трекинг движений всего тела, включая руки, ноги, пальцы рук.

Система беспроводной передачи видеосигнала в очки виртуальной реальности. Это освобождает пользователя от необходимости носить на себе рюкзак с игровым компьютером или быть привязанным проводами к стационарному системному блоку;

Комплекс из четырех беспроводных датчиков захвата движений пользователя и универсальная система калибровки, позволяющая быстро прикреплять датчики, без необходимости обеспечения определенной ориентации на теле пользователя;

Отсутствие необходимости в ношении VR контроллеров;

Отсутствие необходимости в обучении использованию симулятора за счет естественного взаимодействия с виртуальным окружением (захват виртуальных объектов, передвижение по локации своими ногами, использование инструментов как в реальной жизни).

Реалистично воссозданное динамическое виртуальное окружение;

Уникальные перчатки, разработанные специально для проекта "XR клиника", включающие набор инерциальных датчиков для отслеживания ориентации кистей рук пользователя, датчик сжатия ладони для захвата виртуальных объектов и систему тактильной обратной связи. Перчатки подключаются к системе по беспроводному радиоканалу;

Интерактивное окружение, включая медицинские инструменты, виртуальных пациентов, медсестер;

Автоматизированная система объективной оценки действий обучающихся в соответствии с актуальными рекомендациями Министерства здравоохранения;

Удаленные обновления, включающие новые сценарии, новые локации, обновления системы автоматизированной объективной оценки действий обучающихся, списков медикаментов, протоколов лечения и результатов обследований виртуальных пациентов.

Средствами для разработки предлагаемого технического решения являлись: Интегрированная среда разработки на языке С++Visual Studio; Интегрированная среда разработки программного кода для микроконтроллеров на языке С CubelDE; Игровой движок Unreal Engine 4; 3D редактор 3DS Мах;

Фреймворк для разработки VR продуктов SteamVR.

Методами и алгоритмами, которые использовались при разработке предлагаемого решения, являлись: Фильтр Калмана;

Алгоритмы инверсной кинематики;

Алгоритмы автоматической калибровки датчиков.

Программное обеспечение XR-станции состоит из 2 лицензий:

- Лицензия администратора XR-станции;

- Лицензия пользователя XR-станции («XR-станция с кейсами по противодействию COVID-19» (10 кейсов).

Программное обеспечение Смарт центра состоит из системы управления на 30 и более пользователей.

На Фиг. 6 далее будет представлена общая схема вычислительного устройства (N00), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

В общем случае устройство (600) содержит такие компоненты, как: один или более процессоров (601), по меньшей мере одну память (602), средство хранения данных (603), интерфейсы ввода/вывода (604), средство В/В (605), средства сетевого взаимодействия (606).

Процессор (601) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (600) или функциональности одного или более его компонентов. Процессор (601) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (602).

Память (602), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.

Средство хранения данных (603) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (603) позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.

Интерфейсы (604) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.

Выбор интерфейсов (604) зависит от конкретного исполнения устройства (600), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств В/В данных (605) в любом воплощении системы, реализующей описываемый способ, должна использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (606) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (605) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты устройства (600) сопряжены посредством общей шины передачи данных (610).

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

1. Симуляционный комплекс для медицинского персонала в условиях пандемии, содержащий:

по меньшей мере, одну XR-станцию, включающую в себя набор реалистичных сценариев в виртуальной реальности по отработке навыков техники личной безопасности медицинского персонала в условиях пандемии, а также диагностики и лечения пациентов с COVID-19;

вычислительный центр для централизованного управления, мониторинга и учета проведенных сессий обучения медицинского персонала, по меньшей мере, одной XR-станции, причем

XR-станция содержит:

по меньшей мере, одну систему для полного погружения пользователя в виртуальную реальность, причем

система для полного погружения пользователя в виртуальную реальность содержит, по меньшей мере, беспроводные очки виртуальной реальности и набор беспроводных нательных датчиков захвата движений;

систему трекинга пользователей в пространстве, для определения позиции и ориентации реального пользователя в виртуальной среде, причем

система трекинга содержит, по меньшей мере, 2 модуля для определения позиции и ориентации пользователя в виртуальной среде, которые установлены в углах помещения, в котором осуществляется безопасное обучение медицинского персонала в условиях пандемии;

центр администрирования, содержащий, по меньшей мере, два вычислительных устройства, устройство отображения и приемопередатчик видеосигнала.

2. Симуляционный комплекс по п.1, в котором XR-станция дополнительно содержит наборы одноразовых гигиенических накладок под очки виртуальной реальности и нательные датчики.