Способ диагностики признаков бронхолегочных заболеваний, сопутствующих заболеванию вирусом covid-19
Владельцы патента RU 2758550:
Общество с ограниченной ответственностью "Кардио Маркер" (RU)
Изобретение относится к медицине и может быть использовано в практической медицине для неинвазивной диагностики заболеваний бронхолегочной системы. Осуществляют регистрацию трех типов аудиозаписей от пациента: кашля, дыхания, речи, осуществляют дискретное интегральное преобразование аудиозаписей, результатом которого является получение набора спектрограмм этих аудиозаписей, проводят дополнительную сегментацию спектрограмм на отдельные фрагменты с пересечениями по времени, применяют к полученным фрагментам спектрограмм методы предобработки сигнала с применением сверхточных линейных слоев и получением набора векторов признаков, которые подают на вход сверточной нейронной сети для классификации с получением на выходе сформированного вектора признаков, проводят объединение полученных векторов признаков от трех исходных аудиозаписей, преобразуют объединения полученных векторов с применением линейного слоя и по полученным результатам формируют заключение о здоровье пациента. Изобретение обеспечивает автоматизацию и упрощение технологического процесса по диагностике COVID методами глубокого машинного обучения. 4 з.п. ф-лы, 10 ил.
Изобретение относится к медицине и может быть использовано в практической медицине для неинвазивной диагностики заболеваний бронхолегочной системы.
Разработанное техническое решение характеризует способ диагностирования акустических признаков вызванных изменениями в дыхательном тракте, сопутствующих заболеванию Covid. Методами глубокого обучения решена задача регрессии, определения вероятности по записям кашля, дыхания и речи наличия у человека заражения вирусными заболеваниями, оказывающими влияние на дыхательный тракт человека, в частности вызванных вирусом COVID-19.
Известен (RU, патент 2304928, опубл. 27.08.2007) способ акустической диагностики очаговых изменений в легких человека, включающий регистрацию и вычисление спектра акустических сигналов проведенного звука голоса на поверхности грудной клетки в симметрично расположенных справа и слева точках обследования, измерение и сравнительную оценку их амплитуд. Спектр зарегистрированного сигнала вычисляют в полосе частот от 80 до 2000 Гц в логарифмическом масштабе по амплитуде в каждой точке обследования, измеряют амплитуды и частоты первого (A1, f1), второго (А2, f2), третьего (A3, f3) спектральных максимумов, расположенных на гармонически связанных частотах и имеющих уровень не ниже 60 дБ от уровня первого максимума, вычисляют отношения А12/f21, равное отношению (А1-А2) к (f2-f1), A23/f32, равное (А2-А3) к (f3-f2), разность ΔΑ12 величин А1 и А2 над симметричными точками справа (D) и слева (S), при этом сравнение полученных величин проводят с соответствующими пороговыми значениями для данного типа заболевания, а патологическое снижение пневмотизации в точке обследования фиксируют, если выполняется, по крайней мере, одно из условий: A12/f21 меньше первого порогового значения данного параметра (А12/f21)п1, A23/f32 меньше первого порогового значения данного параметра (A23/f32)п1, f1 больше порогового значения данного параметра (f1)п, ΔΑ12 меньше первого порогового значения данного параметра (ΔΑ12)п1 для точек обследования правого легкого, ΔΑ12 больше второго порогового значения данного параметра (ΔΑ12)п2 для точек обследования левого легкого, а патологическое увеличение пневмотизации в точке обследования фиксируют, если А12/f21 больше второго порогового значения данного параметра (А12/f21)п2 и/или A23/f32 больше второго порогового значения данного параметра (A23/f32)п2, причем величины первого и второго пороговых значений вычисляют как 5% и 95% персентили распределения данных параметров по группе здоровых.
Известен также (RU, патент 2354285, опубл. 10.05.2009) способ диагностики обструктивных нарушений функций внешнего дыхания путем проведения бронхофонографии и регистрации респираторного цикла, причем оценивают следующие параметры: акустический эквивалент работы дыхательных мышц (АРД) в различных частотных диапазонах: АРД0 - 200-1200 Гц, АРД1 - 1200-12600 Гц, АРД2 - 5000-12600 Гц, АРД3 - 1200-5000 Гц; вычисляют коэффициенты Κ1, K2, K3: K1=АРД1/АРД0×100, K2=АРД2/АРД0×100, K3=АРД3/АРД0×100; ΔK, соответствующий приросту показателей коэффициентов K, а именно ΔK=K форсированного выдоха - K спокойного дыхания/K спокойного дыхания × 100; индекс прироста коэффициента (ИПК)=ΔK2/ΔK3 и при значениях в режиме спокойного дыхания: АРД1 и АРД3 более 100 мДж; K1 и K3 более 15; ΔΚ1 и ΔΚ3 менее 200% и ИПК 2 и более диагностируют обструктивные нарушения функций внешнего дыхания.
Также известен (RU, патент 2598051, опубл. 20.09.2016) Способ определения изменений голосовой функции человека при ХОБЛ, включающий измерения параметров изменения голосообразующей функции на основе акустического анализа с помощью компьютерной программы Specta PLUS, отличающийся тем, что проводят определение характеристик частоты основного тона, максимального времени фонации и участков голосового шума, последовательно в динамике и при увеличении на 10-й день лечения частоты основного тона до 142,6±15,2, максимального времени фонации до 20,5±2,9, участков голосового шума до "+" определяют улучшение голосовой функции человека.
Недостатком всех перечисленных технически решений следует признать их неприменимость к диагностике заболеваний, вызванных вирусом COVID-19.
Техническая проблема, решаемая использованием разработанного способа, состоит в расширении арсенала средств диагностики заболеваний, вызванных вирусом COVID-19.
Технический результат, достигаемый при реализации разработанного способа, состоит в автоматизации и упрощении технологического процесса по диагностике COVID методами глубокого машинного обучения.
Для достижения указанного технического результата предложено использовать разработанный способ диагностики признаков бронхолегочных заболеваний, сопутствующих заболеванию вирусом COVID-19. При реализации разработанного способа осуществляют регистрацию трех типов аудиозаписей от пациента: кашля, дыхания, речи, осуществляют дискретное интегральное преобразование аудиозаписей, результатом которого является получение набора спектрограмм этих аудиозаписей, проводят дополнительную сегментацию спектрограмм на отдельные фрагменты с пересечениями по времени, применяют к полученным фрагментам спектрограмм методы предобработки сигнала с применением сверхточных линейных слоев и получением набора векторов признаков, которые подают на вход сверточной нейронной сети для классификации с получение на выходе сформированного вектора признаков, проводят объединение полученных векторов признаков от трех исходных аудиозаписей, преобразуют объединения полученных векторов с применением линейного слоя и по полученным результатам формируют заключение о здоровье пациента.
В некоторых вариантах реализации разработанного способа после регистрации трех типов аудиозаписей от пациента: кашля, дыхания, речи, осуществляют извлечение спектральных характеристик аудиозаписи и передачу их на вход классических алгоритмов машинного обучения.
Для получения спектрограмм можно использовать оконное преобразование Фурье или вейвлет-преобразования.
В некоторых вариантах разработанного способа после предобработки фрагментов спектрограмм и получения векторов признаков, вектор подается на вход рекуррентной нейронной сети Классификация признаков нейронной сетью осуществляют с применением механизма внимания.
Разработанное техническое решение характеризует способ диагностирования акустических признаков, вызванных изменениями в дыхательном тракте сопутствующих заболеванию Covid. Методами глубокого обучения решается задача регрессии, определения вероятности по записям кашля, дыхания и речи наличия у человека заражения вирусными заболеваниями, оказывающими влияние на дыхательный тракт человека. Способ включает конвертирование, подготовку, предобработку и анализ данных методами глубокого обучения. Для классификации заболеваний предложено использовать рекуррентная сеть со сверточной нейронной сетью в качестве энкодера и механизмом внимания.
Представленная технология представляет из себя серверное приложение для анализа медицинских акустических данных пациентов для выявления и классификации респираторных заболеваний, а также осложнений и отклонений вызванных наличием вирусов, в частности, COVID-19.
Коронавирусная инфекция стала настоящим испытанием для общественности. Невозможно не оценить труд врачей, столкнувшихся с огромным количеством пациентов. Однако, вспышка коронавируса обнажила некоторые проблемы в области здравоохранения, в частности, недостаток медицинских работников. В век высоких технологий стоит задуматься о снабжении больниц специальным программным обеспечением, способным помочь доктору в диагностировании заболевания. В связи с растущей популярностью методов машинного и глубокого обучения становится очевидным обращение к этой области для поиска решения.
На сегодняшний день существует несколько подходов, посвященных диагностированию респираторных и вирусных заболеваний. Основная идея большей части из них основана на обработке аудиосигналов человеческого тела: кашля, дыхания, звуков грудной клетки. По результатам исследования исследовательских групп простые бинарные классификаторы данных, в основе которых лежит логистическая регрессия (logit model), градиентный бустинг (gradient boosting) и метод опорных векторов (support vector machines) дают точность (precision) до 82%. Подход, использующий random forest получил точность (accuracy) классификации на тестовых данных достигла 66.74%). Некоторые исследователи идут по пути разработки классификатора, представленного тремя ветками и медиатором, аналогично с независимыми мнениями нескольких врачей.
В предложенной реализации положительный или отрицательный результат Covid-19 ставится только при совпадении решений трех веток, что снижает вероятность ошибки до 6.147⋅10-4. В классификации использовались сверточные сети и метод опорных векторов.
Помимо обработки звуков тела человека, для диагностирования Covid методами глубокого обучения также можно использовать снимки рентгена и компьютерной томографии грудной клетки.
Разработанное техническое решение представляет из себя способ анализа акустических данных кашля, дыхания и речи пациента для выявления и классификации респираторных заболеваний или сопутствующих признаков наличия вирусного заболевания.
Модель для диагностики заболеваний представляет собой ансамбль рекуррентных нейронных сетей с энкодером, механизмом внимания и линейными слоями, следующими за ней.
Изобретение представляет собой метод отработки записей поступающих от пользователей. Архитектура метода представлена ансамблем нейронных сетей, которые представлены тремя независимыми ветками с последующей конкретизацией результатов Fully connected слоями.
На фиг.1 приведена общая архитектура используемой при реализации способа системы для диагностики COVID.
Для анализа на вход системы подаются три аудиозаписи: речь, кашель, дыхание. Каждая аудиозапись имеет одинаковый процесс обработки. Схема процесса обработки каждой записи представлена в параллельно обрабатывается в отдельной ветке. Схема каждой ветки одинакова и представлена на фиг.1.
Последовательность обработки аудиозаписями включает следующие этапы:
• проверка и конвертация параметров аудиозаписи;
• нарезка и экстракция признаков для каждого отдельного окна аудиозаписи;
• получение вектора признаков с помощью RNN (рекурентной нейронной сети) для полной аудиозаписи.
Затем проводят проверку и конвертацию аудиозаписи, при этом аудиозаписи от пользователей поступают в блок обработки. Блок проверит аудиофайл на соответствие требованиям системы по формату данных, частоте дискретизации, битрейту, количеству каналов. При несовпадении параметров происходит конвертация данных к требуемым параметрам системы.
• Перевод аудиодорожки в числовой массив
• Перевод из стерео- в моно- режим
• Ресемплинг к частоте дискретизации 44.1 кГц
При невозможности конвертации к требуемым параметрам блок генерирует ошибку с указанием невалидных параметров аудиофайла.
Далее проходит стадия нарезки и экстракции признаков. На этапе экстракции признаков выделяют наиболее значимые признаки в аудиофайлах для последующей подачи их в рекуррентную нейронную сеть для извлечения закономерностей и паттернов. Экстракция признаков может быть проведена разными способами, такими как:
• интегральные преобразования (оконное преобразование Фурье, вейвлет-преобразование, и другие);
• извлечение i-vectors;
• скрытые марковские модели;
• другие.
Затем проходит стадия непрерывных интегральных преобразований анализа временных сигналов. Существуют различные семейства интегральных преобразования нестационарных временных сигалов. Предполагают, что временной сигнал переводится в область частот, где удобнее проводить анализ поведения динамики процесса и проще извлекать числовые характеристики. При этом, существуют различные виды частотно-временных (time-frequency) интегральных преобразований, осуществляющих перевод сигнала в частотную область. Помимо Fourier Transform (FT) в приложениях анализа сигналов применяют также Short-time Fourier Transform (STFT), Gabor Transform (GT), Wavelet Transform (WT), Wigner Distribution Function (WDF), etc.
STFT
По определению, непрерывное оконное преобразование Фурье представимо в виде интеграла
где w(⋅) - оконная функция, позволяющая выполнять селекцию интересующего отрезка времени, и проводить дополнительную обработку внутри него. В случае, когда в качестве оконной функции выбирают функцию Гаусса, оконное преобразование Фурье (STFT) называют преобразованием Габора (GT).
WT
Обобщением STFT является вейвлет преобразование. В общем случае, интегральное вейвлет-преобразование (2) записывается в виде
где ядром преобразования является вейвлет функция ψ(⋅), а в самом преобразовании используется ее комплексное сопряжение ψ(⋅). В то время как оконная функция в STFT зависит от одного параметра τ, определяющего сдвиг во времени, вейвлет в CWT зависит от двух параметров а, b которые отвечают за масштаб (сжатие или растяжение ядра преобразования) и сдвиг (трансляцию), соответственно. Например, в качестве ядра ψ(⋅) в медицинских приложениях применяют вейвлет Морле (Morlet wavelet или Gabor wavelet), фиг.2. на котором приведен Вейвлет Морле и его первая производная, то есть, функцию вида
Кроме того, вейвлет функция должна удовлетворять следующим свойствам
1. Конечность энергии
2. Условие допустимости
3. Для комплексных вейвлет функций преобразование Фурье должно быть действительным и обращаться в нуль для отрицательных частот.
Отметим, что существуют различные способы построения вейвлет-систем как ортогональных, так и неортогональных. Так, в качестве аппроксимационного базиса для построения различных систем вейвлет функций могут быть использованы бесконечно-дифференцируемые сплайны или атомарные функции. Примеры вычисления количественных характеристик временных сигналов с помощью подобных синтезированных систем вейвлет функций также представлены в. Пример простейшей атомарной функции, совпадающей с функцией Фабиуса на отрезке [0; 2] показан на фиг.3, на котором приведен вид функции Фабиуса и ее первой производной
Отметим, что существуют библиотека визуализации вейвлет систем на Python и библиотека вейвлет-преобразований на Python.
Затем начинается стадия дискретных интегральных преобразований анализа временных сигналов. В силу дискретности входных данных, возникает необходимость учета конечности числа отсчетов, и, как следствие, появляются дискретные аналоги непрерывных интегральных преобразований, указанных выше.
DWFT
Дискретный вариант непрерывного оконного преобразования принимает вид
где Х(k) - дискретная частоты временной последовательности х(n), n - временной индекс, k - частотный индекс, N - количество отсчетов, w(n) - отсчеты оконной функции. При этом оконная функция может быть выбрана различными способами. Так, в практических приложениях используется окно Ханна (Hann windows), которое определяется следующим образом
и
извлечения i-vectors.
Метод i-vectors или identity-vectors представляет собой метод выделения и использования вспомогательных признаков. На настоящий момент, класс методов i-vectors является сравнительно новым способом решения задач распознавания объектов различной природы. Первоначально метод i-vectors возник для решения задачи распознавания речи. Идея метода основана на представлении моделей выражений гауссовой смеси 
При этом изображение этого выражения также применяется в качестве вектора признаков в языковом классификаторе.
Применение оконного преобразования Фурье
Для примера рассмотрим схему извлечения признаков методом дискретного оконного преобразования Фурье. Стандартная схема применения DWFT состоит в следующем. Из полного сигнала с данными выделяется область интереса для анализа, фиг.4.
Та часть сигнала, которая попала в область интереса скалярно умножается на некую оконную функцию (window function), т.е. происходит "взвешивание" (weighting), фиг.5 - фиг.6).
При этом сумма сдвигов оконной функции Ханна обеспечивает разложение единицы, (фиг.7 - фиг.8). Однако в качестве оконных функций можно также использовать вейвлеты и атомарные функции, сумма сдвигов (shifts) которых также удовлетворяет разложению единицы (partition of unity).
b)
В настоящем изобретении данный подход позволяет получить спектрограмму, после чего она разбивается на фрагменты длительности 1 секунда с шагом 0.5 секунд, которые подаются на вход CNN энкодеров.
В таком случае, CNN энкодеры служат для извлечения (экстракции) репрезентативных (значимых) признаков и уменьшения размерности входных данных в LSTM слои. Энкодер состоит из четырех блоков, включающих в себя операцию свертки с ядром 3×3, слой активации с функцией Leaky ReLu, метод прореживания с вероятностью исключения нейрона 0.7 для предотвращения переобучения и батчнормализацию. Энкодеры обрабатывают поступившие в качестве входных данных окна спектрограммы и полученные признаки, подаются на вход LSTM слоев, фиг.9.
Рекуррентная нейронная сеть с LSTM устроена по принципу many-to-many. Каждый отдельный фрагмент аудиозаписи после прохождения через экстракторы признаков попадает на отдельный слой LSTM размерностью внутренних гейтов 512.
Выход с каждого слоя рекуррентной сети передается далее в блок attention.
Attention
Выходные данные каждого LSTM слоя, представляющие собой вектор размерности 512, проходят через линейный слой с гиперболическим тангенсом в качестве его функции активации.
Полученные вектора после линейного слоя скалярно перемножаются с вектором весов, который в процессе обучения модели, корректирует веса методом градиентного спуска.. и сформированные признаки передаются в softmax для нормализации.
Нормализованные значения перемножаются с исходными признаками полученными на LSTM слоях и полученные значения взвешенно суммируются с выходами всех других слоев. Архитектура предлагаемого алгоритма глубокого обучения представлена на фиг.10. Получение вектора взвешенных сумм всех трех аудиозаписей подаются на вход блока конкатенации и последующего линейного преобразования и на выходе получаем вероятность заражения пациента COVID-19.
При обучение модели используется оптимизационный алгоритм adam и происходит снижение скорости обучения алгоритма в 10 раз каждые 100 шагов.
Описанный метод может быть применен с использованием любого устройства, имеющего микрофон и способного использовать его на запись (включая, но не ограничиваясь: диктофон, кнопочный мобильный телефон, смартфон, умные часы, терминал, умная колонка и т.п.). Специализированное программное обеспечение, адаптированное под указанное устройство помогает пользователю выполнить необходимую последовательность шагов для подготовки и записи звуковых файлов. Записанные в файлы данные передаются на сервер с развернутой на нем системой обработки файлов через любые каналы передачи данных. Система на сервере обрабатывает звуковые файлы в соответствии с методом описанным выше и передает результат пользователю (или иному адресату (как человеку, так и другой системе, определенному настройкой системы) с использованием адаптируемых форматов и любых доступных каналов связи.
1. Способ диагностики признаков бронхолегочных заболеваний при COVID-19, отличающийся тем, что осуществляют регистрацию трех типов аудиозаписей от пациента: кашля, дыхания, речи, осуществляют дискретное интегральное преобразование аудиозаписей, результатом которого является получение набора спектрограмм этих аудиозаписей, проводят дополнительную сегментацию спектрограмм на отдельные фрагменты с пересечением во времени, применяют к полученным фрагментам спектрограмм методы предобработки сигнала с применением сверхточных линейных слоев и получением набора векторов признаков, которые подают сверточной нейронной сети для классификации с получением на выходе сформированного вектора признаков, проводят объединение полученных векторов признаков от трех исходных аудиозаписей, преобразуют объединение полученных векторов с применением линейного слоя и по полученным результатам формируют заключение о здоровье пациента.
2. Способ по п. 1, отличающийся тем, что после регистрации трех типов аудиозаписей от пациента: кашля, дыхания, речи, осуществляют извлечение спектральных характеристик аудиозаписи и передачу их на вход классических алгоритмов машинного обучения.
3. Способ по п. 1, отличающийся тем, что для получения спектрограмм используют оконное преобразование Фурье или вейвлетпреобразование.
4. Способ по п. 1, отличающийся тем, что после предобработки фрагментов спектрограмм и получения векторов признаков, вектор подают на вход рекуррентной нейронной сети.
5. Способ по п. 1, отличающийся тем, что классификацию признаков нейронной сетью осуществляют с применением механизма внимания.
