Способ автоматизированного анализа цифровых флюорографических снимков
Владельцы патента RU 2684181:
Общество с ограниченной ответственностью "ФтизисБиоМед" (RU)
Изобретение относится к области обработки цифровых изображений в медицине и предназначено для автоматизированного выполнения флюорографических снимков грудной клетки пациента на предмет наличия изменений или патологий в области легких. Способ анализа цифровых флюорографических снимков для обнаружения патологий содержит этапы, на которых используют исходную базу флюорографических снимков с классификацией каждой области для обучения трех сверточных нейросетей. Загрузку осуществляют с помощью клиентского модуля, после которого выполняют с помощью нейросетей последовательную обработку загруженных снимков для выявления областей интереса в зависимости от отклика каждой нейросети. Полученную обработку передают в модуль анализа и объединения результатов работы сверточных сетей, которой осуществляет обработку и наложение результатов работы ансамбля нейросетей на исходный загруженный цифровой снимок для выявления патологий, причем одна из сверточных нейросетей обучена с возможностью обработки и выявления опасных патологий 1-го рода, а вторая и третья – опасных патологий 1-го рода и неопасных патологий 2-го рода. Каждая сеть обучается применением разных пороговых значений и сегментационных карт. Использование изобретения позволяет минимизировать ошибки ложных срабатываний ансамбля СНС. 3 ил.
ОБЛАСТЬ ТЕХНИКИ
[1] Заявленное техническое решение относится к области обработки цифровых изображений в медицине и предназначено для автоматизированного выполнения анализа флюорографических снимков грудной клетки пациентов на предмет наличия изменений или патологий в области легких. Заявленное решение может применяться в мобильных комплексах для ускорения обработки снимков, в поликлиниках для предобработки снимков, ранжирования по степени важности для чтения снимков врачом.
УРОВЕНЬ ТЕХНИКИ
[2] Известна автоматизированная система диагностики медицинских изображений с использованием глубоких сверточных нейронных сетей (патент США 9,589,374 B1, 07.03.2017). Данное изобретение раскрывает методы применения глубоких сверточных нейронных сетей (СНС) к анализу медицинских изображений для диагностики в режиме реального времени. В приведенном изобретении применяется анализ КТ и МРТ снимков, которые обрабатываются с применением двух сверточных нейронных сетей и других программных модулей, для получения отклика с вероятностью наличия областей интереса на снимках пациента, которые необходимы для дальнейшего анализа лечащим врачом.
[3] В статье «Automatic Liver and Tumor Segmentation of CT and MRI Volumes Using Cascaded Fully Convolutional Neural Networks» (Patrick Ferdinand Christ et al. Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI). 20.02.2017) рассматриваются подходы к автоматизированному анализу КТ и МРТ снимков для и выявления патологий печени, при этом используется сверточная нейронная сеть U-NET типа.
[4] Известно также применение ансамбля из трех СНС для анализа медицинских изображений на предмет наличия релевантной информации, в зависимости от типа обучения СНС. В совокупности использования ансамбля из трех СНС такой подход позволяет получать более точные данные с минимизацией ошибок распознавания (Костин К.А. Магистерская диссертация «Адаптивный классификатор патологий для компьютерной диагностики заболеваний с использованием сверточных нейронных сетей по медицинским изображениям и видеоданным». 30.05.2017).
[5] Данное решение является, по своей технической сути, наиболее близким аналогом. Основным недостатком данного решения является такая настройка СНС, которая не подразумевает разделения откликов по весомым коэффициентам с их последующим перевзешиванием в слоях каждой СНС и разделением обучающей выборке по типу патологий в процессе обучения ансамбля, что приводит к достаточно высокой степени появления ошибок в ходе распознавания изменений структур на флюорографических снимках. При этом данное решение, как таковое, не используется для анализа флюорографических снимков.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[6] Решаемой технической проблемой заявленного решения является минимизации ошибки ложных срабатываний ансамбля СНС и, соответственно, увеличение точности распознавания областей интереса при анализе графический информации, за счет нового принципа обучения ансамбля СНС и их последующей работы на основании выполненного обучения.
[7] Технический результат совпадает с решаемой технической проблемой.
[8] Благодаря автоматизированной системе время анализа флюорографических снимков значительно уменьшается, при этом точность обнаружения патологий устанавливается на высоком уровне и снижается влияние человеческого фактора.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
[9] Фиг. 1 иллюстрирует систему автоматизированного анализа флюорографических снимков.
[10] Фиг. 2 иллюстрирует пример входного изображения.
[11] Фиг. 3 иллюстрирует обработанное изображение с помощью заявленной системы.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
[12] Ключевая особенность технического решения заключается в способе обучения и структуре сверточной нейронной сети. Для достижения технического результата применяется:
1. Размеченная специальным образом база флюорографических снимков для обучения с классификацией каждой области.
2. Использование ансамбля из трех сверточных нейронных сетей типа U-NET с разными настройками и организацией входных данных для обучения.
3. Перевзвешивание классов в соответствии с их важностью в выборке.
4. Комбинация выходных изображений для увеличения обучающей базы.
[13] Первая сеть настроена на работу только с опасными областями (патологии 1го рода), вторая и третья сети - со всеми областями, но с разными порогами и архитектурой.
[14] Области разбиты на две группы: опасные и неопасные. Все области в группах классифицированы по типам патологий. Использовалась следующая классификация:
Патологии 1го рода (опасные)
I. Инфильтрация (фокус) – свыше 1,5 см.
II. Полость
III. Пневмоторакс
IV. Гидроторакс
V. Очаг
VI. Патологические изменения корней лёгких
VII. Уровень жидкости
VIII. Очаги
Патологии 2го рода (неопасные)
I. Интерстициальные изменения в лёгочной паренхиме
II. Цирроз
III. Фиброторакс
IV. Изменения плевры
V. Кальцинаты / обызвествления
VI. Диафрагмальная грыжа
VII. Изменения в костях
VIII. Цепочки металлических швов
IX. Инородные тела
X. Участок повышенной прозрачности (не полость)
XI. Ателектаз
XII. Изменения в органах средостения
[15] На Фиг. 1 представлен вид системы по автоматизированному анализу флюорографических снимков.
поз. 1 – входное изображение (цифровой флюорографический снимок)
поз. 2 – клиентский модуль для удаленного анализа изображений (работа возможна и без него)
поз. 3 – модуль загрузки изображений
поз. 4 – сверточная нейронная сеть №1
поз. 5 – сверточная нейронная сеть №2
поз. 6 – сверточная нейронная сеть №3
поз. 7 – модуль анализа и объединения результатов работы сверточных сетей, вывод изображений
поз. 8 – обработанное изображение.
[16] Система автоматизированного анализа флюорографических снимков представляет собой программное обеспечение. Для реализации используются библиотеки для машинного обучения TensorFlow и Keras. ПО может работать на любом современном компьютере с графическим процессором от Nvidia или на мобильных платформах Jetson TX2.
[17] Автоматизированный анализ флюорографических снимков выполняется с помощью трех сверточных нейронных сетей типа U-NET. Для обучения подготовлена специальная база снимков. На снимках отмечены области с изменениями структуры легких, которые свидетельствуют о наличии туберкулеза или других патологиях, как опасных для здоровья человека, так и неопасных. Области разбиты на две группы: опасные и неопасные. Все области в группах классифицированы по типам патологий. Использовалась следующая классификация:
Патологии 1го рода (опасные)
I. Инфильтрация (фокус) – свыше 1,5 см.
II. Полость
III. Пневмоторакс
IV. Гидроторакс
V. Очаг
VI. Патологические изменения корней лёгких
VII. Уровень жидкости
VIII. Очаги
Патологии 2го рода (неопасные)
I. Интерстициальные изменения в лёгочной паренхиме
II. Цирроз
III. Фиброторакс
IV. Изменения плевры
V. Кальцинаты / обызвествления
VI. Диафрагмальная грыжа
VII. Изменения в костях
VIII. Цепочки металлических швов
IX. Инородные тела
X. Участок повышенной прозрачности (не полость)
XI. Ателектаз
XII. Изменения в органах средостения.
[18] На Фиг. 2 представлен пример входного изображения. Для увеличения базы применялись трансформации к входным изображениям. Из отмеченных областей формируются сегментационные карты и подаются на вход обучения вместе с исходными изображениями.
[19] На вход первой сети подаются карты только с опасными областями, на вход второй и третей, карты со всеми областями, но они имеют разные пороги и архитектуру. Архитектура: Unet (8 сфорачивающих слоёв, 8 разворачивающих слоёв, 32 стартовых фильтра, каждый слой x1.5 фильтров на свёртке, x1.5 фильтров на разворачивании. Вход - 1 канал, выход - 1 канал). Подбор пороговых значений осуществляется экспериментально по картине на выходе.
[20] В процессе обучения веса в слоях перевзвешиваются для лучшей сходимости, на основании достоверности того что отмечают врачи (данные от врачей/сравнение разных разметок). Происходит выбор более и менее достоверных классов. В обученную сеть на вход подается исходное изображение, а на выходе получается три сегментационных карты с весами в каждом пикселе всего изображения, но карты активны только в тех местах, где происходит выделение патологий.
[21] В остальных точках вероятность изменений близка к нулю. Данные карты обрабатываются, выделаются области с повышенным откликом, характеризующие в разных слоях, патологии разного типа, их площадь и вес, результаты сравниваются с порогами, которые экспериментально подобраны и установлены для каждой сети.
[22] Обработка отклика нейронной сети происходит без нейронной сети, «вручную». Ищется общая энергетика отклика, максимальный отклик и оценивается площадь превышения пороговых значений. Все пороги и алгоритмы подобранны эмпирически.
[23] Загрузка изображения (цифрового флюорографического снимка) на обработку происходить с помощью специального программного модуля 3. Изображение поочередно обрабатывается каждой сверточной нейронной сетью, каждая из которых на основании полученного в ходе обучения опыта выдает суждение, при наличие подозрительного участка, подсвечивает его. Следующий программный модуль 7 собирает результаты работы всех трех сетей, объединяет их и накладывает на исходное изображение. Модуль вывода изображения 8 выводит обработанный снимок с выделенным патологическим участком, в случае его наличия. Отклик от сетей отображается разным цветом и разной интенсивностью в зависимости от величины отклика.
[24] Фиг. 3 иллюстрирует пример работы системы по обработке изображений. Анализ изображений может выполняться как локально, так и дистанционно. Для дистанционного доступа используется клиентский модуль 2. В качестве модуля 2 может применяться любое пригодное компьютерное устройство (персональный компьютер, ноутбук, планшет и т.п.).
[25] Данный способ возможен только при доступе к сети Интернет. В этом случае клиентская часть программы 2 удаленно подключается к серверу, где развернута система автоматизированного анализа флюорографических снимков и реализует передачу изображения для анализа, а также прием и вывод результата обработки.
Способ анализа цифровых флюорографических снимков для обнаружения патологий, содержащий этапы, на которых:
- используют исходную базу флюорографических снимков с классификацией каждой области для обучения трех сверточных нейросетей,
- осуществляют с помощью клиентского модуля загрузку по меньшей мере одного цифрового флюорографического снимка в сверточные нейросети;
- выполняют с помощью упомянутых нейросетей последовательную обработку загруженного одного или более цифровых флюорографических снимков для выявления областей интереса в зависимости от отклика каждой нейросети;
- полученную обработку в ходе отклика нейросетей передают в модуль анализа и объединения результатов работы сверточных сетей, который осуществляет обработку и наложение результатов работы ансамбля нейросетей на исходный загруженный цифровой снимок для выявления патологий при их наличии;
отличающийся тем, что одна из сверточных нейросетей обучена с возможностью обработки и выявления опасных патологий 1-го рода, а вторая и третья обучены с возможностью обработки опасных патологий 1-го рода и неопасных патологий 2-го рода, причем каждая сеть обучается с применением разных пороговых значений и сегментационных карт, сформированных из отмеченных областей по меньшей мере одного исходного флюорографического снимка для обучения.
