Способ автоматизированного анализа цифровых флюорографических снимков



Способ автоматизированного анализа цифровых флюорографических снимков
Способ автоматизированного анализа цифровых флюорографических снимков
Способ автоматизированного анализа цифровых флюорографических снимков
A61B6/00 - Приборы для радиодиагностики, например комбинированные с оборудованием для радиотерапии (рентгеноконтрастные препараты A61K 49/04; препараты, содержащие радиоактивные вещества A61K 51/00; радиотерапия как таковая A61N 5/00; приборы для измерения интенсивности излучения, применяемые в ядерной медицине, например измерение радиоактивности живого организма G01T 1/161; аппараты для получения рентгеновских снимков G03B 42/02; способы фотографирования в рентгеновских лучах G03C 5/16; облучающие приборы G21K; рентгеновские приборы и их схемы H05G 1/00)

Владельцы патента RU 2684181:

Общество с ограниченной ответственностью "ФтизисБиоМед" (RU)

Изобретение относится к области обработки цифровых изображений в медицине и предназначено для автоматизированного выполнения флюорографических снимков грудной клетки пациента на предмет наличия изменений или патологий в области легких. Способ анализа цифровых флюорографических снимков для обнаружения патологий содержит этапы, на которых используют исходную базу флюорографических снимков с классификацией каждой области для обучения трех сверточных нейросетей. Загрузку осуществляют с помощью клиентского модуля, после которого выполняют с помощью нейросетей последовательную обработку загруженных снимков для выявления областей интереса в зависимости от отклика каждой нейросети. Полученную обработку передают в модуль анализа и объединения результатов работы сверточных сетей, которой осуществляет обработку и наложение результатов работы ансамбля нейросетей на исходный загруженный цифровой снимок для выявления патологий, причем одна из сверточных нейросетей обучена с возможностью обработки и выявления опасных патологий 1-го рода, а вторая и третья – опасных патологий 1-го рода и неопасных патологий 2-го рода. Каждая сеть обучается применением разных пороговых значений и сегментационных карт. Использование изобретения позволяет минимизировать ошибки ложных срабатываний ансамбля СНС. 3 ил.

 

ОБЛАСТЬ ТЕХНИКИ

[1] Заявленное техническое решение относится к области обработки цифровых изображений в медицине и предназначено для автоматизированного выполнения анализа флюорографических снимков грудной клетки пациентов на предмет наличия изменений или патологий в области легких. Заявленное решение может применяться в мобильных комплексах для ускорения обработки снимков, в поликлиниках для предобработки снимков, ранжирования по степени важности для чтения снимков врачом.

УРОВЕНЬ ТЕХНИКИ

[2] Известна автоматизированная система диагностики медицинских изображений с использованием глубоких сверточных нейронных сетей (патент США 9,589,374 B1, 07.03.2017). Данное изобретение раскрывает методы применения глубоких сверточных нейронных сетей (СНС) к анализу медицинских изображений для диагностики в режиме реального времени. В приведенном изобретении применяется анализ КТ и МРТ снимков, которые обрабатываются с применением двух сверточных нейронных сетей и других программных модулей, для получения отклика с вероятностью наличия областей интереса на снимках пациента, которые необходимы для дальнейшего анализа лечащим врачом.

[3] В статье «Automatic Liver and Tumor Segmentation of CT and MRI Volumes Using Cascaded Fully Convolutional Neural Networks» (Patrick Ferdinand Christ et al. Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI). 20.02.2017) рассматриваются подходы к автоматизированному анализу КТ и МРТ снимков для и выявления патологий печени, при этом используется сверточная нейронная сеть U-NET типа.

[4] Известно также применение ансамбля из трех СНС для анализа медицинских изображений на предмет наличия релевантной информации, в зависимости от типа обучения СНС. В совокупности использования ансамбля из трех СНС такой подход позволяет получать более точные данные с минимизацией ошибок распознавания (Костин К.А. Магистерская диссертация «Адаптивный классификатор патологий для компьютерной диагностики заболеваний с использованием сверточных нейронных сетей по медицинским изображениям и видеоданным». 30.05.2017).

[5] Данное решение является, по своей технической сути, наиболее близким аналогом. Основным недостатком данного решения является такая настройка СНС, которая не подразумевает разделения откликов по весомым коэффициентам с их последующим перевзешиванием в слоях каждой СНС и разделением обучающей выборке по типу патологий в процессе обучения ансамбля, что приводит к достаточно высокой степени появления ошибок в ходе распознавания изменений структур на флюорографических снимках. При этом данное решение, как таковое, не используется для анализа флюорографических снимков.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[6] Решаемой технической проблемой заявленного решения является минимизации ошибки ложных срабатываний ансамбля СНС и, соответственно, увеличение точности распознавания областей интереса при анализе графический информации, за счет нового принципа обучения ансамбля СНС и их последующей работы на основании выполненного обучения.

[7] Технический результат совпадает с решаемой технической проблемой.

[8] Благодаря автоматизированной системе время анализа флюорографических снимков значительно уменьшается, при этом точность обнаружения патологий устанавливается на высоком уровне и снижается влияние человеческого фактора.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

[9] Фиг. 1 иллюстрирует систему автоматизированного анализа флюорографических снимков.

[10] Фиг. 2 иллюстрирует пример входного изображения.

[11] Фиг. 3 иллюстрирует обработанное изображение с помощью заявленной системы.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[12] Ключевая особенность технического решения заключается в способе обучения и структуре сверточной нейронной сети. Для достижения технического результата применяется:

1. Размеченная специальным образом база флюорографических снимков для обучения с классификацией каждой области.

2. Использование ансамбля из трех сверточных нейронных сетей типа U-NET с разными настройками и организацией входных данных для обучения.

3. Перевзвешивание классов в соответствии с их важностью в выборке.

4. Комбинация выходных изображений для увеличения обучающей базы.

[13] Первая сеть настроена на работу только с опасными областями (патологии 1го рода), вторая и третья сети - со всеми областями, но с разными порогами и архитектурой.

[14] Области разбиты на две группы: опасные и неопасные. Все области в группах классифицированы по типам патологий. Использовалась следующая классификация:

Патологии 1го рода (опасные)

I. Инфильтрация (фокус) – свыше 1,5 см.

II. Полость

III. Пневмоторакс

IV. Гидроторакс

V. Очаг

VI. Патологические изменения корней лёгких

VII. Уровень жидкости

VIII. Очаги

Патологии 2го рода (неопасные)

I. Интерстициальные изменения в лёгочной паренхиме

II. Цирроз

III. Фиброторакс

IV. Изменения плевры

V. Кальцинаты / обызвествления

VI. Диафрагмальная грыжа

VII. Изменения в костях

VIII. Цепочки металлических швов

IX. Инородные тела

X. Участок повышенной прозрачности (не полость)

XI. Ателектаз

XII. Изменения в органах средостения

[15] На Фиг. 1 представлен вид системы по автоматизированному анализу флюорографических снимков.

поз. 1 – входное изображение (цифровой флюорографический снимок)

поз. 2 – клиентский модуль для удаленного анализа изображений (работа возможна и без него)

поз. 3 – модуль загрузки изображений

поз. 4 – сверточная нейронная сеть №1

поз. 5 – сверточная нейронная сеть №2

поз. 6 – сверточная нейронная сеть №3

поз. 7 – модуль анализа и объединения результатов работы сверточных сетей, вывод изображений

поз. 8 – обработанное изображение.

[16] Система автоматизированного анализа флюорографических снимков представляет собой программное обеспечение. Для реализации используются библиотеки для машинного обучения TensorFlow и Keras. ПО может работать на любом современном компьютере с графическим процессором от Nvidia или на мобильных платформах Jetson TX2.

[17] Автоматизированный анализ флюорографических снимков выполняется с помощью трех сверточных нейронных сетей типа U-NET. Для обучения подготовлена специальная база снимков. На снимках отмечены области с изменениями структуры легких, которые свидетельствуют о наличии туберкулеза или других патологиях, как опасных для здоровья человека, так и неопасных. Области разбиты на две группы: опасные и неопасные. Все области в группах классифицированы по типам патологий. Использовалась следующая классификация:

Патологии 1го рода (опасные)

I. Инфильтрация (фокус) – свыше 1,5 см.

II. Полость

III. Пневмоторакс

IV. Гидроторакс

V. Очаг

VI. Патологические изменения корней лёгких

VII. Уровень жидкости

VIII. Очаги

Патологии 2го рода (неопасные)

I. Интерстициальные изменения в лёгочной паренхиме

II. Цирроз

III. Фиброторакс

IV. Изменения плевры

V. Кальцинаты / обызвествления

VI. Диафрагмальная грыжа

VII. Изменения в костях

VIII. Цепочки металлических швов

IX. Инородные тела

X. Участок повышенной прозрачности (не полость)

XI. Ателектаз

XII. Изменения в органах средостения.

[18] На Фиг. 2 представлен пример входного изображения. Для увеличения базы применялись трансформации к входным изображениям. Из отмеченных областей формируются сегментационные карты и подаются на вход обучения вместе с исходными изображениями.

[19] На вход первой сети подаются карты только с опасными областями, на вход второй и третей, карты со всеми областями, но они имеют разные пороги и архитектуру. Архитектура: Unet (8 сфорачивающих слоёв, 8 разворачивающих слоёв, 32 стартовых фильтра, каждый слой x1.5 фильтров на свёртке, x1.5 фильтров на разворачивании. Вход - 1 канал, выход - 1 канал). Подбор пороговых значений осуществляется экспериментально по картине на выходе.

[20] В процессе обучения веса в слоях перевзвешиваются для лучшей сходимости, на основании достоверности того что отмечают врачи (данные от врачей/сравнение разных разметок). Происходит выбор более и менее достоверных классов. В обученную сеть на вход подается исходное изображение, а на выходе получается три сегментационных карты с весами в каждом пикселе всего изображения, но карты активны только в тех местах, где происходит выделение патологий.

[21] В остальных точках вероятность изменений близка к нулю. Данные карты обрабатываются, выделаются области с повышенным откликом, характеризующие в разных слоях, патологии разного типа, их площадь и вес, результаты сравниваются с порогами, которые экспериментально подобраны и установлены для каждой сети.

[22] Обработка отклика нейронной сети происходит без нейронной сети, «вручную». Ищется общая энергетика отклика, максимальный отклик и оценивается площадь превышения пороговых значений. Все пороги и алгоритмы подобранны эмпирически.

[23] Загрузка изображения (цифрового флюорографического снимка) на обработку происходить с помощью специального программного модуля 3. Изображение поочередно обрабатывается каждой сверточной нейронной сетью, каждая из которых на основании полученного в ходе обучения опыта выдает суждение, при наличие подозрительного участка, подсвечивает его. Следующий программный модуль 7 собирает результаты работы всех трех сетей, объединяет их и накладывает на исходное изображение. Модуль вывода изображения 8 выводит обработанный снимок с выделенным патологическим участком, в случае его наличия. Отклик от сетей отображается разным цветом и разной интенсивностью в зависимости от величины отклика.

[24] Фиг. 3 иллюстрирует пример работы системы по обработке изображений. Анализ изображений может выполняться как локально, так и дистанционно. Для дистанционного доступа используется клиентский модуль 2. В качестве модуля 2 может применяться любое пригодное компьютерное устройство (персональный компьютер, ноутбук, планшет и т.п.).

[25] Данный способ возможен только при доступе к сети Интернет. В этом случае клиентская часть программы 2 удаленно подключается к серверу, где развернута система автоматизированного анализа флюорографических снимков и реализует передачу изображения для анализа, а также прием и вывод результата обработки.

Способ анализа цифровых флюорографических снимков для обнаружения патологий, содержащий этапы, на которых:

- используют исходную базу флюорографических снимков с классификацией каждой области для обучения трех сверточных нейросетей,

- осуществляют с помощью клиентского модуля загрузку по меньшей мере одного цифрового флюорографического снимка в сверточные нейросети;

- выполняют с помощью упомянутых нейросетей последовательную обработку загруженного одного или более цифровых флюорографических снимков для выявления областей интереса в зависимости от отклика каждой нейросети;

- полученную обработку в ходе отклика нейросетей передают в модуль анализа и объединения результатов работы сверточных сетей, который осуществляет обработку и наложение результатов работы ансамбля нейросетей на исходный загруженный цифровой снимок для выявления патологий при их наличии;

отличающийся тем, что одна из сверточных нейросетей обучена с возможностью обработки и выявления опасных патологий 1-го рода, а вторая и третья обучены с возможностью обработки опасных патологий 1-го рода и неопасных патологий 2-го рода, причем каждая сеть обучается с применением разных пороговых значений и сегментационных карт, сформированных из отмеченных областей по меньшей мере одного исходного флюорографического снимка для обучения.



 

Похожие патенты:
Изобретение относится к области вычислительной техники для управления дорожным движением. Технический результат заключается в формировании виртуальной дорожной сцены при отсутствии достоверно распознаваемой дорожной разметки, определение границ проезжей части, в случае отсутствия или повреждения дорожной разметки.

Изобретение относится к средствам, характеризующим структуру и конструкцию технических объектов. Технический результат заключается в обеспечении наглядной информации об объекте.

Изобретение относится к области радиосистем наблюдения. Технический результат – уменьшение вычислительных затрат за счёт введения правила выбора сопряженных пар точек или ортов направлений на эти точки.

Изобретение относится к области видеомонтажа. Технический результат − автоматическое разбиение видеофайла на монтажные кадры с корректно расположенными границами без ресурсоёмких методов анализа видеоизображения.

Изобретение относится к преобразователям энергии излучения в электрический сигнал. Технический результат – упрощение процедуры выявления электронного портрета тепловизионной камеры и возможность осуществлять ее в полевых условиях.

Изобретение относится к защите конфиденциальной информации, а именно к обработке видеоинформации, полученной с камер видеонаблюдения, с целью сокрытия приватной информации в видеоархиве.
Изобретение относится к области передачи изображений по каналам связи с ограниченной полосой пропускания. Технический результат - уменьшение времени передачи изображения по каналу связи за счет уменьшения объема передаваемых сжатых данных.

Изобретение относится к области обработки изображения. Технический результат – обеспечение визуализации внутренней структуры исследуемого объекта в реальном времени.

Настоящее изобретение относится к области компьютерной графики. Технический результат – повышение производительности процесса отрисовки трехмерной сцены.

Изобретение относится к области обработки изображений. Технический результат – повышение эффективности распознавания пространственного объекта.

Использование: для получения изображений быстропротекающих процессов в оптически непрозрачных объектах исследования. Сущность изобретения заключается в том, что производят юстировку объекта исследования.

Использование: для медицинской рентгенографической диагностики. Сущность изобретения заключается в том, что рентгенографическая установка включает рентгеновский излучатель, щелевой коллиматор, многоэлементный линейный детектор, систему синхронного перемещения названных элементов, электронику считывания, обработки и вывода данных, при этом установка снабжена дополнительным двухкоординатным детектором высокого разрешения, размещенным на подвижной балке сканера вблизи линейного детектора, снабженным механизмом его позиционирования вдоль линейного детектора и дополнительным коллиматором для двухкоординатного детектора, также размещенным на подвижной балке сканера вблизи щелевого коллиматора и снабженным механизмом его позиционирования в соответствии с положением двухкоординатного детектора.

Изобретение относится к области импульсной рентгеновской техники, в частности, к способам и устройствам для получения изображения быстропротекающих, в частности взрывных, процессов в оптически непрозрачных объектах исследования, и может быть использовано при радиографии динамических объектов большой оптической толщины.

Изобретение относится к конструкции и способу изготовления рентгеношаблонов, преимущественно для «мягкой» рентгенолитографии (где основная часть экспонирующего излучения находится в спектральном диапазоне - λ≈2,5÷9 Å).

Использование: для получения проекционных рентгеновских снимков. Сущность изобретения заключается в том, что выполняют облучение исследуемого объекта путем сканирования объекта узким пучком излучения и регистрацию фотонов прошедшего через объект рентгеновского излучения, при этом размер и форму пучка излучения задают в зависимости от максимально допустимого уровня рассеянного излучения, регистрируемого детектором, и максимального времени облучения каждого элемента изображения, с обеспечением защиты элементов детектора от рассеянного излучения, а регистрацию фотонов прямого излучения осуществляют детектором, состоящим как минимум из одной строки (линейки), сформированной на основе сборок сцинтиллятор-кремниевый микропиксельный лавинный фотодиод, регистрирующих световые вспышки от отдельных фотонов и формируя электрические импульсы заданной формы с амплитудой, пропорциональной интенсивности световой вспышки, осуществляют счет числа импульсов с амплитудой больше заданной.

Составной оптоволоконный коннектор для приемника рентгеновского излучения имеет по меньшей мере два фокона со смежными широкими входными торцами, предназначенными для формирования парциальных световых потоков, и узкими выходными торцами, предназначенными для подключения к оптоэлектронным преобразователям парциальных световых потоков во фрагментарные аналоговые видеосигналы.

Использование: для диагностирования патологий и нарушений молочных желез у женщин. Сущность изобретения заключается в том, что устройство на основе многоэлементного рентгеночувствительного детектора сочленено с матрицей поликремниевых фотодетекторов.

Использование: для получения радиографического изображения быстропротекающих процессов в неоднородном объекте исследования. Сущность изобретения заключается в том, что при получении радиографического изображения быстропротекающих процессов в неоднородном объекте исследований выполняют радиографию областей объекта исследований с различными оптическими толщинами в соответствующих им различных энергетических диапазонах, при этом осуществляют пространственно-временную томографию объекта исследований, обеспеченную по меньшей мере тремя лучами с независимыми пространственными координатами, сходящимися в центре расположения объекта исследования.

Изобретение относится к устройству для получения изображения, позволяющему получить рентгеновский стоматологический снимок. Устройство включает матричный сенсор с массивом фотодиодов для получения изображения, и один детекторный фотодиод.

Изобретение относится к электронным кассетам для получения рентгеновского изображения. .

Группа изобретений относится к медицинской технике, а именно к средствам для обучения и/или прогнозирования данных при разработке плана лечения лучевой терапии. Система лучевой терапии для лечения целевого пациента, с помощью устройства лучевой терапии, выполненного с возможностью осуществлять лучевую терапию в соответствии с планом лечения, содержит устройство обработки данных для создания плана лечения, включающее память, в которой хранятся исполнимые компьютером инструкции, и процессорное устройство, коммуникативно соединенное с памятью, при этом исполняемые компьютером инструкции, при выполнении процессорным устройством, побуждают процессорное устройство осуществлять операции, включающие в себя получение обучающих данных, соотнесенных с прошлыми планами лечения, применяемыми для лечения выборочных пациентов, причем обучающие данные включают в себя наблюдения, соотнесённые с состоянием выборочных пациентов, полученные из медицинских данных изображений, и по меньшей мере один результат плана, указывающий результат, полученный из прошлого плана лечения, или параметр плана, указывающий расчетный параметр прошлого плана лечения, определение совместной плотности вероятности, указывающей вероятность того, что как по меньшей мере одно конкретное наблюдение, так и по меньшей мере один конкретный результат плана или параметр плана присутствуют в обучающих данных, вычисление условной вероятности на основании определенной совместной плотности вероятности, причем условная вероятность указывает вероятность того, что конкретный результат плана или параметр плана присутствует в обучающих данных, получение специфичных для пациента тестовых данных, соотнесенных с целевым пациентом, включающих в себя по меньшей мере одно специфичное для пациента наблюдение, соотнесенное с целевым пациентом и полученное из медицинских данных изображений, прогнозирование вероятности специфичного для пациента результата плана или параметра плана на основании условной вероятности и специфичного для пациента наблюдения, создание плана лечения, основанного на прогнозировании, и предписывание устройству лучевой терапии осуществлять лучевую терапию в соответствии с созданным планом лечения.

Изобретение относится к области обработки цифровых изображений в медицине и предназначено для автоматизированного выполнения флюорографических снимков грудной клетки пациента на предмет наличия изменений или патологий в области легких. Способ анализа цифровых флюорографических снимков для обнаружения патологий содержит этапы, на которых используют исходную базу флюорографических снимков с классификацией каждой области для обучения трех сверточных нейросетей. Загрузку осуществляют с помощью клиентского модуля, после которого выполняют с помощью нейросетей последовательную обработку загруженных снимков для выявления областей интереса в зависимости от отклика каждой нейросети. Полученную обработку передают в модуль анализа и объединения результатов работы сверточных сетей, которой осуществляет обработку и наложение результатов работы ансамбля нейросетей на исходный загруженный цифровой снимок для выявления патологий, причем одна из сверточных нейросетей обучена с возможностью обработки и выявления опасных патологий 1-го рода, а вторая и третья – опасных патологий 1-го рода и неопасных патологий 2-го рода. Каждая сеть обучается применением разных пороговых значений и сегментационных карт. Использование изобретения позволяет минимизировать ошибки ложных срабатываний ансамбля СНС. 3 ил.

Наверх