Способ дифференциальной диагностики болезни крона или язвенного колита

Изобретение относится к медицине, а именно к гастроэнтерологии, и может быть использовано для дифференциальной диагностики болезни Крона или язвенного колита. Получают эндоскопическое изображение толстой кишки пациента. Изображение подвергают фильтрации с использованием фильтра нелокального среднего, улучшают контраст методом адаптивной контрастно-ограниченной эквализации гистограммы. Обработанное изображение последовательно анализируют с помощью двух свёрточных нейронных сетей. С помощью первой нейронной сети определяют наличие или отсутствие воспалительного заболевания кишечника. Затем при наличии заболевания с помощью второй нейронной сети диагностируют болезнь Крона или язвенный колит. Способ обеспечивает возможность эффективной дифференциальной диагностики болезни Крона и язвенного колита за счет анализа предварительно обработанных эндоскопических изображений. 5 ил., 5 табл., 5 пр.

 

Изобретение относится к разделам «Клиническая медицина» (в частности, к «Гастроэнтерологии»), и «Компьютерные и информационные науки» (в частности, к «Искусственному интеллекту») и посвящено диагностике и дифференциальной диагностике болезни Крона или язвенного колита.

Воспалительные заболевания кишечника (ВЗК) – это многофакторные заболевания, имеющие многофакторную этиологию, разнообразную клиническую картину и отличающиеся хроническим и рецидивирующим течением. К основным формам ВЗК относят болезнь Крона (БК) и язвенный колит (ЯК) [1]. Своевременная диагностика ВЗК является серьезной проблемой для современной гастроэнтерологии, ввиду неизвестных этиологии и патогенеза данных заболеваний, а также вследствие ежегодного прироста заболеваемости. Помимо этого, в России отмечается также рост тяжелых форм ВЗК с с риском летальности, что может быть связано как с трудностями, так и с поздней диагностикой [2-5]. Таким образом, существует необходимость в разработке новых методик выявления ВЗК для своевременной и эффективной диагностики.

На сегодняшний день известны различные способы диагностики БК и ЯК. Например, известен способ дифференциальной диагностики ЯК и БК у детей [6], включающий лабораторное исследование биологической жидкости больного методом инфракрасной спектроскопии и определение высоты пиков полос поглощения, отличающийся тем, что в качестве биологической жидкости исследуют слюну больного, вычисляют значение отношения высоты пика с максимумом при 1070 см-1к высоте пика с максимумом 1025 см-1и при значении отношения в пределах от 1,1 до 1,9 диагностируют неспецифический ЯК, а при значении отношения от 2,0 до 4,6 диагностируют БК.

Также известен способ ультразвуковой дифференциальной диагностики стриктур кишечной стенки ободочной и/или тонкой кишок при БК [77], включающий предварительное выявление сегментов измененных кишечных стенок ободочной и/или тонкой кишок в виде формирования стриктур при помощи чрескожного ультразвукового исследования кишечника пациента с использованием конвексного датчика с частотой исследования 3,5 МГц на всем протяжении ободочной и/или тонкой кишок, по результатам выполненного ультразвукового исследования в В-режиме и допплерографии в энергетическом режиме при использовании линейного датчика с частотой исследования 5-10 МГц определяют локализацию стриктур, толщину стенки кишки, ее распределение слоев в стенке кишки, выполняют с использованием компрессионной ультразвуковой эластографии исследование каждого выявленного изменения в ободочной и/или тонкой кишок с использованием линейного датчика с частотой исследования 7,5 МГц в режиме реального времени, по результатам компрессионной ультразвуковой эластографии выполняют дифференциальную диагностику воспалительных и фиброзных стриктур в ободочной и/или тонкой кишок с одновременной аналитической оценкой эластограммы пациента по цветовому сочетанию и количественному показателю коэффициента жесткости исследуемых тканей с картированием их оттенками зеленого, желтого и красного цветов, а более жестких тканей оттенками синего цвета, коэффициент жесткости определяют как соотношение жесткости измененного сегмента ободочной и/или тонкой кишок к жесткости прилегающей клетчатки их брыжейки соответственно или передней брюшной стенки, при обнаружении утолщения стенки ободочной и/или тонкой кишок за счет всех слоев или отсутствия дифференцировки слоев при одновременном мозаичном типе цветового картирования с равномерным распределением участков синего и зеленого цветов, наличии единичных локусов желтого и красного цветов и определенном коэффициенте жесткости менее 3,45 у.ед. диагностируют воспалительную стриктуру в ободочной и/или тонкой кишок, а при преобладании синего цвета при мозаичном типе цветового картирования в измененном сегменте ободочной и/или тонкой кишок с переходом на брыжейку и при коэффициенте жесткости более 3,45 у.ед. диагностируют фиброзную стриктуру сегментов ободочной и/или тонкой кишок.

Однако на сегодняшний день неизвестны эффективные способы дифференциальной диагностики БК и ЯК, основанные на анализе эндоскопических изображений с помощью искусственного интеллекта и его обучения.

Технической проблемой является необходимость разработки эффективного и простого в реализации способа дифференциальной диагностики воспалительных заболеваний кишечника, основанного на анализе эндоскопических изображений с помощью методов глубокого обучения.

Технический результат состоит в обеспечении возможности эффективной дифференциальной диагностики БК и ЯК на основе анализа анализе эндоскопических изображений с помощью методов глубокого обучения.

Технический результат достигается тем, что в способе дифференциальной диагностики болезни Крона или язвенного колита, включающем получение эндоскопического изображения толстой кишки пациента, которое подвергают фильтрации с использованием фильтра нелокального среднего и которому улучшают контраст методом адаптивной контрастно-ограниченной эквализации гистограммы, после чего обработанное изображение последовательно анализируют с помощью двух свёрточных нейронных сетей, причем с помощью первой нейронной сети определяют наличие или отсутствие воспалительного заболевания кишечника, а затем при наличии заболевания с помощью второй нейронной сети диагностируют болезнь Крона или язвенный колит.

Заявляемое изобретение поясняется чертежами, где на фиг. 1 представлена архитектура сверточной нейронной сети VGG16, на фиг. 2 – график функции активации ReLU, на фиг. 3 – график Сигмоиды, на фиг. 4 – алгоритм принятия решения о наличии и виде ВЗК в общем виде, на фиг. 5 – архитектура модели принятия решения о наличии ВЗК.

При этом на фиг. 1 и 5 приведены следующие позиции:

1 – анализируемое изображение размером 224 х 224 х 3;2 – сверточный слой размером 224 х 224, ядром 3 х 3, количеством фильтров 64 и функцией активации ReLU; 3 – сверточный слой размером 224 х 224, ядром 3 х 3, количеством фильтров 64 и функцией активации ReLU; 4 – слой субдискретизации с ядром 2 х 2; 5 – сверточный слой размером 112 х 112, ядром 3 х 3, количеством фильтров 128 и функцией активации ReLU; 6 – сверточный слой размером 112 х 112, ядром 3 х 3, количеством фильтров 128 и функцией активации ReLU; 7 – слой субдискретизации с ядром 2 х 2; 8 – сверточный слой размером 56 х 56, ядром 3 х 3, количеством фильтров 256 и функцией активации ReLU; 9 – сверточный слой размером 56 х 56, ядром 3 х 3, количеством фильтров 256 и функцией активации ReLU; 10 – сверточный слой размером 56 х 56, ядром 3 х 3, количеством фильтров 256 и функцией активации ReLU; 11 – слой субдискретизации с ядром 2 х 2; 12 – сверточный слой размером 28 х 28, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 13 – сверточный слой размером 28 х 28, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 14 – сверточный слой размером 28 х 28, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 15 – слой субдискретизации с ядром 2 х 2; 16 – сверточный слой размером 14 х 14, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 17 – сверточный слой размером 14 х 14, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 18 – сверточный слой размером 14 х 14, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 19 – слой субдискретизации с ядром 2 х 2; 20 – полносвязный слой с 4096 нейронами и функцией активации ReLU; 21 – полносвязный слой с 4096 нейронами и функцией активации ReLU; 22 – полносвязный слой с 4096 нейронами и функцией активации ReLU; 23 – полносвязный слой с 1000 нейронов и функцией активации softmax;

24 – анализируемое изображение размером 256 х 256 х 3; 25 – сверточный слой размером 256 х 256, ядром 3 х 3, количеством фильтров 64 и функцией активации ReLU; 26 – сверточный слой размером 256 х 256, ядром 3 х 3, количеством фильтров 64 и функцией активации ReLU; 27 – слой субдискретизации с ядром 2 х 2; 28 – сверточный слой размером 128 х 128, ядром 3 х 3, количеством фильтров 128 и функцией активации ReLU; 29 – сверточный слой размером 128 х 128, ядром 3 х 3, количеством фильтров 128 и функцией активации ReLU; 30 – слой субдискретизации с ядром 2 х 2; 31 – сверточный слой размером 64 х 64, ядром 3 х 3, количеством фильтров 256 и функцией активации ReLU; 32 – сверточный слой размером 64 х 64, ядром 3 х 3, количеством фильтров 256 и функцией активации ReLU; 33 – сверточный слой размером 64 х 64, ядром 3 х 3, количеством фильтров 256 и функцией активации ReLU; 34 – слой субдискретизации с ядром 2 х 2; 35 – сверточный слой размером 32 х 32, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 36 – сверточный слой размером 32 х 32, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 37 – сверточный слой размером 32 х 32, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 38 – слой субдискретизации с ядром 2 х 2; 39 – сверточный слой размером 16 х 16, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 40 – сверточный слой размером 16 х 16, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 41 – сверточный слой размером 16 х 16, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 42 – слой субдискретизации с ядром 2 х 2; 43 – слой субдискретизации с функцией глобальное среднее; 44 – полносвязный слой с 256 нейронами и функцией активации ReLU; 45 – слой прореживания с коэффициентом 0,2; 46 – полносвязный слой с 1 нейроном и сигмоидальной функцией активации

Для получения оптимальной модели диагностики было проведено исследование на массиве, состоящем из 900 эндоскопических изображений толстой кишки с разрешением 1350 х 1080 пикселей. Изображения в массиве соответствуют эндоскопическим картинам при отсутствии (класс «норма») и наличии ВЗК (класс «патология»). Класс «норма» состоит из 258 изображений, «патология» – из 642 изображений, при этом в класс «патология» входят изображения эндоскопической картины как БК, так и ЯК. Изображения были предоставлены сотрудниками кафедры пропедевтики внутренних болезней, гастроэнтерологии и диетологии им. С.М. Рысса Северо-Западного Государственного медицинского университета имени И.И. Мечникова.

На первом этапе исследования изображения были подвергнуты предварительной обработке, поскольку ранее выполненные нами исследования показали, что данное преобразование эндоскопических изображений влияет на точность их классификации с помощью моделей глубокого обучения. Наиболее эффективным оказалось сочетание фильтрации и улучшения контраста изображений, а также удаления зеркальных бликов. В настоящем исследовании была проведена фильтрация с использованием фильтра нелокального среднего [8], а улучшение контраста методом адаптивной контрастно-ограниченной эквализации гистограммы [9]. При обучении массив был разделен на обучающую и контрольную выборки в соотношении 70% : 30%. Также изображения были приведены к размеру 256 х 256 пикселей.

Ввиду того, что массив изображений имеет объем, недостаточный для эффективного обучения модели с нуля, было принято решение использовать предварительно обученную нейронную сеть. Таким образом, модель для диагностики ВЗК была основана на сверточной нейронной сети VGG16 [10] и реализована с помощью открытых библиотек Keras и TensorFlow на языке программирования Python.

Результаты. Использованная нами сверточная нейронная сеть VGG16, имеющая 16 слоев, была первоначально обучена на миллионах изображений из базы данных ImageNet. В процессе нашего исследования в первую очередь было необходимо адаптировать сеть под решение задачи бинарной классификации на новом массиве изображений. Для этого полносвязный слой предварительно обученной сети VGG16, т.н. «верхняя модель», был заменен небольшой моделью, состоящей из слоя субдискретизации, трех полносвязных слоев и слоя прореживания.

Количество нейронов в полносвязных слоях было подобрано экспериментальным путем. Первый и второй полносвязные слои имеют функцию активации ReLU 256 и 64 нейронов соответственно. Последний полносвязный слой имеет всего один выходной нейрон и сигмоидальную функцию активации.

На первом этапе была обучена только «верхняя модель»: собственные слои VGG16 не участвовали в обучении, т.е. их весовые коэффициенты не изменялись. На втором этапе модель уже полностью была обучена с использованием весовых коэффициентов, полученных на первом этапе. Иными словами, была проведена «точная настройка» сети.

Обучение «верхней модели» проводилось на протяжении 10 эпох с использованием оптимизатора Adam с шагом обучения 0,001. Для точной настройки был использован оптимизатор SGD с шагом обучения 0,00001, а обучение проводилось на протяжении 50 эпох.

Чтобы избежать переобучения модели на небольшом массиве изображений, была произведена аугментация данных, т.е. создание дополнительных обучающих данных из имеющихся изображений. При аугментации были случайным образом проведены следующие операции: сдвиг изображения по горизонтали и вертикали на 20 %, поворот изображения на 45 градусов, а также случайный сдвиг и увеличение изображений. Результаты обучения представлены в таблице 1.

Таблица 1 – Результаты обучения модели

Этапы обучения	Точность	Функция потерь
Обучение верхней модели	80%	0,5008
Точная настройка	92,22%	0,1934

Далее была проведена апробация модели на массиве изображений, не участвующих в обучении. Тестирующий массив состоит из 30 изображений, 10 из которых относятся к классу «норма», 20 – к классу «патология». Результаты представлены в таблице 2.

Таблица 2 – Результаты апробации на тестовом массиве

Этапы обучения	Точность
Обучение верхней модели	90%
Точная настройка	96,7%

Также для оценки эффективности разработанной модели были вычислены значения чувствительности и специфичности. Результаты представлены в таблице 3.

Таблица 3 – Оценка чувствительности и специфичности модели

Оценка	Значение
Чувствительность	95%
Специфичность	100%

При тестировании модели на новом массиве лишь одно изображение класса «патология» было неверно отнесено к классу «норма». Таким образом, разработанная модель выявляет наличие патологии с вероятностью 95%.

Исходя из результатов обучения данной модели, можно сделать вывод, что подобная архитектура сверточной нейронной сети является достаточно эффективной для решения задачи классификации эндоскопических изображений. Далее на основе описанной ранее модели были разработаны две новые модели принятия решения о наличии и виде ВЗК.

Нейронную сеть для использования в заявляемом способе получали следующим образом.

Описание VGG-16

Ввиду того, что массив изображений имеет объем, недостаточный для эффективного обучения модели с нуля, было принято решение использовать предварительно обученную нейронную сеть. Таким образом, модель для диагностики ВЗК была основана на сверточной нейронной сети VGG16 и реализована с помощью открытых библиотек Keras и TensorFlow на языке программирования Python. VGG16 – это модель сверточной нейронной сети, обученная на миллионах изображений из базы данных ImageNet. Архитектура представлена на фиг. 1. Как можно видеть на фиг. 1, модель состоит из 23 слоев, но только 16 из них имеют весовые коэффициенты (13 сверточных слоев и 3 полносвязных). При обучении на вход первого сверточного слоя подаются цветные изображения с разрешением 224х224 пикселей и далее проходят через 5 блоков, состоящих из сверточных слоев с размером окна 3х3 и фильтрами размером 64, 128, 256, 512 и 512. В конце каждого блока присутствует слой субдискретизации. После сверточных и слоев субдискретизации располагается т.н. «верхняя модель», состоящая из трех полносвязных слоев, два из которых имеют по 4096 нейронов. Последний полносвязный слой имеет 1000 нейронов, т.к. модель изначально была обучена для решения задачи классификации изображений по 1000 категориям из датасета ImageNet. Сверточные и полносвязные слои имеют функцию активации ReLu. Выходной полносвязный слой имеет функцию активации softmax.

Описание слоев сети

Сверточные нейронные сети состоят из следующих слоев:

1. Сверточный слой (Convolution layer).

Сверточный слой является основным в СНС и включает в себя фильтр для каждого канала и ядро свертки (матрица весов). Во время обучения ядро свертки двигают по обрабатываемому слою, формируя после каждого сдвига сигнал активации для нейрона следующего слоя с аналогичной позицией. Ядро свертки предназначено для кодирования определенного признака на изображении. В результате получается карта признаков, которая отображает наличие определенных признаков и их координаты в обрабатываемом слое.

2. Слой субдискретизации (Pooling layer).

Слой субдискретизации («операция подвыборки») отвечает за уменьшение размерности сформированных карт признаков. При выполнении операции подвыборки пренебрегают информацией о координатах искомого признака. Обычно из нескольких соседних нейронов карты признаков выбирается максимальный и принимается за один нейрон уменьшенной карты признаков.

3. Полносвязный слой (Fully-connected layer, Dense).

Полносвязный слой является одномерным, и в нем каждый нейрон связан с каждым нейроном предыдущего слоя. Полносвязный слой предназначен для преобразования сигналов, полученных на сверточных уровнях, к одномерному виду и для выделения одномерных признаков.

Нейроны сверточных и полносвязных слоев имеют функцию активации. Функция активации определяет выходное значение нейрона в зависимости от результата взвешенной суммы входов и порового значения

В архитектурах СНС в последнее время наиболее часто встречается функция активации ReLU (rectified linear unit, линейный выпрямитель), график которой представлен на фиг. 2. Фукнция ReLU вычисляется по формуле

Таким образом, ReLU возвращает значение z, если z > 0, в противном случае – 0.

Сигмоида, график которой представлен на фиг 3, является гладкой монотонной возрастающей нелинейной функцией.

Как видно по фиг. 3, диапазон значений функции – [0,1]. Функция сигмоиды вычисляется по формуле: .

Сигмоидальная функция активации применяется в выходном слое СНС в случае бинарной классификации. Единственный нейрон выходного слоя принимает определенное значение в диапазоне от 0 до 1 и для того, чтобы определить принадлежность объекта к одному из двух классов (0 или 1), необходимо установить некоторое пороговое значение (как правило, 0,5). Таким образом, решающее правило выглядит следующим образом: если выходное значение нейрона > 0,5, то объект принадлежит классу 1, в противном случае – 0.

Общая схема классификации

Решение задачи трехклассовой классификации (норма, болезнь Крона или язвенный колит) было сведено к поэтапному решению задач бинарной классификации. На первом этапе решалась задача отнесения изображения к классу «норма» или «патология». На втором этапе решалась задача дифференциации между двумя видами патологии – БК и ЯК. Алгоритм принятия решения о наличии и виде ВЗК в общем виде представлен на фиг. 4. Таким образом, при классификации изображение подается на вход модели № 1, если значение сигмоидальной функции активации выходного слоя σ(z) < 0,5, то изображение принадлежит классу «норма». В противном случае оно передается на вход модели № 2. Если σ(z) < 0,5, то изображение принадлежит классу БК, в противном случае – ЯК.

Описание массивов

В соответствии с разработанным алгоритмом классификации, описанным ранее, исходный массив был разделен на два подмассива в соответствии с поставленными задачами классификации.

Первый подмассив состоит из 1044 изображений двух классов «норма» и «патология». При этом класс «патология» представлен изображениями, относящимися к классам «болезнь Крона» и «язвенный колит». Подмассив был разделен случайным образом на обучающую и контрольную выборки в соотношении 80 %/20 %. Таким образом, обучающая выборка состоит из 834 изображений, 234 из которых относятся к классу «норма», а 600 – к классу «патология». Контрольная выборка состоит из 210 изображений, 60 из которых относятся к классу «норма», а 150 – к классу «патология».

Второй подмассив состоит из 750 изображений двух классов «болезнь Крона» и «язвенный колит». Т.к. задача дифференциации между двумя видами патологии является более сложной задачей по сравнению с задачей выявления патологии, для обучения модели был использован больший объем изображений. Следовательно, подмассив был разделен случайным образом на обучающую и контрольную выборки в соотношении 90 %/10 %. Таким образом, обучающая выборка состоит из 670 изображений, 326 из которых относятся к классу «болезнь Крона», а 344 – к классу «язвенный колит». Контрольная выборка состоит из 80 изображений, 39 из которых относятся к классу «болезнь Крона», а 41 – к классу «язвенный колит».

Очевидно, что количество изображений в классах в первом и во втором подмассивах неодинаково. При обучении моделей допускается, что все классы имеют одинаковый вес при вычислении функции потерь. Но в случае, когда в массиве присутствуют несбалансированные классы, необходимо воспользоваться, т.н. балансировкой весов.

Балансировка весов позволяет сбалансировать данные в массиве, соответственно получить более адекватные результаты при вычислении функции потерь во время обучения модели. При балансировке весов допускается, что класс, представленный меньшим количеством экземпляров, имеет больший вес. Иными словами, класс с большим весом оказывает более существенное влияние на функцию потерь, чем класс с меньшим весом.

Веса классов вычисляются по следующей формуле:

,

где – вес класса j, N – количество экземпляров всех классов, k – количество классов, – количество экземпляров класса j.

Таким образом, были вычислены веса классов для первого и второго подмассивов.

Значения для первого подмассива:

w_норма = 1,75213675

w_{патология} = 0,6996587

Значения для второго подмассива:

w_БК = 1,02739726

w_ЯК = 0,97402597

Архитектура моделей принятия решений

Архитектура модели принятия решения о наличии ВЗК представлена на фиг. 5.

Модель состоит из 23 слоев, 16 из которых имеют весовые коэффициенты (13 сверточных слоев и 2 полносвязных).

При обучении на вход первого сверточного слоя подаются цветные изображения размером 256 х 256 пикселей. Первая стопка состоит из двух сверточных слоев, имеющих линейные размеры 256 х 256, 64 фильтров и ядро 3х3, т.е. после прохождения изображения через первый сверточный слой формируется 64 карты признаков размером 256х256, которые затем попадают на второй сверточный слой. После первых двух сверточных слоев следует слой субдискретизации с ядром 2х2, который уменьшает линейные размеры карт признаков в два раза. Следующие два сверточных слоя уже имеют размеры 128х128, 128 фильтров и ядро 3х3, после которых также следует слой субдискретизации с ядром 2х2. Далее три блока, состоящих из стопки из трех сверточных слоев с размерами 64х64, 32х32, 16х16 с ядром 3х3 и количеством фильтров 256, 512 и 512 соответственно, а также слоев субдискретизации с ядром 2х2 после каждой стопки. Все сверточные слои имеют функцию активации ReLU. По результатам такой обработки на выходе получают 512 карт признаков (фильтров) размером 8х8.

Далее следует т.н. верхняя модель, состоящая из слоя субдискретизации, полносвязного слой с 256 нейронами и функцией активации ReLU, слоя прореживания и выходного полносвязного слой с 1 нейроном и сигмоидальной функцией активации. Количество нейронов в полносвязных слоях было подобрано экспериментальным путем. Слой субдискретизации в данном случае возвращает среднее значение для всех карт признаков, образованных в сверточных слоях, что позволяет уменьшить количество признаков. Между полносвязными слоями добавлен слой прореживания с коэффициентом 0,2. Слой прореживания (dropout) предназначен для обнуления случайно выбранных признаков при обучении, коэффициент 0,2 означает, что при обучении будет обнулено 20 % случайно выбранных признаков.

На выходе данная модель формулирует вероятность принадлежности изображения к классу 0 («норма») или к классу 1 («патология»).

При обучении моделей принятия решения о наличии и виде ВЗК была произведена аугментация изображений со следующими параметрами: поворот на 30 градусов, отражение по вертикали, смещение изображения на 20 % по вертикали и горизонтали, растягивание на 10 градусов, уменьшение и увеличение на 20 %. Все операции были произведены случайным образом и только на обучающих выборках. Также для всех изображений было произведено их центрирование к нулю и перевод в цветовое пространство BGR.

Обучение первой модели производилось в два этапа: на первом этапе была обучена только верхняя модель сети, т.е. собственные слои сети VGG16 не участвовали в обучении и их весовые коэффициенты не изменялись. На втором этапе в обучении участвовали все слои, при этом использовались весовые коэффициенты, полученные на первом этапе (точная настройка).

Обучение верхней модели проводилось на протяжении 14 эпох с использованием оптимизатора Adam (адаптивная оценка момента) шагом обучения 0,001. Такое количество эпох обучения обусловлено тем, что была использована ранняя остановка обучения в случае, если функция потерь не уменьшается в течение 5 эпох.

Точная настройка проводилась на протяжении 33 эпох с использованием оптимизатора SGD (стохастический градиентный спуск) шагом обучения 0,0001. Такое количество эпох обучения обусловлено тем, что была использована ранняя остановка обучения в случае, если функция потерь не уменьшается в течение 15 эпох.

Архитектура модели принятия решения о виде ВЗК идентична архитектуре модели принятия решения о наличии ВЗК. Различие в том, что данная модель предназначена для дифференциации видов ВЗК и на выходе формулирует вероятность принадлежности изображения к классу 0 (БК) или к классу 1 (ЯК). Модель принятие решения о виде ВЗК отличается от модели принятия решения о наличии ВЗК отличается только тем, что были обучены на разных наборах («норма и патология» и «БК-ЯК», соответственно). Также при обучении данной модели были использованы функции регуляризации полносвязного слоя с 256 нейронами. Функция регуляризации, применяемая к матрице весов (kernel_regularizer), имеет значения коэффициентов l1 = 0,00001 и l2 = 0,0001. Функция регуляризации, применяемая к вектору смещения (bias_regularizer), имеет значение коэффициента l2 = 0,0001. Коэффициенты были подобраны экспериментальным путем.

Обучение верхней модели проводилось на протяжении 28 эпох с использованием оптимизатора Adam шагом обучения 0,001. Такое количество эпох обучения обусловлено тем, что была использована ранняя остановка обучения в случае, если функция потерь не уменьшается в течение 10 эпох.

Точная настройка второй модели проводилась на протяжении 22 эпох с использованием оптимизатора SGD шагом обучения 0,0001. Такое количество эпох обучения обусловлено тем, что была использована ранняя остановка обучения в случае, если функция потерь не уменьшается в течение 10 эпох. Коэффициент прореживания был увеличен до 0,25.

Результаты обучения модели принятия решения о наличии ВЗК для обучения верхней модели и точной настройки представлены в таблице 4. Значения точность и функции потерь вычислялись для контрольной выборки.

Таблица 4 – Результаты обучения модели принятия решения о наличии ВЗК

Этапы обучения	Метрики
Точность при валидации	Функция потерь
Обучение верхней модели	90,48 %	0,3086
Точная настройка	95,24 %	0,1988

Результаты обучения модели принятия решения о виде ВЗК для обоих этапов обучения представлены в таблице 5. Значения точность и функции потерь вычислялись для контрольной выборки.

Таблица 5 – Результаты обучения модели принятия решения о виде ВЗК

Этапы обучения	Метрики
Точность при валидации	Функция потерь
Обучение верхней модели	73,75 %	0,5235
Точная настройка	78,75 %	0,5899

Заявляемый способ осуществляют следующим образом.

Пациенту с подозрением на наличие ВЗК осуществляют эндоскопическое исследование (предпочтительно с помощью эндоскопа Olympus CF H185L). Врач проводит исследование всего толстого кишечника и подвздошного отдела тонкой кишки. При выявлении визуально патологии - наличия эрозий, язв, покраснения (гиперемии) он производит фиксацию изменённого (или нормального) участка слизистой параллельно с проведением исследования. В дальнейшем получается изображение в формате jpeg, которое сохраняется на носителях памяти и в компьютере. Врач-исследователь отсортировывает изображения: удаляет нечеткие изображения, с наличием других объектов (части эндоскопа), изображения с дефектами (блики) или где недостаточно визуализирована слизистая. Предварительная обработка изображений производится в автоматическом режиме. Сначала изображение приводится к размеру 256 х 256 пикселей и конвертируется в цветовое пространство LAB. Затем производится фильтрация методом нелокального среднего. В данном алгоритме значение яркости пикселя после фильтрации определяется путем усреднения значений яркостей пикселей блоков изображения, обладающих максимальной корреляцией с блоком, сформированным вокруг обрабатываемого пикселя. Далее производится улучшение контраста изображения методом контрастно-ограниченной эквализации гистограммы. Данный метод применяется к L-каналу изображения, значения которого предварительно нормализуются в диапазоне (0, 1). Изображение разбивается на фрагменты, для которых формируются гистограммы и перераспределяются значения яркости в соответствии с заранее заданным ограничением. Таким образом, данный алгоритм имеет два основных параметра: размер блока и порог ограничения гистограммы. В данной работе был использован размер блока (8 8) и порог 0,005. Наконец, изображение конвертируется обратно в пространство RGB. Затем полученное изображение анализируют с помощью вышеописанной свёрточной нейронной сети (модель о принятии решения о наличии ВЗК) и получают ответ о наличии или отсутствии ВЗК. Далее при наличии ВЗК полученное изображение дополнительно анализируют с помощью вышеописанной свёрточной нейронной сети (модель о принятии решения о виде ВЗК) и получает ответ о виде ВЗК: БК или ЯК.

Заявляемый способ поясняется примерами.

Пример 1.

Пациент А., в возрасте 35 лет поступил с подозрением на наличие ВЗК. Пациенту было произведено эндоскопическое исследование толстой кишки и подвздошного отдела тонкой кишки с помощью эндоскопа Olympus CF H185L. Затем полученные изображения были отобраны и отредактированы согласно заявляемому способу. Далее изображения были последовательно проанализированы с помощью двух нейронных сетей. В результате анализа первой нейронной сети был получен ответ «Наличие ВЗК» у пациента. По результатам анализа второй нейронной сети был получен ответ о наличии у пациента ЯК. Правильность постановления диагноза была подтверждена посредством комплексного анализа клинико-лабораторных данных, результатов эндоскопического и морфологического исследований, а также после исключения инфекционного генеза.

Пример 2.

Пациент Б., в возрасте 41 года поступил с подозрением на наличие ВЗК. Пациенту было произведено эндоскопическое исследование толстой кишки и подвздошного отдела тонкой кишки с помощью эндоскопа Olympus CF H185L. Затем полученные изображения были отобраны и отредактированы согласно заявляемому способу. Далее изображения были последовательно проанализированы с помощью двух нейронных сетей. В результате анализа первой нейронной сети был получен ответ «Наличие ВЗК» у пациента. По результатам анализа второй нейронной сети был получен ответ о наличии у пациента БК. Правильность постановления диагноза была подтверждена посредством комплексного анализа клинико-лабораторных данных, результатов эндоскопического и морфологического исследований, а также после исключения инфекционного генеза.

Пример 3.

Пациент В., в возрасте 29 лет поступил с подозрением на наличие ВЗК. Пациенту было произведено эндоскопическое исследование толстой кишки и подвздошного отдела тонкой кишки с помощью эндоскопа Olympus CF H185L. Затем полученные изображения были отобраны и отредактированы согласно заявляемому способу. Далее изображения были последовательно проанализированы с помощью двух нейронных сетей. В результате анализа первой нейронной сети был получен ответ «Отсутствие ВЗК» у пациента. Правильность постановления диагноза была подтверждена отсутствием «маркеров тревоги» при анализе клинико-лабораторных данных, нормальной эндоскопической и морфологической картиной. Пациент был направлен на дополнительные диагностические исследования с целью определения диагноза, не относящегося к БК и ЯК.

Пример 4.

Пациент Д., в возрасте 60 лет поступил с подозрением на наличие ВЗК. Пациенту было произведено эндоскопическое исследование толстой кишки и подвздошного отдела тонкой кишки с помощью эндоскопа Pentax EC-3890LZi. Затем полученные изображения были отобраны и отредактированы согласно заявляемому способу. Далее изображения были последовательно проанализированы с помощью двух нейронных сетей. В результате анализа первой нейронной сети был получен ответ «Отсутствие ВЗК» у пациента. Правильность постановления диагноза была подтверждена посредством комплексного анализа клинико-лабораторных данных, результатов эндоскопического и морфологического исследований. Пациент был направлен на дополнительные диагностические исследования с целью определения диагноза, не относящегося к БК и ЯК.

Пример 5.

Пациент Г., в возрасте 44 лет поступил с подозрением на наличие ВЗК. Пациенту было произведено эндоскопическое исследование толстой кишки и подвздошного отдела тонкой кишки с помощью эндоскопа Pentax EC-3890LZi. Затем полученные изображения были отобраны и отредактированы согласно заявляемому способу. Далее изображения были последовательно проанализированы с помощью двух нейронных сетей. В результате анализа первой нейронной сети был получен ответ «Наличие ВЗК» у пациента. По результатам анализа второй нейронной сети был получен ответ о наличии у пациента БК. Правильность постановления диагноза была подтверждена посредством комплексного анализа клинико-лабораторных данных, результатов эндоскопического и морфологического исследований, а также после исключения инфекционного генеза.

Источники информации.

1. Скалинская М. И., Сказываева Е.В., Бакулин И. Г., Машевский Г.А., Шелякина Н.М., Журавлева М.С., Расмагина И.А., Иванова К.Н., Формозова М.А. Проблема недифференцированных воспалительных заболеваний кишечника: от мировых воззрений до собственного опыта применения искусственных нейронных сетей //Профилактическая и клиническая медицина. – 2019. – №. 2. – С. 74-81.

2. Воспалительные заболевания кишечника. Карманное руководство / И.Г. Бакулин, Е.Б. Авалуева, Е.В. Сказываева, М.И. Скалинская, С.И. Ситкин. И.А. Оганезова, Л.И. Назаренко, Т.Н. Жигалова, Н.В. Бакулина, М.С. Журавлева // М. ООО «ГРУППА РЕМЕДИУМ». - 2018. - 80 с.

3. Маев И.В., Шелыгин Ю.А., Скалинская М.И. и др. Патоморфоз воспалительных заболеваний кишечника // Вестник Российской академии медицинских наук. - 2020. - Т. 75. - №1. - C. 27-35. DOI: 10.15690/vramn1219

4. Бакулин И.Г., Жигалова Т.Н., Латария Э.Л. и др. Опыт внедрения федерального регистра пациентов с воспалительными заболеваниями кишечника в Санкт-Петербурге //Фарматека. - 2017. - № S5. - С. 56-59.

5. Князев О.В., Шкурко Т.В., Фадеева Н.А. и др.
Эпидемиология хронических воспалительных заболеваний кишечника. Вчера, сегодня, завтра// Экспериментальная и клинич. гастроэнтерология. - 2017. - № 3 (139). - С. 4-12.

6. Способ дифференциальной диагностики неспецифического язвенного колита и болезни крона у детей: патент 2558067, Российская Федерация, заявка RU2014128388, заявл. 10.07.2014, опубл. 27.07.2015.

7. Способ ультразвуковой дифференциальной диагностики стриктур кишечной стенки ободочной и/или тонкой кишок при болезни Крона: патент 2690615, Российская Федерация, RU2018114280, заявл. 2018.04.18, опубл. 04.06.2019.

8. Buades A. (20-25 June 2005). A non-local algorithm for image denoising // Computer Vision and Pattern Recognition. 2005. No 2, рр. 60-65.

9. Zuiderveld K. Contrast limited adaptive histogram equalization //Graphics gems. – 1994. – С. 474-485.

10. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition //arXiv preprint arXiv:1409.1556. – 2014.

Способ дифференциальной диагностики болезни Крона или язвенного колита, включающий получение эндоскопического изображения толстой кишки пациента, которое подвергают фильтрации с использованием фильтра нелокального среднего и которому улучшают контраст методом адаптивной контрастно-ограниченной эквализации гистограммы, после чего обработанное изображение последовательно анализируют с помощью двух свёрточных нейронных сетей, причем с помощью первой нейронной сети определяют наличие или отсутствие воспалительного заболевания кишечника, а затем при наличии заболевания с помощью второй нейронной сети диагностируют болезнь Крона или язвенный колит.