Способ распознавания состояний теплоизлучающих объектов по их тепловым изображениям

 

Использование: в диагностике по тепловым изображениям как в технике, так и в медицине для распознавания состоянии теплоизлучающих объектов при проведении массовых обследований и научных исследований. Сущность изобретения: для повышения точности распознавания в пределах каждой выбранной зоны информативности по способу формируют в реальном температурном интервале тепловое изображение с заранее установленным числом элементов разложения и подвергают его структурному разложению на информативные компоненты с одновременной оценкой значений температурных и геометрических параметров этих компонент. Все параметры информативных компонент объединяют в связанные по информативности совокупности, представляющие термографические образы возможных состояний исследуемого объекта. Используя полученные значения параметров, текущее тепловое изображение относят по максимуму вероятности принадлежности к тому или иному образу. 1 ил.

Изобретение относится к технической и медицинской диагностике с использованием термографической информации для оценки состояния того или иного теплоизлучающего объекта или органа, или другими словами к диагностике по тепловым изображениям.

Изобретение может быть применено в технической диагностике для определения (распознавания) состояний различных объектов, например энергетических установок. Возможно использование изобретения и для проведения научных исследований, для наблюдения за изменением состояния объекта во времени (динамические исследования), для оценки эффективности лечения в медицинской практике, оценки изменения режимов и надежности теплоизоляции той или иной энергетической установки и т.п. Наиболее эффективно в настоящий момент оно может быть использовано в медицинской диагностике для проведения массовых профилактических обследований, например, с целью выявления групп с подозрением на рак молочной железы.

Известные способы распознавания по тепловым изображениям [1] как правило, включают формирование теплового изображения на экране видеоконтрольного устройства (ВКУ), визуальный анализ этого изображения оператором, выбор оператором определенных температурных интервалов и уровней с последующим выводом на экран и визуальным анализом тепловых изображений в пределах выбранных температурных интервалов, выделение на изображениях областей, превышающих установленный оператором температурный уровень, выделение на изображениях точек и линий равных температур (изотерм) с определением температурной разности между отдельными точками и линиями.

В этих способах точность принимаемого решения в значительной степени зависит от субъективности восприятия теплового изображения оператором, от "удачного" выбора оператором температурных интервалов и температурных уровней. Кроме того, использование только таких диагностических признаков, как область превышения температурного уровня и изотерма, не обеспечивает возможности выявления и анализа реально существующих диагностических признаков, которых, как правило, существенно больше и которые имеют сложный характер взаимодействия с исходной структурой теплового изображения. Например, области превышения температурного уровня на реальных изображениях чаще всего неравномерны, т.е. имеют сложный рельеф, на этот рельеф, в свою очередь, могут "накладываться" такие диагностические признаки, как гипер и гипотермичные точки, линии и очаги различной конфигурации. Следует отметить также, что данный способ требует от оператора специальной подготовки и достаточно высокого уровня квалификации. Но даже выполнение этих требований при решении сложных диагностических задач не снимает проблем недостаточности используемых в этом способе диагностических признаков и быстрой утомляемости оператора, особенно при проведении массовых наблюдений, т.е. в условиях дефицита времени.

Таким образом, известные способы не обеспечивают возможности распознавания состояний с высокой точностью в случаях большого числа диагностических признаков, т. е. по тепловым изображениям со сложной структурой, и при ограниченном времени анализа информации тепловых изображений. Кроме того, использование этих способов становится вообще проблематичным в случае динамических наблюдений.

Наиболее близким к изобретению по своей сущности и достигаемому результату является способ распознавания состояний объектов по их тепловым изображениям [2] включающий формирование теплового изображения на экране ВКУ в выбранном оператором температурном интервале, визуальный анализ этого изображения оператором, выбор оператором зон информативности и построение границ выбранных зон информативности на тепловом изображении, проведение количественного анализа изображения в пределах границ зон информативности путем использования набора гистограммных диагностических параметров изображений зон информативности, а также набора таких параметров сегментации изображения, как средняя, максимальная и минимальная температуры по отношению к установленному оператором температурному уровню, температурный перепад между максимальной и минимальной температурами, положение максимума гистограммы на температурной шкале, значение максимума амплитуды гистограммы распределения температур.

Данный способ повышает в ряде случаев точность. Однако решение задачи распознавания с высокой точностью, т.е. приближающейся к потенциальной точности термографического метода, при использовании способа остается по-прежнему практически не осуществимо. Дело в том, что сложные по структуре изображения отличаются как многообразием типов структур в норме, так и многообразием признаков отклонения от нормы, что порождает множественность диагностических классов. В то же время диагностические параметры в данном способе используются без учета реальных типов структур анализируемого изображения в норме и возможных признаков отклонения от нормы, что порождает значительное взаимовлияние значений параметров друг на друга, т.е. сильную их коррелированность. Это приводит к образованию значительной области взаимного перекрытия диагностических классов. Причем чем сложнее диагностическая задача (ранняя диагностика), тем больше область взаимного перекрытия. В этих условиях почти бессмысленной становится попытка отыскания приемлемого решающего правила разделения изображений на диагностические классы. Следует отметить также, что поскольку температурный интервал для всего изображения выбирается оператором, то он, как правило, не соответствует (обычно превосходит) реальным температурным интервалам каждой из зон информативности и является случайной величиной, что приводит к потере воспроизводимости и в некоторых случаях существенному снижению информативного содержания тепловизионного сигнала зоны информативности. К снижению информативного содержания анализируемого тепловизионного сигнала может в большом числе случаев приводить также незначительная по сравнению с площадью всего кадра теплового изображения площадь зоны информативности. Кроме того, непостоянство соотношения площадей зоны информативности и кадра также может приводить к потере воспроизводимости результатов.

В основу изобретения положена задача разработать способ распознавания состояний объектов по их тепловым изображениям, обеспечивающий более высокую точность при решении сложных задач технической и медицинской диагностики в условиях ограниченного времени, например, при массовых наблюдениях.

Общими с известным способом признаками являются формирование теплового изображения исследуемого объекта на экране ВКУ в установленном оператором температурном интервале, визуальный анализ этого изображения оператором с выбором зон информативности, построение границ выбранных зон информативности.

К отличиям предложенного способа, позволяющим достичь новый технический результат, относятся формирование кадра первого теплового изображения выбранной зоны информативности с заранее установленным числом элементов разложения, определение в кадре первого теплового изображения реального значения температурного интервала и формирование того же кадра второго теплового изображения, но уже в реальном температурном интервале, структурное разложение второго теплового изображения на информативные компоненты с одновременной оценкой значений температурных и геометрических параметров этих компонент, выделение гипер- и гипотермичных точек с одновременным формированием изображений этих точек, определением числа точек и их координат, температурных перепадов между каждой точкой и окружающим ее фоном, разностей температур между точками, а также одновременным стиранием выявленных точек на втором изображении и тем самым формированием нового, третьего изображения, не содержащего гипер- и гипотермичных точек, выделение на третьем изображении элементов, принадлежащих гипер- и гипотермичным очагам и линиям, объединение выделенных элементов в связные совокупности с одновременным формированием изображений этих совокупностей, определением средних, максимальных и минимальных температур совокупностей, температурных перепадов в пределах совокупностей, а также между средними температурами совокупностей и окружающим их фоном, относительных площадей совокупностей, коэффициентов их формы и заполнения и стиранием выделенных совокупностей на третьем изображении и тем самым формированием нового, четвертого изображения, не содержащего гипер- и гипотермичных линий и очагов, разделение изображений совокупностей на отдельные изображения линий и очагов с определением для одноименных совокупностей разностей между одноименными температурными параметрами, сглаживание четвертого изображения с определением средней температуры зоны, выделение на четвертом сглаженном изображении областей равных либо не равных температур с одновременным формированием изображений этих областей, определением средних, максимальных, минимальных и дисперсий температур, относительных площадей областей, коэффициентов их формы и заполнения, стиранием областей на четвертом сглаженном изображении и формированием тем самым пятого изображения, содержащего только температурные перепады между областями, так называемые склоны температурного рельефа сглаженного изображения с определением числа, величины и относительной площади перепадов, определение относительных отклонений одноименных параметров для симметричных зон информативности симметричного теплового изображения, объединение всех параметров информативных компонент на множестве тепловых изображений обучающей выборки в связные по информативности совокупности, каждая из которых представляет собой термографический образ того или иного состояния исследуемого объекта, отнесение каждого текущего теплового изображения по полученным значениям параметров и максимуму вероятности принадлежности к тому или иному образу.

Данная совокупность признаков позволяет повысить точность распознавания за счет формирования стандартного по числу элементов разложения кадра теплового изображения зоны информативности, не зависящего от ее площади, определения реальных температурных интервалов для каждой зоны информативности, выделения из исходного теплового изображения элементарных изображений информативных компонент, каждая из которых в отдельности либо в сочетании с другими компонентами может служить признаком того или иного состояния исследуемого объекта, количественной оценки параметров изображений каждой компоненты в отдельности, формирования связанных по информативности совокупностей параметров или термографических образов возможных состояний исследуемого объекта.

Изобретение поясняется чертежом, на котором представлен пример возможного изображения связанной совокупности элементов, где h высота габаритного прямоугольника, l длина габаритного прямоугольника, S_c площадь совокупности, S_гп площадь габаритного прямоугольника.

Способ осуществляется следующим образом.

Вначале формируют тепловое изображение исследуемого объекта на экране ВКУ в установленном оператором температурном интервале. Затем производят визуальный анализ сформированного теплового изображения и выбор на нем зон информативности, т.е. участков, содержащих наибольшее количество информации о состоянии исследуемого объекта. После этого осуществляют построение на тепловом изображении границ выбранных зон информативности. Например, один из методов построения границ может состоять в выполнении следующих операций: нелинейном преобразовании теплового изображения с помощью двумерного оператора, например, типа оператора Собеля с целью усиления характерных температурных перепадов, пороговой фильтрации полученного изображения характерных температурных перепадов, т.е. формировании изображения граничных линий зон информативности, установке на изображении граничных линий маркеров в точках смены ориентации этих линий, аппроксимации линий, расположенных между маркерами, утонченными и не имеющими разрывов замкнутыми линиями, изменении площадей фигур, образуемых замкнутыми линиями, и окончательной установке тем самым границ зон информативности.

Затем в пределах выбранной для анализа зоны информативности формируют кадр первого теплового изображения с заранее установленным числом элементов разложения (128х128, 256х256, 512х512 и т.д.). Такое формирование можно осуществить, например, перемещая приемную камеру в направлении к объекту либо изменяя ее угол обзора и мгновенный угол поля зрения. Этим достигается стандартизация площади анализируемой зоны информативности, поскольку она становится почти равной площади кадра. Следовательно, удается существенно повысить как информативное содержание тепловизионного сигнала, так и воспроизводимость получаемых результатов.

В кадре первого теплового изображения определяют реальное значение температурного интервала, т. е. температурный перепад между самой "горячей" и самой "холодной" точками, и вновь формируют тот же кадр второго теплового изображения, но уже в реальном температурном интервале. Эта операция приводит в соответствие выбранный для анализа и реальный температурные интервалы зоны информации. Теперь дальнейший анализ информации будет проводиться строго в реальном температурном интервале, что повышает информативное содержание и воспроизводимость тепловизионного сигнала зоны информативности.

Полученное второе тепловое изображение подвергают структурному разложению на элементарные изображения отдельных информативных компонент с одновременной оценкой значений температурных и геометрических параметров этих компонент (под информативными компонентами понимают изображения однотипных элементарных составляющих структур исходного изображения, таких как гипер- и гипотермичные точки, очаги, линии, области равных и неравных температур, склоны температурного рельефа и т.п.). Для этого на втором тепловом изображении, например, путем логической фильтрации выделяют гипер- и гипотермичные точки с одновременным формированием изображений этих точек, определением числа точек и их координат, температурных перепадов между каждой точкой и окружающим ее фоном, разностей температур между точками, а также одновременным стиранием выявленных точек на втором изображении и тем самым формированием нового, третьего изображения, не содержащего гипер- и гипотермичных точек. Стирание может быть произведено, например, путем присвоения точке среднего значения температуры окружающего ее фона. На третьем изображении любым известным способом, например путем логической фильтрации, выделяют элементы, принадлежащие гипер- или гипотермичным очагам и линиям. Выделенные элементы объединяют, например, путем пространственной бинарной логической фильтрации в связные совокупности с одновременным формированием изображений этих совокупностей, например определением средних, максимальных и минимальных температур совокупностей, температурных перепадов в пределах совокупностей, а также между средними температурами совокупностей и окружающим их фоном, относительных площадей совокупностей δS_c=S_c/S_зи, где S_зи площадь зоны информативности, коэффициентов их формы K_ф= /h≅l и заполнения K_з= S_c/S_гп и стиранием выделенных совокупностей на третьем изображении и тем самым формированием нового, четвертого изображения, не содержащего гипер- и гипотермичных линий и очагов. Стирание линий и очагов может быть произведено, например, путем присвоения каждому из элементов линии и очага среднего значения температуры окружающего данную линию или очаг фона, разделяют любым известным способом, например визуально по экрану ВКУ, изображения совокупностей на отдельные изображения линий и очагов, используя для этой цели полученные изображения совокупностей и значения коэффициентов их формы и заполнения. Определяют разности между одноименными температурными параметрами одноименных совокупностей. Сглаживают любым известным способом, например путем усредняющей фильтрации, четвертое изображение и определяют среднюю температуру зоны. Выделяют на четвертом сглаженном изображении любым известным способом, например путем логической фильтрации, области равных либо не равных температур с одновременным формированием изображений этих областей, определением средних, максимальных, минимальных и дисперсий температур, относительных площадей областей, коэффициентов их формы и заполнения, стиранием областей на четвертом сглаженном изображении и формированием тем самым пятого изображения, содержащего только температурные перепады между областями, т. е. так называемые склоны температурного рельефа сглаженного изображения. Стирание областей можно осуществить, например, путем присвоения всем элементам области значения средней температуры зоны. Определяют число, величину (размах) температурных перепадов и их относительную площадь.

Операцией последовательного стирания на исходном изображении уже выделенных информативных компонент, начиная с мелких элементарных составляющих структур, достигается как повышение точности последующей количественной оценки параметров, так и почти полное исключение их взаимовлияния друг на друга, т.е. декорреляция параметров.

В целом же с помощью предлагаемого разложения изображения на информативные компоненты достигается как декорреляция значений параметров, так и повышение точности определения формы отклонения состояния объекта от нормы. Например, в медицине наличие в структуре изображения молочной железы такой компоненты, как гипер- или гипотермичные точки, может служить признаком мультицентричной формы рака, а наличие гипер- или гипотермичных очагов или линий признаком узловых форм рака. В технике наличие этих компонент может служить признаком нарушения режима функционирования определенных узлов энергетической установки или их теплоизоляции.

Таким образом, предлагаемое разложение дает возможность более точно судить о форме отклонения состояния объекта от нормы, а раздельная для каждой компоненты оценка значений параметров о стадии этого отклонения. В результате существенно сокращается область взаимного перекрытия диагностических классов, а следовательно, появляется возможность повышения точности распознавания состояний исследуемых теплоизлучающих объектов.

По окончании структурного и количественного анализа выбранной зоны информативности аналогичный анализ производят для других выбранных зон информативности теплового изображения исследуемого объекта.

В случае симметрии теплового изображения, например парные органы в медицине, определяют относительные отклонения одноименных параметров для симметричных зон информативности, чем достигают повышения точности определения стадии отклонения от нормы, если таковое имеет место.

После этого все параметры информативных компонент объединяют на множестве тепловых изображений обучающей выборки любым известным способом, например с помощью марковских цепей, в связные по информативности совокупности, каждая из которых представляет собой термографический образ того или иного состояния исследуемого объекта. Этим существенно снижают интеллектуальную нагрузку с оператора (специалиста), проводящего исследование, и тем самым достигают как повышения точности распознавания состояний, так и воспроизводимости (устойчивости) получаемых результатов. И, наконец, используя полученные значения параметров, каждое текущее тепловое изображение относят по максимуму вероятности принадлежности к тому или иному образу: P_i= где i номер образа; k номер параметра; P_ki известное значение вероятности информативности k-го параметра в составе i-го образа; P_kⁱ измеренное значение вероятности информативности k-го параметра при проверке гипотезы о принадлежности изображения i-му образу.

Предложенный способ может быть практически реализован путем использования тепловизора, соединенного с ЭВМ типа IBM PC и допускающего стандартизацию съема первичной информации с исследуемого объекта, т.е. возможность формирования тепловых изображений зон информативности с заранее установленным числом элементов разложения, а также пакета программ, посредством которого можно реализовать указанный способ полностью или частично.

Способ был апробирован в медицинской практике при решении задачи ранней диагностики опухолевых заболеваний молочной железы и сопоставлен по точности с известным способом. Апробация производилась в ряде ведущих медицинских учреждений России (ОНЦ РАМН, Центр онкол. б-ца г.Саратова, б-ца N 52 г.Москвы) и по предварительным данным показала, что предлагаемый способ может превосходить известный по точности распознавания классов нормы и не нормы (подозрение на рак) на ранних стадиях заболевания примерно на 13% Кроме того, предлагаемый способ обеспечивает в большом числе случаев возможность дифференциальной диагностики, т.е. распознавания форм проявления патологии. Для апробации способа использовалась установка, созданная на базе тепловизора АТП-46, соединенная с персональным компьютером IBМ PC/AT.

Формула изобретения

СПОСОБ РАСПОЗНАВАНИЯ СОСТОЯНИЙ ТЕПЛОИЗЛУЧАЮЩИХ ОБЪЕКТОВ ПО ИХ ТЕПЛОВЫМ ИЗОБРАЖЕНИЯМ, включающий формирование теплового изображения исследуемого объекта на экране видеоконтрольного устройства в установленном оператором температурном интервале, визуальный анализ этого изображения оператором с выбором зон информативности, построение границ выбранных зон информативности, отличающийся тем, что дополнительно формируют кадр первого теплового изображения выбранной зоны информативности с заранее установленным числом элементов разложения, затем в сформированном кадре определяют реальное значение температурного интервала и вновь формируют тот же кадр теплового изображения, но уже в реальном температурном интервале, после чего полученное второе тепловое изображение подвергают структурному разложению на информативные компоненты с одновременной количественной оценкой значений температурных и геометрических параметров этих компонент, для чего на втором изображении выделяют гипер- и гипотермичные точки с одновременным формированием изображений этих точек, определением числа точек и их координат, температурных перепадов между каждой точкой и окружающим ее фоном, разностей температур точек, а также одновременным стиранием выявленных точек на втором изображении и тем самым формированием нового, третьего, изображения, не содержащего гипер- и гипотермичных точек, на третьем изображении выделяют элементы, принадлежащие гипер- или гипотермичным очагам и линиям, затем выделенные элементы объединяют в связные совокупности с одновременным формированием изображений этих совокупностей, определением средних и максимальных температур совокупностей, температурных перепадов в пределах совокупностей, а также между средними температурами совокупностей и окружающим их фоном, относительных площадей совокупностей, коэффициентов их формы и заполнения и одновременным стиранием выделенных совокупностей на третьем изображении и тем самым формированием нового, четвертого, изображения, не содержащего гипер- и гипотермичных линий и очагов, затем, используя полученные изображения совокупностей и значения коэффициентов формы и заполнения, разделяют изображения совокупностей на отдельные изображения линий и очагов, после чего для одноименных совокупностей определяют разности одноименных температурных параметров, затем сглаживают четвертое изображение и определяют среднюю температуру зоны, после чего выделяют области равных либо не равных температур с одновременным формированием изображений этих областей, определением средних, максимальных, минимальных и дисперсий температур, относительных площадей областей, коэффициентов их формы и заполнения и одновременным стиранием областей на четвертом, сглаженном, изображении и формированием тем самым нового, пятого, изображения, содержащего только температурные перепады между областями, характеризующие склоны температурного рельефа сглаженного четвертого изображения, после чего определяют число и величину перепадов, их относительную площадь, при этом для симметричных зон информативности симметричного теплового изображения определяют относительные отклонения одноименных параметров, затем все параметры информативных компонент объединяют на множестве тепловых изображений обучающей выборки в связные по информативности совокупности, каждая из которых представляет собой термографический образ того или иного состояния исследуемого объекта, после чего, используя полученные значения параметров, каждое текущее тепловое изображение относят по максимуму вероятности принадлежности к тому или иному образу.

РИСУНКИ

Рисунок 1