Способ комплексирования полутоновых телевизионных и тепловизионных изображений
Владельцы патента RU 2684585:
Публичное Акционерное общество "Ростовский оптико-механический завод" (RU)
Изобретение относится к области обработки изображений. Технический результат − повышение качества выходного изображения в условиях недостаточной освещенности, содержащего элементы изображений одной и той же сцены, полученные в видимом и инфракрасном спектральном диапазоне. Способ комплексирования полутоновых телевизионных и тепловизионных изображений включает получение исходных изображений, определяющих основной канал с наибольшим уровнем информационных деталей, вычисление средней яркости изображения второго канала, причем при определении средней яркости пикселей комплексированного изображения второго канала для каждого пикселя комплексированного изображения, в зависимости от выбранного режима, в первом режиме вычисляют сумму значения яркости пикселя изображения основного канала и разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, умноженной на корректирующий коэффициент, а во втором режиме вычисляют разность значения яркости пикселя изображения основного канала и разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, умноженной на корректирующий коэффициент. 13 ил.
Изобретение относится к области цифровой обработки изображений, в частности к способу комплексирования полутоновых изображений, полученных от двух источников различного спектрального диапазона - видимого и инфракрасного.
Известен способ комплексирования цифровых полутоновых изображений (патент РФ №2540778, от 31.10.2013 г). Способ включает получение исходных изображений, определение наиболее информативного изображения, комплексирование изображений, основанное на комбинировании наиболее информативного изображения и отличительных деталей второго изображения, выравнивание. яркостного диапазона результирующего изображения. При комплексировании изображений определяют оценки коэффициентов линейной регрессии величин яркостей второго изображения по величинам яркостей наиболее информативного изображения, формируют промежуточное изображение как результат линейного преобразования наиболее информативного изображения с найденными коэффициентами, находят комплектованное изображение путем прибавления к наиболее информативному изображению разности второго и промежуточного изображений, умноженной на корректирующий коэффициент.
К недостаткам данного способа следует отнести снижение в комплексированном изображении контраста темных объектов, по сравнению с телевизионным изображением, которые в тепловизионном изображении выглядят более светлыми (фиг 5). Кроме того, на белом фоне, например снеге, белого цвета объекты, в комплексированном режиме будут низко контрастными. Также недостатком является сложность вычислений - большое количество умножений, сложений и делений, а также требуется значительный объем памяти. Кроме того вычисление коэффициентов а и b требует операций с плавающей точкой, что затрудняет реализацию способа в устройстве, например в ПЛИС.
Наиболее близким к предлагаемому является способ комплексирования цифровых полутоновых изображений, полученных от двух каналов различного спектрального диапазона (патент РФ №2451338 от 23.12.2010 г), который выбран в качестве прототипа. Представленный способ состоит из следующих этапов. Получают исходные цифровые телевизионные и тепловизионные изображения, определяют основное изображение с наибольшим уровнем информативных деталей. Вычисляют среднюю яркость изображения второго канала и вычисляют среднее значение абсолютных разностей между средней яркостью изображения второго канала и значениями яркостей всех пикселей изображения второго канала. Для каждого пикселя комплексированного изображения вычисляют сумму значения яркости пикселя изображения основного канала и абсолютной разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, из полученной суммы вычитают среднее значение абсолютных разностей яркости пикселей изображения второго канала и средней яркости изображения второго канала. Нормализуют яркостный диапазон изображения (фиг. 1).
При компьютерном моделировании способа прототипа был выявлен его недостаток - снижение в комплексированном изображении контраста темных и полутемных объектов, по сравнению с телевизионным изображением, которые в тепловизионном изображении выглядят более светлыми (фиг 6, 11), а также появление темных контуров, вместо целых объектов. Кроме того, выявлен еще недостаток, более холодные объекты в тепловизионном изображении, выглядят в комплексированном, как более теплые объекты (фиг 6).
Задачей предлагаемого способа комплексирования цифровых полутоновых изображений является повышение качества изображения, содержащего информативные элементы изображений одной и той же сцены.
Технический результат достигается тем, что способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений включает получение исходных цифровых изображений, комплексирование изображений, основанное на критериальном суммировании для каждого пикселя, формирование результирующего изображения, нормализацию яркостного диапазона изображения. Вычисляют среднюю яркость изображения второго канала. При этом он отличается от прототипа тем, что в первом выбранном оператором режиме, вычисляют сумму значения яркости пикселя изображения основного канала и разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, умноженной на корректирующий коэффициент, либо во втором режиме вычисляют разность значения яркости пикселя изображения основного канала и разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, умноженной на корректирующий коэффициент.
Способ комплексирования полутоновых телевизионных и тепловизионных изображений осуществляется следующим образом. С помощью аналого-цифровых преобразователей выполняют оцифровку сигналов от телевизионного и тепловизионного датчиков, выполняют предварительную обработку и получают исходные цифровые телевизионное и тепловизионное изображения.
Определяют наиболее информативный, основной канал любым известным способом вычисляют мощность высокочастотных компонент изображения, или вручную выбирая, например телевизионный канал.
Для второго канала, например тепловизионного, вычисляют его среднюю яркость по формуле:
где N - количество пикселей изображения.
В зависимости от выбранного оператором режима, в первом режиме вычисляют яркость пикселей комплексированного изображения по формуле:
где Xi - яркость пикселей телевизионного изображения,
k - корректирующий коэффициент, равный 0…1, физический смысл которого - доля отклонения от среднего яркости тепловизионного изображения.
Либо, в втором режиме, яркость пикселей комплексированного изображения вычисляют по формуле:
Знак минус дает негативную долю яркости тепловизионного изображения.
Нормализуют яркостный диапазон с помощью любого известного метода, например гамма-коррекции и выводят результирующее изображение для просмотра.
Предлагаемый способ комплексирования может быть реализован с помощью устройства, схема ко торого приведена на фиг. 2, где
1 - датчик телевизионного изображения,
2 - датчик тепловизионного изображения,
3, 4 - АЦП телевизионного и тепловизионного изображения,
5, 6 - блок предварительной обработки телевизионного и тепловизионного сигнала, выполняющий геометрические преобразования изображения, автоматической регулировки усиления, улучшения яркости и контраста, фильтрацию шума,
7 - блок комплексированного изображения, вычисляющий выражения (1), (2), (3),
8 - блок нормализации яркостного диапазона.
Сравнительные результаты, полученные при компьютерном моделировании, приведены на фиг. 3 - фиг. 13
На фиг. 3 представлено первое исходное телевизионное изображение 1.
На фиг. 4 представлено первое исходное тепловизионное изображение 1 той же сцены.
На фиг. 5 представлено вычисленное комплексированное изображение 1 по патенту РФ №2540778
На фиг. 6 представлено вычисленное комплексированное изображение 1 по способу прототипа.
На фиг. 7 представлено вычисленное комплексированное изображение 1 в первом режиме, с коэффициентом 0,9 по предлагаемому способу.
На фиг. 8 представлено вычисленное комплексированное изображение 1 в втором режиме, с коэффициентом 0,4 по предлагаемому способу.
На фиг. 9 представлено телевизионное изображение 2.
На фиг. 10 представлено тепловизионное изображение 2.
На фиг. 11 представлено комплексированное изображение 2 прототипа. В центре вместо объектов видны только контуры.
На фиг. 12 представлено комплексированное изображение 2 предлагаемого способа в первом режим с коэффициентом k=0,9.
На фиг. 13 представлено комплексированное изображение 2 предлагаемого способа в втором режиме с коэффициентом k=0,4.
Способ комплексирования полутоновых телевизионных и тепловизионных изображений, включающий получение исходных цифровых изображений, определение основного канала с наибольшим уровнем информационных деталей на изображении, вычисление средней яркости изображения второго канала, отличающийся тем, что при определении средней яркости пикселей комплексированного изображения второго канала для последующей нормализации яркостного диапазона и вывода результирующего изображения для просмотра, для каждого пикселя комплексированного изображения, в зависимости от выбранного оператором режима, в первом режиме вычисляют сумму значения яркости пикселя изображения основного канала и разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, умноженной на корректирующий коэффициент, а во втором режиме вычисляют разность значения яркости пикселя изображения основного канала и разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, умноженной на корректирующий коэффициент.
