Способ комплексирования цифровых полутоновых изображений нескольких диапазонов оптического спектра
Владельцы патента RU 2775592:
Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" (RU)
Изобретение относится к области цифровой обработки изображений, в частности к комплексированию цифровых изображений. Способ комплексирования основан на ранжировании изображений по безэталонному интегрально-мультипликативному показателю качества и пороговой обработке, заключающейся в выборе для комплексирования изображений, информативность которых превышает пороговое значение, при этом порог информативности является адаптивным и линейно связан с величиной показателя информативности наиболее информативного канала. Способ комплексирования цифровых полутоновых изображений нескольких диапазонов оптического спектра заключается в вычислении для изображений каждого спектрального диапазона безэталонных показателей качества, ранжировании изображений по указанному показателю, вычислении порога информативности, линейно зависящего от показателя информативности наиболее информативного изображения, сравнении показателей информативности изображений каждого канала с порогом, разложении превысивших порог исходных изображений на низкочастотную и высокочастотную компоненты, вычислении для каждого пикселя синтезированного изображения весовой суммы значений низкочастотных и высокочастотных компонент исходных изображений. Суммирование низкочастотных компонент выполняется с весами, пропорциональными их показателю информативности, а высокочастотных компонент - с весами, пропорциональными величинам их главных компонент. Перед выводом комплексированного изображения на устройство отображения выполняется выравнивание его яркостного диапазона. Изобретение обеспечивает увеличение информативности комплексированного изображения. 1 з.п. ф-лы, 9 ил.
Изобретение относится к области цифровой обработки изображений, в частности, к комплексированию цифровых изображений.
Для комплексирования изображений одной и той же сцены в двух диапазонах оптического спектра из уровня техники известен ряд способов комплексирования полутоновых изображений телевизионной (ТВ) и тепловизионной (ТПВ) камер [1-5]. Результирующее изображение при этом получают различными путями.
В патентах [1, 2] - последовательной поочередной записью пикселей ТВ и ТПВ изображений в чересстрочном [1] или шахматном [2] порядке. Недостатком обоих способов является двукратное снижение пространственного разрешения результирующего изображения по сравнению с каждым из исходных.
В патентах [3-5] - наложением на изображение приоритетного канала изображения второго канала с компенсированной постоянной составляющей [3-5]. При этом определяют основной канал (с наибольшим уровнем информативных деталей), вычисляют среднюю яркость изображения второго канала (с меньшим уровнем информативных деталей), вычисляют среднее значение абсолютных разностей между значением средней яркости изображения второго канала и значениями яркости всех пикселей изображения второго канала, вычисляют сумму значения яркости пикселя изображения основного канала и абсолютной разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, из полученной суммы вычитают среднее значение абсолютных разностей яркости пикселей изображения второго канала и средней яркости изображения второго канала [3, 4] либо указанную разность дополнительно масштабируют с весовым коэффициентом [5]. Мерой уровня информативности комплексируемых изображений является или оценка мощности высокочастотных (ВЧ) компонент изображения [3], или энтропия [4].
Однако оценка визуального качества изображения по отдельным мерам может не совпадать с субъективным восприятием качества [6, 7]: например, изображение, содержащее только белый гауссовский шум со среднеквадратическим отклонением (СКО) в 30..50 уровней яркости не несет никакой полезной информации, но при этом обеспечивает высокие значения оценок и энтропии, и мощности ВЧ компонент.
Другим недостатком способов комплексирования с приоритетом одного канала [3, 4] является прибавление к яркости пикселей изображения основного канала абсолютного значения (модуля) разности яркости пикселей второго канала и их среднего значения, что приводит к неправильному отображению теплового контраста сцены в результирующем изображении [8]: яркость объектов с низкой температурой (темных на ТПВ изображении) при комплекси-ровании увеличивается, что приводит к снижению, например, меры подобия SSIM [9], используемой как критерий качества комплексирования [10].
Учесть при комплексировании отличительные детали изображений сцены в нескольких спектральных диапазонах позволяют алгоритмы объединения информации, основанные на методе главных компонент (от англ. principal component analysis, РСА) [11]. Например, в [12, 13] разделяют изображения от каждого из каналов на низкочастотную (НЧ) и ВЧ составляющие, затем находят среднее арифметическое НЧ составляющих и прибавляют к нему ВЧ компоненты составляющих каждого канала, веса которых зависят от отношения сглаженных в окрестности анализируемого пикселя главных компонент ВЧ составляющих каждого канала:
где F - яркость пикселя комплексированного изображения, S и D - яркости НЧ и ВЧ составляющих соответственно, w - весовые коэффициенты,
где PCk - главные компоненты ВЧ составляющих ТВ и ТПВ каналов, G - ядро гауссовского фильтра, «*» - операция свертки.
Выражение (1) может быть обобщено на случай L спектральных диапазонов:
Из уровня техники также известны изобретения для комплексирования L>2 изображений различных диапазонов оптического спектра.
В способе комплексирования цифровых многоспектральных полутоновых изображений, основанном на применении вейвлет-разложения [14], рассмотрен алгоритм, основанный на весовом суммировании составляющих кратномасштабного разложения изображений. В указанном способе выполняют разложение каждого исходного изображения на низкочастотную (аппроксимирующую) и высокочастотные (детализирующие) компоненты путем многоуровневой декомпозиции с применением вейвлета Хаара, определяют значения матриц энергетических характеристик пикселей на всех уровнях разложения для каждого изображения, осуществляют фильтрацию всех детализирующих составляющих, вычисляют для каждого разложения корректирующие функции яркости и контраста, вычисляют для каждого разложения на каждом уровне весовую функцию, параметром которой является значение энергетической характеристики, производят для каждого пикселя на каждом уровне разложения вычисление компонент синтезированного изображения путем взвешенного суммирования значений соответствующих составляющих разложений исходных изображений, выполняют обратное вейвлет-преобразование и согласуют яркостной диапазон результирующего изображения с параметрами видеосистемы.
Энергетической характеристикой при этом выступает сумма квадратов значений яркости пикселей на каждом уровне кратномасштабного разложения.
К недостаткам способа [14] можно отнести следующее.
Во-первых, использование критерия качества изображений каждого уровня кратномасштабного разложения, основанного на энергетической характеристике, как и в случае способов [3, 4], будет увеличивать вес составляющих не только для резких и высококонтрастных изображений, но и для сильно зашумленных.
Во-вторых, практика испытаний мультиспектральных систем технического зрения [15] показывает, что комплексирование информации от всех имеющихся каналов технического зрения в ряде условий наблюдения (например, недостаточная видимость, обусловленная дымом, туманом, моросью, низкой освещенностью и др.) не оправдано и необходима пороговая обработка: адаптивный выбор для последующего комплексирования кадров только тех каналов, которые являются наиболее информативными. В качестве критерия информативности может выступать, например, нормированный показатель информативности (НПИ) [15, 16], оперирующий максимумом и минимумом среднего градиента яркости в окне 5×5 пикселей.
Известен способ комплексирования цифровых многоспектральных изображений земной поверхности, а именно - локационных изображений земной поверхности [17]. Способ предполагает выполнение весового суммирования для каждого пикселя, при этом после получения всех изображений определяют наиболее информативное, считая таковым изображение с большей энтропией. Далее выполняют вычисление морфологической формы наиболее информативного изображения на основе гистограммной сегментации с заданным количеством мод гистограммы, вычисляют морфологические проекции остальных изображений на форму наиболее информативного изображения, а комплексирование выполняют путем суммирования яркостей пикселей наиболее информативного изображения, которое принимают за базовое, и проекций остальных изображений на форму этого изображения.
Недостатком способа [17] является то, что по критерию максимальной энтропии за наиболее информативное может быть выбрано в том числе и изображение, содержащее только шум.
В качестве прототипа выбран наиболее близкий по совокупности признаков способ комплексирования цифровых многоспектральных полутоновых изображений L различных диапазонов спектра, в котором также определяют наиболее приоритетное изображение. Далее на основе приоритетного и остальных изображений формируют результирующее комплексированное изображение, при этом наиболее приоритетное изображение параллельно подают на сумматор, а также - совместно с остальными изображениями - на формирователь единого эталонного изображения. В полученном эталонном изображении вычисляют значения градиентов яркости пикселя с координатами (i, j) с пикселями в его окрестности. Полученные градиенты подают на усилитель с заданным коэффициентом усиления и далее в сумматор, где вычисляют сумму значений яркости пикселей окрестности в скользящем окне приоритетного изображения с полученными соответствующими значениями градиентов пиксела (i, j) эталонного изображения, а затем формируют результирующее комплексированное изображение путем усреднения вычисленных в сумматоре значений в скользящем окне.
При этом в описании патента [18] указано, что выбор приоритетного изображения выполняется либо путем субъективной оценки оператором, либо используя «какой-нибудь автоматический критерий». Примера «автоматического критерия» в описании [18] не приводится.
Недостатком прототипа, как и способа [14], является учет в итоговом комплексированном изображении высокочастотных составляющих яркости абсолютно всех входных изображений, в том числе, например, не содержащих иной информации, кроме шума.
Техническая проблема, решаемая заявляемым изобретением, заключается в отсутствии способа объединения на уровне пикселей информации от цифровых полутоновых изображений для L>2 различных диапазонов спектра, адаптивного к информативности кадров каждого из спектральных каналов.
Технический результат изобретения заключается в увеличении информативности комплексированного изображения и достигается адаптивным выбором подлежащих объединению L>2 цифровых полутоновых изображений различных диапазонов спектра с применением безэталонного комплексного показателя качества.
Технический результат достигается тем, что перед выполнением операции попиксельного объединения яркости выполняется ранжирование исходных изображений по безэталонному комплексному критерию качества и пороговая обработка: изображения, не превысившие порога, исключаются из процедуры комплексирования.
Комплексный интегрально-мультипликативный показатель качества (ИМПК) цифровых полутоновых изображений приводится в [7]. Он оперирует нормированными средней яркостью, отношением сигнал-шум, СКО высокочастотной составляющей яркости с компенсацией СКО шума, а также средними значениями локальных контрастов высокочастотной и низкочастотной составляющих яркости по полю изображения, с их коррекцией, учитывающей оценку СКО шума.
Известное правило выбора информативных изображений для комплексирования рассмотрено, например, в [15, 16] и заключается в следующем:
1) для всех изображений L спектральных диапазонов оценивается показатель информативности Qi, i=1, 2,…L (в [15, 16] в качестве Qi применяется нормированный показатель информативности);
2) изображения ранжируются по показателю Qi;
3) выбираются два изображения с наибольшей информативностью и сравниваются с фиксированным порогом Qпор=0,25;
4) если информативность каждого из них превышает порог, выполняется их комплексирование;
5) если информативности изображений не превышают Qпор=0,25, то потребителю выводится изображение от наиболее информативного канала.
Указанное правило имеет недостаток: в ситуации, когда изображения всех спектральных каналов имеют приблизительно одинаковую информативность и в то же время каждое из них содержит признаки объектов сцены, не наблюдаемые в других спектральных диапазонах, оставление для комплексирования только двух каналов с максимальной информативностью не позволяет достичь максимальной информативности результирующего изображения.
В предлагаемом способе комплексирования выбор информативных каналов основан на сравнении показателей информативности не с фиксированным значением порога, а с адаптивно изменяющимся, зависящим от значения показателя информативности наиболее информативного изображения:
1) для всех изображений L спектральных диапазонов оценивается показатель информативности Qi, i=1, 2, …, L, где в качестве Qi выступает ИМПК;
2) изображения ранжируются по показателю Qi;
3) устанавливается порог информативности Qпор=cQmax, где Qmax - ИМПК наиболее информативного изображения, а с - константа, которая определяет отличие от Qmax информативности кадров, включаемых в процедуру комплексирования, 0<с<1; например, с - 0,5;
4) для кадров, информативность которых превысила порог, выполняется комплексирование по модификации метода главных компонент, в которой, в отличие от (2), веса НЧ составляющих суммируются не по правилу среднего арифметического, а с весами, пропорциональными ИМПК каждого изображения:
где L* - количество изображений, которые превысили порог информативности Qпор.
Применение формулы (3) позволяет, например, минимизировать проникновение в результирующее комплексированное изображение малоинформативной низкочастотной фоновой составляющей от переэкспонированных кадров (засветки).
Рассмотрим различные стратегии попиксельного комплексирования на примере изображений трех спектральных диапазонов - видимого, коротковолнового инфракрасного (ПК) и длинноволнового ИК - с сюжетом «Kaptein_1123» из открытой базы TNO [19] (фиг. 1-3). Для комплексирования будем использовать алгоритм объединения информации, основанный на методе главных компонент: как показано в [20], применение стратегии весового суммирования, основанной как на вейвлет-преобразовании с вейвлетом Хаара [14], так и на методе главных компонент обеспечивает результат комплексирования приблизительно одинакового качества. В качестве показателя информативности примем ИМПК [7]. Для синтезированного комплексиро-ванного изображения дополнительно будем применять процедуру контрастирования для приведения диапазона уровней яркости к интервалу [0, 255].
Все три исходных изображения на фиг. 1-3 имеют приблизительно одинаковый ИМПК: для ТВ канала QTB=0,21, для коротковолнового ИК канала QКВИК=0,17, для длинноволнового ИК - Qдвик=0,2. Результат комплексирования всех трех каналов по (3) приведен на фиг. 4, его ИМПК QF=0,24. Для сравнения результат комплексирования по методу главных компонент двух наиболее информативных (по ИМПК) каналов согласно стратегии [15, 16] приведен на фиг. 5, его ИМПК равен 0,22. Из сравнения фиг. 4 и фиг. 5 видно, что выбор только двух, пусть и наиболее информативных каналов (фиг. 5) приводит к менее информативному результату, чем учет информации от каналов всех трех спектральных диапазонов: на фиг. 4 наблюдаем более контрастные изображения кустарника (в правой части кадра) и осветительного прибора, расположенного слева в холле здания (центральная часть кадра) за счет получения дополнительной информации о данных объектах от канала коротковолнового ИК диапазона.
В то же время в ситуации, когда информативности каналов различаются в разы, объединение изображений всех спектральных диапазонов, как справедливо отмечено в [15, 16], не оправдано. Сымитируем для фиг. 1 и фиг. 2 уменьшение освещенности, которое в режиме автоэкспозиции камер каналов технического зрения приведет к увеличению времени экспонирования и росту уровня шумов (фиг. 6 с QTB=0,09 и фиг. 7 с QКВИК=0,08); при этом будем использовать математическую модель аддитивного белого гауссовского шума. При выборе порога с целью отбора изображений для дальнейшей процедуры комплексирования примем значение константы с=0,5. При этом значение Qпор=cQmax=0,5Qmax=0,5⋅0,2=0,1 и применение процедуры комплексирования не оправдано, так как информативность изображения длинноволнового ИК диапазона более чем в 2 раза превосходит информативности кадров видимого и коротковолного ИК диапазонов. Это подтверждается как визуальным сравнением, так и ИМПК результатов комплексирования. Действительно, на фиг. 8 приведен результат объединения всех трех каналов с QF=0,14, а на фиг. 9 - только изображение от длинноволнового ИК канала (фиг. 3) после применения контрастирования с ИМПК, равным 0,2. Поскольку изображение фиг. 3 уже изначально содержит объекты как высокой, так и низкой яркости, применение процедуры контрастирования к увеличению ИМПК длинноволнового ИК канала не приводит.
Таким образом, предлагаемый способ комплексирования цифровых полутоновых изображений нескольких диапазонов оптического спектра согласно (3) обеспечивает без участия оператора автоматический выбор по величине интегрально-мультипликативного критерия качества информативных изображений нескольких каналов для комплексирования.
Список использованных источников
1. Патент RU 2538340, опубликовано 10.01.2015, МПК G06T 3/00 (2006.01).
2. Патент RU 2435221, опубликовано 27.11.2011, МПК G06T 3/00 (2006.01).
3. Патент RU 2451338, опубликовано 20.05.2012, МПК G06T 5/00 (2006.01).
4. Патент RU 2684585, опубликовано 09.04.2019, МПК G06T 5/50 (2006.01), G06K 9/46 (2006.01).
5. Патент RU 2667800, опубликовано 24.09.2018, МПК G06T 5/50 (2006.01), G06K 9/46 (2006.01).
6. Старовойтов В.В., Старовойтов Ф.В. Сравнительный анализ безэталонных мер оценки качества цифровых изображений // Системный анализ и прикладная информатика. 2017. №1. С. 24-32.
7. Сычев А.С., Холопов И.С. Безэталонный интегрально-мультипликативный показатель качества цифровых полутоновых изображений // Цифровая обработка сигналов. 2018. №3. С. 49-55.
8. Дрынкин В.Н., Фальков Э.Я., Царева Т.И. Формирование комбинированного изображения в двухзональной бортовой авиационно-космической системе // Техническое зрение в системах управления 2012: сборник трудов научно-технической конференции под ред. P.P. Назирова. М.: Механика, управление и информатика, 2012. С. 33-39.
9. Wang Z., Bovik А.С., Sheikh H.R., Simoncelli E.P. Image quality assessment: from error visibility to structural similarity // IEEE Trans, on Image Processing. 2004. Vol. 13, Is. 4. P. 600-612.
10. Фролов B.H., Тупиков В.А., Павлова В.А., Александров В.А. Методы информационного совмещения изображений в многоканальных оптико-электронных системах // Известия ТулГУ. Технические науки. 2016. Вып.11, Ч. 3. С. 95-104.
11. Comparison of three different methods to merge multiresolution and mul-tispectral data: Landsat TM and SPOT Panchromatic // Photogrammetric Engineering and Remote Sensing. 1991. Vol. 57, No. 3. P. 265-303.
12. Sadhasivam S.K., Keerthivasan M.B., Muttan S. Implementation of max principle with PCA in image fusion for surveillance and navigation application // Electronic Letters on Computer Vision and Image Analysis. 2011. Vol. 10, No. 1. P. 1-10.
13. Das S., Krebs W.K. Sensor fusion of multi-spectral imagery // IEEE Letters. 2000. Vol. 36. P. 1115-1116.
14. Патент RU 2342701, опубликовано 27.12.2008, МПК G06K 9/40 (2006.01), G06T 5/40 (2006.01).
15. Бондаренко А., Бондаренко M. Аппаратно-программная реализация мультиспектральной системы улучшенного видения // Современная электроника. 2017. №1. С. 32-37.
16. Бондаренко М.А., Дрынкин В.Н., Набоков С.А., Павлов Ю.В. Адаптивный алгоритм выбора информативных каналов в бортовых мультиспектральных видеосистемах // Программные системы и вычислительные методы. 2017. №1. С.46-52.
17. Патент RU 2520424, опубликовано 20.01.2014, МПК G06T 5/40 (2006.01).
18. Патент RU 2737699, опубликовано 02.12.2020, МПК G06T 5/40 (2006.01).
19. TNO Image Fusion Dataset: https://figshare.com/articles/ TNO_Image_Fusion_Dataset/1008029. Дата обращения: 06.06.21.
20. Krishnamoorthy S. Soman K.P. Implementation and comparative study of image fusion algorithms // International Journal of Computer Applications. 2010. Vol. 9, No. 2. P. 25-35.
1. Способ комплексирования цифровых полутоновых изображений нескольких диапазонов оптического спектра, включающий получение исходных изображений в L-диапазонах, по которым определяют наиболее приоритетное изображение, результирующее комплексированное изображение формируют путем весового суммирования высокочастотных компонент яркости, выравнивают яркостный диапазон результирующего изображения и подают его на вывод, отличающийся тем, что выполняется ранжирование исходных изображений по показателю информативности; вводится пороговое значение информативности, линейно зависящее от величины показателя качества наиболее информативного изображения; выполняется сравнение показателей информативности изображений каждого канала с порогом; для изображений, показатель информативности которых превысил порог, выполняется суммирование низкочастотных компонент с весами, пропорциональными их показателю информативности, а для высокочастотных компонент - с весами, пропорциональными величинам их главных компонент.
2. Способ по п. 1, в котором показателем информативности является безэталонный интегрально-мультипликативный показатель качества.
