Способ получения изображений с увеличенным динамическим диапазоном
Владельцы патента RU 2578799:
Федеральное государственное бюджетное учреждение науки Институт космических исследований Российской академии наук (RU)
Изобретение относится к области получения цифровых изображений с увеличенным динамическим диапазоном. Технический результат - обеспечение повышения быстродействия и оперативности работы видеоинформационных устройств. Способ получения изображений с увеличенным динамическим диапазоном заключается в том, что необходимый динамический диапазон изображения разбивают на части, выполняют параллельную съемку в каждой части этого диапазона, получают при съемке дискретизированые и квантованные изображения, с характеристиками воспроизведения, заданными в пределах отдельных выделенных частей динамического диапазона, совмещают полученную видеоинформацию в суммарном изображении, амплитуду квантованного сигнала дискретизированных элементов каждого из полученных изображений преобразуют в набор логических единиц на каждом уровне квантования в соответствии с величиной этого сигнала, которые дополняют логическими нулями, формируют из преобразованной информации для всех полученных изображений общий массив логических уровней с полным суммарным числом уровней всех этих изображений Р, в котором затем для всех уровней квантования от 1 до Р производят последовательное попарное сравнение логических сигналов для пар уровней К и К+1 логическими операциями ИЛИ и И. 1 з.п. ф-лы, 5 ил.
Изобретение относится к способам получения изображений, в частности, к способам получения цифровых изображений с увеличенным динамическим диапазоном.
Динамический диапазон системы наблюдения определяет ее возможности отображения наблюдаемой сцены. Когда в кадр одновременно попадают и свет, и тень, то обычно его уже недостаточно, чтобы одинаково контрастно изобразить детали и светлой части и в тени. Если настроить съемочную систему на светлый участок, то все, что в тени, становится просто черным и неразличимым, а если настроить ее на темный участок - то оказывается засвеченной светлая часть. Приходится выбирать что-то одно, а другую часть кадра безвозвратно терять либо снижать общую контрастность изображения, делая неразличимыми многие детали. Расширение динамического диапазона - одно из главных направлений развития систем видеонаблюдения, наряду с увеличением разрешения и чувствительности матриц. Чем больше динамический диапазон, тем меньше на изображении будет засвеченных участков (например, от света фар) и темных участков (например, в тени от зданий и т.д.).
Известны способы получения изображений с увеличенным динамическим диапазоном применяемые при послесъемочной обработке снимков. Они заключаются в том, что при съемке получают не менее двух изображений, которые отображают содержание наблюдаемой сцены в части динамического диапазона (в светах или тенях, например), а затем формируют суммарное скорректированное изображение путем программного совмещения исходных полученных изображений. Наиболее часто это выполняется программным путем, и соответствующие средства имеются в программных пакетах типа Фотошоп (http://www.compartstudio.com/school/book/3-02/3-02.htm).
Однако такое решение не применимо для оперативных применений. Например, для бортовых систем ДЗЗ при наблюдениях с разных участков орбиты, для датчиков вертикали, работающих по наблюдениям планетного диска в произвольной фазе, неприменимо для наблюдений на поверхности космических тел, не имеющих атмосферы, для многих охранных систем и многих других подобных задач.
Известны различные способы аппаратного получения изображений с увеличенным динамическим диапазоном. Например, следующие:
«Способ и устройство для создания изображений с высоким динамическим диапазоном из множественных экспозиций» (Патент РФ 2397542, кл. G06T 5/50, H04N 5/235, опубл. 10.03.2009).
Изобретение относится к способу для создания улучшенного изображения посредством нескольких последовательных экспозиций. Результат достигается тем, что достаточный свет получают путем осуществления ряда первых экспозиций совместно с одной второй экспозицией в быстрой последовательности. Первые экспозиции объединяются для обеспечения достаточной яркости и резкости. Вторая экспозиция предназначена для сбора информации цвета. Первые экспозиции объединяются со второй экспозицией для обеспечения, улучшенного изображения.
«Способ получения цифрового изображения с большим динамическим диапазоном» (Патент РФ 2470366, кл. G06T 5/50, опубл. 20.12.2012).
Изобретение относится к технике получения цифровых изображений объекта, преимущественно в аэрографических и разведывательных целях. Изображение с большим динамическим диапазоном формируют в результате суммирования приведенных к реальной яркости изображений объекта, полученных при разных экспозициях. Для каждого пикселя каждого изображения расчетным путем определяют значение параметра, определяющего эффективность съемки.
Все перечисленные способы имеют достаточно сложную технологию и не предназначены для оперативного применения.
Современные цифровые съемочные системы с матричными фотоприемниками широко используются для получения изображений, они обеспечивают получение дискретизированых, квантованных изображений. Однако динамический диапазон этих изображений часто недостаточен для решения многих прикладных задач. Для таких камер эффективным методом расширения динамического диапазона телекамеры является метод двукратного экспонирования сенсора, например. Функция двойного сканирования (DoubleScan, аппаратная реализация функции WDR) позволяет вести видеонаблюдение при неравномерном освещении объекта. Данная технология основана на принципе получения двух кадров с разной выдержкой электронного затвора с последующим суммированием этих кадров. Таким образом, и темные, и яркие участки в кадре имеют хорошую детализацию.
Телекамеры с широким динамическим диапазоном (WDR) предназначены для обеспечения качественного изображения при встречной засветке и наличии в кадре как очень ярких, так и очень темных областей и деталей. При этом яркие области не насыщаются, а темные не отображаются слишком темными. Такие камеры обычно рекомендуются для организации наблюдения за объектом, находящимся напротив окон, в освещенном сзади проеме двери или ворот, а также при большом контрасте объектов («Телекамеры с широким динамическим диапазоном», журнал «Системы безопасности», №4, 2009 г.).
«Телевизионная камера для наблюдения в условиях сложного освещения и/или сложной яркости объектов» (Патент РФ №2389151, кл. H04N 5/225, опубл. 10.05.2010).
Технический результат достигается тем, что составляющие комбинированного изображения формируются в зарядовой форме на мишенях первого и второго телевизионных датчиков при различных временах экспозиции, устанавливаемых по критерию оптимальности для каждого из передаваемых фрагментов сцены.
Известные способы получения изображений с увеличенным динамическим диапазоном сводятся к разбиению всего требуемого диапазона на отдельные участки (не менее двух), получению видеоинформации в выбранных участках диапазона с последующим синтезом изображения с суммарными характеристиками. Однако при разбиении динамического диапазона больше чем на два участка возникают технические сложности. Динамический диапазон этих изображений может быть недостаточен для решения многих прикладных задач, в частности, при навигационных определениях, управлением огневыми средствами и др.
Для одновременного получения изображений с разными информационными характеристиками широко используют многоканальные системы наблюдения, в частности, для ДЗЗ применяют многозональные съемочные системы с параллельными каналами наблюдения. На основе набора полученных изображений затем синтезируют видеоинформацию с заданными свойствами («Союз 22 исследует Землю», Наука, М., 1980).
Прототипом, наиболее близким по технической сущности и достигаемому эффекту, является «Способ расширения динамического диапазона передаваемых градаций яркости и/или освещенности в телевизионной системе», который описан в патенте РФ 2199827, кл. H04N/202, опубл. 27.02.2003. Технический результат достигается инструментальным разбиением всего светового диапазона на несколько параллельных каналов преобразования, в которых меняют информативность различных участков всего диапазона яркости и/или освещенности объекта и крутизну преобразования свет - сигнал отдельных каналов. Сумма динамических диапазонов всех каналов тракта преобразования равна диапазону яркости и/или освещенности объекта так, что естественный диапазон освещенностей может быть восстановлен с необходимым количеством градаций яркости.
Недостатком этого способа является сложность и неопределенность формирования суммарного изображения.
Целью предлагаемого решения является упрощение, повышение быстродействия и оперативности работы видеоинформационных устройств.
Предлагаемое решение заключается в том, что при съемке получают не менее двух дискретизированных и квантованных на уровни изображений, которые формируют отображение наблюдаемой сцены в не менее двух разных, взаимодополнительных частях требуемого динамического диапазона. Преобразуют представление значений амплитуд видеосигнала этих изображений из величин по уровням квантования в соответствующий этой величине набор единичных логических значений, размещенных по уровням квантования, заполняя остальные логическими нулями. Затем формируют общий, суммарный для полученных изображений массив видеоинформации с суммарным для всех полученных снимков числом уровней квантования Р. Для этого дополняют квантованные уровни одного изображения уровнями одного или более других изображений этой же сцены, полученных в дополняющих частях динамического диапазона в соответствии с координатами соответствующих элементов изображения (пиксел). В полученном таким образом видеоинформационном массиве уровни квантования отдельных составляющих изображений будут перемешаны произвольным образом. Поэтому, для получения правильной структуры распределения видеоинформации по уровням квантования полученный массив сортируют. Операции сортировки производят с помощью последовательного выполнения логических операций И и ИЛИ между всеми парами уровней квантования, начиная с нижнего уровня. При этом результат операции ИЛИ между двумя уровнями (К и К+1) относят к нижнему уровню (К) в каждой паре, а результат операции И между теми же уровнями (К и К+1) относят к верхнему уровню (К+1).
Этот цикл сравнений повторяют Р-1 раз, уменьшая число сравниваемых уровней при каждом шаге на 1. В результате сортировки получают видеоинформационный массив с общим числом уровней Р, представленный упорядоченным размещением логических единиц по этим уровням. При этом число уровней изображения будет соответствовать сумме числа логических уровней всех используемых входных изображений Р. Суммарное число логических единиц для каждого из дискретизированных элементов определяет амплитуду сигнала формируемого суммарного изображения с увеличенным динамическим диапазоном.
Выполнение каждого очередного из Р-1 циклов сравнений может начинаться в любой момент, сразу после выполнения первого шага операций сравнения между двумя уровнями (К и К+1) и выполнятся одновременно с выполнением предыдущих циклов сравнения.
Предлагаемый способ может быть реализован следующим образом. Например, входная часть может быть реализована как камера со светоделителем на несколько (не менее двух) каналов или имеющая несколько каналов с параллельными оптическими осями, возможна также камера, реализованная на матрице, работающей по принципу двойного сканирования. Для статической картины можно использовать последовательно полученные кадры с разными экспозиционными условиями.
Общая схема реализации способа представлена на рис. 1. Каждый из четырех каналов камеры содержит взаимно ориентированный фотоприемник с формирователем выходного сигнала, например, на основе известных аналого-цифровых преобразователей. На выходе формирователя представление амплитуды яркостного видеосигнала дается в форме набора логических единиц на уровнях квантования. Выходы всех используемых каналов одновременно подключены к соответствующим входам логического блока сортировки. Функциональная схема этого логического блока сортировки представлена на рис. 2 для случая двух каналов на входе блока.
Как показано на рис. 2, на Ρ входов логического блока сортировки поступают сигналы в виде логических единиц и нулей по уровням сигналов соответствующих выходов камер, каналов наблюдения. Блок сортировки содержит наборы пар логических элементов И и ИЛИ, одновременно подключенных между парами уровней квантования. При этом входы первого логического элемента ИЛИ подключены одновременно к двум логическим уровням квантования (1 и 2), а выход логического элемента ИЛИ относят к нижнему уровню (1) в каждой паре. Входы первого логического элемента И также подключены одновременно к двум уровнями (1 и 2), а выход логического элемента И относят к верхнему уровню (2). Следующая пара логических элементов И и ИЛИ подключена таким же образом к уровням 2 и 3, затем следующая к уровням 3 и 4 и так далее до достижения последнего уровня. Затем цепочка пар логических элементов И и ИЛИ повторяется с первого уровня циклически Р-1 раз, причем при каждом повторении цикла число подключаемых для сравнения уровней уменьшается на 1. На Ρ выходах логического блока сортировки формируется упорядоченная структура суммарного видеосигнала в виде набора логических единиц соответственно уровню синтезируемой яркости с увеличенным числом уровней по отношению к входному сигналу. Логическую структуру сигнала на Ρ выходах преобразуют к требуемой форме представления изображения в зависимости от характера конечного потребителя. В той же кодировке в случае процессорного анализатора или если необходимо, например, преобразователем типа ЦАП в аналоговый видеосигнал.
Для пояснения функционирования рассмотрим пример реализации предлагаемого способа увеличения динамического диапазона. Цифровой камерой была дважды выполнена съемка сцены, содержащей деталей в светах и тенях. На рисунках 3а и 3б представлены полученные результаты этой съемки в двух разных участках динамического диапазона. На этих снимках видно, что ни один из них не отображает полностью все детали наблюдаемой сцены, но эти снимки содержат взаимодополняющие элементы. Квантованная по уровням сигнала видеоинформация этих двух изображений была пересортирована программно сформированным сортирующим логическим блоком, принципиальная структура которого показана на рис. 2. Число входов и выходов этого блока соответствовало суммарному числу уровней квантования вводимых изображений. На рис. 3с показано изображение с суммарным числом уровней, которое было получено после прохождения сортирующего блока. Видно, что на нем отображается вся совокупность деталей, наблюдаемых на отдельных исходных снимках.
Рассмотренная процедура предлагаемого способа содержит только простые логические операции, она не требует сложной техники и может быть легко реализована, например, на базе программируемых логических микросхем. Процедура способа реализуется в потоковом режиме, не требует промежуточного запоминания информации и не содержит сложных преобразований. Это позволяет эффективно использовать его для организации наблюдений в сложных условиях с большим диапазоном изменения яркости объектов сцены, для построения видеоинформационных и навигационных приборов с увеличенным динамическим диапазоном.
1. Способ получения изображений с увеличенным динамическим диапазоном, заключающийся в том, что необходимый динамический диапазон изображения разбивают на части, выполняют параллельную съемку в каждой части этого диапазона, получают при съемке дискретизированные и квантованные изображения, с характеристиками воспроизведения, заданными в пределах отдельных выделенных частей динамического диапазона, а затем совмещают полученную видеоинформацию в суммарном изображении, отличающийся тем, что с целью упрощения и повышения оперативности амплитуду квантованного сигнала дискретизированных элементов (пиксел) каждого из полученных изображений преобразуют в набор логических единиц на каждом уровне квантования в соответствии с величиной этого сигнала, которые дополняют логическими нулями, а затем формируют из преобразованной информации для всех полученных изображений общий массив логических уровней с полным суммарным числом уровней всех этих изображений Р, в котором затем для всех уровней квантования от 1 до Р производят последовательное попарное сравнение логических сигналов для пар уровней К и К+1 логическими операциями ИЛИ и И, причем результат операции ИЛИ между уровнями К и К+1 относят к нижнему уровню К, а результат операции И между уровнями К и К+1 относят к верхнему уровню К+1, при этом цикл сравнений повторяют Р-1 раз, уменьшая число сравниваемых уровней при каждом цикле на 1, при этом на всех Р уровнях квантования получают упорядоченное распределение логических единиц суммарного изображения, которое преобразуют для представления в амплитуду сигнала формируемого синтезированного изображения в соответствии с числом логических единиц.
2. Способ получения изображений с увеличенным динамическим диапазоном по п. 1, отличающийся тем, что выполнение каждого очередного из Р-1 циклов сравнений может начинаться в любой момент сразу после выполнения первого шага операций сравнения между двумя уровнями (К и К+1) и выполнятся параллельно с выполнением предыдущих циклов сравнения.
