Способ предотвращения печати размытых фотографий
Изобретение относится к области электротехники, в частности к цифровой обработке изображений путем автоматического оценивания резкости цифровых фотографий и предотвращения печати размытых фотографий. Способ включает изменение размера изображения в соответствии с размером фотоотпечатка и разрешением устройства печати, вычисляют гистограммы абсолютных значений изображений границ, где изображения границ получают в результате высокочастотной фильтрации с ядрами свертки различного размера, вычисляют интеграл логарифма гистограммы границ для каждой из гистограмм, вычисляют из массива интегралов логарифма гистограммы границ признаки, принимают на основании признаков решение о резкости фотографии, предупреждают пользователя о возможности печати размытой фотографии, если фотография классифицирована как размытая. Техническим результатом изобретения является выявление некачественных, размытых цифровых изображений и автоматическое исключение их из процесса распечатки с учетом заданного размера отпечатка и разрешения печати. 5 з.п. ф-лы, 4 ил.
Изобретение относится к области цифровой обработки изображений, в частности, к методам автоматического оценивания резкости цифровых фотографий и предотвращения печати размытых фотографий.
При съемке цифровыми камерами, камерами мобильных телефонов и видеокамерами значительное количество фотографий получается размытыми. Данный дефект ухудшает восприятие фотографий. Для предотвращения печати размытых фотографий необходимо их предварительно детектировать. Для этих целей применяют способы автоматической оценки резкости изображений.
Развернутый анализ различных способов автоматической оценки резкости изображений дается в статье "An Investigation of Perceived Sharpness and Sharpness Metrics", Buyue Zhang, Jan P.Allebach, Zygmunt Pizlo (Proceedings of SPIE-IS&T Electronic Imaging, SPIE Vol.5668, 2005) [1]. Авторы статьи предлагают два способа автоматической оценки резкости: Digital Sharpness Scale (DSS) и Average Edge Transition Slope (AETS). Для вычисления оценки резкости изображения в цветовом пространстве RGB на основе метода DSS выполняют следующие шаги:
1. Конвертируют изображение из цветовой системы RGB в YCC;
2. Генерируют изображение границ Yedge путем фильтрации канала яркости Y фильтром Лапласиан-Гауссиана (LoG) с последующим поиском пересечений нулевого уровня (zero-crossing);
3. Вычисляют максимальное абсолютное значение разности в окне 5×5 точек изображения, причем центр окна находится на точке границы изображения Yedge, далее суммируют максимальные абсолютные значения разности для всех точек границ и усредняют данную сумму путем деления на общее количество точек границ.
Вычисление оценки резкости AETS более сложное и требует существенно больших вычислительных затрат. Способ вычисления оценки резкости AETS состоит из следующих шагов:
1. Утончают границы на изображении Yedge, которое получают точно так же, как в способе DSS.
2. Объединяют точки границ в связные области.
3. Определяют направления фрагментов границ и вычисляют нормали к этим фрагментам.
4. Извлекают профили яркости вдоль нормалей к фрагментам границ.
5. Вычисляют AETS из профилей яркости.
Экспериментальные результаты, приведенные в статье, показывают, что оба способа оценки резкости дают результаты, коррелирующие с восприятием резкости фотографий человеком. Однако абсолютное значение оценок сильно зависит от изображенного на фотографии. Таким образом, данные способы не применимы для оценки резкости произвольных фотографий.
Исследователи из HP Labs в выложенной заявке США 2005/0244074 [2] и статье Doron Shaked, Ingeborg Tastl "Sharpness Measure: Towards Automatic Image Enhancement" (IEEE International Conference on Image Processing, 2005) [3] предложили эффективный с вычислительной точки зрения способ оценки резкости изображений. Данный способ основан на вычислении суммы отношений результатов фильтрации двумя одномерными БИХ фильтрами (ФВЧ и полосовым) конечных разностей соседних точек изображения. Фильтры применяются отдельно для строк и столбцов изображения. Данная оценка хорошо коррелирует с восприятием резкости человеком. Однако опубликованные результаты показывают зависимость оценки резкости от типа камеры, которой снималось изображение.
Другая группа исследователей из HP Labs предложила способ детектирования размытых фотографий. В выложенной заявке США 2006/0153471 [4] и опубликованном отчете HP Labs Technical Report "Detection of Out-Of-Focus Digital Photographs" Suk Hwan Lim, Jonathan Yen, Peng Wu (2005) [5] расширяется способ оценки резкости, раскрытый в [2] таким образом, что резкость оценивается локально для блока изображения, а не глобально для всего изображения. Несколько дополнительных параметров вычисляются по оценкам блоков. Эти параметры основаны на следующих предположениях:
1. Передний план всегда резкий, тогда как задний план может быть как резким, так и нерезким.
2. Передний план, вероятно, ближе к центру изображения.
3. Передний план обычно более светлый, чем задний.
4. Цвета переднего плана обычно более яркие и насыщенные, чем заднего.
5. Площадь переднего плана достаточно велика.
Отмечается, что эти предположения не всегда верны, особенно 3 и 4. Для детектирования размытых фотографий построен древовидный классификатор. Статья декларирует 90% правильно распознанных фотографий и 10% ошибок из 3000 фотографий, 350 из которых размыто.
Статья "Automatic Enhancement of Noisy Images Using Objective Evaluation of Image Quality" Fabrizio Russo (IMTC 2004 - Instrumentation and Measurement Technology Conference, 2004) [6] отмечает, что вид гистограмм границ различается для четких и размытых изображений.
Статья предлагает использовать гистограмму границ для автоматического выбора параметров обработки. Границы получают в результате фильтрации фильтром Собеля.
В целом, патентов и публикаций, посвященных автоматическому оцениванию резкости и детектированию размытых фотографий, достаточно мало. Опубликованные материалы отмечают сильную зависимость оценок резкости от изображенного на фотографии и/или условий съемки.
Автору изобретения не известны методы детектирования размытых фотографий, ориентированные на печать и учитывающие как размер фотоотпечатка, так и разрешение печати. Наиболее близким по смыслу является способ, описанный в [4], который и выбран в качестве прототипа.
Современные фотопринтеры и МФП с возможностями фотопечати имеют достаточно маленький LCD экран, предназначенный для просмотра фотографий и управления устройством. Глядя на этот экран, часто невозможно оценить резкость фотографии, при этом возможна печать испорченной размытой фотографии. Это неприятная для потребителя ситуация, так как она приводит к напрасному расходованию времени и расходных материалов для фотопечати. На современном уровне развития технологии данная проблема еще не решена.
При печати фотографий с персонального компьютера из-за разницы разрешений устройств отображения и печати сложно адекватно оценить резкость фотографии. Несомненно, сильно размытые фотографии могут быть обнаружены пользователем, но изображение на дисплее может выглядеть достаточно четким, а при печати окажется размытым и наоборот. Тот факт, что размер изображения будет изменен в соответствии с размером фотоотпечатка и разрешением печатающего устройства, не принимается во внимание в программах редактирования изображений. В такой ситуации получение на персональном компьютере хороших результатов серьезно затруднено.
Задача, на решение которой направлено заявляемое изобретение, заключается в разработке такого способа выявления некачественных, главным образом, размытых цифровых изображений, который позволил бы автоматически исключать их из процесса распечатки фотографий, независимо от характеристик исходного изображения (черно-белое, цветное, сепия), требуемого размера отпечатка, разрешения печати.
Поставленная задача решена за счет применения заявляемой процедуры предотвращения печати размытых фотографий, которая включает в себя выполнение из следующих операций (этапов):
- изменяют размер изображения в соответствии с размером фотоотпечатка и разрешением устройства печати;
- вычисляют гистограммы абсолютных значений изображений границ, где изображения границ получают в результате высокочастотной фильтрации с ядрами свертки различного размера;
- вычисляют интеграл логарифма гистограммы границ для каждой из гистограмм;
- вычисляют из массива интегралов логарифма гистограммы границ признаки;
- принимают на основании признаков решение о резкости фотографии;
- предупреждают пользователя о возможности печати размытой фотографии, если фотография классифицирована как размытая.
В отличие от аналогов, предлагаемый способ учитывает заданный размер отпечатка и разрешение печати. Оценка резкости основана на анализе изменения вида гистограмм границ, где границы получают путем применения КИХ ФВЧ с различными размерами ядра свертки. Одномерные фильтры применяются для строк и столбцов изображения. Зависимость интегралов логарифма гистограммы границ от размера ядра фильтра характеризует резкость фотографии.
Резкость (в качестве синонима далее употребляется также термин «четкость») является одним из основных показателей, влияющих на качество напечатанной фотографии. Четкость напечатанной фотографии определяется двумя взаимосвязанными факторами: пространственным разрешением печатающего устройства и длиной переходов на границах (длина участка, на котором происходит изменение яркости, которое и образует границу). Для управления резкостью фотографий необходимо учитывать размер фотоотпечатка и разрешение печати. Таким образом, на первом этапе необходимо изменить размер исходного изображения в соответствии с заданным размером фотоотпечатка и разрешением печати. Параметры способа для детектирования размытых фотографий различаются для каждой пары значений: размер фотоотпечатка и разрешение печати. Все численные константы, в качестве примера приведенные в данном описании, предназначены для анализа изображений, предназначенных для печати фотографий размера 10×15 см (4×6 дюймов) с разрешением печати 300 ppi (pixels per inch, пикселов на дюйм), однако специалисту ясно, что соответствующие данные для иных значений размера фотоотпечатка и разрешения могут быть получены аналогичным образом. Также отметим, что в данном описании для обозначения разрешения используем количество пикселов на дюйм (ppi), а не количество точек на дюйм (dpi), так как количество точек на дюйм в различных печатающих устройствах имеет различный смысл, и в ряде печатающих устройств пикселу цифрового изображения соответствует несколько точек в фотоотпечатке.
Способ основан на следующих психофизических особенностях зрения человека:
- разрешающая способность: известно, что при рассматривании изображения с расстояния 30-40 мм глаз человека способен разрешать (различать) объекты размером 1/4-1/3 мм; для разрешения печати 300 ppi и размера фотоотпечатка 10×15 см это эквивалентно 3-4 пикселам, то есть граница на изображении будет восприниматься резкой, если длина перехода на границах будет менее 4-х пикселов;
- зрение человека анизотропно: разрешающая способность по горизонтали и вертикали существенно выше, чем по диагонали.
С учетом этих особенностей для нормальной работы заявляемого способа важно, чтобы для получения изображений границ осуществляли фильтрацию канала яркости исходного изображения.
Для нормальной работы заявляемого способа важно также, чтобы изображения границ получали в результате свертки строк исходного изображения с ядрами [1-1], [10-1], [100-1], [1000-1], [10000-1], [100000-1], [1000000-1], [10000000-1], [100000000-1], [1000000000-1] и столбцов исходного изображения с транспонированными данными ядрами.
Для нормальной работы заявляемого способа важно также, чтобы из массива интегралов логарифма гистограммы границ вычисляли следующие признаки:
- интеграл логарифма гистограммы границ, полученных фильтром с ядром свертки размера 2;
- разность интегралов логарифма гистограмм границ, полученных фильтрами с ядрами свертки размера 3 и 2;
- сумма интегралов логарифма гистограмм границ минус 5.
Для нормальной работы заявляемого способа важно также, чтобы в процессе принятия решения о резкости фотографии применяли классификатор, основанный на взвешенном голосовании комитета простых классификаторов.
Для нормальной работы заявляемого способа важно также, чтобы в процессе принятия решения о резкости фотографии дополнительно обрабатывали портреты и макрофотографии.
Для нормальной работы заявляемого способа важно также, чтобы для предупреждения пользователя о возможности печати размытой фотографии на устройство отображения выводили текстовое или графическое сообщение.
Для нормальной работы заявляемого способа важно также, чтобы для предупреждения пользователя о возможности печати размытой фотографии на устройство вывода звука выводили звуковое сообщение.
Для лучшего понимания существа заявляемого изобретения далее приводится детальное описание его функционирования с привлечением графических материалов.
Фиг.1. Схема основных компонентов системы, реализующей заявляемый способ.
Фиг.2. Блок-схема заявляемого способа.
Фиг.3. Типичные графики интегралов логарифма гистограммы границ в зависимости от размера ядра фильтра для размытых и четких фотографий.
Фиг.4. Таблица с коэффициентами для классификатора для размера фотоотпечатка 10×15 см и разрешения печати 300 ppi.
Фиг.1 показывает схему взаимодействия компонентов системы, на которой реализуется данный способ. Работа системы управляется процессором 101, который выполняет программный код, записанный в оперативную память 102. Цифровую фотографию передают в оперативную память 102 из устройства считывания карт памяти 105 или из устройства регистрации изображений (цифровая фотокамера, камерафон, камкордер) через порт USB 106 или через беспроводную сеть с помощью адаптера 107. Изображение анализируют с учетом выбранного разрешения печати и размера фотоотпечатка и передают на устройство отображения 103. Если анализ фотографии показывает, что для выбранного размера фотоотпечатка и разрешения фото будет выглядеть размытым, то генерируется предупреждение, которое передают на устройство отображения 103 и/или на устройство вывода звука 108 для привлечения внимания пользователя. Пользователь принимает окончательное решение о необходимости печати данной фотографии. Он также имеет возможность изменить параметры печати с помощью устройства ввода 109, в частности уменьшить размер отпечатка, что позволит напечатать четкое фото. С помощью устройства печати 104 печатают фотографии. Обмен данными компонентов системы осуществляют по шине данных 110.
На Фиг.2 приведена блок-схема этапов работы метода. На шаге 201 изменяют размер изображения в соответствии с размером фотоотпечатка и разрешением устройства печати. На шаге 202 вычисляют гистограммы абсолютных значений границ, где границы получают путем высокочастотной фильтрации яркостного канала изображения или цветовых каналов КИХ фильтрами с ядрами свертки различного размера. В предпочтительном варианте изобретения выполняют свертку строк изображения с ядрами [1-1], [10-1], [100-1], [1000-1], [10000-1], [100000-1], [1000000-1], [10000000-1], [100000000-1], [1000000000-1] и свертку столбцов исходного изображения с транспонированными данными ядрами. Отметим, что в ряде случаев возможна упрощенная реализация заявляемого способа, при которой вместо вычисления свертки вычисляют конечные разности.
В ходе экспериментов с различными способами оценки резкости и модельными изображениями, которые размывались фильтрами низких частот, было обнаружено, что вид гистограммы границ зависит от степени размытия изображения и параметров фильтра для получения границ. Пока размер ядра фильтра обнаружения границ (высокочастотного или полосового фильтров) меньше, чем размер ядра размытия, вид гистограммы границ изменяется значительно при увеличении размера ядра фильтра обнаружения границ. Если размер ядра фильтра обнаружения границ больше, чем размер ядра размытия, то вид гистограммы границ изменяется незначительно с увеличением размера ядра. Энтропия характеризует равномерность гистограммы и отсутствие в ней резких пиков:
где Нi - значение i-го столбца гистограммы.
Энтропия гистограммы границ является оценкой резкости изображения, но ее значение сильно зависит от изображенного на фотографии. На шаге 203 по каждой из гистограмм, вычисленных на шаге 202, вычисляют интеграл логарифма гистограммы границ:
где единица добавляется, чтобы избежать сингулярности, а логарифм берется по основанию 2.
Зависимость А от изображенного на фотографии значительно меньше, чем у En, за счет нормирования на количество границ на изображении, причем наилучший результат достигается при нормировании отдельно для каждого столбца гистограммы, а не для энтропии в целом. Кроме того, А имеет простую геометрическую интерпретацию: А приблизительно равна площади под огибающей гистограммы в логарифмическом масштабе, то есть интегралу логарифма гистограммы границ.
Массив интегралов логарифма гистограммы границ A(S) характеризует резкость изображения, где S - размер ядра фильтра обнаружения границ минус единица. Для резких фотографий A(S) быстро растет для S=2 и иногда для S=3; для S>3 первая производная A(S) - почти константа. В противоположность резким фотографиям, для размытых A(S) увеличивается незначительно.
Фиг.3 демонстрирует графики A(S) для резкой (3.1) и размытой (3.2) фотографий; на графиках А нормализована в диапазон [01].
На шаге 204 по массиву A(S) вычисляют следующие признаки:
F1=An(2)-An(1) - разность интегралов логарифма гистограмм границ, полученных фильтрами с ядрами свертки размера 3 и 2, где массив {An} есть нормализованный в диапазон [0, 1] массив {А},
- сумма нормализованных интегралов логарифма гистограмм границ минус 5,
F3=А(1) - интеграл логарифма гистограммы границ, полученных фильтром с ядром свертки размера 2.
На шаге 205 на основе результатов работы классификатора принимают решение о резкости фотографии. Применяют классификатор Gentle AdaBoost, основанный на взвешенном голосовании комитета простых классификаторов (J.Friedman, T.Hastie, R.Tibshirani. Additive logistic regression: A statistical view of boosting. The Annals of Statistics, 38(2): 337-374, April 2000) [7]. Таблица на Фиг.4 содержит данные для построения классификатора а(i), Feature(i), Th(i) и b(i), полученные в результате обучения на выборке из 400 фотографий. Фотография считается размытой, если следующее условие истинно:
где wl(i) равно 1, если b(i)×Feature(i)>b(i)×Th(i), и равно 0 в противном случае, где a(i) - весовой коэффициент, находящийся в первом столбце и i-й строке таблицы с Фиг.4; Feature(i) - признак, находящийся во втором столбце и i-й строке таблицы; Th(i) - порог, находящийся в третьем столбце и i-й строке таблицы; b(i) - знаковый коэффициент, находящийся в четвертом столбце и i-й строке таблицы.
Изменение Тр позволяет регулировать соотношение ошибок первого рода (ложный пропуск, false negatives, FN) и второго рода (ложное обнаружение, false positives, FP). В предпочтительном варианте изобретения Тр=0, в этом случае неверно классифицируются менее 10% фотографий, причем параметры классификатора подобраны так, чтобы уменьшить количество ложных обнаружений, то есть случаев, когда резкая фотография классифицируется как размытая. Очевидно, что при этом количество ложных пропусков возрастает.
Большинство ложных обнаружений происходит для портретов и макрофотографий с размытым задним планом. Количество ложных срабатываний снижается, если путем анализа полей EXIF заголовка файлов цифровых фотографий обнаруживать портреты и макрофотографии и осуществлять дополнительную обработку для этих фотографий, например увеличивать значение порога Тр.
Если фото классифицировано как размытое, то на шаге 206 вырабатывают предупреждение пользователя о возможности печати испорченной размытой фотографии. В качестве предупреждения специальное текстовое сообщение или изображение выводят на устройство отображения, и/или звуковое сообщение выводят на устройство вывода звука.
Предложенный способ предназначен для реализации в программном обеспечении для печати фотографий или в микропрограммах для фотопринтеров и других устройств фотопечати. Он, в частности, применим для предотвращения печати размытых фотографий в фотопринтерах, МФП с возможностью фотопечати, в цифровых фотокиосках и фотолабораториях.
Хотя указанный выше вариант выполнения изобретения был изложен с целью иллюстрации, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.
1. Способ предотвращения печати размытых фотографий, заключающийся в выполнении следующих этапов:
изменяют размер изображения в соответствии с размером фотоотпечатка и разрешением устройства печати;
вычисляют гистограммы абсолютных значений изображений границ, где изображения границ получают в результате высокочастотной фильтрации с ядрами свертки различного размера;
вычисляют интеграл логарифма гистограммы границ для каждой из гистограмм;
вычисляют из массива интегралов логарифма гистограммы границ признаки:
интеграл логарифма гистограммы границ, полученных фильтром с ядром свертки размера 2,
разность интегралов логарифма гистограмм границ, полученных фильтрами с ядрами свертки размера 3 и 2,
сумму интегралов логарифма гистограмм границ минус 5;
принимают на основании признаков с использованием классификатора, основанного на взвешенном голосовании комитета простых классификаторов, решение о резкости фотографии;
предупреждают пользователя о возможности печати размытой фотографии, если фотография классифицирована как размытая.
2. Способ по п.1, отличающийся тем, что для получения изображений границ фильтруют канал яркости исходного изображения.
3. Способ по п.1, отличающийся тем, что изображения границ получают в результате свертки строк исходного изображения с ядрами [1-1], [10-1], [100-1], [1000-1], [10000-1], [100000-1], [1000000-1], [10000000-1], [100000000-1], [1000000000-1] и столбцов исходного изображения с транспонированными данными ядрами.
4. Способ по п.1, отличающийся тем, что в процессе принятия решения о резкости фотографии дополнительно обрабатывают портреты и макрофотографии.
5. Способ по п.1, отличающийся тем, что для предупреждения пользователя о возможности печати размытой фотографии текстовое или графическое сообщение выводят на устройство отображения.
6. Способ по п.1, отличающийся тем, что для предупреждения пользователя о возможности печати размытой фотографии звуковое сообщение выводят на устройство вывода звука.
