Способ детектирования голографической защиты на документах в видеопотоке
Владельцы патента RU 2771005:
Общество с ограниченной ответственностью "СМАРТ ЭНДЖИНС СЕРВИС" (RU)
Изобретение относится к области вычислительной техники для детектирования голографической защиты на документах в видеопотоке. Технический результат заключается в повышении надежности детектирования голографических элементов путем предотвращения ошибок ложной детекции на статичных цветных элементах документа. Для этого заявлен способ детектирования голографической защиты на документах в видеопотоке, включающий: поиск особых точек и вычисление дескрипторов на кадре; фильтрация особых точек на предыдущем кадре так, чтобы остались только точки, расположенные внутри четырехугольника внешних границ документа; сопоставление дескрипторов особых точек текущего и предыдущего кадров; применение алгоритма оценки параметров проективного преобразования между кадрами; проективное преобразование четырехугольника внешних границ документа с предыдущего кадра для получения внешних границ документа на текущем кадре; нормализация изображения документа; вычисление насыщенности и цветового тона; обновление статистик насыщенности и цветового тона, при этом далее рассматриваются пиксели нормализованного изображения документа, значения яркости которых не превышают заданный порог; производится фильтрация изображения. 11 ил.
Настоящее изобретение относится к области детектирования голографической защиты на документах в видеопотоке.
Из уровня техники известны различные источники информации, из которых известны различные способы детектирования голографической защиты на документах в видеопотоке. Например, из патента US 10354142 В2 (опулик. 27.02.2017) известен алгоритм поиска голограмм, который предназначен для поиска, голограмм на изображениях документа из видеопотока. Основная идея алгоритма в заключатся в том, что у пикселей, относящихся к голограмме, на протяжении видеопотока будет меняться значение цветового тона. Для сопоставления системы координат между кадрами видеопотока в предлагается локализовать исследуемый документ некоторым методом поиска четырехугольника документа на каждом кадре независимо. Для каждого пикселя документа строится гистограмма значений цветового тона, которая впоследствии анализируется. Чтобы нивелировать ошибки локализации документа на каждом кадре гистограмма строится путем взвешенного усреднения по некоторому заданному окну, где в качестве веса выступает значение насыщенности пикселей в окне. Такое усреднение фактически понижает разрешение анализируемого изображения.
В работе «AR-Based Hologram Detection on Security Documents Using a Mobile Phone» (Andreas Hartl, Clemens Arth, and Dieter Schmalstieg, опублик. Декабрь 2014) предлагается метод детекции голограмм на изображениях документа из видеопотока. Для сопоставления системы координат между кадрами используется трекинг. Анализируется средние значение пикселя (который представим в виде трехкомпонентного вектора), а также считается покомпонентное среднеквадратичное отклонение. Далее, пиксели, обладающие по норме большим значением среднеквадратичного отклонения, считаются потенциальными пикселями области голограммы. В методе не используется никакой цветокоррекции, что приводит к ошибкам детектирования голограмм в случаях изменения условий освещения или ошибок системы автоматического баланса белого. Также описанный анализ пикселей в указанной аддитивной цветовой модели на предмет отнесения их к области голограммы, в отличии от предлагаемого в данной заявке метода, не робастен к возникающим бликам.
Задачей заявленного изобретения является устранения недостатков известных решений. Технический результат заключается в обеспечении точного сопоставления системы координат между кадрами, что позволяет не прибегать к «усреднению» и не понижать размерность анализируемых изображений (позволяет точнее детектировать голограммы), исключения ошибок детектирования голограмм в случаях изменения условий освещения или ошибок системы автоматического баланса белого, а также в повышении надежности детектирования голографических элементов, избегая ошибок ложной детекции на статичных цветных элементах документа.
Дан видеопоток, на котором присутствует документ. Предполагаем, что при фальсификации документа и манипуляции с персональными данными (замена фотографии, замена текста, печатей и т.п.) в области интереса голограммы не будут присутствовать. Необходимо детектировать наличие голограмм, определить и верифицировала их местоположение, тем самым подтверждая оригинальность документов и отсутствие фальсификации персональных данных (переклейка фото и т.п.). Рассматривается видеопоток, состоящий из цветных изображений, содержащих документ.
Детектирование голограмм основано на накоплении и последующем оценивании статистик изменения цветового тона и насыщенности (задающих цветность) в каждом пикселе. Описываемый метод имеет несколько основных этапов, которые будут рассмотрены подробно.
Схема алгоритма представлена на фиг. 1.
1/ Трекинг документа в видеопотоке
Для точного подсчета попиксельной статистики цветности крайне важно точное сопоставление систем координат документа на кадрах в видеопотоке. Для решения поставленной задачи в методе предлагается детектировать документ (например, с помощью алгоритмов поиска четырехугольника внешних границ документа, или путем анализа, особых точек, или путем сопоставления шаблонов, или методами машинного обучения, или как-то еще) с последующим применением технологий трекинга.
Документ локализуется на первом кадре видеопотока. Если документ не найден, кадр пропускается и действие повторяется с новым кадром видеопотока до успешной локализации.
В видеопотоке захватывается новый кадр, на нем происходит поиск документа с помощью выполнения следующих этапов:
1. Поиск особых точек и вычисление дескрипторов на текущем кадре.
2. Фильтрация особых точек на предыдущем кадре так, чтобы остались только точки, расположенные внутри четырехугольника внешних границ документа.
3. Сопоставление дескрипторов особых точек текущего и предыдущего кадров.
4. Применение алгоритма оценки параметров проективного преобразования между кадрами (например, алгоритмов оценки параметров на основе случайных выборок тина RANSAC).
5. Проективное преобразование четырехугольника внешних границ документа с предыдущего кадра для получения внешних границ документа на текущем кадре.
Иллюстрация локализованного документа представлена на фиг. 2 для документа, содержащего голограммы и фиг. 7 для документа, не содержащего голограммы, соответственно.
2/ Нормализация изображения документа
Изображение найденного документа проективно отображается в прямоугольник с известным размером.
Производится цветокоррекция полученного изображения для устойчивости к изменению освещения, а также к нежелательным изменениям, которые могут произойти вследствие автоматической балансировки белого видеокамерой.
Цветокоррекция осуществляется в упрошенной модели фон Криса, а оценивание параметров адаптации производится по серому миру следующим образом.
Значения R, G, В каждого пикселя изображения домножаются (с сатурацией по максимально допустимому значению) на коэффициенты, посчитанные для красной, зеленой и синей компонент следующим образом:
Альтернативно, коэффициенты КR, КG и КB могут быть определены путем вычисления медианы значений пикселей.
Иллюстрация нормализованного документа с цветокоррекцией представлена на фиг. 3 для документа, содержащего голограммы и на фиг. 8 для документа, не содержащего голограммы.
3/ Вычисление насыщенности и цветового тона
Для каждого пикселя изображения документа рассчитывается вектор цветности 
(Chromaticity), модуль которого равен насыщенности, а угол - цветовому тону.
Насыщенность вычисляется следующим образом:
S=max(R,G,B)-min(R,G,B)
Цветовой тон Н следующим образом:
где M=max(R,G,B).
4/ Обновление статистик насыщенности и цветового тона
Далее рассматриваются пиксели нормализованного изображения документа, значения яркости которых не превышает заданный порог. В силу того, что блики проявляются на изображении в виде "забеленных" областей, такое отсечение по яркости позволяет нам нивелировать влияние бликов на алгоритм поиска голограмм.
Итак, для каждого пикселя нормализованного изображения документа, значение яркости которого не превышает заданного порога, обновляется следующие статистики, вычисляемые по всем обработанным изображениям документа:
- Максимальное значение насыщенности Smax.
- Среднее значение векторов цветности 
Заметим, что для пикселей, относящихся к голограммам, значение 
близко к нулю, аналогично пикселям с маленькой насыщенностью.
Формируется новое изображение 
значение пикселей которого вычисляется следующим образом:
Здесь Sthresh - параметр алгоритма.
Иллюстрация данного этапа представлена на фиг. 4 для документа, содержащего голограммы и на фиг. 9 для документа, не содержащего голограммы.
5/ Локализация областей, содержащих голограммы
Производится фильтрация изображения 
(с целью удаления лишних "паразитных" элементов типа тонких черных линий и прочего шума типа перец, возникающих вследствие неточности трекинга) с последующей глобальной бинаризацией (например по порогу).
Результат представлен на фиг. 5 для документа, содержащего голограммы и на фиг. 10 для документа, не содержащего голограммы.
На бинаризованном изображении находятся компоненты связности. Найденные компоненты связности дополнительно фильтруются в соответствии с априорными знаниями о форме голограмм на исследуемом документе.
Итоговый результат представлен на фиг. 6 для документа, содержащего голограммы и на фиг. 11 для документа, не содержащего голограммы.
Таким образом посредством заявленного изобретения достигается обеспечение точного сопоставления системы координат между кадрами, что позволяет не прибегать к «усреднению» и не понижать размерность анализируемых изображений (позволяет точнее детектировать голограммы) за счет того, что используются технологии трекинга, за счет того, что не используется никакой цветокоррекции, обеспечивается исключение ошибок детектирования голограмм в случаях изменения условий освещения или ошибок системы автоматического баланса белого, а также в повышении надежности детектирования голографических элементов, избегая ошибок ложной детекции на статичных цветных элементах документа за счет того, что заявленный способ опирается на анализ обеих компонент цветности (цветовой тон и насыщенность).
Способ детектирования голографической защиты на документах в видеопотоке, заключающийся в том, что документ детектируют, отличающийся тем, что документ локализуется на первом кадре видеопотока, при этом если документ не найден, кадр пропускается и действие повторяется с новым кадром видеопотока до успешной локализации, в видеопотоке захватывается новый кадр, на нем происходит поиск документа с помощью выполнения следующих этапов:
поиск особых точек и вычисление дескрипторов на текущем кадре;
фильтрация особых точек на предыдущем кадре так, чтобы остались только точки, расположенные внутри четырехугольника внешних границ документа;
сопоставление дескрипторов особых точек текущего и предыдущего кадров;
применение алгоритма оценки параметров проективного преобразования между кадрами;
проективное преобразование четырехугольника внешних границ документа с предыдущего кадра для получения внешних границ документа на текущем кадре;
нормализация изображения документа, при этом изображение найденного документа проективно отображается в прямоугольник с известным размером, производится цветокоррекция полученного изображения для устойчивости к изменению освещения, а также к нежелательным изменениям, которые могут произойти вследствие автоматической балансировки белого видеокамерой;
вычисление насыщенности и цветового тона, при этом для каждого пикселя изображения документа рассчитывается вектор цветности (Chromaticity), модуль которого равен насыщенности, а угол - цветовому тону;
обновление статистик насыщенности и цветового тона, при этом далее рассматриваются пиксели нормализованного изображения документа, значения яркости которых не превышают заданный порог, при этом для каждого пикселя нормализованного изображения документа, значение яркости которого не превышает заданного порога, обновляются следующие статистики, вычисляемые по всем обработанным изображениям документа:
максимальное значение насыщенности;
среднее значение векторов цветности;
формируется новое изображение,
производится фильтрация изображения, на бинаризованном изображении находятся компоненты связности, найденные компоненты связности дополнительно фильтруются в соответствии с априорными знаниями о форме голограмм на исследуемом документе.
