Способ детектирования голографических элементов в видеопотоке
Владельцы патента RU 2644513:
Общество с ограниченной ответственностью "Смарт Энджинс Сервис" (RU)
Изобретение относится к области вычислительной техники и может быть использовано для обнаружения и распознавания голограмм в видеопотоке. Технический результат заключается в повышении точности определения голографических элементов, содержащихся в документе, который представляет собой изображение видеопотока. Способ определения голограмм в видеопотоке, содержащем изображения в виде документов, заключается в том, что осуществляют обработку видеопотока, при которой выполняют стабилизацию документа, далее осуществляют построение карт насыщенности и цветового тона, после чего проводят анализ цветовых характеристик в областях изображения, далее осуществляют построение гистограмм цветовых характеристик, с учетом полученных данных осуществляют оценку изменения цветовых характеристик путем вычисления разницы между гистограммами на текущем и предыдущем кадрах, с учетом оценки изменения цветовых характеристик осуществляют построение интегральной карты оценок присутствия голограмм путем объединения вычисленных оценок для всех кадров видеопотока, далее осуществляют нахождение итоговых областей голографических элементов с учетом карты оценок присутствия голограмм. 5 з.п. ф-лы.
Область техники
Настоящее изобретение относится к области вычислительной техники и может быть использовано для автоматического обнаружения и распознавания голограмм в видеопотоке, состоящем из ряда изображений в цветовом пространстве RGB.
Уровень техники
Известны способы распознавания и поиска изображений (см., например, патент RU 2266565, опубликован 20.12.2005).
Известный метод обладает рядом существенных недостатков, а именно данный метод потенциально неустойчив к бликам.
Раскрытие изобретения
Целью настоящего изобретения является создание надежного и точного способа детектирования (определения) голограмм, присутствующих в документах, выделенных при анализе изображений видеопотока.
Технический результат заключается в повышении точности определения голографических элементов, содержащихся в документе, который представляет собой изображение видеопотока, а именно обеспечивается устойчивость к шумам и ошибкам нахождения углов.
Указанный технический результат достигается тем, что способ определения голограмм в видеопотоке, содержащем изображения в виде документов, заключается в том, что осуществляют обработку видеопотока, при которой выполняют стабилизацию документа, далее осуществляют построение карт насыщенности и цветового тона, после чего проводят анализ цветовых характеристик в областях изображения, далее осуществляют построение гистограмм цветовых характеристик, с учетом полученных данных осуществляют оценку изменения цветовых характеристик путем вычисления разницы между гистограммами на текущем и предыдущем кадрах, с учетом оценки изменения цветовых характеристик осуществляют построение интегральной карты оценок присутствия голограмм путем объединения вычисленных оценок для всех кадров видеопотока, далее осуществляют нахождение итоговых областей голографических элементов с учетом карты оценок присутствия голограмм.
В одном из вариантов выполнения заявленного изобретения стабилизация документа осуществляется путем приведения каждого кадра видеопотока к единой системе координат документа, для чего определяют границы документа, после чего производят проективное исправление изображения к фиксированному размеру, имеющее соответствующее документу отношение сторон.
В другом из вариантов выполнения заявленного изобретения построение гистограмм цветовых характеристик в областях изображения производят путем анализа окна вокруг позиции пикселя при анализе учитывают координаты региона изображения и площадь.
В другом из вариантов выполнения заявленного изобретения для оценки изменения цветовых характеристик вычисляют разницу между гистограммами на текущем и предыдущем кадрах.
В другом из вариантов выполнения заявленного изобретения вычисленные для отдельных кадров оценки объединяют для всех кадров видеопотока для получения интегральной карты оценок присутствия голограмм.
В другом из вариантов выполнения заявленного изобретения для нахождения итоговых областей голографических элементов производят гамма-коррекцию интегральной карты оценок для усиления областей максимумов, а затем проводят ее бинаризацию для получения бинарной карты присутствия голограмм, причем определение непосредственной области нахождения голографического элемента осуществляют с помощью нахождения компонент связности на бинарной карте, и для найденной компоненты связности с наибольшей площадью строится окаймляющий прямоугольник.
Осуществление изобретения
Рассматривается метод поиска голограмм в видеопотоке V, состоящем из K изображений I1…, Iк в цветовом пространстве RGB. Каждое изображение видеопотока предположительно содержит документ, который, в свою очередь, может содержать один или несколько голографических элементов с фиксированным положением на документе.
Предложенный метод за счет использования окон вместо одиночных пикселей более устойчив к шумам и ошибкам нахождения углов.
Основной идеей метода поиска голографических элементов является анализ изменчивости цветовых характеристик областей изображения документа в видеопотоке. Особое внимание уделяется устойчивости метода к световым отражениям (бликам), приводящим к зашкаливанию или забеливанию регионов изображения, тем самым также изменяя его цветовые характеристики.
Сначала происходит обработка видеопотока, а затем выдается область (области), в которой наблюдалось наиболее сильное проявление голограмм в видеопотоке.
Этап стабилизации документа
Каждый кадр видеопотока должен быть приведен к единой системе координат документа для последующей обработки. Для этого используют метод нахождения границ (углов) документа, после чего производят проективное исправление изображения к фиксированному размеру N×М, имеющий соответствующее документу отношение сторон.
В экспериментах использовались алгоритмы, основанные на сопоставлении особых точек изображения и шаблона. Помимо самих углов документа и требуемого проективного преобразования, данный класс алгоритмов способен возвращать псевдовероятностную оценку confidence уверенности в выданном результате. С целью повышения точности итогового метода к последующей обработке принимаются кадры с результатом нахождения границ, имеющим confidence не ниже экспериментально выбранного порога. В противном случае, кадр отвергается.
Этап построения карт насыщенности и цветового тона
Анализ цветовых характеристик в областях изображения производится после построения карт насыщенности (saturation) и цветового тона (hue), вычисляемых независимо по каждому пикселю (R, G, B) исходного изображения. Предполагается, что R, G, B ∈ [0,255].
Для эффективного вычисления насыщенности S используется формула:
S=S(R, G, B)=max(R, G, B) - min(R, G, B).
Пусть M=max(R, G, В). Тогда показатель цветового тона Н вычисляется следующим образом:
Н=H(R, G, В)=255⋅H'(R, G, В) (mod 256).
С целью повышения производительности используется свойство инвариантности цветового тона при прибавлении к R, G, В компонентам одинаковой величины d:
H(R, G,B)=H(R+d, G+d ,B+d).
Таким образом, имеется только 4⋅2562 различных выходных значений H(R, G, В), что позволяет построить предвычисленную таблицу значений цветового тона.
Для устойчивого наблюдения изменчивости цветовых характеристик в областях изображения вместо сравнения отдельных пикселей в координатной системе документа производится анализ окна вокруг позиции пикселя, что повышает устойчивость метода к шумам камеры и ошибкам нахождения границ документа.
Построим вокруг каждого пикселя на позиции (x, y) кадра видеопотока Ik окно Wx,y с крылом w, получая регион изображения от (x-w, y-w) до (x+w, y+w) и площадью (2⋅w+1)2.
Сопоставим каждому окну Wx,y взвешенную гистограмму Сх,у цветовых характеристик, в которой интервалами (бинами) являются значения цветового тона, разбиение происходит на U интервалов:
Рассмотрим пиксель (x, y), принадлежащий окну Wx,y с компонентами (R, G, B). Его индекс u интервала в гистограмме определяется как
При попадании блика на регион изображения гистограмма может подвергнуться нежелательным искажениям. Особенностью воздействия блика на области изображения является понижение значений насыщенности в области. По этой причине положим вес пикселя (R, G, В) на позиции (x, y)∈Wx,y при учете его в гистограмме в интервале u равным его насыщенности:
Поскольку цветовой тон является угловой величиной (в данном случае - по модулю 256), желательно выбрать B, делящее 256, чтобы каждому интервалу гистограммы принадлежало равное количество исходных значений без дополнительной обработки краевых случаев.
Стоит отметить, что вычисление всех оконных гистограмм наивным способом за O(N⋅M⋅W2) крайне неэффективно, поэтому важна реализация за O(N⋅M⋅W) с помощью скользящего перемещения окна и пересчета гистограммы только на границах.
Оценка изменения цветовых характеристик
Рассмотрим два соседних кадра Ik-1 и Ik и их гистограммы оконных цветовых характеристик Сk-1 и Сk. Оценка присутствия голограмм в фиксированном окне с центром (х, y) проводится независимо от других окон на основании гистограмм 
и 
.
Для оценки изменения цветовых характеристик требуется вычислить разницу между гистограммами на текущем и предыдущем кадрах, например среднеквадратичное отклонение. Однако для его вычисления требуется, с одной стороны, нормировка гистограмм к одинаковой сумме весов, а с другой стороны - учет весов для избежания ложноположительных оценок в областях бликов.
Обозначим за 
сумму весов в оконной гистограмме:
Допустим, что 
иначе - поменяем их местами. Корректная оценка изменчивости цветовых характеристик должна быть небольшой при маленькой сумме насыщенностей одной из гистограмм, что свидетельствует о наличии блика. Произведем нормировку к гистограмме, имеющей меньший суммарный вес:
Итоговой оценкой Pkx,y присутствия голограммы в окне (x, y) для кадра Ik (на основании его разницы с кадром Ik-1) является среднеквадратичное отклонение нормированных указанным образом гистограмм:
Построение интегральной карты оценок присутствия голограмм
Вычисленные для отдельных кадров оценки необходимо объединить для всех кадров видеопотока для получения интегральной карты оценок присутствия голограмм Q. Будем поддерживать интегральную карту Qk для кадров 1…k, для пересчета которой соответствующие оценки Pk берутся с весом, равным уверенности сk метода нахождения границ документа на соответствующем кадре:
Сумму показателей уверенности на предыдущих кадрах также требуется поддерживать для пересчета за O(1). В результате обработки всех K кадров видеопотока имеем интегральную карту оценок Q=QK.
Нахождение итоговых областей голографических элементов
Произведем гамма-коррекцию интегральной карты оценок Q для усиления областей максимумов, а затем проведем ее бинаризацию методом Оцу для получения бинарной карты присутствия голограмм Q*.
Определение непосредственной области нахождения голографического элемента осуществляется с помощью нахождения компонент связности на бинарной карте Q*. Для найденной компоненты связности с наибольшей площадью (одной или нескольких) строится окаймляющий прямоугольник, который является итоговым возвращаемым алгоритма в системе координат документа.
Восстановление окаймляющих четырехугольников найденных голограмм для исходных кадров видеопотока может быть реализовано с помощью обратных проективных преобразований найденного финального прямоугольника как при переходе от системы координат документа к исходному кадру, так и между кадрами.
1. Способ определения голограмм в видеопотоке, содержащем изображения в виде документов, заключающийся в том, что осуществляют обработку видеопотока, при которой выполняют стабилизацию документа, далее осуществляют построение карт насыщенности и цветового тона, после чего проводят анализ цветовых характеристик в областях изображения, далее осуществляют построение гистограмм цветовых характеристик, с учетом полученных данных осуществляют оценку изменения цветовых характеристик путем вычисления разницы между гистограммами на текущем и предыдущем кадрах, с учетом оценки изменения цветовых характеристик осуществляют построение интегральной карты оценок присутствия голограмм путем объединения вычисленных оценок для всех кадров видеопотока, далее осуществляют нахождение итоговых областей голографических элементов с учетом карты оценок присутствия голограмм.
2. Способ определения голограмм в видеопотоке по п. 1, отличающийся тем, что стабилизация документа осуществляется путем приведения каждого кадра видеопотока к единой системе координат документа, для чего определяют границы документа, после чего производят проективное исправление изображения к фиксированному размеру, имеющее соответствующее документу отношение сторон.
3. Способ определения голограмм в видеопотоке по п. 1, отличающийся тем, что построение гистограмм цветовых характеристик в областях изображения производят путем анализа окна вокруг позиции пикселя, при анализе учитывают координаты региона изображения и площадь.
4. Способ определения голограмм в видеопотоке по п. 1, отличающийся тем, что для оценки изменения цветовых характеристик вычисляют разницу между гистограммами на текущем и предыдущем кадрах.
5. Способ определения голограмм в видеопотоке по п. 1, отличающийся тем, что вычисленные для отдельных кадров оценки объединяют для всех кадров видеопотока для получения интегральной карты оценок присутствия голограмм.
6. Способ определения голограмм в видеопотоке по п. 1, отличающийся тем, что для нахождения итоговых областей голографических элементов производят гамма-коррекцию интегральной карты оценок для усиления областей максимумов, а затем проводят ее бинаризацию для получения бинарной карты присутствия голограмм, причем определение непосредственной области нахождения голографического элемента осуществляют с помощью нахождения компонент связности на бинарной карте, и для найденной компоненты связности с наибольшей площадью строится окаймляющий прямоугольник.
