Способ преобразования дескриптора изображения на основе гистограммы градиентов и соответствующее устройство обработки изображений

Изобретение относится к области вычисления дескрипторов изображения. Технический результат – обеспечение уменьшения размера дескриптора изображения посредством преобразования. Способ для преобразования дескриптора изображения в преобразованный дескриптор изображения содержит этапы, на которых: принимают дескриптор изображения на основе гистограммы (h) градиентов, причем гистограмма градиентов содержит множество компонент (h_i) гистограммы, содержащих первый набор значений, которые вычисляются в выборочных точках изображения в области около ключевой точки изображения и суммируются в гистограммы ориентаций, суммирующие содержание по подобластям изображения; применяют критерий местоположения упомянутых компонент гистограммы для преобразования упомянутой гистограммы градиентов, причем упомянутый критерий местоположения предоставляется для вычисления второго набора значений, представляющих выборочные точки изображения около упомянутой ключевой точки изображения, извлеченной из компонент гистограммы градиентов, которые демонстрируют множество угловых расстояний; генерируют преобразованный дескриптор изображения, содержащий упомянутый второй набор значений. 3 н. и 14 з.п. ф-лы, 20 ил.

 

Это изобретение относится к вычислению устойчивых, различающих, масштабируемых и компактных дескрипторов изображения.

Более конкретно, настоящее изобретение относится к дескрипторам изображения, вычисляемым в локальных областях около точек интереса изображения посредством вычисления гистограмм градиентов подобластей внутри упомянутых локальных областей.

Дескрипторы изображения нашли широкое применение во многих приложениях компьютерного зрения, включая сюда распознавание объектов, основывающееся на содержании извлечение изображений, и совмещение изображений, чтобы назвать некоторые. Один из наиболее широко известных примеров этого класса дескрипторов изображения является дескриптором преобразования масштабно инвариантных признаков (SIFT).

Кратко, с помощью способа SIFT локальные дескрипторы изображения формируются следующим образом:

сначала выполняется поиск по множеству масштабов и местоположений изображений, чтобы идентифицировать и локализовать устойчивые ключевые точки изображения, которые являются инвариантными по отношению к масштабу и ориентации; затем для каждой ключевой точки определяются одна или более доминирующих ориентаций на основе локальных градиентов изображения, что делает возможным выполнение последующего вычисления локального дескриптора по отношению к приписанной ориентации, масштабу и местоположению каждой ключевой точки, таким образом, достигается инвариантность к этим преобразованиям.

Затем локальные дескрипторы изображения около ключевых точек формируются следующим образом: сначала, вычисляется информация величины и ориентации градиентов в выборочных точках изображения в области около ключевой точки; затем, эти выборки суммируются в гистограммы ориентаций, суммирующие, содержание по n×n подобластям.

Только в качестве иллюстрации, пример дескриптора ключевой точки показан на фиг. 1а и 1b, где фиг. 1а показывает разделение локальной области R на 4×4 подобласти SR и фиг. 1b показывает разделение диапазона 360° ориентаций на восемь компонент h для каждой гистограммы h ориентаций, при этом длина каждой стрелки соответствует величине этого составляющего гистограммы.

Таким образом, локальный дескриптор изображения, как проиллюстрировано на фиг. 1а, имеет 4×4×8=128 элементов. Способ SIFT представлен более подробно в David G. Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision, 60, 2 (2004), pp. 91-110.

Существует некоторое количество альтернатив и вариаций способа SIFT, которые применяют разные механизмы для обнаружения устойчивых ключевых точек изображения, разные подходы к разделению локальной области около ключевых точек и разные подходы к вычислению гистограмм градиентов подобластей.

Например, фиг. 2а и 2b соответственно показывает характеристику логарифмических полярных пространственных разделений других способов, таких как гистограмма ориентаций местоположений градиентов (GLOH), описанная в K. Mikolajczyk and С. Schmid, "A performance evaluation of local descriptors", IEEE Transactions of Pattern Analysis and Machine Intelligence 27(10): 1615-1630, и несжатая гистограмма градиентов (UHoG), описанная в Chandrasekhar et al, "Compressed Histogram of Gradients: A Low-Bitrate Descriptor", International Journal on Computer Vision, Vol. 94, No. 5, May 2011, в качестве альтернатив к декартовому пространственному разделению, применяемому в способе SIFT.

В качестве другого примера фиг. 3а и 3b показывают подходы для вычисления гистограмм градиентов на основе разделения 2-мерного пространства составляющих х и y градиентов на компоненты, характеристики UHoG, в качестве альтернативы к разделению диапазона 360° ориентаций градиентов на компоненты, которое применяется в способе SIFT.

Вышеупомянутые способы предшествующего уровня техники рассмотрены здесь только в качестве примера способов, вырабатывающих дескрипторы изображения, на основе которых настоящее изобретение выполняет вычисление устойчивых, различающих, масштабируемых и компактных дескрипторов изображения.

Хотя такие дескрипторы изображения нашли широкое применение во многих приложениях компьютерного зрения, как описано ранее, затраты на их хранение и передачу, как определяется их размером в байтах, обычно рассматриваются как высокие в некоторых прикладных областях. Это из-за того, что, хотя размер локального дескриптора изображения для ключевой точки в изображении может быть относительно малым, полный дескриптор изображения будет содержать сотни таких ключевых точек и ассоциированных локальных дескрипторов, что означает, что полный дескриптор изображения может иметь размер, сравнимый со сжатой версией JPEG фактического изображения, из которого он извлечен.

Одной такой прикладной областью, где этот уровень размера дескриптора рассматривается как проблематичный, является визуальный поиск с использованием мобильных терминалов. Хотя в этой прикладной области являются реализуемыми разные архитектуры, одна типичная архитектура предусматривает захват изображения объекта интереса посредством клиента мобильного терминала, такого как мобильный телефон, автоматическое извлечение дескриптора изображения посредством клиента, передачу дескриптора изображения по сети беспроводной связи в сервер, который обрабатывает дескриптор изображения и обеспечивает соответствующий ответ, как, например, идентификационную или дополнительную информацию относительно объекта интереса, и возврат упомянутого ответа клиенту. Таким образом, является очевидным, что является желательной минимизация величины информации, передаваемой от клиента в сервер по беспроводной сети. Для преимущества таких приложений проводятся значительные исследования для сжатия таких дескрипторов изображения.

Наиболее простой подход к сжатию основанного на гистограмме градиентов дескриптора ключевой точки состоит в скалярном квантовании значений компонент гистограммы, что означает уменьшение количества бит, используемых в представлении каждого значения компоненты индивидуально. На практике этот подход обычно не используется, так как является трудным достигать очень высоких коэффициентов сжатия без значительного ослабления различающей способности дескриптора. Например, обычно используется кодирование компонент гистограммы дескриптора SIFT с помощью восьми битов в расчете на компоненту, но дает результатом дескрипторы изображения, чей размер в байтах обычно рассматривается как слишком большой для передачи по беспроводным сетям. С другой стороны, для скалярного квантования только в несколько, например, только один или два, битов в расчете на компоненту было обнаружено, что оно ослабляет различающую способность дескриптора изображения.

Поэтому были предложены более сложные схемы сжатия. Обзор таких схем представлен в V. Chandrasekhar et al., "Survey of SIFT compression schemes", Proceedings of International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August 2010.

Кратко, схемы на основе векторного квантования, посредством которого значения компонент объединено квантуются посредством отображения их на один из конечного количества представительных векторных центроидов, были особенно популярны и исследованы в различных формах, как, например, векторное квантование на основе структуры дерева и произведения. Недостаток таких подходов состоит в том, что они ведут к относительно высокой вычислительной сложности и достаточно значительным требованиям к памяти, от сотен килобайт до нескольких мегабайтов или более, для хранения центроидов, количество которых может находиться в диапазоне от тысяч до миллионов, и определение которых также требует вычислительно сложной фазы обучения.

Схемы на основе кодирования на основе типов также были исчерпывающе исследованы, посредством чего значения компонент снова объединено квантуются посредством формирования равномерной решетки типов внутри пространства, содержащего все возможные входные векторы, и, для любого заданного входного вектора, кодирования его посредством индекса типа, который находится ближе всего к нему. Требования к памяти таких подходов уменьшены по сравнению с подходами векторного квантования, но также было обнаружено, что результирующие сжатые дескрипторы не сравниваются хорошо с дескрипторами векторного квантования в смысле производительности распознавания при высоких коэффициентах сжатия. В целом, вычислительные затраты, связанные с кодированием на основе типов, являются значительно более высокими, чем для простого скалярного квантования.

Другие схемы сжатия используют известные способы уменьшения размерности, такие как РСА, над дескрипторами ключевых точек, например, 128-мерными SIFT дескрипторами ключевых точек, за которыми следует скалярное квантование результирующих размерностей. Ключевая проблема с такими подходами состоит в том, что они ведут к высокой вычислительной сложности и высокому риску перетренировки.

Чтобы резюмировать, существующие подходы к сжатию основанных на гистограмме градиентов дескрипторов и генерированию устойчивых, различающих, масштабируемых и компактных дескрипторов изображения демонстрируют некоторые недостатки.

Простой подход, такой как скалярное квантование элементов дескриптора, имеет преимущество очень низких вычислительной сложности и требований к памяти, но было обнаружено, что он ослабляет различающую способность дескрипторов при высоких коэффициентах сжатия.

Было показано, что более сложные подходы достигают более хорошей производительности при высоких коэффициентах сжатия, но страдают от разных недостатков. Подходы векторного квантования имеют значительно увеличенные вычислительную сложность и требования к памяти. Подходы кодирования на основе типов ведут к увеличенной сложности, и наряду с тем, что не обременены требованиями к памяти подходов векторного квантования, также было обнаружено, что они недостаточно эффективно работают по сравнению с такими подходами. Дополнительно, подходы ни на основе векторного квантования ни на основе кодирования на основе типов не подходят хорошо для уменьшения размерности в сжатой области. Подходы на основе известных способов уменьшения размерности, такие как РСА, также применяются, но также страдают от высокой вычислительной сложности и высокого риска перетренировки.

Поэтому целью настоящего изобретения является указать способ для преобразования дескриптора изображения на основе гистограммы градиентов, который позволяет уменьшать размер дескриптора изображения.

Дополнительной целью настоящего изобретения является указать способ для преобразования дескриптора изображения, на основе гистограммы градиентов, позволяющий уменьшать затраты на его хранение и передачу, в частности, по беспроводной сети в приложениях мобильного терминала.

Дополнительной целью настоящего изобретения является указать способ для преобразования дескриптора изображения на основе гистограммы градиентов, позволяющий уменьшать размер дескриптора изображения, составленного посредством множества гистограмм градиентов, относящихся к подобластям, окружающим ключевую точку изображения.

Эти и другие цели изобретения достигаются посредством способа для преобразования дескриптора изображения на основе гистограммы градиентов и соответствующего устройства обработки изображений, как заявлено в прилагаемой формуле изобретения, которая является объединенной частью настоящего описания.

В целом настоящее изобретение относится к вычислению устойчивых, различающих, масштабируемых и компактных дескрипторов изображения из дескрипторов изображения с использованием гистограмм градиентов на основе преобразования упомянутых гистограмм градиентов, где упомянутое преобразование захватывает характерную и устойчивую информацию, содержащуюся там, в виде формы распределений и отношения между их значениями компонент. Более конкретно, настоящее изобретение преобразовывает гистограммы градиентов посредством вычисления значений, соответствующих отношениям между компонентами гистограмм.

Способ согласно настоящему изобретению также относится к вычислению устойчивых, различающих, масштабируемых и компактных дескрипторов изображения, на основе разных подходов обработки гистограммы градиентов по отношению к подобластям, окружающим ключевую точку изображения.

Дополнительные признаки изобретения описываются в прилагаемой формуле изобретения, которая является объединенной частью настоящего описания.

Вышеупомянутые цели станут более ясными из последующего подробного описания способа для преобразования дескриптора изображения на основе гистограммы градиентов, с конкретной ссылкой на прилагаемые чертежи, на которых:

- Фиг. 1а и 1b показывают пример дескриптора ключевой точки предшествующего уровня техники;

- Фиг. 2а и 2b показывают схемы пространственного разделения, используемые соответственно в способах GLOH и UHoG предшествующего уровня техники;

- Фиг. 3а и 3b показывает подходы для вычисления гистограмм градиентов способа UHoG;

- Фиг. 4а и 4b показывают пример дескриптора ключевой точки согласно изобретению;

- Фиг 5 по 7 показывают разные способы обработки гистограмм градиентов, соответствующих подобластям, окружающим ключевую точку изображения;

- Фиг. 8 по 13 представляют диаграммы последовательности операций согласно шести вариантам осуществления настоящего изобретения;

- Фиг. 14 иллюстрирует обработку дескриптора изображения согласно изобретению посредством использования схемы пространственного разделения из фиг. 2b.

- Фиг. 15 иллюстрирует обработку дескриптора изображения согласно изобретению посредством использования схемы разделения гистограммы градиентов из фиг. 3а;

- Фиг. 16 иллюстрирует устройство обработки изображений, подходящее для выполнения способа согласно настоящему изобретению.

В качестве примера и без какого-либо ограничения аспекты настоящего изобретения представлены для вычисления устойчивых, различающих, масштабируемых и компактных дескрипторов изображения из дескриптора изображения, в частности, дескриптора изображения SIFT, как проиллюстрировано на фиг. 4, при этом фиг. 4а иллюстрирует пример разделения локальной области R на 4×4 подобласти SR и фиг. 4b иллюстрирует иллюстративную 8-компонентную гистограмму градиентов для подобласти.

Пусть h обозначает гистограмму градиентов из фиг. 4b, с компонентами h_i, где i является индексом компоненты, где i=0…n-1. Преобразование гистограммы градиентов согласно изобретению вычисляет значения v_j, соответствующие отношениям между компонентами гистограммы градиентов.

Компоненты, среди которых вычисляются значения, соответствующие отношениям, могут выбираться согласно их местоположению или близости, что, в случае гистограммы градиентов из фиг. 4b, преобразовывается в их угловое расстояние.

В качестве примера значений, соответствующих отношениям между компонентами гистограммы градиентов, разности соседних компонент, как показано в (1) ниже, захватывают полную форму и местоположения экстремумов гистограммы.

Разности между компонентами, которые соответствуют градиентам с угловой разностью, равной 90°, как показано в (2) ниже, или в более широком смысле настолько близко к 90°, насколько позволяют характеристики гистограммы градиентов и гранулярность компонент, захватывают информацию об отношении между градиентами при, по существу, прямых углах друг к другу.

Разности между компонентами, которые соответствуют градиентам с угловой разностью, равной 180°, как показано в (3) ниже, или в более широком смысле настолько близко к 180°, насколько позволяют характеристики гистограммы градиентов и гранулярность компонент, захватывают важную высоко уровневую информацию об отношении между градиентами внутри ориентаций, как, например, внутри горизонтальной ориентации и внутри вертикальной ориентации.

Функции, показанные в (4) ниже, комбинируют больше, чем две компоненты градиента и захватывают информацию об отношении градиентов между конкретными ориентациями, как, например, горизонтальными градиентами в любом направлении по отношению к вертикальным градиентам в любом направлении.

Функции, показанные в (5) ниже, комбинируют все компоненты гистограммы градиентов, чтобы вырабатывать различающие значения, которые представляют форму всей гистограммы.

Компоненты, среди которых вычисляются значения, соответствующие отношениям, также могут выбираться согласно разным критериям. Например, компоненты, среди которых вычисляются значения, соответствующие отношениям, могут выбираться, чтобы увеличивать различающую способность результирующих значений. Такие функции, например, могут принимать форму функций, показанных в (6) ниже

В качестве другого примера компоненты, среди которых вычисляются значения, соответствующие отношениям, могут выбираться посредством процесса случайного выбора. Примеры таких функций показаны в (7) ниже

В качестве другого примера преобразования гистограммы, набор функций, показанных в (8) ниже, составляют обратимое преобразование, в котором v₇ является значением, представляющим полную сумму гистограммы.

Функции из (1)-(8) показывают отношения между компонентами гистограммы градиентов, вычисленные как суммы или разности между компонентами или разности между суммами компонент, но это не является ограничительным и могут применяться разные линейные или нелинейные операции, как, например, отношения между компонентами или отношения между суммами компонент или отношения между произведениями компонент или разностями между произведениями компонент и так далее.

В общем, гистограмма градиентов может преобразовываться посредством вычисления значений v_j, соответствующих отношениям между компонентами гистограммы градиентов, при этом выбор упомянутых компонент гистограммы градиентов зависит от одного или более критериев, как, например, их близость или различающая способность результирующих значений, или комбинация этих критериев.

Дополнительно, когда компоненты выбираются согласно их близости, гистограмма градиентов может преобразовываться посредством вычисления значений v_j, соответствующих отношениям между компонентами гистограммы градиентов, которые демонстрируют одиночное угловое расстояние, например, на основе отношений между соседними компонентами только как в (1) или на основе отношений между разнесенными на 180° компонентами только как в (3) и так далее. Альтернативно гистограмма градиентов также может преобразовываться посредством вычисления значений v_j, соответствующих отношениям между компонентами гистограммы градиентов, которые демонстрируют множество угловых расстояний, например, на основе некоторых отношений, как показано в (1), некоторых отношений, как показано в (2), и так далее. В целом, процесс выбора преобразования является достаточно важным, так как он уравновешивает величину конкретного типа информации по отношению к смешению разных типов информации по отношению к размерности k результирующего преобразованного дескриптора по сравнению с размерностью л гистограммы градиентов, которые могут соотноситься друг с другом как k=n или k<n или k>n.

В дальнейшем значения v_j, где j=0…k-1, вычисленные из преобразования гистограммы h градиентов, будут собирательно упоминаться как преобразованный дескриптор v гистограммы градиентов из k элементов.

Как описано ранее, одиночный дескриптор Η изображения может содержать множество гистограмм h_p градиентов, при этом каждая соответствует подобласти SR локальной области R около ключевой точки изображения KP. Фиг. 4а иллюстрирует пример разделения локальной области R на 4×4 подобласти SR, при этом каждая описывается посредством гистограммы h_p градиентов. Такой дескриптор изображения может преобразовываться в новый дескриптор V изображения посредством индивидуального преобразования гистограммы градиентов каждой подобласти SR в преобразованный дескриптор гистограммы градиентов v_p, как описано выше.

Обработка преобразования гистограммы градиентов, описанная выше, имеет многочисленные преимущества в выработке компактного дескриптора изображения. Первое преимущество состоит в том, что, посредством соответствующего выбора преобразования, обработка, описанная выше, делает возможным кодировать характерные характеристики формы и различающую информацию гистограммы градиентов с использованием меньшего количества элементов, чем исходная гистограмма градиентов, например, посредством замены восьми компонент градиента на комбинированные шесть элементов из (3) и (4), показанные ранее, что дает результатом более маленький дескриптор изображения, который является все еще очень успешным в установке или верификации визуальных соответствий и достижении высокой производительности распознавания.

Другое преимущество состоит в том, что в отличие от исходной гистограммы градиентов преобразованный дескриптор гистограммы градиентов является подходящим для сжатия посредством простого грубого скалярного квантования, посредством чего каждый элемент дескриптора индивидуально квантуется в только несколько битов, даже настолько мало как один или два бита, которые в действительности обеспечивают только грубую меру отношения между конкретными компонентами градиента или доминирование конкретных компонент над другими конкретными компонентами. Однако упомянутая грубая мера все еще обеспечивает устойчивый и различающий компактный дескриптор изображения, который является успешным в установке или верификации визуальных соответствий и достигает более высокую производительность распознавания, чем исходный основанный на гистограмме градиентов дескриптор при таких же условиях скалярного квантования и также при более сложных схемах сжатия, как, например, векторное квантование и кодирование на основе типов.

Например, с использованием скалярного квантования, значения v_j индивидуально квантуются в q уровней, например, с q=2 или q=3 или q=4, и т.д. Хотя это не является ограничительным и могут использоваться разные количества уровней квантования, чтобы достигать требуемой компактности в результирующем дескрипторе. Это квантование может выполняться посредством сравнения значения каждого значения v_j с набором порогов. Имеются многочисленные варианты в выборе порогов квантования. Пороги квантования могут определяться, например, посредством равномерного разделения динамического диапазона каждого v_j. Альтернативно пороги квантования могут устанавливаться, чтобы достигать конкретного долгосрочного распределения значений среди q уровней квантования, например, равномерного распределения. Дополнительно, пороги квантования могут быть одними и теми же для всех значений v_j, вычисленных во всех подобластях SR, или они могут быть одними и теми же для одного и того же индекса j по всем подобластям SR, или они могут быть одними и теми же для каждой подобласти SR по всем j, или они могут быть разными для каждой подобласти SR и каждого индекса j.

Таким образом, обработка преобразования гистограммы градиентов, описанная выше, устраняет необходимость в сложных схемах сжатия, таких как схемы, описанные ранее, с ассоциированным уменьшением в полной вычислительной сложности и требованиях к памяти, наряду с тем, что достигает аналогичные или улучшенные характеристики производительности.

Следующее третье преимущество состоит в том, что размерность преобразованного дескриптора гистограммы градиентов является в высокой степени масштабируемой не только до сжатия, но также после сжатия, и может легко дополнительно уменьшаться, если требуется приложением или характеристиками канала передачи, посредством простого устранения одного или более из ее индивидуально квантованных элементов, что не легко достигается при более сложных способах сжатия, как, например, векторном квантовании или кодировании на основе типов.

Между тем, индивидуальное преобразование и сжатие гистограммы градиентов каждой подобласти, как описано выше, является высоко предпочтительным, так как это обеспечивает масштабируемость всего преобразованного дескриптора изображения, если требуется, посредством простого устранения одной или более индивидуально преобразованных и квантованных гистограмм подобластей.

Однако также необходимо подчеркнуть, что преобразованный дескриптор гистограммы градиентов, описанный выше, не является несовместимым с более сложными схемами сжатия, описанными ранее, или любыми схемами сжатия, которые являются применимыми к исходному основанному на гистограмме градиентов дескриптору, и он может все еще использоваться в соединении с любыми такими схемами сжатия, если необходимо.

Как описано ранее, одиночный основанный на гистограмме градиентов дескриптор H изображения может содержать множество гистограмм h_p градиентов, при этом каждая соответствует подобласти SR локальной области R около ключевой точки изображения KP, и такой дескриптор H изображения может преобразовываться посредством индивидуального преобразования гистограммы градиентов каждой подобласти SR, как описано выше. Более конкретно, каждая гистограмма градиентов подобласти может преобразовываться способом, идентичным другим гистограммам градиентов подобластей, но альтернативно, по меньшей мере, одна гистограмма градиентов подобласти может преобразовываться отлично от других гистограмм градиентов подобластей.

Например, в контексте преобразования некоторых гистограмм подобластей отличным образом от других гистограмм подобластей, может накладываться требование в обработке преобразования дескриптора изображения, что функции преобразования любой гистограммы градиентов должны отличаться, по меньшей мере, частично от функций преобразования, применяемых в, по меньшей мере, некоторых из его пространственно соседних гистограммах градиентов. Это проиллюстрировано на фиг. 5.

Более конкретно фиг. 5 указывает на наборы функций преобразования, которые являются полностью или частично отличными друг от друга. Например, взятие функций из (1) в качестве А и функций из (2) в качестве В дает результатом полностью разные наборы функций, в то время как взятие функций из (3) и четным образом пронумерованных элементов из (1) в качестве А, и функций из (3) и нечетным образом пронумерованных элементов из (1) в качестве В дает результатом частично разные наборы функций. На фиг. 5, функции преобразования А и В применяются к гистограммам подобластей, так что для каждой гистограммы подобласти, преобразованной посредством А (или альтернативно В), ее четыре горизонтальные и вертикальные соседние гистограммы преобразовываются посредством В (или альтернативно А). В то время как это использование множества наборов функций преобразования увеличивает сложность реализации незначительно, оно имеет значительное преимущество над использованием одних и тех же функций преобразования во всех гистограммах подобластей. Специалистам в данной области техники является известным, что с дескрипторами SIFT, также как другими основанными на гистограмме градиентов дескрипторами изображения, соседние гистограммы градиентов, конкретно горизонтально или вертикально соединенные, демонстрируют значительную корреляцию, которая также поддерживается в преобразованных дескрипторах гистограмм градиентов. Применение одного и того же преобразования в таких соседних гистограммах в комбинации с любым последующим грубым квантованием, дает результатом увеличенную вероятность того, что соседние гистограммы имеют идентичные элементы. Эта проблема смягчается посредством использования разных функций преобразования, как описано выше, что увеличивает энтропию и, следовательно, различающую способность дескриптора.

В качестве другого примера в контексте преобразования некоторых гистограмм подобластей отлично от других гистограмм подобластей преобразованные дескрипторы гистограмм градиентов некоторых подобластей могут содержать разное количество элементов для преобразованных дескрипторов гистограмм градиентов других подобластей согласно некоторым факторам выбора, таким как местоположение подобласти по отношению к центру или области около ключевой точки.

Фиг. 6 иллюстрирует один пример этого, где центральные четыре подобласти SR_c, непосредственно окружающие ключевую точку изображения KP, преобразовываются, как описано выше, в k_c элементов, в то время как двенадцать граничных подобластей SR_b преобразовываются, как описано выше, в k_b элементов, где k_c>k_b. Поэтому это увеличивает информационное содержание центральных подобластей SR_c по отношению к полному преобразованному дескриптору изображений, при этом упомянутые подобласти SR_c обычно рассматриваются специалистами в данной области техники как более важные в установке или верификации визуальных соответствий.

В качестве другого примера в контексте преобразования некоторых гистограмм подобластей отлично от других гистограмм подобластей преобразованные дескрипторы гистограмм градиентов некоторых подобластей могут сжиматься отлично от преобразованных дескрипторов гистограмм градиентов других подобластей согласно некоторым факторам выбора, таким как местоположение подобласти по отношению к центру области около ключевой точки.

Фиг. 7 иллюстрирует один пример этого, где центральные четыре подобласти SR_c, непосредственно окружающие ключевую точку KP изображения, преобразовываются, как описано выше, и квантуются в q_c уровней, в то время как двенадцать граничных подобластей SR_b преобразовываются, как описано выше, и квантуются в q_b уровней, где q_c>q_b. Поэтому это увеличивает точность представления центральных подобластей SR_c внутри полного преобразованного дескриптора изображения, при этом упомянутые подобласти SR_c обычно рассматриваются специалистами в данной области техники как более важные в установке или верификации визуальных соответствий.

Дополнительно, разные характеристики сжатия также могут применяться только к конкретным элементам преобразованных дескрипторов гистограмм градиентов согласно некоторым факторам выбора, как, например, функция преобразования конкретных элементов или их лежащие в основе статистики.

В целом факторы, такие как выбор соответствующих функций преобразования для разных подобластей и выбор соответствующих параметров сжатия для разных подобластей и/или элементов подобластей, являются достаточно важными, так как они управляют информационным содержанием и различающей способностью дескриптора по отношению к его сложности и затратам на хранение/передачу. Варианты осуществления настоящего изобретения теперь описываются с помощью фиг. 8 по фиг. 13.

ПЕРВЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Первый вариант осуществления изобретения проиллюстрирован на фиг. 8, где основанный на гистограмме градиентов дескриптор Н, содержащий гистограммы h_p градиентов, например, согласно фиг. 4, обрабатывается посредством преобразования каждой гистограммы h_p градиентов, чтобы уменьшать его размерность посредством вычисления значений, соответствующих отношениям между компонентами гистограммы градиентов, выбранными согласно их близости.

Более конкретно, на фиг. 8, каждая гистограмма h_p, где p=0…N-1 (N=16), обрабатывается последовательно. На этапе S100 р устанавливается на 0.

Затем, на этапе S110, гистограмма h_p из n компонент (n=8) преобразовывается в дескриптор v_p из k элементов (k=4), где k<n, посредством набора функций, выбранных, чтобы захватывать отношения между компонентами, которые имеют одиночное угловое расстояние, именно функций из (9), которые захватывают отношения между соседними компонентами.

Альтернативно функции из (9) могут заменяться на другие функции, которые захватывают отношения между компонентами, которые имеют другое одиночное угловое расстояние, как, например, функции, которые захватывают отношения между компонентами, разнесенными на 90°, или функции, которые дают результатом дескриптор v_p с другим количеством элементов k, но все еще где k<n.

Затем, на этапе S120, значение p обследуется и, если оно равно индексу последней гистограммы в Н, обработка заканчивается, в противном случае оно увеличивается на 1 на этапе S130 и обработка возвращается на этап S110.

Таким образом, результирующий дескриптор V кодирует характерные характеристики формы и различающую информацию Η, используя значительно меньшее количество элементов, чем Н, что дает результатом более маленький дескриптор, который является все еще очень успешным в установке или верификации визуальных соответствий и достижении высокой производительности распознавания.

Необязательно, значения индивидуальных элементов V могут масштабироваться и сдвигаться, как необходимо, например, чтобы отображать их в неотрицательные значения и/или в конкретный динамический диапазон, например, 8-бит.

Последующая обработка результирующих дескрипторов, чтобы определять, были ли два дескриптора извлечены из одной и той же ключевой точки в разных изображениях, и чтобы устанавливать визуальные соответствия между изображениями, находится вне объема изобретения и может делаться аналогичным способом как для исходных дескрипторов гистограмм градиентов, например, как описано в David G. Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision, 60, 2 (2004), pp. 91-110, или любым другим подходящим способом.

ВТОРОЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Второй вариант осуществления изобретения проиллюстрирован на фиг. 9, где основанный на гистограмме градиентов дескриптор Н, содержащий гистограммы h_p градиентов, например, согласно фиг. 4, обрабатывается посредством преобразования каждой гистограммы h_p градиентов, чтобы уменьшать его размерность посредством вычисления значений, соответствующих отношениям между компонентами гистограммы градиентов, выбранными согласно множеству критериев по отношению к их близости.

Более конкретно, на фиг. 9, каждая гистограмма h_p, где p=0…N-1 (N=16), обрабатывается последовательно. На этапе S200 р устанавливается на 0.

Затем, на этапе S210, гистограмма h_p из n компонент (n=8) преобразовывается в дескриптор v_p из k элементов (k=6), где k<n, посредством набора функций, выбранных, чтобы захватывать отношения между компонентами, которые имеют множество угловых расстояний, именно функций из (10), которые захватывают отношения между соседними компонентами и отношения между компонентами, разнесенными на 180°.

Альтернативно функции из (10) могут заменяться на другие функции, которые захватывают отношения между компонентами, которые имеют другое множество угловых расстояний, как, например, функции, которые захватывают отношения между компонентами, разнесенными на 90°, и отношения между компонентами, разнесенными на 180°, или функции, которые дают результатом дескриптор v_p с другим количеством элементов k, но все еще где k<n.

Затем, на этапе S220, значение р обследуется и, если оно равно индексу последней гистограммы в Н, обработка заканчивается, в противном случае оно увеличивается на 1 на этапе S230 и обработка возвращается на этап S210.

Таким образом, результирующий дескриптор V кодирует разные типы характерных характеристик формы и различающую информацию Н с использованием меньшего количества элементов, чем Н, что дает результатом более маленький дескриптор, который является все еще очень успешным в установке или верификации визуальных соответствий и достижении высокой производительности распознавания.

Последующая обработка результирующего дескриптора может затем делаться аналогичным способом как в первом варианте осуществления.

ТРЕТИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Третий вариант осуществления изобретения проиллюстрирован на фиг. 10, где основанный на гистограмме градиентов дескриптор Н, содержащий гистограммы h_p градиентов, например, согласно фиг. 4 обрабатывается посредством преобразования каждой гистограммы h_p градиентов посредством вычисления значений, соответствующих отношениям между компонентами гистограммы градиентов, выбранными согласно множеству критериев по отношению к их близости.

Более конкретно на фиг. 10 каждая гистограмма h_p, где p=0…N-1 (N=16), обрабатывается последовательно. На этапе S300 р устанавливается на 0.

Затем, на этапе S310, гистограмма h_p из n компонент (n=8) преобразовывается в дескриптор v_p из k элементов (k=8), посредством набора функций, выбранных, чтобы захватывать отношения между компонентами, которые имеют множество угловых расстояний, именно функций из (11).

Альтернативно функции из (11) могут заменяться на другие функции, которые захватывают отношения между компонентами, которые имеют другое множество угловых расстояний, или функции, которые дают результатом дескриптор v_p с другим количеством элементов k, где k=n или k<n или k>n. Затем, на этапе S320, каждый элемент дескриптора v_p из к элементов индивидуально квантуется в q уровней, что дает квантованный дескриптор . В этом варианте осуществления мы устанавливаем q=3, хотя это не является ограничительным и разные количества уровней квантования могут использоваться, чтобы достигать требуемой компактности в результирующем дескрипторе, например, q=2, q=4, и так далее. Это квантование может выполняться посредством сравнения значения каждого элемента v_pj с набором порогов. Имеются многочисленные варианты в выборе порогов квантования. Пороги квантования могут определяться, например, посредством равномерного разделения динамического диапазона v_pj. Альтернативно пороги квантования могут устанавливаться, чтобы достигать конкретного долгосрочного распределения значений среди q уровней квантования, например, равномерного распределения. Дополнительно, пороги квантования могут быть одними и теми же для всех элементов v_pj, или они могут быть одними и теми же для одного и того же индекса j по всем р, или они могут быть одними и теми же для одного и того же индекса р по всем j, или они могут быть разными для каждого v_pj.

Затем, на этапе S330, значение р обследуется и, если оно равно индексу последней гистограммы в Н, обработка заканчивается, в противном случае оно увеличивается на 1 на этапе S340 и обработка возвращается на этап S310.

Ясно, что альтернативные варианты осуществления могут изменять порядок или некоторые операции, как необходимо, по сравнению с фиг. 10 без отхода от объема изобретения, например, посредством сначала вычисления всего дескриптора V и затем перехода к квантованию, чтобы генерировать квантованный дескриптор .

Таким образом, результирующий дескриптор кодирует разные типы характерных характеристик формы и различающую информацию Н. Грубое скалярное квантование, посредством которого каждый элемент дескриптора индивидуально квантуется только в несколько уровней, которые обеспечивают только грубую меру отношения между конкретными компонентами градиента или доминирование конкретных компонент над другими конкретными компонентами, дает результатом устойчивый и различающий компактный дескриптор изображения, который является успешным в установке или верификации визуальных соответствий и достигает более высокую производительность распознавания, чем исходный основанный на гистограмме градиентов дескриптор при таких же условиях скалярного квантования и также при более сложных схемах сжатия.

Последующая обработка результирующего дескриптора может затем делаться аналогичным способом как в предыдущих вариантах осуществления.

ЧЕТВЕРТЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Четвертый вариант осуществления изобретения проиллюстрирован на фиг. 11, где основанный на гистограмме градиентов дескриптор Н, содержащий гистограммы h_p градиентов, например, согласно фиг. 4, обрабатывается посредством преобразования каждой гистограммы h_p градиентов с использованием набора функций преобразования, который демонстрирует различия в наборах функций преобразования, используемых в обработке некоторых из гистограмм градиентов, которые являются соседними h_p.

Более конкретно на фиг. 11 каждая гистограмма h_p, где p=0…Ν-1 (N=16), обрабатывается последовательно. На этапе S400 p устанавливается на 0.

Затем, на этапе S410, значение p обследуется для выбора соответствующих функций для обработки h_p. Этот выбор может, например, делаться согласно тому, что проиллюстрировано на фиг. 5, где используются два набора преобразований, обозначенные А и В, при этом А выбирается, когда р=0, 2, 5, 7, 8, 10, 13, 15, и В. выбирается, когда р=1, 3, 4, 6, 9, 11, 12, 14. Это, однако, не является ограничительным, и может применяться разное количество наборов функций преобразования, и с разным пространственным расположением, так что набор функций преобразования, используемый в обработке гистограммы градиентов, демонстрирует различия в наборах функций преобразования, используемых в обработке некоторых из гистограмм градиентов, которые являются соседними упомянутой гистограмме.

Затем, на этапе S420, гистограмма h_p из n компонент (n=8) преобразовывается в дескриптор v_p из k элементов (k=8), с использованием подходящим образом выбранного набора функций преобразования. Наборы функций преобразования А и В могут определяться согласно (12) и (13) соответственно, показанным ниже, где каждый набор функций выбирается, чтобы захватывать отношения между компонентами, которые имеют множество угловых расстояний, и не имеется никаких общих функций между А и В.

Альтернативно какой-либо либо оба набора функций, как показано в (12) и (13), могут заменяться на другие функции, которые захватывают отношения между компонентами, которые имеют другое множество угловых расстояний, или функции, которые дают результатом дескриптор с другим количеством элементов k, где k=n или k<n или k>n. Дополнительно, наборы функций А и В могут не содержать никаких общих функций, или могут содержать некоторые общие функции. Дополнительно, компоненты, среди которых вычисляются значения, соответствующие отношениям, могут выбираться согласно разным критериям для какого-либо или обоих из наборов функций А и В. Такие критерии, как описано ранее, могут включать в себя выбор компонент, среди которых значения, соответствующие отношениям, должны вычисляться, чтобы увеличивать различающую способность результирующих значений, или выбор компонент, среди которых значения, соответствующие отношениям, должны вычисляться посредством процесса случайного выбора. Дополнительно, любое смешение упомянутых критериев также может использоваться в выборе какого-либо или обоих из наборов функций А и В.

Затем, на этапе S430, каждый элемент дескриптора v_p из k элементов индивидуально квантуется в q уровней, что дает квантованный дескриптор аналогичным способом как для третьего варианта осуществления.

Затем, на этапе S440, значение р обследуется и, если оно равно индексу последней гистограммы в Н, обработка заканчивается, в противном случае оно увеличивается на 1 на этапе S450 и обработка возвращается на этап S410.

Ясно, что альтернативные варианты осуществления могут изменять порядок или некоторые операции, как необходимо, по сравнению с фиг. 11 без отхода от объема изобретения, как, например, посредством сначала вычисления всего дескриптора V и затем перехода к квантованию, чтобы генерировать квантованный дескриптор .

Таким образом, результирующий дескриптор кодирует различающую информацию Н. Использование множества наборов функций преобразования согласно этому варианту осуществления имеет значительное преимущество над использованием одних и тех же функций преобразования во всех гистограммах подобластей. Специалистам в данной области техники является известным, что с основанными на гистограмме градиентов дескрипторами изображения, соседние гистограммы градиентов демонстрируют значительную корреляцию, которая поддерживается в преобразованных дескрипторах гистограмм градиентов и, в комбинации с грубым скалярным квантованием, дает результатом увеличенную вероятность того, что соседние преобразованные гистограммы имеют идентичные элементы. Эта проблема смягчается посредством использования разных функций преобразования согласно этому варианту осуществления, что увеличивает энтропию и следовательно различающую способность дескриптора.

Последующая обработка результирующего дескриптора может затем делаться аналогичным способом как в предыдущих вариантах осуществления.

ПЯТЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Пятый вариант осуществления изобретения проиллюстрирован на фиг. 12, где основанный на гистограмме H градиентов дескриптор, содержащий гистограммы h_p градиентов, например, согласно фиг. 4, обрабатывается посредством преобразования каждой гистограммы h_p градиентов посредством вычисления значений, соответствующих отношениям между компонентами гистограммы градиентов, и так, что преобразованные дескрипторы гистограмм градиентов некоторых подобластей содержат разное количество элементов для преобразованных дескрипторов гистограмм градиентов других подобластей.

Более конкретно на фиг. 12 каждая гистограмма h_p, где p=0…Ν-1 (N=16), обрабатывается последовательно. На этапе S500 p устанавливается на 0.

Затем, на этапе S510, значение p обследуется для выбора соответствующей размерности для обработки h_p. Этот выбор может, например, делаться согласно тому, что проиллюстрировано на фиг. 6, где гистограммы центральных подобластей, где р=5, 6, 9, 10, должны преобразовываться так, что результирующие дескрипторы имеют k_c элементов каждый (k_c=3), и гистограммы граничных подобластей, где р=0, 1, 2, 3, 4, 7, 8, 11, 12, 13, 14, 15, должны преобразовываться так, что результирующие дескрипторы имеют k_b элементов каждый (k_b=2). Это, однако, не является ограничительным, и разное количество возможных размерностей, и с разным пространственным расположением, может применяться.

Затем, на этапе S520, гистограмма h_p из n компонент (n=8) преобразовывается в дескриптор v_p посредством вычисления значений, соответствующих отношениям между компонентами гистограммы градиентов, согласно функциям из (14), показанным ниже

Ясно, что этот вариант осуществления может комбинироваться с любым предыдущим вариантом осуществления, и функции преобразования из (14) могут заменяться на функции преобразования, выбранные согласно любому смешению критериев выбора, как описано ранее, и/или разные наборы функций преобразования могут использоваться для разных гистограмм подобластей.

Затем, на этапе S530, каждый элемент дескриптора v_p из k элементов индивидуально квантуется в q уровней, что дает квантованный дескриптор аналогичным способом как для третьего и четвертого варианта осуществления.

Затем, на этапе S540, значение р обследуется и, если оно равно индексу последней гистограммы в Н, обработка заканчивается, в противном случае оно увеличивается на 1 на этапе S550 и обработка возвращается на этап S510.

Ясно, что альтернативные варианты осуществления могут изменять порядок или некоторые операции, как необходимо, по сравнению с фиг. 12 без отхода от объема изобретения, как, например, посредством сначала вычисления всего дескриптора V и затем перехода к квантованию, чтобы генерировать квантованный дескриптор

Таким образом, результирующий дескриптор кодирует различающую информацию Н способом, который дает большее выделение тем частям из Н, которые могут быть более важными в установке или верификации визуальных соответствий, как, например, гистограммам центральных подобластей по отношению к гистограммам граничных подобластей, посредством того, что обеспечивается представление увеличенной размерности для этих частей.

ШЕСТОЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Шестой вариант осуществления изобретения проиллюстрирован на фиг. 13, где основанный на гистограмме градиентов дескриптор Н, содержащий гистограммы h_p градиентов, например, согласно фиг. 4, обрабатывается посредством преобразования каждой гистограммы h_p градиентов посредством вычисления значений, соответствующих отношениям между компонентами гистограммы градиентов, и так, что некоторые элементы преобразованного дескриптора гистограммы градиентов квантуются в разное количество уровней от других элементов преобразованного дескриптора гистограммы градиентов.

Более конкретно на фиг. 13 каждая гистограмма h_p, где p=0…N-1 (N=16), обрабатывается последовательно. На этапе S600 р устанавливается на 0.

Затем, на этапе S610, гистограмма h_p из n компонент (n=8) преобразовывается в дескриптор v_p из k элементов (k=8) посредством набора функций, выбранных, чтобы захватывать отношения между компонентами, как показано в (15) ниже.

Ясно, что этот вариант осуществления может комбинироваться с любым предыдущим вариантом осуществления, и функции преобразования из (15) могут заменяться на функции преобразования, выбранные согласно любому смешению критериев выбора, как описано ранее, и/или разные наборы функций преобразования могут использоваться для разных гистограмм подобластей, и/или разные размерности преобразованного дескриптора могут использоваться для разных гистограмм подобластей.

Затем, на этапе S620, значение р обследуется для выбора соответствующего количества уровней квантования для квантования каждого элемента υ_pj. Этот выбор может, например, делаться согласно тому, что проиллюстрировано на фиг. 7, где дескрипторы центральных подобластей, где р=5, 6, 9, 10, должны квантоваться в q_c уровней (q_c=4) и дескрипторы граничных подобластей, где р=0, 1, 2, 3, 4, 7, 8, 11, 12, 13, 14, 15, должны квантоваться в q_b уровней (q_b=2). Это, однако, не является ограничительным, и может применяться разное количество возможных уровней квантования, и с разным пространственным расположением. Дополнительно, хотя это не показано на фиг. 13, количество уровней квантования для каждого элемента υ_pj может определяться согласно значению j, т.е. согласно конкретному типу элемента дескриптора, вместо или в дополнение к значению р, т.е. местоположению подобласти элемента.

Затем, на этапе S630, каждый элемент дескриптора v_p из k элементов индивидуально квантуется в соответствующее количество уровней квантования, что дает квантованный дескриптор аналогичным способом как для третьего, четвертого и пятого варианта осуществления.

Затем, на этапе S640, значение р обследуется и, если оно равно индексу последней гистограммы в Н, обработка заканчивается, в противном случае оно увеличивается на 1 на этапе S650 и обработка возвращается на этап S610.

Ясно, что альтернативные варианты осуществления могут изменять порядок или некоторые операции, как необходимо, по сравнению с фиг. 13 без отхода от объема изобретения, как, например, посредством сначала вычисления всего дескриптора V и затем перехода к квантованию, чтобы генерировать квантованный дескриптор

Таким образом, результирующий дескриптор кодирует различающую информацию Н способом, который дает более высокую точность представления для тех частей из Н или тех элементов V, которые могут быть более важными в установке или верификации визуальных соответствий.

Хотя аспекты и варианты осуществления настоящего изобретения представлены подробно для вычисления устойчивых, различающих, масштабируемых и компактных дескрипторов изображения из дескриптора изображения SIFT, как проиллюстрировано на фиг. 4, изобретение применимо к другим дескрипторам изображения на основе гистограмм градиентов. Например, фиг. 14 иллюстрирует обработку основанного на гистограмме градиентов дескриптора с использованием логарифмического полярного пространственного разделения посредством преобразования каждой из его гистограмм градиентов с использованием набора функций преобразования, который демонстрирует различия в наборах функций преобразования, используемых в обработке его соседних гистограмм градиентов, способом, аналогичным четвертому варианту осуществления изобретения, и где символы А, В, и С на фиг. 14 соответствуют упомянутым наборам функций преобразования. В качестве другого примера для гистограммы градиентов на основе разделения 2-мерного пространства составляющих х и y градиентов в компоненты, как проиллюстрировано на фиг. 15, одним подходящим набором функций преобразования образом, аналогичным предыдущим вариантам осуществления изобретения, является

Дополнительно, изобретение также применимо к подходящим образом обработанным основанным на гистограмме градиентов дескрипторам изображения. Такая подходящая обработка может предусматривать, например, комбинирование гистограмм градиентов подобластей до обработки согласно изобретению.

Только для иллюстративных целей, как показано на фиг. 4а, для дескриптора H гистограммы градиентов, содержащего гистограммы h_p подобластей, где р=0…15, гистограммы, где р=0, 1, 4, 5, могут комбинироваться в одиночную гистограмму подобласти посредством усреднения их значений компонент, и аналогичное комбинирование может выполняться для гистограмм, где р=2, 3, 6, 7 и р=8, 9, 12, 13 и р=10, 11, 14, 15, что дает результатом дескриптор гистограммы градиентов с уменьшенной размерностью, который может затем обрабатываться согласно любому предыдущему варианту осуществления изобретения. Гистограммы градиентов также могут комбинироваться посредством альтернативной функции их значений компонент, как, например, суммирования.

Альтернативно или в дополнение такая подходящая обработка может предусматривать, например, объединение компонент внутри гистограмм градиентов подобластей. Для иллюстративных целей, как показано на фиг. 4b, для гистограммы h, градиентов соседние компоненты могут объединяться в одиночную компоненту посредством усреднения или сложения или взятия медианы или любой подходящей функции, что дает результатом дескриптор гистограммы градиентов с уменьшенной размерностью, который может затем обрабатываться согласно любому предыдущему варианту осуществления изобретения.

Только в качестве примера фиг. 16 иллюстрирует концептуальное устройство обработки для выполнения способа согласно настоящему изобретению. Более конкретно устройство 1100 обработки принимает ввод, который может содержать визуальные данные, такие как данные изображения или видео, предварительно вычисленные дескрипторы на основе гистограмм градиентов, предварительно вычисленные компактные дескрипторы согласно способу настоящего изобретения, программные инструкции, или пользовательский ввод, из устройства 1000 ввода, которое может принимать форму пользовательского устройства ввода, считывателя мультимедиа, или приемника переданных сигналов. Устройство 1100 обработки содержит основные блоки обработки центрального обрабатывающего устройства 1110, которое управляет операциями других блоков обработки, энергозависимую память 1120, энергонезависимую память 1130, необязательно блок 1140 модуля извлечения дескрипторов, сконфигурированный с возможностью генерировать дескрипторы на основе гистограмм градиентов, блок 1150 модуля извлечения компактных дескрипторов, сконфигурированный с возможностью выполнять способ согласно настоящему изобретению, и необязательно блок 1160 процессора компактных дескрипторов, сконфигурированный с возможностью обрабатывать упомянутые компактные дескрипторы, например, чтобы устанавливать или верифицировать визуальные соответствия. Устройство 1100 обработки соединено с устройством 1900 вывода, которое может принимать форму блока визуального отображения, устройства записи мультимедиа, или передатчика сигналов, которое обеспечивает вывод, который может содержать аннотированные визуальные данные, такие как данные изображения или видео, информацию обработки, такую как установленные или верифицированные визуальные соответствия, или вычисленные компактные дескрипторы согласно способу настоящего изобретения. Следует понимать, что блоки обработки и архитектура, показанные на фиг. 16, являются только концептуальными и могут не соответствовать точно каждому устройству, осуществляющему способ согласно изобретению.

Способ для преобразования дескриптора изображения на основе гистограммы градиентов и соответствующее устройство обработки изображений, здесь описанные в качестве примера, могут подвергаться многим возможным изменениям без отхода от новой сущности изобретательской идеи; также должно быть ясно, что в практическом варианте осуществления изобретения проиллюстрированные детали могут иметь разные формы или быть заменены на другие технически эквивалентные элементы.

Поэтому должно быть легко понятно, что настоящее изобретение не ограничено способом для преобразования дескриптора изображения на основе гистограммы градиентов и соответствующим устройством обработки изображений, но может подвергаться многим модификациям, улучшениям или заменам эквивалентных частей и элементов без отхода от изобретательской идеи, как явным образом определено в последующей формуле изобретения.

1. Способ для преобразования дескриптора изображения в преобразованный дескриптор изображения, причем способ содержит этапы, на которых:

принимают дескриптор изображения на основе гистограммы (h) градиентов, причем гистограмма градиентов содержит множество компонент (h_i) гистограммы, содержащих первый набор значений, которые вычисляются в выборочных точках изображения в области около ключевой точки изображения и суммируются в гистограммы ориентаций, суммирующие содержание по подобластям изображения;

применяют, по меньшей мере, один критерий местоположения упомянутых компонент гистограммы для преобразования упомянутой гистограммы градиентов, причем упомянутый критерий местоположения предоставляется для вычисления второго набора значений, представляющих выборочные точки изображения около упомянутой ключевой точки изображения, извлеченной из компонент гистограммы градиентов, которые демонстрируют множество угловых расстояний;

генерируют преобразованный дескриптор изображения, содержащий упомянутый второй набор значений.

2. Способ по п. 1, в котором, по меньшей мере, одно из упомянутых вторых значений (v_j) вычисляется на основе смежных компонент (h_i) гистограммы.

3. Способ по п. 1, в котором упомянутые вторые значения (v_j) индивидуально квантуются во множество уровней (q), при этом упомянутое множество уровней может быть одним и тем же для каждого значения (v_j) или может быть разным для, по меньшей мере, двух значений (v_j).

4. Способ по п. 1, в котором упомянутые вторые значения (v_j) вычисляются согласно одной или более из следующих операций: суммы или разности между компонентами (h_i) гистограммы; разности между суммами компонент (h_i) гистограммы; линейные или нелинейные операции между компонентами (h_i) гистограмм; отношения между компонентами (h_i) гистограммы; отношения между суммами компонент (h_i) гистограммы; отношения между произведениями компонент (h_i) гистограммы; разности между произведениями компонент (h_i) гистограммы.

5. Способ по п. 1, в котором упомянутая гистограмма (h) градиентов имеет размерность первого количества (n) элементов при этом упомянутый набор вторых значений (v_j) имеет размерность второго количества (k) элементов, и упомянутое первое количество (n) элементов равняется упомянутому второму количеству (k) элементов.

6. Способ по п. 1, в котором упомянутая гистограмма (h) градиентов имеет размерность первого количества (n) элементов, при этом упомянутый набор вторых значений (v_j) имеет размерность второго количества (k) элементов, и упомянутое первое количество (n) элементов больше, чем упомянутое второе количество (k) элементов.

7. Способ по п. 1, в котором упомянутая гистограмма (h) градиентов имеет размерность первого количества (n) элементов, упомянутый набор значений (v_j) имеет размерность второго количества (k) элементов и упомянутое первое количество (n) элементов меньше, чем упомянутое второе количество (k) элементов.

8. Способ для преобразования дескриптора (Н) изображения в преобразованный дескриптор (V) изображения, причем способ содержит этапы, на которых:

принимают дескриптор изображения на основе множества гистограмм градиентов, причем каждая из упомянутого множества гистограмм (h_p) градиентов относится к подобласти (SR) локальной области (R) около ключевой точки (KP) изображения;

преобразуют каждую из упомянутых гистограмм градиентов, содержащих множество компонент (h_i) гистограммы, во множество преобразованных компонент гистограммы градиентов согласно способу по п. 1.

9. Способ по п. 8, в котором, по меньшей мере, одна гистограмма градиентов подобласти преобразовывается отлично от других гистограмм градиентов подобластей.

10. Способ по п. 9, в котором множество гистограмм градиентов подобластей комбинируются в одиночную гистограмму подобласти, в частности, посредством суммирования или усреднения их значений компонент.

11. Способ по п. 9, в котором операции, применяемые, чтобы получать упомянутую, по меньшей мере, одну преобразованную гистограмму градиентов подобласти, отличаются по меньшей мере частично от операций, применяемых, чтобы получать преобразованные гистограммы градиентов подобластей, по меньшей мере, одной из ее соседних подобластей.

12. Способ по п. 9, в котором упомянутая, по меньшей мере, одна преобразованная гистограмма градиентов подобласти содержит другое количество элементов, чем преобразованные гистограммы градиентов подобластей по меньшей мере одной из ее соседних подобластей.

13. Способ по п. 12, в котором преобразованные гистограммы градиентов подобластей по отношению к подобластям (SR_c), непосредственно окружающим упомянутую ключевую точку (KP) изображения, содержат больше элементов (k_c), чем элементов (k_b) преобразованных гистограмм градиентов оставшихся подобластей (SR_b).

14. Способ по п. 13, в котором элементы упомянутых преобразованных гистограмм градиентов подобластей (SR_c), непосредственно окружающих упомянутую ключевую точку (KP) изображения, квантуются с количеством уровней (q_c), которое больше, чем количество уровней (q_b), с которыми квантуются преобразованные гистограммы градиентов оставшихся подобластей (SR_b).

15. Способ по п. 14, в котором упомянутое квантование применяется только к конкретным элементам упомянутых гистограмм градиентов подобластей.

16. Способ по п. 8, в котором упомянутый преобразованный дескриптор (V) изображения подвергается обработке квантования, чтобы генерировать квантованный преобразованный дескриптор (V,^~) изображения.

17. Устройство обработки изображений для преобразования, по меньшей мере, одного дескриптора изображения в преобразованный дескриптор изображения, причем устройство обработки изображений содержит:

память для хранения данных изображения, содержащих, по меньшей мере, один дескриптор изображения на основе гистограммы градиентов, содержащей множество компонент гистограммы, содержащих первый набор значений, вычисленных в выборочных точках изображения в области около ключевой точки изображения и просуммированных в гистограммы ориентаций, суммирующие содержание по подобластям изображения;

блок обработки, функционально соединенный с упомянутой памятью и выполненный с возможностью:

применять, по меньшей мере, один критерий местоположения упомянутых компонент гистограммы для преобразования по меньшей мере одной из упомянутых гистограмм градиентов, причем упомянутый критерий местоположения предоставляется для вычисления второго набора значений, представляющих выборочные точки изображения около упомянутой ключевой точки изображения, извлеченной из компонент гистограммы градиентов, которые демонстрируют множество угловых расстояний;

генерировать преобразованный дескриптор изображения, содержащий упомянутый второй набор значений.