Способ и устройство многоканального детектирования признаков изображения

Изобретение относится к устройствам и системам для машинного зрения, обнаружения признаков изображения, а также к приложениям и методике распознавания изображения. Технический результат заключается в снижении потерь информации об изображении за счет использования данных спектра полного изображения путем преобразования изображения в одноканальное представление на промежуточной стадии. Технический результат достигается за счет способа, который включает выполнение локального поиска локального оптимального цвета в локальном окружении многоканального изображения, проецирование локальным окружением многоканального изображения на одноканальное основание и применение одноканального детектора к этому спроецированному локальному окружению. 4 н.п. ф-лы, 18 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Раскрытая технология относится к схемам и системам и, более конкретно, к устройствам и системам для машинного зрения, обнаружения признаков изображения, а также к приложениям и методике распознавания изображения.

Мобильная дополненная реальность (MAR) является важной технологией для сегодняшних компьютеров, смартфонов, игровых консолей и домашних систем развлечения. Некоторые примеры приложений, которые основаны на MAR, включают сцены аннотирования (например, виртуальный туризм), идентификацию объектов (например, посещение магазина) и распознавание жестов, управляющих видеоиграми или телевидением. Процесс распознавания изображения обычно включает: (1) идентификацию признаков изображения или точек интереса и (2) сравнение этих признаков изображения из запроса или целевого изображения с признаками из базы данных изображений. Успешная реализация MAR обычно требует, чтобы ключевые признаки изображения были достоверно обнаружены при ряде условий, включая масштабирование изображения, поворот, смещение, изменения интенсивности и отображения шума.

Примеры точек интереса и признаков изображения включают следующее: края, блобы (например, области изображения, у которых нет никакой внутренней структуры), гребни (например, линейно расширяемые блобы), блобы пространства масштаба, углы, кресты и переходы областей, краев и гребней. Современные детекторы признаков используют инварианты уровня яркости или некоторые фотометрические инварианты, основанные на эмуляции человеческого зрения или некоторой цветовой модели, такой как гауссов подход или коэффициент Кубелки-Мунка, или другой фотометрический подход. Имеются случаи, где "изображение" является рядом каналов, который не может непосредственно представлять человеческий "цвет". Например, на фигуре 1 показаны полутоновые, цветные и спектрозональные (с условным отображением канала к цвету) изображения.

На фигуре 2 представлен пример спектрозонального изображение Аризонского лесного пожара из снимков усовершенствованного космического теплоэмиссионного и отражательного радиометра (АСТРА) в Галерее лаборатории реактивного движения. В этом примере изображения в RGB на левых полосах 3, 2, и 1 отображают растительность красным цветом. Большая темная область представляет горелый лес, и небольшие облака дыма видны на краях, где имеет место активное возгорание. Изображение справа заменяет полоса 8 коротковолнового инфракрасного излучения (SWIR) для полосы 3. Яркие красные пятна представляют активный огонь, который является видимым, потому что при длине волны SWIR имеется возможность проникновения света через дым.

Кроме того, в существующих системах, каналы могут быть отображены не только по интенсивности микроволнового канала, но и по каналу радара/лазерного локатора (например, с доплеровским сдвигом частоты) или по сверхзвуковому каналу дальномера или Z-датчиков различного типа. Например, на фигуре 3 показан пример карты глубины датчика Microsoft Kinect Z-sensor. Однако фотометрические подходы не годятся для типов каналов, обсужденных выше, потому что диапазон и значения распределения скорости существенно отличаются от распределения спектральной мощности видимого электромагнитного поля.

Например, современные методики, такие как SURF and SIFT, используют преобразование многоканального (например, цветного) входного изображения в одноканальный (например, полутоновый) входного изображения как необходимую предварительную стадию, теряя, таким образом, существенную информацию об изображении. Хотя некоторые современные методики пытаются использовать карту цветов изображения, такие методы не в состоянии использовать данные спектра полного изображения путем преобразования изображения в "специальное" одноканальное представление на некоторой промежуточной стадии, или попыткой локализовать признаки изображения некоторой глобальной мерой значения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты воплощения раскрытой технологии иллюстрируются посредством примера, без ограничения изобретения, на чертежах, на которых одинаковые цифровые позиции относятся к одинаковым элементам.

Фигура 1 - шкала полутонов, цветные и спектрозональные (с условным отображением канала к цвету) изображения.

Фигура 2 - пример спектрозональные изображение Аризонского лесного пожара, полученного из усовершенствованного космического теплоэмиссионного и отражательного радиометра (АСТРА) со снимка, представленного в Галерее лаборатории реактивного движения.

Фигура 3 - пример карты глубины датчика Microsoft Kinect Z-sensor.

На фигуре 4 показаны различные представления одноканального изображения, в котором расцвечивание полутонового изображения не дает дополнительной информации.

На фигуре 5 показано эквивалентное преобразование цветового пространства, в котором цвета поворачиваются на $$\frac{11}{16}\pi$$ вокруг RGB-вектора {5, -7, 3}.

Фигура 6 - пример теста Эйлера, в котором переход к полутонам уничтожает признаки изображения.

Фигура 7 - пример теста на дальтонизм.

Фигура 8 - детерминант, основанный на реакции и гессенского детектора для теста на дальтонизм, показанного на фигуре 7.

На фигуре 9 показан слабоинтенсивный блоб в некотором канале, расположенном в сильноинтенсивной седловой точке в другом канале.

На фигуре 10 показан отклик текущего, то есть существующего многоканального детектора для различных масштабов, в которых нет никакого отклика для блоба.

На фигуре 11 показан отклик одноканального детектора для различных масштабов, в которых классический детектор обнаруживает блоб крупного масштаба.

На фигуре 12 показан пример, демонстрирующий, как многоканальный детектор может получить преимущество по сравнению с одноканальным детектором.

На фигуре 13 показан отклик многоканального детектора на блоб в сцене седловой точки для различных масштабов, в которых блоб распознается в седловой точке.

На фигуре 14 показан цветной отклик многоканального детектора на тест на дальтонизм для различных масштабов.

На фигуре 15 показан пример выхода колоршифта для тестовых изображений, в которых не распознаются все блобы, и тест на дальтонизм не проводился.

На фигуре 16 показан пример цветного выхода детектора Харриса для тестовых изображений, в которых тест Эйлера не проводился.

На фигуре 17 показан пример усиленного цветного выхода детектора Харриса для тестовых изображений, в которых тест Эйлера также не проводился.

На фигуре 18 показан пример системы, в которой могут быть выполнены варианты воплощения раскрытой технологии.

ПОДРОБНОЕ ОПИСАНИЕ

Во многих известных алгоритмах машинного зрения для обнаружения признаков изображения используют яркость только определенной цветовой модели. Хотя во многих случаях эти способы могут быть эффективными, можно показать, что такие преобразования информации о полном изображении уменьшают эффективность обнаружения из-за вызванных этим способом ограничений.

Варианты воплощения раскрытой технологии включают реализацию формального подхода к конструкции многоканального детектора в точке интереса для произвольного числа каналов, независимо от природы данных с максимальными преимуществами, которые могут быть достигнуты при использовании информации от этих дополнительных каналов. Некоторые реализации могут быть упомянуты здесь как универсальный устойчивый многоканальный детектор признаков (GRoM), который основан на описанных здесь методиках и включает ряд иллюстративных примеров, чтобы выделить его отличие от существующих способов.

Преобразуя многоканальное изображение в одноканальное изображение, можно получить хорошие результаты в естественных изображениях. Однако здесь могут быть точки интереса, скрытые от такого детектора из-за присущего ему дальтонизма. Например, современные способы объединения компонентов цвета имеют тенденцию терять значительную часть информации от источника после изменения масштабов и смещений каналов в изображении. Применение раскрываемой здесь технологии помогает избежать таких недостатков, идентифицируя точки интереса, как в пространственных, так и в спектральных областях, и используя информацию от всех компонентов цвета. Это приводит к значительно более высокой производительности, особенно в синергетических тестах. Например, на фигуре 6 (обсуждаемой ниже) показана схема Эйлера-Венна, которая является тестом для обнаружения пересечений блоба. Такие подходы могут использоваться не только в визуальных изображениях с тремя каналами, но также и в изображениях большого размера, и в изображениях от произвольных источников, включая карты глубины, доплеровские сдвиги и плотность заселенности.

В дополнение к местоположению точек интереса блоба описанные здесь методики могут быть расширены для любого числа типов, например, таких как края и гребни. В таких случаях может быть применена соответствующая модификация к условию цветового подпространства.

Многоканальные особенности детектора точек интереса

А. Общие требования

В этом разделе определены общие требования для идеальных универсальных детекторов точки интереса и для многоканальных детекторов, особенно с целью расширения известных алгоритмов одноканального детектора.

(1) Тривиальное изображение

Для тривиального изображения (например, постоянного изображения), где величины изображения не зависят от пространственных координат, набор точек интереса, обнаруженных детектором φ, должен быть пустым:

∀(x,y):I(x,y)=const⇒φ(I)≡Ø

Тривиальные каналы могут быть легко удалены в многоканальном изображении, как в случае удаления неиспользованного (например, постоянного) α-канала в α-изображении RGB.

2) Контрастная инвариантность

Предположим, что нетривиальное изображение J является результатом равномерного масштабирования и преобразования смещения значений нетривиального изображения I:

∃c,k≠0: J(x,y)=kI(x,y)+c

Если детектор φ обнаруживает точки интереса Р в изображении I, тот же самый набор должен быть обнаружен в J:

∀c,k≠Q⇒φ(I)≡φ(c+kI)

3) Совместимость представлений одноканального изображения

Представим многоканальное изображение J={J1, J2 …, JN}, как карту нетривиального одноканального изображения каналов от 1 до N с его собственным однородным масштабированием, и сместим преобразование для каждого канала, где существует, по меньшей мере, один нетривиальный канал. Например, на фигуре 4 показаны различные представления одноканального изображения, в котором расцвечивание полутонового изображения не дает дополнительной информации.

Наборы точек интереса, найденных одноканальным детектором φ₁ в изображении I и многоканальным детектором φ_N в многоканальном изображении J, то есть репликация изображения I, должны быть эквивалентными:

∀(i,x,y)∃ k_i≠0: J_i(x,y)=c_i+k_iI(x,y)⇒φ₁(I)≡φ_N(J)

Для данного представления изображения подобные детекторы должны привести к тому же результату без "фантомных" обнаружений в эквивалентном многоканальном изображении. Тесты детектора белого поля позволят проверять на дефекты такого типа. Эквивалентность одноканальных и многоканальных изображений с точки зрения детектора признаков позволит сократить количество линейно зависимых каналов.

4) Неисключительная инвариантность преобразования канала

Представим, что изображение J={J1, J2, …, JM} М-каналов является преобразованием изображения N-каналов I={I1, I2, …, В} к основе нового канала (например, "цвет"), используя матрицы преобразования канала K_M,N=(ki_,j) и вектор смещения канала c_M=(c_i):

$$\forall \left(i=1\dots M,x,y\right):J_i(x,y)=c_i+{\displaystyle \sum _{j=1}^N{k}_{i,j}{I}_j\left(x,y\right)}$$

Например, на фигуре 5 показано эквивалентное преобразование цветового пространства, в котором цвета поворачиваются на $$\frac{11}{16}\pi$$ вокруг RGB-вектора {5, -7, 3}.

Если показатель (КМ, _N)=N и, таким образом, преобразование является обратимым, то наборы точек интереса, обнаруженных в изображениях I и J, должны быть эквивалентны:

rank(K_M,N)=N⇒φ_N(I)≡φ_M(J)

Если М>N, то изображение J имеет линейно зависимые каналы. Для каждого изображения с линейно зависимыми каналами существует преобразование, которое формирует изображение с линейно-независимыми каналами (например, сокращение до линейно независимой основы каналов). Предположение, что объединение наборов точек интереса, обнаруженных одноканальным детектором во всех каналах, является надмножеством или эквивалентно множеству точек, обнаруженных многоканальным детектором, не является истиной, как это показано на следующем примере.

На фигуре 6 представлен пример схемы Эйлера-Венна, в которой переход к полутонам уничтожает признаки изображения. Детектор края может обнаружить все края в данном изображении. Объединение всех наборов краев каналов эквивалентно набору краев для полноцветного детектора. Но детекторы блоба канала могут найти эти точки интереса только в его "собственном" наборе канала и не может найти блобы во всех пересечениях и объединениях производных. Только "синергетический" детектор, который использует информацию от различных каналов, может обнаружить все такие точки интереса.

Хотя некоторое основанное на цвете преобразование может отобразить все подмножества (например, основной набор, пересечения и объединения) этой схемы к новому цветовому фону, где каждое подмножество "цвета" отображается в его собственном канале, объединение наборов точек интереса, обнаруженных одноканальными детекторами отдельно в каждом новом канале, в этом простом случае эквивалентно целому многоканальному набору точек интереса.

5) Преобразования к сокращенному основанию

Преобразование каналов с показателем (K_{M, N})<N не эквивалентно начальному изображению с точки зрения детектора. Начальное изображение может иметь точки интереса, которые могут быть найдены в каналах, которые являются ортогональными к новому основанию. Это может упоминаться как эффект "дальтонизма". На фигуре 7 показан пример теста на дальтонизм, а на фигуре 8 показан детерминант основанного на гессенском отклике детектора для теста на дальтонизм, показанного на фигуре 7. На фигуре 8 показано, что цветной узор не распознается в шкале полутонов.

6) Критерии фрагментации

Если изображение разделяется на фрагменты пространственной области, то объединение наборов обнаруженных фрагментов точек интереса должно быть подмножеством набора обнаруженных точек интереса целого изображения.

Фрагменты изображения могут использовать уникальные преобразования каналов, которые подчеркивают обнаружение точки интереса по сравнению с целым изображением. Если точка интереса находится в таком улучшенном фрагменте, то эта точка должна быть найдена также в целом изображении. Оценки детектора точки интереса (например, обнаружение улучшений) должны быть локальными в пространстве. Например, если флэш-память камеры используется для некоторого изображения, то контрастность, яркость и световой спектр отличались бы для дальних объектов и близких объектов. Соответственно, глобальная статистика канала в этом случае обычно не является достоверной.

В. Современные детекторы признаков изображения

Алгоритмы для обнаружения точки интереса обычно применяют свертку с доменным пространством ядер фильтра и затем анализируют полученные отклики как скалярные величины, вычисляя градиенты, операторы Лапласа или находя локальные максимальные величины.

Преобразование откликов цвета в скалярные величины для цветных изображений в детекторах может иметь множество недостатков, как объяснено ниже. Относительно теста на дальтонизм (см., например, фигуры 7 и 8 выше), шифт-детектора (например, используя разницу гауссиан или аппроксимацию LoG, вычисление лапласиан с гауссианами) и детектор движения (например, используя гессенский алгоритм) используют только скалярные величины. Цветное изображение преобразуется в шкалу полутонов до обработки изображения SIFT или SURF. Эти алгоритмы не могут обнаружить точки интереса в тестовых изображениях на дальтонизм, таких как показанные на фигурах 7 и 8.

Многоканальный детектор, основанный на позитивных правилах для определяющих гессенских значений, изменяет скалярные величины со скалярным продуктом векторов величин в каналах. Из-за использования дифференциальных операторов этот подход является инвариантным к постоянным компонентам в сигналах из различных каналов. Но он не является инвариантным к диапазону величин в каналах.

Чтобы продемонстрировать недостаток этого принципа, можно взять специальное цветное изображение, такое как слабоинтенсивный блоб в некотором канале, расположенном в сильноинтенсивной седловой точке в другом канале, как показано в примере на фигуре 9. На фигуре 9 показан слабый зеленый блоб и сильное асимметричное красное седло: два коррелированных признака изображения. Известный многоканальный детектор не может распознать эту функцию (например, слабый блоб), но его одноканальный аналог может. Для RGB-примера текущий детектор приводит к следующему выражению:

$$<\left(\begin{array}{c}{L}_{x,x}^R\\ L_{x,x}^G\\ L_{x,x}^B\end{array}\right),\left(\begin{array}{c}{L}_{y,y}^R\\ L_{y,y}^G\\ L_{y,y}^B\end{array}\right)>-<\left(\begin{array}{c}{L}_{x,y}^R\\ L_{x,y}^G\\ L_{x,y}^B\end{array}\right),\left(\begin{array}{c}{L}_{x,y}^R\\ L_{x,y}^G\\ L_{x,y}^B\end{array}\right)>={\displaystyle \sum _1\left(L_{x,x}^1\cdot L_{y,y}^1-L_{x,y}^1\cdot L_{x,y}^1\right)}$$

Это выражение имеет сильные компоненты L_x,_у, которые соответствуют седловой точке. Они подавляют слабые положительные величины, соответствующие блобу, и результатом является отрицательная величина. Но детектор, основанный на гессенской детерминанте, ищет только положительные величины. Классический основанный на интенсивности одноканальный детектор может распознать эти признаки. Например, на фигуре 10 показан отклик текущего многоканального детектора для различных масштабов, в которых нет никакого отклика для блоба. на фигуре 11 показан отклик одноканального детектора для различных масштабов, в которых классический детектор обнаруживает блоб в крупном масштабе. Соответственно, этот многоканальный детектор ненадежен.

Другие современные детекторы вычисляют многоканальные гессенские компоненты независимо для каждого канала. При таком подходе к изображению применяются операции свертки, сопровождаемые производной Гауссова ядра. Из-за линейности этой операции это эквивалентно линейной комбинации каналов изображения. Следовательно, такой подход потенциально связан с дальтонизмом. Другими словами, существуют изображения, которые могут ухудшиться в постоянной области из-за этой линейной комбинации. Кроме того, для этих типов изображений должны быть линейные комбинации, которые позволяют распознавать потерянные признаки.

УНИВЕРСАЛЬНЫЙ УСТОЙЧИВЫЙ МНОГОКАНАЛЬНЫЙ (GRoM) ДЕТЕКТОР ПРИЗНАКОВ ИЗОБРАЖЕНИЯ

Возможные сдвиги сигнала требуют использования дифференциальных способов детектирования. Масштабирование сигналов, возможно с инверсией, ограничивает использование абсолютных порогов. Использование поиска локальных экстремальных значений является предпочтительным. Испытание слабого блоба, расположенного в сильном седле (см., например, фигуру 9 и приведенное выше описание), демонстрирует, что нет никакой универсальной цветовой модели, которая позволяет отличить такую точку интереса. Поэтому для каждой точки интереса должен быть выполнен локальный поиск (например, в соответствии с требованием (6) выше) в компонентах канала, чтобы найти оптимальный "цвет" для точки интереса. Задача многоканального обнаружения может быть сведена к следующему: поиск "локального оптимального цвета" (например, точное решение проблемы максимизации), преобразование локального окружения из многоканального изображения до одноканального основания, и применение одноканального детектора в локальном окружении.

"Цвет" относится к вектору, который определяет проекцию величин канала к одиночному каналу (например, преобразование в шкалу полутонов). Одноканальная функция отклика детектора определяет способ для оптимального (или "дифференциального" для приблизительного (субоптимального) решения поиска) выбора "цвета". Вычисление матрицы Гесса величин канала, связанных с Гауссовым ядром, которое было преобразовано в некоторый "лучший цвет блоба", собственные величины λ₁ и λ₂ такой матрицы Гесса Н для блоба должны быть оба положительными (или оба отрицательными, поскольку указатель направления не является существенным) и отношение разницы характеристического числа к сумме собственных величин (Tr(Н)), должно быть как можно меньше (например, наиболее симметричный блоб). Это отношение может быть эквивалентом эксцентриситета конической секции ∈ (например, по сравнению с "округлостью блоба" $$q=\frac{4Det\left(H\right)}{Tr{\left(H\right)}^2}$$ ).

Величина эксцентричности ∈ может помочь классифицировать текущую точку: блоб (∈<1), гребень (∈=1) или седловая точка (∈>1). Критерии обнаружения блоба в этой точке являются локальным максимумом лапласиан (Tr(Н)) многоканальных "цветных" проекций к выбранному "лучшему цветному" вектору. В некоторых вариантах воплощения алгоритм на основе GRoM для детектора блоба показан ниже как Алгоритм 1, где "лучшим цветом блоба" и является лапласиан, чьи компоненты без двоичных компонентов подавляются фактором эксцентриситета:

Алгоритм 1 - алгоритм GRoM

1. Вычислить "локальный" дифференциальный цвет

1.1. Вычислить тензор Гесса в точке (x₀,y₀):

$$H=\left(\begin{array}{c}{L}_{x,x}\left(x_0,y_0\right)L_{x,y}\left(x_0,y_0\right)\\ L_{x,x}\left(x_0,y_0\right)L_{x,y}\left(x_0,y_0\right)\end{array}\right)$$

1.2. Вычислить "лучший цвет блоба":

$$u={\left(-\mathrm{sgn}\left(L_i\right)\cdot \mathrm{Re}\sqrt{\det H_i}\right)}_{i=0}^{n-1}$$

где H_i и L_i обозначает соответственно гессиан и лапласиан в некоторой точке (x, y), вычисленной только в канале i-th.

2. Тест для экстремальной точки в (x₀,y₀) (как максимальная проекция к u):

∀(x_i,y_i)∈neighborhood of(x₀,y₀):

〈u,L_x,x(x₀,y₀)+L_y,y(x₀,y₀)〉> 〈u,L_x,x(x_i,y_i)+L_y,y(x_i,y_i)〉

Возможности многоканального детектора, основанного на матрице Лапласа, могут быть продемонстрированы в синергетическом тесте. Многоканальное изображение имеет пересекающиеся блобы в различных каналах. Это пересечение создает новый признак в изображении. Можно преобразовать изображение из RGB в градации серого: например, 30% красного, 59% зеленого и 11% синего. Однако, как следует из схемы Эйлера-Венна на фигуре 6, такое преобразование приводит к потере большой части информации, и черный цвет кодирует 11% начальной интенсивности. Многоканальный детектор в состоянии распознать больше признаков изображения, чем одноканальный конкурент, как можно видеть из фигуры 12, например. Этот тест показывает, что если используется вырожденная матрица от начального цветового пространства до градации серого, то признаки одноканального детектора не будут распознаны в преобразованном изображении.

В противоположность этому, варианты воплощения раскрытой здесь технологии могут включать детектор, который в состоянии обнаружить все точки интереса в изображении на фигуре 6, например, так же как слабый блоб на фигуре 9 (см., например, фигуру 13). Такой детектор также успешно выдерживает тест на дальтонизм (см., например, отклики детектора, показанные на фигуре 14). Детектор признаков изображения GRoM, как описано здесь, не является "еще одним детектором цвета блоба", но, скорее способом разработки многоканального детектора. В некоторых вариантах воплощения детектор признаков изображения GRoM может использовать другой "лучший цветной" алгоритм поиска для максимизации отклика детектора Харриса-Стивенса R=Det(H)-k Tr(H), например.

Некоторые классические подходы к детектору признаков изображения включают определение признаков изображения как триплета (x, y, σ), где x и y являются пространственными координатами и σ является масштабом. Для этого триплета признаки, расположенные в (x, y), имеют максимальную величину значащей меры среди всех точек ее окружения Sσ (x, y). Значащая мера "скручивает" векторную информацию о цвете в скаляр. Кроме того, поскольку этой мерой является глобальная переменная, она не зависит от точки (x, y). Некоторые варианты воплощения раскрытой технологии могут включать определение признака изображения как тетраду (x, y, σ, v), где v является "локальным" цветом признака, расположенного в точке (x, y), причем v может быть выбран так, чтобы сделать меру, имеющую максимум в (x, y) наборе S_σ,v (x, y) и полутоновое окружение, S_σ,v (x, y), которое может быть выдано, когда оно проецирует цвета точек от Sσ (x, y) на v.

Классический бесцветный подход к проблеме должен определить признак изображения как точку, которая доминирует в ее полутоновом окружении, как некоторая скалярная мера. Тогда как последние подходы пытаются определить признак изображения как точку, которая доминирует в ее цветовом окружении, той же скалярной мерой, варианты воплощения раскрытой технологии могут включать определение признака изображения как точки, которая доминирует в ее цветовом окружении, спроецированную на ее "локальную" полутоновую плоскость в цветовом пространстве скалярной мерой. Определяя признак изображения таким образом, он становится "исходно" многоканальным (например, цветным), и соответствующий детектор признаков в состоянии использовать информацию о полном изображении и определить местоположение большего количества признаков изображения, чем современные детекторы.

НЕДОСТАТКИ ИЗВЕСТНЫХ ДЕТЕКТОРОВ ПРИЗНАКОВ ИЗОБРАЖЕНИЯ, КОТОРЫЕ УСТРАНЯЮТСЯ РАСКРЫТОЙ ТЕХНОЛОГИЕЙ

В отличие от известных цветных детекторов, таких как «колоршифт» и детекторы цвета Харриса, например, детектор признаков изображения GRoM в соответствии с раскрытой здесь технологией хорошо работает с тестовыми изображениями, такими как слабоинтенсивный блоб в сильноинтенсивном седле (см., например, фигуру 9), в схеме Эйлера-Венна (см., например, фигуру 6) и в тесте на дальтонизм (см., например, фигуру 7), как обсуждено выше.

Детектор колоршифт является детектором блобов. На фигуре 15, на который используется обозначение визуализации колоршифт для точек интереса, показан пример выхода колоршифт для тестовых изображений, в которых не распознаются все блобы, а тест на дальтонизм не проводился. Следовательно, детектор колоршифт не удовлетворяет ни одному из контрольных примеров.

Детектор цвета Харриса является угловым детектором. Есть два варианта детектора цвета Харриса: классический и усиленный. На фигуре 16 показан примерный выход детектора цвета Харриса для тестовых изображений, в которых не выполняется тест Эйлера. На фигуре 16 можно видеть, что хотя детектор может хорошо работать с седлом и в тесте на дальтонизмом благодаря угловому обнаружению блоба, он не работает со схемой Эйлера-Венна. Усиленный детектор цвета Харриса демонстрирует то же самое поведение и имеет те же недостатки, как это можно видеть на фигуре 17.

На фигуре 18 показан пример системы 1800, в которой могут быть выполнены варианты воплощения раскрытой технологии. Система 1800 может включать, без ограничения, вычислительное устройство, такое как ноутбук, мобильное устройство, такое как карманный или планшетный компьютер, или коммуникационное устройство, такое как смартфон. Система 1800 включает корпус 1802, дисплей 1804 в корпусе 1802, камера 1806 в корпусе 1802, процессор 1808 в корпусе 1802 и память 1810 в корпусе 1802. Процессор 1808 может включать видеопроцессор или другой тип процессора. Камера 1806 может обеспечить входное изображение, которое будет отправлено процессору 1808. Память 1810 может сохранять выходное изображение, которое поступает после обработки, выполняемой на входном изображении процессором 1808. Процессор 1808 может выполнить фактически любую комбинацию различных операций обработки описанных выше изображений.

Описанные здесь методики могут быть включены в различную аппаратную архитектуру. Например, варианты воплощения раскрытой технологии могут быть выполнены как одного или комбинации следующих технических решений: одного или нескольких микрокристаллов или интегральных схем, смонтированных на материнской плате, графического процессора и/или видеопроцессора, многоядерного процессора, жестко закодированной логики, программного обеспечения, сохраняемого запоминающим устройством и выполняемого микропроцессором, встроенного микропрограммного обеспечения, специализированной интегральной схемы (ASIC), и/или программируемого пользователем массива логических элементов (FPGA). Термин "логика", как он использующийся здесь, может включать, например, программное обеспечение, аппаратные средства или любую их комбинацию.

Хотя здесь были описаны и показаны на фигурах определенные варианты воплощения, обычные специалисты в данной области могут заменить определенные варианты воплощения, показанные и описанные здесь, большим разнообразием альтернативных и/или эквивалентных решений не выходя из объема вариантов воплощения раскрытой технологии. Настоящая заявка имеет целью покрыть любую адаптацию или изменения вариантов воплощения, иллюстрированных и описанных здесь. Поэтому предполагается, что варианты воплощения раскрытой технологии ограничиваются только следующими пунктами формулы изобретения и их эквивалентами.

1. Способ определения признака изображения в изображении как тетрады (х, y, σ, v), в котором х и y - пространственные координаты, σ - масштаб, a v является локальным цветом признака изображения, расположенного в точке (х, y), которая имеет максимум значащей меры в каждой точке ее цветового окружения Sσ, v (х, y); и
определения полутонового окружения Sσ, v (х, y), основанного на том, как полутоновое окружение проецирует цвета точек от Sσ (х, y) на v.

2. Энергонезависимый машиночитаемый носитель, сохраняющий команды, которые при выполнении их процессором, инициируют процессор на выполнение следующих операций:
определения признака изображения в изображении как тетрады (х, y, σ, v), в котором х и y - пространственные координаты, σ - масштаб, a v является локальным цветом признака изображения, расположенного в точке (х, y), которая имеет максимум значащей меры в каждой точке ее цветового окружения Sσ, v (х, y); и
определения полутонового окружения Sσ, v (х, y), основанного на том, как полутоновое окружение проецирует цвета точек от Sσ (х, y) на v.

3. Устройство определения признака изображения, содержащее:
входной порт, сконфигурированный для получения изображения; и
видеопроцессор, сконфигурированный для:
определения признака изображения в изображении как тетрады (х, y, σ, v), в котором х и y - пространственные координаты, σ - масштаб, a v является локальным цветом признака изображения, расположенного в точке (х, y), которая имеет максимум значащей меры в каждой точке ее цветового окружения Sσ, v (х, y); и
определения полутонового окружения Sσ, v (х, y), основанного на том, как полутоновое окружение проецирует цвета точек от Sσ (х, y) на v.

4. Переносное вычислительное устройство для определения признака изображения, содержащее:
корпус;
дисплей, связанный с корпусом;
камеру, связанную с корпусом;
память, расположенную в указанном корпусе; и
процессор, установленный в корпусе и предназначенный для:
определения признака изображения в изображении как тетрады (х, y, σ, v), в котором х и y - пространственные координаты, σ - масштаб, a v является локальным цветом признака изображения, расположенным в точке (х, y), которая имеет максимум значащей меры в каждой точке ее цветового окружения Sσ, v (х, y);
определения полутонового окружения Sσ, v (х, y), основанного на том, как полутоновое окружение проецирует цвета точек от Sσ (х, y) на v;
инициирования дисплея на визуальное представление выходного изображения, полученного из определения; и
передачи выходного изображения в память.