Распознающее устройство
Владельцы патента RU 2266565:
Открытое акционерное общество "Корпорация "Тактическое ракетное вооружение" (RU)
Изобретение относится к области вычислительной техники и может быть использовано для автоматического обнаружения и распознавания изображений и объектов в робототехнике, геологии, биологии, физике, медицине и т. д. Его применение позволяет получить технический результат в виде сокращения объема необходимых вычислений, а следовательно, сокращения времени распознавания и повышения быстродействия распознающего устройства. Этот результат достигается благодаря тому, что в известное распознающее устройство вводится когерентно-оптический процессор, позволяющий мгновенно обнаружить и выделить подозрительный фрагмент с искомым объектом (набором признаков) на входном изображении, определить его образ, масштаб и координаты. 2 ил.
Изобретение относится к области вычислительной техники и может быть использовано для автоматического обнаружения и распознавания изображений и объектов в робототехнике, геологии, биологии, физике, медицине и т.д.
Проблема распознавания образов (изображений) продолжает вызывать большой интерес инженеров и исследователей самых разных специальностей: радиоинженеров, физиков, геологов, биологов, медиков, разработчиков промышленных роботов, специалистов по космическим исследованиям и т.д. Наиболее актуальными и сложными по праву считаются задачи распознавания, связанные с анализом видеоизображений. Это объясняется, в частности, удобством представления различного рода информации в виде изображений и большой пропускной способностью двумерного видеоканала.
Наиболее распространенный подход к распознаванию образов заключается в установлении соответствия между текущим (вводимым) изображением и эталонным образом объекта, подлежащего обнаружению (распознаванию).
Известно распознающее устройство (Патент США №5061063 от 29 октября 1991 г. [Л.1]), содержащее акустооптический коррелятор (процессор), пороговые устройства и исполнительные блоки. Данное устройство распознает простые изображения, сравнивая их с заранее заданными (эталонными). Недостатком данного устройства является большая вероятность ложных тревог, особенно при распознавании сложных объектов, составляющих часть входного изображения.
Известно распознающее устройство (Патент США №6519352 от 11 февраля 2003 г. [Л.2]), содержащее электронную вычислительную машину с электрически последовательно соединенными: входной телевизионной камерой, видеобуфером, блоком выборки изображения и электронным процессором, а также электрически соединенными блоком памяти признаков объектов (фильтров) и блоком выборки фильтра, выход которого соединен со вторым входом электронного процессора, осуществляющего аутентификацию сигнала (распознавание) по указанному фильтром алгоритму. Скрытая в изображении (сигнале) информация может быть извлечена даже после изменения распространяемого сигнала алгоритмом сжатия с потерей данных. Аутентификация может быть проведена только лицом, имеющим ключ - набор признаков и правил, по которым производится идентификация изображения (сигнала). Для аутентификации необходимы программы поиска, алгоритмы которых в патенте не рассмотрены.
Недостатком данного устройства является низкая производительность, так как поиск зоны с известными (идентифицируемыми) признаками необходимо производить в огромном объеме всего входного сигнала (изображения). Еще хуже, когда поиск известных (идентифицируемых) признаков необходимо произвести в неограниченном объеме входной информации (например, среди текущих телевизионных изображений или множестве фотографий во всех иллюстрированных журналах). Ситуация становится совершенно катастрофической, когда имеется огромное число различных наборов (групп) признаков, по каждому из которых производится отдельная идентификация различных изображений (сигналов).
Сущность изобретения состоит в том, что в распознающее устройство, содержащее электронную вычислительную машину с электрически последовательно связанными: входной телевизионной камерой, видеобуфером, блоком выборки изображения и электронным процессором, а также электрически соединенными блоком памяти признаков объектов (фильтров) и блоком выборки фильтра, выход которого соединен со вторым входом электронного процессора, осуществляющего распознавание по любому известному алгоритму, введены: когерентно-оптический процессор с блоком быстро сменяющихся фильтров и ПЗС-камерой, а также мультиплексор, пороговый блок, блок определения номера фильтра, блок определения координат Х и Y и блок формирования окон Х±ΔХ и Y±ΔY, при этом электрический выход блока быстро сменяющихся фильтров соединен через блок определения номера фильтра (регистр фильтров) с первым входом мультиплексора и управляющим входом блока выборки фильтра электронной вычислительной машины. Первый выход ПЗС-камеры через блок определения координат Х и Y (регистр координат) соединен со вторым входом мультиплексора и через блок формирования окон Х±ΔХ и Y±ΔY с управляющим входом блока выборки изображения электронной вычислительной машины. Второй выход ПЗС-камеры через пороговый блок соединен с управляющими входами блока определения номера фильтра и блока определения координат Х и Y. Выход электронной вычислительной машины соединен с управляющим входом мультиплексора, а выход входной телевизионной камеры дополнительно соединен с входом когерентно-оптического процессора. Кроме того, выход блока определения номера фильтра дополнительно соединен с управляющим входом блока формирования окон Х±ΔХ и Y±ΔY.
При таком выполнении распознающего устройства когерентно-оптический процессор позволяет мгновенно выявить подозрительные места в текущем изображении и указать электронной вычислительной машине, в каком месте изображения необходимо произвести распознавание и каким алгоритмом (фильтром) из имеющихся в памяти для этого необходимо воспользоваться. Такое указание резко сокращает количество необходимых для распознавания вычислительных операций электронной вычислительной машины и ускоряет процесс распознавания. Введение дополнительной связи между блоком определения номера фильтра и блоком формирования окон Х±ΔХ и Y±ΔY позволяет адаптировать размер изображения (окна), подлежащего обработке электронной вычислительной машиной, с размером подозрительной области, обнаруженной когерентно-оптическим процессором, что также сокращает количество необходимых для распознавания вычислительных операций электронной вычислительной машины и ускоряет процесс распознавания.
Сказанное поясняется чертежами, где представлено:
фиг.1 - блок-схема распознающего устройства;
фиг.2 - упрощенная функциональная схема распознающего устройства.
На блок-схеме распознающего устройства (фиг.1) изображено:
1 - входная телевизионная камера, например WAT902H (фирмы WATEC СО. LTD, Япония);
2 - электронно-вычислительная машина, например, серии GigaNT модель 2600/121 (фирмы POLARIS, Россия), с видеобуфером VIVO, [Л.3];
3 - видеобуфер электронно-вычислительной машины (SVGA Gigabite ATI Radeon 9200 128 Mb VIVO), [Л.3];
4 - блок выборки изображения электронно-вычислительной машины;
5 - блок памяти признаков объектов (алгоритмов распознавания) электронно-вычислительной машины;
6 - блок выборки фильтров (алгоритмов распознавания) электронно-вычислительной машины;
7 - электронный процессор (конечный классификатор) электронно-вычислительной машины;
8 - когерентно-оптический процессор, например, фирмы Литтон Дейта Системз [Л.4];
9 - лазер;
10 - формирователь пучка;
11 - пространственно-временной модулятор света (ПВМС) с драйвером;
12 - объектив прямого преобразования Фурье;
13 - блок быстро сменяющихся фильтров (блок памяти фильтров) когерентно-оптического процессора;
14 - объектив обратного преобразования Фурье;
15 - ПЗС-камера когерентно-оптического процессора с драйвером, например камера CA-D6-256W MotionVision (фирмы DALSA INC. Канада) с сетевой платой PC-DIG (фирмы Coreco Imaging, Inc., USA);
16 - пороговый блок;
17 - блок определения номера фильтра (регистр фильтров);
18 - блок определения координат Х и Y (регистр координат);
19 - блок формирования окон Х±ΔХ и Y±ΔY;
20 - мультиплексор.
Блоки: 9 (лазер), 10 (формирователь пучка), 11 (пространственно-временной модулятор света), 12 (объектив прямого преобразования Фурье), 13 (блок памяти фильтров когерентно-оптического процессора), 14 (объектив обратного преобразования Фурье), 15 (ПЗС-камера) - являются элементами когерентно-оптического процессора 8, например, фирмы Литтон Дейта Системз [Л.4];
блоки: 3 (видеобуфер электронно-вычислительной машины), 4 (блок выборки изображения), 5 (блок памяти признаков объектов), 6 (блок выборки фильтров), 7 (электронный процессор), 16 (пороговый блок), 17 (блок определения номера фильтра), 18 (блок определения координат Х и Y), 19 (блок формирования окон Х±ΔХ и Y±ΔY), 20 (мультиплексор) - являются элементами электронно-вычислительной машины 2 (например, персонального компьютера серии GigaNT модель 2600/121 [Л.3]).
Распознающее устройство содержит входную телевизионную камеру 1, выход которой электрически соединен с входом видеобуфера 3 электронной вычислительной машины 2 и входом когерентно-оптического процессора 8. Оптический выход когерентно-оптического процессора соединен с входом ПЗС-камеры 15, электрический выход которой соединен с пороговым устройством 16. Выход порогового устройства 16 электрически соединен с управляющими входами блока определения номера фильтра (регистра фильтров) 17 и блока определения координат Х и Y 18. Синхронизирующие выходы ПЗС-камеры 15 (тактовый, строчный и кадровый) соединены с входами блока определения координат Х и Y 18, выход которого соединен с первым входом мультиплексора 20 и входом блока формирования окон Х±ΔХ и Y±ΔY 19. Выход блока формирования окон Х±ΔХ и Y±ΔY 19 соединен с управляющим входом блока выборки изображения 4 электронной вычислительной машины 2. Электрический выход набора быстро сменяющихся фильтров 13 когерентно-оптического процессора 8 соединен с входом блока определения номера фильтра (регистра фильтров) 17, выход которого соединен со вторым входом мультиплексора 20, управляющим входом блока выборки фильтра 6 электронной вычислительной машины 2 и управляющим входом блока формирования окон Х±ΔХ и Y±ΔY 19. Выход видеобуфера 3 электронной вычислительной машины 2 соединен с блоком выборки изображения 4, выход которого соединен с первым входом электронного процессора 7. Выход блока памяти признаков (набора признаков либо алгоритмов распознавания) объектов 5 электронной вычислительной машины 2 соединен с блоком выборки фильтра 6, выход которого соединен со вторым входом электронного процессора 7. Выход процессора 7 соединен с третьим входом мультиплексора 20.
Работает устройство следующим образом. Входное изображение с телевизионной камеры 1 поступает в видеобуфер 3 электронно-вычислительной машины 2 и, одновременно, на пространственно-временной модулятор света 11 в когерентно-оптическом процессоре 8. В видеобуфере 3 электронно-вычислительной машины 2 входное изображение задерживается на время его обработки в когерентно-оптическом процессоре 8. Основой когерентно-оптического процессора 8 является когерентный оптический коррелятор, состоящий из оптически последовательно включенных лазера 9, формирователя пучка 10, пространственно-временного модулятора света 11, объектива прямого преобразования Фурье 12, блока быстро сменяющихся фильтров 13 и объектива обратного преобразования Фурье 14, позволяющий мгновенно (со скоростью света) получить корреляционную функцию между входным и эталонным изображениями. В когерентно-оптическом корреляторе сигнал входного изображения, поступающий на пространственно-временной модулятор света (ПВМС) 11, модулирует когерентное излучение лазера 9, расширенного до размеров изображения ПВМС 11 формирователем пучка 10, и преобразуется в спектр объективом прямого преобразования Фурье 12. Полученный спектр изображения перемножается в блоке быстро сменяющихся фильтров 13 со спектрами всех эталонных изображений, имеющихся в банке блока фильтров когерентно-оптического процессора 8 и после преобразования объективом обратного преобразования Фурье 14 формирует на фоточувствительной матрице ПЗС-камеры 15 изображение корреляционного поля (двумерной функции корреляции входного изображения и эталонного, текущего в данный момент в блоке быстро сменяющихся фильтров). Выходное корреляционное поле коррелятора считывается ПЗС-камерой 15 когерентно-оптического процессора 8 и преобразуется в выходной электрический сигнал, поступающий на пороговый блок 16. Блок фильтров 13 когерентно-оптического процессора 8 постоянно выдает на входы блока определения номера фильтра (регистра фильтров) 17 номер (данные) фильтра, обрабатываемого в данный момент процессором 8, а ПЗС-камера 15 (точнее, драйвер ПЗС-камеры 15, считывающей корреляционное поле) выдает на блок определения координат Х и Y 18 номер считываемой строки и считываемого в данный момент пикселя. При превышении заданного порога выходным сигналом, в каком-либо из пикселей, считываемых ПЗС-камерой 15, пороговое устройство 16 выдает команду на блок определения номера фильтра (регистра фильтров) 17 и блок определения координат Х и Y 18. Блок определения номера фильтра 17 запоминает номера фильтров, значение функции корреляции которых в когерентно-оптическом процессоре превысило заданный в пороговом блоке 16 порог обнаружения, и передает их (номера) блоку выборки фильтров 6 электронно-вычислительной машины 2, что позволяет электронно-вычислительной машине 2 выбрать из своей памяти 5 признаки и алгоритм распознавания только того объекта, который был обнаружен корреляционным сравнением в когерентно-оптическом процессоре 8, а не перебирать признаки и алгоритмы распознавания всех распознаваемых объектов. Блок определения координат Х и Y 18 передает запомненные данные в блок формирования окон Х±ΔХ и Y±ΔY 19. В блоке формирования окон Х±ΔХ и Y±ΔY 19 производится смещение координат Х и Y на размер образа обнаруженного объекта ±х и ±y, для чего выход блока определения номера фильтра (регистра фильтров) 17 дополнительно соединен с управляющим входом блока формирования окон Х±ΔХ и Y±ΔY. Выходной сигнал блока формирования окон поступает в блок выборки изображений электронной вычислительной машины, где из полного изображения запомненного видеобуфером 3 вырезаются куски, соответствующие сформированным окнам, которые и поступают на обработку конечным классификатором (процессором) 7 электронной вычислительной машины по признакам и алгоритмам, выбранным блоком выборки фильтра 6 для данной части входного изображения. Электронный процессор (конечный классификатор) 7, принимая решение о наличии искомого объекта во входном телевизионном изображении, выдает команду на мультиплексор 20, позволяя последнему сформировать на выходе распознающего устройства протокол результатов работы, содержащий сведения о координатах распознанного объекта во входном кадре (по данным блока определения координат Х и Y 18) и о том, что за объект был распознан (по данным блока определения номера фильтра 17). Таким образом, наличие в предлагаемом распознающем устройстве когерентно-оптического процессора (коррелятора) позволяет быстро определить, изображение какого конкретно из всех искомых объектов имеется на входном телевизионном кадре и его координаты в этом кадре, а электронной вычислительной машине позволяет производить распознавание (конечную классификацию) по заранее ограниченным признакам в резко ограниченном объеме входной информации (в известном месте входного кадра, ограниченном размером окна ± ΔХ на ± ΔY), что и обеспечивает данному устройству положительный эффект: высокое быстродействие и малую вероятность ложных тревог.
На упрощенной функциональной схеме фиг.2 дополнительно поясняется работа распознающего устройства. Как видно из упрощенной схемы, входной кадр с телевизионной камеры поступает на коррелятор когерентно-оптического процессора, работающий со скоростью порядка 1014 оп./с. Такая производительность коррелятора позволяет за время одного кадра получить корреляционные отклики с тысячами эталонов-фильтров и выявить как наличие цели и ее координаты (в кадре), так и ее образ и размер изображения в кадре. Для этого в полученном с коррелятора сигнале объекта (корреляционном отклике) производится поиск цели (пороговым устройством 16 фиг.1) и определение ее координат (блоком 18 фиг.1). Тип и размер изображения цели в кадре определяется по данным драйвера фильтра в момент обнаружения корреляционного отклика (блоком 17 фиг.1). Электронная вычислительная машина по этим данным и координатам производит отбор фрагмента, в котором обнаружен объект, а также производит подробный анализ фрагмента с учетом образа и масштаба обнаруженного объекта. Если в результате этого анализа конечным классификатором (электронным процессором) принимается решение о наличии объекта, то выдается команда мультиплексору на формирование и выдачу протокола результатов, содержащего данные по распознанному объекту.
Процесс распознавания или определения аутентичности подозрительного изображения можно описать следующим образом:
1. С помощью входной телекамеры (либо сканера, тепловизора, локатора) получаем подозрительный сигнал или изображение.
2. Если изображение не оцифровано, оцифровываем.
3. Запоминаем изображение (сигнал) в памяти электронной вычислительной машины (персонального компьютера).
4. С помощью голографического коррелятора когерентно-оптического процессора получаем двумерное корреляционное поле (отклик) данного изображения с каждым из голографических фильтров-эталонов, имеющихся в банке фильтров голографического коррелятора.
5. С помощью ПЗС-камеры когерентно-оптического процессора преобразуем каждое корреляционное поле (отклик) данного изображения с каждым из голографических фильтров-эталонов, имеющихся в банке фильтров голографического коррелятора, в электрический сигнал телевизионного типа (строчно-кадровой структуры).
6. Если изображение не оцифровано, оцифровываем.
7. Сравниваем сигнал каждого корреляционного поля с заранее выбранным по критерию ложных тревог порогом.
8. В случае наличия в корреляционном поле отклика, превышающего порог, определяем:
- Какому фильтру в банке фильтров голографического коррелятора принадлежит данный корреляционный отклик.
- Координаты пика корреляционного отклика, превышающего порог в корреляционном поле.
9. По фильтру определяем:
- Алгоритм (фильтр) для дальнейшей обработки сигнала электронной вычислительной машиной (персональным компьютером).
- Размер области изображения, подлежащей дальнейшей обработке.
10. По координатам пика корреляционного отклика, превышающего порог в корреляционном поле, определяем:
- Координаты области изображения, подлежащей дальнейшей обработке.
11. Из запомненного в памяти электронной вычислительной машины (персонального компьютера) изображения (сигнала) выделяем фрагмент, размер которого определен по фильтру, а положение по координатам пика корреляционного отклика.
12. Выделенный фрагмент изображения обрабатываем в электронной вычислительной машине (персональном компьютере) определенным ранее алгоритмом (фильтром) для конечного классификатора (процессора), например при кодировании изображения алгоритмом, описанным в прототипе [Л.2]:
- Вычитаем выделенный подозрительный сигнал из оригинала, получив сигнал разности.
- Последовательно получаем корреляции сигнала разности и всех наших случайных сигналов, сгенерированных и записанных в изображение до его распространения.
- Находим уровни нуля и единицы с помощью последовательности 0101 в первых четырех битах идентификационного слова. Среднее первой и третьей корреляций будет уровнем 0, а среднее второй и четвертой - уровнем единицы.
- Каждому результату корреляции ставим в соответствие 0 или 1, используя найденные уровни нуля и единицы.
- Сравним результат с идентификационным номером.
- Отправим письмо с требованием компенсации.
Литература:
1. Патент США, МКИ G 06 K 9/74; НКИ 3 56/71; №5061063 от 29 октября 1991 г. - аналог.
2. Патент США, МКИ Н 04 К 001/00; НКИ 382/100; 380/252; №6519352 от 11 февраля 2003 г. - прототип.
3. www.polaris.ru
4. Aviation Week & Space Technology, 12/X 1998, p.50, 51.
Распознающее устройство, содержащее входную телевизионную камеру и электронную вычислительную машину с электрически последовательно соединенными видеобуфером, блоком выборки изображения и электронным процессором, а также электрически соединенными блоком памяти признаков объектов (фильтров) и блоком выборки фильтра, выход которого соединен со вторым входом электронного процессора, отличающееся тем, что в него введены когерентно-оптический процессор с блоком быстро сменяющихся фильтров и ПЗС-камерой, а также мультиплексор, пороговый блок, блок определения номера фильтра, блок определения координат Х и Y и блок формирования окон Х±Δх и Y±ΔY, при этом электрический выход блока быстро сменяющихся фильтров соединен через блок определения номера фильтра с первым входом мультиплексора, управляющим входом блока формирования окон Х±Δх и Y±ΔY и управляющим входом блока выборки фильтра электронной вычислительной машины, первый выход ПЗС-камеры через блок определения координат Х и Y соединен со вторым входом мультиплексора и через блок формирования окон Х±Δх и Y±ΔY с управляющим входом блока выборки изображения электронной вычислительной машины, второй выход ПЗС-камеры через пороговый блок соединен с управляющими входами блока определения номера фильтра и блока определения координат Х и Y, выход электронной вычислительной машины соединен с управляющим входом мультиплексора, а выход входной телевизионной камеры дополнительно соединен с входом когерентно-оптического процессора.
