Устройство предобработки карты глубины стереоизображения

Изобретение относится к информационно-измерительным устройствам и может быть использовано в вычислительной технике, в системах управления и обработки стереоизображений. Техническим результатом является уменьшение погрешности определения расстояния от объектов сцены до камеры сенсора. Устройство содержит: блок хранения входной реализации, блок дилатации, блок определения участков квазистационарности, блок формирования маски, поэлементный умножитель, блок аппроксимации, блок хранения оценок, блок усреднения оценок, блок хранения оценки полезной составляющей, счетчик текущей строки, генератор сигнала усреднения, счетчик текущего столбца, первый блок задержки, второй блок задержки, третий блок задержки, четвертый блок задержки, пятый блок задержки, шестой блок задержки, седьмой блок задержки, восьмой блок задержки, блок получения медианной оценки, генератор тактовых импульсов. 3 ил.

 

Предлагаемое изобретение относится к информационно-измерительным устройствам и может быть использовано в вычислительной технике, в системах управления и обработки стереоизображений.

В общем случае, упрощенная математическая модель изображения представляет собой двумерную дискретную последовательность Y_i,j, $$i=\overline{\mathrm{1,}N}$$ , $$j=\overline{\mathrm{1,}M}$$ , где N - количество строк, М - количество столбцов двумерного массива изображения.

В настоящее время системы компьютерного зрения получили широкое распространение во многих областях техники. Решение многих задач упрощается при использовании карты глубины в дополнение к двумерному изображению. Карта глубины представляет собой двумерное одноканальное изображение, содержащее информацию о расстоянии от плоскости сенсора до объектов сцены. В некотором смысле это значение координаты z (координаты x и y в данном случае относятся к плоскости сенсора). Получение карт глубины возможно несколькими способами [Christopher Zach. Fast and High Quality Fusion of Depth Maps. Department of Computer Science. University of North Carolina at Chapel Hill, 2008, USA]:

1) Из имеющейся трехмерной модели сцены;

2) По паре стереоизображений;

3) С помощью специализированных сенсоров.

Каждый способ имеет свои достоинства и недостатки. В прикладных задачах актуальны последние два способа. Получение карты глубины по паре стереоизображений не требует дополнительного оборудования, но во многих случаях не дает желаемого результата. Одна из главных проблем специализированных сенсоров заключается в том, что большинство сенсоров не работает с поверхностями стекла или жидкости. Хорошим примером такого сенсора является Microsoft Kinect.

К сожалению, данные, получаемые с сенсора, как правило, содержат некоторые дефекты, такие как неравномерные карая и поверхности объектов, шум, области неправильно измеренных значений глубины для некоторых типов материалов. Примеры дефектов представлены на фиг.1. Сенсор Kinect относится к типу активных 3D-камер. Он содержит инфракрасный проектор и камеру. Оценка расстояния до различных точек сцены производится с помощью измерения относительного смещения точек, проецируемых проектором на изображении с инфракрасной камеры. В ряде случаев спроецированные точки могут быть не найдены - это приводит к появлению дефектов.

Основная решаемая задача - уменьшение погрешности определения расстояния от объектов сцены до камеры сенсора с помощью обработки изображения карты глубины с подавлением шума и восстановлением утраченных участков карты глубин.

Подобная задача может возникнуть: 1) в системах получения 3D моделей; 2) в радиотехнике при обработке сигналов; 3) в системах цифровой обработки анализа изображений.

Известные методы фильтрации можно применять и к изображениям карт глубин для уменьшения влияния шума.

Известен способ скользящего среднего [Гонсалес Р. Цифровая обработка изображений/ Р. Гонсалес, Р. Вудс. - М.: Техносфера. - 2005. - 1072 с.]. Для его использования достаточно одной реализации Y_i,j, $$i=\overline{\mathrm{1,}N}$$ , $$j=\overline{\mathrm{1,}M}$$ исходного процесса.

Для исходного изображения определяется размер маски сглаживающего фильтра m, т.е. натуральное число m<N. Способ скользящего среднего предполагает запоминание исходного изображения Y_i,j, $$i=\overline{\mathrm{1,}N}$$ , $$j=\overline{\mathrm{1,}M}$$ , определение размера маски фильтра m (ширины «скользящего окна»), для которого производится вычисление среднего арифметического, $${\overline{S}}_{i,j}=\frac{1}{m\cdot m}\cdot {\displaystyle \sum _{i=1}^m{\displaystyle \sum _{j=1}^m{Y}_{i,j}}}$$ , замену центрального из значений Y_i,j, $$i=\overline{\mathrm{1,}N}$$ , $$j=\overline{\mathrm{1,}M}$$ найденным средним $${\overline{S}}_{i,j}$$ , сдвиг «скользящего окна» на одно значение вправо, вычисление среднего арифметического выбранных значений реализации, и так до тех пор, пока маска фильтра не переместится по всему изображению.

Ширину "окна" выбирают нечетной, т.к. сглаженное значение рассчитывается для центрального значения.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание дискретного сигнала, выделение временных отрезков, нахождение среднего арифметического значения сигнала, попавших в выделенные отрезки времени, замена исходной двумерной дискретной реализации результатов измерений сглаженными значениями.

Недостатками известного устройства являются:

- неспособность обрабатывать строки или столбцы изображения, находящиеся на границах маски в случае, если центр фильтра приближается к границам изображения;

- способ скользящего среднего вызывает автокорреляцию остатков, даже если она отсутствовала в исходной полезной составляющей (эффект Слуцкого-Юла).

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- если ширина "окна" сглаживания равна 2p+1, то первые p и последние p значений исходной реализации результатов измерений не подвергаются обработке;

- поскольку центральное значение "окна" сглаживания вычисляется как среднее арифметическое соседних, то значения оценки полезной составляющей становятся зависимыми.

В качестве нелинейных фильтров используются фильтры, основанные на порядковых статистиках [Гонсалес Р. Цифровая обработка изображений/ Р. Гонсалес, Р. Вудс. - М.: Техносфера. - 2005. - 1072 с.]. Отклик такого фильтра определяется предварительным упорядочиванием (ранжированием) значений пикселей, покрываемых маской фильтра, и последующим выбором значения, находящегося на определенной позиции упорядоченной последовательности (т.е. имеющего определенный ранг). Фильтрация сводится к замещению исходного значения (в центре маски) на полученное значение отклика фильтра. Наиболее известен медианный фильтр, который заменяет центральное значение маски фильтра на значение медианы распределения всех значений результатов измерений, принадлежащих области маски фильтра. Чтобы выполнить медианную фильтрацию для элемента изображения, необходимо сначала упорядочить по возрастанию значения пикселей внутри маски, затем найти значение медианы и присвоить полученное значение обрабатываемому элементу.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание входного двумерного сигнала, выделение временных отрезков, замена входной реализации результатов измерения сглаженными значениями.

Недостатки известного устройства являются:

- неспособность обрабатывать строки или столбцы изображения, находящиеся на границах маски в случае, если центр фильтра приближается к границам изображения;

- вследствие нелинейности способа обработки нельзя строго разграничить влияние медианной фильтрации на сигнал и шум;

- медианное сглаживание можно рассматривать только как эффективный способ предварительной обработки входной реализации результатов измерений в случае импульсных помех.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- медианная фильтрация является нелинейным способом обработки;

- зависимость эффективности сглаживания результатов измерений от формы полезной и шумовой составляющей.

Структурная схема устройства, реализующего рассмотренный способ, содержит генератор таковых импульсов, коммутатор, блок управления, регистр хранения, блок ранжирования, блок выбора среднего значения, выходной регистр, где хранится оценка исходной дискретной реализации результатов измерений.

Известен способ и устройство для обработки карты глубины (Method and device for processing a depth-map, US 20100215251 A1). Данное изобретение используется для обработки карты глубины, причем способ включает восстановление карты глубины на основе сжатой с потерями карты глубины, при этом карта глубины включает в себя подробную информацию сцены из точки зрения сцены, содержащую объект. Устройство позволяет восстанавливать карту глубину при перекрытии объектами части фона.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание входного двумерного сигнала, обработка карты глубины, сохранение результата обработки.

Недостатками известного устройства являются:

- большая погрешность при восстановлении контуров и границ объектов на карте глубины;

- априорная информация при выборе параметров сжатия при устранении артефактов сжатия.

Структурная схема устройства для обработки карты глубины содержит блок устранения артефактов сжатия, блок восстановления карты глубины при перекрытии объектами, блок хранения оценки.

Известно устройство генерирования карты глубины по двум изображениям из разных точек зрения (Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging, US 20130009952 A1). Карта глубины восстанавливается из моноскопических исходных изображений и асимметрично сглаживается. Карта глубины содержит значения глубины, сосредоточенные на краях локальных областей в исходном изображении. Каждое ребро определяется на заданном изображении, параметр, имеющий рассчетное значение, превышает заданный порог. Глубина данной величины основана на соответствующих расчетных значениях параметров изображения. Карта глубины используется для обработки исходного изображения по глубине изображения на основе алгоритма рендеринга для создания одного изображения, которое образует с исходным изображением набор моноскопических изображений. По крайней мере, одна пара стереоскопических изображений выбирается из такого набора для использования в создании различных точек зрения, в том числе для неподвижных и движущихся изображений.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание входного двумерного сигнала, сглаживание карты глубины, сохранение результата обработки.

Недостатками известного устройства являются:

- априорная информация при выборе параметров при расчете границ объектов на изображения;

- восстановление карты глубины только для границ объектов на изображении.

Структурная схема устройства для обработки карты глубины содержит блок хранения изображения, блок анализа границ, блок синтезирования карты глубины, блок сглаживания границ, блок сглаживания карты глубины, блок рендеринга 3D изображения, блок отображения 3D изображения.

Наиболее близким к изобретению является адаптивный двумерный способ размножения оценок и устройство, его реализующее оценок [Пат. №2461874 Российская Федерация, С2, МПК G06F 17/17. 2010132437/08; Заяв. 02.08.2010; Опубл. 20.09.2012, Бюл. №26].

Рассматриваемое устройство-прототип предполагает:

- запись значений входного двумерного сигнала Y_i,j, $$i=\overline{\mathrm{1,}N}$$ , $$j=\overline{\mathrm{1,}M}$$ ;

- определение параметров способа: значение вероятности ошибки первого рода α и максимальная длина интервала квазистационарности R;

- вычисление случайной величины $${\tau }_d={\displaystyle \sum _{l=0}^{d-1}{\displaystyle \sum _{k=l+1}^{d}u(Y_{i+l,j}{Y}_{i+k,j})}}$$ , $$d=\overline{\mathrm{1,}R}$$ и пороговых значений $$c_1=\frac{{\tau }_{\alpha }}{2}\cdot \sqrt{X}=X/2-\mathrm{0,5}$$ и $$c_2=\frac{{\tau }_{1-\alpha }}{2}\cdot \sqrt{X}=X/2-\mathrm{0,5}$$ ;

- проверка гипотезы о стационарности сигнала c₂≤τ_d≤c₁, при выполнении которой происходит формирование бинарной маски ω_i,j, $$i=\overline{\mathrm{1,2}\cdot R-1}$$ , $$j=\overline{\mathrm{1,2}\cdot R-1}$$ ;

- вычисление оценки $${\tilde{S}}_{i,j}$$ с помощью аппроксимации значений Y_i,j поверхностью первого порядка вида $${\tilde{S}}_{i,j}=(A\cdot i+B\cdot j+C)\cdot {\omega }_{i,j}$$ , где $$i=\overline{\mathrm{1,2}\cdot R-1}$$ , $$j=\overline{\mathrm{1,2}\cdot R-1}$$ и вычисляется весовая функция W_i,j, $$i=\overline{\mathrm{1,}N}$$ , $$j=\overline{\mathrm{1,}M}$$ ;

- повторение данной процедуры для всех значений пикселей исходного изображения Y_i,j $$i=\overline{\mathrm{1,}N}$$ , $$j=\overline{\mathrm{1,}M}$$ , в результате чего получается набор оценок $${\tilde{S}}_{i,j}$$ ;

- вычисление результирующей оценки $${\overline{S}}_{i,j}$$ как взвешенной суммы размноженных адаптивных оценок.

Недостатками известного устройства-прототипа являются:

- невозможность обнаруживать и восстанавливать области с потерянными значениями пикселей в карте глубины;

- невозможность обработки динамических видеосигналов.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- данное устройство предназначено только для уменьшения влияния аддитивной шумовой составляющей;

- при обработке видеосигналов покадрово как изображений не учитываются корреляционные связи между кадрами.

Устройство для реализации адаптивного двумерного способа размножения оценок содержит блок хранения входной реализации, блок определения участков квазистационарности, блок формирования маски, поэлементный умножитель, блок аппроксимации, блок хранения оценок, блок усреднения оценок, блок хранения оценки полезной составляющей, счетчик текущей строки, блоки задержки, генератора сигнала усреднения, счетчик текущего столбца, генератор тактовых импульсов.

Суть предлагаемого устройства предобработки карты глубины стереоизображения состоит в следующем:

Упрощенная математическая модель входного динамического двумерного сигнала представляется в соответствии с выражением (1).

Предлагается использовать трехэтапную процедуру обработки карты глубины видеосигналов для уменьшения влияния основных типов дефектов. На первом этапе к каждому кадру видеопоследовательности применяется операция дилатации для удаления областей с потерянными и искаженными пикселями, которая является морфологической операцией и увеличивает область изображения, расширяя его пиксели и тем самым способствуя объединению областей изображения, которые были разделены шумом и т.д. Данная операция является операцией определения локального максимума по некоторой окрестности, которая задается структурообразующим элементом.

На втором этапе используется подход уменьшения влияния шума, реализованный адаптивным двумерным способом размножения оценок. В данном случае изображение карты глубины разделяется на локальные области однородных значений яркости, которые в дальнейшем аппроксимируются поверхностью первого порядка методом МНК.

Для направлений $$h=\overline{\mathrm{1,8}}$$ на изображении для одномерных реализаций, полученных из значений пикселей по вертикальным и диагональным направлениям от центрального пикселя исходного изображения, определяются интервалы квазистационарности с помощью способа инверсий. Данные границы позволяют получить интервалы с монотонным изменением яркости сигнала. Далее, все восемь полученных секторов объединяются в одну область Ω. Таким образом, для каждого пикселя формируется окрестность пикселей, близких по значению яркости.

Значения пикселей, попавшие между всеми направлениями и интерполирующими прямыми, проходящими через границы интервалов квазистационарности, объединяются в одну область Ω и аппроксимируются поверхностью первого порядка вида $${\tilde{S}}_{i,j}=(A\cdot i+B\cdot j+C)\cdot {\omega }_{i,j}$$ , где ω_i,j, $$i=\overline{\mathrm{1,2}\cdot R-1}$$ , $$j=\overline{\mathrm{1,2}\cdot R-1}$$ - значения бинарной маски, которая принимает значения, равные:

$${\omega }_{i,j}=\{\begin{array}{c}\mathrm{1,}i,j\in \Omega \\ \mathrm{0,}i,j\notin \Omega \end{array},i=\overline{\mathrm{1,2}\cdot R-1},j=\overline{\mathrm{1,2}\cdot R-1}$$ .

Значения коэффициентов А, В и С определяются с помощью двумерного способа наименьших квадратов [Патент №2362207 Российская Федерация, С2, МПК G06F 17/17. 2007127727/09; Заяв. 19.07.2007; Опубл. 20.07.2009 Бюл. №20], для нахождения которых минимизируется целевая функция вида:

$${\displaystyle \sum _{i=1}^{2\cdot R-12}{\displaystyle \sum _{j=1}^{\cdot R-1}{((Y_{i,j}-{\tilde{S}}_{i,j})\cdot {\omega }_{i,j})}^2\to \min }}$$ , $${\displaystyle \sum _{i=1}^{2\cdot R-12}{\displaystyle \sum _{j=1}^{\cdot R-1}{((Y_{i,j}-A\cdot i-B\cdot j-C)\cdot {\omega }_{i,j})}^2\to \min }}$$ .

Процедура получения области Ω и вычисление оценки $${\tilde{S}}_{i,j}$$ повторяется для каждого значения пикселя Y_i,j, $$i=\overline{\mathrm{1,}N}$$ , $$j=\overline{\mathrm{1,}M}$$ , при этом формируется весовая функция W_i,j, $$i=\overline{\mathrm{1,}N}$$ , $$j=\overline{\mathrm{1,}M}$$ , значения которой равны количеству размноженных оценок для каждого пикселя.

Результирующая оценка изображения $${\overline{S}}_{i,j}$$ определяется как среднее арифметическое размноженных адаптивных оценок: $${\overline{S}}_{i,j}=\frac{{\displaystyle \sum _{t=1}^K{\tilde{S}}_i^t,j}}{W_{i,j}}$$ .

На третьем этапе используется несколько сглаженных оценок карт глубин для последовательности кадров, для которых вычисляется медиана. Данная операция позволяет скорректировать оценку контуров объектов и сделать их более гладкими. На фиг.2 представлены результаты предобработки карт глубин для двух тестовых кадров видеопоследовательности.

Устройство предобработки карты глубины стереоизображения (фиг.3) содержит блок хранения входной реализации 1, вход которого является информационным входом устройства, выход которого подключен к входу блока дилатации 2, выход которого подключен к первому входу поэлементного умножителя 5 и первому входу блока определения участков квазистационарности 3, к выходу которого подключен вход блока формирования маски 4, к выходу которого подключен второй вход поэлементного умножителя 5, к выходу которого подключен вход блока аппроксимации 6, к выходу которого подключен первый вход блока хранения оценок 7, к выходу которого подключен первый вход блока усреднения оценок 8, выход которого подключен к первому входу блока вычисления медианной оценки 15 и к входу первого блока задержки 11, второй выход которого подключен к входу второго блока задержки 12, второй выход которого подключен к входу третьего блока задержки 13, второй выход которого подключен к входу четвертого блока задержки 14; первый выход первого блока задержки 11, второго блока задержки 12, третьего блока задержки 13, четвертого блока задержки 14 подключены ко второму, третьему, четвертому, пятому входу блока вычисления медианной оценки соответственно 15, выход которого подключен к входу блока хранения оценки полезной составляющей 16, чей выход является информационным выходом устройства; выход счетчика текущей строки 9.1 подключен ко второму входу блока определения участков квазистационарности 3 и входу пятого блока задержки 9.2, к выходу которого подключены четвертый вход поэлементного умножителя 5 и вход шестого блока задержки 9.3, к выходу которого подключен второй вход блока хранения оценок 7 и первый вход генератора сигнала усреднения 9.7, к выходу которого подключен второй вход блока усреднения оценок 8; выход счетчика текущего столбца 9.4 подключен к третьему входу блока определения участков квазистационарности 3 и входу седьмого блока задержки 9.5, к выходу которого подключены третий вход поэлементного умножителя 5 и вход восьмого блока задержки 9.6, к выходу которого подключены третий вход блока хранения оценок 7 и второй вход генератора сигнала усреднения 9.7; синхронность работы устройства обеспечивается генератором тактовых импульсов 10.

Устройство предобработки карты глубины стереоизображения реализуется следующим образом. На первом этапе к каждому кадру видеопоследовательности применяется операция дилатации, которая является морфологической операцией и увеличивает область изображения, расширяя его пиксели и тем самым способствуя объединению областей изображения, которые были разделены шумом и т.д.

Далее в каждый момент времени выбирается одна из точек исходного изображения. Для нее находится область с пикселями близкой яркости с помощью способа инверсий. Для каждой полученной области производится аппроксимация значений двумерного сигнала плоскостью, описывающейся уравнением первой степени с помощью двумерного способа наименьших квадратов. Таким образом, получается множество перекрывающихся оценок полученных областей. Результирующая двумерная оценка полезной составляющей определяется как среднее арифметическое по объему полученных оценок. Далее используется несколько сглаженных оценок карт глубин для последовательности кадров, для которых вычисляется медианная оценка. Полученные значения поступают на выход устройства.

Устройство предобработки карты глубины стереоизображения работает следующим образом. В блок хранения входной реализации 1 записывается кадр исходного динамического двумерного сигнала. Далее в блоке дилатации 2 к каждому кадру видеопоследовательности применяется операция дилатации, которая является морфологической операцией и увеличивает область изображения, расширяя его пиксели и тем самым способствуя объединению областей изображения, которые были разделены шумом. Блоки счетчика текущей строки 9.1 и счетчика текущего столбца 9.4 формируют координаты пикселя, обрабатываемого в данный момент времени. Координаты поступают на вход блока определения участков квазистационарности 3. Происходит выборка значений пикселей, близких к выбранному из блока дилатации 2, и определение координат пикселей, принадлежащих области близкой яркости. Полученные координаты передаются на блок формирования маски 4, где формируется маска фиксированного размера, содержащая «0» в местах с координатами пикселей, не принадлежащих полученной области, и «1» для принадлежащих. Центр маски соответствует текущему выбранному пикселю, координаты которого являются координатами маски. Полученная маска подается на поэлементный умножитель 5, где путем поэлементного умножения пикселей исходного изображения на маску с учетом ее координат выделяется область, поступающая дальше на блок аппроксимации 6. Оценка, полученная путем аппроксимации поверхностью первого порядка способом наименьших квадратов, запоминается в блоке хранения оценок 7, в котором кроме самой оценки запоминаются и ее координаты, поступившие со счетчиков номера строки 9.1 и столбца 9.4 через блок задержки. Последовательно выполняется перебор всех пикселей изображения, полученные оценки запоминаются в блоке хранения оценок 7. По окончании перебора блок генерации сигнала усреднения 9.7 подает на блок усреднения оценок 8 сигнал, после чего сохраненные в блоке 7 оценки усредняются, далее усредненная оценка поступает на вход блока получения медианной оценки 15 через последовательность блоков задержки 11-14. В блоке получения медианной оценки 15 вычисляется медианная оценка для накопленных пяти кадров видеопоследовательности, после чего полученная результирующая оценка запоминается в блоке хранения оценки полезной составляющей 16. Синхронность работы устройства обеспечивается генератором тактовых импульсов 10.

Технический результат - уменьшение погрешности определения расстояния от объектов сцены до камеры сенсора с помощью обработки изображения карты глубины с подавлением шума и восстановлением утраченных участков карты глубин.

Устройство предобработки карты глубины стереоизображения, содержащее блок хранения входной реализации, вход которого является информационным входом устройства; блок определения участков квазистационарности, к выходу которого подключен вход блока формирования маски, к выходу которого подключен второй вход поэлементного умножителя, к выходу которого подключен вход блока аппроксимации, к выходу которого подключен первый вход блока хранения оценок, к выходу которого подключен первый вход блока усреднения оценок; блок хранения оценки полезной составляющей, чей выход является информационным выходом устройства; выход счетчика текущей строки подключен ко второму входу блока определения участков квазистационарности и входу пятого блока задержки, выход которого подключен к четвертому входу поэлементного умножителя и входу шестого блока задержки, выход которого подключен ко второму входу блока хранения оценок и первому входу генератора сигнала усреднения, выход которого подключен ко второму входу блока усреднения оценок; выход счетчика текущего столбца подключен к третьему входу блока определения участков квазистационарности и входу седьмого блока задержки, выход которого подключен к третьему входу поэлементного умножителя и входу восьмого блока задержки, выход которого подключен к третьему входу блока хранения оценок и второму входу генератора сигнала усреднения; синхронность работы устройства обеспечивается генератором тактовых импульсов, отличающееся тем, что выход блока хранения входной реализации подключен к входу блока дилатации, выход которого подключен к первому входу поэлементного умножителя и первому входу блока определения участков квазистационарности; выход блока усреднения оценок подключен к первому входу блока вычисления медианной оценки и к входу первого блока задержки, второй выход которого подключен к входу второго блока задержки, второй выход которого подключен к входу третьего блока задержки, второй выход которого подключен к входу четвертого блока задержки; первый выход первого блока задержки, второго блока задержки, третьего блока задержки, четвертого блока задержки подключены ко второму, третьему, четвертому, пятому входу блока вычисления медианной оценки соответственно, выход которого подключен к входу блока хранения оценки полезной составляющей.