Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений
Владельцы патента RU 2311684:
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ УНИТАРНОЕ ПРЕДПРИЯТИЕ "ГОСУДАРСТВЕННЫЙ РЯЗАНСКИЙ ПРИБОРНЫЙ ЗАВОД" (RU)
Изобретение относится, в общем, к области техники цифровой обработки изображений, а конкретно к обработке сигналов для выделения движущихся объектов в последовательности телевизионных изображений. Технический результат изобретения заключается в повышении точности выделения объектов за счет устойчивости к пространственным искажениям. Технический результат достигается за счет определения угла поворота изображения текущего кадра относительно эталонного изображения, повышения точности вычисления параметров сдвига до долей пикселя, смены эталонного изображения в зависимости от вычисленных величин сдвига и поворота, сдвига фонового изображения на целое число пикселей, поворота изображения текущего кадра вокруг центра изображения и последующего сдвига повернутого изображения на дробное число пикселей, вычисления значения пороговой величины с учетом турбулентности атмосферы, вибрации датчика изображений и неточности определения параметров сдвига и поворота, межкадровой фильтрации результатов пороговой обработки. 3 з.п. ф-лы.
Изобретение относится к цифровой обработке изображений и может быть использовано в охранных системах, системах технического зрения, системах космического мониторинга Земли и др.
Известен способ обработки сигналов для выделения объектов, наблюдаемых в последовательности телевизионных изображений [пат. РФ № 2193825, МПК Н04N 7/18, 2002 г.], состоящий в том, что из сигналов изображения после их аналого-цифрового преобразования выделяется 2N ориентиров местности (N=3, 4, 5,...), используемых для оценки параметров сдвига и поворота текущего изображения относительно предыдущего, и после этого осуществляется выделение объектов путем пороговой обработки разностного изображения, полученного вычитанием из сигнала текущего изображения сигнала изображения эталонного фона, причем величина порога зависит от локального параметра рассеяния разностного изображения.
Недостатками указанного способа является невысокая точность оценки параметров сдвига и поворота текущего изображения и отсутствие компенсации влияния погрешности оценки параметров сдвига и поворота на точность выделения объектов.
Наиболее близким к заявляемому способу является выбранный в качестве прототипа способ автоматического выделения сигналов движущихся объектов в последовательности изображений при наличии геометрических искажений изображения [Алпатов Б.А., Бабаян П.В. Выделение движущихся объектов в условиях геометрических искажений изображения // Цифровая обработка сигналов. - 2004. - № 4. - с.9-14], заключающийся в аналого-цифровом преобразовании сигнала изображения каждого кадра, запоминании первого кадра обрабатываемой последовательности в качестве эталонного изображения, запоминании первого кадра обрабатываемой последовательности в качестве фонового изображения, определении параметров сдвига изображения текущего кадра относительно эталонного изображения с точностью до элемента пространственного разрешения (пикселя), сдвиге фонового изображения в соответствии с вычисленными значениями параметров сдвига, предварительной фильтрации фонового изображения в течение первых Nпр кадров, пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения для всех последующих кадров, начиная с (Nпр+1)-го (значение пороговой величины определяется дисперсией аддитивного шума на изображении текущего кадра), рекурсивном уточнении оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки.
Недостатком способа является неработоспособность при сдвигах текущего кадра относительно первого, сравнимых по величине с размером изображения, и в условиях, когда движение датчика изображений в пространстве порождает более сложные искажения сигнала изображения текущего кадра, чем простой сдвиг относительно эталонного фонового изображения (например, совокупность сдвига и поворота).
Технической задачей изобретения является повышение точности выделения объектов за счет устойчивости к пространственным искажениям, имеющим вид сдвига и поворота изображения текущего кадра относительно ранее наблюдавшихся кадров.
Технический результат, достигаемый при осуществлении заявляемого изобретения, заключается в аналого-цифровом преобразовании сигнала изображения каждого кадра, запоминании первого кадра обрабатываемой последовательности в качестве эталонного изображения, запоминании первого кадра обрабатываемой последовательности в качестве фонового изображения, определении параметров сдвига изображения текущего кадра относительно эталонного изображения, сдвиге фонового изображения в соответствии с полученными оценками параметров сдвига, предварительной фильтрации фонового изображения в течение первых Nпр кадров, пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения для всех последующих кадров, начиная с (Nпр+1)-го, рекурсивном уточнении оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки, при этом угол поворота изображения текущего кадра относительно эталонного изображения определяют до определения параметров сдвига изображения текущего кадра относительно эталонного изображения, вычисление параметров сдвига изображения текущего кадра относительно эталонного изображения осуществляется с субпиксельной точностью, при превышении вычисленными значениями сдвига и угла поворота изображения текущего кадра относительно эталонного изображения максимально допустимого значения осуществляется смена эталонного изображения, после проверки условия смены эталонного изображения вычисляют параметры сдвига изображения текущего кадра относительно фонового изображения и угла поворота изображения текущего кадра относительно изображения первого кадра по найденным значениям параметров сдвига и поворота текущего кадра относительно эталонного изображения, сдвиг фонового изображения осуществляют на целое число пикселей, после сдвига фонового изображения на целое число пикселей осуществляют поворот и субпиксельный сдвиг изображения текущего кадра, при пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения значение пороговой величины вычисляют с учетом турбулентности атмосферы, вибрации датчика изображений и неточности определения параметров сдвига и поворота, после пороговой обработки абсолютной величины сигнала разности изображения текущего кадра и фонового изображения дополнительно осуществляют межкадровую фильтрацию результатов пороговой обработки.
Угол поворота изображения текущего кадра относительно эталонного изображения ϕТЭ можно определять по правилу
где F-1 - оператор обратного дискретного преобразования Фурье;
- комплексно-сопряженный спектр сигнала 
;
- результат логарифмирования абсолютной величины спектра сигнала 
, представленный в полярной системе координат;
- результат перемножения изображения Δln(i, j) и оконной функции w(i, j), 
, спадающей до нуля от середины к краям изображения;
- центрированный сигнал изображения текущего кадра ln(i, j);
- среднее значение сигнала яркости изображения текущего кадра ln(i, j);
SSe(ωρ, ωϕ) - спектр сигнала 
- результат логарифмирования абсолютной величины спектра сигнала ew(i, j), представленный в полярной системе координат;
(ρ, ϕ) - полярные координаты;
ew(i, j) - результат перемножения центрированного сигнала эталонного изображения Δe(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения;
- центрированный сигнал эталонного изображения e(i, j);
- среднее значение сигнала яркости эталонного изображения e(i, j);
ωρ, ωϕ - пространственные частоты для полярной системы координат.
Параметры сдвига фонового изображения (αR, βR) можно вычислять как αR=round(αТФ) и βR=round(βТФ), где round(...) - функция округления до ближайшего целого значения, αТФ - сдвиг изображения текущего кадра относительно фонового изображения по вертикальной оси, βТФ - сдвиг изображения текущего кадра относительно фонового изображения по горизонтальной оси, а параметры сдвига и поворота изображения текущего кадра можно определять как - ϕТ1 и (Δα, Δβ), где ϕТ1 - угол поворота изображения текущего кадра относительно изображения первого кадра, 
Межкадровую фильтрацию результатов пороговой обработки можно осуществлять по правилу
где qn(i, j) - результат межкадровой фильтрации в виде бинарного изображения
К - количество анализируемых кадров, предшествовавших текущему;
W - размер скользящего окна, помещаемого последовательно в каждую точку текущего кадра (N=3, 5, 7,...);
D - минимально необходимое количество кадров для принятия решения о принадлежности рассматриваемой точки текущего кадра объекту;
n=2, 3, 4,... - номер кадра.
Таким образом, отличия заявляемого способа от прототипа состоят в следующем:
1) наличии ранее отсутствовавшего этапа определения угла поворота изображения текущего кадра относительно эталонного изображения ϕТЭ;
2) повышении точности вычисления параметров сдвига αТЭ и βТЭ до долей пикселя;
3) наличии этапа смены эталонного изображения в зависимости от вычисленных величин сдвига αТЭ, βТЭ и поворота ϕТЭ;
4) наличии ранее отсутствовавшего этапа вычисления параметров сдвига αТФ, βТФ и поворота ϕТ1 изображения текущего кадра относительно фонового изображения по найденным значениям αТЭ, βТЭ и ϕТЭ;
5) сдвиге фонового изображения на целое число пикселей (αR, βR);
6) наличии ранее отсутствовавшего этапа поворота изображения текущего кадра ln(i, j) на угол - ϕT1 вокруг центра изображения и последующего сдвига повернутого изображения на дробное число пикселей (Δα, Δβ);
7) использовании нового правила определения пороговой величины Т, учитывающего, кроме дисперсии аддитивного шума, турбулентность атмосферы, вибрацию датчика изображений и неточность определения параметров сдвига и поворота;
8) наличии этапа межкадровой фильтрации результатов пороговой обработки (бинарного изображения).
Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений осуществляется следующим образом:
1) аналого-цифровое преобразование сигнала изображения каждого кадра наблюдаемой последовательности;
2) запоминание изображения первого кадра обрабатываемой последовательности в качестве эталонного изображения;
3) запоминание изображения первого кадра обрабатываемой последовательности в качестве фонового изображения;
4) определение угла поворота изображения текущего кадра относительно эталонного изображения ϕТЭ;
5) определение параметров сдвига изображения текущего кадра относительно эталонного изображения αТЭ и βТЭ с субпиксельной точностью, где αТЭ - сдвиг изображения текущего кадра относительно эталонного изображения по вертикальной оси, βТЭ - сдвиг изображения текущего кадра относительно эталонного изображения по горизонтальной оси;
6) смена эталонного изображения при выполнении хотя бы одного из условий (|αТЭ|>Tαβ), (|βТЭ|>Тαβ) и (|ϕТЭ|>Tϕ), где Tαβ и Tϕ - соответственно максимально допустимые значения параметров сдвига и поворота;
7) вычисление параметров сдвига αТФ, βТФ и поворота ϕт1 по найденным значениям αТЭ, βТЭ и ϕТЭ, где αТФ - сдвиг изображения текущего кадра относительно фонового изображения по вертикальной оси, βТФ - сдвиг изображения текущего кадра относительно фонового изображения по горизонтальной оси, ϕТ1 - угол поворота изображения текущего кадра относительно изображения первого кадра;
8) сдвиг фонового изображения на (αR, βR) пикселей, где αR и βR - результат округления αТФ и βТФ до целого значения;
9) поворот изображения текущего кадра ln(i, j) на угол - ϕT1 вокруг центра изображения и последующий сдвиг повернутого изображения на дробное число пикселей (Δα, Δβ), где Δα=αТФ-αR и Δβ=βТФ-βR;
10) предварительная фильтрация преобразованного фонового изображения в течение первых Nпр кадров;
11) пороговая обработка абсолютной величины сигнала разности преобразованного изображения текущего кадра и преобразованного фонового изображения для всех последующих кадров, начиная с (Nпр+1)-го;
12) межкадровая фильтрация результатов пороговой обработки;
13) рекурсивное уточнение оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки.
Результат аналого-цифрового преобразования изображения каждого кадра имеет вид матрицы чисел ln (i, j), , где I и J - размеры оцифрованного изображения в элементах разрешения (пикселях), n=1, 2, 3,... - номер кадра. Каждый элемент матрицы ln(i, j) является результатом квантования яркости соответствующей точки наблюдаемой сцены.
В соответствии с разработанным способом эталонное изображение используется для компенсации наблюдаемых пространственных искажений изображения, а фоновое изображение - для выделения сигналов движущихся объектов.
Обработка каждого кадра наблюдаемой последовательности изображений, начиная со второго, начинается с вычисления угла поворота ϕТЭ изображения текущего кадра ln(i, j) относительно эталонного изображения e(i, j). Вычисление осуществляют по следующему правилу, использующему свойство инвариантности абсолютной величины спектра изображения от сдвига изображения и связь между углом поворота изображения в декартовой системе координат и величиной сдвига изображения в полярной системе координат:
где F-1 - оператор обратного дискретного преобразования Фурье;
- комплексно-сопряженный спектр сигнала ;
- результат логарифмирования абсолютной величины спектра сигнала представленный в полярной системе координат;
- результат перемножения изображения Δln(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения;
- центрированный сигнал изображения текущего кадра ln(i, j);
- среднее значение сигнала яркости изображения текущего кадра ln(i, j);
SSe(ωρ,ωϕ) - спектр сигнала 
- результат логарифмирования абсолютной величины спектра сигнала ew(i, j), представленный в полярной системе координат;
(ρ, ϕ) - полярные координаты;
ew(i, j) - результат перемножения центрированного сигнала эталонного изображения Δe(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения;
- центрированный сигнал эталонного изображения e(i, j);
- среднее значение сигнала яркости эталонного изображения e(i, j);
ωρ, ωϕ - пространственные частоты для полярной системы координат.
Вычисление спектров сигналов осуществляют с помощью алгоритма быстрого преобразования Фурье. Умножение сигнала изображения на оконную функцию w(i, j), спадающую до нуля от середины к краям изображения, выполняется с целью компенсации явления Гиббса. При обработке первого кадра значение ϕТЭ принимается равным нулю.
Определение угла поворота в соответствии с приведенным выше правилом позволяет значительно повысить точность оценки параметров сдвига и поворота по сравнению со способом, предложенным в [1]. Проведенные экспериментальные исследования показали, что при отношении сигнал/шум (отношении контраста объекта к среднеквадратическому отклонению аддитивного шума) около 8, максимальном угле поворота 10° и суммарной площади движущихся объектов, не превышающей 10% от общей площади изображения, ошибка оценивания угла поворота не превышает 10-3 градусов.
Определение параметров сдвига (αТЭ, βТЭ) изображения текущего кадра относительно эталонного осуществляют по правилу
где 
- комплексно-сопряженный спектр сигнала 
;
- результат перемножения изображения 
и оконной функции w(i, j);
- центрированный сигнал изображения ;
- результат поворота сигнала изображения текущего кадра ln(i, j) вокруг центра изображения на угол - ϕТЭ;
- среднее значение сигнала яркости изображения 
Se(ωi, ωj) - спектр центрированного сигнала эталонного изображения Δе(i, j);
ωi, ωj - пространственные частоты для декартовой системы координат.
Субпиксельная точность определения параметров сдвига αТЭ и βТЭ достигается использованием параболической интерполяции значений массива 
в окрестности точки максимума.
Для сохранения приемлемой точности определения параметров αТЭ, βТЭ и ϕТЭ происходит смена эталонного изображения каждый раз, как вычисленное в текущем кадре значение какого-либо из параметров превысит соответствующее максимально допустимое значение.
Проведенные экспериментальные исследования показали, что при отношении сигнал/шум около 8, максимальном сдвиге, не превышающем 15% от линейных размеров изображения и суммарной площади движущихся объектов, не превышающей 10% от общей площади изображения, ошибка оценивания сдвига не превышает 0,5 элемента разрешения (пикселя).
На основе вычисленных значений параметров αТЭ, βТЭ и ϕТЭ определяют значения параметров αТ1, βТ1 и ϕТ1, связывающих между собой изображение текущего кадра ln(i, j) и изображение первого кадра в соответствии с выражениями
αT1=αЭ1·cos(ϕТЭ)-βЭ1·sin(ϕТЭ)+αТЭ,
βT1=βЭ1·cos(ϕТЭ)+αЭ1·sin(ϕТЭ)+βТЭ,
ϕТ1=ϕТЭ+ϕэ1
где αТ1 - сдвиг изображения текущего кадра ln(i, j) относительно изображения первого кадра по вертикальной оси;
βT1 - сдвиг изображения текущего кадра ln(i, j) относительно изображения первого кадра по горизонтальной оси;
ϕT1 - угол поворота изображения текущего кадра относительно изображения первого кадра;
αЭ1 - сдвиг эталонного изображения e(i, j) относительно изображения первого кадра по вертикальной оси;
βЭ1, - сдвиг эталонного изображения e(i, j) относительно изображения первого кадра по горизонтальной оси;
ϕЭ1 - угол поворота эталонного изображения e(i, j) относительно изображения первого кадра.
Каждый раз при смене эталонного изображения параметры αЭ1, βЭ1 и ϕЭ1 обновляют:
αЭ1=αТ1, βЭ1=βТ1 и ϕЭ1=ϕТ1.
До первой смены эталонного изображения
αЭ1=0, βЭ1=0 и ϕЭ1=0.
Геометрическое преобразование изображения текущего (n-го) кадра ln(i, j) и фонового изображения ƒn-1(i, j), полученного в результате обработки (n-1) предыдущих кадров, осуществляют с целью компенсации наблюдаемых пространственных искажений изображения текущего кадра. В результате точки обоих изображений с одинаковыми координатами (индексами) соответствуют одной и той же точке наблюдаемой сцены.
Для выполнения геометрических преобразований изображений ln(i, j) и ƒn-1(i, j) предварительно вычисляют параметры сдвига αТФ и βТФ, связывающие изображение текущего кадра ln(i, j) и фоновое изображение ƒn-1(i, j), по правилам
αТФ=αТ1-αФ1 и βТФ=βТ1-βФ1,
где αТФ - сдвиг изображения текущего кадра ln(i, j) относительно фонового изображения ƒn-1(i, j) по вертикальной оси;
βТФ - сдвиг изображения текущего кадра ln(i, j) относительно фонового изображения ƒn-1(i, j) по горизонтальной оси;
- сдвиг фонового изображения ƒn-1(i, j) относительно изображения первого кадра по вертикальной оси;
- сдвиг фонового изображения ƒn-1(i, j) относительно изображения первого кадра по горизонтальной оси;
- значение αФ1, вычисленное при обработке предыдущего кадра (при обработке второго кадра 
=0);
- значение βФ1, вычисленное при обработке предыдущего кадра (при обработке второго кадра 
=0);
- результат округления значения 
до целого числа пикселей;
- результат округления значения 
до целого числа пикселей;
- значение αТФ, вычисленное при обработке предыдущего кадра (при обработке второго кадра =0);
- значение βТФ, вычисленное при обработке предыдущего кадра (при обработке второго кадра 
=0);
round(...) - функция округления до ближайшего целого значения.
После вычисления параметров αТФ и βТФ вычисляют значения αR и βR для текущего кадра в соответствии с выражениями
αR=round(αТФ) и βR=round(βТФ).
Компенсация пространственных искажений достигается выполнением следующих операций над сигналами изображений:
а) сдвиг фонового изображения ƒn-1(i, j) на (αR, βR) пикселей;
б) поворот изображения текущего кадра ln(i, j) на угол 
вокруг центра изображения;
в) сдвиг изображения 
на (Δα, Δβ) пикселей, где - изображение, получаемое в результате поворота ln(i, j) на угол 
Δα=αТФ-αR и Δβ=βТФ-βR.
В результате поворота и субпиксельного сдвига точка изображения с некоторыми координатами (i, j) переходит в точку результирующего изображения, координаты которой задаются нецелым числом, т.е. не совпадают с узлами дискретной сетки , на которой заданы изображения. Поэтому яркости точек изображения 
, получаемого в результате поворота изображения текущего кадра ln(i, j) вокруг центра на угол -ϕT1 и последующего сдвига повернутого изображения на дробное число пикселей (Δα, Δβ), вычисляются методом пространственной интерполяции яркостей точек изображения ln(i, j), оказавшихся в результате сдвига и поворота в окрестности рассматриваемой точки изображения 
с координатами (i, j), .
Известно, что пространственная интерполяция приводит к ослаблению высокочастотной составляющей сигнала изображения (размытию контуров, снижению разборчивости мелких деталей изображения). Экспериментально установлено, что ослабление высокочастотной составляющей фонового изображения, возникающее вследствие пространственной интерполяции, приводит к заметному снижению точности выделения сигналов движущихся объектов. Поэтому в соответствии с разработанной процедурой компенсации пространственных искажений фоновое изображение не подвергается операциям, требующим пространственной интерполяции изображения - повороту и субпиксельному сдвигу. Сдвиг фонового изображения на целое число пикселей (αR, βR) позволяет на последующих этапах обработки наблюдаемой последовательности изображений учитывать в фоновом изображении постепенный уход из поля зрения датчика изображений некоторых ранее наблюдавшихся и появление новых участков наблюдаемой сцены, вызванное движением датчика изображений. Результат сдвига фонового изображения на (αR, βR) пикселей имеет вид
(яркость точек, соответствующих ранее не наблюдавшимся точкам изображения текущего кадра, принимается равной яркости точек наблюдаемого изображения).
На этапе предварительной фильтрации осуществляют оценивание яркости ƒn(i, j) и второго начального момента μn(i, j) точек фонового изображения в течение Nпр кадров в соответствии с выражениями
и
где
- результат сдвига μn(i, j) на (αR, βR) пикселей.
Одновременно оценивают ƒn(i, j) и μn(i, j) для каждой точки наблюдаемого изображения подсчитывается количество кадров kn(i, j), в течение которых эта точка присутствовала в поле зрения датчика изображений. При обработке первого кадра каждой точке фонового изображения ставится в соответствие значение kn(i, j), равное 1. При обработке последующих кадров значение kn(i, j) увеличивается на единицу для всех наблюдаемых точек фонового изображения с учетом сдвига фонового изображения на (αR, βR) пикселей:
Если для какой-либо точки (i0, j0) счетчик количества кадров kn(i0, j0) достиг значения Nпр, то считается, что получены достаточно точные оценки яркости и второго начального момента фонового изображения в рассматриваемой точке.
Оценка дисперсии аддитивного шума dn(i, j), используемая на этапе пороговой обработки для выделения сигналов движущихся объектов, вычисляется однократно только для тех точек фонового изображения, для которых накоплены достаточно точные оценки яркости и второго начального момента, по правилу
dn(i, j)=μn(i, j)-[ƒn(i, j)]2 при kn(i, j)=Nпр.
При обработке всех последующих кадров вычисленная оценка dn(i, j) в точках, для которых kn(i, j)>Nпр, подвергается рекурсивному уточнению и сдвигу в соответствии с вычисленными параметрами (αR, βR).
На этапе пороговой обработки осуществляется выделение движущихся объектов путем сравнения яркостей точек изображения текущего кадра с яркостями соответствующих им точек фонового изображения. Если абсолютная величина разности двух изображений в рассматриваемой точке (i, j) превысила пороговую величину Т, то принимается гипотеза о принадлежности рассматриваемой точки изображению движущегося объекта. При определении пороговой величины Т учитывается дисперсия аддитивного шума, турбулентность атмосферы, вибрация датчика изображений и неточность определения параметров сдвига и поворота. Результат пороговой обработки имеет вид бинарного изображения bn(i, j), вычисляемого по правилу
где 
λ - полуширина (1-p_)·100% доверительного интервала для нормированной гауссовой случайной величины;
p_ - допустимая вероятность ошибочного отнесения точки фона к объекту;
- оценка суммарной дисперсии помех, вызванных аддитивным шумом, турбулентностью атмосферы, вибрацией датчика изображений и неточным определением параметров сдвига и поворота;
- оценка дисперсии помех, вызванных атмосферными явлениями и неточностью оценки параметров геометрических искажений;
- оценка градиента преобразованного фонового изображения;
- оценка дисперсии ошибок, вызванных неточным определением угла поворота;
- оценка дисперсии ошибок, вызванных неточной оценкой сдвига;
- оценка дисперсии ошибок, вызванных турбулентностью атмосферы, вибрацией датчика изображений, задаваемыми как случайный гауссовский сдвиг точек изображения.
Экспериментальные исследования показали, что при отношениях сигнал/шум от 2 до 6 использование разработанного способа позволяет повысить частоту правильного выделения на 5-10% или снизить частоту ложного выделения примерно в 1,5-2 раза по сравнению с прототипом.
Межкадровая фильтрация результатов пороговой обработки позволяет значительно снизить количество точек, ошибочно отнесенных к объекту или к фону. Результат межкадровой фильтрации, так же как и результат пороговой обработки, имеет вид бинарного изображения qn(i, j), вычисляемого по правилу
,
где 
;
К - количество анализируемых кадров, предшествовавших текущему;
;
;
W - размер скользящего окна, помещаемого последовательно в каждую точку текущего кадра (N=3, 5, 7,...);
D - минимально необходимое количество кадров для принятия решения о принадлежности рассматриваемой точки текущего кадра объекту.
Применение межкадровой фильтрации результатов пороговой обработки при отношениях сигнал/шум от 2 до 5 позволяет повысить частоту правильного выделения в среднем на 30-50% при сохранении прежнего значения частоты ложного выделения.
Процедура рекурсивного уточнения оценок яркости точек фонового изображения ƒn(i, j) и дисперсии аддитивного шума dn(i, j), полученных в результате предварительной фильтрации фонового изображения, позволяет учитывать изменения указанных параметров от кадра к кадру. Уточнение оценок ƒn(i, j) и dn(i, j) осуществляется в соответствии с выражениями
Точки фонового изображения, для которых qn(i, j)=1, являются ненаблюдаемыми в текущем кадре (т.е. закрыты движущимися объектами), поэтому уточнение оценок в этих точках не осуществляется.
В точках фонового изображения, для которых значение kn(i, j) не достигло значения Nпр, продолжается оценивание яркости ƒn(i, j) и второго начального момента μn(i, j) в соответствии с выражениями, аналогичными приведенным выше (для этапа предварительной фильтрации).
Счетчик количества кадров kn(i, j), в течение которых наблюдалась та или иная точка фонового изображения, продолжает обновляться и после этапа предварительного накопления оценок с учетом результатов обработки изображения текущего кадра по правилам
Если при обработке изображения текущего кадра значение счетчика количества кадров в рассматриваемой точке достигло Nпр, то, начиная со следующего кадра, для этой точки будет выполняться пороговая обработка абсолютной величины разности изображений 
и 
с целью принятия решения о наличии в этой точке изображения движущегося объекта.
Предлагаемый способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений может быть реализован на базе персональной электронной вычислительной машины (ПЭВМ) общего назначения, осуществляющей обработку последовательности изображений, поступающей от цифровой видеокамеры или от аналоговой видеокамеры через плату оцифровки изображения (фреймграббер). При использовании ПЭВМ типа Pentium IV 3 ГГц (ОЗУ - 512 Мбайт, FSB - 4×187 МГц, операционная система - Windows 2000 Professional или Windows XP) и фреймграббера Matrox Meteor II частота обработки составляет 15 кадров в секунду.
Предусмотрен также вариант реализации предлагаемого способа базе двух ПЭВМ общего назначения, удовлетворяющий более строгим требованиям к частоте обработки последовательности телевизионных изображений и отличающийся от описанного выше варианта тем, что одна из ПЭВМ используется только для решения задачи компенсации пространственных искажений, другая - для выделения объектов. При аналогичной конфигурации обеих ПЭВМ (Pentium IV 3 ГГц, ОЗУ - 512 Мбайт, FSB - 4×187 МГц, операционная система - Windows 2000 Professional или Windows XP) частота обработки составляет 25 кадров в секунду.
В случаях, когда использование ПЭВМ общего назначения невозможно (например, при разработке бортовых видеоинформационных систем для летательных аппаратов) либо необходима более высокая частота обработки, предлагаемый способ обработки сигналов может быть реализован на базе программируемых логических интегральных схем (ПЛИС) либо совместного использования ПЛИС и специализированных цифровых процессоров обработки сигналов, осуществляющих общее управление процессом вычислений.
Таким образом, использование предлагаемого способа в охранных системах, системах технического зрения, системах космического мониторинга Земли и др. позволит значительно повысить устойчивость таких систем к пространственным искажениям изображения, вызванным движением датчика изображений, его вибрацией и турбулентностью атмосферы по сравнению с ранее используемыми способами.
1. Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений, заключающийся в аналого-цифровом преобразовании сигнала изображения каждого кадра, запоминании первого кадра обрабатываемой последовательности в качестве эталонного изображения, запоминании первого кадра обрабатываемой последовательности в качестве фонового изображения, определении параметров сдвига изображения текущего кадра относительно эталонного изображения, сдвиге фонового изображения в соответствии с полученными оценками параметров сдвига, предварительной фильтрации фонового изображения в течение первых Nпр кадров, пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения для всех последующих кадров, начиная с (Nпр+1)-го, рекурсивном уточнении оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки, отличающийся тем, что угол поворота изображения текущего кадра относительно эталонного изображения определяют до определения параметров сдвига изображения текущего кадра относительно эталонного изображения, вычисление параметров сдвига изображения текущего кадра относительно эталонного изображения осуществляют с субпиксельной точностью, при превышении вычисленными значениями сдвига и угла поворота изображения текущего кадра относительно эталонного изображения максимально допустимого значения осуществляют смену эталонного изображения, после проверки условия смены эталонного изображения вычисляют параметры сдвига изображения текущего кадра относительно фонового изображения и угла поворота изображения текущего кадра относительно изображения первого кадра по найденным значениям параметров сдвига и поворота текущего кадра относительно эталонного изображения, сдвиг фонового изображения осуществляют на целое число пикселей, после сдвига фонового изображения на целое число пикселей осуществляют поворот и субпиксельный сдвиг изображения текущего кадра, при пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения значение пороговой величины вычисляют с учетом турбулентности атмосферы, вибрации датчика изображений и неточности определения параметров сдвига и поворота, после пороговой обработки абсолютной величины сигнала разности изображения текущего кадра и фонового изображения дополнительно осуществляют межкадровую фильтрацию результатов пороговой обработки.
2. Способ по п.1, отличающийся тем, что угол поворота изображения текущего кадра относительно эталонного изображения ϕТЭ определяют по правилу:
F-1 - оператор обратного дискретного преобразования Фурье;
- комплексно-сопряженный спектр сигнала 
;
- результат логарифмирования абсолютной величины спектра сигнала 
, представленный в полярной системе координат;
- результат перемножения изображения ΔLn(i, j) и оконной функции w(i, j), 
, спадающей до нуля от середины к краям изображения;
- центрированный сигнал изображения текущего кадра In(i, j);
- среднее значение сигнала яркости изображения текущего кадра Ln(i, j);
SSe(ωρ,ωϕ) - спектр сигнала 
;
- результат логарифмирования абсолютной величины спектра сигнала ew(i, j), представленный в полярной системе координат;
(ρ, ϕ) - полярные координаты;
ew(i, j) - результат перемножения центрированного сигнала эталонного изображения Δe(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения;
- центрированный сигнал эталонного изображения e(i,j);
- среднее значение сигнала яркости эталонного изображения e(i, j);
ωρ, ωϕ - пространственные частоты для полярной системы координат.
3. Способ по п.1, отличающийся тем, что параметры сдвига фонового изображения (αR, βR) вычисляют как αR=round(αТФ) и βR=round(βТФ), где round(...) - функция округления до ближайшего целого значения, αТФ - сдвиг изображения текущего кадра относительно фонового изображения по вертикальной оси, βТФ - сдвиг изображения текущего кадра относительно фонового изображения по горизонтальной оси, а параметры сдвига и поворота изображения текущего кадра определяют как - ϕТ1 и (Δα, Δβ), где ϕТ1 - угол поворота изображения текущего кадра относительно изображения первого кадра, Δα=αТФ-αR, Δβ=βТФ-βR.
4. Способ по п.1, отличающийся тем, что межкадровую фильтрацию результатов пороговой обработки осуществляют по правилу
где gn(i, j) - результат межкадровой фильтрации в виде бинарного изображения;
;
К - количество анализируемых кадров, предшествовавших текущему;
;
;
W - размер скользящего окна, помещаемого последовательно в каждую точку текущего кадра (N=3, 5, 7,...);
D - минимально необходимое количество кадров для принятия решения о принадлежности рассматриваемой точки текущего кадра объекту;
n=2, 3, 4,... - номер кадра.
