Способ выявления повторяющихся кадров видео
Владельцы патента RU 2642402:
Общество с ограниченной ответственностью "СТРИМ Лабс" (ООО "СТРИМ Лабс") (RU)
Изобретение относится к области цифрового телевидения. Технический результат – повышение достоверности выявления повторяющихся кадров в видео. Способ выявления повторяющихся кадров видео в системе цифрового телевидения заключается в том, что сравнивают значение яркости пикселей соседних кадров видео, разбивают последовательность кадров видео на K групп, каждая из которых содержит N соседних кадров, затем каждый из кадров разбивают на М сегментов равной площади с вычислением для каждого из них среднего арифметического значения яркости пикселей, далее для каждой j-й группы кадров вычисляют математическое ожидание и среднеквадратическое отклонение значений яркости каждого i-го сегмента кадра D[i, j], выбирают для каждого из i максимальное и минимальное значение Dmax[i] и Dmin[i], после чего вычисляют М разностей ΔD[i]=Dmax[i]-Dmin[i] и, если максимальное из ΔD[i] меньше порогового значения, диагностируют наличие повторяющихся кадров в видео. 8 з.п. ф-лы, 3 ил.
Изобретение относится к цифровому телевидению и может быть использовано для диагностики последовательности кадров цифрового видео.
Некоторые из видов нарушений штатного функционирования систем цифрового видео проявляются в виде наличия в последовательности транслируемых кадров в течение определенного промежутка времени повторяющихся кадров, визуально идентифицируемых как статичный кадр или зацикленная группа из нескольких кадров.
В последние годы наблюдается стремительное развитие систем цифрового телевидения (ЦТВ) и замещение ими систем аналогового телевидения. Системы ЦТВ используют в своей работе стандартизованные видеокодеки, такие как h.264/avc, h.265/hevc и др. При передаче по различным каналам связи сетей распространения ЦТВ цифровой сигнал может быть искажен, например при неблагоприятных погодных условиях или сбоях в каналах передачи данных. При наличии искажений цифрового сигнала видеокодек, осуществляющий декомпрессию цифрового потока, оказывается неспособным функционировать штатным образом и может выдавать на выход последовательность повторяющихся кадров («замерзший» кадр, «стоп-кадр», либо зацикленная группа из нескольких, как правило, от 2 до 25, кадров).
Стандартизованные видеокодеки, как правило, содержат встроенные алгоритмы диагностики входного цифрового потока на предмет наличия ошибок, однако данные этой диагностики теряются при промежуточном перекодировании цифрового видео, например при изменении разрешающей способности в промежуточных точках распространения, врезке в изображение текстовой информации и в других подобных случаях - при этом конечному потребителю передается цифровой поток без ошибок, однако закодированное в нем видео содержит последовательность повторяющихся кадров.
Для выявления наличия повторяющихся кадров видео используют различные способы анализа значений яркости пикселей яркостной компоненты кадров, полученных после декомпрессии кодеком.
Известен способ аналогичного назначения, заключающийся в вычислении абсолютных значений разностей яркости одноименных пикселей для пары соседних кадров, построении битовой карты путем сравнения каждого из вычисленных абсолютных значений указанных разностей с пороговым значением, после чего судят о наличии или отсутствии повторяющихся кадров в видео / US Patent 6,377,297, кл. H04N 7/26.
Недостатком аналога является низкая устойчивость к воздействию аддитивного шума, поскольку пороговое значение для построения битовой карты вычисляется как определенный процент от максимального значения разностей яркости пикселей соседних кадров, которое может являться аномальным значением.
Известен способ аналогичного назначения, заключающийся в анализе значений яркости пикселей пар кадров путем разбиения каждого из кадров пары на одинаковые сегменты и вычисления для каждой из пар одноименных сегментов меры сходства с последующем сравнением указанной меры с пороговым значением. Если пороговое значение не было превышено для каждой из пар одноименных сегментов, диагностируют наличие повторяющихся кадров в видео /US Patent 9,031,134, кл. H04N 19/87.
Недостатком аналога является сложность выбора универсального порогового значения меры сходства, пригодного для решения поставленной задачи для всего многообразия транслируемого видеоконтента в условиях наличия аддитивного шума с неизвестной дисперсией, который вносит искажения в значение вычисленной меры сходства и может приводить к ложному определению наличия повторяющихся кадров. Недостатком аналога также является низкая достоверность выявления повторяющихся групп кадров, поскольку способ предусматривает сравнение сегментов только пары кадров, которые могут и отличаться.
Указанные недостатки аналогов частично устранены в способе аналогичного назначения, заключающемся в вычислении разниц яркостей каждого из пикселей соседних кадров, сравнении указанных разниц с динамическим пороговым значением, возведении в квадрат тех значений разниц, которые превысили уровень динамического порогового значения и вычислении среднего значения (Avg) полученных величин для каждой пары соседних кадров. Далее на основе полученных значений Avg вычисляют показатель качества видео, характеризующий наличие повторяющихся кадров, причем данное вычисление выполняют с использованием предварительно обученной нейронной сети. Вычисление динамического порогового значения проводят путем осреднения по времени полученных значений Avg / US Patent 9,277,208, кл. H04N 19/44. Данный способ принят за прототип.
Недостатком прототипа является низкая достоверность выявления повторяющихся кадров видео в условиях действия аддитивного шума с неизвестной дисперсией и законом распределения, поскольку в прототипе проводят анализ пар соседних кадров с вычислением порогового значения путем осреднения по времени квадратов межкадровых разностей яркостей пар пикселей, при этом, чем выше дисперсия аддитивного шума, тем больше будут отклонения экстремальных значений разностей яркости пикселей от вычисленного порогового значения, что не позволит выявить наличие повторяющихся кадров в условиях сильного шума, особенно с законом распределения, не соответствующим гауссовому закону.
Недостатком прототипа также является отсутствие возможности выявления повторяющихся групп кадров видео, поскольку способ основан на анализе пар соседних кадров, которые могут существенно различаться в случае появления зацикленных кадров для сцен с высокой динамикой, например спортивных соревнований.
Техническим результатом, получаемым от внедрения изобретения, является устранение недостатков прототипа, а именно повышение достоверности выявления повторяющихся кадров в видео.
Изобретение поясняется чертежами. На фиг. 1 представлена схема реализации способа, на фиг. 2 и 3 - временные диаграммы для пояснения сущности способа.
Указанный технический результат, в соответствии с представленной на фиг. 1 схемой реализации способа, достигается за счет того, что в известном способе выявления повторяющихся кадров в видео, заключающемся в анализе значений яркости пикселей яркостной компоненты кадров видео, разбивают последовательность кадров видео на K последовательных групп 100, каждая из которых содержит N соседних кадров каждая, далее каждый из кадров разбивают на М неперекрывающихся сегментов равной площади, покрывающих всю площадь кадра, с вычислением для каждого из последних среднего арифметического яркости пикселей, затем для каждой j-й группы кадров вычисляют математическое ожидание и среднеквадратическое отклонение (СКО) D[i, j] значений яркости каждого i-го сегмента кадра 101, выбирают для каждого из i максимальное и минимальное значение СКО Dmax[i] и Dmin[i], после чего вычисляют М разностей ΔD[i] 102, где ΔD[i]=Dmax[i]-Dmin[i] и, если максимальное из ΔD[i] меньше заданного порогового значения 103, диагностируют наличие повторяющихся кадров в видео.
СКО для i-го сегмента j-й группы кадров вычисляют по следующей формуле:
где
i - номер сегмента кадра;
j - порядковый номер группы кадров;
μ - порядковый номер кадра внутри группы;
M[i, j] - математическое ожидание значения яркости i-го сегмента кадра из j-й группы;
D[i, j] - СКО значения яркости i-го сегмента кадра из j-й группы;
N - количество кадров в каждой из групп;
A[i, j, μ] - значение среднего арифметического яркости пикселей i-го сегмента μ-го кадра j-й группы.
Выбор порогового значения Th проводят экспериментально путем последовательной реализации способа для различных типовых сцен, включающих как сцены с повторяющимися группами кадров, так и сцены кинофильмов и/или новостных передач, либо, если закон распределения аддитивной шумовой компоненты приблизительно соответствует гауссовому, расчетным методом с использованием формулы
где
σ2 - дисперсия шумовой компоненты яркостного сигнала одного пикселя кадра, определяемая по характеристикам канала связи;
N - количество кадров в группе;
MPIX/SEG - количество пикселей в каждом из сегментов кадра;
- α - квантиль распределения хи-квадрат с N-1 степенями свободы, определяемая по стандартным справочникам, причем α задают равным 0,99.
В целях иллюстрации способа приведем пример вычисления значения порога Th, задав значением σ2 равным 5. Разрешение кадров примем соответствующим стандарту SD (720×576 пикселей), количество пикселей в каждом из сегментов кадра зададим исходя из сетки с количеством элементов 48×48 шт., соответствующей сегменту изображения 15×12 пикселей. Указанный размер сегмента приблизительно соответствует размеру наименьшего элемента изображения, влияющего на принятие решения о выявлении повторяющихся групп кадров. При этом MPIX/SEG=180. Количество кадров в группе зададим равным 20. По таблицам для распределения хи-квадрат определяем 0,99-ю квантиль для количества степеней свободы, равного 19: 
; при этом вычисленное значение Th составит 1,003.
Полученное пороговое значение Th сохраняется в базе данных.
Рассмотрим иллюстрацию способа в условиях наличия повторяющегося кадра с аддитивным шумом с равномерным законом распределения в интервале [-3, 3] (на чертеже не показан). В этом случае значения яркости i-го сегмента первой и K-й групп кадров будут, соответственно, равны для одной из реализаций шумовой компоненты:
{34, 33, 34, 33, 35, 30, 31, 35, 31, 33, 35, 30, 30, 29, 29, 32, 34, 32, 29, 33}
и
{31, 33, 34, 35, 31, 33, 29, 29, 35, 33, 33, 32, 35, 35, 33, 29, 30, 34, 32, 32}
При этом разница между D[i, 1] и D[i, K] составит 0.063, a ΔD[i]=Dmax[i]-Dmin[i] не будет существенно превышать 0.063 в силу постоянства закона распределения аддитивной шумовой компоненты. При этом ΔD[i] не превысит выбранного значения Th для всех сегментов кадра и следует сделать вывод о наличии повторяющихся кадров.
Рассмотрим более сложную ситуацию появления на выходе видеодекодера последовательности из 4-х зацикленных кадров в смеси с аддитивным шумом с гауссовым законом распределения и дисперсией σ2, равной 5 и стабилизации данного состояния. На Фиг. 2 изображена диаграмма значений яркости одного из сегментов кадра (где числовые позиции 1, 5, 9, 13, 17 характеризуют порядковый номер кадра внутри группы на оси μ, а ось А определяет значения яркости выбранного для рассмотрения i-го сегмента), например сегмента №5 (i=5) группы кадров №1:
{86, 29, 50, 26, 81, 31, 55, 28, 83, 34, 52, 29, 86, 34, 55, 26, 85, 34, 54, 27},
и группы кадров №K:
{84, 29, 48, 24, 83, 32, 53, 29, 85, 30, 54, 32, 86, 31, 52, 21, 81, 28, 53, 25},
при этом вычисленное по формуле 1 значение математического ожидания М[5, 1]=49.25, а значение СКО D[5, 1]=22.47 (на фиг. 2 СКО показано относительно значения математического ожидания для наглядности представления). Вычисленное по формуле 1 значение математического ожидания для группы кадров №К М[5, K]=48.0, а значение СКО D[5, K]=23.03, что близко к значению СКО D[5, 1]. Поскольку процесс трансляции зацикленных кадров имеет продолжительный во времени характер, а дисперсия аддитивной шумовой компоненты постоянна, то значения СКО яркости рассматриваемого сегмента кадра будут близки и для остальных групп кадров, при этом ΔD[5]=Dmax[5]-Dmin[5] будет близко к значению D[5, K]-D[5, 1]=0,56. При этом ΔD[i] не превышает выбранного значения Th=1,003, следовательно, диагностируют наличие повторяющихся кадров в видео.
На Фиг. 3 изображена диаграмма значений яркости i-го сегмента кадра в условиях штатного функционирования видеодекодера, при этом зависимость значений яркости сегмента кадра от номера кадра будет представлять собой сложный нестационарный процесс, зависящий от характера сцены, например для анализируемой первой группы кадров:
{84, 12, 14, 13, 12, 16, 18, 13, 15, 15, 19, 12, 14, 14, 18, 11, 83, 14, 15, 12},
а для K-й группы кадров
{9, 3, 4, 5, 89, 24, 88, 76, 90, 22, 79, 66, 93, 1, 1, 1, 15, 7, 8, 9},
при этом для первой группы кадров математическое ожидание составит M[i, 1]=21.2, а СКО будет равно D[i, 1]=21.42. Для K-й группы кадров указанные выше величины будут равны, соответственно, M[i, K]=34.5 и D[i, K]=37.41. Отсюда видно, что разница между максимальным и минимальным значениями СКО не будет меньше 15.99, то есть ΔD[i]≥D[i, K]-D[i, 1] при любых значениях СКО остальных групп кадров D[i, 2], D[i, 3], D[i, K-1]. При этом ΔD[i] существенно превышает выбранное значения Th=1,003 и, следовательно, диагностируют наличие повторяющихся кадров в видео.
Выявление факта наличия повторяющихся кадров в предлагаемом способе осуществляется, только если максимальное значение ΔD[i] ниже порогового значения, этим достигается отсутствие ложной идентификации повторяющихся кадров для малодинамичных сцен, например для новостных передач с диктором. В этом случае максимальное значение ΔD[i], например ΔD[77], будет у сегмента кадра, соответствующего наиболее динамичной области последнего, например области лица диктора. При этом пороговое значение Th будет превышено для ΔD[77] и ложного выявления повторяющихся кадров не последует даже если все остальные значения, а именно ΔD[1]…ΔD[76], ΔD[78]…ΔD[M] будут ниже порогового значения.
Количество кадров N в группе выбирают в зависимости от характерной для конкретного декодера видео длины внутреннего буфера кадров. Для эффективного распределения кадров в группе оптимально N выбирать в интервале от 2 до 64.
Количество анализируемых групп кадров К выбирают исходя из характерного времени реакции на нештатные ситуации оператора станции мониторинга качества трансляции, которое составляет порядка 20 с, то есть K=Fk*20/N, где Fk - принятая в системе ЦТВ частота кадров, например Fk=25 кадров/с.
Результаты идентификации повторяющихся кадров записывают в базу данных сервера мониторинга.
При идентификации повторяющихся кадров в базе данных также фиксируют время данного события и географические координаты места реализации данного события.
Информацию о фактах выявления повторяющихся кадров отображают на мониторе оператора.
Информацию о фактах выявления повторяющихся кадров передают в центр распространения видеопрограммы.
Выявление повторяющихся кадров видео осуществляют на стационарном пункте мониторинга качества телевещания.
Выявление повторяющихся кадров видео осуществляют на мобильном пункте мониторинга качества телевещания.
Способ реализован в автоматизированных программно-аппаратных комплексах MultiScreen и MultiProbe, прошел приемочные испытания и широко эксплуатируется на всех пунктах регионального цифрового телевещания ФГУП «Российская телевизионная и радиовещательная сеть», на 62 пунктах мониторинга качества цифрового телевещания ФГУП «Радиочастотный центр центрального федерального округа», в системах операторов спутникового телевидения «Триколор ТВ», операторов кабельного телевидения «Акадо» и в других местах.
По сравнению с прототипом способ позволяет с высоким уровнем достоверности идентифицировать в потоке цифрового видео наличие повторяющихся кадров.
Это подтверждает достижение поставленного технического результата.
1. Способ выявления повторяющихся кадров видео в системе цифрового телевидения, заключающийся в сравнении значений яркости пикселей соседних кадров видео, отличающийся тем, что разбивают последовательность кадров видео на K групп, каждая из которых содержит N соседних кадров, затем каждый из кадров разбивают на М сегментов равной площади с вычислением для каждого из них среднего арифметического значения яркости пикселей, далее для каждой j-й группы кадров вычисляют математическое ожидание и среднеквадратическое отклонение значений яркости каждого i-го сегмента кадра D[i, j], выбирают для каждого из i максимальное и минимальное значение Dmax[i] и Dmin[i], после чего вычисляют М разностей ΔD[i]=Dmax[i]-Dmin[i] и, если максимальное из ΔD[i] меньше порогового значения, диагностируют наличие повторяющихся кадров в видео.
2. Способ по п. 1, отличающийся тем, что дополнительно сохраняют в базе данных пороговое значение.
3. Способ по п. 1, отличающийся тем, что дополнительно сохраняют в базе данных информацию о фактах выявления повторяющихся кадров, а также отсчеты времени, соответствующие данным фактам.
4. Способ по п. 3, отличающийся тем, что информацию о фактах выявления повторяющихся кадров дополнительно отображают на мониторе оператора.
5. Способ по п. 3, отличающийся тем, что дополнительно сохраняют в базе данных географические координаты места выявления повторяющихся кадров.
6. Способ по п. 3, отличающийся тем, что результаты выявления повторяющихся кадров передают в центр распространения видеопрограммы.
7. Способ по п. 3, отличающийся тем, что выявление повторяющихся кадров видео осуществляют на стационарном пункте мониторинга качества телевещания.
8. Способ по п. 5, отличающийся тем, что выявление повторяющихся кадров видео осуществляют на мобильном пункте мониторинга качества телевещания.
9. Способ по п. 1, отличающийся тем, что N выбирают в интервале от 2 до 64 кадров.
