Вставка дополнительных данных в сигнал

Изобретение относится к способу и устройству для вставки дополнительных данных в информационный сигнал (видео-, аудиосигнал, мультимедийное содержание).Техническим результатом является возможность размещать мультибитовые коды в одном водяном знаке или только в нескольких различных водяных знаках, что позволяет не только обнаружить вставленный водяной знак, но и без дополнительных вычислений получить относительное положение множества изображений, созданных на основе этого водяного знака. Технический результат достигается тем, что дополнительные данные кодируются в относительное положение или фазу одного или более водяных знаков, что позволяет вставлять мультибитовые данные, используя только один или несоклько определенных водяных знаков. 6 н. и 7 з.п. ф-лы, 10 ил., 2 табл.

 

Область изобретения

Настоящее изобретение относится к способу и устройству для вставки дополнительных данных в информационный сигнал, например видеосигнал, аудиосигнал или, в более общем смысле, мультимедийное содержание. Изобретение также относится к способу и устройству для обнаружения упомянутых дополнительных данных.

Предпосылки создания изобретения

Известный способ вставки дополнительных данных описан в патенте США 5,748,783. В этом способе, относящемся к известному уровню техники, N-битный код вставляется путем добавления низкоамплитудного "водяного знака", который имеет вид "белого" шума. Каждый бит кода связан с индивидуальным водяным знаком, который имеет размер и величину, равные исходному сигналу (например, оба представляют собой цифровое изображение 512× 512). Бит кода со значением "1" означает добавление соответствующего водяного знака к сигналу. Бит "0" кода означает, что соответствующий водяной знак к сигналу не был добавлен или, в другом случае, означает, что он вычитается из сигнала. Таким образом, N-битный код представляет собой сумму до N различных рисунков водяного знака (шума).

Если имеется подозрение, что изображение (или часть изображения), например, в выпуске журнала, является нелегальной копией оригинального изображения, оригинальное изображение вычитается из подозреваемого изображения, и N индивидуальных рисунков водяных знаков кросскоррелируются с изображением-разностью. В зависимости от величины корреляции между изображением-разностью и каждым из индивидуальных рисунков водяных знаков соответствующий бит принимает значение либо "0", либо "1", и затем извлекается N-битный код.

Недостатком существующего способа является то, что N различных рисунков водяных знаков должны добавляться там, где производится кодирование, а обнаруживаться N рисунков водяных знаков должны каждый по отдельности там, где производится декодирование.

Задачи, решаемые изобретением, и его общее описание

Задачей настоящего изобретения является предоставление таких способа и устройства для вставки и обнаружения водяного знака, которые устраняли бы недостатки известных.

Для этого настоящее изобретение предлагает способ вставки дополнительных данных в информационный сигнал, который включает этапы: смещения одного или более заранее определенных рисунков водяных знаков один или более раз на вектор, причем соответствующий вектор (вектора) индицирует упомянутые дополнительные данные; и вставки упомянутого смещенного водяного знака (знаков) в упомянутый информационный сигнал. Соответствующий способ обнаружения дополнительных данных в информационном сигнале включает этапы: обнаружения одного или более вставленных водяных знаков; определения вектора, на который каждый обнаруженный водяной знак смещен относительно заранее определенного водяного знака; и извлечения упомянутых дополнительных данных из упомянутого вектора (векторов). Предпочтительные варианты изобретения описаны в дополнительных пунктах формулы.

Изобретение позволяет размещать мультибитовые коды в одном рисунке водяного знака или только в нескольких различных водяных знаках. Это важно при использовании процесса обнаружения водяного знака в бытовой аппаратуре, такой как видео-, или аудиоплейеры, или магнитофоны, так как рисунки водяных знаков, которые, должны быть обнаружены, хранятся в данных устройствах. Настоящее изобретение исходит из того, что имеются такие методы обнаружения, которые не только обнаруживают, вставлен или нет в сигнал данный водяной знак, но также без дополнительных вычислений сообщают относительные положения множеств, созданных на основе упомянутого водяного знака. Это является значительным преимуществом, так как количество бит, которые могут быть вставлены в информационное содержание, всегда на практике представляет собой компромисс между устойчивостью, видимостью и скоростью обнаружения. Настоящее изобретение, таким образом, делает возможным обнаружение в реальном времени при умеренных требованиях к аппаратным средствам.

Краткое описание чертежей

На фиг.1 схематично изображено устройство для вставки водяного знака в сигнал согласно настоящему изобретению.

На фиг.2 и фиг.3 изображены диаграммы, иллюстрирующие работу устройства вставки, показанного на фиг.1.

На фиг.4 схематически изображено устройство обнаружения вставленного водяного знака согласно настоящему изобретению.

На фиг.5, фиг.6А и фиг.6В изображены диаграммы, иллюстрирующие работу детектора, показанного на фиг.4.

На фиг.7 изображено устройство для воспроизведения битового потока видеосигнала с вставленным водяным знаком.

На фиг.8 и фиг.9 изображены диаграммы, дополнительно иллюстрирующие процесс вставки и обнаружения мультибитовой информации в водяном знаке согласно настоящему изобретению.

Описание предпочтительных вариантов изобретения

Для удобства схема создания водяных знаков, согласно настоящему изобретению, будет описана как система присоединения невидимых меток к видеосодержанию, но, очевидно, что данные принципы могут быть применены к любому другому содержанию, включая аудио и мультимедиа. Далее по тексту часто будет использовано для данного способа название JAWS (еще одна система создания водяных знаков).

На фиг.1 показано практическое воплощение устройства вставки водяных знаков согласно настоящему изобретению. Устройство вставки включает источник изображения 11, который создает изображение Р, и сумматор 12, который добавляет водяной знак W к изображению Р. Водяной знак W является картинкой шума, имеющей тот же размер, что и изображение, например, N₁ пикселей по горизонтали и N₂ пикселей по вертикали. Водяной знак W предоставляет ключ К, т.е. мультибитовый код, который должен быть извлечен там, где производится прием информации.

Чтобы избежать необходимости в процессе обнаружения водяного знака поиска водяного знака W по большому пространству N₁×N₂, водяной знак создается повторением и, если необходимо, усечением более мелких блоков, называемых "элементами мозаики" W(K), по всему изображению. Эта операция создания мозаики (15) показана на фиг.2. Элементы W(K) имеют фиксированный размер М× М. Размер М элемента мозаики не должен быть слишком меленьким: меньший М предполагает больше симметрии в W(K) и, следовательно, больший риск для безопасности. С другой стороны, М не должен быть слишком большим: большое значение М подразумевает большое пространство поиска для детектора и, следовательно, большую сложность. В системе Jaws выбран в качестве разумного компромисса М=128.

Затем вычисляется карта локальной насыщенности или маска видимости λ (Р) (16). В каждой позиции пикселя λ (Р) предоставляет критерий видимости дополнительного шума. Карта λ (Р) создается таким образом, чтобы иметь среднее значение, равное 1. Размноженная последовательность W(K) затем модулируется (17) с λ (Р), т.е. значение размноженного мозаикой водяного знака W(K) в каждой позиции умножается на величину видимости λ (Р) в этой позиции. Результирующая последовательность шума W(K,P), следовательно, зависит как от ключа К, так и от содержания изображения Р и называется W(K,P) адаптированным водяным знаком, так как он адаптирован к изображению Р.

И, наконец, уровень результирующего водяного знака определяется параметром глобальной насыщенности d, который обеспечивает глобальное масштабирование (18) W(K,P). Большое значение d соответствует устойчивому, но, возможно, видимому водяному знаку. Малое значение соответствует почти незаметному, но слабому водяному знаку. Реальный выбор d будет компромиссом между требованиями устойчивости и заметности. Помеченное водяным знаком изображение Q получается добавлением (12) W=d× W(K,P) к Р с округлением до целого числа пикселей и обрезанием до разрешенного диапазона величин в пикселях.

Для того чтобы вставить мультибитовый код К в водяной знак W, каждый элемент мозаики W(K) создается из ограниченного множества некоррелированных основных или исходных элементов {W₁ ...W_n} и их смещенных версий, согласно

где "смещение (W₁, k_ij)" представляет собой пространственное смещение основного М x М элемента W₁ на вектор k_ij с циклическим возвратом. Знаки s∈ {-1, +1), и смещения k зависят от ключа К через функцию кодирования Е(13). Задачей детектора является реконструировать К после извлечения знаков s_i и смещений k₁. Заметим, что каждый основной элемент мозаики W_i может повторяться несколько раз. На фиг.1 кодер 13 создает W(K)=W₁+W₂-W₂’, где W₂’ представляет собой смещенную версию W₂. Эта операция показана на фиг.3.

На фиг.4 изображена блок-схема детектора водяных знаков. Детектор водяных знаков принимает изображения Q, возможно, помеченные водяными знаками. Обнаружение водяных знаков в системе JAWS производится не для каждого отдельного кадра, а для групп кадров. Накоплением (21) некоторого количества кадров улучшается статистика обнаружения, а также, соответственно, улучшается и надежность обнаружения. Накопленные кадры затем разделяются (22) на блоки размером M× M (М=128), и все блоки складываются (23) в буфер q размером М× М. Эта операция известна как свертывание. Эту операцию свертывания иллюстрирует фиг.5.

Следующие этап в процессе обнаружения - убедиться в наличии в буфере q конкретной картинки шума. Чтобы обнаружить, включает или нет буфер q конкретный рисунок водяного знака W, содержимое буфера и упомянутый рисунок водяного знака подвергаются корреляции. Вычисление корреляции находящегося под подозрением информационного сигнала q с рисунком водяного знака w включает вычислением скалярного произведения d=<q, w> значений информационного сигнала и соответствующих значений рисунка водяного знака. Для одномерного информационного сигнала q={q_n} и рисунка водяного знака w={W_n) это может быть записано в математическом виде следующим образом:

Для двумерного М× М изображения q={q_ij} и рисунка водяного знака W={w_ij} скалярное произведение будет следующим:

В принципе, вектор k_i, на который смещен элемент мозаики W_i, может быть обнаружен последовательной подачей на детектор W_i с различными векторами k и определения, для какого k корреляция является максимальной. Однако, на это грубый алгоритм поиска расходуется много времени. Более того, до проведения обнаружения водяных знаков изображение Q могло подвергнуться различным формам обработки (таким, как транспонирование или кадрирование), так что детектор не знает пространственного расположения основного рисунка водяного знака W_i относительно изображения Q.

Вместо грубого поиска JAWS использует систему рисунков W(K). Буфер q проверяется на наличие этих исходных рисунков, их знаков и смещений. Корреляция d_k изображения q и исходного рисунка w, смещаемого на вектор k (k_x пикселей по горизонтали и k_y пикселей по вертикали), является следующей:

Значения корреляции d_k для всех возможных векторов смещения k основного рисунка W_i вычисляются одновременно с использованием быстрого преобразования Фурье. Как показано на фиг.4, как содержимое буфера q, так и основной рисунок водяного знака W_i подвергаются быстрому преобразованию Фурье (БПФ) в схемах преобразования 24 и 25 соответственно. Эти операции дают:

где и - ряды комплексных чисел.

Вычисление корреляции похоже на вычисление свертки q и сопряженной величины W_i. В домене преобразования это соответствует:

где символ ⊕ означает умножение с учетом порядка, а "сопряжение ( )" означает инвертирование знака мнимой части аргумента.

На фиг.4 сопряжение выполняется схемой сопряжения 26, а умножение с учетом порядка выполняется схемой умножения 27. Множество значений корреляции d={d_k} теперь получается применением обратного преобразования Фурье к результату упомянутого умножения:

которое выполняется на фиг.4 схемой обратного БПФ 28 (ОБПФ). Присутствие водяного знака W_i обнаруживается, если значение корреляции d_k больше заданной пороговой величины.

На фиг.6А показан график значений корреляции d_k, если в изображении Q проверяется наличие водяного знака W_i (см. фиг.1 и фиг.3). Пик 61 указывает, что W_i действительно обнаружен. Положение (0,0) этого пика указывает на то, что оказалось, что рисунок W_i, поступивший на детектор, имеет то же самое пространственное положение относительно изображения Q, что и рисунок W_i, поступивший на устройство вставки. На фиг.6В показан график значений корреляции, если на детектор поступил рисунок водяного знака W₂. Теперь обнаружены два пика. Положительный пик 62 на (0,0) означает наличие водяного знака W₂, а отрицательный пик 63 на (48,80) означает наличие водяного знака -W₂’. Положение последнего пика 63 относительно пика 62 (или, что то же самое, пика 61) указывает положение (в пикселях) W₂’ относительно W₂, т.е. вектор смещения k. Из обнаруженных таким образом векторов извлекаются вставленные данные К.

Вставленная информация может идентифицировать, например, владельца авторских прав или описание содержания. При защите от копирования дисков DVD это позволяет помечать материал следующей информацией: "разрешена одна копия", "копирование запрещено", "без ограничений", "дальнейшее копирование запрещено" и т.д. На фиг.7 показан проигрыватель DVD для воспроизведения битового потока MPEG, который записан на диске 71. Записанный сигнал поступает на выходной разъем 73 через переключатель 72. Выходной разъем соединен с внешним декодером MPEG и экраном (не показаны). Предполагается, что проигрыватель DVD может не воспроизводить видеосигналы с заранее определенным вставленным водяным знаком, если не выполняются другие условия, которые не относятся к данному изобретению. Например, помеченные водяным знаком сигналы могут воспроизводиться, только если диск 71 включает заданный "переменный" ключ. Для того, чтобы обнаружить водяной знак, проигрыватель DVD включает детектор водяных знаков 74, как описано выше. Детектор принимает записанный сигнал и управляет переключателем 72 в зависимости от того, обнаружен ли водяной знак или нет.

Схема оценки 29 (фиг.4) записывает одну или более троек s={(i_j,s_ij,k_ij)} для каждого исходного рисунка водяного знака W_i, поступившего на детектор водяных знаков. Здесь i_j представляет собой индекс исходного рисунка, s - его знак, а k - его положение относительно поступившего рисунка. Из этих данных извлекается вставленный ключ К.

Мультибитовый код может быть вставлен в один смещенный рисунок водяного знака (например, рисунок W’₂, показанный на фиг.3) при условии, если соответствующий основной рисунок водяного знака (W₂), поступивший на детектор, имеет то же положение относительно изображения, что и в устройстве вставки. В этом случае координаты пика в матрице корреляции (т.е. пика 63 на фиг.6В) недвусмысленно представляют собой вектор k. На практике, однако, абсолютное положение пика в массиве значений корреляции, соответствующих данному основному рисунку, может меняться из-за кадрирования или транспонирования изображений. Относительные положения нескольких пиков, однако, при кадрировании или транспонировании инвариантны. С этой точки зрения выгодно вставлять несколько водяных знаков и кодировать ключ К в их относительных положениях. Предпочтительно, один из пиков предоставляет эталонное положение. Этого можно достигнуть вставкой заранее определенного несмещенного водяного знака (например, W₁, который предоставляет эталонный пик 61 на фиг.6А) или вставкой одного из нескольких водяных знаков с отличающимся знаком (например, W₂, который предоставляет эталонный пик 62 на фиг.6В).

Теперь будет представлен математический анализ количества бит, которые могут быть вставлены. Более обобщенно будем предполагать, что мы имеем n основных элементов мозаики W₁ ...W_n, все одинакового фиксированного размера М× M и взаимно некоррелированные. М в форме М=2^m для целого m. В типичном случае имеем М=128=2⁷. Практически реализуемое в настоящее время количество различных основных рисунков, которые можно использовать, является небольшим: можно, например, предположить, что n=4 или n=8. Точное расположение пика можно представить только с точностью до нескольких пикселей. Таким образом, для вставки информации в относительные смещения пиков используем курсорную сетку для разрешенных транспонирований основных рисунков водяных знаков. Будем рассматривать сетки размера G× G, где G=2^g для целых g, меньших, чем m. Шаг сетки h=М/G.

Сначала будет рассматриваться количество бит, которое может быть вставлено в n различных основных рисунков водяных знаков (W₁...W_n), пик одного из которых (например, W₁) используется для предоставления эталонного положения. В этом случае вставляется информация в положения W₂...W_n, относительные к положению W₁. Для каждого из этих рисунков W₂...W_n имеется С² возможных смещений (т.е. 2d бит). Информационное содержимое, которое может быть вставлено в относительные смещения n рисунков водяных знаков на G× G сетке, равно 2g(n-1) бит. В следующей таблице 1 показаны эти количества бит для различных размеров сетки и числа основных рисунков. В этой таблице предполагается, что водяной знак имеет размер 128× 128.

Таблица 1 Количество бит, которые могут быть вставлены с использованием смещений n водяных знаков на сетках с шагом 16, 8 и 4
h	G× G	n=2	n=3	n=4	n=5	n=6
16	8× 8	6	12	18	24	30
8	16× 16	8	16	24	32	40
4	32× 32	10	20	30	40	50

Оказалось, что при существующей точности обнаружения пиков возможно выбрать шаг сетки h в 4 пикселя. Если в расчет должно приниматься масштабирование, возможно требуются большие шаги. Количество водяных знаков, которые могут быть использованы, может достигать 4 или даже 6, когда они становятся видимыми. Устойчивость необязательно всегда является большой проблемой при, например, 4 основных рисунках, а сложность обнаружения таковой остается. Следовательно, интересно исследовать ситуацию, где используются различные смещения лишь одного основного рисунка.

Рассмотрим также количество бит, которые могут быть вставлены в n транспонированных версий только одного основного рисунка W_i. Это имеет то преимущество, что необходимо приложить к детектору только один рисунок для определения n пиков корреляции. Это снижает сложность обнаружения на коэффициент n по сравнению с ситуацией, когда используется n различных рисунков. Можно увидеть, что это происходит ценой потери некоторой части информационного содержания, но что коэффициент его сокращения значительно меньше, чем коэффициент сокращения времени обнаружения. При использовании n смещений одного водяного знака по сравнению с использованием n различных водяных знаков имеется два важных отличия:

- Все смещения должны отличаться друг от друга. Этого не требуется, если используются различные рисунки.

- отсутствует эталонное положение, в противоположность ситуации, описанной выше, когда было "зафиксировано" W₁, и рассмотрены положения других водяных знаков (W₂, W₂’) относительно положения W₁.

На фиг.8 показаны примеры рисунков пиков на 8× 8 сетке (h=16) в случае, когда основной рисунок водяного знака W₁ был вставлен 3 раза с различными смещениями. Рисунок пиков 81 показывает положения 3 пиков, как они обнаружены детектором водяных знаков. Обращается внимание на то, что на основе того же водяного знака могут создаваться циклические смещения этого рисунка пиков. Например, рисунки пиков 82, 83 и 84 (в которых один из пиков смещен в левый нижний угол) все эквивалентны рисунку 81. На фиг.9 показан подобный рисунок пиков для 4 смещенных версий одного основного рисунка водяного знака W_i. В этом случае все смещенные версии рисунка с одним пиком в нижнем левом углу являются идентичными.

Чтобы определить точное информационное содержание, необходимо пересчитать все возможные различные рисунки вплоть до циклических смещений. Авторы изобретения провели эти вычисления. Результат приведен в следующей таблице 2.

Таблица 2 Количество бит, которые могут быть вставлены с использованием n смещенных версий одного рисунка водяного знака на сетках с шагом 16, 8 и 4
h	G× G	n=2	n=3	n=4	n=5	n=6
16	8× 8	5	9	13	16	20
8	16× 16	7	13	19	25	30
4	32× 32	9	17	25	33	40

Описанные выше способы могут комбинироваться несколькими путями. Например, можно использовать несколько смещенных версий различных рисунков или можно использовать информацию о знаках в комбинации со смещениями и т.д.

Таким образом, настоящее изобретение основано на свойствах инвариантности способа создания водяных знаков, который базируется на вставке n основных рисунков водяных знаков. Способ обнаружения в домене Фурье делает возможным обнаружение водяного знака в смещенных или кадрированных версиях изображения. Точное смещение рисунка водяного знака представляется пиком корреляции, полученным после применения обратного быстрого преобразования Фурье. Настоящее изобретение исходит из того, что после обнаружения точного смещения водяного знака это смещение может быть использовано для вставки информации. Изобретение позволяет эффективным в финансовом плане образом использовать процесс обнаружения водяных знаков не просто для решения вопроса о том, помечено или нет изображение или видеосигнал, а для вставки мультибитовой информации.

В итоге описан способ вставки дополнительных данных в сигнал. Данные кодируются в относительное положение или фазу одного или более основных рисунков водяных знаков. Это позволяет вставить мультибитовые данные, используя только один или несколько определенных рисунков водяных знаков.

1. Способ вставки дополнительных данных (К) в информационный сигнал (Р), содержащий этап, на котором вставляют один или более заранее определенные водяные знаки (W2) в информационный сигнал, отличающийся тем, что упомянутые водяные знаки вставляют в разных позициях в информационный сигнал, причем вектор (к), представляющий соответствующие позиции упомянутых водяных знаков, индицирует упомянутые дополнительные данные (К).

2. Способ по п.1, отличающийся тем, что водяной знак (W2) в одной из упомянутых позиций вставляют с другим знаком, чем в остальных позициях для обеспечения эталона для упомянутого вектора (к).

3. Способ по п.1, отличающийся тем, что водяной знак (W1) в одной из упомянутых позиций отличается от водяного знака в остальных позициях для обеспечения эталона для упомянутого вектора (к).

4. Способ по п.1, отличающийся тем, что вставленный водяной знак имеет размеры меньше, чем размер информационного сигнала, и этап вставки содержит повторение упомянутого водяного знака по всему информационному сигналу.

5. Способ обнаружения дополнительных данных в информационном сигнале, содержащий этап, на котором обнаруживают один или более вставленных водяных знаков (W2'), отличающийся тем, что способ дополнительно содержит этапы, на которых определяют соответствующие позиции упомянутых обнаруженных водяных знаков, извлекают упомянутые дополнительные данные из вектора (к), представляющего соответствующие позиции.

6. Способ по п.5, отличающийся тем, что водяной знак (W2), определяемый в одной из упомянутых позиций со знаком, отличающимся от знака в остальных позициях, обеспечивает эталон для упомянутого вектора (к).

7. Способ по п.5, отличающийся тем, что водяной знак (W1), определяемый в одной из упомянутых позиций, отличается от водяного знака, определяемого в остальных позициях, и обеспечивает эталон для упомянутого вектора (к).

8. Способ по п.5, отличающийся тем, что этап обнаружения вставленного водяного знака (W2') включает определение корреляции между информационным сигналом и смещенными версиями упомянутого заранее определенного водяного знака (W2), причем вектор (вектора) задают той смещенной версией (версиями), для которой упомянутая корреляция превышает заданную пороговую величину.

9. Способ по п.5, отличающийся тем, что вставленный водяной знак (W2') имеет размеры меньше, чем размер информационного сигнала, причем способ содержит этап, на котором разделяют информационный сигнал с вставленным водяным знаком на подсигналы, имеющие упомянутые размеры, суммируют упомянутые подсигналы и определяют вектор (к), на который вставленный водяной знак (W2') смещен относительно заранее определенного водяного знака (W2), имеющего те же размеры.

10. Устройство для вставки дополнительных данных (К) в информационный сигнал (Р), содержащее средства для вставки одного или более заранее определенных водяных знаков (W2) в информационный сигнал, отличающееся тем, что упомянутые средства для вставки выполнены с возможностью вставки упомянутых водяных знаков в различных позициях в информационный сигнал, причем вектор (к) представляет соответствующие позиции упомянутых водяных знаков для индицирования упомянутых дополнительных данных (К).

11. Устройство для обнаружения дополнительных данных в информационном сигнале, содержащее средства (24-29) для обнаружения одного или более вставленных водяных знаков (W2'), отличающееся тем, что упомянутые средства для обнаружения включают в себя средства (24-28) для определения соответствующих позиций упомянутых обнаруженных водяных знаков, причем устройство дополнительно содержит средство (29) для извлечения упомянутых дополнительных данных из упомянутого вектора (к), представляющего упомянутые соответствующие позиции.

12. Устройство для записи информационного сигнала, содержащее средства для отключения записи сигнала в зависимости от дополнительных данных, вставленных в упомянутый видеосигнал, причем устройство содержит устройство для обнаружения упомянутых дополнительных данных по п.11.

13. Устройство для воспроизведения информационного сигнала, содержащее средство для отключения воспроизведения сигнала в зависимости от дополнительных данных, вставленных в упомянутый видеосигнал, причем устройство содержит устройство для обнаружения упомянутых дополнительных данных по п.11.