Способ и устройство для моделирования зернистых структур пленки в частотной области
Изобретение относится к технологии моделирования зернистых структур пленки в частотной области. Техническим результатом является обеспечение возможности автоматического моделирования зернистой структуры пленки в частотной области, задаваемой моделью частотной фильтрации в стандарте сжатия ITU-T H.264/MPEG-4 AVC. Предложен способ моделирования зернистых структур пленки, содержащий этапы: преобразования совокупности выборок зернистой структуры пленки, содержащих по меньшей мере одну группу соседних пикселов, хранящую информацию о форме и размере зернистости пленки, с переходом в частотную область; сохранения каждой совокупности полученных в результате такого преобразования коэффициентов; анализа указанных преобразованных коэффициентов; и оценки частот среза фильтра, который может имитировать распределение преобразованных коэффициентов путем фильтрации случайного шума в зернистой структуре пленки в частотной области. Параметры зернистости фотопленки могут быть переданы в соответствии со стандартом ITU-T H.264/MPEG-4 AVC в SEI-сообщении, позволяющем осуществить восстановление зернистости пленки в декодере. 2 н. и 12 з.п. ф-лы, 2 ил.
ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
По § 119(e) раздела 35 Кодекса законов США по этой заявке испрашивается приоритет предварительной заявки № 60/498945 на патент США, поданной 29 августа 2003 г., положения которой включены в данное изобретение.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Это изобретение относится к технологии моделирования зернистых структур пленки в частотной области.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
Пленка кинофильма обычно содержит сигналозависимый шум, называемый часто зернистостью фотопленки, появляющийся в процессе экспонирования и проявления фотографической пленки. Такой шум дает характерную квазипроизвольную структуру или текстуру, причиной появления которой является физическая зернистость фотографической эмульсии. В другом варианте осуществления изобретения сигналозависимый шум может появляться в результате последующего редактирования изображений. Моделирование зернистой структуры может осуществляться в целях сжатия видеосигнала.
В версию Fidelity Range Extensions Amendment (расширений диапазона точности воспроизведения) стандарта сжатия ITU-T H.264/MPEG-4 AVC видеосигнала включено SEI-сообщение (сообщение с дополнительной расширенной информацией) о зернистости пленки. SEI-сообщение о зернистости пленки передает ряд параметров, позволяющих осуществить моделирование зернистости пленки в приемнике. Для стандарта сжатия ITU-T H.264/MPEG-4 AVC параметры в SEI-сообщении могут быть заданы в соответствии с двумя различными моделями: авторегрессивной моделью и моделью частотной фильтрации. Обе модели позволяют характеризовать зернистую структуру пленки (размер и форму), интенсивность и цветовую корреляцию при помощи различных наборов параметров для различных уровней интенсивности. В частности, модель частотной фильтрации характеризует зернистую структуру пленки путем задания совокупности частот среза, определяющих двумерный полосовой фильтр в частотной области. Следует отметить, что ITU-T H.264/MPEG-4 AVC стандартизирует только синтаксис, необходимый для передачи частот среза, но не определяет способ их вычисления для видеопоследовательности с зернистостью пленки.
Таким образом, существует потребность в технологии, обеспечивающей возможность автоматического моделирования зернистой структуры пленки в частотной области, задаваемой моделью частотной фильтрации в стандарте сжатия ITU-T H.264/MPEG-4 AVC. Результаты этой технологии могут быть использованы как для приложений автоматического моделирования зернистости пленки, так и в качестве этапа инициализации для процесса моделирования с использованием зернистости пленки.
КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
В соответствии с предпочтительным вариантом осуществления изобретения предусмотрен способ моделирования (т.е. описания) зернистой структуры пленки в частотной области. Способ содержит этапы (1) преобразования совокупности гомогенных выборок зернистости пленки, принимаемых в качестве входных данных для обработки, с переходом в частотную область, и получения, таким образом, совокупности коэффициентов преобразования, имеющих конкретную структуру; (2) анализа структуры, созданной преобразованными коэффициентами; и (3) оценки частот среза двумерного частотного фильтра, который может эффективно имитировать структуру коэффициентов преобразования путем фильтрации случайного шума. Найденные в соответствии с этим способом частоты среза могут быть переданы в SEI-сообщении в соответствии со стандартом ITU-T H.264/MPEG-4 AVC, позволяющим осуществить имитирование и восстановление зернистости пленки в декодере.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На фиг.1 представлена схема последовательности этапов способа описания зернистых структур пленки в соответствии с настоящим изобретением;
на фиг.2 - схема последовательности этапов при реализации варианта способа описания зернистости пленки, соответствующего фиг.1.
ПОДРОБНОЕ ОПИСАНИЕ
На фиг.1 изображена схема последовательности этапов способа согласно настоящему изобретению, т.е. способа моделирования зернистой структуры пленки в частотной области после приема ряда выборок зернистости пленки, представляющих гомогенную зернистую структуру пленки. Как описывается более подробно ниже, способ, соответствующий принципам настоящего изобретения, обеспечивает параметризацию структуры из входных выборок путем анализа размера и формы структур, формирующих зерно. Поскольку формирование зерна может осуществляться по-разному в зависимости от процесса экспонирования пленки, то в качестве гомогенных выборок зернистости пленки обычно используются выборки, соответствующие одинаковым значениям яркости, измеренным по изображению на пленке. Выборками зернистости пленки на входе процесса может быть любая группа (или группы) соседних пикселов, хранящая информацию о размере и форме зернистости пленки. В иллюстрируемом варианте осуществления изобретения примем для простоты, что выборки зернистости пленки сгруппированы в квадратные блоки по N×N пикселов, предназначенные для выполнения конкретного преобразования на основе DCT (дискретного косинусного преобразования) квадратных блоков по N×N пикселов, причем это не исключает и возможности использования другого преобразования, например быстрого преобразования Фурье.
В соответствующем принципам настоящего изобретения способе предполагается, что моделирование представления зернистости пленки в виде Igrain[x, y, c] происходит в соответствии с соотношением:
Igrain[x, y, c] = Iwithout grain[x, y, c] + G[x, y, c], (1)
где G[x, y, c] представляет имитируемое зерно в координатах (x, y) пикселов для цветового компонента c. G[x, y, с] вычисляется как:
G[x, y, c] = p * Q[x, y, c] + u * G[x, y, c-1], (2)
где параметр p - стандартное отклонение случайного шума, а параметр u моделирует корреляцию перекрестных искажений между различными цветовыми компонентами. В частности, член Q[c] содержит двумерное произвольное поле, генерируемое блоками b фильтрации N×М произвольных значений, которые были генерированы при нормализованном гауссовом распределением N(0,1). В конкретном варианте осуществления полосовая фильтрация блоков b может быть выполнена в частотной области в следующие три этапа:
Этап 1: преобразование
B=DCT_N×M(b)
Этап 2: частотная фильтрация
для (y=0; y<N; y++)
для (x=0; x<М; x++)
если ((x<LOW_HF и y<LOW_VF) ||
x>HIGH_HF || y>HIGH_VF)
B[x, y]=0;
где LOW_HF и LOW_VF - соответственно нижние горизонтальная и вертикальная частоты среза, а HIGH_HF и HIGH_VF - соответственно верхние горизонтальная и вертикальная частоты среза. Частоты среза определяют границы между сохраненными и отфильтрованными коэффициентами при преобразовании изображения зернистости пленки с переходом в частотную область и его использовании для описания размера зерна.
Этап 3: обратное преобразование
b'=IDCT_N×M(B)
В заключение, путем объединения отфильтрованных блоков b' в комбинированное изображение формируют Q[c]. Низкочастотная фильтрация переходов блоков уменьшит возможную "блочность". Несмотря на то, что М и N могут принимать любое значение, на практике квадратные блоки из 16×16, 8×8 или 4×4 пикселов работают лучше всего. Следует также отметить, что DCT-процесс на этапах 1 и 3 может быть заменен другими преобразованиями, например быстрым преобразованием Фурье (FFT).
Эти принципы обеспечивают эквивалентность моделирования зернистой структуры пленки выделению частот среза LOW_HF, LOW_VF, HIGH_HF и HIGH_VF, характеризующих полосовой фильтр в частотной области.
Способ, согласно настоящему изобретению, начинается после исполнения этапа 101, на котором каждый блок из N×N пикселов подвергается дискретному косинусному преобразованию с последующим сохранением полученных в результате N×N коэффициентов на этапе 102. На этапе 103 выполняется проверка необходимости большего числа блоков с выборками зернистости пленки для получения и сохранения большего числа коэффициентов и принимается соответствующее решение. Обычно все блоки выборок зернистости фотопленки, доступные на входе, подвергаются преобразованию. Однако для уменьшения требуемого объема памяти или снижения вычислительной нагрузки процесс обработки может быть остановлен после выполнения преобразования определенного числа блоков. После сохранения достаточного числа преобразованных блоков следует этап 104, на котором путем усреднения коэффициентов из всех сохраненных блоков вычисляется блок (Bmean) средних значений. Если принять K за число сохраненных блоков, то процесс усреднения для коэффициента в позиции [x, y] может получить следующее выражение:
Затем следуют этапы 105 и 106, реализуемые обычно параллельно. На этапе 105 путем усреднения N частотных коэффициентов каждой строки Bmean вычисляется горизонтальный вектор BH средних значений, причем усреднение осуществляется в соответствии с соотношением:
В конкретном варианте осуществления существует возможность предотвращения влияния постоянного (DC) коэффициента на среднее значение первой строки с помощью соотношения:
На этапе 106 путем усреднения N частотных коэффициентов каждого столбца Bmean вычисляется вертикальный вектор средних значений, причем усреднение осуществляется в соответствии с соотношением:
В конкретном варианте осуществления существует возможность предотвращения влияния постоянного (DC) коэффициента на среднее значение первого столбца с помощью соотношения:
На этапах 107 и 108 из частотных векторов выбираются соответственно горизонтальная и вертикальная частоты среза, используемые для оценки размера зернистости фотопленки. Как показано на фиг.1, этапы 107 и 108 обычно реализуются параллельно. Выбор горизонтальных частот среза на этапе 107 происходит следующим способом. Сначала, для избежания появления паразитных пиков, компоненты горизонтального вектора средних значений подвергаются низкочастотной фильтрации. В иллюстрируемом варианте осуществления изобретения такая низкочастотная фильтрация горизонтального вектора средних значений осуществляется путем свертки вектора средних значений с помощью фильтра с импульсной характеристикой h[n] в соответствии с соотношением:
Например, применительно к каждому коэффициенту может быть использован линейный фильтр с тремя отводами и коэффициентами w0, w1, и w2 в соответствии с соотношением:
B'H[n] = w0·BH[n-1] + w1·BH[n] + w2·BH[n+1], 0≤n≤N-1, (7)
Следует отметить, что для применения фильтрации на краях вектора B средних значений необходимо дополнить исходный вектор средних значений так, чтобы определить выборки для n<0 и n>N-1.
Затем, путем усреднения компонентов B'H вычисляется его среднее значение в соответствии с соотношением:
После этого, вектор 
представляется в виде кривой, и вычисляются точки его пересечения со средним значением 
В случае одной точки пересечения в качестве значения горизонтальной верхней частоты среза выбирается индекс n самого близкого компонента B'H; горизонтальная нижняя частота среза принимается равной 0. В случае двух точек пересечения для каждой точки находят индексы самых близких компонентов. Минимальное значение будет соответствовать нижней горизонтальной частоте среза, а максимальное значение - верхней горизонтальной частоте среза. В случае более чем двух точек пересечения никакой пространственной корреляции не выявляется. Горизонтальная нижняя частота среза принимается равной 0, а горизонтальная верхняя частота среза - равной N-l, что указывает на отсутствие какой-либо необходимости в частотной фильтрации функции имитации зернистости пленки для имитации исходного зерна.
Та же самая процедура, описанная для выбора горизонтальных частот среза, выполняется на этапе 108 при выборе вертикальных частот среза с использованием вертикального частотного вектора Bv. По завершении этапов 107 и 108 иллюстрированный на фиг.1 способ позволяет получить четыре частоты среза (LOW_HF, HIGH_HF, LOW_VF, HIGH_VF), которые характеризуют и размер и удлинение зерна. Удлиненное зерно встречается тогда, когда LOW_HF ≠ LOW_VF и/или HIGH_HF ≠ HIGH_VF.
Фиг.2 иллюстрирует альтернативный способ моделирования зерна в случае возможности сохранения круглой формы зерна. Это подразумевает, что горизонтальные и вертикальные частоты среза остаются одинаковыми. Многие этапы способа, представленного на фиг.2, совпадают с этапами способа, представленного на фиг.1. Поэтому при описании подобных этапов использованы одни и те же позиции как на фиг.2, так и на фиг.1. Отличие способа на фиг.2 от способа на фиг.1 состоит в том, что усреднение вертикальных и горизонтальных частотных векторов (BH и BV) на фиг.2 осуществляется на этапе 109 для создания одного частотного вектора (B). Тогда как та же самая процедура, выполняемая на фиг.2 на этапах 107 и 108, осуществляется для оценки нижней и верхней частот среза.
Приведенное выше описание раскрывает технологию моделирования зернистой структуры пленки в частотной области.
1. Способ моделирования зернистой структуры пленки, содержащий этапы:
преобразования совокупности выборок зернистой структуры пленки с переходом в частотную область;
сохранения каждой совокупности полученных в результате такого преобразования коэффициентов;
анализа указанных преобразованных коэффициентов;
и оценки частот среза фильтра, который может имитировать распределение преобразованных коэффициентов путем фильтрации случайного шума в зернистой структуре пленки в частотной области.
2. Способ по п.1, в котором указанные выборки зернистой структуры пленки содержат по меньшей мере одну группу соседних пикселей, хранящую информацию о форме и размере зернистой структуры пленки.
3. Способ по п.1, дополнительно содержащий этап передачи по меньшей мере одной частоты среза в качестве дополнительной информации.
4. Способ по п.1, в котором оценки частот среза осуществляют с помощью фильтрации случайного шума в частотной области.
5. Способ по п.1, в котором выборки зернистой структуры пленки обрабатывают в блоках по N×N пикселей.
6. Способ по п.5, в котором этап анализа зернистой структуры пленки, созданной коэффициентами преобразования, дополнительно содержит этапы: вычисления блока средних значений NxN коэффициентов преобразования путем усреднения коэффициентов преобразования из всех хранимых блоков после преобразования каждого блока из N×N пикселей; определения горизонтального и вертикального векторов средних значений каждого из N компонентов путем усреднения блока средних значений N×N коэффициентов преобразования соответственно по строкам и столбцам; представления горизонтального и вертикального векторов средних значений в виде отдельных кривых; и нахождения горизонтальной и вертикальной частот среза по кривым, представленным соответственно горизонтальным и вертикальным векторами средних значений.
7. Способ по п.6, дополнительно содержащий этап низкочастотной фильтрации по меньшей мере одного вектора средних значений.
8. Способ по п.6, в котором горизонтальную или вертикальную частоту среза находят по точке пересечения на кривой, представляющей соответственно горизонтальный или вертикальный вектор средних значений.
9. Способ по п.6, в котором каждую нижнюю и верхнюю горизонтальную и вертикальную частоты среза находят по первой и второй точкам пересечения на кривой, представляющей соответственно горизонтальный и вертикальный векторы средних значений.
10. Способ по п.5, в котором этап анализа зернистой структуры пленки, созданной коэффициентами преобразования, дополнительно содержит этапы: вычисления блока средних значений N×N коэффициентов преобразования путем усреднения коэффициентов преобразования из всех хранимых блоков после преобразования каждого блока пикселей; определения горизонтального и вертикального векторов средних значений каждого из N компонентов путем усреднения блока средних значений N×N коэффициентов преобразования соответственно по строкам и столбцам; усреднения горизонтального и вертикального векторов средних значений в одном векторе средних значений; представления векторов средних значений в виде кривой; и нахождения горизонтальной и вертикальной частот среза по кривой, представленной вектором средних значений.
11. Способ по п.9, дополнительно содержащий этап низкочастотной фильтрации вектора средних значений.
12. Способ по п.10, в котором горизонтальную или вертикальную частоту среза находят по точке пересечения на кривой, представляющей соответственно горизонтальный или вертикальный вектор средних значений.
13. Способ по п.10, в котором каждую нижнюю и верхнюю горизонтальную и вертикальную частоты среза находят по первой и второй точке пересечения на кривой, представляющей соответственно горизонтальный и вертикальный векторы средних значений.
14. Способ моделирования зернистых структур пленки, содержащий этапы:
приема совокупности выборок зернистой структуры пленки;
выполнения преобразования совокупности выборок зернистой структуры пленки, содержащих по меньшей мере одну группу соседних пикселей, хранящую информацию о форме и размере зернистой структуры пленки, с переходом в частотную область;
сохранения каждой совокупности полученных в результате такого преобразования коэффициентов, формирующих структуру;
анализа структуры, созданной коэффициентами преобразования;
и оценки частот среза двумерного полосового фильтра, который может имитировать структуру коэффициентов преобразования путем фильтрации случайного шума в частотной области.
