Способ и устройство для формирования изображений, содержащих размытость, вызванную движением объекта

Изобретение относится к технологиям обработки видеоизображений. Техническим результатом является сокращение памяти, необходимой для хранения видеоизображений, за счет того, что каждое из видеоизображений запоминается с разрешением, пропорциональным весовому коэффициенту. Предложен способ для обработки видеоизображений. Способ включает в себя этап, на котором получают множество видеоизображений в течение интервала времени, содержащего опорное время t, ассоциируют весовой коэффициент с каждым из видеоизображений. При этом, по меньшей мере, два из видеоизображений имеют разные весовые коэффициенты. Далее согласно способу запоминают видеоизображения, взвешивают каждое из запомненных видеоизображений с помощью ассоциированного весового коэффициента, формируют изображение, именуемое опорным изображением, ассоциированное с опорным временем t, посредством усреднения взвешенных видеоизображений. При этом каждое видеоизображение запоминается с разрешением, пропорциональным весовому коэффициенту, ассоциированному с упомянутым видеоизображением. 3 н. и 6 з.п. ф-лы, 4 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству для обработки видео, которые направлены на формирование изображений, содержащих размытость, вызванную движением объекта. В частности, изобретение относится к области анимации и видеоэффектов и может применяться к синтезируемым изображениям или изображениям, формируемым посредством устройства захвата изображения, оборудованного цифровым затвором.

Целью данной обработки является более естественная и более мягкая визуализация изображений для человеческого глаза.

Уровень техники

Размытость, вызванная движением объекта, является наблюдаемой размытостью, которая возникает в изображении или видеопоследовательности фильма или анимации, когда она содержит объект в движении. Данная размытость является следствием быстрого перемещения объекта во время захвата изображения или следствием большой длительности экспозиции (время позы) устройства захвата изображения (видеокамеры или неподвижной телекамеры). Захваченное изображение заключает в себе все позиции объекта в течение периода, соответствующего длительности экспозиции, которая определяется скоростью затвора устройства захвата изображения. В данном изображении элемент захваченной сцены, который находится в движении относительно устройства захвата, кажется размытым в направлении движения. Данным размытым элементом может быть объект в движении сцены, когда устройство захвата неподвижно, или задний фон сцены, когда устройство захвата изображения движется с той же скоростью, что и объекты в движении сцены.

В случае синтезируемых изображений каждое изображение может приравниваться к изображению, которое будет захватываться устройством захвата с бесконечной скоростью затвора (квазинулевая длительность экспозиции). Вследствие этого отсутствует размытость, вызванная движением объекта, и перемещение объектов в движении в изображениях кажется для человеческого глаза прерывистым и вибрирующим.

Что касается изображений, формируемых устройством захвата с цифровым затвором (не механическим), то представление объекта в движении на захваченном изображении может содержать временные искажения, которые неприятны человеческому глазу из-за резкого усечения светового сигнала цифровым затвором, который, как правило, функционирует в стартстопном режиме, т.е. только с двумя возможными состояниями затвора.

Для решения данной проблемы специалистам в соответствующей области известно применение к этим изображениям обработки, моделирующей фильтрацию, которая привносится механическим затвором. Применительно к изображениям, формируемым устройством захвата с цифровым затвором, данная обработка заключается в согласовании временного отклика цифрового затвора с тем, что присутствует у механического затвора. Применительно к синтезируемым изображениям, обработка заключается в фильтрации изображения с помощью фильтра, именуемого «фильтром движения», обладающим временным откликом, близким к тому, что присутствует у механического затвора.

Данная обработка, как правило, заключается в получении множества видеоизображений в течение интервала времени с центром в опорном времени t, которое относится к изображению, которое будет отображаться; взвешивании каждого из упомянутых видеоизображений; и реализации отображения изображения с опорным временем t посредством усреднения взвешенных видеоизображений. Количество изображений, которое будет взвешиваться, и значения весовых коэффициентов, которые будут рассматриваться для данной обработки, зависит от воспроизводимого временного отклика.

Данная обработка требует получения и сохранения, для каждого изображения, которое будет отображаться, нескольких видеоизображений. Таким образом, ее реализация требует большого пространства памяти для хранения этих изображений и влечет за собой относительно длительное время доступа к памяти, которое оказывает влияние на время обработки.

Раскрытие изобретения

Цель изобретения состоит в том, чтобы предложить способ для обработки изображения, который устраняет все или некоторые из ранее приведенных недостатков, в частности способ для обработки изображения, использующий сокращенное пространство памяти и требующий более короткого времени доступа.

Для этих целей настоящее изобретение предлагает способ обработки видео, содержащий следующие этапы, на которых:

- получают множество видеоизображений в течение интервала времени, содержащего опорное время t,

- ассоциируют весовой коэффициент, по меньшей мере, с некоторыми из видеоизображений, при этом, по меньшей мере, два из видеоизображений имеют разные весовые коэффициенты,

- запоминают видеоизображения,

- взвешивают каждое из запомненных видеоизображений с помощью ассоциированного весового коэффициента,

- формируют изображение, именуемое опорным изображением, ассоциированное с опорным временем t, посредством усреднения взвешенных видеоизображений,

отличающийся тем, что каждое из видеоизображений запоминается с разрешением, пропорциональным весовому коэффициенту, ассоциированному с упомянутым видеоизображением, причем весовой коэффициент ассоциируется с каждым видеоизображением в соответствии с убывающей функцией длительности, отделяющей видеоизображение от опорного времени t.

Таким образом, в соответствии с изобретением, изображения, для которых ассоциированный весовой коэффициент является низким, имеют низкое разрешение. Это позволяет сократить пространство памяти, занимаемое этими изображениями, и сократить время доступа к этим изображениям.

Таким образом, видеоизображения, наиболее удаленные по времени от опорного времени t, имеют самые низкие весовые коэффициенты. Применение низких весовых коэффициентов к видеоизображениям, наиболее удаленным от опорного времени, позволяет воспроизвести временной отклик механического затвора и таким образом получить более мягкие переходы между последовательными опорными изображениями.

Под разрешением изображения понимается количество точек или пикселей, которое оно содержит, как по горизонтали, так и по вертикали. При понижении разрешения изображения, сокращается количество пикселей.

В соответствии с конкретным вариантом осуществления, весовой коэффициент, ассоциированный с каждым видеоизображением, обратно пропорционален длительности, отделяющей упомянутое видеоизображение от опорного времени t.

В соответствии с конкретным вариантом осуществления, центром временного интервала является опорное время t.

В соответствии с конкретным вариантом осуществления, весовой коэффициент, ассоциированный с каждым видеоизображением, обратно пропорционален приподнятому косинусу длительности, отделяющей упомянутое видеоизображение от опорного времени t.

В соответствии с конкретным вариантом осуществления, каждое изображение из упомянутого множества видеоизображений, является изображением с несколькими разрешениями, таким как, например, изображение в соответствии со стандартом JPEG 2000.

Изобретение также относится к устройству для получения и обработки видеоизображений, содержащему:

- средство получения для получения множества видеоизображений в течение интервала времени, содержащего опорное время t,

- память для запоминания полученных видеоизображений,

- схему обработки для ассоциации весового коэффициента с каждым из видеоизображений, при этом, по меньшей мере, два из видеоизображений имеют разные весовые коэффициенты, для того чтобы взвесить каждое из запомненных видеоизображений с помощью ассоциированного весового коэффициента и сформировать изображение, именуемое опорным изображением, которое ассоциировано с опорным временем t, посредством усреднения взвешенных видеоизображений,

- средство управления для управления запоминанием полученных видеоизображений в памяти,

- отличающееся тем, что каждое из полученных видеоизображений запоминается в памяти с разрешением, пропорциональным ассоциированному весовому коэффициенту, причем весовой коэффициент ассоциирован с каждым видеоизображением в соответствии с убывающей функцией длительности, отделяющей видеоизображение от опорного времени t.

В соответствии с конкретным вариантом осуществления, центром временного интервала является опорное время t.

Преимущественно, схема обработки ассоциирует с каждым видеоизображением весовой коэффициент, который обратно пропорционален длительности, отделяющей упомянутое видеоизображение от опорного времени t, с тем, чтобы воспроизвести фильтрацию, которая выполняется механическим затвором камеры.

Предпочтительно схема обработки ассоциирует с каждым видеоизображением весовой коэффициент, который обратно пропорционален приподнятому косинусу длительности, отделяющей упомянутое видеоизображение от опорного времени t.

Краткое описание чертежей

Изобретение станет более понятным, а прочие цели, детали, отличительные признаки и преимущества проявятся более очевидно из подробного описания, которое сопровождается ссылками на чертежи, которые показывают следующее:

- фиг. 1 - схема, показывающая функцию накопления света стандартного механического затвора,

- фиг. 2 - схема, показывающая пример функции накопления света цифрового затвора,

- фиг. 3 - схема, показывающая одно и то же изображение с несколькими возможными разрешениями, и

- фиг. 4 - схема устройства для реализации способа изобретения.

Осуществление изобретения

Настоящее изобретение относится к внесению размытости, вызванной движением объекта, в синтезируемые изображения или цифровые изображения и предлагается для оптимизации пространства памяти, которое требуется для реализации данной обработки, посредством понижения разрешения изображений, для которых весовой коэффициент является низким. Это позволяет сократить требуемый для их хранения размер. В дополнение, определяется фильтрация, применяемая к изображению, для того, чтобы воспроизвести фильтрацию, которая выполняется механическим затвором.

Вследствие этого сначала будут описаны назначение и работа затвора.

В области цифровых и аналоговых видеокамер линза видеокамеры используется для фокусировки света и направления его на химическое или полупроводниковое устройство захвата изображения. Например, в цифровой видеокамере, устройством захвата изображения является прибор захвата CCD (Прибор с Зарядной Связью) или прибор захвата CMOS (Комплементарный Металло-оксидный Полупроводник), который измеряет свет с помощью матрицы из тысяч или миллионов миниатюрных фотодиодов, именуемых фотоэлементами.

Необходимо осуществлять управление количеством света, которое достигает прибора захвата, чтобы избежать передержек и недодержек. Для этого и предназначен затвор. Он может быть либо механическим, либо цифровым.

Под механическим затвором понимается компонент, установленный в устройстве захвата, который позволяет регулировать длительность экспозиции устройства захвата изображения. Данным затвором является, например, центральный затвор или шторный затвор.

И наоборот, цифровой затвор не существует в качестве компонента аппаратного обеспечения, а представляет собой длительность, в течение которой фотоэлементам разрешено принимать свет во время цикла захвата.

В общем случае, затвор может быть смоделирован через его временной отклик, обозначенный как $$h(t)$$ . Таким образом процесс накопления света фотоэлементом может быть показан следующим выражением:

Выражение 1

где $$x(t)$$ представляет собой сигнал падающего света,

$$x_{shut}(t)$$ представляет собой сигнал света, захватываемого фотоэлементом,

τ является длительностью экспозиции фотоэлемента, в течение которой элемент подвергается воздействию сигнала падающего света, при этом τ также соответствует длительности накопления.

Затвор ведет себя подобно фильтру, позволяя свету проходить в течение определенного времени, соответствующего τ, при этом количество света, которому разрешено пройти в каждый момент данного периода определяется функцией $$h(t)$$ .

Данный процесс фильтрации, при котором накопление света может быть легко воспроизведено посредством применения выражения 1 в дискретной форме к набору видеоизображений, вносит вклад в создание изображения, которое будет отображаться. Данное накопление затем создает взвешенную сумму видеоизображений, причем весовые коэффициенты определяются посредством временного отклика $$h(t)$$ затвора, который будет воспроизводиться. Каждое из видеоизображений, которое вносит свой вклад в создание изображения, которое будет отображаться, является видеоизображением, которое относится к моменту, характерному для самого себя, в интервале времени с центром в опорный момент t, который относится к изображению, которое будет отображаться. Эти видеоизображения являются, например, изображениями, полученными с частотой получения, которая кратна частоте отображения, которая ассоциирована с изображением, которое будет отображаться. В интересах ясности, в оставшейся части описания будет использоваться понятие субизображение для обозначения видеоизображений, которые вносят свой вклад в создание изображения, которое будет отображаться.

Фиг. 1 и 2 соответственно показывают временной отклик механического затвора и временной отклик стандартного цифрового затвора. Каждый из них показан в виде функции усиления, при этом усиление является максимальным и равным 1, когда затвор полностью открыт, и усиление является нулевым, когда затвор закрыт.

Механический затвор открывается и закрывается постепенно. Следовательно, его усиление растет и падает постепенно по обе стороны его полностью открытой позиции (фиг. 1).

Стандартный цифровой затвор ведет себя подобно переключателю с двумя позициями: открытая позиция, в течение которой фотоэлементам разрешено захватывать свет, и закрытая позиция, в течение которой фотоэлементам не разрешено захватывать свет. Таким образом, временной отклик данного затвора является квадратным (фиг. 2).

Эти два отклика могут быть смоделированы дискретной функцией приподнятого косинуса, причем коэффициент сглаживания близок к 0 для цифрового затвора и положителен для механического затвора.

Если процесс накопления света для полного изображения моделируется дискретным видом, то он может быть записан следующим образом:

Выражение 2

Где k является индексом, обозначающим изображение,

q обозначает субизображения из Q субизображений изображения k,

Q является суммарным количеством субизображений изображения $$k$$

I(х, у, q) представляет собой значение пикселя с координатами (х, у) субизображения q

I_shut(х, у, k) представляет собой значение пикселя с координатой (х, у) изображения k после обработки, и

h(q) является дискретным видом временного отклика затвора.

С тем чтобы внести размытость, вызванную движением объекта, в изображение в соответствии с той, что вносится при использовании механического затвора, в выражении 2 будет использоваться дискретный временной отклик h(t), как показано на фиг. 1. Как видно на этой фигуре, некоторые субизображения имеют значение усиления, которое ниже чем у других. Это значение усиления является представлением веса данного субизображения в изображении, которое будет отображаться. Таким образом, весовой коэффициент, который будет применяться к субизображению, пропорционален усилению, показанному на фиг. 1.

Как видно на фиг. 1, таким образом, некоторые субизображения имеют вес в способе обработки более низкий, чем у других. Таким образом, не обязательно хранить эти субизображения с повышенным разрешением.

Также, в соответствии с изобретением, разрешение субизображений может адаптироваться в зависимости от веса (весового коэффициента). Разрешение каждого из субизображений, которые хранятся для обработки, пропорционально адаптируется к его весу (весовому коэффициенту). Таким образом, субизображения изображения, которое будет обрабатываться, будут занимать пространство памяти, заметно пропорциональное их весам. Только субизображения с коэффициентом равным максимальному весовому коэффициенту будут сохранены с полным разрешением. Таким образом, это позволит высвободить пространство памяти и сократить время доступа к субизображениям.

Фиг. 3 иллюстрирует данный аспект с несколькими разрешениями способа изобретения. Показаны 6 субизображений, представляющих собой одну и ту же сцену, но с разными разрешениями. Субизображение в верхнем левом углу показывает субизображение с высоким разрешением, а то, что находится в нижнем правом углу, показывает субизображение с низким разрешением, прочие субизображения имеют промежуточные разрешения.

В соответствии с изобретением, субизображения с максимальным весовым коэффициентом будут сохраняться с высоким разрешением, а те, что имеют весовой коэффициент, будут сохраняться с разрешением, которое заметно пропорционально данному весовому коэффициенту.

Преимущественно, способ изобретения может применяться к изображениям в соответствии со стандартом JPEG 2000 и поставляемым профессиональными цифровыми камерами, оборудованными цифровым затвором. Данный тип изображения, по сути, уже содержит иерархическую структуру с несколькими разрешениями. Получение осуществляется камерой с высокой частотой, например 100 Гц или 200 Гц. Для каждого изображения, которое будет отображаться, можно получить несколько субизображений. Например, в случае отображения с частотой 25 Гц и получением с частотой 200 Гц, камера формирует 8 субизображений с несколькими разрешениями для каждого изображения, которое будет отображаться. Применительно к обработке, каждое субизображение будет сохранено с разрешением, соответствующим весовому коэффициенту, который будет ассоциирован с данным субизображением.

Фиг. 4 показывает схему устройства, выполненного с возможностью реализации способа изобретения. Оно содержит:

- средство 11 для получения субизображений, такое как, например, устройства захвата CMOS, применительно к которому режим работ позволяет осуществлять получение с высокой частотой получения,

- память 12 для запоминания полученных субизображений,

- схему 13 обработки изображений, чтобы ассоциировать весовой коэффициент с каждым видеосубизображением, чтобы взвешивать каждое запомненное субизображение с помощью ассоциированного весового коэффициента и формировать изображение, именуемое опорным изображением, ассоциированное с опорным временем t, посредством усреднения взвешенных видеоизображений, и

- средство 14 управления для набора средств устройства.

Средство управления управляет в частности памятью применительно к каждому из субизображения, формируемому средством получения, которое сохраняется в памяти с разрешением, пропорциональным ассоциированному весовому коэффициенту.

Для того чтобы воспроизвести размытость, вызванную движением объекта, которая вносится цифровым затвором, схема обработки преимущественно ассоциирует с каждым видеоизображением весовой коэффициент, который обратно пропорционален длительности, отделяющей упомянутое видеоизображение от опорного времени t, т.е. весовой коэффициент, который следует убывающей функции длительности, отделяющей упомянутое видеоизображение от опорного времени t, что явно видно в отношении фиг. 1. Данный весовой коэффициент предпочтительно обратно пропорционален приподнятому косинусу длительности, отделяющей упомянутое видеоизображение от опорного времени t.

Опорное изображение, формируемое схемой обработки, затем передается устройству 20 отображения.

Данное устройство является, например, видеокамерой с очень высокой частотой получения, например 100 или 200 Гц, и которая выдает опорные кадры с частотой 25 Гц.

Хотя изобретение описано в отношении конкретного варианта осуществления, очевидно, что оно никоим образом не ограничивается и что оно содержит все технические эквиваленты описанных средств, как и их сочетания, поскольку они находятся в рамках объема изобретения.

В соответствии с вариантом, весовой коэффициент ассоциирован с каждым субизображением из некоторых субизображений, т.е. только с некоторыми видеоизображениями, которые вносят вклад в создание изображения, которое будет отображаться. Например, некоторые субизображения, которые близки к опорному времени t, применяют коэффициент, равный 1, что равнозначно тому, что с ними не ассоциирован весовой коэффициент.

В соответствии с другим вариантом, центр интервала времени, в течение которого захватываются субизображения, не находится в моменте t. В соответствии с данным вариантом, опорное время расположено в какой-то степени в начале или в конце интервала времени. В соответствии с данным вариантом, количество субизображений, захватываемое перед опорным временем t не равно количеству субизображения, захватываемому после опорного времени t. Создание дисбаланса между количеством субизображений, захватываемых после опорного времени t, позволяет уделить больше внимания периоду, протекающему перед опорным временем t в интервале времени (случай, соответствующий ситуации, при которой количество субизображений, захватываемое перед t, больше количества субизображений, захватываемых после t, что соответствует ситуации, при которой t размещает по времени после центра интервала времени) или уделить больше внимания периоду, протекающему после опорного времени t в интервале времени (случай, соответствующий ситуации, при которой количество субизображений, захватываемое перед t, меньше количества субизображений, захватываемых после t, что соответствует ситуации, при которой t размещает по времени перед центром интервала времени). В соответствии с конкретным вариантом осуществления, опорный момент t размещается в начале интервала времени (все субизображения захватываются после t в течение интервала времени). В соответствии с другим вариантом осуществления, опорный момент t размещается в конце интервала времени (все субизображения захватываются после t в течение интервала времени).

1. Способ для обработки видеоизображений, содержащий этапы, на которых:
- получают множество видеоизображений в течение интервала времени, содержащего опорное время t,
- ассоциируют весовой коэффициент, по меньшей мере, с некоторыми из видеоизображений, при этом, по меньшей мере, два из видеоизображений имеют разные весовые коэффициенты,
- запоминают видеоизображения,
- взвешивают каждое из запомненных видеоизображений с помощью ассоциированного весового коэффициента,
- формируют изображение, именуемое опорным изображением, ассоциированное с опорным временем t, посредством усреднения взвешенных видеоизображений,
отличающийся тем, что каждое из видеоизображений запоминается с разрешением, пропорциональным весовому коэффициенту, ассоциированному с упомянутым видеоизображением, причем весовой коэффициент ассоциируется с каждым видеоизображением в соответствии с убывающей функцией длительности, отделяющей упомянутое видеоизображение от опорного времени t.

2. Способ по п. 1, при этом весовой коэффициент, ассоциированный с каждым видеоизображением, обратно пропорционален длительности, отделяющей упомянутое видеоизображение от опорного времени t.

3. Способ по п. 1 или 2, отличающийся тем, что центром
временного интервала является опорное время t.

4. Способ по п. 1 или 2, при этом весовой коэффициент, ассоциированный с каждым видеоизображением, обратно пропорционален приподнятому косинусу длительности, отделяющей упомянутое видеоизображение от опорного времени t.

5. Устройство для получения и обработки видеоизображений, содержащее:
- средство (11) получения для получения множества видеоизображений в течение интервала времени, содержащего опорное время t,
- память (12) для запоминания полученных видеоизображений,
- схему (13) обработки для ассоциации весового коэффициента, по меньшей мере, с некоторыми видеоизображениями, при этом, по меньшей мере, два из видеоизображений имеют разные весовые коэффициенты, чтобы взвесить каждое из запомненных видеоизображений с помощью ассоциированного весового коэффициента и чтобы сформировать изображение, именуемое опорным изображением, которое ассоциировано с опорным временем t, посредством усреднения взвешенных видеоизображений,
- средство (14) управления для управления запоминанием полученных видеоизображений в памяти,
отличающееся тем, что каждое из полученных видеоизображений запоминается в памяти с разрешением, пропорциональным ассоциированному весовому коэффициенту, причем весовой коэффициент ассоциирован с каждым видеоизображением в соответствии с убывающей функцией длительности, отделяющей упомянутое видеоизображение от опорного времени t.

6. Устройство по п. 5, в котором схема обработки ассоциирует с каждым видеоизображением весовой коэффициент, который обратно пропорционален длительности, отделяющей упомянутое видеоизображение от опорного времени t.

7. Устройство по п. 5 или 6, отличающееся тем, что центром временного интервала является опорное время t.

8. Устройство по п. 5 или 6, в котором схема обработки ассоциирует с каждым видеоизображением весовой коэффициент, который обратно пропорционален приподнятому косинусу длительности, отделяющей упомянутое видеоизображение от опорного времени t.

9. Видеокамера, отличающаяся тем, что содержит устройство в соответствии с любым из пп. 5-8.