Улучшение киноизображений с использованием точной информации о движении

Изобретение относится к средствам цифрового улучшения характеристик последовательности изображений. Техническим результатом является улучшение качества визуального отображения. В способе с помощью процессора генерируют по меньшей мере одного уровня обработки изображения из кадров изображения, определяют признаки декомпозиции для кадров изображения, определяют связи признаков на основе признаков декомпозиции. Вычисляют базовые траектории, представляют пространственно-временные местоположения выбранных элементов контента изображения, определяют взаимоотношения пикселей изображения с базовыми траекториями, записывают пересечения новых траекторий с кадрами изображения, вычисляют траектории и декомпозиции. 4 н. и 26 з.п. ф-лы, 5 ил.

 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данный документ заявляет преимущество приоритета предварительной заявки на патент США № 61/804814, озаглавленной "Methods and Systems for Enhancing Motion Pictures with Accurate Motion Information," и зарегистрированной 25 марта, 2013, полное содержание которой включено в данный документ в качестве ссылки.

ОБЛАСТЬ ТЕХНИКИ

[0002] Данное раскрытие сущности изобретения относится, в общем, к области техники цифрового улучшения характеристик контента изображения, и, более конкретно, характеристик видеоконтента и киноконтента для улучшения качества визуального отображения.

УРОВЕНЬ ТЕХНИКИ

[0003] Для реальных изображений, в частности, в видеоинформации и кинофильмах, некоторый контент изображения может оказаться несходным в разных кадрах изображения вследствие многих сложных факторов, таких как наличие шума, изменение освещения, изменение фокусировки объектива, движение объекта, поворот объекта, перекрытие, и т.д. В результате, способ улучшения изображения, который основан на отслеживании сходных внешних представлений контента изображения в пределах множества кадров изображения, такой как общепринятый алгоритм отслеживания движения, может быть не способен точно следовать движению контента изображения и, в некоторых случаях, может даже потерпеть неудачу в распознавании контента изображения в некоторых кадрах изображения вследствие разных внешних представлений.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] В одном примере, обеспечен способ для улучшения последовательности изображений. Последовательность изображений принимают с использованием кадров изображения. Определяют признак декомпозиции (разбиения) для кадров изображения. Вычисляют связи признаков для пикселей изображения на основе признака декомпозиции. Вычисляют по меньшей мере одну базовую траекторию на основе по меньшей мере одной связи признака, выбранной среди связей признаков. Определяют взаимоотношение пикселя изображения по меньшей мере с одной базовой траекторией. Создают новую траекторию для пикселя изображения декомпозированных кадров изображения на основе по меньшей мере одной базовой траектории и взаимоотношения пикселя изображения по меньшей мере с одной базовой траекторией. Определяют по меньшей мере один признак траектории для новой траектории и определяют, нуждается ли по меньшей мере один признак траектории в модификации при пересечении новой траектории. Уточняют пересечение новой траектории и создают конечную траекторию. Создают улучшенный пиксель изображения посредством модификации признака изображения пикселя на основе конечной траектории. Создают улучшенную последовательность изображений на основе улучшенного пикселя изображения. Улучшенную последовательность изображений выводят.

[0005] В другом примере, обеспечен способ для улучшения последовательности изображений. Принимают последовательность изображений с кадрами изображения. Декомпозируют (разбивают) последовательность изображений по меньшей мере на два уровня (слоя), которые образуют декомпозированные кадры изображения. Определяют признак декомпозиции для кадров изображения в уровне. Вычисляют связи признаков для пикселей изображения в уровне на основе признака декомпозиции. Вычисляют по меньшей мере одну базовую траекторию для уровня, на основе по меньшей мере одной выбранной связи признака. Определяют взаимоотношение пикселя изображения из кадров изображения по меньшей мере с одной базовой траекторией в каждом по меньшей мере из двух уровней. Создают новую траекторию для пикселя изображения из декомпозированных кадров изображения, на основе по меньшей мере одной базовой траектории и взаимоотношения пикселя изображения по меньшей мере с одной базовой траекторией по меньшей мере из двух уровней. Определяют по меньшей мере один признак траектории для новой траектории в уровне и определяют, нуждается ли по меньшей мере один признак траектории в модификации при пересечении новой траектории в уровне. Уточняют пересечение новой траектории и создают конечную траекторию. Создают улучшенный пиксель изображения по меньшей мере в одном уровне посредством модификации признаков изображения пикселя в каждом по меньшей мере из двух уровней на основе конечной траектории. Создают улучшенную последовательность изображений на основе улучшенного пикселя изображения в декомпозированных уровнях изображения. Улучшенную последовательность изображений выводят.

[0006] В другом примере, обеспечен способ, который включает в себя генерацию по меньшей мере одного уровня обработки изображения из кадров изображения последовательности изображений. Определяют признаки декомпозиции, которые являются характеристиками контента изображения по меньшей мере в одном уровне обработки изображения, для кадров изображения. Определяют связи признаков на основе признаков декомпозиции. Связи признаков включают в себя связи, которые связывают пиксели изображения по меньшей мере в одном уровне обработки изображения с пространственно-временными местоположениями. Вычисляют базовые траектории по меньшей мере для одного уровня обработки изображения на основе связей признаков. Базовая траектория представляет пространственно-временные местоположения выбранных элементов контента изображения в пределах длительности последовательности изображений. Определяют взаимоотношения пикселей изображения с базовыми траекториями. Генерируют новые траектории для пикселей изображения на основе этих взаимоотношений и базовых траекторий. Определяют признак траектории для новых траекторий, и определяют уровень модификации для признака траектории при пересечениях новых траекторий по меньшей мере в одном уровне обработки изображения. Причем, признак траектории представляет характеристики, выбранные для целевого улучшения в последовательности изображений. Причем, пересечения новых траекторий записывают пересечения новых траекторий с кадрами изображения в виде пространственно-временных местоположений. Генерируют конечные траектории из новых траекторий. Генерируют по меньшей мере один улучшенный уровень изображения посредством модификации признаков изображения пикселя по меньшей мере в одном уровне обработки изображения, на основе конечных траекторий. Генерируют улучшенную последовательность изображений с использованием по меньшей мере одного улучшенного уровня изображения.

[0007] В другом примере, обеспечен компьютерно-читаемый носитель, имеющий хранящиеся на нем команды, которые являются исполняемыми посредством процессора, для выполнения операций, причем эти операции содержат:

генерацию по меньшей мере одного уровня обработки изображения из кадров изображения последовательности изображений;

определение признаков декомпозиции, которые являются характеристиками контента изображения по меньшей мере в одном уровне обработки изображения, для кадров изображения;

определение связей признаков на основе признаков декомпозиции, причем связи признаков включают в себя связи, которые связывают пиксели изображения по меньшей мере в одном уровне обработки изображения с пространственно-временными местоположениями;

вычисление базовых траекторий по меньшей мере для одного уровня обработки изображения на основе связей признаков, причем базовые траектории представляют пространственно-временные местоположения выбранных элементов контента изображения в пределах длительности последовательности изображений;

определение взаимоотношений пикселей изображения с базовыми траекториями;

генерацию новых траекторий для пикселей изображения на основе этих взаимоотношений и базовых траекторий;

определение признака траектории для новых траекторий и определение уровня модификации для признака траектории при пересечениях новых траекторий по меньшей мере в одном уровне обработки изображения, причем признак траектории представляет характеристики, выбранные для целевого улучшения в последовательности изображений, причем пересечения новых траекторий записывают пересечения новых траекторий с кадрами изображения в виде пространственно-временных местоположений;

генерацию конечных траекторий из новых траекторий;

генерацию по меньшей мере одного улучшенного уровня изображения посредством модификации признаков изображения пикселя по меньшей мере в одном уровне обработки изображения на основе конечных траекторий; и

генерацию улучшенной последовательности изображений с использованием по меньшей мере одного улучшенного уровня изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0001] Фиг. 1 является таблицей, которая включает в себя примеры информации, записанной посредством некоторой траектории, согласно одному примеру.

[0002] Фиг. 2 является блок-схемой способа улучшения последовательности изображений посредством вычисления многоуровневых траекторий, согласно одному примеру.

[0003] Фиг. 3 является блок-схемой способа декомпозиции кадра изображения на уровни, согласно одному примеру.

[0004] Фиг. 4 является блок-схемой способа улучшения последовательности изображений посредством вычисления траекторий, согласно одному примеру.

[0005] Фиг. 5 является блок-схемой устройства обработки изображения, согласно одному примеру.

[0006] Эти иллюстративные примеры упомянуты не для ограничения или определения данного раскрытия сущности изобретения, а для помощи в его понимании. Дополнительные примеры, признаки, и варианты осуществления рассмотрены в Подробном Описании, а также в нем обеспечено дополнительное описание. Преимущества, предложенные посредством одного или нескольких различных примеров, могут быть, дополнительно, поняты посредством экспертизы данной спецификации или посредством применения на практике одного или нескольких приведенных примеров.

ПОДРОБНОЕ ОПИСАНИЕ

[0007] Некоторые аспекты и признаки данного раскрытия сущности изобретения относятся к улучшению характеристики или характеристик последовательности изображений посредством вычисления траекторий через многочисленные кадры изображения последовательности изображений и оптимизации эффективности улучшений вдоль траекторий. Характеристики последовательности изображений, включающей в себя видеоизображения и киноизображения, могут быть цифровым способом улучшены посредством анализа доступных кадров изображения в последовательности изображений и генерации точной информации о движении. Точная информация о движении может быть получена посредством вычисления траекторий для каждого пикселя изображения каждого кадра изображения последовательности изображений. Структура траектории может обеспечить способу улучшения изображения возможность достижения лучшей эффективности посредством следования траекториям, которые представляют более точное движение, и возможность обеспечения контента изображения на основе сходных внешних представлений и контента изображения на основе несходных внешних представлений.

[0008] Кадр изображения может включать в себя многочисленные пиксели изображения, и каждый пиксель может определять элемент контента изображения в пространственно-временном местоположении в кадре изображения. Поскольку в последовательности изображений может существовать движение, один и тот же элемент контента может оказаться в других пространственно-временных местоположениях в других кадрах изображения последовательности изображений. Перемещение элемента контента изображения может быть представлено посредством траекторной связи, которая записывает пространственно-временные местоположения одного и того же элемента контента изображения через многочисленные кадры изображения последовательности изображений. Траектории могут включать в себя пространственно-временные местоположения элемента контента изображения в пределах длительности последовательности изображений, и признаки элемента контента изображения в окрестности каждого пространственно-временного местоположения, в виде многочисленных каналов признаков.

[0009] Траектория элемента контента изображения может включать в себя три типа элементов: пересечение траектории, признак траектории и флаг признака траектории. Пересечение траектории может записать пересечение траектории с кадром изображения, и пересечение траектории может быть представлено в виде пространственно-временного местоположения, такого как (x_n, y_n, t_n) для кадра изображения n. Траектория может начинаться в положении пикселя в кадре, который может быть базовым пикселем траектории, и траектория может пересекаться с другими кадрами изображения в пространственно-временных местоположениях, которые являются либо местоположениями пикселей, либо местоположениями подпикселей.

[0010] В одном примере, траектория имеет структуру, которая содержит пересечения траекторий, признаки траектории, и флаги признаков траектории. Пересечение траектории может записать пересечение траектории с кадром изображения в виде пространственно-временного местоположения. Признак траектории представляет некоторые характеристики последовательности изображений, которые выбраны для применения целевого улучшения. Примеры применения целевого улучшения включают в себя сверхвысокое разрешение, подавление шума, и устранение перекрытия. Поскольку разные признаки траектории могут быть выбраны для разных применений целевого улучшения, траектории могут быть настроены для применения целевого улучшения. Для данного применения целевого улучшения, признак траектории может считаться надежным в некоторых кадрах изображения, но ненадежным в других кадрах изображения. Изменение состояния признака траектории может быть отслежено посредством флага признака траектории, который отмечает признак траектории в качестве существенного компонента изображения или в качестве отклоняющегося компонента изображения в разных кадрах изображения. Существенный компонент изображения представляет «хорошее» пространственно-временное местоположение, в котором признак траектории может быть использован для вычисления целевого улучшения или предсказания или уточнения траекторий. Отклоняющийся компонент изображения представляет «плохое» пространственно-временное местоположение, в котором признак траектории может быть недопустимым для соответствующих вычислений. Существенные компоненты изображения используют для вычислений, которые основаны на сходстве, в то время как отклоняющиеся компоненты изображения используют для указания на несходство. Траектории могут быть вычислены для любой последовательности изображений.

[0011] В одном примере, каждый кадр изображения последовательности изображений может быть декомпозирован на многочисленные уровни компонентов, и траектории могут быть вычислены для каждого уровня. Декомпозиция на уровни может быть основана на признаках изображения пикселя, которые идентифицированы для улучшения на основе применения целевого улучшения. Признаки изображения пикселя могут быть извлечены из последовательности изображений, и, затем, организованы или сгруппированы в уровни. Поскольку признаки изображения пикселя выбирают в целях улучшения, признаки изображения пикселя могут оказаться несходными в некоторых кадрах изображения в некоторых уровнях, и может оказаться сложным отследить их надежно и точно. Признаки декомпозиции могут быть идентифицированы для каждого уровня для облегчения отслеживания признаков изображения пикселя в пределах уровня. Признак декомпозиции может быть отличным от признака изображения пикселя, и признак декомпозиции может быть известен в пределах уровня, и отследить его может быть легче. Уровень с дополнительными каналами признака декомпозиции может быть расширенным уровнем, в котором каждому пикселю изображения присваивают дополнительное значение от каждого канала признака. Траектории могут быть вычислены в каждом уровне, и признаки траекторий могут быть выбраны из каналов признаков в расширенном уровне.

[0012] В одном примере, базовые траектории вычисляют в каждом уровне для выбранных пикселей изображения. Связи признаков для этих пикселей в уровне могут быть вычислены на основе каналов признака декомпозиции, и базовые траектории могут быть вычислены из связей признаков с использованием способа подпространства. Базовые траектории могут быть использованы для вычисления траекторий для всех, или, по существу, всех пикселей во всех или многих уровнях.

[0013] В одном примере, траектории для каждого пикселя в каждом уровне вычисляют на основе базовых траекторий. Взаимоотношения между пикселем и базовыми траекториями в каждом уровне могут быть вычислены, и новые траектории для каждого пикселя могут быть вычислены на основе итерационного уточнения пересечений траекторий. После установления траекторий, для пикселей кадров изображения, внешнее представление контента изображения в пикселе может быть оптимизировано вдоль траекторий для генерации улучшенного внешнего представления. Некоторые аспекты обеспечивают возможность отслеживания несходных внешних представлений вдоль траектории для создания предпочтительного внешнего представления.

[0014] В одном примере, внешнее представление контента изображения может быть настроено в соответствии с разными критериями качества из разных целевых применений, включая театральные представления с использованием кино, телевизионное вещание, потоковую передачу видео через интернет, преобразование видеоданных с повышением частоты, и применения VFX (визуальных эффектов). Внешнее представление контента изображения может быть создано посредством процесса оптимизации вдоль траектории на основе выбранных критериев.

[0015] В одном примере, траектория может быть распространена на стереоскопические трехмерные (3D) кинофильмы и 3D-видеоинформацию, которые включают в себя последовательность изображений для левого глаза и последовательность изображений для правого глаза. Могут быть идентифицированы корреляции между последовательностью изображений для левого глаза и последовательностью изображений для правого глаза, и траектории могут быть вычислены в каждой последовательности. Траектории обеих последовательностей изображений могут быть унифицированы таким образом, чтобы эти траектории представляли один и тот же контент изображения. Может быть применена совместная оптимизация для оптимизации внешнего представления контента изображения вдоль траекторий.

[0016] Каждый пиксель кадра изображения может иметь траекторию через многочисленные кадры изображения последовательности изображений. Признаки траекторий могут быть представлены M каналами f¹, f², … , f^M. Например, для данной последовательности изображений. Признаки траекторий могут быть представлены M каналами f¹, f², … , f^M. Например, для данной последовательности изображений, которая включает в себя N кадров изображения, и каждый кадр изображения имеет пространственное разрешение W пикселей на ряд и H рядов, пиксель P в кадре изображения n является точкой, которая имеет траекторию T(P), представленную следующим образом:

(Уравнение1)

[0017] Траектория T(P) имеет N записей, причем каждая запись соответствует одному из кадров изображения последовательности изображений. Каждая запись из T(P) соответствует кадру изображения, и каждая запись имеет M+3 элемента: (x₁,y₁,t₁,f₁¹,f₁²,…,f₁^M), (1≤i≤N). Номер кадра 1≤i≤N представляет местоположение кадра а последовательности изображений. Траектория T(P) имеет базовое местоположение в кадре изображения n, в котором пространственно-временные местоположения (x_N,y_N,t_N) траектории могут быть представлены посредством целых чисел. Пересечения T(P) в других кадрах (x_i,y_i,t_i), где t≠n, могут быть представлены с подпиксельной точностью. Траектория могут быть определена в пределах полной длительности последовательности изображений или только для участка последовательности изображений.

[0018] Траектория T(P) может иметь многочисленные признаки f_i¹,f_i²,…,f_i^M, и каждый признак представляет конкретную характеристику траектории в пространственно-временном местоположении. Значение признака в каждом кадре изображения записывают с использованием соответствующего флага. Значение флага признака может изменяться в пределах длины траектории, указывая на изменения стратегии вычисления. В одном примере, каждый флаг принимает значение «1» или «0». Флаг «1» признака может быть существенным компонентом изображения признака, а значение «0» может быть отклоняющимся компонентом изображения признака. Значения флагов признаков траектории могут управлять изменением вычислительных стратегий для траектории.

[0019] Существенные компоненты изображения могут представлять «сильные» пространственно-временные местоположения вдоль траектории, которая является надежной при использовании для вычисления и предсказания других траекторий или для уточнения текущей траектории. Отклоняющиеся компоненты изображения представляют «слабые» пространственно-временные местоположения вдоль траектории, которые могут быть недопустимы для вычисления траектории. Существенные компоненты изображения могут быть использованы для вычислений, которые основаны на сходстве, в то время как отклоняющиеся компоненты изображения могут быть использованы для вычислений, которые допускают несходство. Во время вычисления, существенные компоненты изображения могут вносить вклад в элемент стоимости данных. Отклоняющиеся компоненты изображения могут быть проигнорированы в некоторых случаях, или ими можно управлять вдоль траектории, поскольку траекторию вычисляют на основе существенных компонентов изображения.

[0020] На фиг. 1 показана таблица, которая включает в себя примеры информации, записанной посредством траектории, которая имеет M=3 признака.

[0021] Пример траектории, показанный на фиг. 1, может связать пять пространственно-временных местоположений в пяти кадрах изображения, и эти пространственно-временные местоположения могут быть пересечениями траекторий, обозначенными {(x_o,y_o,t_o),(x₁,y₁,t₁),(x₂,y₂,t₂),(x₃,y₃,t₃),(x₄,y₄,t₄)}, где x_n,y_n представляют пространственные координаты, а t_n представляет временную координату. Траектория имеет три признака траектории. Признак f¹ может представлять крупные детали изображения. Признак f² может представлять мелкие детали изображения, а признак f³ может представлять изменение освещения между соседними кадрами изображения. Траектория в этом примере также имеет массив флагов признаков, обозначенный {(1,1,1,1,1),(1,0,1,0,1),(0,0,0,0,0)}. Массив флагов признаков представляет характеристики контента изображения в каждом пересечении траектории вдоль траектории. Например, все флаги «ноль» для признака три указывают на то, что пиксели изображения вдоль траектории не подвержены изменениям освещения; все флаги «единица» для признака один указывают на то, что пиксели изображения вдоль траектории совместно используют сходные крупные детали. Смесь флагов «ноль» и «единица» признака два указывает на то, что мелкие детали пикселей изображения в некоторых пространственно-временных местоположениях могут быть существенно модифицированы.

[0022] Траектория может быть определена с использованием двух способов вычисления. В первом случае, всем признакам траектории присваивают флаг «единица», указывая на то, что траектория является надежной, и информация, собранная вдоль этой траектории, включает в себя существенные компоненты изображения, которые могут быть использованы в вычислении. Пример таких способов может включать в себя алгоритм блочной компенсации движения, в котором пиксели в окрестности траектории используют для улучшения изображения. Во втором случае, всем признакам траектории присваивают флаг «ноль», указывая на то, что информация, собранная вдоль траектории, не может быть автоматически использована для вычислений. Пример таких способов включает в себя операции VFX с участием человека, в которых пиксели изображения могут быть заменены новым контентом на основе суждения человека.

[0023] Траектории могут быть вычислены в уровнях после декомпозиции последовательности изображений на два или более уровней. Уровень изображения может быть набором декомпозированных кадров изображения, которые описывают некоторую характеристику последовательности изображений. Фиг. 2 является блок-схемой примера процесса для улучшения последовательности изображений. Последовательность изображений, такую как многочисленные кадры изображения, принимают посредством устройства обработки изображения, в блоке 102. Устройство обработки изображения может выполнять вычисления для улучшения некоторых целевых характеристик последовательности изображений. Примеры применений целевого улучшения включают в себя улучшение мелких деталей, уменьшение шума, увеличение резкости изображения, и увеличение размера изображения.

[0024] В блоке 104, кадры изображения последовательности изображений декомпозируют на уровни посредством устройства обработки изображения. Каждый кадр изображения последовательности изображений может быть сначала декомпозирован по меньшей мере на два уровня. Декомпозиция на уровни может быть выполнена с использованием способа декомпозиции, который выбирают на основе применения целевого улучшения. Например, вейвлет-преобразование может быть использовано для декомпозиции последовательности изображений, когда цель состоит в улучшении мелких деталей последовательности изображений. Разные способы декомпозиции могут быть выбраны для разных применений целевого улучшения. Обратное преобразование может быть доступно для выбранного способа декомпозиции таким образом, чтобы каждый кадр изображения последовательности изображений мог быть восстановлен из декомпозированных уровней.

[0025] Многочисленные уровни последовательности изображений могут быть сгенерированы посредством организации или группировки признаков изображения пикселя, которые извлекают из декомпозиции. Фиг. 3 описывает пример процесса для выполнения декомпозиции уровня кадров изображения в последовательности изображений на многочисленные уровни. В блоке 202, признаки изображения пикселя идентифицируют на основе применения целевого улучшения посредством устройства обработки изображения. При данном применении целевого улучшения, могут быть идентифицированы некоторые интересующие признаки изображения пикселя. Признак пикселя изображения может представлять конкретную характеристику пикселей изображения, которая имеет прямое влияние на целевое улучшение в пределах последовательности изображений. Примеры признаков изображения пикселя включают в себя цвет, детализация, контрастность, и уровень шума. В случае, когда целевым улучшением является сверхвысокое разрешение, деталь изображения может быть идентифицирована в качестве признака изображения пикселя. Может быть идентифицировано, что многочисленные признаки изображения пикселя подлежат совместному улучшению для данного применения целевого улучшения. Например, деталь изображения и уровень шума могут быть идентифицированы, когда применением целевого улучшения является улучшение воспринимаемого разрешения и уменьшение шума.

[0026] В блоке 204, устройство обработки изображения извлекает идентифицированные признаки изображения пикселя из последовательности изображений. В случае, когда деталь изображения является идентифицированным признаком изображения пикселя, вейвлет-преобразование может быть применено к каждому кадру изображения последовательности изображений. Вейвлет-преобразование может разделить мелкие детали кадра изображения в последовательности изображений на многочисленные масштабы и различные пространственные направления. Каждый кадр изображения может быть декомпозирован на четыре поддиапазона, а именно, поддиапазоны HH, HL, LH и LL. Поддиапазоны HH, HL и LH содержат мелкие детали изображения в первом масштабе, а поддиапазон LL может быть дополнительно декомпозирован на другой набор поддиапазонов HH, HL, LH и LL в грубом масштабе. Этот процесс может быть повторен для генерации мелкой детализации изображения во все более мелких масштабах.

[0027] В блоке 206, устройство обработки изображения характеризует извлеченные признаки изображения пикселя. Может быть дополнительно охарактеризовано, что извлеченные признаки изображения пикселя подлежат организации в уровни. В случае вейвлет-поддиапазонов, детали изображения может быть охарактеризованы посредством масштабов или посредством пространственных ориентаций. Характеристика может включать в себя определение математического описания и организации конкретной детали признака пикселя изображения, уровня, или траектории, и т.д. Примеры детали признака включают в себя цвет, интенсивность освещения, изменения освещения, движение, и т.д. В блоке 208, устройство обработки изображения организует признаки изображения пикселя в многочисленные уровни. Каждый уровень может включать в себя декомпозированную последовательность изображений, которая содержит один или несколько каналов. Образование уровней может быть использовано в вычислении высококачественных траекторий, поскольку многочисленные уровни могут совместно обеспечить информацию для определения «сильных» и «слабых» пространственно-временных местоположений. Корреляции между разными уровнями могут также обеспечить полезную информацию.

[0028] В качестве примера, признаки изображения пикселя, разделенные посредством вейвлет-преобразования, могут быть сгруппированы в три уровня. Уровень один может представлять крупные детали изображения, и он может быть сгенерирован посредством группировки поддиапазонов HH, HL и LH в некотором диапазоне больших масштабов. Крупные детали изображения в Уровне один не подлежат классификации посредством пространственных ориентаций. В результате, Уровень один является последовательностью изображений, отфильтрованной с помощью полосового фильтра, только с крупными деталями. Уровень два может представлять мелкие детали изображения, и он может быть сгенерирован посредством выбора поддиапазонов HL, LH и HH в некотором диапазоне более мелких масштабов. Результирующая последовательность изображений Уровня два может быть последовательностью изображений, отфильтрованной с помощью фильтра верхних частот. Уровень три может представлять распределение яркости, и он может использовать диапазон LL наивысшего масштаба. В результате, Уровень три может быть последовательностью изображений, отфильтрованной с помощью фильтра низких частот, с удаленными более мелкими деталями. Уровень три может быть также сгенерирован с использованием других типов фильтров, таких как сглаживающие фильтры с сохранением граней, которые могут удалить текстуры, в то же время сохраняя четкие грани контента изображения. Уровень может содержать некоторое количество последовательностей изображений, которые могут быть каналами.

[0029] Траектории могут быть вычислены независимо от последовательностей изображений в каждом уровне. Вследствие различий от одного уровня к другому, траектория данного базового пикселя в одном уровне не может совместно использовать те же самые пространственно-временные местоположения, что и траектория того же самого базового пикселя в другом уровне. Такие расхождения уровней обеспечивают ценную информацию, которая может быть использована для улучшения изображения. Корреляции между траекториями в разных уровнях могут быть проанализированы и использованы для улучшения точности траекторий. В одном примере, вычисление траекторий и декомпозиции на уровни могут быть выполнены итерационно. Перед декомпозицией на уровни, могут быть идентифицированы некоторые базовые точки, и траектории этих выбранных базовых точек могут быть вычислены в пределах последовательности изображений. Результирующие траектории могут быть использованы для управления декомпозицией на уровни и для генерации более точных траекторий уровней.

[0030] После декомпозиции последовательности изображений на уровни, траектории могут быть вычислены посредством отслеживания признаков изображения пикселя. Однако, признаки изображения пикселя в уровне могут оказаться несходными от одного кадра изображения к другому кадру изображения, и, следовательно, может быть сложно осуществить отслеживание надежно и точно. Например, существование шума в Уровне два может сделать точное отслеживание мелких деталей в этом уровне более сложным. Может потребоваться дополнительная информация для облегчения отслеживания признаков изображения пикселя в конкретном уровне, и набор такой информации может быть признаками декомпозиции.

[0031] Признак декомпозиции может быть характеристикой контента изображения в конкретном уровне, которая является известной в пределах этого уровня и, таким образом, ее легче отследить. Признак декомпозиции обычно является отличным от признака изображения пикселя. Возвращаясь к фиг. 2, устройство обработки изображения может определить признаки декомпозиции для кадров изображения в каждом уровне, в блоке 106. Признаки декомпозиции могут быть определены таким образом, чтобы признаки декомпозиции могли быть использованы для облегчения вычисления траекторий в уровне с учетом несходства признаков изображения пикселя. Например, если мелкие детали в Уровне два искажены шумом, и становится сложно их отслеживать, то сильные грани в этом уровне могут быть идентифицированы в качестве признаков декомпозиции, которые могут быть с большей вероятностью отслежены точно, даже при искажении шумом. Способ детектирования граней может быть использован для извлечения сильных граней в Уровне два, и результирующие сильные грани могут быть использованы для облегчения вычисления траекторий в этом уровне.

[0032] Признаки декомпозиции могут быть вычислены из того же уровня, в котором подлежат вычислению траектории, но признаки декомпозиции могут быть альтернативно вычислены из другого уровня или из некоторого количества разных уровней. Например, другим типом признаков декомпозиции могут быть маски объектов. Маски объектов могут быть вычислены из другого уровня, такого как Уровень три в вышеупомянутом примере, или маски объектов могут быть получены прямо из последовательности изображений с использованием способа цветовой сегментации. Маски объектов могут быть также сгенерированы посредством интерактивного способа с участием человека, такого как ротоскопирование. Маски объектов могут быть использованы для облегчения вычисления траектории в конкретном уровне, таком как Уровень два в вышеупомянутом примере. Признаки декомпозиции могут быть добавлены к уровню в качестве дополнительных каналов признаков. Уровень с каналами признаков декомпозиции может быть расширенным уровнем, в котором каждому пикселю изображения присвоено дополнительное значение из каждого канала признака. Каналы признаков расширенного уровня могут включать в себя как признаки декомпозиции, так и признаки изображения пикселя. Например, Уровень два может быть расширенным уровнем с каналом признака изображения пикселя, содержащим мелкие детали, и двумя добавленными каналами признака декомпозиции, включающими в себя канал сильной грани и канал маски объекта. Следовательно, в вычислении траекторий в уровне, каждая траектория может использовать некоторые каналы признаков и определять, могут ли эти каналы быть существенно модифицированы. Выбранные каналы признаков могут быть использованы в качестве признаков траекторий. Признаки траекторий могут быть подмножеством каналов признаков в расширенном уровне.

[0033] В блоке 108, устройство обработки изображения вычисляет связи признаков для пикселей изображения в каждом уровне, на основе признаков декомпозированного изображения. Связь признака может быть связью, которая связывает пиксель p изображения из одного пространственно-временного местоположения (x_p,y_p,t_p) с другим пространственно-временным местоположением (x_i,y_i,t_i), где i≠p. Пиксель p изображения может иметь связи признаков с некоторым количеством соседних кадров изображения. Связь признака может быть вычислена на основе каналов признаков декомпозиции. В одном примере, предварительные связи признаков пикселя p сначала вычисляют в уровне в пределах некоторого количества соседних кадров изображения с использованием способа оптического потока. Вычисление оптического потока может быть основано на байесовском методе, который минимизирует функцию энергии, которая включает в себя стоимости данных и стоимости каналов. Пиксели изображения с наименьшими значениями энергии и пиксели изображения с наиболее уменьшенными значениями энергии могут быть выбраны в качестве связей признаков. В общем, каждый пиксель изображения в уровне может иметь связи признаков с другими кадрами в том же уровне. На практике, однако, только ограниченное количество связей признаков может быть выбрано для уменьшения необходимых вычислений. Например, пиксель p (x_p,y_p,t_p) может иметь четыре связи признаков со следующими пространственно-временными местоположениями (x_p-2,y_p-2,t_p-2), (x_p-1,y_p-1,t_p-1), (x_p+1,y_p+1,t_p+1), (x_p+2,y_p+2,t_p+2) в четырех соседних кадрах изображения.

[0034] В блоке 110, устройство обработки изображения вычисляет базовые траектории для каждого уровня, на основе выбранных связей признаков. Базовые траектории могут быть вычислены на основе выбранных связей признаков в уровне с использованием способа подпространства. Связь признака через M пространственно-временных местоположений в M кадрах может быть представлена посредством вектора-столбца длиной 2M:

f₁=[x_t1,y_t1,… x_tM,y_tM)]^T_{.......................}(Уравнение 2)

[0035] Если выбраны N связей признаков, то векторы-столбцы соединяют горизонтально в матрицу F 2Μ*Ν

F=[f₁,f₂…f_N] (Уравнение 3)

Каждая связь признака представлена в виде отдельного столбца в матрице. Это предполагает, что все связи признаков через эти M кадров существуют в подпространстве размерности R, так что матрица F может быть факторизована в виде:

F=BC (Уравнение 4)

где B является матрицей 2M*R, причем каждый столбец представляет базовую траекторию, а C является матрицей R*N коэффициентов. Одним примером вычисления базовой матрицы B размерности R является сингулярная декомпозиция и усечение до размерности R. Размерность R может относиться к сложности движения в сцене. Базовые траектории получают из базовой матрицы B после факторизации, поскольку R столбцов матрицы B идентифицируют в качестве пересечений базовых траекторий. Для генерации достаточного количества базовых траекторий, значение M является достаточно большим, поскольку R<2M. В одном примере, многочисленные матрицы B_2M*R могут быть вычислены посредством выбора многочисленных локальных областей в кадре изображения для генерации большого количества базовых траекторий.

[0036] Каждая базовая траектория может иметь некоторое количество признаков траекторий, и эти признаки могут быть выбраны из каналов признаков из расширенного уровня. Флаги признаков для каждой базовой траектории могут быть установлены на основе характеристик декомпозиции на уровни, а также на основе применений целевого улучшения. Значения флагов признаков могут быть использованы в качестве параметров управления для данного применения целевого улучшения. Например, предполагая, что базовые траектории определены, как в таблице фиг. 1, для трехуровневой декомпозиции, где Уровень один представляет крупные детали изображения, Уровень два представляет мелкие детали изображения, и Уровень три представляет распределение яркости, базовые траектории в Уровне один могут иметь все флаги признаков для признака f¹, установленные равными «единице», указывая на то, что крупная деталь является существенным компонентом изображения для этого уровня. В то же время, все флаги признаков для признака f² и признака f³ могут быть установлены равными «нулю», так что как мелкие детали, так и изменения освещения могут быть отнесены к отклоняющимся компонентам изображения. Подобным образом, в Уровне два, все флаги признаков для признака f² могут быть установлены равными «единице», в то время как все флаги для признака f¹ и f³ могут быть установлены равными «нулю». Если изменение освещения является известным в последовательности изображений, то все флаги для признака f³ могут быть установлены равными «единице», так что процесс может учитывать изменения освещения в вычислении. Флаги признаков траектории могут быть установлены различным образом для разных уровней.

[0037] Количество базовых траекторий может быть меньшим, чем общее количество пикселей изображения в уровне, поскольку базовые траектории генерируют из сравнительно малого количества выбранных пикселей изображения. Связи признаков этих выбранных пикселей могут быть вычислены с использованием способов, таких как оптический поток. Базовые траектории могут быть использованы для вычисления связей признаков для других пикселей изображения, которые на находятся на пути базовых траекторий. В блоке 112, устройство обработки изображения определяет взаимоотношения каждого пикселя изображения декомпозированных кадров изображения с базовыми траекториями в каждом уровне. Взаимоотношение может быть связью признака или математической связью, в которой имеются сходство, различия, или сходные различия между пикселями изображения, траекториями, или пикселями изображения и траекториями, и т.д. Взаимоотношения могут быть описаны в терминах пространственных и временных выражений или других математических выражений. Предполагая, что пиксель p не находится на пути какой-либо базовой траектории, связи признаков пикселя p могут быть определены посредством установления взаимоотношения с одной или несколькими соседними базовыми траекториями. Пример взаимоотношений пикселя p с базовыми траекториями представлен посредством Уравнения 5, в котором его связь признака f_p может быть выражена в виде разреженного представления посредством базовых траекторий:

c _p=arg min ||c||₀, при условии, что f_p=Bc (Уравнение 5)

[0038] В Уравнении 5, ||c||₀ является нормой L₀ которая равна количеству ненулевых записей в векторе c коэффициентов. Уравнение 5 может быть вычислено с использованием линейного программирования. Количество ненулевых записей в норме L₀ равно количеству ненулевых записей в векторе коэффициентов. Количество ненулевых записей в c_p означает, что каждый пиксель изображения может относиться к уменьшенному количеству базовых траекторий.

[0039] Блоки 108, 110, 112 могут быть применены ко всем декомпозированным уровням для каждого пикселя. Для пикселя p в пространственно-временном местоположении (x_p,y_p,t_p), набор информации {B^l, c_p^l, f_p^l}, (l≥l) вычисляют в каждом уровне I. Как описано выше, матрица B^l хранит пересечения вычисленных базовых траекторий, вектор c_p^l содержит ненулевые записи, которые представляют взаимоотношения между каждым пикселем p с уменьшенным набором базовых траекторий, а связь f_p^l признака представляет предварительные связи признаков для пикселя p. Поскольку разные уровни сохраняют разные характеристики последовательности изображений, и каждый уровень использует разные признаки декомпозиции, базовые траектории и предварительные связи признаков для пикселя p могут быть отличными от одного уровня к другому. Например, два разных набора информации могут быть вычислены из двух разных уровней для одного и того же пикселя p: {B¹, c_p¹, f_p¹} из Уровня 1, который представляет крупные детали, и {B², c_p², f_p²} из Уровня 2, который представляет мелкие детали.

[0040] В блоке 114, устройство обработки изображения создает новые траектории для каждого пикселя изображения декомпозированных кадров изображения на основе базовых траекторий и взаимоотношений пикселя изображения с базовыми траекториями, по меньшей мере из двух уровней. Новые траектории любого пикселя p изображения могут быть вычислены на основе базовых траекторий и взаимоотношений пикселя изображения с базовыми траекториями, из многочисленных уровней. Базовые траектории и взаимоотношения пикселей могут быть разными в разных уровнях. Многоуровневые траектории могут допускать различия между уровнями, подлежащими исследованию, так что новая траектория может преодолеть несходство признаков изображения пикселя. Различия между разными уровнями могут быть унифицированы таким образом, чтобы новые траектории могли быть вычислены. Новая траектория для пикселя может быть вычислена на основе новых базовых траекторий и взаимоотношений между пикселем и новыми базовыми траекториями по меньшей мере из двух уровней. В некоторых случаях, многочисленные уровни могут совместно использовать общий набор базовых траекторий, в то время как в других случаях разные базовые траектории могут сосуществовать в разных уровнях. В приведенном выше примере двухуровневой декомпозиции, где Уровень один представляет крупные детали, и Уровень два представляет мелкие детали, могут быть получены два разных набора информации - {B¹, c_p¹, f_p¹} из Уровня 1, и {B², c_p², f_p²} из Уровня 2. Когда набор базовых траекторий в B¹ может быть представлен посредством набора базовых траекторий в B², его классифицируют в качестве набора «совместно используемых» базовых траекторий. Иначе, его классифицируют в качестве набора базовых траекторий «данного уровня». Подобные классификации выполняют в B² и наоборот. Когда как B¹, так и B² содержат совместно используемые траектории, новый набор базовых траекторий B^ может быть вычислен из B¹ и B² посредством применения сингулярной декомпозиции и усечения. Новые базовые траектории в Уровне один могут быть сгенерированы посредством объединения B^ с базовыми траекториями «данного уровня» в B¹. Подобным образом, новые базовые траектории B^² в Уровне два могут быть сгенерированы посредством объединения B^ с базовыми траекториями «данного уровня» в B².

[0041] В том же примере двухуровневой декомпозиции, пиксель p может быть классифицирован в качестве «пикселя единственной траектории», если вектор c_p¹ коэффициентов из Уровня один и c_p² из Уровня два относят пиксель только к «совместно используемым» базовым траекториям. Иначе, пиксель p может быть классифицирован в качестве «пикселя множества траекторий». Для «пикселя единственной траектории», новую предварительная связь f^_p вычисляют посредством объединения f_p¹ и f_p². Способ взвешенного среднего значения может быть использован для объединения f_p¹ и f_p². Новый вектор c^_p коэффициентов может быть вычислен из совместно используемого набора B^ базовых траекторий и f^_p, на основе Уравнения 5. Для «пикселя множества траекторий», новый коэффициент c^_p¹ может быть вычислен на основе f_p¹ и B^¹ для Уровня один, а другой новый коэффициент c^_p² может быть вычислен на основе f_p² и B^². Вычисление новых траекторий может быть продолжено более чем для двух уровней.

[0042] В некоторых реализациях, новые траектории в уровне могут быть также сгенерированы посредством переноса базовых траекторий из другого уровня. В примере двухуровневой декомпозиции, где пиксель p является пикселем множества траекторий, B² может быть заменен на B¹. Подобным образом, c_p² может быть заменен на c_p¹. В результате, пересечения траекторий Уровня два f_p² эффективно заменяют на f_p¹ из Уровня один. Во время переноса базовой траектории из Уровня один в Уровень два, флаги признака траектории, которые представляют мелкие детали, могут быть изменены с «единиц» на «нули». Это может указывать на то, что признаки мелких деталей становятся отклоняющимися компонентами изображения и могут быть существенно модифицированы. В общем, пиксели, которые классифицированы в качестве пикселей множества траекторий, обычно относятся к сложным контентам сцены, таким как прозрачность, вода, облака и хаотическим сценам.

[0043] В блоке 116, устройство обработки изображения определяет по меньшей мере один признак траектории для новых траекторий в каждом уровне и определяет, нуждаются ли признаки траекторий в существенной модификации в каждом пересечении новой траектории в каждом уровне. Новые траектории, генерируемые в блоке 114, могут включать в себя только пересечения траекторий f^l_p. Поскольку траектория может также включать в себя признаки траекторий и флаги признаков траекторий, по меньшей мере один признак новой траектории может быть определен для новой траектории в каждом уровне. Подобно генерации базовых траекторий, как описано выше, признаки новых траекторий могут быть подмножеством каналов признаков расширенного уровня, выбираемым для применения целевого улучшения. Например, для применения в улучшении деталей изображения, следующие три признака траекторий могут быть выбраны для новой траектории: признак f¹ может представлять крупные детали изображения; признак f² может представлять мелкие детали изображения; и признак f³ может представлять изменение освещения между соседними кадрами изображения. Данное устройство может определить, должны ли быть существенно модифицированы признаки траекторий в каждом предварительном пересечении траектории в f^l_p в каждом уровне.

[0044] Новые пересечения траекторий f^l_p включают в себя пространственно-временные местоположения, и анализ признаков декомпозиции в уровнях вдоль этих пересечений может определить, является ли местоположение «хорошим» для применения целевого улучшения, или нет. Для «хорошего» местоположения, по меньшей мере один признак траектории может быть определен в качестве существенного компонента изображения в этом местоположении. С другой стороны, признак траектории может быть рассмотрен в качестве отклоняющегося компонента изображения, когда местоположение не является «хорошим» местоположением. В одном (некотором) примере, где применение целевого улучшения является улучшение деталей изображения, способ анализа движения может быть применен к каждому пространственно-временному местоположению на основе признаков декомпозиции уровня. Местоположения со статическим состоянием или состоянием устойчивого движения могут быть рассмотрены в качестве «хороших» местоположений. Кроме того, направление движения в пространственно-временном местоположении может также обеспечить указание на то, является ли местоположение «хорошим» для деталей изображения в некоторых направлениях. В другом примере, где входная последовательность изображений уже сжата, параметры сжатия в разных пространственно-временных местоположениях могут также обеспечить указание на качество изображения в каждом пространственно-временном местоположении. В другом примере, для пикселей, классифицированных в качестве «пикселей единственной траектории», корреляция между признаками декомпозиции в разных уровнях может быть вычислена для определения того, связано ли местоположение с нормальными или ненормальными условиями освещения.

[0045] Флаг признака траектории устанавливают равным «единице» для пересечения траектории, где соответствующий признак траектории является существенным компонентом изображения, и его устанавливают равным «нулю», когда соответствующий флаг признака является отклоняющимся компонентом изображения. В примере двухуровневой декомпозиции, флаги признака крупных деталей Уровня один могут быть установлены равными «единице» для пикселей множества траекторий, в то время как флаги признака мелких деталей могут быть установлены равными «нулю», так что мелкие детали могут быть существенно модифицированы. Это может быть применимым для целевых применений, таких как улучшение деталей. Для других применений, таких как заполнение пропусков перекрытия в VFX и реставрация фильмов, для некоторых пикселей единственной траектории вдоль траектории флаги признака крупных деталей могут быть также установлены равными «нулю», что указывает на то, что эти признаки могут быть существенно модифицированы. Описанные способы могут быть расширены на различные другие целевые применения.

[0046] В блоке 118, устройство обработки изображения уточняет пересечения траекторий посредством применения фильтрации для создания обновленных пересечений траекторий и для модификации признаков траекторий в каждом уровне. Могут быть определены точные пересечения траекторий на новой траектории, где признаки траекторий подлежат существенной модификации. Это может быть обеспечено посредством фильтрации взаимоотношений между новыми траекториями и базовыми траекториями вдоль новых траекторий для генерации уточненной траектории. На практике, предсказание местоположения p пересечения новой траектории может быть вычислено следующим образом:

f^^l_p=B^lc^l_p (Уравнение 6)

где B^l является новым набором базовых траекторий уровня I, а c^l_p является вектором коэффициентов уровня I для пикселя p. Предсказанные пересечения траекторий в пикселе p относят к базовой траектории посредством ненулевых записей в векторе c^l_p коэффициентов, следуя Уравнению 6. Различия между f^^l_p и f^l_p могут быть отфильтрованы с использованием управляемой фильтрации, и управление, используемое в фильтрации, может быть сконструировано на основе признаков декомпозиции вдоль f^l_p. Пересечения новых траекторий могут быть вычислены следующим образом:

f'^l_p=f^^l_p + S(f^l_p - f^^l_p) (Уравнение 7)

где S является процессом фильтрации, включающим в себя управляемый процесс фильтрации, как описано выше. Результирующее пересечение новой траектории f'^l_p может заменить предварительное пересечение f^l_p из блока 114. Уравнение 7 может быть использовано для уточнения пространственно-временных местоположений пересечений новых траекторий, где определено, что признаки траекторий подлежат существенной модификации.

[0047] После определения местоположений пересечений траекторий, флаги признаков траекторий в этих местоположениях могут быть изменены соответствующим образом. Для местоположений пересечений траекторий, где существует существенное различие между пересечениями конечной траектории f'^l_p и пересечениями предварительной траектории f^l_p, флаги признаков траекторий могут быть установлены равными «нулю», так что соответствующие признаки траекторий может быть модифицированы. Для каждого местоположения пересечения с «нулевыми» флагами признаков, лучшие признаки могут быть найдены на основе f'^l_p.

[0048] Нижеследующее является примером, связанным с блоком 118 двухуровневой декомпозиции, где Уровень один представляет крупные детали, а Уровень два представляет мелкие детали. В зависимости от применений целевого улучшения, Уровень 1 может быть обработан способом, отличным от способа обработки Уровня 2. Сначала в Уровне 1, собирают пространственно-временные местоположения с флагами признака траектории, установленными равными «единице», и генерируют предсказание посредством усреднения признаков этих местоположений вдоль траектории. Затем, предсказанные признаки могут быть адаптивно смешаны с признаками в пространственно-временных местоположениях с «нулевыми» флагами признака траектории. Адаптивное смешивание может использовать корреляции между разными цветовыми каналами. Результат Уровня два может быть использован в качестве ориентира для модификаций признаков в Уровне два, предполагая, что временное поведение Уровня два соответствует временному поведению Уровня один после изменения признаков траекторий. Блоки 116 и 118 могут быть реализованы итерационно, как показано стрелкой 117, пока не будут сгенерированы точные конечные траектории.

[0049] Конечные траектории могут быть вычислены для каждого пикселя каждого кадра изображения последовательности изображений. В блоке 120, устройство обработки изображения выводит конечные траектории. Конечные траектории в каждом уровне могут быть выведены и сохранены для каждого пикселя каждого кадра изображения последовательности изображений, или для подмножества пикселей и подмножества кадров изображения. Многочисленные конечные траектории могут быть доступны для пикселя кадра изображения в каждом уровне, который может включать в себя траекторию, начинающуюся от этого пикселя (в этом случае пиксель называют базовым пикселем траектории), и траектории, начинающиеся от пространственно-временных местоположений в других кадрах и пересекающие кадр изображения в местоположении пикселя.

[0050] В блоке 122, устройство обработки изображения создает улучшенный пиксель изображения в уровне посредством модификации признаков изображения пикселя в каждом уровне, на основе конечных траекторий. Траектории, проходящие через пиксель, могут быть использованы для модификации признаков изображения пикселя этого пикселя. Конкретно, траектории в каждом уровне могут быть использованы для модификации некоторых признаков изображения пикселя в уровне, и результаты модификаций уровней из всех уровней могут быть объединены для генерации улучшенного пикселя изображения.

[0051] Примеры процесса в блоке 122 включает в себя один пример, в котором улучшение деталей изображения выбрано в качестве применения целевого улучшения, и использована трехуровневая декомпозиция. Уровень один представляет крупные детали изображения, Уровень два представляет мелкие детали изображения, Уровень 3 представляет распределение яркости. После генерации новых траекторий для пикселей в трех уровнях кадров изображения, сохраняющий детали, сглаживающий процесс может быть применен к каждому пикселю в Уровне один и Уровне два кадра изображения на основе признаков траекторий каждой траектории, которая проходит через каждый пиксель. Сохраняющий детали, сглаживающий процесс может быть ограничен пространственно-временными местоположениями каждой траектории, которая проходит через пиксель. Набор параметров, отличный от набора параметров, выбранного для сохраняющей детали, сглаживающей обработки в Уровне два, может быть выбран для сохраняющей детали, сглаживающей обработки в Уровне один. Обработка в Уровне три может потребовать специального рассмотрения, поскольку уровень яркости обычно включает в себя сложные визуальные эффекты и смешанные случаи, такие как облако или дым. Сохранение деталей и сглаживание могут быть также применены к Уровню три, но их применяют адаптивно на основе того, классифицировано ли пространственно-временное местоположение вдоль траектории в качестве «пикселя единственной траектории» или «пикселя множества траекторий».

[0052] В блоке 124, устройство обработки изображения создает улучшенную последовательность изображений с использованием улучшенных декомпозированных уровней изображения. После улучшения пикселей изображения кадров изображения в уровнях на основе новых траекторий, обратное преобразование может быть применено к каждому из улучшенных кадров изображения для создания улучшенной последовательности изображений. Некоторые ограничения могут быть применены перед обратным преобразованием таким образом, чтобы изменения для изображений могли быть ограничены в пределах управляемого диапазона. В блоке 126, устройство обработки изображения может вывести улучшенную последовательность изображений. Улучшенная последовательность изображений может быть выведена посредством выходного устройства или может быть сохранена в виде данных изображения.

[0053] Способы, описанные на фиг. 2, могут быть упрощены для некоторых применений, в которых построение уровней может быть неприменимым вследствие ограничений вычислительных затрат. В таких случаях, последовательность изображений может быть рассмотрена в качестве единственного уровня посредством преобразования последовательности изображений в единственный уровень, и вычисление траекторий может быть применено к преобразованному единственному уровню без создания многочисленных уровней, как в декомпозиции на уровни. Одним из способов преобразования последовательности изображений может быть преобразование Фурье для создания преобразованного единственного уровня. Преобразованный единственный уровень может иметь то же самое или меньшее количества пикселей в сравнении с исходной последовательностью изображений. Фиг. 4 описывает пример генерации улучшенной последовательности изображений без декомпозиции на многочисленные уровни.

[0054] В блоке 302, устройство обработки изображения преобразует кадры изображения последовательности изображений в некоторый уровень. В блоке 304, устройство обработки изображения определяет признаки декомпозиции для кадров изображения в этом уровне. Признак декомпозиции может быть характеристикой контента изображения в конкретном уровне, которая известна в пределах этого уровня. В блоке 306, устройство обработки изображения вычисляет связи признаков для пикселей изображения, на основе признаков декомпозированного изображения. Связь признака может быть связью, которая связывает пиксель изображения из одного пространственно-временного местоположения с другим пространственно-временным местоположением. В блоке 308, устройство обработки изображения вычисляет базовые траектории для уровня, на основе связей признаков. Базовая траектория может быть пространственно-временными местоположениями выбранного элемента контента изображения в пределах длительности последовательности изображений, и признаками выбранного элемента контента изображения в окрестности каждого пространственно-временного местоположения в виде многочисленных каналов признаков.

[0055] В блоке 310, устройство обработки изображения определяет взаимоотношения каждого пикселя изображения из преобразованных кадров изображения с базовыми траекториями в уровне. В блоке 312, устройство обработки изображения создает новые траектории для пикселей изображения преобразованных кадров изображения на основе базовых траекторий и взаимоотношений пикселей изображения с базовыми траекториями. В блоке 314, устройство обработки изображения определяет по меньшей мере один признак траектории для новых траекторий и определяет уровень модификации для признака траектории в пересечениях новых траекторий в уровне. В блоке 316, устройство обработки изображения уточняет пересечения траекторий посредством применения фильтрации к пересечениям траекторий для создания обновленных пересечений траекторий и модифицирует признаки траекторий в уровне. Блоки 314 и 316 могут быть выполнены итерационно, как показано стрелкой 317, пока не будут сгенерированы точные конечные траектории. В других реализациях, блок 316 не выполняют, и итерационный процесс, показанный стрелкой 317, не выполняют.

[0056] В блоке 318, устройство обработки изображения выводит конечные траектории. В блоке 320, устройство обработки изображения создает улучшенный пиксель изображения в уровне посредством модификации признаков изображения пикселя в уровне на основе конечных траекторий. В блоке 322, устройство обработки изображения создает улучшенную последовательность изображений с использованием улучшенного уровня изображения. В блоке 324, устройство обработки изображения выводит улучшенную последовательность изображений.

[0057] Многоуровневая декомпозиция может лучше подходить для характеристики последовательностей кинофрагментов, в которых последовательности изображений включают в себя последовательности изображений от многочисленных камер специальных VFX. Природа артефактов в последовательностях изображений, захваченных многочисленными камерами, может быть более сложной и может включать в себя многоуровневую декомпозицию для эффективного улучшения изображения. Контент последовательности изображений, захваченный одним устройством отображения изображения, таким как одна камера, может не требовать многоуровневой декомпозиции, поскольку природа артефактов не меняется.

[0058] Некоторые варианты осуществления цифрового улучшения входной последовательности изображений и вывода улучшенной последовательности изображений реализованы в аппаратном вычислительном устройстве, связанным с системой отображения изображения через внешнюю связь. Вычисление, выполняемое в аппаратном вычислительном устройстве, может быть обеспечено с использованием компьютера, запрограммированного для выполнения различных способов согласно различным примерам, с использованием высокопроизводительных плат графического процессора (graphics-processing unit - GPU). Такая конфигурация может обеспечить вычислительным задачам возможность реализации в программном обеспечении, таком как OpenGL GLSL, Cg или CUDA, пользуясь преимуществами вычислительных возможностей GPU. Например, компьютерный программный продукт может быть расположен на одном или нескольких аппаратных устройствах, таких как устройства, описанные выше, или других устройствах, таких как компьютерная система или сервер. Компьютерный программный продукт может включать в себя исполняемый код, хранящийся в компьютерно-читаемой памяти, который, при исполнении, может обеспечить выполнение аппаратными устройствами различных способов согласно различным вариантам осуществления данного изобретения. Использование GPU может уменьшить затраты на разработку встроенного устройства и может обеспечить гибкость для будущих обновлений компонентов. Данные улучшенной последовательности изображений, создаваемые посредством аппаратного вычислительного устройства или программного обеспечения, могут быть отображены прямо на системе отображения изображения посредством внешней связи.

[0001] Фиг. 5 описывает блок-схему с примером устройства 400 обработки изображения. Конечно, другие примеры могут быть использованы. Устройство 400 обработки изображения включает в себя процессор 402, память 404, и шину 406. Память 404 включает в себя компьютерно-читаемое запоминающее устройство, на котором хранится код. Процессор 402 может исполнять код, хранящийся в памяти 404, посредством обеспечения связи через шину 406 для обеспечения устройству 400 обработки изображения возможности выполнения действий. Устройство 400 обработки изображения может включать в себя интерфейс 408 ввода/вывода (I/O) для связи с другими компонентами, такими как устройство 414 отображения. Устройство 400 обработки изображения может быть любым устройством, которое может обрабатывать данные и исполнять код, который является набором команд для выполнения действий. Примеры устройства 400 обработки изображения включают в себя сервер базы данных, Web-сервер, настольный персональный компьютер, переносной персональный компьютер, ручное вычислительное устройство, и мобильное устройство.

[0002] Примеры процессора 402 включают в себя микропроцессор, специализированную интегральную схему (application-specific integrated circuit - ASIC), конечный автомат, или другой подходящий процессор. Процессор 402 может включать в себя один процессор или любое количество процессоров. Процессор 402 может обращаться к коду, хранящемуся в памяти 404, через шину 406. Память 404 может быть любым компьютерно-читаемым носителем, выполненным для реального осуществления кода и может включать в себя электронные, магнитные, или оптические устройства. Примеры памяти 404 включают в себя память с произвольным доступом (random access memory - RAM), постоянное запоминающее устройство (read-only memory - ROM), гибкий диск, компакт-диск, цифровое видеоустройство, магнитный диск, ASIC, конфигурируемый процессор, или другое запоминающее устройство.

[0003] Команды могут храниться в памяти 404 в виде исполняемого кода. Команды могут включать в себя процессорно-зависимые команды, генерируемые компилятором или интерпретатором из кода, записанного на любом подходящем языке компьютерного программирования. Команды могут включать в себя прикладную программу, такую как процессор 410 для обработки изображений, которая, при исполнении посредством процессора 402, может обеспечить устройству 400 обработки изображения возможность выполнения действий, таких как действия, описанные с сочетании с фиг. 2-4. Устройство 400 обработки изображения может также включать в себя GPU. Память 404 может также включать в себя хранилище 412 данных, в котором контент и данные могут быть сохранены. Некоторые аспекты могут быть реализованы в системе проецирования, такой как система проецирования, которая включает в себя устройство 400 обработки изображения.

[0059] Приведенное выше обеспечено в целях иллюстрации, разъяснения, и описания вариантов осуществления данного изобретения. Дополнительные модификации и адаптации этих вариантов осуществления будут очевидны специалистам в данной области техники и могут быть выполнены, не выходя за рамки объема и сущности данного изобретения.

1. Способ улучшения последовательности изображений, причем этот способ предусматривает:

прием последовательности изображений с кадрами изображения;

определение признака декомпозиции для кадров изображения;

вычисление связей признака для пикселей изображения на основе признака декомпозиции;

вычисление по меньшей мере одной базовой траектории на основе по меньшей мере одной выбранной связи признака среди связей признаков;

определение взаимоотношения пикселя изображения по меньшей мере с одной базовой траекторией;

создание новой траектории для пикселя изображения декомпозированных кадров изображения на основе по меньшей мере одной базовой траектории и взаимоотношения пикселя изображения по меньшей мере с одной базовой траекторией;

определение по меньшей мере одного признака траектории для новой траектории и определение того, нуждается ли по меньшей мере один признак траектории в модификации при пересечении новой траектории;

уточнение пересечения новой траектории и создание конечной траектории, причем уточнение пересечения новой траектории включает в себя фильтрацию взаимоотношения по меньшей мере одного пикселя изображения вдоль новой траектории;

создание улучшенного пикселя изображения посредством модификации признака изображения пикселя на основе конечной траектории;

создание улучшенной последовательности изображений на основе улучшенного пикселя изображения; и

вывод улучшенной последовательности изображений.

2. Способ по п. 1, дополнительно предусматривающий определение по меньшей мере одного признака траектории для пересечения новой траектории вдоль новой траектории в качестве существенного компонента изображения или отклоняющегося компонента изображения для применения целевого улучшения.

3. Способ по п. 1, дополнительно предусматривающий определение посредством анализа, является ли по меньшей мере один признак траектории пересечения новой траектории существенным компонентом изображения или отклоняющимся компонентом изображения, на основе характеристики декомпозиции на уровни и применения целевого улучшения.

4. Способ по п. 3, дополнительно предусматривающий:

анализ корреляции между траекториями в уровне, причем уровень включает в себя декомпозированные кадры изображения последовательности изображений; и

вычисление траекторий и декомпозиции на уровни итерационно для уточнения точности траекторий уровня.

5. Способ по п. 1, в котором определение признака декомпозиции основано на применении целевого улучшения.

6. Способ по п. 5, дополнительно предусматривающий:

идентификацию признака изображения пикселя в последовательности изображений на основе применения целевого улучшения;

извлечение идентифицированного признака изображения пикселя из последовательности изображений;

обработку извлеченного признака изображения пикселя для дополнительной характеристики признака изображения пикселя; и

организацию характеризуемого признака изображения пикселя для образования по меньшей мере двух уровней.

7. Способ по п. 1, дополнительно предусматривающий фильтрацию взаимоотношения между новой траекторией и по меньшей мере одной базовой траекторией вдоль пересечения новой траектории для генерации обновленной траектории.

8. Способ по п. 1, в котором создание улучшенной последовательности изображений включает в себя использование последовательности изображений с улучшенным пикселем изображения.

9. Способ по п. 1, в котором вычисление по меньшей мере одной базовой траектории основано только на по меньшей мере одной выбранной связи признака для кадра изображения последовательности изображений.

10. Способ по п. 1, в котором по меньшей мере одна базовая траектория является траекторной связью, которая записывает пространственно-временное местоположение одного и того же элемента контента изображения в пределах длительности последовательности изображений для выбранного пикселя изображения,

причем пересечение новой траектории характерно для пространственно-временного местоположения новой траектории и кадра изображения,

причем связи признаков включают в себя связи, которые связывают пиксели изображения из пространственно-временных местоположений с другими пространственно-временными местоположениями,

причем по меньшей мере один признак траектории представляет характеристику последовательности изображений, которую выбирают для применения целевого улучшения.

11. Способ для улучшения последовательности изображений, предусматривающий:

прием последовательности изображений с кадрами изображения;

декомпозицию последовательности изображений по меньшей мере на два уровня, которые образуют декомпозированные кадры изображения;

определение признака декомпозиции для кадров изображения в уровне;

подсчет связей признаков для пикселей изображения в уровне на основе признака декомпозиции;

вычисление по меньшей мере одной базовой траектории для уровня на основе по меньшей мере одной выбранной связи признака;

определение взаимоотношения пикселя изображения из кадров изображения по меньшей мере с одной базовой траекторией в каждом по меньшей мере из двух уровней;

создание новой траектории для этого пикселя изображения или другого пикселя изображения декомпозированных кадров изображения, на основе по меньшей мере одной базовой траектории и взаимоотношения пикселя изображения по меньшей мере с одной базовой траекторией по меньшей мере из двух уровней;

определение по меньшей мере одного признака траектории для новой траектории в уровне и определение того, нуждается ли по меньшей мере один признак траектории в модификации при пересечении новой траектории в уровне;

уточнение пересечения новой траектории и создание конечной траектории, причем уточнение пересечения новой траектории включает в себя фильтрацию взаимоотношения пикселя изображения вдоль новой траектории;

создание улучшенного пикселя изображения по меньшей мере в одном уровне посредством модификации признаков изображения пикселя в каждом по меньшей мере из двух уровней на основе конечной траектории;

создание улучшенной последовательности изображений на основе улучшенного пикселя изображения в декомпозированных уровнях изображений; и

вывод улучшенной последовательности изображений.

12. Способ по п. 11, дополнительно предусматривающий определение по меньшей мере одного признака траектории для пересечения новой траектории вдоль новой траектории, в качестве существенного компонента изображения или отклоняющегося компонента изображения для применения целевого улучшения.

13. Способ по п. 11, в котором определение признака декомпозиции основано на применении целевого улучшения.

14. Способ по п. 13, дополнительно предусматривающий:

идентификацию признака изображения пикселя в последовательности изображений на основе применения целевого улучшения;

извлечение идентифицированного признака изображения пикселя из последовательности изображений;

обработку извлеченного признака изображения пикселя для дополнительной характеристики признака изображения пикселя; и

организацию характеризуемого признака изображения пикселя для образования по меньшей мере двух уровней.

15. Способ по п. 11, дополнительно предусматривающий фильтрацию взаимоотношения между новой траекторией и по меньшей мере одной базовой траекторией вдоль пересечения новой траектории для генерации обновленной траектории.

16. Способ по п. 11, в котором по меньшей мере одна базовая траектория является траекторной связью, которая записывает пространственно-временное местоположение одного и того же элемента контента изображения в пределах длительности последовательности изображений, для выбранного пикселя изображения,

причем пересечение новой траектории характерно для пространственно-временного местоположения новой траектории и кадра изображения,

причем связи признаков включают в себя связи, которые связывают пиксели изображения из пространственно-временных местоположений с другими пространственно-временными местоположениями,

причем по меньшей мере один признак траектории представляет характеристику последовательности изображений, которую выбирают для применения целевого улучшения.

17. Способ по п. 11, в котором новая траектория основана по меньшей мере на одной базовой траектории, которая перенесена из другого уровня.

18. Способ улучшения последовательности изображений, предусматривающий:

генерацию по меньшей мере одного уровня обработки изображения из кадров изображения последовательности изображений;

определение признаков декомпозиции, которые являются характеристиками контента изображения по меньшей мере в одном уровне обработки изображения, для кадров изображения;

определение связей признаков на основе признаков декомпозиции, причем связи признаков включают в себя связи, которые связывают пиксели изображения по меньшей мере в одном уровне обработки изображения между пространственно-временными местоположениями;

вычисление базовых траекторий по меньшей мере для одного уровня обработки изображения на основе связей признаков, причем базовые траектории представляют пространственно-временные местоположения выбранных элементов контента изображения в пределах длительности последовательности изображений;

определение взаимоотношений пикселей изображения с базовыми траекториями;

генерацию новых траекторий для пикселей изображения на основе этих взаимоотношений и базовых траекторий;

определение признака траектории для новых траекторий и определение уровня модификации для признака траектории при пересечениях новых траекторий по меньшей мере в одном уровне обработки изображения, причем признак траектории представляет характеристики, выбранные для целевого улучшения в последовательности изображений, причем пересечения новых траекторий записывают пересечения новых траекторий с кадрами изображения в виде пространственно-временных местоположений;

генерацию конечных траекторий из новых траекторий;

генерацию по меньшей мере одного улучшенного уровня изображения посредством модификации признаков изображения пикселя по меньшей мере в одном уровне обработки изображения на основе конечных траекторий;

генерацию улучшенной последовательности изображений с использованием по меньшей мере одного улучшенного уровня изображения;

анализ корреляции между траекториями по меньшей мере в одном уровне обработки изображения; и

вычисление траекторий и декомпозиции на уровни итерационно для уточнения точности траектории уровня.

19. Способ по п. 18, в котором генерация конечных траекторий из новых траекторий включает в себя уточнение пересечений новых траекторий посредством применения фильтрации для создания обновленных пересечений траекторий и модификации признака траектории.

20. Способ по п. 18, в котором определение признака траектории и уточнение пересечений новых траекторий выполняют итерационно.

21. Способ по п. 18, в котором по меньшей мере один уровень обработки изображения включает в себя множество уровней обработки изображения.

22. Способ по п. 18, дополнительно предусматривающий определение посредством анализа, является ли признак траектории существенным компонентом изображения или отклоняющимся компонентом изображения, на основе характеристики декомпозиции на уровни и применения целевого улучшения.

23. Способ по п. 18, дополнительно предусматривающий:

идентификацию признаков изображения пикселя в последовательности изображений на основе применения целевого улучшения;

извлечение идентифицированного признака изображения пикселя из последовательности изображений;

обработку извлеченного признака изображения пикселя для дополнительной характеристики признаков изображения пикселя; и

организацию характеризуемого признака изображения пикселя для образования по меньшей мере двух уровней обработки изображения.

24. Компьютерно-читаемый носитель, имеющий хранящиеся на нем команды, которые являются исполняемыми посредством процессора для выполнения операций, причем эти операции содержат:

генерацию по меньшей мере одного уровня обработки изображения из кадров изображения последовательности изображений;

определение признаков декомпозиции, которые являются характеристиками контента изображения по меньшей мере в одном уровне обработки изображения, для кадров изображения;

определение связей признаков на основе признаков декомпозиции, причем связи признаков включают в себя связи, которые связывают пиксели изображения по меньшей мере в одном уровне обработки изображения с пространственно-временными местоположениями;

вычисление базовых траекторий по меньшей мере для одного уровня обработки изображения на основе связей признаков, причем базовые траектории представляют пространственно-временные местоположения выбранных элементов контента изображения в пределах длительности последовательности изображений;

определение взаимоотношений пикселей изображения с базовыми траекториями;

генерацию новых траекторий для пикселей изображения на основе этих взаимоотношений и базовых траекторий;

определение признака траектории для новых траекторий и определение уровня модификации для признака траектории при пересечениях новых траекторий по меньшей мере в одном уровне обработки изображения, причем признак траектории представляет характеристики, выбранные для целевого улучшения в последовательности изображений, причем пересечения новых траекторий записывают пересечения новых траекторий с кадрами изображения в виде пространственно-временных местоположений;

генерацию конечных траекторий из новых траекторий;

генерацию по меньшей мере одного улучшенного уровня изображения посредством модификации признаков изображения пикселя по меньшей мере в одном уровне обработки изображения на основе конечных траекторий;

генерацию улучшенной последовательности изображений с использованием по меньшей мере одного улучшенного уровня изображения;

анализ корреляции между траекториями по меньшей мере в одном уровне обработки изображения; и

вычисление траекторий и декомпозиции на уровни итерационно для уточнения точности траектории уровня.

25. Компьютерно-читаемый носитель по п. 24, причем компьютерно-читаемый носитель расположен в устройстве обработки изображения.

26. Компьютерно-читаемый носитель по п. 24, причем операции генерации конечных траекторий из новых траекторий включают в себя уточнение пересечений новых траекторий посредством применения фильтрации для создания обновленных пересечений траекторий и модификации признака траектории.

27. Компьютерно-читаемый носитель по п. 24, причем операции определения признака траектории и уточнения пересечений новых траекторий выполняют итерационно.

28. Компьютерно-читаемый носитель по п. 24, причем по меньшей мере один уровень обработки изображения включает в себя множество уровней обработки изображения.

29. Компьютерно-читаемый носитель по п. 24, причем операции дополнительно содержат определение посредством анализа, является ли признак траектории существенным компонентом изображения или отклоняющимся компонентом изображения, на основе характеристики декомпозиции на уровни и применения целевого улучшения.

30. Компьютерно-читаемый носитель по п. 24, причем операции дополнительно содержат:

идентификацию признаков изображения пикселя в последовательности изображений, на основе применения целевого улучшения;

извлечение идентифицированного признака изображения пикселя из последовательности изображений;

обработку извлеченного признака изображения пикселя для дополнительной характеристики признаков изображения пикселя; и

организацию характеризуемого признака изображения пикселя для образования по меньшей мере двух уровней обработки изображений.