Система для генерирования изображения промежуточного вида

Группа изобретений относится к технологиям генерации промежуточного изображения из стереоданных. Техническим результатом является обеспечение генерации промежуточного изображения с улучшенным качеством. Предложен способ генерирования промежуточного изображения из стереоданных для промежуточного вида с использованием смешивания левого промежуточного изображения и правого промежуточного изображения согласно политике смешивания. Политика смешивания задает относительные вклады левого и правого промежуточных изображений при смешивании как функцию промежуточного вида, причем стереоданные содержат левые данные и правые данные. Способ содержит этап, на котором предсказывают качество изображения промежуточного изображения для каждой из множества политик смешивания на основе характеристики изображения стереоданных, причем политика смешивания задает относительные вклады левого и правого промежуточных изображений при смешивании. Определяют политику смешивания посредством осуществления выбора политики смешивания из множества политик смешивания на основе предсказанного качества изображения промежуточного изображения. 2 н. и 13 з.п. ф-лы, 9 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Данное изобретение относится к генерированию промежуточного изображения из стереоданных.

Стереоизображение является общим представлением для данных трехмерного (3D) изображения. Стереоизображение содержит левое изображение, соответствующее левому виду, и правое изображение, соответствующее правому виду. Используя средства стереоотображения для просмотра стереоизображения, левый глаз наблюдателя видит левое изображение и правый глаз наблюдателя видит правое изображение, вызывая 3D-восприятие у наблюдателя.

Для просмотра 3D изображения на промежуточном виде, отличающимся от левого вида и правого вида стереоизображения, должно быть сгенерировано промежуточное изображение. Существуют различные способы для генерирования промежуточного изображения из стереоизображения.

УРОВЕНЬ ТЕХНИКИ

US 2011/00268009 А1 и WO 2009/125988 А2 описывают способ для вычисления промежуточного изображения на промежуточном виде из стереоизображения для просмотра на многовидовом дисплее. Промежуточный вид относится к виду в относительном положении в диапазоне видов, содержащем левый вид и правый вид. Способ вычисляет данные левого расхождения и данные правого расхождения из стереоизображения, причем стереоизображение, содержащее левое изображение и правые данные. Способ генерирует левое промежуточное изображение для промежуточного вида, используя левое изображение и данные левого расхождения. Способ генерирует правое промежуточное изображение для промежуточного вида, используя правое изображение и данные правого расхождения. Итоговое промежуточное изображение затем генерируется посредством слияния левого промежуточного изображения и правого промежуточного изображения.

Недостаток способа предшествующего уровня техники состоит в том, что он также генерирует видимые артефакты изображения в промежуточном изображении, причем наиболее заметными артефактами изображения являются размытие деталей изображения и артефакты окклюзии. Видимость артефактов варьируется в зависимости промежуточного вида и контента стереоизображения. Размытие деталей обычно наиболее видимо для стереоизображения, содержащего много деталей и на видах между левым видом и правым видом. Причина размытия деталей лежит в неидеальном смешивании сгенерированного левого промежуточного изображения и правого промежуточного изображения. Артефакты окклюзии являются наиболее видимы для стереоизображения, содержащего переходы с большой глубиной, наиболее заметные на боковых видах, таким образом слева от левого вида и справа от правого вида. Причина артефактов окклюзии лежит в неидеальной экстраполяции левого изображения или правого изображения.

В способе предшествующего уровня техники, качество изображения является близким к оптимальному, так как промежуточное изображение страдает от артефактов изображения, которые варьируются в зависимости от промежуточного вида и контента стереоизображения. Желательно улучшение качества изображения промежуточного изображения.

ЕР 0678832 А2 раскрывает, что глубина изображения генерируется из пары стереоизображений посредством методологии обработки цифрового изображения на основе векторного поля расхождения. Конкретно, изображения, соответствующие недостающим угловым видам, получают из пары стереоизображений на основе итерационно скорректированного набора векторных полей расхождения, которые ассоциируют размещение желаемых недостающих изображений с парой стереоизображений. Для уменьшенного углового разделения между оптически записанной парой стереоизображений, стереоизображения используются в качестве изображений, соответствующих размещениям промежуточных угловых видов, и изображения, соответствующие недостающим угловым видам, реконструируются либо посредством цифровой интерполяции, либо посредством цифровой интерполяции пары стереоизображений, в зависимости от того, находится ли недостающий угловой вид между угловыми видами пары стереоизображений или снаружи угловых видов пары стереоизображений или нет. Недостающие изображения затем чередуются с изображениями стерео для получения глубины изображения. Система нелинейных уравнений формируется относительно неизвестной текущей оценки векторного поля расхождения, соответствующего недостающему изображению. Эту система нелинейных уравнений затем линеаризовывают, из чего первоначальные оценки векторных полей расхождения получают относительно текущих оценок векторных полей расхождения. Решения для итогового набора линейных уравнений используются для итерационного корректирования оценок векторных полей расхождения.

WO 2012/007867 А1 раскрывает устройство обработки видео для обработки 3D видеоинформации, соединенное с автостереоскопическим 3D устройством отображения, например, ТВ, имеющим линзово-растровый 3D дисплей.

US 2012/268561 А1 раскрывает другую стереоскопическую систему обработки видео.

WO 2012/042998 А1 раскрывает устройство обработки видео, которое генерирует видео любой заданной точки просмотра посредством захвата субъекта из множества разных положений. Блоки генерирования виртуальных точки просмотра генерируют промежуточное синтезированное изображение с использованием множества видео с камер, выбранного для генерирования видео из желаемой виртуальной точки просмотра. Блок вычисления количества постоянных признаков вычисляет количество признаков, указывающее локальную постоянность, из промежуточного синтезированного изображения. Блок вычисления соотношения синтеза соответствующим образом выбирает промежуточное синтезированное изображение на основе вычисленного количества признаков, или вычисляет соотношение синтеза для слияния. Количество признаков рассматривается как энтропия (средний объем информации) величины краев в локальной области, и выбирается промежуточное синтезированное изображение, имеющее наименьшее его значение (имеющее наибольшую постоянность), или и его вес увеличивается.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Целью данного изобретения является предусмотрение способа для генерирования промежуточного изображения из стереоданных, в котором промежуточное изображение имеет улучшенное качество изображения.

Данное изобретение раскрывает способ для генерирования промежуточного изображения из стереоданных для промежуточного вида. Способ использует смешивание левого промежуточного изображения и правого промежуточного изображения согласно политике смешивания. Политика смешивания задает относительные вклады левого и правого промежуточного изображения при смешивании как функция промежуточного вида. Стереоданные содержат левые данные и правые данные. Левые данные соответствуют левому виду и левым данным, содержащим левое изображение и данные левого расхождения. Правые данные соответствуют правому виду и правым данным, содержащим правое изображение и данные правого расхождения. Промежуточное изображение соответствует промежуточному виду. Левое промежуточное изображение генерируется из левых данных для промежуточного вида. Правое промежуточное изображение генерируется из правых данных для промежуточного вида. Способ содержит: предсказание качества изображения промежуточного изображения для каждой из множества политик смешивания на основе характеристики изображения стереоданных, причем политика смешивания, задающая относительные вклады левого и правого промежуточных изображений при смешивании, и характеристикой изображения является одно или более из количества деталей стереоданных, артефактов, размытия, четкости деталей и двоения изображения; определение политики смешивания посредством осуществления выбора политики смешивания из множества политик смешивания на основе предсказанного качества изображения промежуточного изображения; и, когда так требует определенная политика смешивания, генерирование левого промежуточного изображения из левых данных для промежуточного вида; и, когда так требует определенная политика смешивания, генерирование правого промежуточного изображения из правых данных для промежуточного вида; и генерирование промежуточного изображения посредством смешивания левого промежуточного изображения и правого промежуточного изображения с использованием относительных вкладов согласно определенной политике смешивания.

Таким образом настоящее изобретение обеспечивает гибкость, обеспечивая возможность генерирования промежуточного изображения лишь на основе левого промежуточного изображения, лишь на основе правого промежуточного изображения, но также, т.е. когда так указывает политика смешивания, как заявлено на основе как левого промежуточного изображения, так и правого промежуточного изображения.

Вводом для способа являются стереоданные, содержащие левые данные и правые данные. Левые данные соответствуют левому виду, и правые данные соответствуют правому виду. Левый вид и правый вид задают две точки просмотра, из которых 3D изображение просматривается наблюдателем. Левые данные содержат левое изображение и данные левого расхождения. Правые данные содержат правое изображение и данные правого расхождения. Выводом способа является промежуточное изображение для промежуточного вида, отличное от левого вида и правого вида.

Промежуточное изображение генерируется посредством смешивания левого промежуточного вида и правого промежуточного вида, согласно политике смешивания. Процесс политики смешивания задает, как смешивание зависит от промежуточного вида. В общем случае, политика смешивания задает левый относительный вклад левого промежуточного изображения при смешивании, и задает правый относительный вклад правого промежуточного изображения при смешивании. Промежуточное изображение затем генерируется посредством смешивания левого промежуточного изображения и правого промежуточного изображения с использованием весов согласно вышеуказанным относительным вкладам. В первом особом случае, когда политика смешивания требует только генерирование левого промежуточного изображения, смешивание эффективно копирует левое промежуточное изображение в промежуточное изображение. Во втором особом случае, когда политика смешивания требует только генерирование правого промежуточного изображения, смешивание эффективно копирует правое промежуточное изображение в промежуточное изображение.

Левое промежуточное изображение генерируется с использованием левого расхождения, процесс деформирования 'деформирует' левое изображение в промежуточный вид с использованием данных левого расхождения, но только когда так требует политика смешивания. Используя процесс правого расхождения, процесс деформирования деформирует правое изображение в промежуточный вид с использованием данных правого расхождения, но только когда так требует политика смешивания.

Смешивание не является фиксированным, но управляется политикой смешивания, которая определяется процессом определения политики. Политика смешивания определяется такая, чтобы качество изображения промежуточных данных было оптимальным, либо на основе человеческого восприятия, либо с использованием (набора) показателя(ей) качества. Для этого, процесс определения политики определяет политику смешивания на основе предсказанного качества изображения промежуточного изображения, которое будет сгенерировано с использованием политики смешивания.

Опционально, определение основывается на предсказанном качестве изображения в зависимости от количества деталей изображения промежуточного изображения. Если количество деталей изображения является большим, смешивание будет генерировать артефакты, такие как размытие и двоение изображения, если была использована политика смешивания, которая задает смешивание с использованием как левого промежуточного изображения, так и правого промежуточного изображения. Обнаружив большое количество деталей изображения, политика смешивания определяется такая, чтобы сгенерированные детали изображения в промежуточном изображении повысили качество изображения, либо на основе человеческого восприятия, либо с использованием (набора) показателя(ей) качества.

Опционально, определение выполняется посредством извлечения политики смешивания из метаданных, связанных со стереоданными. Процесс определения политики определяет политику смешивания в режиме "оффлайн" и хранит ее в метаданных, связанных со стереоданными. Этот способ работы обеспечивает возможность использования более сложных и дорогих аппаратных средств для анализа. Более того он обеспечивает возможность генерирования метаданных, которые должны быть интегрированы в авторский инструментарий, имеющийся в наличии у автора контента.

Опционально, генерирование промежуточного изображения содержит генерирование последовательных промежуточных изображений из соответствующих последовательных кадров видеопоследовательности стереовидов, причем каждый из соответствующих последовательных кадров содержит стереоданные. Промежуточное изображение таким образом генерируется из видеокадра стереовида.

Опционально, определение содержит определение первой политики смешивания для генерирования первого промежуточного изображения из первого кадра в первый момент времени, и определение второй политики смешивания для генерирования второго промежуточного изображения из второго кадра во второй момент времени. Промежуточные изображения, сгенерированные из первого кадра, имеют оптимальное качество изображения (согласно показателю(ям) (их набору) и/или человеческому восприятию), когда используется первая политика смешивания при смешивании. Кроме того, промежуточные изображения, сгенерированные из второго кадра, имеют оптимальное качество изображения, когда при смешивании используется вторая политика смешивания. Промежуточные изображения таким образом генерируются из разных видеокадров стереовидов с использованием соответствующих разных политик смешивания.

Опционально, определение содержит определение третьей политики смешивания для генерирования третьего промежуточного изображения из третьего кадра в третий момент времени, при этом третий момент времени возникает после первого момента времени и перед вторым моментом времени, и третий коэффициент смешивания, заданный третьей политикой смешивания, лежит между первым коэффициентом смешивания, заданным первой политикой смешивания, и вторым коэффициентом смешивания, заданным второй политикой смешивания. Политика смешивания таким образом изменяется постепенно со временем, в том смысле, что упомянутые моменты времени упорядочены во времени как первый, третий, второй, и коэффициенты смешивания упорядочены также как первый, третий и второй.

Опционально, генерирование промежуточного изображения содержит генерирование последовательности промежуточных изображений из стереоданных, причем последовательность, соответствующая последовательности промежуточных видов, причем последовательность промежуточных видов является в пространственном отношении последовательными видами. Таким образом, вместо генерирования одного промежуточного изображения из стереоданных для одного вида, последовательность промежуточных изображений генерируется из стереоданных для последовательности соответствующих видов, например, для многовидового дисплея.

Опционально, генерирование первой последовательности промежуточных изображений содержит центрирование последовательности промежуточных видов в первом центральном промежуточном виде, осуществление выбора центрального промежуточного вида на основе предсказанного качества изображения последовательности промежуточных изображений для первого центрального промежуточного вида. Центрирование последовательности промежуточных видов в центральном промежуточном виде означает изменение последовательности промежуточных видов влево или вправо, так чтобы вышеуказанный центральный промежуточный вид находился непосредственно перед наблюдателем. Причем, если число видов в последовательности является нечетным, центрирование соответствует помещению центрального вида последовательности в первом центральном промежуточном виде, т.е. непосредственно перед наблюдателем. При событии, когда в последовательности есть четное число видов, центрирование предполагает, что два центральных вида могут быть центрированы равноудалено около первого центрального промежуточного вида. Используя политику смешивания, качество изображения промежуточных изображений может быть (во всем диапазоне видов) улучшено для видов вблизи центрального промежуточного вида. Последовательность видов, вследствие этого, центрируется в центральном промежуточном виде.

Опционально, генерирование промежуточного изображения содержит генерирование первой последовательности промежуточных видов из первого кадра в первый момент времени, центрированных в первом центральном промежуточном виде, и генерирование второй последовательности промежуточных видов из второго кадра во второй момент времени, центрированных во втором центральном промежуточном виде. Используя (одинаковую) политику смешивания для первого кадра и второго кадра, качество изображения промежуточных изображений, сгенерированных из первого кадра, может быть улучшено для видов вблизи первого промежуточного вида, но качество изображения промежуточных изображений второго кадра может быть улучшено для видов вблизи второго промежуточного вида. Последовательность видов, вследствие этого, центрируется в первом виде для первого кадра, и во втором виде для второго кадра. Итоговое качество изображения вблизи первого центрального промежуточного вида первой последовательности промежуточного вида является вследствие этого оптимальным для первого кадра, так же как и для второго кадра.

Опционально, генерирование промежуточного изображения содержит генерирование третьей последовательности промежуточных видов из третьего кадра в третий момент времени, центрированных в третьем центральном промежуточном виде, и при этом третий момент времени возникает после первого момента времени и перед вторым моментом времени, и при этом третий вид лежит между первым видом и вторым видом. Центральный промежуточный вид, где последовательность промежуточных видов центрирована, сдвигается постепенно от первого вида в первом кадре, к следующему виду в следующем кадре (т.е. третьему виду в третьем кадре), ко второму виду во втором кадре. Сдвиг последовательности промежуточных видов выполняется постепенно во времени, в том смысле, что упомянутые моменты времени упорядочены во времени как первый, третий, второй, и центральные виды упорядочены в пространстве также как первый, третий, и второй.

Опционально, политика смешивания задает, для диапазона промежуточных видов, левый относительный вклад левого промежуточного изображения при смешивании и задает правый относительный вклад правого промежуточного изображения при смешивании, причем один из левого относительного вклада и правого относительного вклада доминирует, на данном диапазоне, над другим из левого относительного вклада и правого относительного вклада. Политика смешивания задает смешивание, в котором один из левого и правого относительного вклада в целом больше в диапазоне промежуточных видов. Такая политика смешивания также называется политикой асимметричного смешивания.

Опционально, генерирование промежуточного изображения содержит генерирование промежуточного изображения для неподвижных стереоданных в противоположность видеопоследовательности стереоданных.

Опционально, данные левого расхождения вычисляются из левого изображения и правого изображения, и данные правого расхождения вычисляются из левого изображения и правого изображения. Данные расхождения не предоставляются стереоданными, но вычисляются из левого изображения и правого изображения.

Данное изобретение раскрывает систему, скомпонованную для генерирования промежуточного изображения из стереоданных для промежуточного вида, используя смешивание левого промежуточного изображения и правого промежуточного изображения согласно политике смешивания. Политика смешивания задает относительные вклады левого и правого промежуточного изображения при смешивании как функция промежуточного вида. Стереоданные содержат левые данные и правые данные, в которых левые данные соответствуют левому виду и левым данным, содержащим левое изображение и данные левого расхождения, и правые данные соответствуют правому виду и правым данным, содержащим правое изображение и данные правого расхождения. Промежуточное изображение соответствует промежуточному виду. Левое промежуточное изображение генерируется из левых данных для промежуточного вида. Правое промежуточное изображение генерируется из правых данных для промежуточного вида. Система, содержащая блок генерирования, скомпонованный для выполнения: функции предсказания для предсказания качества изображения промежуточного изображения для каждой из множества политик смешивания на основе характеристики изображения стереоданных, причем политика смешивания, задающая относительные вклады левого и правого промежуточных изображений при смешивании, и характеристикой изображения является одно или более из количества деталей стереоданных, артефактов, размытия, четкости деталей и двоения изображения; функции политики смешивания для определения политики смешивания посредством осуществления выбора политики смешивания из множества политик смешивания на основе предсказанного качества изображения промежуточного изображения; функции левого деформирования, когда так требует определенная политика смешивания, для генерирования левого промежуточного изображения из левых данных для промежуточного вида; функции правого деформирования, когда так требует определенная политика смешивания, для генерирования правого промежуточного изображения из правых данных для промежуточного вида; и функции смешивания для генерирования промежуточного изображения посредством смешивания левого промежуточного изображения и правого промежуточного изображения, используя относительные вклады согласно определенной политике смешивания. Система содержит функции, которые выполняют процессы способа, описанного выше.

Опционально, промежуточное изображение используется при управлении многовидовым дисплеем. Многовидовой дисплей выводит многочисленные виды в многочисленных направлениях, тем самым обеспечивая наблюдателю возможность, при правильном расположении относительно многовидового дисплея, наблюдения левого изображения ее левым глазом и правое изображение ее правым глазом.

Эффект данного изобретения состоит в том, что качество изображения данных промежуточного изображения может быть улучшено, так как политика смешивания сделана зависимой от содержимого изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты данного изобретения понятны и будут разъяснены со ссылкой на варианты осуществления, описанные в дальнейшем. На чертежах

Фиг. 1а иллюстрирует способ генерирования промежуточного изображения из стереоданных,

Фиг. 1b иллюстрирует процесс определения политики, определяющий политику смешивания в режиме "оффлайн",

Фиг. 1c иллюстрирует процесс определения политики, который использует обнаружение деталей изображения,

Фиг. 2 иллюстрирует многочисленные виды многовидового дисплея, Фиг. 3а иллюстрирует политику линейного смешивания,

Фиг. 3b иллюстрирует две политики нелинейного смешивания,

Фиг. 4 иллюстрирует три последовательные сцены видеопоследовательности стереовидов, содержащей стереовидеокадры,

Фиг. 5 иллюстрирует, на каждой из шести подфигур, многовидовой дисплей, содержащий последовательность промежуточных видов, центрированных около центрального промежуточного вида, и

Фиг. 6 иллюстрирует систему, в трех конфигурациях, для генерирования промежуточного изображения из стереоданных и дисплей для показа промежуточного изображения.

Следует отметить, что элементы, которые имеют одинаковые ссылочные номера на разных фигурах, имеют одинаковые структурные признаки и одинаковые функции, или являются одинаковыми сигналами. Где функция и/или структура такого элемента была разъяснена, нет необходимости для повторного их разъяснения в подробном описании.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Фиг. 1а иллюстрирует способ генерирования промежуточного изображения из стереоданных 105. Выводом способа является промежуточное изображение IB 161, соответствующее промежуточному виду В 155. Промежуточный вид В 155 относится к виду в относительном положении в диапазоне видов, при этом диапазон обычно содержит левый вид и правый вид, и по меньшей мере содержит один из левого вида и правого вида. Вводом способа являются стереоданные, содержащие левые данные SL 103 и правые данные SR 104. Левые данные SL содержат левое изображение IL 101 и данные 111 левого расхождения DL. Правые данные SR содержат правое изображение IR 102 и данные 112 правого расхождения DR.

Как будет понятно специалистам в данной области техники, глубина обратно пропорциональна расхождению, однако фактическое назначение глубины на расхождение в устройствах отображения регламентируется различными проектными решениями, такими как, итоговая величина расхождения, которая может быть сгенерирована дисплеем, выбор присваивания конкретного значения глубины нулевому расхождению, допустимая величина перекрестного расхождения, и т.д. Однако, данные глубины, которые предоставлены стереоданными и/или которые получены из входных стереоданных, используются для деформирования изображений зависимым от глубины образом. Вследствие этого здесь данные расхождения качественно интерпретируются как данные глубины.

Процесс 130 деформирования WARP генерирует левое промежуточное изображение IBL 131 из трех вводов: (i) левого изображения IL, (ii) данных левого расхождения DL и (iii) промежуточного вида В 155. Процесс 130 левого деформирования WARP эффективно генерирует левое промежуточное изображение IBL, используя данные левого расхождения DL для "деформирования" левого изображения IL в промежуточный вид В. Аналогично, процесс 140 деформирования WARP генерирует правое промежуточное изображение IBR 141 из правого изображения IR, данных правого расхождения DR и промежуточного вида В. Пример такого процесса деформирования, который использует глубину/расхождение для воспроизведения на основе изображения раскрыт в US 5929859. Более сложный пример деформирования представлен в US 7689031.

Процесс 180 смешивания MIX выполняет смешивание левого промежуточного изображения IBL и правого промежуточного изображения IBR. Смешивание зависит от промежуточного вида В, и от политики 156 смешивания POL, которая описывает, как смешивание зависит от промежуточного вида В. Выводом процесса смешивания MIX является промежуточное изображение IB 161. Процесс 170 определения политики POLDET определяет политику смешивания POL на основе стереоизображения, т.е. на основе левого изображения IL и правого изображения IR.

Опционально, способ содержит процесс вычисления расхождения, который вычисляет данные левого расхождения DL и данные правого расхождения DL из левого изображения IL и правого изображения IR. Примеры алгоритмов оценки глубины/расхождения известны специалистам в данной области техники по обработке 3D видео, примеры таких алгоритмов предоставлены в US 6625304 и US 6985604. Опционально, процессы 130 и 140 деформирования WARP генерируют промежуточное изображение с использованием предварительно вычисленных данных расхождения, полученных из видеопоследовательности стереовидов, в которой видеокадр стереовида содержит стереоизображение, также как и соответствующие данные расхождения.

Процесс смешивания MIX состоит из процесса 150 вычисления коэффициента АСОМР и процесса 160 слияния BLEND, как изображено на Фиг. 1а. Процесс 150 вычисления коэффициента АСОМР вычисляет коэффициент смешивания А из промежуточного вида В и политики смешивания POL, при этом политика смешивания POL описывает, как коэффициент смешивания А зависит от промежуточного вида В. Процесс вычисления коэффициента АСОМР вычисляет коэффициент смешивания А из промежуточного вида В согласно политике смешивания POL. Процесс слияния BLEND затем генерирует промежуточное изображение IB посредством смешивания промежуточных изображений IBL и IBR, используя коэффициент смешивания А. Опционально, процесс слияния BLEND содержит способ, широко известный как "слияние по альфа-каналу", который дополнительно описан ниже.

Политика смешивания POL описывает, как смешивание промежуточных изображений IBL и IBR зависит от промежуточного вида В. Процесс определения политики POLDET определяет политику смешивания POL, такую чтобы процесс смешивания MIX генерировал промежуточное изображение IB с оптимальным качеством изображения. Обработка POLDET предсказывает влияние политики смешивания на качество изображения промежуточного изображения IB, используя знание о влиянии политики смешивания на качество изображения промежуточного изображения, сгенерированного посредством смешивания. Другими словами, обработка по определению политики POLDET предсказывает качество изображения промежуточного изображения для каждой из нескольких политик смешивания и для заданного контента стереоизображение, и затем определяет из нескольких политик смешивания, какая политика смешивания POL будет генерировать промежуточное изображение с оптимальным качеством изображения.

Опционально, процесс политики смешивания POLDET определяет политику смешивания POL из метаданных, содержащих политику смешивания, при этом метаданные содержатся в стереоданных. Например, метаданные создаются в режиме "оффлайн" посредством алгоритма, который (1) генерирует промежуточные изображения из стереоданных с использованием способа по Фиг. 1, использующего различные политики смешивания, (2) измеряет качество изображения сгенерированных промежуточных изображений, (3) определяет сгенерированное промежуточное изображение, имеющее оптимальное качество изображения, и (4) определяет политику смешивания, соответствующую сгенерированному промежуточному изображению, имеющему оптимальное качество изображения.

Фиг. 1b иллюстрирует процесс определения политики, определяющий политику смешивания в режиме "оффлайн". Процесс 179 определения политики смешивания принимает стереоизображение в качестве ввода, т.е. левое изображение IL 101 и правое изображение IR 102. Первое промежуточное изображение IB1 173 генерируется способом 175 генерирования GEN, использующим первую политику 171 смешивания POL1 и стереоизображение. Аналогично, второе промежуточное изображение IB2 174 генерируется способом 176 генерирования GEN, использующим вторую политику 172 смешивания POL2 и стереоизображение. Способы 175, 176 генерирования GEN используют способ по Фиг. 1а для генерирования промежуточного изображения, используя соответствующие политики смешивания POL1, POL2. Способы 175, 176 генерирования GEN выбирают промежуточный вид, чтобы сгенерировать промежуточное изображение, которое должно быть использовано для измерения его качества изображения. В процессе 177 оценивания JDG, один или более наблюдателей оценивают качество изображения промежуточных изображений IB1, IB2, и выбирают одно из промежуточных изображений IB1, IB2, имеющее качество изображения, которое оценено как оптимальное. Политика смешивания, соответствующая промежуточному изображению, имеющему оптимальное качество изображения, затем определяется как политика 156 смешивания POL. Например, если промежуточное изображение IB1 оценено как имеющее оптимальное качество изображения по сравнению со вторым промежуточным изображением IB2, то политика смешивания POL определяется как вторая политика смешивания POL2, таким образом POL=POL2.

Опционально, процесс оценивания JDG не выполняется наблюдателями, а вместо этого выполняется автоматически алгоритмом, который количественно определяет и оценивает качество изображения промежуточных изображений IB1 и IB2.

Опционально, процесс определения политики 179 по Фиг. 1b определяет политику смешивания 156 на основе качества изображения многочисленных промежуточных изображений для каждой из политик POL1 и POL2. Каждый из процессов 175, 176 генерирования GEN генерирует многочисленные промежуточные изображения IB1 и IB2 для соответствующих многочисленных видов. Процесс оценивания JDG затем оценивает среднее качество изображения многочисленных промежуточных изображений IB1, и оценивает среднее качество изображения многочисленных промежуточных изображений IB1, и выбирает многочисленные промежуточные изображения, имеющие среднее качество изображения, которое оценено как оптимальное. Политика смешивания, соответствующая промежуточному изображению, имеющему оптимальное среднее качество изображения, затем определяется как политика 156 смешивания POL.

В качестве альтернативы, процесс определения политики POLDET содержит обнаружение присутствия деталей изображения в стереоизображении, и использует обнаруженное присутствие при определении политики смешивания. При использовании некоторых политик смешивания, качество изображения деталей изображения в сгенерированном промежуточном изображении выше, чем при использовании других политик смешивания. Неточности в данных расхождения DL, DR приводят к неточно сгенерированным деталям изображения в соответствующих промежуточных изображениях IBL, IBLR. Смешивание неточно сгенерированных деталей изображения из промежуточных изображений IBL, IBR вследствие этого приводит к артефактам в промежуточном изображении IB, которые возникают в результате смешивания. Артефакты содержат размытие деталей, т.е. потерю четкости деталей, и/или двоение изображения, т.е. двойное появление деталей изображения. Эти артефакты проявляются меньше, когда смешивание выполняется согласно политике смешивания, которая задает смешивание с использованием преимущественно одного из промежуточных изображений. Однако, использование преимущественно одного из промежуточных изображений в свою очередь приводит к артефактам окклюзии. Вследствие этого, политика смешивания, которая задает смешивание с использованием преимущественно одного из промежуточных изображений, определяется, только если стереоизображение содержит достаточно деталей изображения, так чтобы артефакты окклюзии воздействовали на качество изображения меньше, чем артефакты размытия деталей.

Фиг. 1c иллюстрирует процесс определения политики, который использует обнаружение деталей изображения. Процесс 189 определения политики иллюстрирует, как политика 156 смешивания POL определяется на основе обнаруженного присутствия деталей изображения в стереоданных. Процесс 189 определения политики смешивания принимает стереоизображение в качестве ввода, т.е. левое изображение IL 101 и правое изображение IR 102. Процесс DTLDET 181 содержит алгоритм обнаружения деталей, который обнаруживает детали 184 изображения DTL в стереоизображении. Процесс 182 предсказания качества QPRED принимает обнаруженные детали изображения DTL и первую политику 171 смешивания POL1, и определяет предсказанное качество 185 изображения Q1 промежуточного изображения, которое будет сгенерировано с использованием первой политики смешивания POL1. Процесс 183 предсказания качества QPRED принимает обнаруженные детали изображения DTL и вторую политику 172 смешивания POL2, и определяет предсказанное качество 18 6 изображения Q2 промежуточного изображения, которое будет сгенерировано с использованием второй политики смешивания POL2. Процессы 182, 183 предсказания качества QPRED предсказывают качество изображения с использованием статистического знания о влиянии политики смешивания POL1, POL2 на качество изображения промежуточных изображений, сгенерированных с использованием политик смешивания POL1, POL2. Процесс SEL 187 определяет одно из предсказанных качеств изображения Q1, Q2 как являющееся оптимальным, и определяет политику смешивания, соответствующую оптимальному предсказанному качеству изображения в качестве политики 156 смешивания POL. Например, если предсказанное качество изображения Q2 является оптимальным по сравнению с предсказанным качеством изображения Q1, то политика смешивания POL определяется в качестве второй политики смешивания POL2, таким образом POL=POL2. Каждое из предсказанных качеств изображения Q1 и Q2 может быть представлено одиночным значением, тогда как наибольшее из двух предсказанных качеств изображения Q1, Q2 определяется как являющееся оптимальным.

Опционально, алгоритм обнаружения деталей использует только одно из левого изображения и правого изображения стереоизображения.

Опционально, определение предсказанного из качества изображения основывается на артефактах окклюзии. Например, аналогичным использованию алгоритма обнаружения деталей образом, процесс определения политики, использует алгоритм обнаружения переходов расхождения, который принимает по меньшей мере одни из данных расхождения DL, DR, и который обнаруживает большие переходы в расхождении. Используя статистическое знание о влиянии переходов расхождения на качество изображения промежуточных изображений, сгенерированных с помощью различных политик смешивания, процесс определения политики определяет политику смешивания. Следует отметить, что этот пример предполагает, что процесс определения политики принимает по меньшей мере одни их данных расхождения DL, DR.

Опционально, определяющие смешивание процессы 179, 189 по Фиг. 1b и 1c определяют политику смешивания из множества политик смешивания, при этом множество политик смешивания содержит больше политик смешивания, чем две политики смешивания POL1, POL2. Например, множество содержит три дополнительные политики смешивания POL3, POL4 и POL5.

В дальнейшем, влияние в том, что касается качества изображения, политики смешивания на генерирование промежуточного изображения разъясняется с использованием Фиг. 2.

Фиг. 2 иллюстрирует многочисленные виды многовидового дисплея. Многочисленные виды указаны как вертикальные полоски, образующие последовательность горизонтально расположенных рядом видов. Для каждого вида, многовидовой дисплей показывает соответствующее промежуточное изображение IB. Несколько видов указаны номерами 201, 202 и 210-213. Все виды лежат в диапазоне 230 видов. Первоначальные виды стереоизображений указаны как левый вид L 201 и правый вид R 202. Диапазон 230 видов разделен на три части: (i) диапазон 220 центральных видов, (ii) диапазон 221 левых боковых видов, и (iii) диапазон 222 правых боковых видов. Вид 210 является центральным стереовидом, лежащим посередине между левым видом L и правым видом R. В то же время, виды 211 и 212 лежат в диапазонах боковых видов 221 и 222, соответственно.

Конфигурация вида, которая показана на Фиг. 2, представляет примерную конфигурацию вида, которая может возникнуть в результате использования линзово-растрового или барьерного автостереоскопического дисплея. Пример такого линзово-растрового многовидового дисплея раскрыт в US 6064424.

В дальнейшем в разъяснении по Фиг. 2, используется обычная политика смешивания, которая (а) задает смешивание с использованием обоих промежуточных изображений IBL, IBR для видов в диапазоне 230 центральных видов, (b) задает смешивание с использованием только левого промежуточного изображения IBL для видов в диапазоне 221 левых боковых видов, и (с) задает смешивание с использованием только правого промежуточного изображения IBR для видов в диапазоне 222 правых боковых видов. Смешивание содержит добавление

относительного вклада левого промежуточного изображения IBL и относительного вклада правого промежуточного изображения IBR.

Для видов в диапазоне 230 центральных видов, оба из промежуточных изображений IBL, IBR смешиваются в промежуточное изображение IB, в котором относительный вклад левого промежуточного изображения IBL в смешивание является большим для вида вблизи вида L и является небольшим для вида вдали от вида L, и в котором, следовательно, относительный вклад правого промежуточного изображения IBR в смешивание является большим для вида вблизи вида R и небольшим для вида вдали от вида R.

В диапазоне 221 левых боковых видов, включающим в себя левый вид L, относительный вклад левого промежуточного изображения IBL составляет 100%, и относительный вклад правого промежуточного изображения IBR составляет 0%, так что процесс смешивания просто копирует промежуточное левое изображение IBL в свой вывод IB, таким образом IB=IBL. Это предполагает, что промежуточные изображения на левых боковых видах генерируются только посредством процесса 130 деформирования WARP, и таким образом эффективно экстраполируются из левого первоначального изображения IL. В конкретном случае левого вида L, процесс 130 деформирования WARP просто копирует ввод IL в свой вывод IBL, так что IBL=IL, и таким образом IB=IBL=IL, что предполагает, что первоначальное левое изображение IL показано на виде L.

В диапазоне 222 правых боковых видов, включающем в себя правый вид R, относительный вклад правого промежуточного изображения IBR составляет 100%, и относительный вклад левого промежуточного изображения IBL составляет 0%, так что процесс смешивания просто копирует промежуточное правое изображение IBR в свой вывод IB, таким образом IB=IBR. Это предполагает, что промежуточные изображения на правых боковых видах генерируются только посредством процесса 140 деформирования WARP, и таким образом эффективно экстраполируются из правого первоначального изображения IR. В конкретном случае левого вида R, процесс 140 деформирования WARP просто копирует ввод IR в свой вывод IBR, так что IBR=IR, и таким образом IB=IBR=IR, что предполагает, что первоначальное левое изображение IR показано на виде R.

Фиг. 2 схематично показывает наблюдателя 230, который левым глазом 231 видит промежуточное изображение на виде 210, и правым глазом 232 видит промежуточное изображение на виде 213. Виды 210 и 213 расположены в диапазоне центральных видов 220, таким образом между первоначальными видами L и R, так чтобы каждый из глаз наблюдателя, 231 и 232, видел промежуточное изображение, сгенерированное посредством смешивания промежуточных изображений IBL и IBR. Смешивание, для видов в диапазоне центральных видов 220, имеет преимущество и недостаток в том, что касается качества изображения промежуточных изображений. Преимуществом является то, что артефакты окклюзии не присутствуют заметно в промежуточных изображениях, но недостатком является то, что детали изображения в промежуточных изображениях страдают от размытия и двоения изображения. Преимущество возникает в результате эффективной интерполяции смешивания между промежуточными изображениями, IBL и IBR, и следовательно (интерполированные) промежуточные изображения не содержат заметные артефакты окклюзии. Недостаток возникает в результате неточностей в данных расхождения DL и DR, и разъясняется как следует ниже. Одиночное значение данных в данных левого расхождения DL содержит расстояние пикселей между (1) положением пикселей деталей изображения в первоначальном левом изображении IL, и (2) соответствующим положением пикселей тех же деталей изображения в первоначальном изображении IR. Данные левого расхождения DL используются процессом 130 деформирования WARP для генерирования левого промежуточного изображения IBL, на промежуточном виде В, из первоначального левого изображения IL. Данные правого расхождения DR используются процессом 140 деформирования WARP для генерирования правого промежуточного изображения IBR, на виде В, из первоначального правого изображения IR. Неточности в данных расхождения DL, DR вследствие этого вызывают генерирование деталей изображения с некорректными размещениями пикселей промежуточных изображений IBL, IBR, и, следовательно, смешивание деталей изображения промежуточных изображений IBL, IBR обычно приводит к генерированию промежуточного изображения IB, содержащего детали изображения, которые страдают от артефактов размытия или двоения изображения.

Фиг. 2 схематично показывает наблюдателя 240, который левым глазом 241 видит промежуточное изображение на виде 211, и правым глазом 242 видит промежуточное изображение на виде 201. Правый глаз 242 таким образом видит первоначальное левое изображение, которое по определению имеет оптимальное качество изображения. В то же время, левый глаз 241 видит промежуточное изображение, которое было сгенерировано на левом боковом промежуточном виде 211 из первоначального левого изображения IL, и эффективно экстраполировано из первоначального левого изображения. Промежуточное изображение на виде 211 имеет преимущество и недостаток в том, что касается качества изображения. Преимуществом является то, что детали изображения не страдают от размытия или двоения изображения деталей изображения. Недостатком является появление артефактов окклюзии, в результате экстраполяции только из левого изображения. Те же преимущество и недостаток справедливы для правого бокового вида, такого как вид 212.

В варианте осуществления данного изобретения, политика смешивания, используемая для генерирования промежуточного изображения, адаптирует содержимое первоначальных стереоданных. Для стереоизображения, содержащего много деталей, процесс определения политики POLDET определяет политику смешивания, которая задает смешивание с использованием только одного из промежуточных изображений IBL, IBR, вместо использования обоих промежуточных изображений IBL, IBR. В качестве первого примера варианта осуществления, политика смешивания задает смешивание, которое просто копирует левое промежуточное изображение IBL в промежуточное изображение IB, для всех промежуточных видов в диапазоне 230 видов. В качестве второго примера варианта осуществления, политика смешивания задает такое смешивание, которое просто копирует правое промежуточное изображение IBR в промежуточное изображение IB, для всех промежуточных видов в диапазоне 230 видов.

В качестве третьего примера варианта осуществления, политика смешивания задает смешивание, которое копирует промежуточное изображение IB из (а) левого промежуточного изображения IBL для видов слева от центрального стереовида 210 и из (b) правого промежуточного изображения IBR для видов справа от центрального стереовида 210. В случае, когда первоначальное стереоизображение содержит мало деталей изображения, так что размытие деталей изображения не видно в значительной степени, определяется политика смешивания, которая задает смешивание, которое использует оба промежуточных изображений IBL, IBR.

В дальнейшем, процесс смешивания MIX 180, содержит процесс слияния BLEND и процесс вычисления коэффициента АСОМР. Фиг. 3а и 3b иллюстрируют политики смешивания, задающие коэффициенты смешивания, для смешивания данных двух промежуточных изображений IBL и IBR.

Фиг. 3а иллюстрирует политику линейного смешивания. Объединенные две кривые AL 301 и AR 302 представляют единую политику смешивания. Кривые AL 301 и AL 302 описывают, как коэффициент смешивания А 304 зависит от промежуточного вида В 303. Кривая AL 301 описывает коэффициент смешивания, соответствующий левому промежуточному изображению IBL, и кривая AR 302 описывает коэффициент смешивания, соответствующий правому промежуточному изображению IBR. Коэффициенты смешивания кривых AL и AR являются комплементарными и составляют в сумме один, т.е. AL+AR=1. Коэффициенты смешивания AL и AR линейно зависят от промежуточного вида В. Следует отметить, что метка 311 у значения В=0 соответствует первоначальному левому виду L, метка 312 у значения В=1 соответствует первоначальному правому виду R, и метка 313 у значения В=0,5 соответствует центральному стереовиду, например, виду 210 на Фиг. 2. Примером смешивания в процессе слияния BLEND является смешивание согласно слиянию по альфа-каналу, которое выполняется как следует ниже:

IB=AL×IBL+AR×IBR, при этом AL+AR=1.

На Фиг. 3а и 3b, промежуточное изображение IB на первоначальном виде L равняется первоначальному левому изображению IL при В=0, таким образом IB=IBL=IL. Промежуточное изображение IB на первоначальном виде R равняется первоначальному правому изображению IR при В=1, таким образом IB=IBR=IR. Промежуточное изображение IB на центральном виде, таким образом при В=0,5, равняется среднему из промежуточного изображения IBR и IBL, таким образом IB=0,5×IBL+0,5×IBR.

Следует отметить, что коэффициент смешивания AL представляет относительный вклад левого промежуточного изображения IBL при смешивании, и что коэффициент смешивания AR представляет относительный вклад правого промежуточного изображения IBR при смешивании. Коэффициент смешивания в этом контексте в общем также называется "коэффициентом слияния".

Следует отметить, что политики смешивания для диапазонов боковых видов, таким образом для В<0 и для В>1, не указаны на Фиг. За. Вследствие этого настоящим предполагается, что AL=1 для видов в диапазоне левых боковых видов, таким образом для В<0, и что AL=0 для видов в диапазоне правых боковых видов, таким образом для В>1. Следовательно, AR=0 для видов в диапазоне левых боковых видов, и AR=1 для видов в диапазоне правых боковых видов.

Фиг. 3b иллюстрирует две политики нелинейного смешивания. Кривые 351 и 352 аналогичны соответствующим кривым AL 301 и AL 302 по Фиг. 3а, с той разницей, что кривые 351 и 352 зависят нелинейным образом от промежуточного вида В. Кривые 351 и 352 представляют альтернативу линейным кривым по Фиг. 3а. Эффект политики нелинейного смешивания, использующей кривые 351, 352, состоит в том, что относительный вклад левым промежуточным изображением IBL при смешивании больше для видов слева от центрального стереовида при использовании нелинейной кривой 351 по сравнению с использованием линейной кривой 301. Аналогично, относительный вклад правым промежуточным изображением IBR при смешивании больше для видов справа от центрального вида при использовании нелинейной кривой 352 по сравнению с использованием линейной кривой 302.

Фиг. 3b также показывает политику асимметричного нелинейного смешивания. Нелинейные асимметричные кривые 361, 362 аналогичны соответствующим кривым 351, 352 в смысле нелинейности, но отличаются в смысле асимметрии. Так как кривая 362 в среднем больше, чем кривая 361, кривые 361, 362 показывают, что коэффициент смешивания в среднем больше для правого промежуточного изображения IBR. Следовательно, на центральном стереовиде, т.е. при В=0,5, относительный вклад правого промежуточного изображения IBR в промежуточное изображение IB (кривая 362) больше, чем относительный вклад левого промежуточного изображения IBL в промежуточное изображение IBL (кривая 361). Другими словами, относительный вклад правого промежуточного изображения IBR при смешивании доминирует над относительным вкладом левого промежуточного изображения IBL при смешивании.

Лево-правая асимметрия в кривых по Фиг. 3b управляется параметром асимметрии ParA, так чтобы асимметрия в кривых могла быть увеличена или уменьшена посредством изменения параметра асимметрии ParA.

Посредством дальнейшего увеличения асимметрии кривых 361 и 362, пересечение кривых 361 и 362 сдвинется даже больше влево, таким образом к В=0, и вследствие этого кривая 362 будет стремиться, в среднем, даже больше к А=Т. Следовательно, для увеличения числа видов, промежуточное изображение IB будет сгенерировано с использованием большого относительного вклада правого промежуточного изображения IBR при смешивании, так что промежуточное изображение IB все больше походит на правое промежуточное изображение IBR и все меньше походит на левое промежуточное изображение IBL. Посредством увеличения параметра асимметрии ParA до его наибольшего положительного значения ParA=+1, вышеуказанный относительный вклад правого промежуточного изображения IBR становится 1 для всех промежуточных видов В. Другими словами, каждое промежуточное изображение IB становится копией правого промежуточного изображения IBR, так что промежуточное изображение IB генерируется с использованием только правого изображения IR, данных правого расхождения DR и промежуточного вида В. Последний случай также широко известен как "воспроизведение из изображения плюс глубины".

Аналогично, параметр асимметрии ParA может быть использован для сдвига асимметрии в другом направлении, перемещая пересечение вправо, т.е. таким образом к В=1,0. Аналогично предыдущему примеру, все больше сдвигая вышеуказанное пересечение вправо, относительный вклад левого промежуточного изображения IBL в промежуточное изображение IB увеличивает также. Посредством увеличения параметра асимметрии ParA до его наибольшего отрицательного значения ParA=-1, вышеуказанный относительный вклад левого промежуточного изображения IBL становится 1 для всех промежуточных видов В между В=0 и В=1. Другими словами, промежуточное изображение IB становится копией левого промежуточного изображения IBL, так что промежуточное изображение IB генерируется с использованием только левого изображения IL, данных левого расхождения DL и промежуточного вида В.

Для параметра асимметрии ParA, предполагающего значение более близкое к нулю, кривые на Фиг. 3b становятся менее асимметричными, что соответствует политике смешивания, при которой вышеуказанные относительные вклады промежуточных изображений IBL, IBR становятся более равными. Для одного конкретного значения параметра асимметрии, который является ParA=0, кривые описывают политике симметричного нелинейного смешивания, такой как проиллюстрирована кривыми 351, 352.

Параметр асимметрии эффективно является таким образом "мягким переключателем", который может быть использован для постепенного переключения политики смешивания и тем самым постепенного переключения между (а) генерированием промежуточного изображения как из левых данных, так и правых данных, и (b) генерированием промежуточного изображения только из одних из левых данных и правых данных. Вышеуказанное постепенное переключение политики смешивания будет разъяснено дополнительно ниже в этом документе.

Опционально, промежуточное изображение генерируется из стереоданных, содержащихся в неподвижном изображении стереовида. Опционально, промежуточное изображение генерируется из стереоданных, содержащихся в кадре стереовида из видеопоследовательности стереовидов.

Опционально, два промежуточных изображения генерируются для формирования нового левого изображения и нового правого изображения нового стереоизображения, причем новое левое изображение, соответствует новому левому виду, и новое правое изображение, соответствует новому правому виду, при этом новый левый вид и новый правый вид отличаются от первоначального левого вида и правого вида, соответственно. Такое генерирование двух промежуточных изображений также в общем называется преобразованием из стерео в стерео, и может быть применено для уменьшения или увеличения диапазона глубины стереоданных.

Новое стереоизображение может быть просмотрено на выделенном дисплее для стереопросмотра наблюдателем с использованием очков для стереопросмотра.

Опционально, последовательность промежуточных изображений, соответствующая горизонтальной последовательности видов, генерируется для просмотра на многовидовом автостереоскопическом дисплее, который способен одновременно отображать изображения в последовательности промежуточных изображений. Последовательность обычно содержит более чем два вида. Например, многовидовой автостереоскопический дисплей содержит 9 видов.

Опционально, последовательность промежуточных изображений генерируется для соответствующей последовательности видов из каждого кадра видеопоследовательности стереовидов.

Последовательность видов содержит последовательные промежуточные виды. Последовательность промежуточных изображений просматривают, например, на многовидовом автостереоскопическом дисплее.

Опционально, видеопоследовательность стереовидов содержит различные сцены, и единая политика смешивания используется внутри сцены. Сцена содержит многочисленные последовательные видеокадры стереовидов, и, в этом случае, для генерирования промежуточного изображения для каждого видеокадра стереовида внутри сцены используется одинаковая политика смешивания. Политика смешивания, используемая внутри сцены, может отличаться от политики смешивания, используемой внутри последующей сцены. Посредством использования детектора изменения сцены, обнаруживается начало следующей сцены, и следующая политика смешивания определяется на первом кадре новой сцены. Внутри следующей сцены используется следующая политика смешивания. Вместо использования детектора изменения сцены, изменение сцены может быть указано метаданными, содержащими указатели изменения сцены, при этом метаданные включены в видеопоследовательность стереовидов.

Обзор современного обнаружения сцены, или способов обнаружения переходом между снимками, также как и анализ их работы, доступен в: Alan F. Smeaton, "Video shot boundary detection: Seven years of TRECVid activity", Computer Vision and Image Understanding 114 (2010) 411-418, 2010, настоящим включено в настоящий документ. Фиг. 4 иллюстрирует три последовательные сцены 410, 420 и 430 видеопоследовательности 400 стереовидов, содержащей стереовидеокадры. Стереовидеопоследовательность состоит из стереовидеокадров, содержащих левое изображение и правое изображение. Горизонтальная ось на Фиг. 4 представляет ось времени. Каждая из секций 410, 420 и 430 представляет секцию видеопоследовательности стереовидов, начиная с (временного) момента 401, 402 и 403 соответственно, тогда как секция 430 заканчивается в момент 404 времени. Секции 410, 420 и 430 представляют сцены, и моменты 402 и 403 времени представляют изменения сцен. Термин "сцена", который используется в настоящем контексте, относится к той же сути, которая в общем называется термином "снимок".

Вариант осуществления, описанный выше в этом документе, в котором внутри сцены используется единая политика смешивания, дополнительно разъясняется в нижеследующем примере. Секция 410 содержит кадры, содержащие много деталей, и вследствие этого определяется политика смешивания, которая задает смешивание с использованием только левого промежуточного изображения IBL. Секция 420 содержит мало деталей, и вследствие этого определяется политика смешивания, которая задает смешивание с использованием как левого промежуточного изображения IBL, так и правого промежуточного изображения IBR, такая как политика смешивания, описанная кривыми по Фиг. 3а. Также как секция 410, секция 430 содержит кадры, содержащие много деталей, и вследствие этого определяется политика смешивания, которая задает смешивание с использованием только правого промежуточного изображения IBR. Изменения сцены обнаруживаются в моменты 402 и 403 времени, и следовательно определяется новая политика смешивания и используется при генерировании промежуточного изображения IB.

В качестве дополнительного примера, в добавок к предыдущему примеру, последовательность промежуточных изображений,

соответствующая соответствующей последовательности промежуточных изображений, генерируется из каждого стереовидеокадра, и последовательность промежуточных изображений просматривается на многовидовом автостереоскопическом дисплее.

Опционально, определение политики смешивания постепенно изменяется внутри сцены видеопоследовательности стереовидов. Это достигается с помощью смешивания, которое использует параметр асимметрии, как описано выше при разъяснении Фиг. 3b. Рассмотрим нижеследующий пример. Для генерирования из раннего кадра сцены, определяется первая политика смешивания (с использованием ParA=-1), задающая смешивание, которое использует только левое промежуточное изображение IBL, таким образом эффективно генерируя промежуточное изображение IB только из (первоначальных) левых данных. Для генерирования из позднего кадра сцены, определяется вторая политика смешивания (с использованием ParA=0), задающая смешивание, которое использует оба из двух промежуточных изображений, IBL, IBR, таким образом эффективно генерируя промежуточное изображение IB как из левых данных, так и правых данных. Еще, чтобы предотвратить четкие переходы в промежуточном изображений IB, политика смешивания изменяется постепенно с первой политики смешивания на вторую политику смешивания для кадров между ранним кадром и поздним кадром. Постепенно изменяя параметр асимметрии между двумя кадрами, создается постепенное изменение в политике смешивания, и следовательно промежуточное изображение также постепенно изменяется. Для кадров между ранним кадром и поздним кадром, параметр асимметрии таким образом изменяется постепенно от ParA=-1 для раннего кадра до ParA=0 для позднего кадра.

Фиг. 5 иллюстрирует, в каждой из шести подфигур, многовидовой дисплей, содержащий последовательность промежуточных видов, центрированных в центральном промежуточном виде CI 504. Каждая из подфигур 510-550 иллюстрирует многовидовой дисплей, содержащий последовательность видов отображения. В каждом виде отображения, дисплей показывает промежуточное изображение, соответствующее промежуточному виду, и вследствие этого последовательность видов отображения эффективно показывает последовательность промежуточных видов. Относительное положение промежуточного вида внутри последовательности промежуточных видов остается одинаковым на всех подфигурах, таким образом промежуточные виды сохраняют свой относительный порядок в последовательности и свое расстояние до их двух соседних промежуточных видов. Первоначальные стереовиды L 501 и R 502 указывают, где левый вид и правый вид находятся внутри последовательности промежуточных видов. Центральный стереовид CS 503 указывает промежуточный вид, который лежит в середине между видом L и видом R. Центральный промежуточный вид CI (см. также пунктирную вертикальную линию) находится по определению в центре последовательности промежуточных видов, но центральный промежуточный вид CI может соответствовать любому промежуточному виду между или вблизи первоначальных видов L и R. Из видов L, R и С заключается, какому промежуточному виду соответствует центральный промежуточный вид CI. Каждая из подфигур 510-550 соответствует разному центральному промежуточному виду CI (кроме подфигур 550 и 560, которые соответствуют одному и тому же центральному промежуточному виду CI).

Например. в подфигуре 510, центральный промежуточный вид CI соответствует центральному стереовиду CS. В то же время, на подфигуре 550, центральный промежуточный вид CI соответствует первоначальному левому виду L. От каждой подфигуры к следующей подфигуре, например, от 510 к 520, центральный промежуточный вид сдвигается на один вид. Вследствие этого, последовательность подфигур 510-550 показывает постепенный сдвиг центрального промежуточного вида CI, т.е. от центрального стереовида на подфигуре 510 к первоначальному левому виду на подфигуре 550, сдвигаясь на один вид между последовательными подфигурами. Между подфигурой 550 и подфигурой 560 центральный промежуточный вид CI однако не сдвигается, что может быть использовано в примере ниже.

Опционально, способ по Фиг. 1 используется для генерирования последовательности промежуточных изображений из стереоданных, и центральный промежуточный вид CI определяется так, чтобы промежуточные изображения имели оптимальное качество изображения для заданного содержимого стереоданных. Рассмотрим нижеследующий пример, в котором стереоданные содержатся в стереовидеопоследовательности, и в котором политика смешивания задает одинаковое смешивание для всех кадров. Политика смешивания определяет смешивание, которое использует оба промежуточные изображения, IBL и IBR, такая как политика смешивания, описанная посредством Фиг. 3а. В контексте этого примера, подфигуры 510-560 соответствуют последовательным кадрам видеопоследовательности стереовидов. Подфигура 510 соответствует ситуации, когда многовидовой дисплей показывает последовательность промежуточных изображений, сгенерированных из стереовидеокадра, называемого кадром 1 в этом примере. Аналогично, подфигуры 520-560 соответствуют соответствующим кадрам 2-6. Процесс обнаружения политики использует детектор деталей для обнаружения присутствия деталей изображения и выбирает центральный промежуточный вид CI на основе этого обнаруженного присутствия. Для кадра 1, система, используя детектор деталей, заключает, что присутствует мало деталей, так что артефакты деталей не видны, и вследствие этого выбирает центральный стереовид CS в качестве центрального промежуточного вида CI. Следовательно, способ генерирует промежуточные изображения для последовательности промежуточных видов, в которой центральный вид последовательности соответствует центральному стереовиду CS. Однако, для кадра 2, система заключает, что присутствует слишком много деталей, и вследствие этого заключает, что оптимальное качество изображения генерируется посредством использования левого вида L в качестве центрального промежуточного вида CI, так как, например, артефакты деталей менее видны для видов вблизи первоначального левого вида L, чем для видов вблизи центрального стереовида CS. Для того, чтобы предотвратить мгновенный переход в промежуточных изображениях (например, такой что 3D изображение совершает внезапный "скачок", который приводит к неприятному восприятию просмотра), центральный промежуточный вид CI не сдвигается за один этап к левому виду L для генерирования последовательности промежуточных изображений из второго кадра. Вместо этого, постепенный сдвиг центрального промежуточного вида CI к первоначальному левому виду L выполняется в течение кадров 2-5, завершая постепенный сдвиг в кадре 5.

Опционально, система выполняет мгновенный сдвиг центрального промежуточного вида CI между одним кадром и его следующим кадром (в противоположность выполнению постепенного сдвига), например, когда между одним кадром и его следующим кадром обнаружено изменение сцены. Так как содержимое стереовидеокадра, в целом, изменяется между одним кадром и его следующим кадром при изменении сцены, мгновенное изменение в центральном промежуточном виде CI не замечается наблюдателем.

Опционально, процесс определения политики определяет новую политику смешивания после завершения сдвига центрального промежуточного вида CI. Например, рассмотрим постепенный сдвиг в течение кадра 1-5, как описано выше. Для кадра 6 (см. подфигуру 560) политика смешивания изменяется на новую политику смешивания, которая задает, например, смешивание с использованием только левого промежуточного изображения IBL (или другими словами, эффективно использующее "изображение плюс глубину").

Опционально, аналогичным предыдущему параграфу образом, процесс определения политики определяет новую политику смешивания перед инициированием сдвига центрального промежуточного вида CI. Новая политика смешивания не изменяется в течение постепенного сдвига.

Опционально, процесс определения политики постепенно определяет изменения политики смешивания одновременно с постепенным сдвигом. Рассмотрим постепенный сдвиг в течение кадра 1-5, но при котором политикой смешивания является политика асимметричного нелинейного смешивания, управляемая параметром асимметрии ParA (см. также Фиг. 3b). В кадре 1, определяется смешивание с использованием обоих промежуточных изображений IBL и IBR, такое как описаны кривыми 351-352 на Фиг. 3b. В кадре 5, смешивание использует только левое промежуточное изображение IBL. Смешивание в кадре 1, 2, 3, 4, 5 задается посредством ParA=0,0, -0,25, -0,5, -0,75, -1,0, соответственно. Опционально, центральный промежуточный вид CI сдвигается в. кадрах, находящихся на удалении в несколько кадров. Например, центральный промежуточный вид CI сдвигается на один вид один раз за каждые 10 кадров, делая постепенный сдвиг более медленным по сравнению со сдвигом на один вид в каждом кадре. Опционально, центральный промежуточный вид CI сдвигается на часть вида, или на более чем один вид.

Фиг. 6 иллюстрирует систему, в трех конфигурациях, для генерирования промежуточного изображения из стереоданных и для показа промежуточного изображения на дисплее. Система скомпонована для показа сгенерированного промежуточного изображения на дисплее. Все блоки 630, 640, 650 генерирования GU скомпонованы для генерирования промежуточного изображение IB 611, и все скомпонованы для приема стереоизображений IL, IR и промежуточного вида В 603. Блок отображения DISP 666 скомпонован для показа промежуточного изображения IB, принятого от одного из блоков 630, 640, 650 генерирования GU.

Фиг. 6 иллюстрирует систему 600 для генерирования промежуточного изображения IB 611 из стереоизображения, и для показа промежуточного изображения IB 611 на дисплее DISP. Блок 630 генерирования GU выполнен с возможностью генерирования промежуточного изображение IB 611 из стереоизображения IL, IR, и приема первоначального левого изображения IL, правого изображения IR и промежуточного вида В 603 на своем входе. Процессор GU 630 содержит нижеследующие функции:

(а) функцию вычисления левого расхождения для приема первоначального левого и правого изображений IL, IR, вычисления данных левого расхождения DL из левого и правого изображения IL, IR, и передачи вычисленных данных левого расхождения DL в функцию левого деформирования; и

(а) функцию вычисления правого расхождения для приема первоначального левого и правого изображений IL, IR, вычисления данных правого расхождения DR из левого и правого изображения IL, IR, и передачи вычисленных данных правого расхождения DR в функцию правого деформирования; и

(c) функцию левого деформирования для приема промежуточного вида В 603, левого изображения IL, и данных левого расхождения DL, и генерирования левого промежуточного изображения IBL, и передачи левого промежуточного изображения IBL в функцию смешивания; и

(d) функцию правого деформирования для приема промежуточного вида В 603, правого изображения IR, и данных правого расхождения DR, для генерирования правого промежуточного изображения IBR, и передачи правого промежуточного изображения IBR в функцию смешивания; и

(e) функцию определения политики для приема первоначального левого изображения IL и первоначального правого изображения IR, и определения политики смешивания на основе предсказанного качества изображения промежуточного изображения, сгенерированного системой с использованием этой политики смешивания, и передачи политики смешивания в функцию смешивания; и

(f) функцию смешивания для приема левого промежуточного изображения IBL от функции левого деформирования, приема правого промежуточного изображения IBR от функции правого деформирования, приема промежуточного вида В 603, и приема политики смешивания от функции определения политики, и генерирования промежуточного изображения IB 611 посредством смешивания промежуточных изображений IBL, IBR с использованием промежуточного вида В 603 и политики смешивания.

Опционально, блоком генерирования является процессор общего назначения, содержащий программное обеспечение для выполнения функций системы. Опционально, блоком генерирования является ASIC, содержащая выделенную прикладную логику для выполнения функций системы.

Опционально, система 600 содержит единую функцию деформирования, вместо функции левого деформирования и функции правого деформирования. Функция левого деформирования и функция правого деформирования являются идентичными и выполнены с возможностью выполнения одинаковых вычислений, и отличаются только вводами, которые они обрабатывают. Единая функция деформирования идентична функции левого деформирования или функции правого деформирования. Система 600 содержит единую функцию деформирования для последовательного вычисления промежуточных изображений IBL, IBR. Например, единая функция деформирования выполняется, как следует ниже. Единая функция деформирования сначала принимает левые данные IL, DL, промежуточный вид В, и генерирует левое промежуточное изображение IBL, и передает левое промежуточное изображение IBL процессу смешивания. Единая функция деформирования затем принимает правые данные IR, DR, промежуточный вид В, и генерирует правое промежуточное изображение IBR, и передает правое промежуточное изображение IBR процессу смешивания. Система 600 содержит функцию смешивания для выполнения смешивания, как только она приняла все четыре ввода IBL, IBR, В, POL. Опционально, единая функция деформирования сначала генерирует правое промежуточное изображение IBR и затем левое промежуточное изображение IBL последовательным во времени образом.

Фиг. 6 иллюстрирует систему 610, сконфигурированную для генерирования промежуточного изображения из стереоизображения, и политики смешивания, и показа промежуточного изображения на дисплее. Блок 640 генерирования GU является таким же, как блок GU 630, кроме нижеследующей разницы. Блок GU 640 не содержит функцию определения политики, и функция смешивания выполнена с возможностью приема политики 604 смешивания POL из ввода GU 640.

Фиг. 6 иллюстрирует систему 620, сконфигурированную для генерирования промежуточного изображения из стереоизображения, и из данных расхождения, и показа промежуточного изображения на дисплее. Блок 650 генерирования GU является таким же, как блок GU 630, кроме нижеследующей разницы. Блок 650 генерирования GU не содержит функцию обработки расхождения. Функция левого деформирования выполнена с возможностью приема левого расхождения DL 611 непосредственно из ввода. Аналогично, функция правого деформирования выполнена с возможностью приема правого расхождения DR 612 непосредственно из ввода.

Опционально, блок отображения DISP является многовидовым дисплеем, который показывает промежуточное изображение IB в одном из своих видов отображения.

Опционально, блок отображения DISP является дисплеем для стереопросмотра, и устройство отслеживания головы скомпоновано для предоставления левого промежуточного вида BL и правого промежуточного вида BR в блок генерирования GU. Блок генерирования GU скомпонован для генерирования нового левого изображения и нового правого изображения с использованием соответствующих промежуточных видов BL, BR и предоставления сгенерированного стереоизображения в блок отображения DISP. Блок отображения DISP скомпонован для показа стереоизображения, которое просматривается наблюдателем с использованием стереоочков, скомпонованных для обеспечения наблюдателю возможности восприятия 3D изображение на блоке отображения DISP. Итоговая система, содержащая блок генерирования GU и блок отображения DISP, скомпонована для визуального восприятия наблюдателем 3D изображения и заглядывания за объекты переднего плана на 3D изображении совершая активные движения головой.

Как описано выше, политика смешивания может быть предварительно вычислена и предоставлена системе воспроизведения или устройству воспроизведения в качестве метаданных, дополняющих первоначальные стереоданные (105). Данное изобретение таким образом предпочтительно также обеспечивает возможность способа генерирования выходных стереоданных для использования при генерировании промежуточного изображения 161 из стереоданных 105, причем стереоданные 105, содержащие левые данные 103 и правые данные 104, причем левые данные 103, содержащие левое изображение 101 и данные 111 левого расхождения, причем левые данные 103, соответствующие левому виду, причем правые данные 104, содержащие правое изображение 102 и данные 112 правого расхождения, причем правые данные 104, соответствующие правому виду, и промежуточное изображение 161, соответствующее промежуточному виду 155, причем способ, содержащий: определение 170 политики 156 смешивания на основе предсказанного качества изображения промежуточного изображения 161; генерирование выходных стереоданных посредством объединения стереоданных 105 с определенной политикой смешивания.

Выходные стереоданные, которые описаны выше, могут быть использованы для обеспечения возможности улучшенного генерирования промежуточного изображения 161, по сравнению с предшествующим уровнем техники, в том плане, что обеспечивается возможность системы 600, скомпонованной для генерирования промежуточного изображения 161, когда так требует определенная политика смешивания 156, генерирования левого промежуточного изображения 131 из левых данных 103 для промежуточного вида 155; и когда так требует определенная политика смешивания 156, генерирования правого промежуточного изображения 141 из правых данных 104 для промежуточного вида 155; и когда так требует определенная политика смешивания 156, генерирования промежуточного изображения 161 посредством смешивания 180 левого промежуточного изображения 131 и правого промежуточного изображения 141 согласно политике смешивания 156.

Настоящее изобретение также обеспечивает возможность системы для генерирования выходных стереоданных для использования при генерировании промежуточного изображения 161 из стереоданных 105, причем стереоданные 105, содержащие левые данные 103 и правые данные 104, причем левые данные 103, содержащие левое изображение 101 и данные 111 левого расхождения, причем левые данные 103, соответствующие левому виду, причем правые данные 104, содержащие правое изображение 102 и данные 112 правого расхождения, причем правые данные 104, соответствующие правому виду, и промежуточное изображение 161, соответствующее промежуточному виду 155, причем система, содержащая блок генерирования, скомпонованный для: определения 170 политики 156 смешивания на основе предсказанного качества изображения промежуточного изображения 161 и генерирования выходных стереоданных посредством объединения стереоданных 105 с определенной политикой смешивания.

Выходные стереоданные, которые описаны выше, могут быть использованы для обеспечения возможности улучшенного генерирования промежуточного изображения 161, по сравнению с предшествующим уровнем техники, в том плане, что обеспечивается возможность системы 600, скомпонованной для генерирования промежуточного изображения 161, когда так требует определенная политика смешивания 156, генерирования левого промежуточного изображения 131 из левых данных 103 для промежуточного вида 155; и когда так требует определенная политика смешивания 156, генерирования правого промежуточного изображения 141 из правых данных 104 для промежуточного вида 155; и когда так требует определенная политика смешивания 156, генерирования промежуточного изображения 161 посредством смешивания 180 левого промежуточного изображения 131 и правого промежуточного изображения 141, согласно политике смешивания 156.

Информация политики смешивания, или метаданные политики смешивания, которые включены в выходные стереоданные, могут содержать информацию начиная с коэффициента смешивания или коэффициента слияния, параметра асимметрии, описания центрального стереовида, присваивания положения вида для использования при управлении многовидовым дисплеем, как описано выше. Эта информация может быть предоставлена на покадровой основе, или предпочтительно в виде таблицы соответствия по каждой сцене, связывающей параметры с соответствующими кадрами внутри сцены, или в виде функционального описания, с использованием, например, кусочно-линейного, или сплайнового представления, причем представление, обеспечивающее проигрывающему устройству возможность получения соответствующих параметров для кадров из функционального описания.

Хотя выходные стереоданные могут содержать единственную пару стереоизображений, использование метаданных особенно предпочтительно для стереовидеопоследовательностей, так как оно обеспечивает возможность улучшенного воспроизведения таких видеопоследовательностей на многовидовых дисплеях. Выходные стереоданные, сгенерированные в соответствии с вышеуказанным способом, могут дополнительно включать в себя дополнительные метаданные и/или информацию для использования при воспроизведении на многовидовом устройстве отображения.

Выходные стереоданные могут быть выведены как сигнал для широковещательной передачи, или как сигнал для передачи по цифровой сети, такой как локальная сеть, компании, внутренняя сеть или Интернет. Итоговым сигналом является сигнал для использования при генерировании промежуточного изображения 161 из стереоданных 105, причем сигнал, содержащий стереоданные 105, причем стереоданные 105, содержащие левые данные 103 и правые данные 104, причем левые данные 103, содержащие левое изображение 101 и данные 111 левого расхождения, причем левые данные 103, соответствующие левому виду, причем правые данные 104, содержащие правое изображение 102 и данные 112 правого расхождения, причем правые данные 104, соответствующие правому виду, и промежуточное изображение 161, соответствующее промежуточному виду 155, и данных политики смешивания, определяющих политику 156 смешивания на основе предсказанного качества изображения промежуточного изображения (161).

Сигнал, как описано выше, может быть использован для обеспечения возможности улучшенного генерирования промежуточного изображения 161, по сравнению с предшествующим уровнем техники, в том плане, что обеспечивается возможность системы 600, скомпонованной для генерирования промежуточного изображения 161, когда так требует определенная политика смешивания 156, генерирования левого промежуточного изображения 131 из левых данных 103 для промежуточного вида 155; и когда так требует определенная политика смешивания 156, генерирования правого промежуточного изображения 141 из правых данных 104 для промежуточного вида 155; и когда так требует определенная политика смешивания 156, генерирования промежуточного изображения 161 посредством смешивания 180 левого промежуточного изображения 131 и правого промежуточного изображения 141, согласно политике смешивания 156.

Аналогично, сигнал может быть записан на цифровой носитель данных, такой как оптический носитель данных в форме диска Blu-ray, или эквивалентный оптический носитель данных, или на электронный энергонезависимый носитель, такой как flash-память или твердотельное устройство хранения. Больше информации о формате диска Blu-ray можно найти здесь: http://blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV-WhitePaper_110712.pdf, настоящим включено посредством ссылки. Предпочтительно метаданные, ассоциированные с воспроизведением видов, включены согласно стандарту в качестве информации декодирования, по меньшей мере в одно из сообщения с пользовательскими данными; оповещающего сообщения с информацией об элементарном потоке [SEI]; таблицы точек входа; или XML-описания.

Преимущество распространения выходных стереоданных над первоначальными входными стереоданными 105 состоит в том, что на стороне автора, контент обычно доступен в полном объеме, и в результате для определения политики смешивания могут быть использованы более дорогие и/или затратные по времени алгоритмы (или алгоритмы, которым помогает пользователь).

Следует отметить, что вышеупомянутые варианты осуществления скорее иллюстрируют, чем ограничивают данное изобретение, и что специалисты в данной области техники будут способны спроектировать много альтернативных вариантов осуществления без отступления от объема приложенной формулы изобретения.

В формуле изобретения, любые ссылочные позиции, помещенные в скобках, не следует толковать в качестве ограничения формулы изобретения. Использование глагола "содержать" и его спряжения не исключают присутствия элементов или этапов отличных от тех, которые указаны в формуле изобретения. Указание единственного числа элемента не исключает присутствия множества таких элементов. Данное изобретение может быть реализовано посредством аппаратных средств, содержащих несколько отдельных элементов, и посредством соответствующим образом запрограммированного компьютера. В пунктах формулы изобретения, относящихся к устройству, перечисляющих некоторые средства, некоторые из этих средств могут быть осуществлены одним и тем же элементом аппаратных средств. Сам факт, что некоторые меры перечислены в обоюдно разных зависимых пунктах формулы изобретения, не указывает на то, что сочетания этих мер нельзя использовать с пользой.

1. Способ (100) генерирования промежуточного изображения (161) из стереоданных (105) для промежуточного вида (155) с использованием смешивания (180) левого промежуточного изображения (131) и правого промежуточного изображения (141) согласно политике (156) смешивания, которая задает относительные вклады левого и правого промежуточных изображений при смешивании как функцию промежуточного вида, причем стереоданные содержат левые данные (103) и правые данные (104), причем левые данные содержат левое изображение (101) и данные (111) левого расхождения, причем левые данные соответствуют левому виду, причем правые данные содержат правое изображение (102) и данные (112) правого расхождения, причем правые данные соответствуют правому виду и промежуточное изображение соответствует промежуточному виду, причем левое промежуточное изображение сгенерировано из левых данных для промежуточного вида и правое промежуточное изображение сгенерировано из правых данных для промежуточного вида, при этом способ содержит этапы, на которых:

предсказывают (182) качество изображения промежуточного изображения для каждой из множества политик (171, 172) смешивания на основе характеристики (184) изображения стереоданных, причем политика смешивания задает относительные вклады левого и правого промежуточных изображений при смешивании, и характеристикой изображения является одно или более из количества деталей стереоданных, артефактов, размытия, четкости деталей и двоения изображения;

определяют (170) политику смешивания посредством осуществления выбора политики смешивания из множества политик смешивания на основе предсказанного качества изображения промежуточного изображения и,

когда так требует определенная политика смешивания, генерируют левое промежуточное изображение;

когда так требует определенная политика смешивания, генерируют правое промежуточное изображение; и

генерируют промежуточное изображение посредством смешивания левого промежуточного изображения и правого промежуточного изображения с использованием относительных вкладов согласно определенной политике смешивания.

2. Способ по п. 1, в котором этап, на котором определяют (170) политику смешивания, выполняется посредством извлечения политики (156) смешивания из метаданных, связанных со стереоданными (105).

3. Способ по п. 1 или 2, в котором этап, на котором предсказывают качество изображения промежуточного изображения (161) на основе характеристики изображения стереоданных, содержит этап, на котором предсказывают количество деталей изображения промежуточного изображения (161) на основе деталей изображения стереоданных.

4. Способ по п. 1 или 2, в котором стереоданные (105) являются видеопоследовательностью и в котором этап, на котором генерируют промежуточное изображение (161), дополнительно содержит этап, на котором

генерируют последовательные промежуточные изображения из соответствующих последовательных кадров стереоданных (105).

5. Способ по п. 4, в котором этап, на котором определяют (170) политику смешивания, содержит этапы, на которых:

определяют первую политику смешивания для генерирования первого промежуточного изображения из первого кадра в первый момент времени и

определяют вторую политику смешивания для генерирования второго промежуточного изображения из второго кадра во второй момент времени.

6. Способ по п. 5, в котором этап, на котором определяют (170) политику смешивания, дополнительно содержит этап, на котором:

определяют третью политику смешивания для генерирования третьего промежуточного изображения из третьего кадра в третий момент времени, при этом

третий момент времени возникает после первого момента времени и перед вторым моментом времени,

третий относительный вклад, заданный третьей политикой смешивания, лежит между первым относительным вкладом, заданным первой политикой смешивания, и вторым относительным вкладом, заданным второй политикой смешивания,

причем каждый из первого, второго и третьего относительных вкладов соответствует левому промежуточному изображению.

7. Способ по п. 1 или 2, в котором этап, на котором генерируют промежуточное изображение (161), содержит этап, на котором

генерируют первую последовательность промежуточных изображений из стереоданных (105), причем первая последовательность промежуточных изображений соответствует первой последовательности расположенных рядом промежуточных видов.

8. Способ по п. 7, в котором этап, на котором генерируют первую последовательность промежуточных изображений, содержит этапы, на которых:

центрируют первую последовательность промежуточных видов на первом виде, причем первый вид является видом между левым и правым видами или вблизи левого или правого вида, так что центральный промежуточный вид первой последовательности промежуточных видов соответствует первому виду, и

осуществляют выбор первого вида на основе предсказанного качества изображения первой последовательности промежуточных изображений.

9. Способ по п. 7, в котором стереоданные (105) являются видеопоследовательностью, и первая последовательность промежуточных изображений генерируется из первого кадра видеопоследовательности, причем первый кадр соответствует первому моменту времени, и в котором этап, на котором генерируют промежуточное изображение (161), дополнительно содержит этап, на котором

генерируют вторую последовательность промежуточных изображений из второго кадра видеопоследовательности, причем второй кадр соответствует второму моменту времени, и вторая последовательность промежуточных изображений соответствует второй последовательности расположенных рядом промежуточных видов, центрированных на втором виде.

10. Способ по п. 9, в котором этап, на котором генерируют промежуточное изображение (161), дополнительно содержит этап, на котором

генерируют третью последовательность промежуточных изображений из третьего кадра видеопоследовательности, причем третий кадр соответствует третьему моменту времени и третья последовательность промежуточных изображений соответствует третьей последовательности расположенных рядом промежуточных видов, центрированных на третьем виде, и при этом третий момент времени возникает после первого момента времени и перед вторым моментом времени, и при этом третий вид лежит между первым видом и вторым видом.

11. Способ по п. 1 или 2, в котором множество политик смешивания содержит по меньшей мере одну политику смешивания из двух политик смешивания, причем первая политика смешивания

задает левый относительный вклад левого промежуточного изображения при смешивании; и

задает правый относительный вклад правого промежуточного изображения при смешивании, причем один из левого относительного вклада и правого относительного вклада доминирует над другим одним из левого относительного вклада и правого относительного вклада, и вторая политика смешивания:

задает относительный вклад левого промежуточного изображения, равный нулю, соответствующий смешиванию левого и правого промежуточных изображений посредством копирования правого промежуточного изображения, в правое промежуточное изображение.

12. Способ по п. 1 или 2, в котором как данные (111) левого расхождения, так и данные (112) правого расхождения вычисляются из левого изображения (101) и правого изображения (102).

13. Система (600), выполненная с возможностью генерирования промежуточного изображения (161) из стереоданных (105) для промежуточного вида (155) с использованием смешивания (180) левого промежуточного изображения (131) и правого промежуточного изображения (141) согласно политике (156) смешивания, которая задает относительные вклады левого и правого промежуточных изображений при смешивании как функцию промежуточного вида, причем стереоданные содержат левые данные (103) и правые данные (104), причем левые данные содержат левое изображение (101) и данные (111) левого расхождения, причем левые данные соответствуют левому виду, причем правые данные содержат правое изображение (102) и данные (112) правого расхождения, причем правые данные соответствуют правому виду, и промежуточное изображение соответствует промежуточному виду, причем левое промежуточное изображение сгенерировано из левых данных для промежуточного вида, причем правое промежуточное изображение сгенерировано из правых данных для промежуточного вида, при этом система содержит блок генерирования, выполненный с возможностью исполнения:

функции предсказания для предсказания (182) качества изображения промежуточного изображения для каждой из множества политик (171, 172) смешивания на основе характеристики (184) изображения стереоданных, причем политика смешивания задает относительные вклады левого и правого промежуточных изображений при смешивании, и характеристикой изображения является одно или более из количества деталей стереоданных, артефактов, размытия, четкости деталей и двоения изображения;

функции политики смешивания для определения (170) политики смешивания посредством осуществления выбора политики смешивания из множества политик смешивания на основе предсказанного качества изображения промежуточного изображения;

функции левого деформирования, когда так требует определенная политика смешивания, для генерирования левого промежуточного изображения;

функции правого деформирования, когда так требует определенная политика смешивания, для генерирования правого промежуточного изображения и

функции смешивания для генерирования промежуточного изображения посредством смешивания левого промежуточного изображения и правого промежуточного изображения, используя относительные вклады согласно определенной политике смешивания.

14. Система по п. 13, в которой функция политики смешивания для определения (170) политики смешивания выполняется посредством извлечения политики (156) смешивания из метаданных, связанных со стереоданными (105).

15. Система по п. 13 или 14, в которой промежуточное изображение (161) используется для управления по меньшей мере одним видом многовидового дисплея (666).