Способ и устройство генерирования, передачи и приема стереоскопических изображений

Изобретение относится к генерированию, хранению, передаче, приему и воспроизведению стереоскопических потоковых видео. Техническим результатом является уменьшение генерирования искажений и дефектов изображения при сжатии изображения с высоким коэффициентом сжатия. В способе генерирования стереоскопического потокового видео (101), содержащего составные изображения (С), которые содержат информацию о правом изображении (R) и левом изображении (L), пикселы выбираются из правого изображения (R) и из левого изображения (L), а затем выбранные пикселы вводятся в составное изображение (С) стереоскопического потокового видео. Обеспечивается ввод всех пикселов правого изображения (R) и всех пикселов левого изображения (L) в составное изображение (С) путем оставления одного из указанных изображений в неизменном виде и разбивания другого на участки (R1, R2, R3), содержащие множество пикселов. Указанные участки последовательно вводятся в составное изображение (С). 4 н. и 18 з.п. ф-лы, 19 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к генерированию, хранению, передаче, приему и воспроизведению стереоскопических потоковых видео, то есть потоковых видео, которые, будучи правильным образом обработанными устройством визуализации, производят последовательности изображений, воспринимаемых зрителем как трехмерные.

Как известно, восприятие трехмерности может быть получено воспроизведением двух изображений, одного для правого глаза зрителя и другого - для левого глаза зрителя.

Стереоскопическое потоковое видео, тем самым, передает информацию о двух последовательностях изображений, соответствующих правой и левой перспективам объекта или сцены.

Изобретение относится, более конкретно, к способу и устройству мультиплексирования двух изображений правой и левой перспектив (в дальнейшем в данном документе именуемых как правое и левое изображения) в составное изображение, которое представляет кадр стереоскопического потокового видео, в дальнейшем в данном документе именуемый составным кадром.

Дополнительно, изобретение относится также к способу и устройству демультиплексирования указанного составного изображения, то есть извлечению из него правого и левого изображений, введенных устройством мультиплексирования.

УРОВЕНЬ ТЕХНИКИ

Для того чтобы предотвратить перегрузку передачи телевизионных сигналов и сетей вещания (наземных либо спутниковых), из уровня техники известно мультиплексирование правого и левого изображений в единое составное изображение стереоскопического потокового видео.

Первый пример так называемого мультиплексирования «бок о бок», при котором происходит недостаточная горизонтальная выборка правого изображения и левого изображения и их расположение бок о бок в том же кадре стереоскопического потокового видео.

Этот тип мультиплексирования имеет недостаток, заключающийся в том, что горизонтальное разрешение уменьшается вдвое, в то время как вертикальное разрешение не меняется.

Другой пример - так называемое мультиплексирование сверху вниз, при котором происходит недостаточная вертикальная выборка правого изображения и левого изображения и их расположение одного над другим в том же кадре стереоскопического потокового видео.

Этот тип мультиплексирования имеет недостаток, заключающийся в том, что вертикальное разрешение уменьшается вдвое, в то время как горизонтальное разрешение не меняется.

Есть также другие более сложные способы, например, как описанный в патентной заявке WO 03/088682. Эта заявка описывает использование выборки шахматной доски, чтобы разделить на десять число пикселов, которые составляют правое и левое изображения. Пикселы, выбранные для кадров правого и левого изображения, сжимаются «геометрически» в формате «бок о бок» (пробелы, созданные в колонке 1 путем удаления соответствующих пикселов, заполняются пикселами из колонки 2, и так далее). Во время этапа декодирования для представления изображения на мониторе, кадры правого и левого изображений приводятся обратно к их оригинальному формату, а недостающие пикселы восстанавливаются путем применения подходящих интерполяционных методов. Этот способ позволяет поддерживать на постоянном уровне отношение горизонтального и вертикального разрешения, но сокращает диагональное разрешение и также изменяет корреляцию пикселов изображения, так как вводит высокочастотные пространственные спектральные компоненты, которые в противном случае отсутствовали бы. Это может сократить эффективность последующего этапа сжатия (например, сжатие MPEG2, или MPEG4, или H.264) и одновременно увеличить скорость передачи данных в сжатом потоковом видео.

Дополнительно, способы мультиплексирования правого и левого изображений известны из патентной заявки WO 2008/153863.

Один из этих способов обеспечивает выполнение 70% масштабирования правого и левого изображений, а затем масштабированные изображения разделяют на блоки на 8×8 пикселов.

Блоки каждого масштабированного изображения могут быть помещены в область, равную примерно половине составного изображения.

Этот способ имеет недостаток, заключающийся в том, что перераспределение блоков меняет пространственную корреляцию блоков, которые составляют изображение, так как вводят высокочастотные пространственные спектральные компоненты, тем самым сокращая эффективность сжатия.

Более того, операции масштабирования и сегментации каждого изображения на большое число блоков влекут за собой высокие издержки счета и, следовательно, увеличивают сложность устройств мультиплексирования и демультиплексирования.

Другой из этих способов применяет диагональное масштабирование к правому и левому изображению, так что оригинальное изображение деформируется в параллелограмм. Два параллелограмма затем разделяют на треугольные участки и составляют прямоугольное составное изображение, в котором треугольные участки, полученные при разделении двух параллелограммов, реорганизуются и переставляются. Треугольные участки правого и левого изображений организуются таким образом, что становятся отделенными диагональю составного изображения.

Как при решениях «сверху вниз» и «бок о бок», это решение также имеет недостаток, заключающийся в том, что изменяется отношение (баланс) горизонтального и вертикального разрешения. Дополнительно, подразделение на большое число треугольных участков, перестановленных в стереоскопическом кадре, приводит к тому, что на последующем этапе сжатия (например, MPEG2, MPEG4 или H.264), до передачи на коммуникационный канал, в граничных областях между треугольными участками генерируются дефекты изображения. Указанные дефекты изображения, например, могут быть произведены процедурой оценки движения, выполняемой в процессе сжатия в соответствии со стандартом Н.264.

Дополнительный недостаток этого решения касается вычислительной сложности, требуемой операциями масштабирования правого и левого изображений и последующими операциями сегментации и поворота треугольных участков.

Целью настоящего изобретения является обеспечение способа мультиплексирования и способа демультиплексирования (а также соответствующих устройств) для мультиплексирования и демультиплексирования правого и левого изображений, которые позволят преодолеть недостатки предыдущего уровня техники.

Более конкретно, целью настоящего изобретения является обеспечение способа мультиплексирования и способа демультиплексирования (а также соответствующих устройств) для мультиплексирования и демультиплексирования правого и левого изображений, которые позволят сохранить баланс горизонтального и вертикального разрешений.

Другой целью настоящего изобретения является обеспечение способа мультиплексирования (а также соответствующих устройств) для мультиплексирования правого и левого изображений, который позволит последовательно применять высокий коэффициент сжатия и одновременно минимизирует генерирование искажений и дефектов изображения.

Другой целью настоящего изобретения является обеспечение способа мультиплексирования и способа демультиплексирования (а также соответствующих устройств), отличающихся сокращенными вычислительными издержками.

Эти и другие цели настоящего изобретения достигаются за счет способа мультиплексирования и способа демультиплексирования (а также соответствующих устройств) для мультиплексирования и демультиплексирования правого и левого изображений, обладающих характеристиками, изложенными в приложенной формуле изобретения, которая является неотъемлемой частью настоящего описания.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Общая идея, лежащая в основе настоящего изобретения, - это ввести два изображения в составное изображение, у которого число пикселов больше или равно сумме пикселов двух мультиплексируемых изображений, например правого изображения и левого изображения.

Пикселы первого изображения (например, левого изображения) вводятся в составное изображение без изменений, в то время как второе изображение разделяется на участки, чьи пикселы расположены в свободных областях составного изображения.

Это решение предоставляет преимущество, заключающееся в том, что одно из двух изображений остается неизменным, что приводит к лучшему качеству восстановленного изображения.

Преимущественно, второе изображение затем разделяется на наименьшее возможное число участков, чтобы максимизировать пространственную корреляцию пикселов и сократить генерирование дефектов изображения во время фазы сжатия.

В преимущественном варианте осуществления, участки второго изображения вводятся в составное изображение только посредством операций переноса и поворота, причем, таким образом, отношение горизонтального и вертикального разрешения остается неизменным.

В дополнительном варианте осуществления, по меньшей мере один из участков, в котором второе изображение разделено, подвергается операции зеркальной инверсии, то есть переворачивается относительно одной оси (более конкретно, одной стороны) и располагается в составном изображении таким образом, что одна из его сторон граничит с одной стороной другого изображения, имеющего идентичные или подобные пикселы на граничной стороне вследствие сильной корреляции, существующей между соответственными пикселами правого и левого изображения, то есть пикселами двух изображений, которые расположены в том же ряду и в той же колонке.

Это решение предоставляет преимущество, заключающееся в сокращении генерирования дефектов изображения в граничной области. Более преимущественно, участки, на которые разделено второе изображение, имеют прямоугольную форму; по сравнению с решением, которое использует треугольные участки, расположенные в граничных областях, пересекающих составное изображение в диагональных направлениях, этот выбор обеспечивает сокращение дефектов изображения, производимых последующим сжатием, особенно, если последнее осуществляется на квадратных блоках пикселов (например, 16×16 для стандарта Н.264).

В соответствии с конкретным преимущественным вариантом осуществления, формирование дефектов изображения дополнительно сокращается или даже полностью исключается путем добавления излишка в составное изображение, то есть путем копирования групп пикселов несколько раз. Более подробно, это достигается за счет разделения основного изображения для ввода в составное изображение на участки, имеющие такие размеры, что общее число пикселов этих участков превышает число пикселов разделяемого изображения. Другими словами, изображение разделяется на участки, по меньшей мере два из которых содержат общую часть изображения. Эта общая часть изображения является граничной областью между участками, смежными друг с другом в разделенном изображении. Размер этой общей части предпочтительно зависит от вида сжатия, которое будет далее применено к составному изображению, и может быть буферной областью, которая будет частично или полностью удалена, когда разделенное изображение восстановлено. Так как сжатие может приводить к дефектам изображения в граничных областях указанных участков, то, удаляя буферные области или по меньшей мере их самые внешние части, возможно удалить любые дефекты изображений и восстановить изображение, которое будет полностью соответствовать оригиналу.

Дополнительные цели и преимущества настоящего изобретения будут более очевидны из последующих описаний некоторых его вариантов осуществлений, которые приведены для примера, не имеющего ограничительный характер.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Указанные варианты осуществления будут описаны со ссылками на сопутствующие чертежи, в которых:

Фиг. 1 изображает структурную схему устройства мультиплексирования правого изображения и левого изображения в составное изображение;

Фиг. 2 является блок-схемой последовательности операций способа, выполняемого устройством на Фиг. 1;

Фиг. 3 изображает первую форму разделения изображения для ввода в составное изображение;

Фиг. 4 изображает первую фазу создания составного изображения в соответствии с одним вариантом осуществления настоящего изобретения;

Фиг. 5 изображает полное составное изображение на Фиг. 4;

Фиг. 6 изображает вторую форму разделения изображения для ввода в составное изображение;

Фиг. 7 изображает составное изображение, которое включает в себя изображение на Фиг. 6;

Фиг. 8 изображает третью форму разделения изображения для ввода в составное изображение;

Фиг. 9 изображает составное изображение, которое включает в себя изображение на Фиг. 8;

Фиг. 10 изображает структурную схему устройства приема для приема составного изображения, генерированного в соответствии со способом настоящего изобретения;

Фиг. 11 изображает некоторые фазы восстановления изображения, разделенного в соответствии со способом на Фиг. 8 и введенного в составное изображение, принятое устройством приема на Фиг. 10;

Фиг. 12 является блок-схемой последовательности операций способа восстановления правого и левого изображений, мультиплексированных в составное изображение вида, изображенного на Фиг. 9;

Фиг. 13 изображает составное изображение в соответствии с четвертым вариантом осуществления настоящего изобретения;

Фиг. 14а-14f изображают правое изображение и левое изображение различных фаз обработки, выполняемых для их ввода в составное изображение на Фиг. 13.

В случаях, когда это уместно, подобные структуры, компоненты, материалы и/или элементы обозначаются посредством одних и тех же ссылок.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Фиг. 1 изображает структурную схему устройства 100 генерирования стереоскопического потокового видео 101.

На Фиг. 1 устройство 100 принимает две последовательности изображений 102 и 103, например два потоковых видео, предназначенных для левого глаза (L) и правого глаза (R), соответственно.

Устройство 100 позволяет осуществить способ мультиплексирования двух изображений двух последовательностей 102 и 103.

Чтобы воплотить способ мультиплексирования правого и левого изображений, устройство 100 содержит модуль 104 разделения для разделения вводимого изображения (правое изображение на примере Фиг. 1) на множество под-изображений, каждое из которых соответствует одному участку принятого изображения, и модуль 105 сборки, способный вводить пикселы принятых изображений в единое составное изображение, которое будет обеспечено как вывод.

Один пример способа мультиплексирования, осуществленный устройством 100, будет описан со ссылкой на Фиг. 2.

Способ начинается на этапе 200. Далее (этап 201), одно из двух вводимых изображений (правое или левое) разделяется на множество участков, как изображено на Фиг. 3. В примере на Фиг. 3 разделенное изображение - это кадр R потокового видео 720р, то есть прогрессивного формата с разрешением 1280×720 пикселов, 25/30 fps (кадров в секунду).

Кадр R на Фиг. 3 образуется из потокового видео 103, которое несет изображение, предназначенное для правого глаза, и разделяется на три участка R1, R2, и R3.

Разделение изображения R получается путем его разделения на две части одинакового размера и последующего подразделения одной из этих частей на две части одинакового размера. Участок R1 имеет размер 640 720 пикселов и получается путем взятия всех первых 640 пикселов из каждого ряда. Участок R2 имеет размер 640 360 пикселов и получается путем взятия пикселов от 641 до 1280 из первых 360 рядов. Участок R3 имеет размер 640 360 пикселов и получается путем взятия оставшихся пикселов изображения R, то есть пикселов от 641 до 1280 из последних 360 рядов.

На примере Фиг. 1 операция разделения изображения R выполняется модулем 104, который принимает вводимое изображение R (в данном случае - кадр R) и выводит три под-изображения (то есть три группы пикселов), соответствующих трем участкам R1, R2 и R3.

Далее (этапы 202 и 203), создается составное изображение С, которое содержит информацию, относящуюся к правому и левому вводимым изображениям; на примере, описанном в настоящем документе, указанное составное изображение С - это кадр выводимого стереоскопического потокового видео, поэтому он также называется составным кадром.

Во-первых (этап 202), вводимое изображение, принятое устройством 100 и не разделенное устройством 105 (левое изображение на примере на Фиг. 1) вводится неизмененным в составной кадр, размер которого установлен так, чтобы включать в себя все пикселы обоих вводимых изображений. Например, если вводимые изображения имеют размер 1280×720, то составной кадр, подходящий для обоих, будет кадром 1920×1080 пикселов, например кадром потокового видео типа 1080р (прогрессивный формат 1920×1080 пикселов, 25/30 кадров в секунду).

На примере на Фиг. 4 левое изображение L вводится в составной кадр С и располагается в верхнем левом углу. Это получается путем копирования 1280×720 пикселов изображения L в область С, состоящую из первых 1280 пикселов первых 720 рядов составного кадра С.

Когда в последующем описании ссылка будет сделана на ввод изображения в кадр или перенос или копирование пикселов из одного кадра в другой, понятно, что это означает выполнение процедуры, которая генерирует (путем использования аппаратных и/или программных средств) новый кадр, содержащий те же пикселы в качестве исходного изображения.

(Программные и/или аппаратные) техники воспроизведения исходного изображения (или группы пикселов исходного изображения) в целевое изображение рассматриваются как несущественные для целей настоящего изобретения и не будут описаны дополнительно, так как они сами по себе известны специалистам в данной области техники.

На следующем этапе 203 изображение, разделенное на этапе 201 модулем 104, вводится в составной кадр. Это достигается модулем 105 путем копирования пикселов разделенного изображения в составной кадр С в те его области, которые не были заняты изображением L, то есть области, внешние к области С1.

С целью достичь лучшего возможного сжатия и сократить генерирование дефектов изображения при распаковке потокового видео, пикселы под-изображений, выведенных модулем 104, копируются, сохраняя при этом соответствующие пространственные отношения. Другими словами, участки R1, R2 и R3 копируются в соответственные области кадра С без деформации, только посредством операций переноса и/или поворота.

Пример составного кадра С, выведенного модулем 105, изображен на Фиг. 5.

Участок R1 копируется в последние 640 пикселов первых 720 рядов (область С2), то есть следующие после ранее скопированного изображения L.

Участки R2 и R3 копируются под область С1, то есть соответственно в области С3 и С4, которые соответственно содержат первые 640 пикселов и следующие 640 пикселов последних 360 рядов.

В качестве предпочтительной альтернативы решению на Фиг. 5, участки R2 и R3 могут быть скопированы в составной кадр С в разобщенные области (то есть не наложенные друг на друга и не соседние), разделенные группой пикселов, так чтобы сократить граничные участки.

Операции ввода изображений L и R в составной кадр не влекут за собой каких-либо изменений баланса горизонтального и вертикального разрешения.

В одном варианте осуществления, одинаковые величины RGB установлены для оставшихся пикселов кадра С; например, указанные оставшиеся пикселы могут быть все черные.

В дополнительном варианте осуществления, пространство оставлено свободным в составном изображении, может быть использовано для ввода любого вида сигнала, необходимого для восстановления правого и левого изображений на уровне демультиплексора, например, указывающего, как было сформировано составное изображение.

В данном варианте осуществления, участок составного кадра, не занятый правым или левым изображениями или их частью, используется для приема сигнала. Пикселы этого участка сигнала окрашены, например, в два цвета (например, черный и белый), так чтобы создать штрих-код любого вида, например линейный или двухмерный, который несет информацию сигнала.

Как только передача обоих изображений (и возможно также сигнала) в составной кадр завершена, способ, осуществленный устройством 100, завершается, и составной кадр может быть сжат и передан на канал коммуникации и/или записан на подходящий носитель (например, CD, DVD, Blu-ray, массовое запоминающее устройство и так далее).

Так как операции мультиплексирования, объясненные выше, не изменяют пространственные отношения пикселов одного участка или изображения, потоковое видео, выведенное устройством 100, может быть сжато до значительной степени, при этом одновременно сохраняются хорошие возможности того, что изображение будет восстановлено очень достоверно переданному, без создания значительных дефектов изображения. Прежде чем описывать дополнительные варианты осуществления, необходимо отметить, что разделение кадра R на три участка R1, R2 и R3 соответствует разделению кадра на наименьшее возможное число участков, при этом пространство, доступное в составном изображении, и пространство, занятое введенным левым изображением, не изменяются в составном кадре.

Указанное наименьшее число, другими словами, - это минимальное число участков, необходимых для занятия пространства, оставленного свободным в составном кадре С левым изображением.

В общем, тем самым, минимальное число участков, на которые должно быть разделено изображение, определяется как функция формата исходных изображений (правого и левого изображений) и целевого составного изображения (составной кадр С).

Предпочтительно, изображение, вводимое в кадр, разделяется, принимая во внимание необходимость разделения изображения (например, R в вышеуказанном примере) на наименьшее число прямоугольных участков.

В дополнительном варианте осуществления, правое изображение R разделяется, как изображено на Фиг. 6.

Участок R1' соответствует участку R1 на Фиг. 3 и, следовательно, содержит первые 640 пикселов всех 720 рядов изображения.

Участок R2' содержит 320 колонок пикселов, смежных с участком R1', в то время как участок R3' содержит последние 320 колонок пикселов.

Составной кадр С может быть, таким образом, создан, как изображено на Фиг. 7, где участки R2' и R3' повернуты на 90^° и расположены в областях С3' и C4' под изображением L и участком R1'.

Участки R2' и R3', повернутые таким образом, занимают 720 пикселов 320 рядов; тем самым, области C3' и C4' отделены от областей С1 и С2, которые содержат пикселы, скопированные из изображения L и из участка R1'.

Предпочтительно, области С3' и C4' отделены от других областей С1 и С2 по меньшей мере одной линией безопасности. Более конкретно, преимущественно и предпочтительно копировать пикселы участков R2' и R3' в последние ряды составного кадра С.

Так как в этом случае составной кадр состоит из 1080 рядов, в варианте осуществления на Фиг. 7 повернутые участки R2' и R3' отделены от верхнего изображения L и участка R1' полосой безопасности высотой 40 пикселов.

На примере Фиг. 7 участки R2' и R3' отделены друг от друга, так что они окружены пикселами заранее заданного цвета (например, белого или черного), не исходящих из правого и левого изображений. Таким образом, граничные области между участками, содержащими пикселы, исходящие из правого и левого изображений, сокращены, и одновременно сокращены любые дефекты изображения, вызванные сжатием изображения, и максимизирован коэффициент сжатия.

В качестве альтернативы положению R2' и R3' в последних рядах составного кадра С (как описано со ссылкой на Фиг. 7), в предпочтительном варианте осуществления R2' и R3' расположены так, что полоса безопасности высотой 32 ряда пикселов оставлена между нижним краем L и верхним краем R2' и R3'. Это обеспечивает вторую полосу безопасности высотой 8 рядов пикселов между нижним краем R2' и R3' и верхним краем С. Дополнительно используя ширину составного кадра, возможно расположить R2' и R3' так, чтобы они были полностью окружены пикселами, не принадлежащими ни правому изображению, ни левому изображению.

В дополнительном варианте осуществления, который описан в настоящем документе со ссылкой на Фиг. 8 и 9, модуль 104 извлекает три под-изображения R1'', R2'' и R3'', общая сумма пикселов которых превышает сумму пикселов разделенного изображения.

Участок R1'' соответствует участку R1' на Фиг. 6, в то время как R2'' и R3'' включают в себя область участков R2' и R3' плюс дополнительная область (Ra2 и Ra3), которая позволяет минимизировать создание дефектов изображения во время фазы сжатия изображения.

Сегмент R1'' - это, таким образом, участок размером 640×720 пикселов, занимающий первые колонки кадра R, который подлежит разделению.

Сегмент R3'' занимает последние колонки кадра R, подлежащего разделению, и граничит с центральным участком R2''. R3'' включает в себя, на левой стороне (той, что граничит с R2''), буферную полосу Ra3, содержащую пикселы, общие с участком R2''. Другими словами, последние колонки R2'' и первые R3'' (которые составляют буферную полосу Ra3) совпадают.

Предпочтительно, размер буферной полосы Ra3 выбирается как функция вида сжатия, которое будет далее применено к составному кадру С, и, в общем, к потоковому видео, его содержащему. Более конкретно, указанная полоса имеет размер, который в два раза больше простого элемента обработки, используемого в процессе сжатия. Например, стандарт Н.264 обеспечивает разделение изображения на макроблоки 16×16 пикселов, каждый из которых представляет собой простой элемент обработки этого стандарта. На основании этого предположения, полоса Ra3 имеет ширину 32 пиксела. Сегмент R3'', следовательно, имеет размер 352 (320+32) ×720 пикселов и содержит пикселы последних 352 колонок изображения R.

Сегмент R2'' занимает центральную часть изображения R, подлежащего разделению, и включает в себя, на левой стороне, буферную полосу Ra2, имеющую тот же размер, что и полоса Ra3. На примере рассмотренного стандарта Н.264 сжатия, полоса Ra2, таким образом, имеет ширину 32 пиксела и содержит пикселы, общие с участком R1''. Сегмент R2'', следовательно, имеет размер 352х720 пикселов и содержит пикселы колонок от 608 (640 из R1''-32) до 978 кадра R.

Три под-изображения, относящиеся к участкам R1'', R2'' и R3'', выведенным модулем 104 (как видно на Фиг. 8), затем вводятся в составной кадр С, как изображено на Фиг. 9. участки R2'' и R3'' повернуты на 90^°, а пикселы скопированы в последние ряды кадра С (области, обозначенные как C3'' и C4'') путем обеспечения определенного числа пикселов безопасности, которые отделяют области C3'' и C4'' от областей С1 и С2, которые включают в себя пикселы изображений L и R1'. В случае, изображенном на Фиг. 9, эта полоса безопасности имеет ширину 8 пикселов.

Кадр С, полученный таким образом, далее сжимается и передается или сохраняется на носителе информации (например, DVD). С этой целью, обеспечены средства сжатия, которые адаптированы для сжатия изображения или видеосигнала, вместе со средствами записи и/или передачи сжатого изображения или видеосигнала.

Фиг. 10 изображает структурную схему устройства 1100 приема, которое распаковывает принятый составной кадр (если он сжат), восстанавливает два правых и левых изображения и делает их доступными для устройства визуализации (например, телевизионной установки), позволяя получить 3D содержание. Устройство 1100 приема может быть дополнительным внешним устройством или устройством приема, встроенным в телевизионную установку.

Те же замечания, сделанные для устройства 1100 приема, применимы к устройству считывания (например, устройству считывания DVD), которое считывает составной кадр (возможно, сжатый) и обрабатывает его, чтобы получить одну пару кадров, соответствующих правому и левому изображениям, введенным в составной кадр (возможно, сжатый), прочитанный устройством считывания.

Ссылаясь на Фиг. 10, устройство приема принимает (через кабель или антенну) сжатое стереоскопическое потоковое видео 1101 и распаковывает его посредством модуля 1102 распаковки, тем самым получая потоковое видео, содержащее последовательность кадров C', соответствующих кадрам С. Если есть идеальный канал или если составной кадр прочитан из устройства массовой памяти или носителя данных (Blue-ray, CD, DVD), то кадры C' соответствуют составным кадрам С, несущим информацию о правом и левом изображениях, за исключением дефектов изображения, произведенных процессом сжатия.

Эти кадры C затем подаются на модуль 1103 восстановления, который выполняет способ восстановления изображения, описанный ниже со ссылкой на Фиг. 11 и 12.

Очевидно, что если потоковое видео не был сжато, то модуль 1102 распаковки может быть пропущен и видеосигнал может быть подан напрямую на модуль 1103 восстановления.

Процесс восстановления начинается на этапе 1300, когда принят распакованный составной кадр C. Модуль 1103 восстановления извлекает (этап 1301) левое изображение L путем копирования первых 1280 1080 пикселов распакованного кадра в новый кадр, который меньше, чем составной кадр, например кадр ряда 720р. Изображение L, восстановленное таким образом, выводится на устройство 1100 приема (этап 1302).

Далее способ обеспечивает извлечение правого изображения R из составного кадра C.

Фаза извлечения правого изображения начинается с копирования (этап 1303) части области R1, включенной в кадр C. Более подробно, пикселы первых 624 (640-16) колонок R1 копируются в соответствующие первые 624 колонки нового кадра, представляющего восстановленное изображение Rout, как показано на Фиг. 11. Фактически, это удаляет из фазы восстановления 16 колонки R1, которые наиболее подвержены дефектам изображения, например, через эффект процедуры оценки движения, выполняемой по стандарту Н.264 сжатия.

Затем извлекается центральная часть R2'' (этап 1304). Из распакованного кадра C' (который, как сказано выше, соответствует кадру С на Фиг. 9), выбираются пикселы области C3'' (соответствующей исходному участку R2''), и выполняется поворот на 90°, зеркальный тому, что был выполнено мультиплексором 100, в результате чего пикселы возвращаются обратно в исходный ряд/колонку, то есть как изображено на Фиг. 8. При этом, первые и последние шестнадцать (16) колонок R2'' удаляются, а оставшиеся 352-32=320 колонок пикселов копируются в свободные колонки, смежные с теми, что были только что скопированы из R1''.

Путем вырезания 16 внешних колонок участка R2'' удаляются те колонки, где формирование дефектов изображения является наиболее вероятным. Ширина вырезанной области (в данном случае 16 колонок) зависит от вида использованного сжатия. Указанная область предпочтительно равна простому элементу обработки, используемому в процессе сжатия; в случае, описанном в настоящем документе, стандарт Н.264 работает для блоков 16×16 пикселов, поэтому вырезаются 16 колонок.

Что касается R3'' (этап 1305), то пикселы участка C4'' извлекаются из кадра C', а под-изображения R3'' возвращаются обратно в исходный ряд/колонку (см. Фиг. 8). Далее первые 16 колонок пикселов удаляются (соответствующие половине области Ra3), а оставшиеся 352-16=336 колонок пикселов копируются в последние свободные колонки на левой стороне восстановленного кадра. Как в R2'', так и в R3'' вырезанная область равна простому элементу обработки, используемому при процессе сжатия.

Конечно, для обоих участков R2'' и R3'' операция поворота может быть выполнена виртуально, то есть тот же результат в условиях извлечения интересующих пикселов может быть получен путем копирования в восстановленный кадр пикселов ряда области C3'' (если R2'', C4'' если R3'') в колонку нового кадра Rout, за исключением последних 16 рядов области C3'' (если R2'', C4'' если R3''), соответствующих шестнадцати колонкам, подлежащим вырезанию, как изображено на Фиг. 8.

При этом правое изображение Rout полностью восстановлено и может быть выведено (этап 1306).

Процесс восстановления правого и левого изображений, содержащихся в составном кадре C', таким образом, завершается (этап 1307). Указанный процесс повторяется для каждого кадра потокового видео, принятого устройством 1100 приема, так что вывод состоит из двух потоковых видео 1104 и 1105 для правого изображения и левого изображения, соответственно.

Процесс восстановления правого и левого изображений, описанный выше со ссылками на Фиг. 10, 11 и 12, основан на предположении о том, что демультиплексор 1100 знает, как составной кадр С был построен, и может, таким образом, извлекать правое и левое изображения.

Конечно, это возможно, если способ мультиплексирования стандартизирован.

Чтобы принять во внимание тот факт, что составной кадр может быть генерирован любым из описанных выше способов или любым способом в соответствии с любым из способов, которые используют решение, являющееся предметом приложенной формулы изобретения, демультиплексор использует сигнальную информацию, содержащуюся в заранее заданном участке составного изображения (например, штрих-коде, как описано ранее), чтобы знать, как содержание составного изображения должно быть распаковано и как восстановить правое и левое изображения.

После декодирования указанного сигнала, демультиплексор знает положение неизмененного изображения (например, левого изображения в примерах, описанных выше), а также положения и любые трансформации (поворот, перенос или тому подобное) участков, на которые другое изображение было разделено (например, правое изображение в примерах, описанных выше).

С этой информацией, демультиплексор может извлекать неизмененное изображение (например, левое изображение) и восстанавливать разделенное изображение (например, правое изображение).

Хотя настоящее изобретение проиллюстрировано со ссылками на некоторые предпочтительные и преимущественные варианты осуществления, очевидно, что оно не ограничено указанными вариантами осуществления и что многие изменения могут быть сделаны специалистом в данной области техники, желающим комбинировать в составное изображение два изображения, относящихся к двум различным перспективам (правой и левой) объекта или сцены.

Например, электронные модули, которые обеспечивают вышеописанные устройства, конкретно устройство 100 и устройство 1100 приема, могут быть различным образом разделены и распределены; дополнительно, они могут быть обеспечены в форме аппаратных модулей или программных алгоритмов, осуществляемых процессором, конкретно видеопроцессором, оборудованным подходящими областями памяти для временного хранения принятых введенных кадров. Эти модули могут, тем самым, выполнять параллельно или последовательно один или более этапов видео обработки способов мультиплексирования и демультиплексирования изображений, в соответствии с настоящим изобретением.

Также очевидно, что хотя предпочтительные варианты осуществления относятся к мультиплексированию двух потоковых видео 720р в одно потоковое видео 1080р, другие форматы также могут быть использованы.

Изобретение не ограничивается конкретным видом расположения составного изображения, так как различные решения генерирования составного изображения могут иметь специфические преимущества.

Например, варианты осуществления, описанные выше со ссылкой на Фиг. от 1 до 12, предлагают преимущество, заключающееся в том, что они выполняют только операции переноса или поворота, тем самым, требуя малую вычислительную способность.

Альтернативно, понятно, что изображения также подвергают операциям зеркальной инверсии, дополнительно к указанным операциям поворота и/или переноса, чтобы получить составное изображение вида, показанного на Фиг. 13.

Эти дополнительные операции выполняют с целью максимизации периметра границ между участками, содержащими одинаковые пикселы, что, тем самым, приводит к сильной корреляции, существующей между ними, и минимизации дефектов изображения, вызванных последующим сжатием. На примере Фиг. 13 и 14 предположено для ясности, что правое и левое изображения идентичны, даже если в общем они слегка различаются.

На этой фигуре левое изображение L (показано на Фиг. 14а) расположено в верхнем правом углу составного кадра С, так что оно занимает последние 1280 пикселов первых 720 рядов. Как в описанных ранее примерах, изображение L, таким образом, копируется неизмененным в составной кадр С.

Напротив, правое изображение R разделяется в соответствии с примером на Фиг. 3; Фиг. 14b показывает изображение R, разделенное на три участка R1, R2 и R3.

Далее, некоторые участки (участки R1 и R3 в примере на Фиг. 14) подвергаются операции зеркальной инверсии; инверсия может происходить относительно вертикальной оси (то есть параллельно колонке изображения) или горизонтальной оси (то есть параллельно ряду изображения).

В случае инверсии относительно вертикальной оси, пикселы колонки N (где N - это целое число от 1 до 1080, причем 1080 является числом колонок изображения) копируются в колонку 1080+1-N.

В случае инверсии относительно горизонтальной оси, пикселы ряда М (где М - это целое число от 1 до 720, причем 720 является числом рядов изображения) копируются в ряд 720+1-N.

Фиг. 14с и 14d показывают участок R1, извлеченный из изображения R и инвертированный (R1rot) относительно вертикальной оси, конкретно относительно вертикальной стороны.

Инвертированный участок R1inv вводится в первые 640 пикселов первых 640 рядов пикселов.

Как видно на примере на Фиг. 13, когда повернутый R1inv вводится в составной кадр С, пикселы R1inv, граничащие с L, очень похожи на пикселы L, граничащие с R1inv. Пространственная корреляция между этими пикселами имеет преимущество, заключающееся в сокращении формирования дефектов изображения.

Фиг. 14e и 14f показывают участок R3, извлеченный из изображения R на Фиг. 14b и затем инвертированный (R3inv) относительно горизонтальной оси конкретно относительно горизонтальной стороны.

Участок R3inv вводится в последние 640 пикселов последних 360 рядов. Это сокращает генерирование дефектов изображения, так как пикселы граничных участков между R3inv и L являются пикселами, имеющими пространственную корреляцию. Пикселы в этом граничном участке, в действительности, воспроизводят похожие или идентичные части изображения.

Составной кадр С затем заполняется путем ввода участка R2.

В этом примере R2 не инвертируется и/или вращается, потому что невозможно, ни в одном из случаев, совпадение граничного участка R2 с граничным участком, состоящим из одинаковых пикселов другого участка R или L.

Наконец, также очевидно, что изобретение относится к любому способу мультиплексирования, который позволяет извлекать правое изображение и левое изображение из составного изображения путем процесса, обратного одному из вышеописанных процессов мультиплексирования, попадающих под объем охраны настоящего изобретения.

Изобретение, тем самым, также относится к способу генерирования пары изображений из составного изображения, который содержит этапы:

- генерирование первого (например, левого изображения) из указанных правого и левого изображений путем копирования одной единственной группы смежных пикселов из участка указанного составного изображения;

- генерирование второго изображения (например, правого изображения) путем копирования другой группы смежных пикселов из различных участков указанного составного изображения.

В соответствии с одним вариантом осуществления, информация для генерирования указанного второго изображения извлекается из области указанного составного изображения. Указанная информация предпочтительно закодирована в соответствии со штрих-кодом.

В одном варианте осуществления способа генерирования правого и левого изображений, генерирование изображения, которое было разделено в составном изображении, содержит по меньшей мере одну фазу зеркальной инверсии группы пикселов одного из указанных участков.

В одном варианте осуществления способа генерирования правого и левого изображений, генерирование изображения, которое было разделено в составном изображении, содержит по меньшей мере одну фазу удаления пикселов из одного из участков составного изображения, которые содержат пикселы этого изображения, подлежащего восстановлению. Более конкретно, пикселы удаляются из граничной области участка.

В одном варианте осуществления, изображение, которое было разделено на различные участки составного изображения, восстанавливается путем подвергания участков, которые содержат пикселы изображения, подлежащего восстановлению, только операциям переноса и/или поворота.

1. Способ генерирования стереоскопического потокового видео, содержащего составные изображения (С), причем составные изображения (С) содержат информацию о правом изображении (R) и левом изображении (L), в котором:
выбирают пикселы правого изображения (R) и пикселы левого изображения (L), и
вводят выбранные пикселы в составное изображение (С) стереоскопического потокового видео,
причем все пикселы правого изображения (R) и все пикселы левого изображения (L) вводят в составное изображение (С) путем оставления одного из упомянутых двух изображений неизменным и разделения другого из них на участки (R1, R2, R3), имеющие прямоугольную форму и содержащие множество пикселов, и ввода этих участков в составное изображение (С), в различные области упомянутого составного изображения (С), не занятые упомянутым неизменным изображением, причем отношение горизонтального и вертикального разрешения упомянутых левого и правого изображений является неизменным, а упомянутое составное изображение (С) является кадром стереоскопического потокового видео, у которого число пикселов больше или равно сумме пикселов левого и правого изображений,
при этом, чтобы сократить генерирование дефектов в граничной области упомянутых участков вследствие сжатия изображения, упомянутые участки получают посредством этапов, на которых:
разделяют упомянутое другое изображение (R) по вертикали на две части одинакового размера;
разделяют одну из упомянутых двух частей одинакового размера по горизонтали на две части (R2, R3) также одинакового размера, причем другая часть (R1) из упомянутых двух частей одинакового размера более не делится.

2. Способ по п. 1, в котором упомянутая другая из двух частей одинакового размера другого изображения (R), которая более не делится, помещается в составное изображение (С) сбоку неизменного изображения (L), причем упомянутые две части (R2, R3) также одинакового размера другого изображения (R) помещают в составное изображение (С) под неизменным изображением (L), одна сбоку другой.

3. Способ по п. 1, в котором упомянутые участки (R1, R2, R3) вводятся в составное изображение посредством операций переноса или поворота.

4. Способ по п. 1, в котором упомянутые участки (R1, R2, R3) вводят в составное изображение (С) посредством операций переноса и поворота.

5. Способ по п. 1, в котором, по меньшей мере, одна часть пространства, оставленного свободным в составном изображении, используется для ввода сигнала, необходимого для восстановления правого и левого изображений на уровне демультиплексора.

6. Способ по п. 1, в котором до ввода одного из упомянутых участков в составное изображение выполняют операцию зеркальной инверсии вдоль одной стороны упомянутого одного участка.

7. Способ по п. 6, в котором упомянутый один участок вводится в составное изображение, причем одна его сторона граничит по одной стороне с другим изображением или участком, так что пикселы, относящиеся к той же пространственной области, располагаются бок о бок.

8. Способ по п. 1, в котором упомянутые участки содержат смежные группы столбцов пикселов упомянутого изображения.

9. Способ по п. 1, в котором, по меньшей мере, два из упомянутых участков имеют, по меньшей мере, одну общую группу пикселов, причем эта группа пикселов расположена в граничной области между упомянутыми, по меньшей мере, двумя из участков.

10. Способ по п. 1, в котором, по меньшей мере, один из упомянутых участков, который введен в составное изображение, отделяется от других участков составного изображения, которые содержат пикселы, скопированные из правого изображения или левого изображения.

11. Способ по п. 1, в котором:
принимают последовательность правых изображений и последовательность левых изображений,
генерируют последовательность составных изображений, начиная с упомянутых последовательностей правых изображений и левых изображений,
сжимают последовательность составных изображений.

12. Способ восстановления пары изображений, начиная с составного изображения, причем составные изображения (С) содержат информацию о правом изображении (R) и левом изображении (L), при этом все пиксели упомянутого правого изображения (R) и все пиксели упомянутого левого изображения (L) вводят в составное изображение (С) путем оставления одного из упомянутых двух изображений неизменным и разделения другого из них на участки (R1, R2, R3), имеющие прямоугольную форму и содержащие множество пикселов, причем эти три участка вводят в составное изображение (С) в различные области упомянутого составного изображения (С), не занятые упомянутым неизменным изображением, причем отношение горизонтального и вертикального разрешения упомянутых левого и правого изображений является неизменным, а упомянутое составное изображение (С) имеет число пикселов большее или равное сумме пикселов левого и правого изображений,
при этом упомянутые участки организуются в составном изображении (С) следующим образом:
разделяют упомянутое другое изображение (R) по вертикали на две части одинакового размера;
разделяют одну из упомянутых двух частей одинакового размера по горизонтали на две части (R2, R3) также одинакового размера, причем другая часть (R1) из упомянутых двух частей одинакового размера более не делится,
причем способ содержит этапы, на которых:
генерируют первое из правого изображения (R) и левого изображения (L) путем копирования одной отдельной группы смежных пикселов из участка составного изображения, в котором расположено неизменное изображение,
генерируют второе изображение из правого изображения (R) и левого изображения (L) путем копирования других групп смежных пикселов из других участков (R1, R2, R3) составного изображения.

13. Способ по п. 12, в котором упомянутая другая из двух частей одинакового размера другого изображения (R), которая более не делится, помещается в составное изображение (С) сбоку неизменного изображения (L), причем упомянутые две части (R2, R3) также одинакового размера другого изображения (R) помещают в составное изображение (С) под неизменным изображением (L), одна сбоку другой.

14. Способ по п. 12, в котором информация для генерирования упомянутой пары изображений извлекается из области составного изображения.

15. Способ по п. 14, в котором упомянутая информация кодируется в соответствии со штрих-кодом.

16. Способ по п. 12, в котором генерирование второго изображения содержит, по меньшей мере, одну фазу зеркальной инверсии группы пикселов, по меньшей мере, одного из упомянутых других участков.

17. Способ по п. 12, в котором генерирование второго изображения содержит, по меньшей мере, одну фазу удаления пикселов из, по меньшей мере, одного из упомянутых участков.

18. Способ по п. 17, в котором пикселы удаляются из граничной области упомянутого, по меньшей мере, одного участка.

19. Способ по п. 12, в котором второе изображение генерируется путем подвергания упомянутых участков пикселов операциям переноса или поворота.

20. Способ по п. 12, в котором второе изображение генерируется путем подвергания упомянутых участков пикселов операциям поворота и переноса.

21. Устройство для генерирования составных изображений (С), содержащее модуль разделения для приема правого изображения и левого изображения и модуль сборки для генерирования составного изображения (С), содержащего информацию о правом изображении и левом изображении, причем модуль разделения и модуль сборки выполнены с возможностью осуществления способа по п. 1.

22. Устройство для восстановления пары изображений, начиная с составного изображения, содержащее модули генерирования, выполненные с возможностью генерировать правое изображение (R) и левое изображение (L) для осуществления способа по п. 12.