Двухрежимный модуль оценки глубины
Изобретение относится к области вычислительной техники для обработки изображений. Технический результат заключается в повышении эффективности оценки глубины в реальном времени как стереоскопических, так и моноскопических видеоданных. Заявлена однокристальная система, которая сконфигурирована для оценки глубины в реальном масштабе времени видеоданных. Однокристальная система содержит модуль моноскопической оценки глубины, сконфигурированный, чтобы выполнять моноскопическую оценку глубины из видеоданных моноскопического типа. Однокристальная система является реконфигурируемой для выполнения либо моноскопической оценки глубины, либо стереоскопической оценки глубины на основе данных конфигурации, определяющих выбранный режим оценки глубины. Оба модуля оценки содержат совместно используемые схемы, которые реализованы в аппаратных средствах и являются реконфигурируемыми для учета различий в функциональности схемы на каждом модуле оценки глубины. 2 н. и 7 з.п. ф-лы, 22 ил.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение относится к однокристальной системе, сконфигурированной для оценки глубины в реальном времени, причем однокристальная система содержит множество схем и интерфейсов памяти для обеспечения прямого доступа к памяти для совместно используемой памяти.
ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
Все больше, устройства отображения, такие как телевизоры, цифровые фоторамки, планшеты и смартфоны, содержат 3D дисплеи для предоставления пользователю ощущения глубины при просмотре контента на таком устройстве. Для этой цели такие 3D дисплеи могут либо сами по себе, либо вместе с очками, носимыми пользователем, предоставлять пользователю различные изображения в каждом глазу для обеспечения восприятия пользователем глубины на основе стереоскопии.
В распределении мультимедиа в настоящее время широко доступны два типа видео контента:
1. Стереоскопический видео контент, состоящий из последовательности пар левого и правого изображений (обычно называемый ʺстерео видеоʺ или ʺ3D видеоʺ)
2. Моноскопический видео контент, состоящий из последовательности одиночных изображений (обычно называемый ʺ2D видеоʺ)
Может существовать потребность преобразовывать любой тип видеоданных в так называемый формат изображения+глубины, в котором информация о глубине обеспечивается картой глубины, которая может содержать значения глубины, значения несходства (диспаратности) и/или значения параллактического смещения, причем все упомянутые значения указывают расстояние, которое объекты внутри изображения имеют в направлении камеры. Такой формат оказался выгодным, например, для разрешения возможности коррекции глубины после создания контента, для адресации автостереоскопических многовидовых дисплеев с более чем двумя видами и т.д.
Для преобразования моноскопических и стереоскопических видеоданных в формат изображения+глубины может использоваться оценка глубины. Однако тип оценки глубины отличается для стереоскопических видеоданных по сравнению с моноскопическими видеоданными. А именно, в случае стереоскопического видео контента, стереоскопическое зрение доступно как бинокулярный сигнал глубины для оценки глубины, в то время как в случае моноскопического видео контента доступны только моноскопические сигналы глубины, включая, но не ограничиваясь этим, глубину из движения, возвышения и криволинейной перспективы, размытия расфокусировки и т.д. Таким образом, для моноскопических и стереоскопических видеоданных необходима различная оценка глубины.
Однако, после преобразования в формат изображения+глубины, любая последующая обработка может быть той же самой, включая визуализацию вида, коррекцию глубины и т.д.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Задачей изобретения является обеспечение ресурсно-эффективной однокристальной системы для оценки глубины в реальном времени как стереоскопических, так и моноскопических видеоданных.
Первый аспект изобретения обеспечивает однокристальную систему, сконфигурированную для оценки глубины в реальном времени видеоданных, причем однокристальная система содержит:
- модуль моноскопической оценки глубины, сконфигурированный, чтобы выполнять моноскопическую оценку глубины из видеоданных моноскопического типа;
- модуль стереоскопической оценки глубины, сконфигурированный, чтобы выполнять стереоскопическую оценку глубины из видеоданных стереоскопического типа;
- интерфейс памяти для обеспечения прямого доступа к памяти для совместно используемой памяти;
при этом однокристальная система является реконфигурируемой для выполнения либо моноскопической оценки глубины, либо стереоскопической оценки глубины на основе данных конфигурации, определяющих выбранный режим оценки глубины, при этом модуль моноскопической оценки глубины и модуль стереоскопической оценки глубины содержат:
- реконфигурируемую совместно используемую схему обработки ввода, реализованную в аппаратных средствах и реконфигурируемую посредством данных конфигурации, чтобы:
генерировать иерархию масштабированных с понижением изображений для каждого входного изображения видеоданных путем пространственного понижающего масштабирования входного изображения в соответствии с множеством коэффициентов понижающего масштабирования, причем схема обработки ввода является конфигурируемой посредством данных конфигурации для выбора отличающегося поднабора иерархии масштабированных с понижением изображений, которые должны быть выведены для стереоскопической оценки глубины, иного, чем для моноскопической оценки глубины, для получения специфических для случая использования масштабированных с понижением видеоданных, и
сохранять в совместно используемой памяти специфические для случая использования масштабированные с понижением видеоданные;
- каждую отдельную базовую схему модуля оценки глубины, реализованную в аппаратных средствах и сконфигурированную, чтобы:
осуществлять доступ к видеоданным или к специфическим для случая использования масштабированным с понижением видеоданным,
оценивать данные глубины из упомянутых видеоданных, к которым осуществлен доступ, при этом данные глубины имеют пространственное разрешение ниже, чем пространственное разрешение видеоданных, и
сохранять данные глубины в совместно используемой памяти;
- реконфигурируемую совместно используемую схему повышающего масштабирования по глубине, реализованную в аппаратных средствах и реконфигурируемую посредством данных конфигурации, чтобы:
осуществлять доступ к данным глубины и к специфическим для случая использования масштабированным с понижением видеоданным, и
масштабировать с повышением данные глубины на последовательных этапах с использованием специфических для случая использования масштабированных с понижением видеоданных, при этом схема повышающего масштабирования по глубине является конфигурируемой посредством данных конфигурации, чтобы использовать отличающиеся последовательные этапы для стереоскопической оценки глубины, иные, чем для моноскопической оценки глубины в соответствии с выбранным режимом оценки глубины.
Входящие видеоданные являются либо стереоскопическими, либо моноскопическими, и, таким образом, оба случая использования оценки глубины, например, оценка глубины из стереоскопических видеоданных и оценка глубины из моноскопических видеоданных, являются взаимно исключающими. Обычно реализация модуля оценки глубины для стереоскопических видеоданных и модуля оценки глубины для моноскопических видеоданных привела бы к специализированным (функционально-специфическим) схемам, таким образом, устанавливая дизъюнктивные схемы, которые являются только поочередно активными. В соответствии с заявленным изобретением, система содержит реконфигурируемые совместно используемые схемы. Термин 'совместно используемая' схема относится к схеме, которая используется обоими модулями оценки глубины и может быть реализована только однократно в аппаратных средствах.
Тем не менее, совместно используемые схемы могут быть сконфигурированы по-разному посредством данных конфигурации, определяющих выбранный режим оценки глубины, для учета различий в функциональности совместно используемой схемы в каждом модуле оценки глубины. В качестве одной из совместно используемых реконфигурируемых схем, предусмотрена схема обработки ввода, которая по-разному пространственно масштабирует с понижением видеоданные в соответствии с выбранным режимом оценки глубины. В частности, схема обработки ввода приспособлена для генерации иерархии масштабированных с понижением изображений путем масштабирования с понижением входного изображения в соответствии с множеством коэффициентов понижающего масштабирования. Например, входное изображение может повторно масштабироваться с понижением в 2 раза. Схема обработки ввода является конфигурируемой на основе данных конфигурации, чтобы, для каждого отличающегося случая использования, включая вышеупомянутую моноскопическую оценку глубины и стереоскопическую оценку глубины, выводить отличающийся поднабор масштабированных с понижением изображений. Соответственно, схема обработки ввода может приспосабливать различные требования в показателях разрешения изображений, которые могут потребоваться для моноскопической оценки глубины и стереоскопической оценки глубины, и, в частности, отличающиеся схемы, вовлеченные в оценку глубины.
Одним из примеров таких схем являются базовые схемы модуля оценки глубины, которые отдельно реализованы в аппаратных средствах. Обе базовые схемы модуля оценки глубины могут использовать масштабированные с понижением видеоданные для оценки глубины и могут иметь различные требования относительно разрешения масштабированных с понижением видеоданных и, в соответствии с опциональным аспектом, также относительно того, какие компоненты видеоданных предоставляются. Таким образом, схема обработки ввода выполнена, чтобы приспосабливаться к таким различным требованиям ввода, предоставляя специфические для случая использования масштабированные с понижением видеоданные на активную в текущий момент базовую схему модуля оценки глубины.
Другим примером является схема повышающего масштабирования по глубине, которая предусмотрена в качестве совместно используемой схемы и, таким образом, может быть реализована однократно в аппаратных средствах, и которая по-разному масштабирует с повышением данные глубины в соответствии с выбранным режимом оценки глубины. В частности, повышающее масштабирование может выполняться в последовательных этапах, причем последовательные этапы различны для моноскопической оценки глубины и стереоскопической оценки глубины. Не ограничивающая причина этого может заключаться в том, что данные глубины имеют различное пространственное разрешение, в зависимости от того, были ли они оценены с помощью модуля моноскопической оценки глубины или модуля стереоскопической оценки глубины. Аналогично схеме обработки ввода, схема повышающего масштабирования по глубине является конфигурируемой данными конфигурации, чтобы приспосабливать такие различные требования масштабирования, и, таким образом, должна быть реализована только однократно в аппаратных средствах. Так как повышающее масштабирование может использовать масштабированные с понижением изображения для повышающего масштабирования данных глубины, например, с использованием адаптивного к изображению повышающего масштабирования, и, в частности, использовать отличающийся поднабор масштабированных с понижением изображений в каждом случае использования, специфические для случая использования масштабированные с понижением видеоданные используются в качестве ввода, как генерируется схемой обработки ввода для конкретного случая использования.
Таким образом, имеется значительная степень совместного использования аппаратных средств или повторного использования аппаратных средств между двумя модулями оценки глубины, что приводит к ресурсно-эффективной однокристальной системе для моноскопической и стереоскопической оценки глубины.
Опционально, базовая схема модуля оценки глубины модуля моноскопической оценки глубины реализует совместный двусторонний фильтр, который, при применении к изображению видеоданных или специфических для случая использования масштабированных с понижением видеоданных, обеспечивает карту глубины в качестве вывода. Было установлено, что совместные двусторонние фильтры хорошо подходят для оценки глубины из моноскопических видеоданных, поскольку они могут использоваться для адаптации общего профиля глубины к фактическому содержимому изображения. Поскольку такие двунаправленные фильтры могут использовать масштабированные с понижением данные изображения в качестве ввода и генерировать масштабированные с понижением данные глубины в качестве вывода, существует значительное функциональное перекрытие с модулями стереоскопической оценки глубины на основе согласования блоков, которое может также использовать масштабированные с понижением данные изображения в качестве ввода и генерировать масштабированные с понижением данные глубины в качестве вывода.
Опционально, базовая схема модуля оценки глубины для модуля стереоскопической оценки глубины реализует модуль согласования блоков, который, при применении к паре стереоизображений видеоданных или к специфическим для случая использования масштабированным с понижением видеоданным, обеспечивает карту несходства в качестве вывода.
Варианты осуществления определены в зависимых пунктах формулы изобретения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Эти и другие аспекты изобретения очевидны и будут пояснены со ссылкой на варианты осуществления, описанные ниже. На чертежах:
Фиг. 1 показывает общий вид однокристальной системы с (внешней) совместно используемой памятью, причем однокристальная система содержит IP блок преобразования в реальном времени (RTC);
Фиг. 2 показывает конфигурацию блока RTC IP для оценки глубины стереоскопических видеоданных или моноскопических видеоданных;
Фиг. 3 показывает схему обработки ввода блока RTC IP;
Фиг. 4 показывает повышающее масштабирование по глубине (DUP) блока RTC IP;
Фиг. 5-7 показывают различные случаи использования стереоскопической оценки глубины;
Фиг. 8 и 9 показывают различные случаи использования моноскопической оценки глубины;
Фиг. 10-13 соответствуют случаям использования на фиг. 5-8, но теперь изображены с использованием схемы обработки ввода, как описано со ссылкой на фиг. 3;
Фиг. 14 и 15 представляют сводные данные, относящиеся к случаям использования согласно фиг. 10-13;
Фиг. 16-18 иллюстрируют администрирование буфера видеоданных;
Фиг. 19 показывает график для преобразования в реальном времени стереоскопических видеоданных;
Фиг. 20 показывает другой график для преобразования в реальном времени стереоскопических видеоданных;
Фиг. 21 показывает график для преобразования в реальном времени моноскопических видеоданных; и
Фиг. 22 показывает другой график для преобразования в реальном времени моноскопических видеоданных.
Следует отметить, что элементы, имеющие одинаковые ссылочные позиции на различных чертежах, имеют одинаковые структурные признаки и одинаковые функции или являются одинаковыми сигналами. Если была объяснена функция и/или структура такого элемента, то нет необходимости в его повторном пояснении в подробном описании.
Список ссылочных позиций
Следующий перечень ссылочных позиций приведен для облегчения интерпретации чертежей и не должен рассматриваться как ограничивающий формулу изобретения.
010 внешняя совместно используемая память
020 видеоданные
030 ввод сигнала
040-046 обмен данными с внешней совместно используемой памятью
050 вывод сигнала
060 выходной сигнал
100 однокристальная система
110 IP блок преобразования в реальном времени
120 схема обработки ввода
130 схема согласования блоков
140 совместный двусторонний фильтр
150 схема повышающего масштабирования по глубине
160 встроенное ядро CPU
200 модуль моноскопической оценки глубины
210 модуль стереоскопической оценки глубины
300 базовый график для преобразования в реальном времени стереоскопических видеоданных
310 расширенный график для преобразования в реальном времени стереоскопических видеоданных
320 базовый график преобразования в реальном времени моноскопического видео
330 расширенный график для преобразования в реальном времени моноскопического видео
ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Фиг. 1 показывает общий вид однокристальной системы 100 (обозначенной на фиг.1 и далее также упоминаемой как 'SoC') с внешней совместно используемой памятью 010 (обозначенной как 'Ext. mem'), причем S°C 100 содержит IP блок 110 преобразования в реальном времени (обозначенный и далее также упоминаемый как 'RTC IP блок'). Здесь термин 'IP блок' относится к реализации повторно используемого блока логики, ячейки или схемы топологии кристалла, также упоминаемого как полупроводниковое ядро интеллектуальной собственности в области электронного проектирования. RTC IP блок 110 показан как содержащий схему 120 обработки входа (обозначена 'INP'), схему 130 согласования блоков (обозначена 'BN'), схему 140 совместного двустороннего фильтра (обозначена 'BF'), схему 150 повышающего масштабирования по глубине (обозначена 'DUP') и встроенное ядро 160 CPU (обозначено 'IP CPU').
S°C 100 показан как интерфейс 040 с внешней памятью 010 следующим образом. Видеоданные 020, содержащие множество изображений, принимаются вводом 030 сигнала (обозначен 'Sign. In') S°C 100 и сохраняются во внешней памяти 010 посредством обмена 042 данными. Ввод 030 сигнала может, но опционально, выполнять обработку ввода, такую как преобразование цветового пространства (например, RGB в YUV), субдискретизацию цветности, демультиплексирование в плоскостной формат (например, для хранения в плоскостных буферах во внешней памяти 010) и т.д. Сохраненные изображения затем обрабатываются RTC IP блоком 110, посредством обмена 044 данными, причем RTC IP блок 110 сконфигурирован для оценки глубины, представленной содержанием изображений, тем самым получая в качестве вывода по меньшей мере информацию о глубине и, возможно, промежуточные данные, которые сохраняются во внешней памяти 010. Затем изображения и информация о глубине считываются с помощью вывода 050 сигнала (обозначен 'Sign. Out') посредством обмена 046 данными и формируют выходной сигнал 060.
Обработка RTC IP блока 110 может быть следующей: схема 120 обработки ввода может пространственно масштабировать с понижением видеоданные, чтобы получать масштабированные с понижением видеоданные и сохранять масштабированные с понижением видеоданные во внешней памяти. Базовая схема модуля оценки глубины, являющаяся либо схемой 130 согласования блоков, либо схемой 140 совместного двустороннего фильтра и дополнительно обсуждаемая со ссылкой на фиг. 2, может осуществлять доступ к масштабированным с понижением видеоданным, оценивать глубину из масштабированных с понижением видеоданных, тем самым получая данные глубины, имеющие пространственное разрешение ниже, чем пространственное разрешение видеоданных, и сохранять данные глубины во внешней памяти. Схема 150 повышающего масштабирования по глубине может осуществлять доступ к данным глубины и масштабированным с понижением видеоданным и масштабировать с повышением данные глубины, используя масштабированные с понижением видеоданные.
RTC IP блок 110 может быть реконфигурируемым в двух различных режимах, а именно моноскопическом (также просто называемом '2D') режиме оценки глубины и стереоскопическом (также просто называемом 'стерео') режиме оценки глубины. По существу, однокристальная система может быть реконфигурируемой для того, чтобы выполнять либо моноскопическую оценку глубины, либо стереоскопическую оценку глубины. Фиг. 2 схематично иллюстрирует схемы, вовлеченные в каждый режим RTC IP блока 110, указывая модуль 200 моноскопической оценки глубины и модуль 210 стереоскопической оценки глубины соответственно посредством пунктирного контура, охватывающего схемы, представляющие каждый соответствующий модуль оценки глубины. А именно, модуль 200 моноскопической оценки глубины содержит схему 120 обработки ввода, схему 140 совместного двустороннего фильтра и схему 150 повышающего масштабирования по глубине, в то время как модуль 210 стереоскопической оценки глубины содержит схему 120 обработки ввода, схему 130 согласования блоков и схему 150 повышающего масштабирования по глубине.
Поэтому предусмотрена отдельная базовая схема модуля оценки глубины для оценки глубины из видеоданных моноскопического типа и из видеоданных стереоскопического типа, хотя оба блока 200, 210 оценки глубины совместно используют схему 120 обработки ввода и схему повышающего 150 масштабирования по глубине. Как дополнительно показано на фиг. 2, базовая схема модуля оценки глубины для моноскопической оценки глубины может представлять собой схему 140 совместного двустороннего фильтра, в то время как базовая схема модуля оценки глубины для стереоскопической оценки глубины может представлять собой схему 130 согласования блоков. Каждая из схемы 120 обработки ввода и схемы 150 повышающего масштабирования по глубине может быть реконфигурируемой для обработки либо видеоданных моноскопического типа, либо видеоданных стереоскопического типа, и таким образом, совместно используются модулем моноскопической оценки глубины и модулем стереоскопической оценки глубины.
Таким образом различают, что оба модуля оценки глубины используются во взаимно исключающих ситуациях, а именно, когда видеоданные являются либо моноскопическими видеоданными, либо стереоскопическими видеоданными. Это различие используется в качестве основы для RTC IP блока 110, в котором существует значительная степень совместного использования аппаратных средств или повторного использования аппаратных средств между двумя модулями оценки глубины RTC IP блока 110, что приводит к экономически эффективному IP блоку, пригодному как для моноскопических, так и для стереоскопических видеоданных. В частности, такое повторное использование получается посредством обеспечения реконфигурируемых совместно используемых схем, которые являются реконфигурируемыми посредством данных конфигурации. Данные конфигурации могут содержать параметры, определяющие функциональность каждой схемы для каждого из режимов оценки глубины. Каждая совместно используемая схема может содержать параметризуемые входы, преобразователи масштаба и выходы. Таким образом, термин 'реконфигурация' может относиться к входам, преобразователям масштаба и выходам, сконфигурированным в соответствии с параметрами данных конфигурации.
Следует отметить, что RTC IP блок 110 может быть реконфигурирован либо в 2D-режим, либо в стерео режим на основе данных конфигурации, указывающих выбранный режим оценки глубины. В частности, такие данные конфигурации могут содержать компоненты данных конфигурации для реконфигурирования схемы 120 обработки ввода и схемы 150 повышающего масштабирования по глубине в соответствии с выбранным режимом оценки глубины, как будет дополнительно описано со ссылкой на фиг. 3 и 4. Компоненты данных могут храниться в различных частях RTC IP блока 110, например, в различных регистрах или внутренних блоках памяти; таким образом, данные конфигурации могут быть распределенными, а не состоять, например, из одного блока данных. Данные конфигурации могут происходить из различных источников, включая, но не ограничиваясь этим, настройки (меню) конечного пользователя, или могут автоматически выводиться из свойств входного сигнала 020. Неограничивающим примером является: если ввод представляет собой HDMI, то так называемый режим пакетированных кадров может быть обнаружен на входе и служить для выбора/активации модуля оценки стерео.
Пример графика операций для каждого из модулей оценки глубины RTC IP блока 110 будет рассмотрен ниже со ссылкой на фиг. 19-22.
Фиг. 3 показывает более подробно конкретный вариант осуществления схемы 120 обработки ввода RTC IP блока. Схема 120 обработки ввода может быть сконфигурирована для пространственного понижающего масштабирования видеоданных для получения масштабированных с понижением видеоданных и сохранения масштабированных с понижением видеоданных во внешней памяти. Для этой цели схема 120 обработки ввода может содержать аппаратные средства, которые могут быть сконфигурированы для использования в 2D режиме или в стерео режиме, а также для использования компонентов Y и U/V с уменьшенной конфигурацией и, следовательно, с повышенным повторным использованием аппаратных средств в блоке. Это способствует экономически эффективному и универсальному решению.
В случае стерео режима, все выходы включены, что означает, что входное изображение, полученное через блок DMA IN1×1, масштабируется с понижением с помощью коэффициентов в 2×2, 4×4 и 8×8 раз, причем числа указывают понижающее масштабирование по горизонтальной и вертикальной размерности, соответственно. В данном случае блок '2×2' указывает, что схема масштабирования масштабирует с понижением ввод коэффициентом 2×2, и соответствующий выход указывается блоком DMA OUT. В случае оценки 2D глубины, выход 8×8 может быть отключен, поскольку этот выход не используется. Для модуля стереоскопической оценки глубины было обнаружено, что левые и правые изображения иногда страдают от различий цветов. Схема 120 обработки ввода может содержать свойства для коррекции таких различий. В частности, гистограмму обоих изображений можно накапливать с помощью схемы, обозначенной 'ACC HIST'. IP CPU (не показан на фиг.3) может затем конфигурировать таблицу переотображения пикселов для коррекции цветовых различий, которая может быть применена посредством схемы, обозначенной 'PIX REMAP', к правому изображению. Следует отметить, что левое изображение предпочтительно используется в качестве опорного изображения, поскольку оно обычно используется в качестве видоискателя в стереокамере. Дополнительно отмечено, что накопление гистограммы и переотображение пикселов могут быть отключены в 2D режиме, т.е. при использовании модуля оценки 2D глубины, что означает, что соответствующие схемы могут быть конфигурируемыми для использования или не зависящими от выбранного режима оценки глубины.
Кроме того, следует отметить, что схема 120 обработки ввода может также быть сконфигурирована для понижающего масштабирования U и V цветовых компонентов видеоданных. Можно предположить, что эти компоненты хранятся в плоском виде, так что каждый компонент хранится в своем собственном буфере. В типичном случае входной сигнал может использовать субдискретизацию цветности 4:2:0, что означает, что входные буферы U и V уже предварительно масштабированы с понижением до разрешения 2×2 по Y. Такой масштабированный 2×2 с понижением буфер U или V может обрабатываться одним и тем же аппаратным блоком. В этом случае входной буфер U или V при 2×2 может масштабироваться с понижением до 4×4 и выводиться через DMA O2×2 (в данном случае префикс 'O' означает 'Оutput' (выход)), до 8×8 и выводиться через DMA O4×4, до 16×16 и выводиться через DMA O8×8. Кроме того, выход O8×8 обычно отключен для стерео режима. Для 2D режима выходной сигнал 04×4 может быть отключен для компонентов цветности.
На фиг. 4 показана схема 150 повышающего масштабирования по глубине (DUP) IP RTC блока, которая также является реконфигурируемой на основе данных конфигурации, тем самым разрешая ее использование как в 2D режиме, так и в стерео режиме. В конкретном примере, схема 150 повышающего масштабирования по глубине может, в своем повышающем масштабировании, задействовать метод, описанный в статье ʺMultistep joint bilateral depth upsamplingʺ, by Riemens et al., Proc. SPIE 7257, Visual Communications and Image Processing 2009, January 19, а именно, метод совместной двусторонней фильтрации, в котором фильтр повышающей дискретизации (т.е. повышающего масштабирования) использует выборки из изображений как высокого разрешения, так и низкого разрешения в так называемом 'диапазоне' двустороннего фильтра. Повышающая дискретизация может выполняться в несколько стадий, уточняя разрешение коэффициентом 2×2 на каждой стадии. В частности, схема повышающего масштабирования по глубине может быть сконфигурирована для 3-этапной повышающей дискретизации (с использованием DUP2, DUP1 и DUP0) или для 2-этапной повышающей дискретизации (с использованием только DUP1 и DUP0). Эта 3-этапная повышающая дискретизация может включать в себя D4×4 DMA блок (в данном случае префикс 'D' обозначает 'depth' (глубина) и мультиплексор, определяющий источник данных, записанных в локальном буфере, содержащем данные D4×4. Дополнительно, чтобы помочь в тестировании, показан опциональный ввод D2×2, действующий аналогично вводу D4×4. Как показано на фиг. 4, этапы DUP2 и DUP1 повышающей дискретизации могут быть сконфигурированы, чтобы использовать данные U и V изображений с тем, чтобы получить улучшенное обнаружение краев изображения. Для этих этапов весовой коэффициент в двусторонних фильтрах может быть определен посредством Y, U и V компонентов. U и V компоненты являются опциональными для того, чтобы обеспечить качество обслуживания: не предоставление этих буферов изображений приводит к более низкому использованию ширины полосы схемы повышающего масштабирования по глубине, но ценой снижения качества режима сохранения краев двустороннего фильтра. Кроме того, следует отметить, что последний этап повышающей дискретизации DUP0 может использовать только Y компонент. На практике большинство источников сигналов распределены по сетям распределения мультимедиа и поэтому обычно подвергаются субдискретизации цветности 4:2:0. В этих случаях нет полезной информации в сигналах цветности полного разрешения, даже если бы такой сигнал был доступным.
Следует отметить, что существуют различные причины как для понижающего масштабирования данных ввода, так и для повышающей дискретизации данных глубины вывода между обоими модулями оценки глубины.
В случае модуля стереоскопической оценки глубины, модуль согласования блоков может работать на определенном размере блока. Выбор размера блока обычно является важным алгоритмическим параметром проектирования: при использовании очень малых размеров блоки являются недостаточно уникальными, и, таким образом, модуль согласования блоков имеет трудности в распознавании аналогичного содержания изображения, в то время как при использовании очень больших размеров блоков результирующее поле глубины имеет очень грубую структуру. Хороший баланс обнаруживается при использовании размера блока, например, 8×8 пикселов. Это приводит к вектору несходства для каждого блока 8×8 относительно разрешения ввода и, таким образом, также к значению глубины в каждом блоке 8×8 пикселов. Так как значение глубины в каждом пикселе желательно на выходе, например, для визуализации представления, это требует повышающей дискретизации от сетки 8×8 до сетки 1×1. Схема повышающего масштабирования по глубине обеспечивает такую функциональность повышающей дискретизации. В случае, когда стереоскопический модуль оценки работает только на разрешении ввода, нет необходимости в понижающем масштабировании входных изображений видео для схемы согласования блоков. Следует отметить, однако, что схема повышающего масштабирования по глубине может выполнять поэтапную повышающую дискретизацию на последовательных этапах 2×2. Каждый из этих этапов может извлекать выгоду из использования данных изображения как с низким, так и с более высоким пространственным разрешением. Таким образом, можно использовать масштабированное с понижением изображение при разрешении 8×8, 4×4 и 2×2. Эти масштабированные с понижением изображения могут быть созданы схемой обработки ввода. В случае, если иерархическое согласование блоков задействовано модулем стереоскопической оценки глубины, масштабированные с понижением входного изображения могут потребоваться для 'более высоких' иерархических уровней; поэтому в этом случае масштабированные с понижением входного изображения могут быть повторно использованы для различных целей.
В случае модуля моноскопической оценки глубины, изобретатели обнаружили, что выгодной является работа схемы двустороннего фильтра при более низком разрешении, чем разрешение ввода. Даже в случае реализации быстрого двустороннего фильтра это уменьшает использование ресурсов системы. Изобретатели обнаружили, что двусторонняя фильтрация на данных масштабированного с понижением 4×4 изображения обеспечивает достаточно хорошие результаты. Это приводит к тому, что карта глубины вывода двустороннего фильтра находится на масштабированной с понижением сетке 4×4 по сравнению с разрешением ввода. Для того чтобы иметь двусторонний фильтр, работающий на масштабированном с понижением 4×4 изображении, ввод должен быть масштабирован с понижением, и схема повышающего масштабирования по глубине должна дискретизировать с повышением карту глубины 4×4 в сетку 1×1.
Фиг. 5-18 иллюстрируют различные соображения проектирования относительно схемы обработки ввода и схемы повышающего масштабирования по глубине, как описано в этой спецификации.
На фиг. 5-7 показана оценка стереоскопической глубины с использованием модуля BM согласования блоков, который обеспечивает карту глубины 8×8 в качестве вывода, которая затем масштабируется с повышением до разрешения 1×1 в последовательности этапов повышающего масштабирования. Здесь и на следующих чертежах ʺ/Vʺ обозначает векторное поле.
Фиг. 5-7 отличаются тем, что они показывают различные случаи использования для стереоскопической оценки глубины. На фиг. 5 показан случай А использования, в котором задействовано иерархическое согласование блоков. На фиг. 6 показан первый случай B использования качества обслуживания (QoS), в котором стадия 1 повышающего масштабирования по глубине использует только (левое изображение) Y компонент вместо использования (левого изображения) U и V компонентов, как в случае A, что уменьшает качество вывода, но также уменьшает использование ширины полосы в блоке DUP и снижает потребление мощности. Фиг.7 показывает другой случай C использования QoS. В этом случае использования иерархическая оценка блоков не используется, что уменьшает ширину полосы в модуле согласования блоков и снижает потребление мощности. Для всех этих случаев использования показаны потоки данных, причем видеоданные RY, LY, LU и LV получают отдельно для каждого функционального блока, и в зависимости от требований блока, предварительно масштабируют с понижением. По существу, на фиг. 5-7 показаны требования каждого функционального блока в терминах данных ввода.
Фиг. 8 и 9 аналогичны фиг. 5-7, но теперь показывают два различных случая K, L использования для модуля моноскопической оценки глубины. Здесь используется совместный двусторонний фильтр, который применяется к шаблону глубины, например, наклону, используя масштабированный с понижением 4×4 Y компонент в качестве элемента диапазона. Повышающее масштабирование снова выполняется в несколько стадий, при этом на фиг. 8 случай K использования использует Y компонент данных яркости, а также U, V компоненты цветности видеоданных для выполнения повышающего масштабирования, в то время как на фиг. 9 случай L использования использует только Y компонент данных яркости, тем самым уменьшая использование ширины полосы в блоке DUP и снижая потребление мощности.
При взаимном сравнении различных случаев использования для каждого модуля оценки глубины, а также сравнения стереоскопических случаев использования с моноскопическими случаями использования, можно видеть, что существует существенное перекрытие между требованиями ввода различных функциональных блоков. Соответственно, изобретатели разработали схему обработки ввода, представляющую собой аппаратную схему, которую нужно реализовать только однократно в аппаратных средствах, но которая может приспосабливать все эти случаи использования. Кроме того, изобретатели также разработали схему обработки повышающего масштабирования по глубине как аппаратную схему DUP, которая может приспосабливать все эти случаи использования. Результат показан на фиг. 10-12 для случаев A, B, C использования и на фиг. 13 для случая K использования (соответствующий чертеж для случая L использования опущен ввиду его аналогичности фиг. 13, исключая только вводы цветности в схему DUP).
На каждом из этих чертежей показано, что схема обработки ввода принимает видеоданные 1×1 в качестве ввода, являющиеся либо недискретизированными Y видеоданными, либо в случае U, V уже масштабированными с понижением на 2×2 по отношению к Y ввиду 4:2:0 форматирования. Кроме того, показана схема обработки ввода, содержащая выбираемые выводы для 8×8, 4×4 и 2×2, масштабированные с понижением их версий, а также немасштабированный вывод '1×1' Эта структура соответствует структуре схемы обработки ввода, описанной выше со ссылкой на фиг. 3. Чтобы эффективно манипулировать обработкой различных компонентов данных, например, LY, RY, LU, LV для стереоскопической оценки глубины и Y, U, V для моноскопической оценки глубины, схема обработки ввода может быть реализована однократно в аппаратных средствах, но конфигурируется для последовательной во времени обработки каждого из компонентов данных. Таким образом, хотя показано четыре раза (фиг. 10-12) или 3 раза (фиг. 13), может использоваться одна реализация в аппаратных средствах. При сравнении фиг. 10-12 с фиг. 5-7 и фиг. 13 с фиг. 8, можно видеть, что количество модулей масштабирования ввода значительно уменьшается ввиду реконфигурируемости схемы обработки ввода для учета различных случаев использования.
Фиг. 14 суммирует конфигурацию схемы обработки ввода для каждого из случаев использования, указывая, какие выводы выбираются для каждого случая использования и для каждого компонента данных в соответствующем случае использования. Здесь 'переотображение' относится к основанной на гистограмме коррекции, упоминаемой как переотображение пикселов и ранее поясненной со ссылкой на фиг. 3
Фиг. 15 суммирует конфигурацию схемы понижающего масштабирования по глубине для каждого из случаев использования, указывая для каждого случая использования, какие стадии повышающего масштабирования и вводы U, V используются.
На фиг. 16 показано, почему, в дополнение к обеспечению возможности основанной на гистограмме коррекции стерео изображений с использованием признака переотображения, схема обработки ввода выполнена так, чтобы иметь вывод 1×1, т.е. выводить видеоданные без дополнительного масштабирования. Для этой цели фиг. 16 показывает, для случая А использования фиг. 5, как выполняется буферизация, если немасштабированные видеоданные были бы получены каждым функциональным блоком непосредственно из буфера ввода (за исключением компонента IRY), который является пикселом, повторно отображаемым схемой обработки ввода и, таким образом, обязательно должен быть получен с выхода схемы обработки ввода). В этом примере буферы выделены в совместно используемой памяти для компонентов IRY входных данных (правый ввод Y), ILY (левый ввод Y), ILU (левый ввод U) и ILY (левый ввод Y). Такие буферы обычно выделяются внешним образом из самого RTC IP блока, например, микропроцессором или контроллером в однокристальной системе. В качестве внутренне распределенных буферов, буфер для LY8 (левый Y, в этом случае масштабированный с понижением 8×8), LY4, LY2, RY2, RY1, LU4, LU2, LV4 и LV2 выделяются в совместно используемой памяти. Эти буферы показаны на фиг. 16 черным цветом, имеющим белый текст.
Можно распознавать два различных использования буфера на фиг. 16. Одно использование представляет собой буферы I/O (ввода/вывода): буферы ввода ILY, ILU, ILV и IRY записываются данными изображения вне RTC IP блока (эта операция не показана на фиг. 16), и данные считываются в RTC IP блоке; аналогично, буфер вывода D1 записывается RTC IP блоком и считывается вне RTC IP блока (вновь не показан). Другое использование относится к внутренним буферам, которые записываются и считываются только с помощью компонентов RTC IP блока. В системе реального времени обычно имеется предварительно выделенный пул доступной памяти. Буферы могут быть взяты из пула, используемого для конкретной цели, и когда они больше не используются, они могут быть возвращены в пул. Каждый из этих буферов обычно должен управляться надлежащим образом, то есть система может отслеживать каждый буфер, где он используется, и как долго он еще используется. Продолжительность использования буфера называется временем жизни буфера. С точки зрения разбиения при проектировании, внутренние буферы обычно управляются системным компонентом, который имеет детальное знание рабочих характеристик компонентов RTC IP блока и его случаев использования (например, настроек QoS, как объяснено в случае использования А, B, C). Однако буферы I/O совместно используются с ʺвнешней сторонойʺ RTC IP блока, и поэтому необходимо управлять более глобальным компонентом системы, который имеет информацию о полном суммарном потоке видеоданных в системе.
Недостаток сценария, показанного на фиг. 16, заключается в том, что входные буферные устройства, в данном конкретном примере ILY, ILU и ILV, используются не только схемой обработки ввода для понижающего масштабирования, но в случае ILY также позже модулем согласования блоков, и в случае ILU и ILV, также схемой повышающего масштабирования по глубине на этапе 0. Это усложняет принимаемые во внимание разбиение и разделение при проектировании, поскольку может потребоваться, чтобы входные буферы имели пролонгированный срок службы, который зависит от конкретного случая использования, для которого конфигурируются компоненты RTC IP блока, и этот срок службы, таким образом, должен управляться извне RTC IP блока.
Фиг. 17 показывает случай использования А*, в котором масштабированные с повышением видеоданные получают, если необходимо, из 1×1 вывода схемы обработки ввода. Для этой цели отдельные буферы ввода выделены в совместно используемой памяти, в данном примере буферы для LY1, LU1 и LV1. Вместо использования буферов ввода устройств ILY, ILU и ILV, функциональные блоки вместо этого используют выделенные буферы вывода с вывода 1×1 схемы обработки ввода. Таким образом, как только схема обработки ввода обработала все компоненты данных, буферы ввода больше не нужны, поскольку последующее согласование блоков и повышающее масштабирование по глубине полагаются только на видеоданные в буферах вывода схемы обработки ввода. Это облегчает учитываемое при проектировании абстрагирование и разделение, поскольку буферы ввода не должны выделяться на более длительный период. Фиг. 18 вновь суммирует конфигурацию схемы обработки ввода для каждого из случаев использования А и А*, указывая, какие выводы выбираются для каждого случая использования и для каждого компонента данных в соответствующем случае использования.
Следует понимать, что дополнительные операции копирования данных 1×1 буферов в случае А* могут добавлять системные издержки в показателях дополнительной пропускной способности и потребляемой мощности. Таким образом, опция выбора между случаем использования А и А* допускает при проектировании компромисс между использованием аппаратных ресурсов (пропускная способность и потребление мощности) и сложностью управления буфером. Можно, например, интегрировать этот IP блок в устройство с сетевым питанием и выбрать вариант менее сложного управления буфером. Альтернативно, в устройстве с батарейным питанием, можно приложить дополнительное усилие при проектировании более сложного управления буфером для экономии потребляемой мощности и продления срока службы батареи.
Фиг. 19 показывает основной график 300 операций для преобразования в реальном времени стереоскопических видеоданных. Здесь и в следующих графиках горизонтальная ось соответствует оси времени, причем конкретное входное изображение обозначается N, а N+1 представляет следующее. RTC IP блок при конфигурации для работы в стереоскопическом режиме использует аппаратные схемы обработки ввода, согласования блоков и повышающего масштабирования по глубине, как показано соответствующими сокращениями вдоль вертикальной оси графика времени. Для оценки глубины, используют только компонент яркости левого и правого изображений. На фиг. 19 показано, что схема обработки ввода обрабатывает компоненты входных изображений последовательно, а именно первый компонент яркости левого изображения LY, затем компонент яркости правого изображения RY, а затем компонент цветности левого изображения LU, LV. Последовательная обработка компонентов сокращает общее время задержки преобразования в реальном времени, как объясняется далее со ссылкой на фиг. 19.
Схема обработки ввода, помимо понижающего масштабирования или простого копирования, чтобы освободить буфер ввода ʺвнеʺ RTC IP блока, может также выполнять функции, такие как согласование яркости, например, чтобы компенсировать небольшие различия в яркости между левым и правым изображениями, поскольку могут быть незначительные различия в оптической системе или чувствительности датчика для левого и правого датчиков камеры. Схема согласования блоков может быть активирована, когда схема обработки ввода завершает обработку компонентов яркости как левого, так и правого изображений для входных изображений. Затем схема согласования блоков может возвращать информацию о глубине, например, в виде поля несходства или карты глубины.
Следует отметить, что, в общем, оценка глубины обеспечивает данные глубины, которые содержат значения, указывающие на расстояние между объектами в направлении камеры или наблюдателя или дисплея. Значения могут быть значениями глубины, которые могут быть упорядочены в форме карты глубины, т.е. подобного изображению представления значений глубины. Альтернативно, оценка глубины может представить данные глубины, которые содержат значения несходства или значения параллактического сдвига. Значения несходства и значения параллактического сдвига имеют приблизительно обратное отношение к значениям глубины и, таким образом, указывают на расстояния, которые имеются между объектами в направлении камеры или наблюдателя или дисплея, но не соответствуют непосредственно указанным расстояниям. Известны устройство и способы преобразования между всеми вышеупомянутыми типами сигналов.
Оценка несходства может быть выполнена с использованием согласования блоков на 8×8 пиксельных блоках. Здесь термин 'согласование блоков' относится к блочному поиску соответствующего содержания изображения в левом и правом изображениях. Следует отметить, что согласование блоков само по себе известно из области оценки движения и может использоваться для оценки несходства, так как смещения между левым и правым изображениями аналогичны движению между последовательными по времени изображениями. В результате, вектор несходства может быть доступен для каждого 8×8 пиксельного блока в изображении. Х-компонент вектора можно рассматривать как меру глубины. Затем схема повышающего масштабирования по глубине может поэтапно уточнять 8×8 карту глубины до 4×4 карты глубины, до 2×2 карты глубины и, наконец, до карты глубины в пиксельной сетке, то есть 1×1. На каждом этапе можно использовать данные изображения с более низким и более высоким разрешением. Для этой цели иерархия масштабированных с понижением изображений может быть создана схемой обработки ввода, например, путем простого повторного масштабирования входного изображения с помощью коэффициентов 2 по горизонтали и вертикали.
В графике согласно фиг. 19, можно видеть, что как только компоненты яркости левого изображения и правого изображения LY, RY обработаны с помощью схемы обработки ввода, схема согласования блоков уже запускается, то есть, не ожидая завершения обработки ввода компонентов LU и LV цветности. По существу, согласование блоков уже начинается до того, как обработка ввода пары изображений была полностью завершена. Когда начинается повышающее масштабирование по глубине, например, при наличии информации о глубине, компоненты цветности также являются доступными и могут использоваться для повышающего масштабирования карты глубины. Таким образом, график согласно фиг. 19 получает сокращение времени задержки по сравнению со сценарием, где схема обработки ввода должна была сначала обрабатывать все данные входного изображения, то есть, включая компоненты цветности, и только после этого начинать согласование блоков.
Фиг. 20 показывает более расширенный график 310 операций для преобразования в реальном времени стереоскопических видеоданных. Здесь показано, что IP-CPU выполняет некоторую промежуточную обработку, обозначенную как ʺАʺ и ʺBʺ. Обработка ʺАʺ зависит только от левого входного изображения. Эта обработка может включать в себя, например, анализ последовательности ввода и адаптацию последующей обработки в соответствии с результатом анализа. Например, обработка ʺАʺ может включать в себя применение детектора вырезанного кадра с настройками параметров последующих этапов обработки в зависимости от вывода детектора вырезанного кадра. Например, непосредственно после вырезанного кадра, поле несходства может быть повторно инициализировано, так как поле несходства может использоваться рекурсивно по времени, что является бессмысленным в вырезанном кадре. Кроме того, могут быть повторно настроены другие рекурсивные по времени фильтры. Этап ʺBʺ обработки может включать в себя, например, преобразование поля несходства схемы согласования блоков в карту глубины. Такое преобразование может зависеть от доступного диапазона глубины дисплея, измеренного диапазона несходства в поле несходства и/или эвристики. Было обнаружено, что временная фильтрация помогает стабилизировать карту глубины. В общем случае, вероятно, что дальнейшее алгоритмические инновации появятся в этой области. Поэтому гибкость реализации программного обеспечения, как предоставляется реализацией на IP-CPU, является полезной для такой функции. В качестве дополнительного примера, пространственно-временная фильтрация может быть применена к карте глубины для улучшенной стабилизации и качества. Так как такая обработка выполняется на размере блока 8×8, объем данных является приемлемым для реализации в программном обеспечении, что предоставляет гибкость и позволяет осуществлять последующие изменения при проектировании алгоритмов, например, даже после ввода в оборот продукта, когда поддерживаются обновления аппаратно-программного обеспечения в полевых условиях.
Как и в случае графика согласно фиг. 19, в графике согласно фиг. 20 время задержки было сокращено посредством пространственного понижающего масштабирования данных компонента яркости, перед данными компонента цветности, и дальнейшей обработки, например, посредством IP-CPU и схемы согласования блоков, запускаемой после того, как требуемые данные ввода стали доступными. Таким образом, уменьшение времени задержки достигается по сравнению со сценарием, где схема обработки ввода должна была сначала обрабатывать все данные входного изображения, включая компоненты цветности, и только затем начинать дальнейшую обработку входного изображения.
Фиг. 21 показывает основной график 320 операций для преобразования в реальном времени моноскопических видеоданных. В этом примере модуль оценки 2D глубины основан на реализации совместного двустороннего фильтра. Такой совместный двусторонний фильтр может использоваться для адаптации основного профиля глубины к фактическому содержимому изображения, как описано в US8447141 В2 со ссылкой, среди прочих, на фиг. 1. Кроме того, быстрая реализация такого фильтра описана в публикации ʺA fast approximation of the bilateral filter using a signal processing approachʺ by Paris et al., International Journal of Computer Vision 81.1 (2009): 24-52. Быстрая реализация является эффективной в отношении ресурсов и, таким образом, в последующем предполагалось реализовывать совместный двусторонний фильтр (далее также просто упоминаемый как ʺбыстродействующий двусторонний фильтрʺ).
RTC IP блок, будучи сконфигурированным для работы в 2D режиме, может использовать аппаратные схемы обработки ввода, быстродействующего двустороннего фильтра и повышающего масштабирования по глубине, как указано вдоль вертикальной оси графика времени. Было обнаружено, что выгодно выполнять быстродействующий двусторонний фильтр на существенно масштабированном с понижением сигнале ввода. Следовательно, схема обработки ввода может создавать горизонтально и вертикально масштабированные с понижением изображения, которые масштабированы с понижением, например, с коэффициентом 4. В результате карта глубины из схемы BF должна быть масштабирована с повышением в 4×4. Это может быть достигнуто с помощью схемы повышающего масштабирования по глубине в два этапа. А именно, схема повышающего масштабирования по глубине может использовать масштабированные с понижением входного изображения, чтобы способствовать уточнению карты глубины от разрешения 4×4 в двух этапах до 2×2 и, наконец, до пиксельного разрешения 1×1. Масштабированные с понижением изображения при разрешении 4×4 и разрешении 2×2 могут быть созданы схемой обработки ввода.
Быстродействующий двусторонний фильтр может включать в себя три основных этапа обработки: этап понижающего масштабирования (то есть понижающей дискретизации), этап вычисления, содержащий свертку, и этап повышающего масштабирования (то есть повышающей дискретизации), как описано в вышеупомянутом документе ʺA fast approximation of the bilateral filter using a signal processing approachʺ by Paris et al., в частности, в разделе 4, в котором приведена сводка уравнений 12a-12c из раздела 4.1 и фиг. 2. На последнем чертеже, этап понижающей дискретизации может соответствовать этапу 3 алгоритма, этап вычисления - этапу 4 алгоритма и этап повышающей дискретизации - этапу 5 алгоритма. Понижающая дискретизация может принимать данные 2D ввода (X, Y) и преобразовать их в трехмерное пространство (X, Y, I), где (X, Y) отражают нормальные размерности изображения и (I) отражает размерность интенсивности. Это трехмерное объемное представление данных позволяет осуществлять линейные операции и существенное уменьшение данных путем понижающей дискретизации объемной сетки. В описанном SoC, этап понижающего масштабирования (обозначенный (ʺdownʺ (вниз) на фиг. 21 и после) выполняется с помощью аппаратной схемы FBF. Затем может выполняться этап вычисления (обозначенный ʺcalcʺ (выч.), например, посредством аппаратной схемы FBF или в программном обеспечении посредством IP-CPU. Повышающая дискретизация трехмерного объема в 2D представление карты глубины (обозначенное ʺupʺ (вверх) может быть снова выполнено с помощью аппаратной схемы FBF.
Эти этапы обработки приводят к графику, как показано на фиг. 21. Поскольку быстродействующий двусторонний фильтр применяется только к компоненту Y яркости, его обработка может начаться в момент времени, когда схема обработки ввода масштабировала с понижением компонент Y яркости. Как обсуждалось ранее, быстродействующий двусторонний фильтр включает в себя три этапа: понижающая дискретизация с использованием аппаратной схемы FBF, нелинейные вычисления, выполняемые посредством IP-CPU, и повышающая дискретизация с использованием той же аппаратной схемы FBF. Наконец, карта глубины дискретизируется с повышением и использованием схемы повышающего масштабирования глубины до разрешения ввода, при этом повышающая дискретизация также использует компоненты цветности входного изображения, т.е. U и V.
Фиг. 22 показывает другой график 330 для преобразования в реальном времени моноскопических видеоданных, а именно более расширенный пример. В данном случае дополнительный этап оптимизации ʺoptʺ (опт.) вводится перед повышающей дискретизацией глубины с использованием схемы повышающего масштабирования по глубине, причем дополнительный этап оптимизации выполняется с использованием IP-CPU. Этот этап оптимизации может включать в себя фильтрацию карты глубин, адаптацию диапазона глубин и т.д. В этом примере этап оптимизации зависит только от дискретизированного с повышением быстродействующего двустороннего фильтра, но он может также использовать компонент Y яркости ввода. Как можно видеть из графика, компоненты U и V цветности ввода являются доступными и могут использоваться посредством IP-CPU.
Следует иметь в виду, что, в общем, RTC IP блок может быть обеспечен отдельно от описанной SoC, например, в другом типе SoC. Например, вместо описанной SoC, взаимодействующей с внешней памятью, такая память может быть включена в SoC, содержащую RTC IP блок. Другим примером является то, что S°C может содержать схему визуализации для режима визуализации представлений, например, для отображения на многовидовом 3D дисплее, используя карту глубин, сгенерированную RTC IP блоком.
Кроме того, данные могут предоставляться на считываемом компьютером носителе, который определяет RTC IP блок в форме списков соединений и/или синтезируемых RTL. Считываемый компьютером носитель и, соответственно, данные, хранящиеся на нем, могут быть временными или не-временными. Например, RTC IP блок может быть выполнен в виде синтезируемого ядра, например, на языке описания аппаратных средств, таком как Verilog или VHDL, или выполнен в виде списков соединений типовых логических элементов, обеспечивающих представление булевой алгебры логической функции RTC IP блока, реализованной как типовые логические элементы или специфические для процесса стандартные ячейки.
Следует иметь в виду, что, в общем, описанный RTC IP блок нацелен на обеспечение рассматриваемой абстракции и/или разделение между ʺвнутренний миром ʺ RTC IP блока и ʺвнешним миромʺ SoC. Для этой цели, может быть предоставлено детализированное управление схемами внутри RTC IP блока, в этом случае схемы могут быть гибко конфигурируемыми. Тогда схемы могут быть сконфигурированы с помощью одной или нескольких функций анализа сигналов, выполняющихся на IP-CPU, которые могут работать с более низким разрешением и, таким образом, иметь ограниченную вычислительную сложность. В качестве вывода, могут генерироваться данные конфигурации для надлежащей настройки параметров схемы, таким образом, конфигурируя схему обработки ввода, схему повышающего масштабирования по глубине и т.д.
Кроме того, следует понимать, что, по меньшей мере, в некоторых вариантах осуществления S°C согласно изобретению, обработка ввода (понижающее масштабирование) может выполняться последовательно по времени над компонентами входного сигнала. Сначала, компонент яркости может быть обработан для того, чтобы сделать его доступным как можно раньше для последующей обработки. После компонента яркости могут быть обработаны компоненты цветности. Поскольку имеется промежуточная обработка, основанная только на яркости, этот график облегчает запуск промежуточной обработки как можно раньше. На последующих этапах обработки также могут использоваться масштабированные компоненты цветности. К тому моменту, когда промежуточная обработка завершена, также завершен ввод масштабированных с понижением компонентов цветности. В результате полная задержка обработки может быть сокращена, а последовательная обработка компонентов способствует повторному использованию одних и тех же аппаратных средств.
Следует отметить, что выше, термин ʺкартаʺ относится к данным, упорядоченным в строках и столбцах. Кроме того, определяющий термин ʺглубинаʺ должен пониматься как указывающий глубину участков изображения для камеры. Поэтому карта глубин может быть образована значениями глубины, а также, например, значениями несходства или значениями параллактического сдвига. По существу, карта глубин может, таким образом, составлять карту несходства или карту параллактического сдвига. Здесь термин ʺнесходствоʺ относится к различию в положении объекта, когда воспринимается левым глазом или правым глазом пользователя. Термин ʺпараллактический сдвигʺ относится к смещению объекта между двумя видами так, чтобы обеспечить указанное несходство пользователю. Несходство и параллактический сдвиг обычно отрицательно коррелируются с расстоянием или глубиной. Известны устройство и способы для преобразования между всеми вышеупомянутыми типами карт и/или значений.
Дополнительные варианты осуществления изобретения описаны в следующих пунктах.
Пункт 1. Однокристальная система, сконфигурированная для оценки глубины видеоданных в реальном времени со сниженной задержкой, причем однокристальная система содержит множество схем и интерфейс памяти для обеспечения прямого доступа к памяти для совместно используемой памяти, причем множество схем содержит:
схему обработки ввода, сконфигурированную для:
- пространственного понижающего масштабирования видеоданных для получения масштабированных с понижением видеоданных и
- сохранения масштабированных с понижением видеоданных в совместно используемой памяти;
схему модуля оценки глубины, сконфигурированную для:
- доступа к масштабированным с понижением видеоданным,
- оценки глубины из масштабированных с понижением видеоданных, при этом получая данные глубины, имеющие пространственное разрешение ниже, чем пространственное разрешение в видеоданных, и
- сохранения данных глубины в совместно используемой памяти;
схему повышающего масштабирования по глубине, сконфигурированную для:
- доступа к данным глубины и масштабированным с понижением видеоданным и
- повышающего масштабирования данных глубины с использованием масштабированных с понижением видеоданных;
и при этом:
схема модуля оценки глубины сконфигурирована для оценки глубины из компонента данных яркости масштабированных с понижением видеоданных;
схема повышающего масштабирования по глубине сконфигурирована для повышающего масштабирования данных глубины с использованием компонента данных цветности масштабированных с понижением видеоданных; и
схема обработки ввода сконфигурирована для временного мультиплексирования пространственно масштабированных с понижением видеоданных, причем временное мультиплексирования содержит, для каждого входного изображения или пары стереоскопических входных изображений видеоданных, пространственное понижающее масштабирование компонента данных яркости перед пространственным понижающим масштабированием компонента данных цветности.
Пункт 2. Однокристальная система согласно пункту 1, причем:
однокристальная система дополнительно содержит схему обработки изображения, сконфигурированную для анализа видеоданных, причем схема обработки изображения сконфигурирована, чтобы, когда видеоданные представляют собой видеоданные стереоскопического типа, содержащие последовательность пар изображений, анализировать первое изображение соответствующей пары изображений для получения данных анализа для использования в оценке глубины; и
схема обработки ввода сконфигурирована для понижающего масштабирования первого изображения пары изображений перед понижающим масштабированием второго изображения пары изображений.
Например, схема обработки изображения может быть представлена встроенным ядром CPU, запрограммированным для выполнения анализа изображения.
Пункт 3. Однокристальная система согласно пункту 2, причем схема обработки изображения сконфигурирована для выполнения обнаружения вырезанного кадра.
Пункт 4. Однокристальная система согласно пункту 2 или 3, причем первое изображение соответствующей пары изображений представляет собой левое изображение.
Пункт 5. Однокристальная система, сконфигурированная для оценки глубины видеоданных в реальном времени, причем однокристальная система содержит:
- модуль моноскопической оценки глубины, сконфигурированный для выполнения моноскопической оценки глубины из видеоданных моноскопического типа;
- модуль стереоскопической оценки глубины, сконфигурированный для выполнения стереоскопической оценки глубины из видеоданных стереоскопического типа;
- интерфейс памяти для обеспечения прямого доступа к памяти для совместно используемой памяти;
при этом однокристальная система является реконфигурируемой для выполнения либо моноскопической оценки глубины, либо стереоскопической оценки глубины на основе данных конфигурации, определяющих выбранный режим оценки глубины, причем модуль моноскопической оценки глубины и модуль стереоскопической оценки глубины содержат:
- реконфигурируемую совместно используемую схему обработки ввода, реконфигурируемую посредством данных конфигурации, чтобы:
по-разному пространственно масштабировать с понижением видеоданные в соответствии с выбранным режимом оценки глубины для получения масштабированных с понижением видеоданных, и
сохранять масштабированные с понижением видеоданные в совместно используемой памяти;
- каждую отдельную базовую схему модуля оценки глубины, сконфигурированную, чтобы:
осуществлять доступ к видеоданным или к масштабированным с понижением видеоданным,
оценивать данные глубины из упомянутых видеоданных, к которым был осуществлен доступ, причем данные глубины имеют пространственное разрешение ниже, чем пространственное разрешение видеоданных, и
сохранять данные глубины в совместно используемой памяти;
- реконфигурируемую совместно используемую схему повышающего масштабирования по глубине, реконфигурируемую посредством данных конфигурации, чтобы:
осуществлять доступ к данным глубины и масштабированным с понижением видеоданным, и
по-разному масштабировать с повышением данные глубины с использованием масштабированных с понижением видеоданных в соответствии с выбранным режимом оценки глубины.
Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение, и что специалисты в данной области техники смогут сконструировать многие альтернативные варианты осуществления.
В пунктах формулы изобретения любые ссылочные обозначения, помещенные в скобках, не должны рассматриваться как ограничивающие пункты. Использование глагола ʺсодержатьʺ и его форм спряжения не исключает присутствия элементов или этапов, отличных от тех, которые указаны в пунктах. Формы единственного числа не исключают присутствия множества таких элементов. Изобретение может быть реализовано посредством аппаратных средств, содержащих несколько отдельных элементов, и посредством соответствующим образом запрограммированного компьютера. В пункте формулы на устройство, перечисляющем несколько средств, некоторые из этих средств могут быть реализованы одним и тем же элементом аппаратных средств. Простой факт, что определенные признаки приведены во взаимно различных зависимых пунктах, не указывает на то, что комбинация этих признаков не может быть использована для получения преимуществ.
1. Однокристальная система (100), сконфигурированная для оценки глубины в реальном времени видеоданных, причем упомянутая однокристальная система содержит
модуль (200) моноскопической оценки глубины, сконфигурированный, чтобы выполнять моноскопическую оценку глубины из видеоданных моноскопического типа;
модуль (210) стереоскопической оценки глубины, сконфигурированный, чтобы выполнять стереоскопическую оценку глубины из видеоданных стереоскопического типа;
интерфейс памяти для обеспечения прямого доступа к памяти для совместно используемой памяти (010); при этом однокристальная система является реконфигурируемой для выполнения либо моноскопической оценки глубины, либо стереоскопической оценки глубины на основе данных конфигурации, определяющих выбранный режим оценки глубины, при этом модуль моноскопической оценки глубины и модуль стереоскопической оценки глубины содержат:
реконфигурируемую совместно используемую схему (120) обработки ввода, реализованную в аппаратных средствах и реконфигурируемую посредством данных конфигурации, чтобы:
генерировать иерархию масштабированных с понижением изображений для каждого входного изображения видеоданных путем пространственного понижающего масштабирования входного изображения в соответствии с множеством коэффициентов понижающего масштабирования, причем схема обработки ввода является конфигурируемой посредством данных конфигурации для выбора отличающегося поднабора иерархии масштабированных с понижением изображений, которые должны быть выведены для стереоскопической оценки глубины, иного, чем для моноскопической оценки глубины, для получения масштабированных с понижением видеоданных, специфических для выбора режима оценки глубины, и
сохранять в совместно используемой памяти масштабированные с понижением видеоданные;
каждую отдельную базовую схему (130, 140) модуля оценки глубины, реализованную в аппаратных средствах и сконфигурированную, чтобы:
осуществлять доступ к видеоданным или масштабированным с понижением видеоданным,
оценивать данные глубины из упомянутых видеоданных, к которым осуществлен доступ, при этом данные глубины имеют пространственное разрешение ниже, чем пространственное разрешение видеоданных, и
сохранять данные глубины в совместно используемой памяти;
реконфигурируемую совместно используемую схему (150) повышающего масштабирования по глубине, реализованную в аппаратных средствах и реконфигурируемую посредством данных конфигурации, чтобы:
осуществлять доступ к данным глубины и масштабированным с понижением видеоданным и
масштабировать с повышением данные глубины на последовательных этапах с использованием масштабированных с понижением видеоданных, при этом схема повышающего масштабирования по глубине является конфигурируемой посредством данных конфигурации, чтобы использовать отличающиеся последовательные этапы для стереоскопической оценки глубины, иные, чем для моноскопической оценки глубины, в соответствии с выбранным режимом оценки глубины.
2. Однокристальная система (100) по п. 1, в которой базовая схема (140) модуля оценки глубины модуля моноскопической оценки глубины реализует совместный двусторонний фильтр, который при применении к изображению видеоданных или масштабированным с понижением видеоданным обеспечивает карту глубины в качестве вывода.
3. Однокристальная система (100) по п. 1 или 2, в которой базовая схема (130) модуля оценки глубины модуля стереоскопической оценки глубины реализует модуль согласования блоков, который при применении к паре стерео изображений видеоданных или масштабированным с понижением видеоданным обеспечивает карту глубины в качестве вывода.
4. Однокристальная система (100) по любому из предыдущих пунктов, в которой схема (120) обработки ввода является конфигурируемой посредством данных конфигурации, чтобы в дополнение к генерации иерархии масштабированных с понижением изображений для каждого изображения дополнительно выводить немасштабированную версию входного изображения и сохранять немасштабированную версию входного изображения как видеоданные, отдельные от исходных видеоданных, в совместно используемой памяти (010).
5. Однокристальная система (100) по п. 4, в которой каждая базовая схема (130, 140) модуля оценки глубины сконфигурирована, чтобы при использовании немасштабированной версии входного изображения для оценки данных глубины, использовать отдельные видеоданные вместо исходных видеоданных.
6. Однокристальная система (100) по любому из предыдущих пунктов, сконфигурированная для оценки глубины в реальном времени со сниженной задержкой видеоданных, в которой:
каждая базовая схема (130, 140) модуля оценки глубины сконфигурирована для оценки данных глубины из компонента данных яркости масштабированных с понижением видеоданных;
схема (150) повышающего масштабирования по глубине сконфигурирована для повышающего масштабирования данных глубины с использованием компонента данных цветности масштабированных с понижением видеоданных и
схема (120) обработки ввода сконфигурирована для временного мультиплексирования пространственного понижающего масштабирования видеоданных, причем временное мультиплексирование содержит для каждого входного изображения или пары стерео входных изображений видеоданных пространственное понижающее масштабирование компонента данных яркости перед пространственным понижающим масштабированием компонента данных цветности.
7. Однокристальная система (100) по п. 6, в которой схема (150) повышающего масштабирования по глубине сконфигурирована для повышающего масштабирования данных глубины с использованием совместного двустороннего фильтра, причем свойства диапазона совместного двустороннего фильтра получены из компонента данных цветности масштабированных с понижением видеоданных.
8. Однокристальная система (100) по любому из предыдущих пунктов, в которой по меньшей мере одно из пространственного понижающего масштабирования видеоданных и повышающего масштабирования данных глубины выполняется в одном или нескольких повторяющихся этапах масштабирования 2×2.
9. Временный или невременный считываемый компьютером носитель, содержащий структуру данных, причем структура данных содержит данные, определяющие одну или несколько схем по любому из пп. 1-8 в виде списков соединений и/или синтезируемого описания на уровне регистровых передач.
