Эффективная реализация объединенного билатерального фильтра
Изобретение относится к области обработки изображений, в частности к интегральной схеме для оценки карты глубины из изображения с использованием объединенного билатерального фильтра. Техническим результатом является обеспечение оценки карты глубины из изображения, которая является менее вычислительно сложным, чем аппроксимация. Предложено осуществлять доступ к данным изображений изображения, а также к данным глубины карты глубины на основе шаблонов. Объединенный билатеральный фильтр применяется к карте глубины на основе шаблонов с использованием данных изображений в качестве члена диапазона в объединенном билатеральном фильтре, за счет этого получая карту адаптированной к изображению глубины в качестве вывода. Применение объединенного билатерального фильтра содержит инициализацию объемной величины суммы взвешенных глубин и объемной величины суммы весовых коэффициентов в качестве соответствующих пустых структур данных в запоминающем устройстве, выполнение операции разбрызгивания, чтобы заполнять упомянутые объемные величины, выполнение операции разрезания, чтобы получать объемную величину адаптированной к изображению глубины, и выполнение операции интерполяции, чтобы получать значение адаптированной к изображению глубины карты адаптированной к изображению глубины для каждого пиксела в изображении. 5 н. и 10 з.п. ф-лы, 10 ил.
Область техники, к которой относится изобретение
Изобретение относится к интегральной схеме, выполненной с возможностью оценивать карту глубины из изображения с использованием объединенного билатерального фильтра. Изобретение дополнительно относится к способу для оценки карты глубины из изображения с использованием объединенного билатерального фильтра и к компьютерно-читаемому носителю, содержащему энергозависимые или энергонезависимые данные, представляющие инструкции, выполненные с возможностью инструктировать процессорной системе осуществлять способ.
Уровень техники
Устройства отображения, такие как телевизионные приемники, планшетные компьютеры и смартфоны могут содержать трехмерный дисплей, чтобы предоставлять пользователю восприятие глубины при просмотре контента на таком устройстве. С этой целью, такие трехмерные дисплеи могут, отдельно или совместно с очками, надетыми пользователем, предоставлять пользователю различные изображения в каждом глазу таким образом, чтобы предоставлять пользователю восприятие глубины на основе стереоскопии.
Трехмерные дисплеи типично требуют контента, который содержит информацию глубины. Информация глубины может предоставляться неявно в трехмерном контенте. Например, в случае стереоскопического контента, вкратце также называемом "стерео-"контентом, информация глубины предоставляется посредством разностей между левым изображением и правым изображением. Информация глубины также может предоставляться явно в трехмерном контенте. Например, в трехмерном контенте, кодированном в так называемом формате "изображение+глубина", информация глубины предоставляется посредством карты глубины, которая может содержать значения глубины, значения диспаратности и/или значения параллактического сдвига, при этом каждое из упомянутых значений служит признаком расстояния, которое имеют объекты в изображении по отношению к камере.
Большой объем контента, который доступен на сегодня, например, фильмы, телевизионные программы, изображения и т.д., представляет собой двумерный контент. Такой контент должен преобразовываться в трехмерную форму, чтобы обеспечивать его трехмерный рендеринг на трехмерном дисплее. Преобразование в трехмерную форму может содержать формирование карты глубины для двумерного изображения, например, для каждого двумерного изображения двумерного видео. В общем, этот процесс упоминается как "преобразование из двумерной в трехмерную форму" и может заключать в себе создание карты глубины вручную. Например, программное инструментальное средство, выполняющееся на рабочей станции, может предлагать профессиональному пользователю возможность добавлять глубину в двумерные изображения посредством рисования карт глубины с использованием цифровой ручки. Карта глубины также может формироваться автоматически. Например, устройство может оценивать расстояние, которое имеют объекты в двумерном изображении по отношению к камере, и, на основе этого, формировать карту глубины для двумерного изображения.
Пример автоматического формирования карты глубины известен из US 8447141, который описывает способ формирования карты глубины для изображения с использованием монокулярной информации. Способ содержит формирование первой карты глубины для изображения, которая предоставляет глобальный профиль глубины и которая может представлять собой простой общий шаблон, такой как наклон. Кроме того, формируется вторая карта глубины, которая основана на значениях глубины первой карты глубины и значениях цвета и/или яркости изображения. Формирование второй карты глубины может заключать в себе применение объединенного билатерального фильтра к первой карте глубины с использованием информации диапазона из изображения. Считается, что как результат, объекты должны становиться более отличающимися от глобального профиля глубины.
Эффективно, US 8447141 использует объединенный билатеральный фильтр, чтобы адаптировать общий шаблон, предоставленный посредством карты глубины, к фактическому контенту изображения.
Тем не менее, реализация объединенного билатерального фильтра является вычислительно сложной. Публикация "A fast approximation of the bilateral filter using the signal processing approach" авторов Paris и др., International Journal of Computer Vision 81.1, 2009, стр. 24-52, описывает аппроксимацию объединенного билатерального фильтра, который считается менее вычислительно сложным. Недостаток состоит в том, что описанная аппроксимация билатерального фильтра по-прежнему является относительно вычислительно сложной и в силу этого не подходит оптимально для экономически эффективной реализации в бытовых устройствах, например, в интегральной схеме.
Сущность изобретения
Одна из целей изобретения заключается в том, чтобы получать интегральную схему, выполненную с возможностью оценивать карту глубины из изображения с использованием объединенного билатерального фильтра, который является менее вычислительно сложным, чем аппроксимация, описанная в работе авторов Paris и др.
Первый аспект изобретения предоставляет интегральную схему, выполненную с возможностью оценивать карту глубины из изображения, при этом интегральная схема задается посредством пункта 1 формулы изобретения. Дополнительный аспект изобретения предоставляет компьютерно-реализованный способ для оценки карта глубины из изображения, при этом способ задается посредством пункта 14 формулы изобретения.
По существу, интегральная схема реализует объединенный билатеральный фильтр при более приблизительном разрешении, но способом, отличающимся от способа в работе авторов Paris и др. Одно из преимущественных различий заключается в том, что в работе авторов Paris и др. сначала выполняется интерполяция, а затем операция разрезания, при этом вторая заключает в себе деление. Деление в работе авторов Paris и др. в силу этого выполняется для данных, интерполированных обратно до полного разрешения. Интегральная схема согласно формуле изобретения выполняет операцию разрезания для дискретизированных с понижением объемных величин, так что при значительно уменьшенном разрешении. Например, если используются объемные величины, например, 18×12×18 (высота × ширина × диапазон), требуются только 3888 операций деления, что гораздо меньше, чем требуется для того, чтобы выполнять деление, например, для изображения 480×270 (129600 операций деления). Обнаружено, что снижение качества выполнения операции разрезания на дискретизированных с понижением объемных величинах очень ограничено. Тем не менее, поскольку операции деления являются вычислительно сложными в реализации, вычислительная нагрузка выполнения объединенного билатерального фильтра значительно уменьшается. Это обеспечивает возможность выполнения операции сращивания в программном обеспечении, что дополнительно дает в результате гибкость относительно ее реализации.
Следует отметить, что карта глубины, которая используется в качестве ввода, может представлять собой карту глубины на основе шаблонов и в силу этого соответствовать предварительно определенному общему профилю глубины, такому как наклон, или общему профилю глубины, который выбирается из списка различных общих профилей глубины в качестве наилучшего совпадения с контентом изображения. Тем не менее, в общем, карта глубины может представлять собой любую карту глубины, которая извлекает выгоду из дополнительной адаптации к изображению.
Дополнительно следует отметить, что объемные величины могут представлять собой трехмерные объемные величины, например, состоящие из дискретизированных с понижением версий двух пространственных размерностей изображения и дискретизированной с понижением версии размерности диапазона одного из компонентов изображения, например, компонента яркости. Альтернативно, объемные величины могут содержать две или более размерностей диапазона, которые могут соответствовать двум или более из компонентов изображения, например, яркости и одному или более компонентов цветности YUV-изображения или отдельным цветовым компонентам RGB-изображения и т.д.
Необязательно, подсистема обработки содержит специализированную аппаратную схему и микропроцессор, конфигурируемый посредством программного обеспечения, при этом:
- специализированная аппаратная схема выполнена с возможностью выполнять операцию разбрызгивания и операцию интерполяции; и
- микропроцессор выполнен с возможностью, посредством программного обеспечения, в ходе работы интегральной схемы, выполнять операцию разрезания.
Этот аспект изобретения основан на понимании того, что тогда как операция разбрызгивания и операция интерполяции по-прежнему являются относительно вычислительно сложными, операция разрезания значительно уменьшена по сложности по сравнению с работой авторов Paris и др., посредством работы исключительно с дискретизированными с понижением объемными величинами. В связи с этим, операция разрезания может выполняться в программном обеспечении, давая в результате гибкость, тогда как операция разбрызгивания и операция интерполяции могут выполняться в аппаратных средствах с учетом, в общем, более высокой эффективности аппаратной реализации по сравнению с программным обеспечением.
Необязательно, специализированная аппаратная схема содержит таблицу фильтров для сохранения весовых коэффициентов разбрызгивания, используемых в операции разбрызгивания, и/или весовых коэффициентов интерполяции, используемых в операции интерполяции. В случае если операция разбрызгивания и операция интерполяции представляют собой аппаратные операции, упомянутые весовые коэффициенты могут сохраняться в таблице фильтров аппаратной схемы, которая может представлять собой постоянное запоминающее устройство или оперативное запоминающее устройство. Это обеспечивает возможность упомянутым весовым коэффициентам быть легкодоступными посредством аппаратных средств соответствующих операций.
Необязательно, в таблицу фильтров загружаются весовые коэффициенты разбрызгивания, используемые в операции разбрызгивания, и весовые коэффициенты интерполяции, используемые в операции интерполяции, перед выполнением соответствующей операции. В случае если различные весовые коэффициенты используются для операции разбрызгивания по сравнению с операцией интерполяции, эти весовые коэффициенты могут загружаться в таблицу фильтров до того, как соответствующая операция выполняется, например, посредством микропроцессора. Таким образом, аппаратные средства таблицы фильтров многократно используются и не реализуются отдельно как для аппаратных средств операции разбрызгивания, так и для аппаратных средств операции интерполяции. Следует отметить, что помимо этого или альтернативно многократному использованию аппаратных средств таблицы фильтров между операцией разбрызгивания и интерполяции, в общем, также может быть предусмотрено многократное использование аппаратных средств для определения относительной позиции выборки в элементе разрешения между разбрызгиванием и операцией интерполяции.
Необязательно, весовые коэффициенты разбрызгивания, используемые в операции разбрызгивания, и весовые коэффициенты интерполяции, используемые в операции интерполяции, являются идентичными. Этот аспект изобретения основан на понимании того, что идентичные весовые коэффициенты могут использоваться для выполнения операции разбрызгивания, что и для выполнения операции интерполяции, поскольку обе из них представляют собой практически однородные операции, которые в настоящем контексте также работают, с одной стороны, с изображением, а с другой стороны, с многомерной объемной величиной, имеющей дискретизированные с понижением размерности относительно двух пространственных размерностей и размерности диапазона изображения. Посредством использования идентичных весовых коэффициентов, реализация обеих операций является значительно более эффективной.
Необязательно, весовые коэффициенты разбрызгивания, используемые в операции разбрызгивания, и весовые коэффициенты интерполяции, используемые в операции интерполяции, представляют линейную интерполяцию относительно системы координат изображения. Весовые коэффициенты в силу этого выбираются таким образом, что линейная интерполяция применяется к данным в соответствующих объемных величинах операции разбрызгивания и операции интерполяции вдоль каждой из размерностей объемных величин. Например, для трехмерной объемной величины, может использоваться трехлинейная интерполяция, в то время как для квадромерной объемной величины, например, имеющей две размерности диапазона, может использоваться квадратическая линейная интерполяция. Обнаружено, что линейная интерполяция оптимально подходит для операции разбрызгивания и операции интерполяции. Альтернативно, интерполяция высшего порядка может использоваться в каждой размерности, в том числе, но не только, в кубической интерполяции.
Необязательно, микропроцессор выполнен с возможностью, посредством программного обеспечения, в ходе работы интегральной схемы, применять временную фильтрацию к объемной величине суммы взвешенных глубин и к объемной величине суммы весовых коэффициентов до выполнения операции разрезания. Временная фильтрация зачастую применяется к картам глубины, чтобы обеспечивать временную стабильность. Вместо этого или помимо применения такой временной фильтрации к карте глубины, объемные величины, которые используются для формирования карты глубины сами, могут временно фильтроваться. Обнаружено, что это дает в результате более временно стабильную карту глубины, при одновременном обеспечении вычислительной эффективности для того, чтобы реализовывать относительно небольшой размер объемных величин по сравнению с изображением. Например, типичная объемная величина 18×12×18 содержит 3888 значений данных, которые должны фильтроваться, тогда как изображение 480×270 содержит 129600 значений данных, которые должны фильтроваться. Вследствие конкретного применения фильтрации к объемной величине(-ам), программная реализация является возможной. Преимущественно, обнаружено, что применение фильтра с бесконечной импульсной характеристикой (IIR) к объемной величине суммы взвешенных глубин улучшает временную стабильность результирующей карты глубины в случае так называемых обрезаний снимков, без необходимости выделенной обработки обрезаний снимков, например, заключающей в себе выделенные детекторы обрезаний снимков. Временная фильтрация, например, может представлять собой фильтр с бесконечной импульсной характеристикой первого или высшего порядка и может реализовываться как часть других (нелинейных) операций для данных объемных величин.
Необязательно, микропроцессор выполнен с возможностью, посредством программного обеспечения, в ходе работы интегральной схемы, применять временную фильтрацию к объемной величине адаптированной к изображению глубины. Такая временная фильтрация предлагает сравнимые уменьшения вычислительной сложности по сравнению с фильтрацией фактического изображения, как описано относительно фильтрации объемной величины суммы взвешенных глубин или объемной величины суммы весовых коэффициентов. Временная фильтрация может иметь идентичный тип, как описано относительно фильтрации объемной величины суммы взвешенных глубин или объемной величины суммы весовых коэффициентов.
Необязательно, подсистема обработки выполнена с возможностью, после выполнения операции разбрызгивания, свертывать объемную величину суммы взвешенных глубин с гауссовым ядром. Обнаружено, что такая свертка повышает качество карты глубины.
Необязательно, карта глубины на основе шаблонов имеет уменьшенное пространственное разрешение относительно изображения, например, имеющего две пространственных размерности, соответствующие двум пространственным размерностям из объемной величины суммы взвешенных глубин и объемной величины суммы весовых коэффициентов. Карта глубины на основе шаблонов затем может интерполироваться с использованием весовых коэффициентов, идентичных весовым коэффициентам, используемым в операции разбрызгивания.
Необязательно, объединенный билатеральный фильтр применяется только к данным яркости изображения. Необязательно, объединенный билатеральный фильтр применяется к данным яркости и данным цветности изображения. Во втором случае, объемные величины могут представлять собой пятимерные объемные величины, имеющие три размерности диапазона, например, размерность Y, U и V.
Необязательно, интегральная схема представляет собой или составляет часть программируемой пользователем вентильной матрицы или внутрикристальной системы. Интегральная схема может составлять часть устройства, такого как устройство отображения или абонентская приставка, но также и других устройств, в которых она может использоваться для того, чтобы преобразовывать двумерное видео в трехмерное видео посредством оценки карты глубины.
Дополнительный аспект изобретения предоставляет компьютерно-читаемый носитель, содержащий энергозависимые или энергонезависимые данные, представляющие инструкции, выполненные с возможностью инструктировать процессорной системе осуществлять способ.
Специалисты в данной области техники должны принимать во внимание, что два или более вышеуказанных вариантов осуществления, реализаций и/или аспектов изобретения могут комбинироваться любым способом, считающимся применимым.
Модификации и варьирования способа, которые соответствуют описанным модификациям и варьированиям интегральной схемы, могут выполняться специалистами в данной области техники на основе настоящего описания.
Краткое описание чертежей
Эти и другие аспекты изобретения являются очевидными и должны истолковываться со ссылкой на описанные ниже варианты осуществления. На чертежах:
Фиг. 1 схематично показывает интегральную схему, которая выполнена с возможностью оценивать карту глубины из изображения вычислительно эффективным способом;
Фиг. 2 иллюстрирует взаимосвязь между изображением и объемной величиной, которая может использоваться для того, чтобы накапливать весовые коэффициенты и значения взвешенной глубины во время операции разбрызгивания, и которая может хранить значения глубины для операции интерполяции;
Фиг. 3A показывает упрощенный пример операции разбрызгивания;
Фиг. 3B показывает подробный пример, иллюстрирующий адресацию элементов разрешения и ассоциированные весовые коэффициенты для операции разбрызгивания и для операции интерполяции;
Фиг. 4 иллюстрирует различные аспекты операции разбрызгивания;
Фиг. 5-7 иллюстрируют различные аспекты операции интерполяции;
Фиг. 8 показывает способ для оценки карты глубины из изображения; и
Фиг. 9 показывает компьютерно-читаемый носитель, содержащий инструкции для инструктирования процессорной системе осуществлять способ.
Следует отметить, что элементы, которые имеют идентичные номера ссылок на различных чертежах, имеют идентичные структурные признаки и идентичные функции либо представляют собой идентичные сигналы. Если функция и/или структура такого элемента пояснена, нет необходимости ее повторного пояснения в подробном описании.
Список ссылок и сокращений
Следующий список ссылок и сокращений предоставляется для упрощения интерпретации чертежей и не должен истолковываться в качестве ограничения формулы изобретения.
010 - данные изображений
020 - входные данные объемной величины глубины
022 - выходные данные глубины
024 - данные глубины на основе шаблонов
026 - интерполированные данные глубины на основе шаблонов
030 - данные объемной величины суммы весовых коэффициентов
032 - данные объемной величины суммы взвешенных глубин
052 - индексные данные весовых коэффициентов и объемных величин
054 - данные весовых коэффициентов
100 - подсистема обработки интегральной схемы
110 - интерфейс ввода данных изображений
120 - интерфейс ввода данных объемной величины глубины
122 - интерфейс вывода данных глубины
130-132 - интерфейс вывода данных объемных величин
140 - блок разбрызгивания
150 - блок взвешивания
160 - интерполяционный блок
170 - двумерный интерполяционный блок
180 - управляющая логика
200 - изображение
210 - размерность по горизонтали
220 - размерность по вертикали
250 - преобразование яркой накладки изображений
260 - преобразование темного фона изображений
300 - представление изображения в виде объемной величины
310 - размерность по горизонтали
320 - размерность по вертикали
330 - размерность диапазона
400 - размерность (горизонтальная, вертикальная или диапазона)
410 - последовательность выборок глубины
420 - интервал накопления разбрызгиваний
430 - весовая функция
440 - интервал элементов разрешения
442 - краевой элемент разрешения
444 - некраевой элемент разрешения
500 - способ для оценки карты глубины из изображения
510 - осуществление доступа к данным изображений
520 - осуществление доступа к данным глубины
530 - применение объединенного билатерального фильтра
540 - инициализация объемных величин
550 - операция разбрызгивания
560 - операция разрезания
570 - операция интерполяции
600 - компьютерно-читаемый носитель
610 - энергонезависимые данные, представляющие инструкции
Подробное описание вариантов осуществления
Фиг. 1 схематично показывает подсистему 100 обработки интегральной схемы, которая выполнена с возможностью оценивать карту глубины из изображения вычислительно эффективным способом. Подсистема 100 обработки показана как функциональная блок-схема и может быть осуществлена посредством таких компонентов, как микропроцессор, специализированная аппаратная схема и одно или более локальных запоминающих устройств. Интегральная схема может содержать другие компоненты, которые не показаны на фиг. 1, в том числе, но не только, другие микропроцессоры, систему шин, другие запоминающие устройства и т.д. В общем, интегральная схема может реализовываться как (или как часть) программируемая пользователем вентильная матрица (FPGA) или внутрикристальная система (SoC) либо любым другим подходящим способом.
Подсистема 100 обработки показана как содержащая интерфейс 110 ввода данных изображений, через который данные 010 изображений могут считываться из запоминающего устройства, например, через связь с прямым доступом к памяти (DMA). Например, данные изображений могут представлять собой входные данные Yin яркости. В этом отношении, следует отметить, что интерфейс 110 ввода данных изображений и другие интерфейсы подсистемы 100 обработки могут содержать или соединяться с локальным запоминающим устройством, выступающим в качестве буфера, помеченного как "Buf" на фиг. 1.
Подсистема 100 обработки дополнительно показана как содержащая интерфейс 120 ввода данных объемной величины глубины, через который данные 020 объемной величины глубины могут считываться из запоминающего устройства, и интерфейс 122 вывода данных глубины, через который данные 022 глубины могут записываться в запоминающее устройство. Подсистема 100 обработки дополнительно показана как содержащая соответствующие интерфейсы 130, 132 вывода данных объемных величин для записи данных 030 объемной величины суммы весовых коэффициентов и данных 032 объемной величины суммы взвешенных глубин в запоминающее устройство.
Другие функциональные блоки подсистемы 100 обработки включают в себя блок 140 разбрызгивания, который обменивается данными с интерфейсами 130, 132 вывода данных объемных величин, интерполяционный блок 160, который обменивается данными с интерфейсами 120, 122 обработки данных глубины, блок 150 взвешивания, который обменивается данными с интерфейсом 110 ввода данных изображений и предоставляет индексные данные 052 весовых коэффициентов и объемных величин в блок 140 разбрызгивания и интерполяционный блок 160, двумерный интерполяционный блок 170, который принимает данные 024 глубины на основе шаблонов из управляющей логики 180 и данные 054 весовых коэффициентов из блока 150 взвешивания и предоставляет интерполированные данные 026 глубины на основе шаблонов в блок 140 разбрызгивания.
В варианте осуществления, подсистема 100 обработки, как показано на фиг. 1, может реализовываться как специализированная аппаратная схема. Помимо этого, отдельный микропроцессор (не показан на фиг. 1) может предоставляться в интегральной схеме, которая выполнена с возможностью выполнять операцию разрезания, как также пояснено далее. С этой целью, микропроцессор может иметь доступ к запоминающему устройству, например, через DMA. Альтернативно, операция разрезания также может реализовываться посредством специализированной аппаратной схемы.
В дальнейшем подробно поясняется работа подсистемы 100 обработки и ее функциональных блоков со ссылкой на фиг. 2-7. В этом отношении, следует отметить, что на фиг. 1, "*" обозначает локальный буфер или интерфейс, который ассоциирован с объемным представлением многомерных данных, как пояснено со ссылкой на фиг. 2.
Фиг. 2 иллюстрирует взаимосвязь между изображением 200 и объемной величиной 300, при этом такой тип объемной величины используется для накопления весовых коэффициентов и значений взвешенной глубины во время операции разбрызгивания и хранения значения глубины пикселов изображения 200 для операции интерполяции. Объемная величина 300 показана как имеющая три измерения. Размерность 310 X может соответствовать горизонтальной оси 210 изображения 200. Размерность 320 Y может соответствовать вертикальной оси 220 изображения 200. I-размерность 330 может соответствовать размерности диапазона изображения, например, компонента изображения для изображения 200, такого как, но не только, компонент яркости. Объемная величина 300 может иметь размер, который субдискретизируется относительно пространственных размерностей и размерностей диапазона изображения 200. Например, в то время как изображение 200 может иметь пространственные размерности в 480 пикселов на 270 линий (X, Y) и 8-битовую размерность (I) диапазона, задающую диапазон в 256 значений, объемная величина 300 может иметь размерности в 18×12x18 (X, Y, I), что представляет собой 18×12 (X, Y) для пространственных размерностей 310, 320 и 18 (I) для размерности 330 диапазона.
Ячейки объемной величины 300 могут представлять элементы разрешения. Во время операции разбрызгивания, такие элементы разрешения могут задавать интервалы накопления для накопления информации глубины изображения 200. Здесь, элементы разрешения, используемые в накоплении весового коэффициента или значения взвешенной глубины, ассоциированного с конкретным пикселом, выбираются в качестве функции пространственной координаты пиксела и его значения диапазона. Например, значения яркости изображения 200 могут определять координату элемента разрешения вдоль I-размерности 330 объемной величины 300 при этом информация глубины темного контента изображений может накапливаться в "нижних" элементах разрешения объемной величины 300, как проиллюстрировано посредством стрелки 260, тогда как информация глубины яркого контента изображений может накапливаться в "верхних" элементах разрешения объемной величины 300, как проиллюстрировано посредством стрелки 250. Помимо этого, пространственное местоположение контента изображений может задавать местоположение элемента разрешения вдоль пространственных размерностей 310, 320 объемной величины 300. Соответственно, комбинация пространственной координаты и значения диапазона пиксела изображения 200, т.е. координаты пиксела (по меньшей мере) в трехмерной системе координат изображения могут определять то, в каком элементе(ах) разрешения объемной величины 300 накапливаются весовой коэффициент или значение взвешенной глубины во время операции разбрызгивания, или то, какой элемент(ы) разрешения хранит значение глубины пиксела для интерполяции посредством операции интерполяции.
Это определение элементов разрешения может по существу заключать в себе преобразование пространственной координаты пиксела и значения диапазона в координату в координатном пространстве объемной величины и на основе своей относительной позиции в объемной величине, идентифицирующей элементы разрешения, которые должны использоваться во время разбрызгивания и интерполяции. Эффективно, во время разбрызгивания, смежные элементы разрешения могут идентифицироваться, чтобы определять то, в какие элементы разрешения вносит долю пиксел, на основе его отпечатка разбрызгивания (при этом "доля" представляет собой накопление весового коэффициента или значение взвешенной глубины), в то время как во время интерполяции, смежные элементы разрешения могут идентифицироваться, чтобы определять то, между какими элементами разрешения интерполяция должна выполняться на основе относительной позиции пиксела в объемной величине. С этой целью, может использоваться функция преобразования, которая преобразует пространственную координату пиксела и значение диапазона в координату в координатном пространстве объемной величины, при этом вторая координата в таком случае непосредственно указывает смежные элементы разрешения.
Вследствие субдискретизации, несколько пикселов изображения 200 могут вносить долю в один элемент разрешения объемной величины 300, при этом их значения глубины могут, по меньшей мере, частично, накапливаться в одном элементе разрешения. С другой стороны, один пиксел может вносить долю в несколько элементов разрешения объемной величины 300, поскольку ее координаты в системе координат объемной величины могут находиться между несколькими ячейками объемной величины 300. В связи с этим, при накоплении значения глубины пиксела в объемной величине 300, значение глубины, возможно, должно взвешиваться, чтобы учитывать долю в нескольких ячейках объемной величины 300. Это также упоминается как "разбрызгивание".
Фиг. 3A иллюстрирует такую операцию разбрызгивания вдоль одной размерности K 400. Эта размерность K может представлять собой размерность по горизонтали (X), по вертикали (Y) или яркости (I). Для этого пояснения, размерность K 400 считается представляющей размерность I яркости. Во-первых, эта размерность разделяется на элементы 440 разрешения, например, посредством субдискретизации размерности I яркости, например, из 256 значений (8 битов, от 0 до 255) вниз до шестнадцати элементов разрешения ширины 16. Как известно по сути, каждый элемент разрешения представляет собой элемент хранения данных, который может хранить конкретное значение или сумму накопленных значений. Следует отметить, что в качестве иллюстрации и, в частности, для того улучшать видимость чертежей, на фиг. 3A и далее, показано разбиение на элементы разрешения, которое заключает в себе только двенадцать элементов разрешения всего: десять "нормальных" элементов [1]-[10] разрешения и два так называемых "краевых" элемента [0] и [11] разрешения. Следует отметить, что различный размер и цель краевых элементов [0] и [11] разрешения поясняются с дальнейшей ссылкой на фиг. 3B.
Далее иллюстрируется операция разбрызгивания со ссылкой на операцию создания гистограммы. Традиционная гистограмма может получаться следующим образом: для каждого пиксела изображения, может определяться то в какой один элемент разрешения попадает его значение яркости. Затем значение этого элемента разрешения может постепенно увеличиваться, например, на 1. Как результат, относительная позиция значения яркости относительно интервала яркости, ассоциированного с элементом разрешения, может быть нерелевантной. Например, если элемент разрешения задает интервал яркости в [0...7] для накопления, все значения яркости, которые попадают в этот элемент разрешения, могут вызывать идентичное приращение, а именно, на 1, независимо от того, попадает значение яркости в центр элемента разрешения (например, значения 3 и 4 яркости) или на край элемента разрешения (например, значения 0 и 7 яркости).
Технологии разбрызгивания могут использоваться для того, чтобы получать лучше, например, более точное представление в виде гистограммы. А именно, относительная позиция значения яркости в элементе разрешения может учитываться посредством взвешивания. В таких технологиях разбрызгивания, доля "разбрызгиваемого" пиксела может определяться посредством явного или неявного назначения отпечатка координате пиксела вдоль размерности яркости, например, значению яркости. Накопление посредством разбрызгивания может выполняться следующим образом: для значения яркости пиксела, определяется то, в какие смежные элементы разрешения вносит долю пиксел, при этом "внесение доли" означает элемент разрешения, попадающий, по меньшей мере, частично в пределы отпечатка пиксела. Значения в смежных элементах разрешения затем могут постепенно увеличиваться посредством соответствующих весовых коэффициентов, которые зависят от относительной позиции значения яркости относительно двух элементов разрешения. Например, когда значение яркости попадает централизованно в "настоящий" элемент разрешения, доля в этом элементе разрешения может быть "высокой", тогда как доля в "предыдущем" (нижнем) элементе разрешения и в "следующем" (верхнем) элементе разрешения может быть низкой. Аналогично, когда значение яркости попадает между двумя элементами разрешения, доля в каждом элементе разрешения может составлять половину "высокого" значения.
Вышеуказанное позиционно-зависимое взвешивание может осуществлять такую долю на основе отпечатков в элементах разрешения. Следует отметить, что поскольку взвешивание только задает долю в элементе разрешения в конкретном интервале, этот интервал также может считаться представляющим "интервал накопления" конкретного элемента разрешения. Например, интервал накопления "настоящего" (или "текущего") элемента разрешения может считаться включающим в себя настоящий элемент разрешения при одновременном расширении также в середине на предыдущий элемент разрешения и следующий элемент разрешения. Таким образом, с началом в середине в предыдущем элементе разрешения, доля в настоящем элементе разрешения может медленно увеличиваться от нуля до максимума централизованно в настоящем элементе разрешения и затем медленно снижаться до нуля в середине в следующем элементе разрешения.
Как результат использования операции разбрызгивания, накопленные значения в элементах разрешения могут представлять более точное представление гистограммы.
В конкретной и эффективной реализации операции разбрызгивания, отпечаток считается как вносящий долю самое большее в два смежных элемента разрешения, например, посредством инструктирования размеру соответствовать размеру элемента разрешения или быть меньшим. В этом случае, пиксел вносит долю самое большее в элемент [n] разрешения и элемент [n+1] разрешения, при этом n является индексом элемента разрешения или координатой в системе координат объемной величины. Первый элемент разрешения в дальнейшем может упоминаться как "настоящий" элемент разрешения, и второй элемент разрешения может упоминаться как "следующий" элемент разрешения.
В частности, конкретная и эффективная реализация задает интервалы накопления элементов разрешения таким образом, что доля пиксела в настоящем элементе разрешения задается только для настоящего элемента разрешения и следующего элемента разрешения. Тем не менее, эта реализация может считаться имеющей "смещение" в половину элемента разрешения относительно позиции, в которой, как можно интуитивно понимать, должна лежать доля пиксела. А именно, в этой конкретной реализации, максимальная доля в элементе разрешения получается не в середине элемента разрешения, а на его самой нижней границе. Причина задания элементов разрешения таким способом состоит в том, чтобы обеспечивать возможность дополнительного многократного использования аппаратных средств между операцией разбрызгивания и операцией интерполяции, например, при рассмотрении вычисления и сохранении весовых коэффициентов и/или вычисления относительных позиций относительно элемента разрешения.
В качестве примера, на фиг. 3A рассмотрим случай значения p0 яркости, которое составляет значение яркости в левой стороне элемента [5] разрешения. Эта относительная позиция может вносить долю в "высокий" весовой коэффициент в элементе [5] разрешения согласно функции 430 взвешивания (пунктирная линия находится на/около максимума) и в "низкий" весовой коэффициент в элементе [6] разрешения (пунктирная линия находится на/около нуля). Затем, рассмотрим случай значения p1 яркости, которое находится в середине элемента [5] разрешения. Эта относительная позиция может вносить долю в равный весовой коэффициент (в половину "высокого" весового коэффициента) в элементах [5] и [6] разрешения. В завершение, рассмотрим случай значения p2 яркости в правой стороне элемента [5] разрешения. Эта относительная позиция может вносить долю в "низкий" весовой коэффициент в элементе [5] разрешения и в "высокий" весовой коэффициент в элементе [6] разрешения. Соответственно, относительная позиция значения яркости может определять весовой коэффициент, посредством которого значение яркости накапливается в настоящем и следующем элементе разрешения. Пример по фиг. 3A в силу этого иллюстрирует линейное "замирание" от максимальной доли в элементе [5] разрешения до максимальной доли в элементе [6] разрешения в зависимости от значения яркости.
Следует принимать во внимание, что в этой конкретной и эффективной реализации, в которой пиксел, имеющий значение яркости в настоящем элементе разрешения, вносит долю только в настоящем элементе разрешения и в следующем элементе разрешения, интервал накопления, ассоциированный с элементом [5] разрешения, может представлять собой интервал, охватывающий элемент [5] разрешения и его предыдущий элемент разрешения, например, интервал, соответствующий пунктирной линии, покрывающей элементы [4] и [5] разрешения на фиг. 3A. Аналогично, интервал накопления, ассоциированный с элементом [6] разрешения, может представлять собой интервал, охватывающий элемент [6] разрешения и его предыдущий элемент разрешения, например, интервал, соответствующий пунктирной линии, покрывающей элементы [5] и [6] разрешения на фиг. 3A.
Фиг. 3B показывает дополнительные сведения по аналогичному варианту осуществления, но применяется к накоплению значений взвешенной глубины и весовых коэффициентов в соответствующих объемных величинах, а именно, в вышеуказанной объемной величине суммы взвешенных глубин и объемной величине суммы весовых коэффициентов.
В этом примере, обе объемных величины имеют фиксированный максимальный размер в 18×12x18 элементов разрешения (X, Y, I) независимо от размера изображения, в то время как фактическое число элементов разрешения может варьироваться. А именно, параметр sizeBinK может использоваться в операции разбрызгивания, чтобы задавать размер некраевого элемента 444 разрешения, и в силу этого определять то, сколько элементов разрешения используются. Этот размер, который может составлять степень 2, чтобы уменьшать сложность реализации. Размер двух элементов разрешения на краю размерности edgeBinK может варьироваться, чтобы обеспечивать любое значение размера размерности. Фиг. 3B показывает нижний краевой элемент 442 разрешения. Например, если ширина изображения составляет 480, и sizeBinX выбирается как равный 32, может быть предусмотрено 14 некраевых элементов разрешения и 2 краевых элемента разрешения, имеющих ширину (480-14*32)/2=16. В другом примере, если высота изображения равна 270, и sizeBinY равен 32, ширина каждого из краевых элементов разрешения может составлять (270-8*32)/2=7. В связи с этим, использование краевых элементов разрешения обеспечивает возможность некраевым элементам разрешения иметь размер, равный степени 2, в силу этого уменьшая сложность реализации. А именно, нормализация в арифметических вычислениях с фиксированной запятой может выполняться посредством простой операции сдвига. Помимо этого, показано, что использование двух краевых элементов разрешения (в верхнем и нижнем конце) дает в результате лучшие результаты фильтрации, поскольку краевые элементы разрешения совпадают с краями изображения. В силу этого может быть желательным иметь краевые элементы разрешения определенного размера согласно цели. Например, обнаружено, что краевые элементы разрешения, составляющие половину от размера регулярного некраевого элемента разрешения, могут быть предпочтительными при наличии минимум 1/4 от регулярного размера элемента разрешения и максимум 3/4 от регулярного размера элемента разрешения.
Фиг. 3B дополнительно показывает пример адресации элементов разрешения и ассоциированных весовых коэффициентов для разбрызгивания и для интерполяции глубины. Для простоты понимания, фиг. 3B показывает только одну размерность. Эта размерность может представлять собой либо X, Y позиции изображения, либо размерность диапазона. В частности, фиг. 3B показывает позицию 410 выборок глубины в указываемых индексных позициях [0]...[12], например, соответствующих позициям выборок вдоль линии во входной карте глубины, например, полученной из данных 024 глубины на основе шаблонов по фиг. 1. Для каждой индексной позиции, показаны соответствующий интервал 420 накопления разбрызгиваний, весовой коэффициент, определенный посредством весовой функции 430 для разбрызгивания и интерполяции профиля глубины (указываемой посредством ссылки с номером 170 на фиг. 1), и интервал 440 элементов разрешения. Фиг. 3B должен интерпретироваться следующим образом. Для данной индексной позиции, например, индексной позиции [7], задается интервал накопления, который обозначается посредством идентичного номера [7], а также соответствующая весовая функция 430, которая показана в идентичном стиле линии с интервалом [7] накопления. Весовая функция 430 представляет весовой коэффициент f, который линейно переходит от 0 из краев интервала [7] накопления к 1 в центре интервала [7] накопления. В идентичном интервале [7] накопления, также показан весовой коэффициент 1-f, который, в левой половине интервала [7] накопления, представляет весовой коэффициент для выборки [6] глубины в наполовину перекрывающемся интервале [6] накопления, и в правой половине интервала [7] накопления, представляет весовой коэффициент для выборки [8] глубины в наполовину перекрывающемся интервале [8] накопления.
Можно видеть, что интервалы накопления и весовые коэффициенты выбираются таким образом, что для данной позиции p вдоль показанной размерности, элементы разрешения объемной величины суммы весовых коэффициентов могут накапливаться в соответствии с SW[x]+=f и SW[x+1]+=(1-f), тогда как элементы разрешения объемной величины суммы взвешенных глубин могут накапливаться в соответствии с SWD[x]+=f*dp и SWD[x+1]+=(1-f)*dp. Здесь, позиция p определяет элемент x разрешения, представляющий собой [6] в этом примере, и значение dp глубины получается посредством интерполяции профиля глубины ("170" на фиг. 1) из карты d глубины в соответствии с dp=(1-f)*D[x]+f*D[x+1]. Следует отметить, что это предназначено только для одной размерности; типично, адресация элементов разрешения основана на пространственных размерностях X, Y и одной или более размерностей I диапазона изображения и в силу этого типично также зависит непосредственно от данных изображений.
Следует отметить, что весовые коэффициенты f и (1-f) могут вычисляться в качестве значений с фиксированной запятой с помощью нормализованных выражений. Например, в случае 3 битов после двоичной точки, значение 8 представляет 1, и в силу этого f находится в диапазоне [0-8]. В конкретном примере, если предположить, что dp=(f-1)*D[x]+f*D[x+1] должно вычисляться, при этом D[x] равно 24, D[x+1] равно 8, и f равно 6, dp может вычисляться как ((8-6)*24+6*8)/8=96/8=12. Деление на 8 представляет собой этап нормализации. Этот пример также показан в таблице по фиг. 5 в позиции 10 по оси Y. Н этом и на других чертежах и по всему тексту, wny и wpy представляют значения с фиксированной запятой f и (1-f) перед этой нормализацией.
В конкретном и эффективном варианте осуществления, максимальный весовой коэффициент может соответствовать размеру элементов разрешения, например, 8 для размера элемента разрешения в 8. Соответственно, каждый шаг в значении яркости приводит к шагу в весовом коэффициенте для каждого из двух смежных элементов разрешения. Аналогично, каждый шаг в позиции (x или y) приводит к шагу в весовом коэффициенте для каждого из двух соответствующих смежных элементов разрешения.
Фиг. 4 иллюстрирует операцию разбрызгивания, заполняющую сумму взвешенных глубин (SWD) и сумму весовых коэффициентов (SW) вдоль одной размерности. В этом примере, вертикальная ось Y выбирается, при этом размер элементов разрешения равен 8 (sizeBinY), и первый элемент разрешения имеет размер в 4 (edgeBinY). Yposition является просто номером линии. Таблица на фиг. 4 показывает интерполяцию относительно линий в binY с индексом 1. FactorY является относительной позицией линии в элементе разрешения. На основе значения factorY, извлекаются два весовых коэффициента wpy и wny, которые связаны с комплементарными весовыми коэффициентами f и 1-f, как описано для фиг. 3B, но теперь выражаются как весовой коэффициент wny для "следующего" элемента разрешения и весовой коэффициент wpy для "настоящего" элемента разрешения, при этом "следующий" и "настоящий" означают два последовательных и пространственно смежных элемента разрешения. Разбрызгивание по существу представляет собой функцию понижающей дискретизации, посредством которой ввод высокого разрешения преобразуется в вывод низкого разрешения. В этом примере, все линии в binY номер 1 имеют входное значение глубины в 20. В зависимости от позиции линии, весовой коэффициент постепенно сдвигается от элемента 1 разрешения к элементу 2 разрешения. В связи с этим, в номере 4 линии (которая представляет собой первую линию в элементе 1 разрешения), полное значение накапливается в элементе 1 разрешения, и ни одно значение не добавляется в элемент 2 разрешения, что проиллюстрировано на фиг. 4 посредством двух стрелок. В номере8 линии (в середине элемента разрешения), 50% значения добавляются в элемент 1 разрешения, и 50% добавляются в элемент 2 разрешения. Таким образом, достигается линейное замирание между элементами разрешения. С использованием весовых коэффициентов, ячейки объемной величины SW (суммы весовых коэффициентов) накапливают только применяемые весовые коэффициенты, тогда как ячейки объемной величины SWD (суммы взвешенных глубин) накапливают значение глубины, умноженное на весовой коэффициент ("взвешенную глубину").
В общих словах, операция разбрызгивания может заключать в себе, для каждого пиксела в изображении, определение координаты пиксела в системе координат изображения, например, в форме координаты (X, Y, I), координаты (X, Y, R, G, B) или координаты (X, Y, I, U, V). В последней форме, (I, U, V) означает компоненты YUV-сигнала, при этом компонент Y (яркости) упоминается как I (интенсивность), чтобы отличать от пространственной размерности Y. Затем может определяться то, какие смежные ячейки в объемной величине суммы весовых коэффициентов представляют интервалы накопления, ассоциированные с пикселом. Значение глубины пиксела может получаться из карты глубины, возможно с использованием интерполяции, если карта глубины имеет более низкое пространственное разрешение, чем изображение. Для каждой из смежных ячеек, весовой коэффициент может получаться для взвешивания значения глубины. Весовой коэффициент может (предварительно) вычисляться на основе относительной позиции пиксела относительно интервала накопления соответствующей ячейки, как указано посредством координаты. Значение глубины затем может взвешиваться посредством весового коэффициента и накапливаться в соответствующей ячейке объемной величины суммы взвешенных глубин, при этом непосредственно весовой коэффициент накапливается в соответствующей ячейке объемной величины суммы весовых коэффициентов.
Следует отметить, что для одной размерности, линейная интерполяция требует 2 значений. Аналогично, для двух размерностей, билинейная интерполяция требует 4 значений. Для объемной величины в 3 размерности, трехлинейная интерполяция использует 8 значений. Весовые коэффициенты могут представлять собой предварительно вычисленные значения в качестве функции относительной позиции выборки в элементе разрешения. В случае если карта глубины имеет уменьшенное пространственное разрешение относительно изображения и, в частности, уменьшенное пространственное разрешение, идентичное уменьшенному пространственному разрешению объемной величины суммы взвешенных глубин и объемной величины суммы весовых коэффициентов, карта глубины может интерполироваться перед операцией разбрызгивания в разрешение изображений с использованием весовых коэффициентов, идентичных весовым коэффициентам, используемым в операции разбрызгивания. Это проиллюстрировано на фиг. 1 посредством блока 150 взвешивания, предоставляющего данные 054 весовых коэффициентов в двумерный интерполяционный блок 170, который интерполирует шаблон глубины в разрешение изображений.
После выполнения операции разбрызгивания, операция разрезания может выполняться, чтобы получать объемную величину адаптированной к изображению глубины. Эта операция разрезания может выполняться посредством микропроцессора, сконфигурированного посредством программного обеспечения, которое не показано явно на фиг. 1, но которое может иметь доступ к запоминающему устройству, например, через DMA-связь. Операция разрезания может содержать, для каждой ячейки объемной величины суммы взвешенных глубин и соответствующей ячейки объемной величины суммы весовых коэффициентов, деление накопленных значений взвешенной глубины на накопленные весовые коэффициенты. Как результат этого деления, каждый элемент разрешения теперь содержит значение адаптированной к изображению глубины, при этом полная объемная величина в силу этого представляет объемную величину адаптированной к изображению глубины.
После выполнения операция разрезания, операция интерполяции может выполняться, чтобы получать значение адаптированной к изображению глубины карты адаптированной к изображению глубины для каждого пиксела в изображении. Эта операция интерполяции может содержать идентификацию смежных ячеек в объемной величине адаптированной к изображению глубины на основе упомянутых ячеек, представляющих интервалы накопления для пиксела в объемной величине суммы взвешенных глубин на основе координаты пиксела, и применение интерполяционного фильтра к смежным ячейкам объемной величины адаптированной к изображению глубины, при этом интерполяционный фильтр содержит, для каждой из ячеек, весовой коэффициент, который определяется на основе относительной позиции пиксела относительно интервала накопления соответствующей ячейки, как указано посредством координаты. Другими словами, позиция пиксела, как определено посредством его пространственной координаты и его значения(й) диапазона, может определять элементы разрешения, которые должны использоваться в интерполяции, тогда как относительная позиция пиксела в элементе разрешения может определять весовые коэффициенты интерполяции. Весовые коэффициенты могут предварительно вычисляться. В частности, весовые коэффициенты могут представлять собой весовые коэффициенты, идентичные весовым коэффициентам, также используемым в операции разбрызгивания, и/или идентичная аппаратная схема может использоваться для того, чтобы сохранять или вычислять весовые коэффициенты.
Фиг. 5 иллюстрирует операцию интерполяции, аналогично фиг. 4 для операции разбрызгивания. Здесь, весовые коэффициенты используются для того, чтобы интерполировать выходное значение глубины из объемной величины адаптированной к изображению глубины. Как можно видеть при сравнении фиг. 5 с фиг. 4, идентичные весовые коэффициенты используются для конкретной относительной позиции в элементе разрешения. Это проиллюстрировано на фиг. 1 посредством блока 150 взвешивания, предоставляющего идентичные индексные данные 052 весовых коэффициентов и объемных величин в интерполяционный блок 160, что и в блок 140 разбрызгивания. Правая часть таблицы показывает то, как весовые коэффициенты применяются к входным значениям глубины в 24 и 8. Например, интерполяция для позиции 7 по оси Y дает в результате ((5*24+3* 8))/8=18.
Фиг. 6 графически показывает два весовых коэффициента, используемые на фиг. 4 и 5, а именно, значение wpy и wpy на вертикальной оси, в качестве функции номера Y линии на горизонтальной оси. Весовой коэффициент wpy применяется к "настоящему" значению, тогда как весовой коэффициент wny применяется к "следующему" значению. Фиг. 7 соответствует фиг. 6, но дополнительно показывает интерполированный вывод, полученный между входными значениями глубины в 24 и 8, как показано на фиг. 5; можно видеть, что весовые коэффициенты вычисляются таким образом, чтобы предоставлять линейное затухание между входными значениями глубины. В дополнение к линейному затуханию, также могут использоваться интерполяционные функции высшего порядка, например, кубические или сплайн-интерполяции.
В общем, следует отметить, что размер элементов разрешения в размерности X или Y описанных объемных величин всегда может составлять степень 2, поскольку в этом случае интерполяция, например, представляющая собой трехлинейную интерполяцию с фиксированной запятой, может использовать операцию сдвига для нормализации, что приводит к существенному уменьшению затрат на аппаратные средства. Это может приводить к переменному числу элементов разрешения, которые требуются в зависимости от размера изображения. При изменении размера элемента разрешения, может оказываться влияние на производительность фильтра. Тем не менее, эксперименты демонстрируют, что это не оказывает значительное влияние на визуальную производительность. Кроме того, использование переменного числа элементов разрешения вместо фиксированного числа элементов разрешения не оказывает значительное влияние на аппаратную конструкцию. Размер элемента разрешения в размерности X или Y может указываться посредством параметра аппаратных средств, тогда как анализ того, какое значение следует выбирать, может перекладываться, например, на программное обеспечение микропроцессора.
Следует принимать во внимание, что, в общем, подсистема обработки может предоставляться отдельно от описанной интегральной схемы, например, в другом типе SoC.
Данные могут предоставляться на компьютерно-читаемом носителе, который задает подсистему обработки в форме списков узлов сети и/или синтезируемого RTL. Компьютерно-читаемый носитель, и в силу этого сохраненные данные, могут быть энергозависимыми или энергонезависимыми. Например, подсистема обработки может предоставляться в качестве синтезируемого ядра, например, на языке описания аппаратных средств, таком как Verilog или VHDL, или в качестве общих списков узлов сети уровня логического вентиля, предоставляющих представление в булевой алгебре логической функции RTC IP-блока, реализованной в качестве общих логических вентилей или конкретных для процесса стандартных ячеек.
Термин "карта" означает данные, размещаемые в строках и столбцах. Кроме того, прилагательное "глубины" должно пониматься как служащее признаком глубины частей изображения относительно камеры. Следовательно, карта глубины может состоять из значений глубины, но также и, например, из значения диспаратности или значения параллактического сдвига. По существу, карта глубины в силу этого может составлять карту диспаратности или карту параллактического сдвига. Здесь, термин "диспаратность" означает разность в позиции объекта при восприятии левым глазом или правым глазом пользователя. Термин "параллактический сдвиг" означает сдвиг объекта между двумя видами таким образом, чтобы предоставлять упомянутую диспаратность пользователю. Диспаратность и параллактический сдвиг, в общем, отрицательно коррелируются с расстоянием или глубиной. Известны устройство и способы для преобразования между всеми вышеуказанными типами карт и/или значениями.
Фиг. 8 показывает компьютерно-реализованный способ 500 для оценки карты глубины из изображения. Способ 500 показан как содержащий, в операции, называемой "осуществление доступа к данным изображений", осуществление доступа 510 к данным изображений изображения, в операции, называемой "осуществление доступа к данным глубины", осуществление доступа 520 к данным глубины карты глубины на основе шаблонов, в операции, называемой "применение объединенного билатерального фильтра", применение 530 объединенного билатерального фильтра к карте глубины на основе шаблонов с использованием данных изображений в качестве члена диапазона в объединенном билатеральном фильтре, за счет этого получая карту адаптированной к изображению глубины в качестве вывода, при этом применение объединенного билатерального фильтра содержит, в операции, называемой "инициализацией объемных величин", инициализацию 540 объемной величины суммы взвешенных глубин и объемной величины суммы весовых коэффициентов в качестве соответствующих пустых структур данных в запоминающем устройстве, в операции, называемой "операция разбрызгивания", выполнение 550 операции разбрызгивания, чтобы заполнять упомянутые объемные величины, в операции, называемой "операция разрезания", выполнение 560 операции разрезания, чтобы получать объемную величину адаптированной к изображению глубины, и в операции, называемой "операция интерполяции", выполнение 570 операции интерполяции, чтобы получать значение адаптированной к изображению глубины карты адаптированной к изображению глубины для каждого пиксела в изображении. Следует принимать во внимание, что вышеуказанная операция может выполняться в любом подходящем порядке, например, последовательно, одновременно либо в комбинации вышеозначенного, согласно, если применимо, конкретного требуемому порядку, например, посредством отношений ввода-вывода. Например, операции 510 и 520 могут выполняться параллельно или последовательно.
Способ 500 может реализовываться в процессорной системе, например, в компьютере в качестве компьютерно-реализованного способа, в качестве специализированных аппаратных средств либо в качестве комбинации означенного. Как также проиллюстрировано на фиг. 9, инструкции для компьютера, например, исполняемый код, могут сохраняться на компьютерно-читаемом носителе 600, например, в форме последовательности 610 компьютерно-читаемых физических меток и/или в качестве последовательности элементов, имеющих отличающиеся электрические, например, магнитные или оптические свойства или значения. Исполняемый код может сохраняться энергозависимым или энергонезависимым способом. Примеры компьютерно-читаемых носителей включают в себя запоминающие устройства, оптические устройства хранения данных, интегральные схемы, серверы, онлайновое программное обеспечение и т.д. Фиг. 9 показывает оптический диск 600.
Следует отметить, что вышеуказанные варианты осуществления иллюстрируют, а не ограничивают изобретение, и что специалисты в данной области техники должны иметь возможность разрабатывать множество альтернативных вариантов осуществления.
В формуле изобретения, все ссылки с номерами, помещенные в круглые скобки, не должны рассматриваться как ограничивающие формулу изобретения. Использование глагола "содержит" и его спряжений не исключает наличия элементов или этапов, отличных от элементов или этапов, изложенных в формуле изобретения. Упоминание элемента в единственном числе не исключает наличия множества таких элементов. Изобретение может реализовываться посредством аппаратных средств, содержащих несколько отдельных элементов, и посредством надлежащим образом запрограммированного компьютера. В пункте формулы изобретения на устройство, перечисляющем несколько средств, некоторые из этих средств могут быть осуществлены посредством идентичного элемента аппаратных средств. Простой факт того, что определенные меры упомянуты в различных зависимых пунктах формулы изобретения, не означает того, что комбинация этих мер не может использоваться с выгодой.
1. Интегральная схема, выполненная с возможностью оценивать карту глубины из изображения, причем интегральная схема содержит или соединяется с запоминающим устройством, причем интегральная схема содержит:
- интерфейс обработки данных изображений, выполненный с возможностью осуществлять доступ к данным изображений изображения;
- интерфейс обработки данных глубины, выполненный с возможностью осуществлять доступ к данным глубины карты глубины на основе шаблонов, причем карта глубины на основе шаблонов представляет шаблон, который должен быть адаптирован к данным изображений;
- подсистему обработки, выполненную с возможностью применять объединенный билатеральный фильтр к карте глубины на основе шаблонов с использованием данных изображений в качестве члена диапазона в объединенном билатеральном фильтре, за счет этого получая карту адаптированной к изображению глубины в качестве вывода;
- при этом подсистема обработки выполнена с возможностью реализовывать объединенный билатеральный фильтр посредством:
- инициализации объемной величины суммы взвешенных глубин и объемной величины суммы весовых коэффициентов в качестве соответствующих пустых структур данных в запоминающем устройстве, причем каждая из упомянутых объемных величин содержит:
- две пространственных размерности, представляющие дискретизированную с понижением версию двух пространственных размерностей данных изображений, и
- по меньшей мере одну размерность диапазона, представляющую дискретизированную с понижением версию размерности диапазона компонента изображения данных изображений;
- при этом ячейки упомянутых объемных величин задают элементы разрешения в системе координат изображения, которая задается относительно двух пространственных размерностей изображения и размерности диапазона данных изображений;
- выполнения операции разбрызгивания, чтобы заполнять упомянутые объемные величины, при этом операция разбрызгивания содержит, для каждого пиксела в изображении:
- идентификацию смежных элементов разрешения в объемной величине суммы взвешенных глубин, в которую пиксел вносит долю в операции разбрызгивания на основе координаты пиксела в системе координат изображения, причем координата служит признаком относительной позиции пиксела относительно элементов разрешения каждой из упомянутых объемных величин:
- получение значения глубины пиксела из карты глубины на основе шаблонов;
- для каждого из смежных элементов разрешения:
- получение весового коэффициента разбрызгивания для взвешивания значения глубины, при этом весовой коэффициент разбрызгивания определяет долю пиксела в соответствующий элемент разрешения и определяется на основе относительной позиции пиксела относительно соответствующего элемента разрешения,
- взвешивание значения глубины посредством весового коэффициента разбрызгивания,
- накопление значения взвешенной глубины в соответствующем элементе разрешения объемной величины суммы взвешенных глубин и накопление весового коэффициента разбрызгивания в соответствующем элементе разрешения объемной величины суммы весовых коэффициентов;
- выполнения операции разрезания, чтобы получать объемную величину адаптированной к изображению глубины, посредством, для каждого элемента разрешения объемной величины суммы взвешенных глубин и соответствующего элемента разрешения объемной величины суммы весовых коэффициентов, деления накопленных значений взвешенной глубины на накопленные весовые коэффициенты;
- выполнения операции интерполяции, чтобы получать значение адаптированной к изображению глубины карты адаптированной к изображению глубины для каждого пиксела в изображении, при этом операция интерполяции содержит:
- на основе координаты пиксела в системе координат изображения, идентификацию смежных элементов разрешения в объемной величине адаптированной к изображению глубины на основе пиксела, вносящего долю в соответствующие элементы разрешения объемной величины суммы взвешенных глубин во время операции разбрызгивания;
- применение интерполяционного фильтра к смежным элементам разрешения объемной величины адаптированной к изображению глубины, при этом интерполяционный фильтр содержит, для каждого из смежных элементов разрешения, весовой коэффициент интерполяции, который определяется на основе относительной позиции пиксела относительно соответствующего элемента разрешения.
2. Интегральная схема по п. 1, в которой подсистема обработки содержит специализированную аппаратную схему и микропроцессор, конфигурируемый посредством программного обеспечения, при этом:
- специализированная аппаратная схема выполнена с возможностью выполнять операцию разбрызгивания и операцию интерполяции; и
- микропроцессор выполнен с возможностью, посредством программного обеспечения, в ходе работы интегральной схемы, выполнять операцию разрезания.
3. Интегральная схема по п. 2, в которой специализированная аппаратная схема содержит таблицу фильтров для сохранения весовых коэффициентов разбрызгивания, используемых в операции разбрызгивания, и/или весовых коэффициентов интерполяции, используемых в операции интерполяции.
4. Интегральная схема по п. 3, в которой в таблицу фильтров загружаются весовые коэффициенты разбрызгивания, используемые в операции разбрызгивания, и весовые коэффициенты интерполяции, используемые в операции интерполяции, перед выполнением соответствующей операции.
5. Интегральная схема по любому из пп. 1-3, в которой весовые коэффициенты разбрызгивания, используемые в операции разбрызгивания, и весовые коэффициенты интерполяции, используемые в операции интерполяции, являются идентичными.
6. Интегральная схема по любому из пп. 1-5, в которой весовые коэффициенты разбрызгивания, используемые в операции разбрызгивания, и весовые коэффициенты интерполяции, используемые в операции интерполяции, представляют линейную интерполяцию относительно системы координат изображения.
7. Интегральная схема по п. 2, в которой микропроцессор выполнен с возможностью, посредством программного обеспечения, в ходе работы интегральной схемы, применять временную фильтрацию к объемной величине суммы взвешенных глубин и к объемной величине суммы весовых коэффициентов до выполнения операции разрезания.
8. Интегральная схема по п. 7, в которой временная фильтрация представляет собой фильтр с бесконечной импульсной характеристикой первого или высшего порядка.
9. Интегральная схема по любому из пп. 1-8, в которой подсистема обработки выполнена с возможностью, после выполнения операции разбрызгивания, свертывать объемную величину суммы взвешенных глубин с гауссовым ядром.
10. Интегральная схема по любому из пп. 1-9, при этом интегральная схема представляет собой или составляет часть программируемой пользователем вентильной матрицы.
11. Интегральная схема по любому из пп. 1-9, при этом интегральная схема представляет собой или составляет часть внутрикристальной системы.
12. Устройство отображения, содержащее интегральную схему по любому из пп. 1-11.
13. Абонентская приставка, содержащая интегральную схему согласно любому из пп. 1-11.
14. Компьютерно-реализованный способ для оценки карты глубины из изображения, при этом способ содержит этапы, на которых:
- осуществляют доступ к данным изображений изображения;
- осуществляют доступ к данным глубины карты глубины на основе шаблонов, причем карта глубины на основе шаблонов представляет шаблон, который должен быть адаптирован к данным изображений;
- применяют объединенный билатеральный фильтр к карте глубины на основе шаблонов с использованием данных изображений в качестве члена диапазона в объединенном билатеральном фильтре, за счет этого получая карту адаптированной к изображению глубины в качестве вывода, при этом применение объединенного билатерального фильтра содержит этапы, на которых:
- инициализируют объемную величину суммы взвешенных глубин и объемную величину суммы весовых коэффициентов в качестве соответствующих пустых структур данных в запоминающем устройстве, причем каждая из упомянутых объемных величин содержит:
- две пространственных размерности, представляющие дискретизированную с понижением версию двух пространственных размерностей данных изображений, и
- по меньшей мере одну размерность диапазона, представляющую дискретизированную с понижением версию размерности диапазона компонента изображения данных изображений;
- при этом ячейки упомянутых объемных величин задают элементы разрешения в системе координат изображения, которая задается относительно двух пространственных размерностей изображения и размерности диапазона данных изображений;
- выполняют операцию разбрызгивания, чтобы заполнять упомянутые объемные величины, при этом операция разбрызгивания содержит, для каждого пиксела в изображении, этап, на котором:
- идентифицируют смежные элементы разрешения в объемной величине суммы взвешенных глубин, в которую пиксел вносит долю в операции разбрызгивания на основе координаты пиксела в системе координат изображения, причем координата служит признаком относительной позиции пиксела относительно элементов разрешения каждой из упомянутых объемных величин:
- получают значение глубины пиксела из карты глубины на основе шаблонов;
- для каждого из смежных элементов разрешения:
- получают весовой коэффициент разбрызгивания для взвешивания значения глубины, при этом весовой коэффициент разбрызгивания определяет долю пиксела в соответствующий элемент разрешения и определяется на основе относительной позиции пиксела относительно соответствующего элемента разрешения,
- взвешивают значение глубины посредством весового коэффициента разбрызгивания,
- накапливают значение взвешенной глубины в соответствующем элементе разрешения объемной величины суммы взвешенных глубин и накапливают весовой коэффициент разбрызгивания в соответствующем элементе разрешения объемной величины суммы весовых коэффициентов;
- выполняют операцию разрезания, чтобы получать объемную величину адаптированной к изображению глубины, посредством, для каждого элемента разрешения объемной величины суммы взвешенных глубин и соответствующего элемента разрешения объемной величины суммы весовых коэффициентов, деления накопленных значений взвешенной глубины на накопленные весовые коэффициенты;
- выполняют операцию интерполяции, чтобы получать значение адаптированной к изображению глубины карты адаптированной к изображению глубины для каждого пиксела в изображении, при этом операция интерполяции содержит этап, на котором:
- на основе координаты пиксела в системе координат изображения, идентифицируют смежные элементы разрешения в объемной величине адаптированной к изображению глубины на основе пиксела, вносящего долю в соответствующие элементы разрешения объемной величины суммы взвешенных глубин во время операции разбрызгивания;
- применяют интерполяционный фильтр к смежным элементам разрешения объемной величины адаптированной к изображению глубины, при этом интерполяционный фильтр содержит, для каждого из смежных элементов разрешения, весовой коэффициент интерполяции, который определяется на основе относительной позиции пиксела относительно соответствующего элемента разрешения.
15. Компьютерно-читаемый носитель, содержащий энергозависимые или энергонезависимые данные, представляющие инструкции, чтобы инструктировать процессорной системе осуществлять способ по п. 14.
