Устройство обработки изображений, способ обработки изображений и программа, и устройство съемки изображений, включающее в себя устройство обработки изображений

Изобретение относится к устройствам съемки изображений. Техническим результатом является возможность выполнять обработку коррекции в отношении дефектного пикселя, над сигналом съемки изображения, полученным таким образом, чтобы включать в себя информацию о направленном распространении света. Результат достигается тем, что устройство обработки изображений обрабатывает сигнал изображения, полученный от элемента съемки изображений с использованием оптической системы съемки изображений, выполненной с возможностью получения информации о направленном распространении света изображения объекта, соответствующего области разделения зрачка фотографического объектива. Устройство включает в себя: блок установки положения фокуса, в котором формируется перефокусированное изображение; и блок корректировки сигнала изображения дефектного пикселя элемента съемки изображений с использованием сигнала изображения другого пикселя. Устройство определяет другой пиксель, подлежащий использованию для корректировки сигнала изображения дефектного пикселя, на основании установленного положения фокуса и информации о направленном распространении света изображения объекта. 4 н. и 5 з.п. ф-лы, 14 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству обработки изображений, применяемому в устройстве съемки изображений, использующем элемент съемки изображений, имеющий матрицу микролинз, и более конкретно к устройству обработки изображений для выполнения мер коррекции дефектных пикселей, и устройству съемки изображений, включающему в себя перечисленное.

УРОВЕНЬ ТЕХНИКИ

В последние годы были предложены камеры, которые могут восстанавливать изображение в любом положении фокуса, установленном пользователями, по данным изображения, полученным таким образом, что они включают в себя информацию о направленном распространении света в дополнение к распределению интенсивности света. Например, NPL 1 предлагает камеру светового поля, реализующую вышеописанную функцию с использованием способа, называемого «фотографирование светового поля». NPL 1 применяет оптическую систему, имеющую конфигурацию, где матрица микролинз располагается между фотографическим объективом и элементом съемки изображений, чтобы обеспечивать возможность свету, прошедшему через разные области зрачка фотографического объектива, сходиться на соответствующих микролинзах. Блок пикселей, включающий в себя множество пикселей, назначается одной микролинзе. Свет, собранный посредством микролинзы, фотоэлектрически преобразуется посредством различных пикселей, включенных в соответствующий блок, в зависимости от направления прибытия. Сигнал изображения, соответствующий лучу света, сфокусированного на плоскости синтетического изображения (плоскости перефокусировки) и падающего на каждую микролинзу, извлекается из таким образом полученного сигнала изображения, тем самым обеспечивая возможность восстанавливать изображение в любом положении фокуса.

В твердотельных элементах съемки изображений, таких как датчик изображений CCD и датчик изображений CMOS, дефектный пиксель может возникать вследствие дефекта кристалла, локально существующего в подложке полупроводника. Никакой корректный вывод фотоэлектрического преобразования не может получаться от такого дефектного пикселя. Соответственно, требуется корректировать сигнал съемки изображения от дефектного пикселя.

Стандартные способы для корректировки сигнала съемки изображения от дефектного пикселя представляют собой, например, способ замены значения пикселя дефектного пикселя на значение пикселя от пикселя, смежного с дефектным пикселем, и способ замены значения пикселя для дефектного пикселя на среднее значение пикселей, смежных с дефектным пикселем.

СПИСОК ЦИТИРОВАННЫХ ИСТОЧНИКОВ

НЕПАТЕНТНАЯ ЛИТЕРАТУРА

NPL1: Ren. Ng, и семь других авторов, "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

В камере светового поля, как описано в NPL 1, лучи света, сфокусированные на плоскости перефокусировки, принимаются соответственно посредством множества пикселей. Чем более положение плоскости перефокусировки отдалено от матрицы микролинз, тем дальше положения, в которых лучи света принимаются посредством соответствующих пикселей, отделены друг от друга.

Таким образом, существует проблема того, что обычный способ корректировки значения пикселя дефектного пикселя с использованием значений пикселей смежных пикселей в элементе фотоэлектрического преобразования не может подходящим образом корректировать значение пикселя дефектного пикселя.

РЕШЕНИЕ ЗАДАЧИ

Настоящее изобретение было создано с учетом вышеописанной ситуации и обеспечивает устройство обработки изображений, выполненное с возможностью всегда выполнять соответствующую обработку коррекции в отношении дефектного пикселя, над сигналом съемки изображения, полученным таким образом, чтобы включать в себя информацию о направленном распространении света.

Согласно настоящему изобретению, устройство обработки изображений для обработки сигнала изображения, полученного от элемента съемки изображений с использованием оптической системы съемки изображений, выполненной с возможностью получения информации о направленном распространении света изображения объекта, соответствующего области разделения зрачка фотографического объектива, включает в себя: блок установки положения плоскости синтетического изображения, устанавливающий положение плоскости синтетического изображения, на которой изображение объекта восстанавливается с использованием сигнала изображения, полученного от элемента съемки изображений; и блок коррекции, корректирующий сигнал изображения дефектного пикселя элемента съемки изображений с использованием сигнала изображения другого пикселя элемента съемки изображений, при этом блок коррекции определяет другой пиксель, подлежащий использованию для корректировки сигнала изображения дефектного пикселя, на основании положения плоскости синтетического изображения, установленной посредством блока установки положения плоскости синтетического изображения, и информации о направленном распространении света изображения объекта.

ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

Настоящее изобретение может выполнять соответствующую коррекцию дефектных пикселей на захваченном изображении для формирования перефокусированного изображения.

Дополнительные признаки настоящего изобретения станут очевидны из нижеследующего описания иллюстративных вариантов осуществления со ссылкой на прилагаемые чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 является общей блок-схемой устройства съемки изображений согласно одному варианту осуществления настоящего изобретения.

Фиг. 2 является принципиальной схемой конфигураций матрицы пикселей и матрицы микролинз элемента съемки изображений согласно варианту осуществления настоящего изобретения.

Фиг. 3 является принципиальной схемой конфигураций фотографического объектива, матрицы микролинз и матрицы пикселей согласно варианту осуществления настоящего изобретения.

Фиг. 4A и 4B являются схемами, иллюстрирующими отношение соответствия между областями разделения зрачка фотографического объектива, микролинз и матрицы пикселей.

Фиг. 5 является схемой, иллюстрирующей позиционное отношение между лучом света, проходящим через некоторый пиксель на плоскости перефокусировки, областью разделения зрачка фотографического объектива и микролинзой.

Фиг. 6 является блок-схемой блока обработки изображений устройства съемки изображений согласно варианту осуществления настоящего изобретения.

Фиг. 7 является блок-схемой последовательности операций обработки коррекции дефектов согласно варианту осуществления настоящего изобретения.

Фиг. 8 является схемой, иллюстрирующей отношение между лучом света, который выходит из области разделения зрачка фотографического объектива и затем падает на микролинзу, и положением прохождения на плоскости перефокусировки.

Фиг. 9A и 9B являются принципиальными схемами лучей света, излученных из соответствующих областей разделения зрачка фотографического объектива, проходящих через матрицу микролинз, и падающих на соответствующие пиксели элемента съемки изображений.

Фиг. 10A и 10B являются схемами, иллюстрирующими примеры дефектного пикселя и пикселей, выбранных в качестве пикселей для его коррекции.

Фиг. 11 является схемой, иллюстрирующей примеры весовых коэффициентов согласно положениям в матрице пикселей.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Предпочтительные варианты осуществления настоящего изобретения будут подробно описаны с обращением к сопровождающим чертежам.

ПРИМЕР 1

Фиг. 1 является блок-схемой всего устройства съемки изображений первого варианта осуществления настоящего изобретения. На этой схеме свет изображения объекта, прошедший через фотографический объектив 101, формирует изображение, расположенное рядом с положением фокуса фотографического объектива 101. Матрица 102 микролинз включает в себя множество микролинз 113. Оптическая система съемки изображений включает в себя матрицу 102 микролинз и фотографический объектив. Матрица 102 микролинз расположена смежно с положением фокуса фотографического объектива 101. Свет, проходящий через разные области зрачка фотографического объектива 101, падает на матрицу 102 микролинз, и выходит оттуда отдельно для каждой области разделения зрачка. Свет, разделенный посредством матрицы 102 микролинз, падает на элемент 103 съемки изображений. Элемент 103 съемки изображений выполнен посредством, например, любого из датчика изображений CCD и датчика изображений CMOS, и располагается вокруг положения фокуса матрицы 102 микролинз.

Аналоговый входной блок (AFE) 104 выполняет регулировку опорного уровня (обработку фиксации) и обработку аналого-цифрового преобразования над сигналом изображения от элемента 103 съемки изображений. Цифровой входной блок (DFE) 105 выполняет цифровую обработку коррекции, такую как точный сдвиг опорного уровня, над сигналом цифрового изображения, выведенным из AFE 104. Блок 106 обработки изображений применяет предписанную обработку изображения к сигналу цифрового изображения из DFE 105 и формирует и выводит данные изображения. Блок хранения 107 включает в себя энергонезависимую память для хранения информации дефектных пикселей (координат). Блок 108 управления управляет всем устройством съемки изображений централизованным способом, включает в себя хорошо известное CPU, и загружает и выполняет программу, сохраненную в памяти, не проиллюстрировано, тем самым, управляя операциями соответствующих компонентов и различными обработками. Операционный блок 109 сконфигурирован с возможностью электрического приема операции операционного элемента в цифровой камере. Пользователь может устанавливать любое положение плоскости перефокусировки (синтетического изображения) для формирования перефокусированного изображения, с использованием операционного блока 109 (блока установки положения плоскости синтетического изображения). Положение этой плоскости перефокусировки может автоматически устанавливаться посредством блока 108 управления с использованием параметров камеры.

Блок 110 отображения отображает изображение. Носитель 111 записи может быть любым из карты памяти и жесткого диска. Схема формирования сигналов синхронизации (TG) 112 формирует различные сигналы синхронизации для управления элементом 103 съемки изображений.

Как проиллюстрировано на фиг. 6, блок 106 обработки изображений этого варианта осуществления включает в себя блок 601 коррекции дефектов и блок 602 восстановления. Блок 601 коррекции дефектов выполняет обработку коррекции над дефектным пикселем данных изображения. Настоящее изобретение характеризуется блоком коррекции дефектов. Подробности будут описаны ниже. Блок 602 восстановления на фиг. 6 выполняет операционную обработку с использованием способа, называемого «фотографирование светового поля», тем самым восстанавливая изображение в установленном положении фокуса (плоскости перефокусировки) по данным изображения. Подробности блока 602 восстановления будут описаны позже.

Ниже будут описаны конфигурации фотографического объектива 101, матрицы 102 микролинз и элемента 103 съемки изображений, включенных в устройство съемки изображений этого варианта осуществления.

Фиг. 2 является принципиальной схемой для описания конфигураций элемента 103 съемки изображений и матрицы 102 микролинз. Эта схема является принципиальной схемой, иллюстрирующей отношение компоновки между элементом 103 съемки изображений и матрицей 102 микролинз, если смотреть с направления оптической оси Z на фиг. 1. Одна микролинза 113 располагается таким образом, чтобы соответствовать множеству пикселей 201 (ниже просто называемым пикселями). Пиксели 201 за одной микролинзой объединено определяются как матрица 200 пикселей. В этом варианте осуществления матрица 200 пикселей включает в себя 25 пикселей 201 в пяти строках и пяти столбцах.

Фиг. 3 является принципиальной схемой ситуации, в которой луч света, излученный из фотографического объектива 101, проходит через одну микролинзу 113 и принимается элементом 103 съемки изображений, если смотреть с направления, перпендикулярного к оптической оси Z. Свет изображения объекта, излученный от каждой из областей a1-a5 зрачка фотографического объектива, проходит через микролинзу 113, и фокусируется на светочувствительных поверхностях соответствующих пикселей p1-p5, расположенных за микролинзой 113. То есть лучи света, выходящие из разных областей p1-p5 разделения зрачка, проходят через одну микролинзу 113 и фотоэлектрически преобразуются посредством разных пикселей, тем самым получая информацию о направленном распространении света изображения объекта.

Фиг. 4A является принципиальной схемой апертуры фотографического объектива при просмотре из направления оптической оси Z. Фиг. 4B является принципиальной схемой одной микролинзы 113 и матрицы 200 пикселей, расположенной за микролинзой 113, если смотреть с направления оптической оси Z. Как проиллюстрировано на фиг. 4A, когда область зрачка фотографического объектива 101 разделяется на области в количестве, равном количеству пикселей, включенных в матрицу пикселей под одной микролинзой, свет из одной области разделения зрачка фотографического объектива фокусируется на одном пикселе. Здесь, предполагается, что F - числа фотографического объектива 101 и микролинзы 113 по существу совпадают друг с другом.

Отношение соответствия между областями разделения зрачка a11-a55 фотографического объектива 101, проиллюстрированными на фиг. 4A, и пикселями p11-p55, проиллюстрированными на фиг. 4B, имеет точечную симметрию при просмотре с направления оптической оси Z. Соответственно, свет, излученный из области разделения зрачка a11 фотографического объектива 101, фокусируется на пикселе p11, включенном в матрицу 200 пикселей за микролинзой 113. Подобным образом, свет, излученный из области разделения зрачка a11 и проходящий через другую микролинзу 113, также фокусируется на пикселе p11 в матрице 200 пикселей за этой микролинзой.

Ниже будет описана обработка восстановления. Эта обработка выполняется над изображением на произвольно установленной плоскости синтетического изображения (плоскости перефокусировки) в сигнале съемки изображения, полученном системой съемки изображений, включающей в себя фотографический объектив 101, матрицу 102 микролинз и элемент 103 съемки изображений. Обработка восстановления выполняется под управлением посредством блока 108 управления на основании программы управления в блоке 602 восстановления, проиллюстрированном на фиг. 6, с использованием способа, называемого «фотографирование светового поля».

Фиг. 5 является принципиальной схемой, иллюстрирующей то, из какой области разделения зрачка фотографического объектива 101 выходит луч света, прошедший через пиксель на произвольно установленной плоскости перефокусировки, и в какую микролинзу 113 луч падает, если смотреть с направления, перпендикулярного к оптической оси Z. Эта схема предполагает, что координатами положения области разделения зрачка на плоскости фотографического объектива являются (u, v), координатами положения пикселя на плоскости перефокусировки являются (x, y), и координатами положения микролинзы на плоскости матрицы микролинз являются (x', y'). Эта схема также предполагает, что расстояние от плоскости фотографического объектива до плоскости матрицы микролинз равняется F, и расстояние от плоскости фотографического объектива до плоскости перефокусировки равняется F. Коэффициент перефокусировки α предназначен для определения положения плоскости перефокусировки, и может произвольно устанавливаться пользователем . Фиг. 5 иллюстрирует только направления u, x и x', но направления v, y и y', перпендикулярные к ним, пропущены. Как проиллюстрировано на фиг. 5, луч света, прошедший через координаты (u, v) и координаты (x, y), достигает координаты (x', y') на матрице микролинз. Координаты (x', y') могут представляться как уравнение (1).

При условии, что вывод пикселя, принявшего луч света, равняется L(x', y', u, v), вывод E(x, y), полученный для координат (x, y) на плоскости перефокусировки, получается посредством интегрирования L(x', y', u, v) по области зрачка фотографического объектива. Соответственно, вывод представляется как уравнение (2).

(2)

В уравнении (1), коэффициент перефокусировки  определяется пользователем. Соответственно, предоставление (x, y) и (u, v) определяет положение (x', y') микролинзы, на которую луч света попадает. Затем, пиксель, соответствующий положению (u, v), может узнаваться из матрицы 200 пикселей, соответствующей микролинзе. Вывод пикселя равняется L(x', y', u, v). Вывод получается на всех областях разделения зрачка. Полученный вывод пикселя суммируется (интегрируется) согласно уравнению (2), тем самым, вычисляется E(x, y).

При условии, что (u, v) являются репрезентативными координатами на областях разделения зрачка фотографического объектива (дискретное значение), интегрирование уравнения (2) может вычисляться посредством простого суммирования ().

Как описано выше, выполняется операционная обработка уравнения (2), тем самым обеспечивая возможность восстанавливать изображение в произвольном положении фокуса.

Ниже будет описана операция коррекции дефектов в блоке 601 коррекции дефектов, которая характеризует настоящее изобретение. Эта операция выполняется под управлением блока 108 управления согласно программе, сохраненной в системе.

Фиг. 7 является блок-схемой последовательности операций обработки коррекции дефектов в блоке 601 коррекции дефектов. При определении, является ли пиксель дефектным пикселем или нет, по отношению к сигналу изображения, полученному от каждого пикселя элемента 103 съемки изображений, блок 601 коррекции дефектов корректирует сигнал изображения, когда пиксель является дефектным пикселем. Предполагается, что определяется, является ли сигнал изображения, введенный в блок 601 коррекции дефектов, сигналом изображения от дефектного пикселя или сигналом изображения от нормального пикселя, на основании информации координат дефектного пикселя, предварительно сохраненной в памяти заранее, например.

На этапе S701, получается коэффициент перефокусировки α на основании положения плоскости синтетического изображения, установленной посредством операционного блока 109.

На этапе S702, определяется, является ли пиксель во введенных данных изображения дефектным пикселем или нормальным пикселем. Если пиксель является дефектным пикселем, обработка переходит на этап S703. Если пиксель является нормальным пикселем, обработка переходит на этап S706.

На этапе S703, выбирается пиксель, используемый для формирования значения коррекции, для создания значения коррекции пикселя, определенного как дефектный пиксель. Сначала, определяются координаты на плоскости перефокусировки изображения, подлежащего восстановлению, посредством использования дефектного пикселя. Вычисляют координаты других пикселей, используемых для восстановления изображения на полученных координатах на плоскости перефокусировки. Пиксели, используемые для формирования значения коррекции, выбираются из числа упомянутых пикселей.

На этапе S704, значение коррекции для корректировки дефектного пикселя формируется с использованием сигнала изображения от пикселей для формирования значения коррекции, которые были выбраны на S703. В этом варианте осуществления, значением коррекции является среднее арифметическое пикселей, используемых для формирования значения коррекции. Однако настоящий вариант осуществления не ограничен этим. Согласно положению в матрице 200 пикселей выбранных пикселей для формирования значения коррекции, значением коррекции может быть взвешенное среднее значение, использующее весовой коэффициент, как проиллюстрировано на фиг. 11. Фиг. 11 является примером весовых коэффициентов, соответствующих матрице 200 пикселей, проиллюстрированной на фиг. 4B. На фиг. 4B, если весовые коэффициенты пикселей (например, p11, p15, p51 и p55) в матрице 200 пикселей, соответствующей области, иной, нежели эффективная область зрачка фотографического объектива, установлены малыми, влияние шума может уменьшаться, когда формируется значение коррекции.

На этапе S705, коррекция выполняется посредством замены вывода дефектного пикселя на значение коррекции, вычисленное на S704.

На этапе S706, определяется, подверглись ли уже все пиксели обработкам на S702-705. Если обработки еще не выполнены над всеми пикселями, обработка возвращается на S702, и определяется, является ли следующий пиксель дефектным пикселем или нет. Если следующий пиксель является конечным пикселем, операция коррекции дефектов заканчивается.

Далее, будет подробно описан способ выбора пикселей, используемых для создания значения коррекции на этапе S703. Здесь, описание осуществляется при предположении, что пиксель, соответствующий области разделения зрачка (uk, pk) фотографического объектива среди пикселей, включенных в матрицу 200 пикселей, соответствующую микролинзе с координатами (xk', yk') в матрице микролинз, является дефектным пикселем.

Положение на плоскости синтетического изображения, через которое проходит луч света, излученный из области разделения зрачка (uk, pk) плоскости фотографического объектива и входящий в микролинзу с координатами (xk', yk') на плоскости матрицы микролинз, и который фокусируется на дефектном пикселе, является положением (xk, yk). Сначала, вычисляются координаты (xk, yk).

Фиг. 8 является принципиальной схемой для иллюстрации того, через какие координаты на плоскости перефокусировки проходит луч света, излученный из области разделения зрачка (uk, pk) плоскости фотографического объектива и падающий на микролинзы с координатами (xk', yk') на плоскости матрицы микролинз. Как и фиг. 5, эта схема иллюстрирует только направления u, x и x', но пропускает вертикальные направления v, y и y'.

Как можно видеть из фиг. 8, координаты (xk, yk) на плоскости перефокусировки, через которые проходит луч света, могут представляться посредством уравнения (3).

(3)

Соответственно, пиксели, принимающие лучи света, проходящие через идентичное положение (xk, yk) на плоскости перефокусировки, представленное посредством уравнения (3), должны объединяться вместе с дефектным пикселем, когда изображение восстанавливается. При условии, что эти выводы пикселей представлены посредством L(x', y', u, v), L(x', y', u, v) может быть представлено посредством уравнения (4) с использованием уравнения (1).

(4)

Здесь, репрезентативные координаты (u, v) находятся на областях разделения зрачка, иных, нежели область разделения зрачка (uk, vk), через которую луч входит в дефектный пиксель. То есть интегрирование уравнения (2) может вычисляться посредством простого суммирования.

Например, значение коррекции создается из среднего значения четырех пикселей, расположенных рядом, т.е. выше, ниже, справа и слева от дефектного пикселя в элементе съемки изображений среди пикселей, используемых для восстановления изображения вместе с дефектным пикселем. В этом случае, значение коррекции вычисляется по четырем выводам пикселей, полученным посредством подстановки (uk+d, vk), (uk-d, vk), (uk, vk+d), (uk, vk-d) соответственно в (u, v) в уравнении (4).

Обозначение d обозначает расстояние между репрезентативными координатами смежных областей разделения зрачка фотографического объектива. Здесь, при предположении, что расстояние F вычисляется от фотографического объектива 101 до матрицы 102 микролинз, расстояние f вычисляется от матрицы микролинз до элемента 103 съемки изображений, шаг пикселя элемента съемки изображений равняется s, и F- числа фотографического объектива и микролинзы являются равными, d может выражаться как уравнение (5).

(5)

В случае, когда плоскость перефокусировки установлена на плоскости матрицы микролинз, т.е. случае, когда α=1, уравнение (3) не работает. В этом случае, изображение фотографического объектива формируется посредством микролинзы на соответствующей матрице пикселей. Пиксель, смежный с дефектным пикселем в матрице пикселей, может выбираться в качестве пикселей для коррекции в соответствии со способом вычисления значения коррекции.

Фиг. 9A, 9B, 10A и 10B иллюстрируют примеры пикселей для создания значения коррекции, выбираемых согласно вышеописанному способу.

Фиг. 9A и 9B являются принципиальными схемами, иллюстрирующими ситуацию, в которой лучи света, излученные из соответствующих областей разделения зрачка фотографического объектива 101, проходят через матрицу 102 микролинз и падают на соответствующие пиксели элемента 103 съемки изображений. Фиг. 10A и 10B являются принципиальными схемами, иллюстрирующими элемент 103 съемки изображений и матрицу 102 микролинз, когда осуществляется просмотр упомянутого элемента и матрицы с направления оптической оси.

Фиг. 9A иллюстрирует луч света, когда плоскость перефокусировки установлена на положение, идентичное положению матрицы микролинз (=1). В этом случае, пиксели, используемые для формирования сигнала пикселя восстановленного изображения с координатами (x, y) на плоскости перефокусировки, являются пикселями, показанными как пиксели A, B и C на фиг. 10A. Когда плоскость перефокусировки установлена на матрице микролинз, все пиксели, подлежащие использованию для восстановления некоторых координат, являются пикселями в одной и той же матрице пикселей. Когда пиксель B является дефектным пикселем на фиг. 10A и 10B, пиксели для создания значения коррекции дефектного пикселя B, являются четырьмя пикселями C, смежными с дефектным пикселем B. Затем, коррекция выполняется посредством замены вывода дефектного пикселя B на среднее четырех пикселей C.

Тем временем, луч света в случае, когда плоскость перефокусировки установлена на стороне фотографического объектива по отношению к матрице микролинз (0<<1), является таким, как проиллюстрировано на фиг. 9B. В этом случае, пиксели, используемые для формирования сигнала пикселя восстановленного изображения с координатами (x, y) на плоскости перефокусировки, являются пикселями в дальних положениях, как показано как пиксели A, B и C на фиг. 10B, например. Здесь, когда пиксель B является дефектным пикселем, пиксели, подлежащие использованию для создания значения коррекции дефектного пикселя B, являются четырьмя пикселями C рядом с дефектным пикселем B среди пикселей, используемых для восстановления изображения. Затем, коррекция выполняется посредством замены вывода дефектного пикселя B на среднее значение четырех пикселей C.

Как показано на фиг. 9A, 9B, 10A и 10B, даже в случае коррекции дефектного пикселя в идентичном положении, пиксели, подлежащие использованию для корректировки дефектного пикселя, являются разными согласно положению на установленной плоскости синтетического изображения. Настоящее изобретение обеспечивает возможность выполнения подходящей коррекции над дефектным пикселем согласно такой ситуации.

Конфигурация может применяться для случая, где обработка коррекции дефектов выполняется в блоке 602 восстановления. То есть обработка восстановления, представленная уравнением (2), последовательно выполняется в блоке 602 восстановления. Если дефект находится в пикселях, используемых для восстановления изображения, значение коррекции может создаваться из значения пикселя, представленного посредством уравнения (4).

Как описано выше, сначала в этом варианте осуществления получает информацию о том, какие координаты на плоскости перефокусировки используются для восстановления дефектного пикселя. Вычисляются координаты других пикселей, используемых для восстановления изображения на координатах полученной плоскости перефокусировки. Значение коррекции создается из выходных значений пикселей вычисленных координат. Таким образом, дефектный пиксель может подходящим образом корректироваться по отношению к взятому изображению для восстановления перефокусированного изображения.

Управление посредством блока 108 управления системы может выполняться посредством одной единицы аппаратного обеспечения или может разделяться среди множества единиц аппаратного обеспечения для управления всем устройством. В вышеописанном варианте осуществления, настоящее изобретение было описано как иллюстрирующее устройство съемки изображений. Однако является очевидным, что настоящее изобретение является применимым к обработкам над сигналом изображения, обеспеченным из носителя записи в обрабатывающем устройстве, таком как PC.

ДРУГИЕ ПРИМЕРЫ

Аспекты настоящего изобретения также могут быть реализованы посредством компьютера системы или устройства (или устройств, таких как CPU или MPU), которые считывают и выполняют программу, сохраненную на запоминающем устройстве, для выполнения функций вышеописанного варианта (вариантов) осуществления, и посредством способа, этапы которого выполняются компьютером системы или устройства посредством, например, считывания и выполнения программы, сохраненной на запоминающем устройстве, чтобы выполнять функции вышеописанного варианта (вариантов) осуществления. Для этой цели программа вводится в компьютер, например, посредством сети или с носителей записи различных видов, служащих в качестве запоминающего устройства (например, машиночитаемого носителя).

Хотя настоящее изобретение было описано со ссылкой на иллюстративные варианты осуществления, следует понимать, что изобретение не ограничено раскрытыми иллюстративными вариантами осуществления. Объем нижеследующей формулы изобретения должен быть интерпретирован наиболее широко таким образом, чтобы он охватывал все такие модификации и эквивалентные структуры и функции.

По настоящей заявке испрашивается приоритет на основании заявки на патент Японии № 2011-262007, поданной 30 ноября 2011 г., которая настоящим в полном объеме включена в настоящий документ путем ссылки.

1. Устройство обработки изображений для обработки сигнала изображения, полученного от элемента съемки изображений с использованием оптической системы съемки изображений, выполненной с возможностью получения информации о направленном распространении света изображения объекта, соответствующего области разделения зрачка фотографического объектива, содержащее:
блок установки положения плоскости синтетического изображения, который устанавливает положение плоскости синтетического изображения, на которой восстанавливается изображение объекта с использованием сигнала изображения, полученного от элемента съемки изображений; и
блок коррекции, который корректирует сигнал изображения дефектного пикселя элемента съемки изображений с использованием сигнала изображения другого пикселя элемента съемки изображений, при этом блок коррекции определяет другой пиксель, подлежащий использованию для корректировки сигнала изображения дефектного пикселя, на основании положения плоскости синтетического изображения, установленной посредством блока установки положения плоскости синтетического изображения, и информации о направленном распространении света изображения объекта.

2. Устройство обработки изображений по п. 1, в котором блок коррекции выбирает другой пиксель из пикселей, принимающих свет изображения объекта, включающий в себя информацию о направлении распространения, в положении, идентичном положению на плоскости синтетического изображения, через которое проходит свет изображения объекта, падающий на дефектный пиксель, и
формирует значение коррекции сигнала изображения дефектного пикселя с использованием сигнала пикселя выбранного пикселя.

3. Устройство обработки изображений по п. 2, в котором выбранный пиксель является пикселем, на который падает свет изображения объекта, приходящий из области разделения зрачка, смежной с областью разделения зрачка, из которой свет объекта падает на дефектный пиксель, среди света изображения объекта, включающего в себя информацию о направлении распространения, в положении, идентичном положению на плоскости синтетического изображения, через которое проходит свет изображения объекта, падающий на дефектный пиксель.

4. Устройство обработки изображений по любому из пп. 1-3, в котором блок коррекции формирует значение коррекции сигнала изображения дефектного пикселя посредством среднего арифметического сигналов изображения других пикселей.

5. Устройство обработки изображений по любому из пп. 1-3, в котором блок коррекции формирует значение коррекции сигнала изображения дефектного пикселя посредством взвешенного среднего с использованием взвешивания сигнала изображения пикселей в соответствии с положением области разделения зрачка.

6. Способ управления устройством обработки изображений для обработки сигнала изображения, полученного от элемента съемки изображений с использованием оптической системы съемки изображений, выполненной с возможностью получения информации о направленном распространении света изображения объекта,
соответствующего области разделения зрачка фотографического объектива, содержащий этапы, на которых:
устанавливают положение плоскости синтетического изображения, на которой изображение объекта восстанавливается с использованием сигнала изображения, полученного от элемента съемки изображений; и
корректируют сигнал изображения дефектного пикселя элемента съемки изображений с использованием сигнала изображения другого пикселя элемента съемки изображений,
при этом корректировка включает в себя этап, на котором определяют другой пиксель, подлежащий использованию для корректировки сигнала изображения дефектного пикселя, на основании положения плоскости синтетического изображения, установленного посредством установки положения плоскости синтетического изображения, и информации о направленном распространении света изображения объекта.

7. Машиночитаемый запоминающий носитель, на котором сохранена программа, содержащая программный код, побуждающий компьютер выполнять способ управления устройством обработки изображений по п. 6.

8. Устройство съемки изображений, содержащее:
оптическую систему съемки изображений, выполненную с возможностью получения информации о направленном распространении света изображения объекта, соответствующего области разделения зрачка фотографического объектива;
элемент съемки изображений, который фотоэлектрически преобразует свет изображения объекта, сфокусированный
посредством оптической системы съемки изображений, для вывода сигнала изображения; и
устройство обработки изображений по любому из пп. 1-5.

9. Устройство съемки изображений по п. 8, в котором оптическая система съемки изображений содержит матрицу микролинз, соответствующую области разделения зрачка, между фотографическим объективом и элементом съемки изображений, и соответствующие пиксели, включенные в матрицу пикселей элемента съемки изображений, соответствующего каждой микролинзе, соответствуют соответствующим областям разделения зрачка в фотографическом объективе.



 

Похожие патенты:

Изобретение относится к медицинской технике, а именно к средствам формирования изображения внутренней и наружной областях пациента. Система содержит рентгеновское устройство, включающее подвижный C-образный кронштейн, камеру, чувствительную к длине волны, для предоставления изображения наружной области пациента, установленную на рентгеновском устройстве с определенным пространственным соотношением между камерой и рентгеновским устройством, причем камера смонтирована на C-образном кронштейне в стороне от рентгеновского детектора, процессор данных для перевода изображения камеры и рентгеновского изображения в композитное изображение на основе пространственного ориентира для установления пространственной корреляции рентгеновского изображения и изображения камеры, и пространственный ориентир, обнаруживаемый в рентгеновском изображении и в изображении камеры.

Изобретение относится к области обработки дискретной информации в битовом потоке, а именно к способу/системe коррекции дефектных пикселей изображения. Техническим результатом изобретения является обеспечение карты дефектных пикселей меньшего размера, что позволяет сократить объем памяти для хранения карты дефектных пикселей.

Группа изобретений относится к электронному устройству для определения цифрового интерфейса подключенного внешнего устройства для управления модулем передачи данных.

Изобретение относится к системам передачи телевизионных изображений, например, с помощью приборов, выполненных на основе твердого тела с электрической разверткой и с электрическим сканированием.

Изобретение относится к элементу формирования цветных изображений. Техническим результатом является предоставление элемента формирования цветных изображений, который может подавлять формирование ложного цвета высокочастотной секции посредством простой обработки изображений.

Изобретение относится к твердотельному устройству считывания изображений, включающему блоки аналого-цифрового преобразования. Техническим результатом является обеспечение возможности сравнивать пиксельный сигнал с различными опорными сигналами для преобразования пиксельного сигнала в цифровой сигнал с высокой точностью, наряду с уменьшением масштаба схемы.

Изобретение относится к устройству обработки изображений. Техническим результатом является обеспечение на цифровых видеоданных эффектов, подобных пленке, путем наложения на захваченное изображение двух типов шума с разными характеристиками.

Изобретение относится к средствам управления воспроизведением видеоданных. Техническим результатом является адаптация статуса воспроизведения секции видеоданных в зависимости от изменения статуса отображения изображения.

Изобретение относится к средствам ввода, обработки и вывода видеоданных. Техническим результатом является повышение эффективности использования внутренней памяти независимо от типа алгоритмов обработки видеоданных.

Изобретение относится к области обработки изображений, в частности, к устройству и способу обработки изображений, которые позволяют классифицировать композицию входного изображения.

Изобретение относится к области обработки видеосигналов. Технический результат заключается в приведении к единому формату различных цифровых видеосигналов. Устройство и способ приведения к единому формату различных цифровых видеосигналов, универсальных по обрабатываемым видеосигналам, которые позволяют принимать от одного до одиннадцати видеосигналов одновременно по различным параллельным и последовательным интерфейсам, причем видеоизображения, передаваемые посредством видеосигналов, могут иметь различное разрешение и количество кадров в секунду, разное цветовое пространство (RGB, YcbCr, Bayer, Mono и др.), разную пиксельную субдискретизацию (4:4:4, 4:2:2, 4:2:0 и т.д.), различные стандартизированные форматы (ВТ.656, ВТ.1120, HiSPi, MIPI CSI 2, MIPI CSI 3). 2 н. и 35 з.п. ф-лы, 15 ил.

Изобретение относится к устройствам формирования изображения. Устройство содержит множество пикселей, каждый из которых содержит множество модулей фотоэлектрического преобразования, генерирующих множество первых объединенных сигналов, полученных путем объединения сигналов на основе электрических зарядов модулей фотоэлектрического преобразования на одной стороне друг с другом, и множество вторых сигналов, полученных путем объединения сигналов на основе электрических зарядов множества модулей фотоэлектрического преобразования друг с другом, и выводит часть первых объединенных сигналов из множества первых объединенных сигналов. Технический результат - увеличение скорости работы. 4 н. и 13 з.п. ф-лы, 12 ил.

Изобретение относится к панорамному телевизионному наблюдению, которое выполняется телевизионно-компьютерной системой при помощи «кольцевого» фотоприемника, в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Технический результат заключается в повышении чувствительности «кольцевого» фотоприемника за счет повышения площади светочувствительных элементов на мишени при сохранении ее геометрических размеров и без обмена чувствительности на другой параметр. Результат достигается тем, что фотоприемник, выполненный по технологии ПЗС на кристалле в виде кругового кольца, содержит «кольцевую» мишень, «кольцевую» секцию памяти, «кольцевой» регистр сдвига, заканчивающийся преобразователем «заряд - напряжение» (БПЗН), причем линейки светочувствительных элементов мишени и линейки элементов экранированной от света секции памяти расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» регистру сдвига, а число «кольцевых» строк, сформированных на мишени фотоприемника, равно числу «кольцевых» строк, образованных на его секции памяти, число элементов каждой «кольцевой» строке мишени и в каждой «кольцевой» строке секции памяти фотоприемника равно числу элементов в его «кольцевом» регистре сдвига, при этом линейки светочувствительных элементов, которые непосредственно и последовательно связаны зарядовой связью с линейками элементов секции памяти, занимают всю площадь мишени фотоприемника. 2 з.п. ф-лы, 6 ил.

Изобретение относится к области терминалов отображения и, в частности, к загрузке на базе браузера Android. Технический результат заключается в повышении эффективности управления контентом загрузки телевизора. Технический результат достигается за счет получения основной информации о телевизоре одновременно с получением физического адреса сетевой карты телевизора, анализа контента загрузки, соответствующего запросу на загрузку, поиска информации о ресурсе среди вводной информации о ресурсах соответствующей платформы телевизора, при этом информация о ресурсах связана с контентом загрузки и соответствует телевизору по контенту загрузки и основной информации о телевизоре. 2 н. и 14 з.п. ф-лы, 7 ил.

Группа изобретений относится к медицинской технике, а именно к средствам обработки изображений и видеоданных изображения глаз собеседников во время проведения видеочатов, видеоконференций. Способ машинного обучения предиктора для коррекции ориентации взгляда на изображении состоит в том, что получают множество пар изображений, содержащих внутри каждой пары изображения одного и того же человека, определяют положения глаз на каждой паре изображений, обучают предиктор, выдающий корректирующий вектор смещения, так чтобы для каждой пары изображений при замене цветовых компонент каждого пикселя первого изображения из пары на цветовые компоненты другого пикселя первого изображения из пары, смещенного согласно предсказанию предиктора, получилось изображение, максимально похожее на второе изображение пары и сохраняют предиктор. Способ коррекции изображения глаз характеризуется тем, что загружают предиктор, получают, по крайней мере, один кадр лица человека, определяют положения глаз человека на изображении и формируют две прямоугольные области, близко описанные вокруг глаз, заменяют цветовые компоненты каждого пикселя в области глаз на цветовые компоненты пикселя, смещенного согласно предсказанию предиктора машинного обучения. Техническим результатом изобретений является повышение точности коррекции изображения глаз при уменьшении ресурсоемкости процесса обработки видеоизображения. 2 н. и 11 з.п. ф-лы, 4 ил.

Изобретение относится к устройству и способу обработки изображений, в частности для коррекции дефектного пикселя. Техническим результатом является обеспечение надлежащей коррекции дефектного пикселя, даже когда объект, содержащий дефектный пиксель, не имеет конкретного угла. Указанный технический результат достигается тем, что первая область изображения генерируется из множества пикселей, существующих в строке, представляющей интерес, которая задана так, чтобы проходить через пиксель, соответствующий целевому пикселю коррекции. Множество вторых областей генерируется, причем каждая вторая область основана на позициях множества пикселей, существующих в, по меньшей мере, одной из опорных строк, которые заданы так, чтобы не проходить через целевой пиксель коррекции. Значение пикселя, соответствующего целевому пикселю коррекции, корректируется с использованием значения пикселя в каждой из, по меньшей мере, одной из опорных строк, причем значение определяется на основании величин корреляции между соответствующими вторыми областями и первой областью. 2 н. и 10 з.п. ф-лы, 24 ил.

Настоящее изобретение относится к методике уведомления во время съемки в темном месте. Заявленная группа изобретений включается в себя устройства захвата изображения и способы управления устройством захвата изображения. Причем устройство захвата изображения содержит светоизлучающий блок, сконфигурированный для обеспечения посредством мигающего светового излучения уведомления о рабочем состоянии операции обратного отсчета таймера автоспуска при выполнении съемки с использованием таймера автоспуска, блок установки режима, сконфигурированный для установки одного из множества рабочих режимов, и блок управления, сконфигурированный для управления светоизлучающим блоком, для обеспечения уведомления о рабочем состоянии таймера автоспуска при выполнении съемки с использованием таймера автоспуска, если блок установки режима установил первый рабочий режим, и для управления светоизлучающим блоком таким образом, чтобы уведомление о рабочем состоянии таймера автоспуска при выполнении съемки с использованием таймера автоспуска не обеспечивалось, если блок установки режима установил второй рабочий режим. Заявленный способ управления устройством захвата изображения, имеющим светоизлучающий блок, сконфигурированный для обеспечения посредством мигающего светового излучения уведомления о рабочем состоянии операции обратного отсчета таймера автоспуска при выполнении съемки с использованием таймера автоспуска, и блок установки режима, сконфигурированный для установки одного из множества рабочих режимов, содержит: этап управления светоизлучающим блоком для обеспечения уведомления о рабочем состоянии таймера автоспуска при выполнении съемки с использованием таймера автоспуска, если блок установки режима установил первый рабочий режим, и для управления светоизлучающим блоком таким образом, чтобы уведомление о рабочем состоянии таймера автоспуска при выполнении съемки с использованием таймера автоспуска не обеспечивалось, если блок установки режима установил второй рабочий режим. Технический результат заключается во избежание использования не обязательного светоизлучения во время съемки, а также в обеспечении уведомления пользователя об операции съемки при непрерывном многократном выполнении съемки. 8 н. и 23 з.п. ф-лы, 9 ил.

Изобретение относится к устройству фотоэлектрического преобразования и системе регистрации изображения. Устройство фотоэлектрического преобразования включает в себя фотоэлектрический преобразователь, транзистор, на затвор которого подается напряжение, соответствующее зарядам, генерируемым фотоэлектрическим преобразователем, линию управления, подключенную к первому главному электроду транзистора, и блок считывания, выполненный с возможностью считывания сигнала, соответствующего напряжению затвора, и регулятор напряжения, выполненный с возможностью изменения напряжения линии управления. Блок считывания генерирует цифровой сигнал, соответствующий напряжению затвора, на основании тока, текущего через второй главный электрод транзистора в течение периода, когда регулятор напряжения изменяет напряжение линии управления. Изобретение обеспечивает устройство фотоэлектрического преобразования, пригодное для упрощения конфигурации схемы каждого пикселя и получения многопиксельной конфигурации. 2 н. и 27 з.п. ф-лы, 20 ил.

Изобретение относится к устройствам захвата изображения и способам управления устройствами захвата изображения. Техническим результатом является считывание сигналов пикселов с точностью, достаточной для обнаружения разности фаз, без увеличения размера схемы и времени считывания датчика изображения, а также без снижения качества изображения. Результат достигается тем, что устройство захвата изображения содержит: датчик изображения, включающий в себя область пикселов, включающую в себя множество блоков пикселов, расположенных в матрице, каждый из которых имеет первый и второй блоки фотоэлектрического преобразования, и средство хранения, обеспеченное для каждого столбца; и средство возбуждения, выполненное с возможностью возбуждения датчика изображения, для каждого подлежащего считыванию блока пикселов из множества блоков пикселов, посредством исключительного выбора операции комбинирования сигнала первого блока фотоэлектрического преобразования и сигнала второго блока фотоэлектрического преобразования для каждого блока пикселов и вывода комбинированного сигнала в средство хранения, операции считывания сигнала из первого блока фотоэлектрического преобразования каждого блока пикселов в средство хранения или операции считывания сигнала из второго блока фотоэлектрического преобразования каждого блока пикселов в средство хранения. 6 н. и 9 з.п. ф-лы, 18 ил.

Изобретение относится к устройствам захвата изображения, в частности КМОП-датчикам. Устройство включает в себя блок захвата изображения, выполненный с возможностью использования первого режима и второго режима, и контроллер. Контроллер выполнен с возможностью считывания в первом режиме первой строки и второй строки во втором режиме. Первую строку считывают в первом режиме во время первого периода считывания, вторую строку считывают во втором режиме во время второго периода считывания. Во время третьего периода считывания вторую строку считывают в режиме, отличном от второго режима, причем периоды считывания с первого по третий имеют одинаковую продолжительность. 2 н. и 13 з.п. ф-лы, 21 ил.
Наверх