Устройство захвата изображения
Изобретение относится к устройствам захвата изображения. Техническим результатом является коррекция размывания на основании информации о расстоянии объекта, входящего в сфотографированное изображение. Результат достигается тем, что устройство захвата изображения включает в себя фотографический объектив, который формирует изображение объекта, блок фотоэлектрического преобразования, который расположен в прогнозируемой плоскости изображения фотографического объектива, блок отображения, который отображает сфотографированное изображение, полученное блоком фотоэлектрического преобразования, блок управления отображением изображения, который отображает сфотографированное изображение с помощью блока отображения после получения сфотографированного изображения с помощью блока фотоэлектрического преобразования, блок приобретения информации о расстоянии, который получает информацию о расстоянии в сфотографированном изображении, и блок коррекции размывания, который осуществляет коррекцию размывания на сфотографированном изображении на основании информации о расстоянии, полученной блоком приобретения информации о расстоянии. Блок управления отображением изображения отображает сфотографированное изображение, где сфокусированы множественные расстояния в сфотографированном изображении. 3 н. и 10 з.п. ф-лы, 25 ил.
Область техники
Настоящее изобретение относится к устройству захвата изображения, которое допускает коррекцию размывания на основании информации о расстоянии объекта, входящего в сфотографированное изображение.
Уровень техники
В традиционной технике устройство захвата изображения, которое может дискретно распределять пиксели обнаружения фокуса между пиксельными группами блока фотоэлектрического преобразования и вычислять расстояние до объекта на основании сигналов от пикселей обнаружения фокуса, раскрыто в выложенной патентной заявке Японии № 2000-156823 (далее именуемой "патентным документом 1"). В случае использования конфигурации, раскрытой в патентном документе 1, можно получить распределение расстояния на объекте, входящем в сфотографированное изображение.
Для восстановления размытого изображения и генерации изображения, восстановленного после размывания, используется, например, фильтр Винера, инверсный фильтр общего вида или проекционный фильтр. Способ коррекции размывания с использованием вышеупомянутых средств раскрыт в выложенной патентной заявке Японии № 2000-20691 (далее именуемой "патентный документ 2"). Применяя способ, раскрытый в патентном документе 2, можно вычислить функцию ухудшения посредством физического анализа на основании условий фотографирования или оценки на основании выходного сигнала измерительного прибора в устройстве захвата изображения, и можно восстановить размытое изображение с использованием алгоритма восстановления изображения, именуемого обращением свертки.
В общем случае, расстояние до объекта, подлежащее фокусировке, можно определить по состоянию фокусировки во время фотографирования. По этой причине расстояние до объекта, подлежащее фокусировке, невозможно изменить после фотографирования. Однако при получении распределения расстояния до объекта в сфотографированном изображении с использованием метода, раскрытого в патентном документе 1, и при осуществлении коррекции размывания с использованием метода коррекции размывания, раскрытого в патентном документе 2, расстояние до объекта, подлежащее фокусировке, можно изменять после фотографирования.
Сущность изобретения
Однако при адаптации технологий, раскрытых в патентных документах 1 и 2, к устройству захвата изображения фотографу трудно подтверждать сфотографированное изображение.
При использовании технологий, раскрытых в патентных документах 1 и 2, после фотографирования коррекция размывания переключается согласно расстоянию до объекта для изменения расстояния до объекта, подлежащего фокусировке. Однако диапазон перемещения фокусирующей линзы фотографического объектива ограничен, и экстремальная обработка преобразования выполняется во время восстановления размытого изображения, если степень размывания чрезвычайно высока, и весьма вероятна генерация шума. В результате диапазон расстояний до объекта, где размывание можно скорректировать или степень размывания ограничена. По этой причине расстояние до объекта, подлежащее фокусировке, или степень размывания также заключена в заранее определенном диапазоне. Фотограф просматривает отображение подтверждающего изображения сразу после фотографирования и оценивает диапазон расстояний до объектов, подлежащих фокусировке. Однако очень трудно захватывать диапазон расстояний до объектов, подлежащих фокусировке, из изображения, где сфокусировано определенное расстояние до объекта.
Независимо от области, в которой изображение, подлежащее фокусировке, можно получить путем обработки коррекции размывания после фотографирования, предполагается случай, когда дисплей подтверждения сфотографированного изображения после фотографирования отображается в состоянии, где фокусировка не произведена. В этом случае, несмотря на то, что в области генерируется сбойная часть, нежелательная для фотографа, дисплей подтверждения сфотографированного изображения отображается в размытом состоянии. В результате, фотограф не может подтвердить сбойную часть сразу после фотографирования и сначала подтверждает сбойную часть, когда размывание корректируется после фотографирования.
Настоящее изобретение было сделано ввиду вышеозначенных проблем, и задачей настоящего изобретения является обеспечение устройства захвата изображения с блоком коррекции размывания, который позволяет фотографу легко подтверждать сфотографированное изображение.
Для решения поставленной задачи устройство захвата изображения, отвечающее настоящему изобретению, включает в себя фотографический объектив, который формирует изображение объекта, блок фотоэлектрического преобразования, который расположен в прогнозируемой плоскости изображения фотографического объектива, блок отображения, который отображает сфотографированное изображение, полученное блоком фотоэлектрического преобразования, блок управления отображением изображения, который отображает сфотографированное изображение с помощью блока отображения после получения сфотографированного изображения с помощью блока фотоэлектрического преобразования, блок приобретения информации о расстоянии, который получает информацию о расстоянии в сфотографированном изображении, и блок коррекции размывания, который осуществляет коррекцию размывания на сфотографированном изображении на основании информации о расстоянии, полученной блоком приобретения информации о расстоянии. Блок управления отображением изображения отображает сфотографированное изображение, где сфокусированы множественные расстояния в сфотографированном изображении.
Другое устройство захвата изображения настоящего изобретения включает в себя фотографический объектив, который формирует изображение объекта, блок фотоэлектрического преобразования, который расположен в прогнозируемой плоскости изображения фотографического объектива, блок отображения, который отображает сфотографированное изображение, полученное блоком фотоэлектрического преобразования, блок управления отображением изображения, который отображает сфотографированное изображение с помощью блока отображения после получения сфотографированного изображения с помощью блока фотоэлектрического преобразования, блок приобретения информации о расстоянии, который получает информацию о расстоянии в сфотографированном изображении, и блок коррекции размывания, который осуществляет коррекцию размывания на сфотографированном изображении на основании информации о расстоянии, полученной блоком приобретения информации о расстоянии. Блок управления отображением изображения отображает диапазон, где возможна коррекция размывания.
Устройство захвата изображения настоящего изобретения может отображать сфотографированное изображение, где корректируется размывание объектов, находящихся на множественных расстояниях в диапазоне от первого расстояния до второго расстояния в сфотографированном изображении, как подтверждающее изображение сразу после фотографирования. То есть устройство захвата изображения может отображать изображение с коррекцией размывания, где сфокусированы множественные расстояния в сфотографированном изображении, для отображения подтверждающего изображения, где фотограф может легко захватить диапазон с возможностью коррекции размывания. Согласно изображению с коррекцией размывания, предусмотренному настоящим изобретением, можно легко выявить сбойную часть фотографирования в области, где можно получить изображение, подлежащее фокусировке. Благодаря отображению позиций и количества обнаруженных объектов для наложения на сфотографированное изображение с коррекцией размывания, фотограф может легко захватить позиции и количество обнаруженных объектов. Таким образом, согласно настоящему изобретению можно реализовать устройство захвата изображения, которое позволяет фотографу легко подтверждать сфотографированное изображение.
Дополнительные признаки настоящего изобретения явствуют из нижеследующего описания иллюстративных вариантов осуществления, приведенного со ссылкой на прилагаемые чертежи.
Краткое описание чертежей
Фиг. 1 - схема, демонстрирующая конфигурацию камеры согласно настоящему изобретению.
Фиг. 2 - схема, демонстрирующая схему элемента захвата изображения, который используется в камере согласно настоящему изобретению.
Фиг. 3 - вид в разрезе пиксельной части элемента захвата изображения согласно настоящему изобретению.
Фиг. 4A и 4B - плоский вид и вид в разрезе пикселя захвата изображения элемента захвата изображения согласно настоящему изобретению соответственно.
Фиг. 5A и 5B - плоский вид и вид в разрезе пикселя обнаружения фокуса элемента захвата изображения согласно настоящему изобретению соответственно.
Фиг. 6A и 6B - плоский вид и вид в разрезе другого пикселя обнаружения фокуса элемента захвата изображения согласно настоящему изобретению соответственно.
Фиг. 7 - принципиальная схема, демонстрирующая случай деления зрачка элемента захвата изображения согласно настоящему изобретению.
Фиг. 8 - принципиальная схема, демонстрирующая информацию о расстоянии, полученную в настоящем изобретении.
Фиг. 9 - схема, демонстрирующая соотношение между расстоянием до объекта и расстоянием с возможностью коррекции размывания в настоящем изобретении.
Фиг. 10 - схема, демонстрирующая соотношение между позицией плоскости изображения расстояния до объекта и позицией плоскости изображения фотографического объектива 137 в первом варианте осуществления настоящего изобретения.
Фиг. 11 - схема, демонстрирующая сфотографированное изображение до осуществления коррекции размывания согласно настоящему изобретению.
Фиг. 12A и 12B - схемы, демонстрирующие коррекцию размывания сфотографированного изображения согласно настоящему изобретению.
Фиг. 13A и 13B - схемы, демонстрирующие подтверждающее изображение согласно настоящему изобретению, отображаемое сразу после фотографирования.
Фиг. 14 - главная блок-схема, демонстрирующая работу устройства захвата изображения, отвечающего настоящему изобретению.
Фиг. 15 - блок-схема, демонстрирующая подпроцедуру генерации карты расстояний до объекта.
Фиг. 16 - блок-схема, демонстрирующая подпроцедуру фотографирования.
Фиг. 17 - блок-схема, демонстрирующая подпроцедуру отображения подтверждающего изображения после фотографирования.
Фиг. 18 - блок-схема, демонстрирующая подпроцедуру коррекции размывания.
Фиг. 19 - блок-схема, демонстрирующая процедуру генерации функции размывания.
Фиг. 20 - схема, демонстрирующая соотношение между позицией плоскости изображения расстояния до объекта и позицией плоскости изображения фотографического объектива 137 во втором варианте осуществления настоящего изобретения.
Предпочтительные варианты осуществления
Теперь подробно опишем иллюстративные варианты осуществления настоящего изобретения на основании прилагаемых чертежей.
Первый вариант осуществления
На фиг. 1-19 продемонстрирован первый вариант осуществления настоящего изобретения. Опишем функцию первого варианта осуществления настоящего изобретения с использованием чертежей.
На фиг. 1 продемонстрирована схема, демонстрирующая конфигурацию устройства захвата изображения, отвечающего настоящему изобретению, которое представлено в виде электронной камеры, которая включает в себя корпус 138 камеры, имеющий элемент захвата изображения, и отдельный фотографический объектив 137 и допускает смену фотографического объектива 137 в отношении корпуса 138 камеры.
Сначала будет описана конфигурация фотографического объектива 137. Первая группа 101 линз, которая расположена на переднем конце фотографической оптической системы (оптической системы формирования изображения) удерживается с возможностью перемещения вперед и назад (выдвижения и возврата) в направлении оптической оси. Диафрагма 102 регулирует диаметр апертуры и регулирует количество света во время фотографирования. Обозначение 103 указывает вторую группу линз. Диафрагма 102 и вторая группа 103 линз объединены друг с другом и выдвигаются и возвращаются в направлении оптической оси и осуществляют операцию увеличения (функцию трансфокации) в связи с операцией перемещения первой группы 101 линз.
Третья группа 105 линз перемещается вперед и возвращается назад в направлении оптической оси и осуществляет регулировку фокуса. Привод 111 трансфокатора вращает регулятор трансфокации (не показан) и перемещает первую группу 101 линз и вторую группу 103 линз вперед или возвращает первую группу 101 линз и вторую группу 103 линз назад в направлении оптической оси и осуществляет операцию увеличения. Привод 112 диафрагмы управляет диаметром апертуры диафрагмы 102 и регулирует количество света фотографирования. Привод фокусировки 114 перемещает третью группу линз 105 вперед или возвращает третью группу 105 линз назад в направлении оптической оси и осуществляет операцию регулировки фокуса.
Схема 136 связи с камерой передает информацию объектива на камеру или принимает информацию от камеры. Информация объектива включает в себя состояние трансфокации, состояние диафрагмы, состояние фокусировки и информацию кадра объектива. Схема 136 связи с камерой передает информацию на схему 135 связи с объективом, предусмотренную на стороне камеры.
Теперь опишем корпус 138 камеры. Оптический низкочастотный фильтр 106 представляет собой оптический элемент, предназначенный для подавления искажения цветопередачи или муара в сфотографированном изображении. Элемент 107 захвата изображения включает в себя КМОП-датчик и его периферийную схему. В качестве элемента захвата изображения двухмерный датчик цвета, собранный на одной плате (блок фотоэлектрического преобразования), где сформированный на кристалле мозаичный светофильтр основных цветов байеровской матрицы, используется на матрице mЧn светочувствительных пикселей в поперечном и продольном направлениях.
Затворный блок 139 осуществляет управление временем экспозиции во время фотографирования неподвижного изображения. A привод 140 затвора активирует затвор 139.
В качестве электронной фотовспышки 115 для освещения объекта во время фотографирования пригодно устройство импульсного освещения, использующее ксеноновую лампу, но можно использовать осветительное устройство, включающее в себя СИД, который непрерывно излучает свет. Вспомогательный оптический блок 116 AF проецирует изображение маски, имеющей заранее определенный рисунок отверстий, на поле через проекционную линзу и повышает возможность обнаружения фокуса в отношении темного объекта или малоконтрастного объекта.
ЦП 121, который является ЦП, встроенным в камеру для осуществления различных операций управления в корпусе камеры, имеет операционный блок, ПЗУ, ОЗУ, А/Ц преобразователь, Ц/А преобразователь и схему интерфейса связи. ЦП 121 управляет различными схемами камеры на основании заранее определенной программы, хранящейся в ПЗУ, и выполняет последовательность операций, например, AF, фотографирование, обработку изображения и запись.
Схема 122 управления электронной фотовспышкой управляет включением осветительного блока 115 синхронно с операцией фотографирования. Схема 123 управления вспомогательным освещением управляет включением вспомогательного оптического блока 116 AF синхронно с операцией обнаружения фокуса. Схема 124 управления элементом захвата изображения управляет операцией захвата изображения элемента 107 захвата изображения, осуществляет А/Ц преобразование на полученном сигнале изображения и передает сигнал изображения на ЦП 121. Схема 125 обработки изображения выполняет обработку, например гамма-преобразование, цветовую интерполяцию и сжатие по стандарту JPEG, в отношении изображения, полученного элементом 107 захвата изображения.
Схема 126 управления фокусировкой управляет приводом фокусировки 114 на основании результата обнаружения фокуса, перемещает третью группу 105 линз вперед или возвращает третью группу 105 линз назад в направлении оптической оси, и осуществляет регулировку фокуса. Схема 128 управления диафрагмой управляет приводом 112 диафрагмы и управляет апертурой диафрагмы 102. Схема 129 управления трансфокацией управляет приводом 111 трансфокатора согласно операции трансфокации, осуществляемой фотографом. Схема 135 связи с объективом осуществляет связь со схемой 136 связи с камерой в фотографическом объективе 137. Схема 145 управления затвором управляет приводом 140 затвора.
Устройство отображения 131, которое является, например, устройством отображения типа ЖКД, отображает информацию о режиме фотографирования камеры, изображение предпросмотра до фотографирования и подтверждающее изображение после фотографирования, и изображение дисплея сфокусированного состояния во время обнаружения фокуса. Группа 132 переключателей операций включает в себя выключатель питания, переключатель спуска (триггер фотографирования), переключатель операции трансфокации и переключатель выбора режима фотографирования. Сфотографированное изображение записывается на сменном блоке флэш-памяти 133. Во встроенной памяти 144 хранятся различные данные, которые требуются ЦП 121 для осуществления операций.
На фиг. 2 продемонстрирована принципиальная схема конфигурации элемента захвата изображения согласно настоящему изобретению. Например, элемент захвата изображения может быть выполнен с использованием метода, раскрытого в выложенной патентной заявке Японии № H09-046596, поданной настоящим заявителем. На фиг. 2 размещение пикселей, для удобства описания, показано только в 2 столбца Ч 4 строки двухмерного КМОП-датчика. Однако в фактическом элементе захвата изображения расположены множественные пиксели, обозначенные позициями от 30-11 до 30-42, что позволяет получить изображение высокой четкости. В данном варианте осуществления элемент захвата изображения представляет собой элемент захвата изображения с шагом пикселей 2 мкм, эффективным количеством пикселей 3000 столбцов Ч 2000 строк в поперечном и продольном направлениях = 6000000, и размером экрана захвата изображения 6 мм Ч 4 мм в поперечном и продольном направлениях.
На фиг. 2 обозначение 1 указывает блок фотоэлектрического преобразования элемента фотоэлектрического преобразования, который включает в себя затвор МОП-транзистор и обедненный слой под затвором, обозначение 2 указывает фотозатвор, обозначение 3 указывает МОП-транзистор переключателя переноса, обозначение 4 указывает МОП-транзистор для сброса, обозначение 5 указывает МОП-транзистор истокового повторителя, обозначение 6 указывает МОП-транзистор переключателя горизонтального выбора, обозначение 7 указывает нагрузочный МОП-транзистор истокового повторителя, обозначение 8 указывает МОП-транзистор переноса темного выхода, обозначение 9 указывает МОП-транзистор переноса светлого выхода, обозначение 10 указывает накопительную емкость CTN темного выхода, обозначение 11 указывает накопительную емкость CTS светлого выхода, обозначение 12 указывает МОП-транзистор горизонтального переноса, обозначение 13 указывает МОП-транзистор сброса горизонтальной выходной линии, обозначение 14 указывает выходной дифференциальный усилитель, обозначение 15 указывает схему строчной развертки и обозначение 16 указывает схему кадровой развертки.
На фиг. 3 продемонстрирован вид в разрезе пикселя фотоэлектрического преобразования. На фиг. 3, обозначение 17 указывает яму P-типа, обозначение 18 указывает оксидную пленку затвора, обозначение 19 указывает первый слой поликремния, обозначение 20 указывает второй слой поликремния, и обозначение 21 указывает n+ плавающий диффузионный участок (FD). Участок FD 21 подключен к другому блоку фотоэлектрического преобразования через другой МОП-транзистор переноса. Согласно фиг. 3 стоки двух МОП-транзисторов 3 переноса и участок FD 21 используются совместно, и чувствительность повышается благодаря малому размеру и малой емкости участка FD 21. Однако участок FD 21 может быть подключен AL проводкой.
На фиг. 4A, 4B и фиг. 5A и 5B продемонстрирована структура пикселя захвата изображения и пикселя обнаружения фокуса. В данном варианте осуществления применяется байеровская матрица, где пиксели, имеющие чувствительность к спектру G (зеленого цвета), расположены в виде двух пикселей, расположенных по диагонали, из четырех пикселей, расположенных в 2 строки Ч 2 столбца, и пиксели, имеющие чувствительность к спектрам R (красного цвета) и B (синего цвета), расположены в виде двух других пикселей соответственно. В байеровской конфигурации пиксели обнаружения фокуса размещены согласно заранее определенному правилу. Поскольку метод дискретного размещения пикселей обнаружения фокуса среди пикселей захвата изображения является известным методом, который раскрыт в патентном документе 1, его описание здесь не приведено.
На фиг. 4A и 4B изображены размещение и структура пикселей захвата изображения. На фиг. 4A показан плоский вид пикселей захвата изображения, расположенных в 2 строки Ч 2 столбца. Как уже известно, в байеровской конфигурации, пиксели G расположены в диагональном направлении, и пиксели R и B расположены в виде двух других пикселей соответственно. Структура 2 строк Ч 2 столбцов повторяется.
На фиг. 4B продемонстрировано сечение 4B-4B на фиг. 4A. ML указывает микролинзу на кристалле, которая расположена на самой передней поверхности каждого пикселя, CFR указывает R (красный) цветовой фильтр, и CFG указывает G (зеленый) цветовой фильтр. PD схематически иллюстрирует блок фотоэлектрического преобразования КМОП-датчика, показанного на фиг. 3, и CL указывает слой проводки для формирования сигнальных линий для передачи различных сигналов в КМОП-датчике. TL схематически иллюстрирует фотографическую оптическую систему.
В этом случае микролинза на кристалле ML пикселя захвата изображения и блок фотоэлектрического преобразования PD предназначены для наиболее эффективного приема светового потока, проходящего через фотографическую оптическую систему ML. Таким образом, выходной зрачок EP фотографической оптической системы TL и блока фотоэлектрического преобразования PD находится в соотношении сопряжения с микролинзой ML, и эффективная площадь блока фотоэлектрического преобразования обозначена как большая площадь. На фиг. 4B показан падающий световой поток пикселя R. Однако пиксель G и пиксель B (синий) имеют такую же структуру.
Соответственно выходные зрачки EP, которые соответствуют отдельным пикселям RGB для захвата изображения, имеют большой диаметр, и световой поток от объекта принимается эффективно, что повышает отношение С/Ш сигнала изображения.
На фиг. 5A и 5B продемонстрированы размещение и структура пикселей обнаружения фокуса для осуществления деления зрачка в горизонтальном направлении (поперечном направлении) фотографического объектива. На фиг. 5A показан плоский вид пикселей, расположенных в 2 строки Ч 2 столбца, где указаны пиксели обнаружения фокуса. При получении сигнала захвата изображения пиксель G составляет главный компонент информации яркости. Поскольку характеристика распознавания изображения отдельного человека зависит от информации яркости, в случае дефекта пикселя G отдельный человек скорее всего ощутит снижение качества изображения. Между тем пиксель R или B является пикселем, где получается цветовая информация. Однако, поскольку отдельный человек нечувствителен к цветовой информации, несмотря на то, что в пикселе, где получается цветовая информация, генерируется небольшой дефект, снижение качества изображения распознать трудно. Соответственно в данном варианте осуществления из пикселей, расположенных в 2 строки Ч 2 столбца, пиксель G остается пикселем захвата изображения, и пиксели R и B используются как пиксели обнаружения фокуса, которые обозначены как SHA и SHB на фиг. 5A.
На фиг. 5B продемонстрировано сечение 5B-5B на фиг. 5A. Микролинза ML и блок фотоэлектрического преобразования PD имеют такую же структуру, как пиксель захвата изображения, показанный на фиг. 4B. В данном варианте осуществления, поскольку сигнал пикселя обнаружения фокуса не используется в качестве сигнала сфотографированного изображения, вместо цветового фильтра разделения цветов расположена прозрачная пленка CFW (белая). Поскольку деление зрачка осуществляется элементом захвата изображения, отверстие в слое проводки CL расположено с отклонением в одном направлении относительно центральной линии микролинзы ML. В частности, поскольку пиксель SHA и отверстие OPHA расположены с отклонением вправо, принимается световой поток, проходящий через левый выходной зрачок EPHA фотографического объектива TL. Аналогично, поскольку отверстие OPHB пикселя SHB расположено с отклонением влево, принимается световой поток, проходящий через правый выходной зрачок EPHB фотографического объектива TL.
Соответственно изображение объекта, полученное благодаря правильному размещению пикселей SHA в горизонтальном направлении, считается изображением A, и изображение объекта, полученное благодаря правильному размещению пикселей SHB в горизонтальном направлении, считается изображением B. В этом случае степень расфокусировки фотографического объектива 137 можно обнаруживать путем определения относительных позиций изображения A и изображения B.
В этом случае микролинза ML осуществляет функцию линзового элемента, которая генерирует пару оптических изображений, состоящую из изображения A, сформированного световым потоком, проходящим через левый выходной зрачок EPHA фотографического объектива TL, и изображения B, сформированного световым потоком, проходящим через правый выходной зрачок EPHB фотографического объектива TL.
В пикселях SHA и SHB, в отношении объекта, который имеет распределение яркости в поперечном направлении экрана фотографирования, например продольной линии, обнаружение фокуса активируется. Однако в отношении поперечной линии, которая имеет распределение яркости в продольном направлении, обнаружение фокуса деактивируется. Соответственно в данном варианте осуществления пиксели, осуществляющие деление зрачка, также включаются в вертикальное направление (продольное направление) экрана фотографирования, в связи с чем обнаружение фокуса активируется в отношении поперечной линии.
На фиг. 6A и 6B продемонстрированы размещение и структура пикселей обнаружения фокуса для осуществления деления зрачка в вертикальном направлении экрана фотографирования. На фиг. 6A показан плоский вид пикселей, расположенных в 2 строки Ч 2 столбца, где указаны пиксели обнаружения фокуса. По аналогии с фиг. 5A пиксели G остаются пикселями захвата изображения, и пиксели R и B используются как пиксели обнаружения фокуса, которые обозначены как SVC и SVD на фиг. 6A.
На фиг. 6B продемонстрировано сечение 6B-6B на фиг. 6A. Структура пикселя на фиг. 5B такая же, как структура пикселя на фиг. 6B, за исключением того, что пиксели на фиг. 5B имеют разделение зрачка в поперечном направлении, пиксели на фиг. 6B имеют разделение зрачка в продольном направлении. Таким образом, поскольку отверстие OPVC пикселя SVC расположено с отклонением вниз, принимается световой поток, проходящий через верхний выходной зрачок EPVC фотографического объектива TL. Аналогично, поскольку отверстие OPVD пикселя SVD расположено с отклонением вверх, принимается световой поток, проходящий через нижний выходной зрачок EPVD фотографического объектива TL. Соответственно изображение объекта, полученное благодаря правильному размещению пикселей SVC в вертикальном направлении, считается изображением C, и изображение объекта, полученное благодаря правильному размещению пикселей SVD в вертикальном направлении, считается изображением D. В этом случае степень расфокусировки изображения объекта, который имеет распределение яркости в вертикальном направлении, можно обнаруживать путем определения относительных позиций изображения C и изображения D.
На фиг. 7 схематически продемонстрирован случай деления зрачка элемента захвата изображения согласно настоящему изобретению. TL указывает фотографический объектив, обозначение 107 указывает элемент захвата изображения, который расположен в прогнозируемой плоскости изображения фотографического объектива, OBJ указывает объект, и IMG указывает изображение объекта.
Согласно фиг. 4A и 4B пиксель захвата изображения принимает световой поток, проходящий через всю площадь выходного зрачка EP фотографического объектива. Между тем, согласно фиг. 5A, 5B, 6A и 6B, пиксель обнаружения фокуса имеет функцию деления зрачка. В частности, пиксель обнаружения фокуса SHA, показанный на фиг. 5A и 5B, принимает световой поток, проходящий через левый зрачок, при наблюдении заднего конца объектива от плоскости захвата изображения, т.е. световой поток, проходящий через зрачок EPHA на фиг. 7. Аналогично пиксели обнаружения фокуса SHB, SVC и SVD принимают световые потоки, проходящие через зрачки EPHB, EPVC и EPVD. Если пиксели обнаружения фокуса распределены по всей области элемента 107 захвата изображения, обнаружение фокуса активируется по всей площади области захвата изображения. ЦП 121, который функционирует как блок приобретения информации о расстоянии, вычисляет расстояние до объекта на основании информации обнаружения фокуса и информации объектива, например фокусного расстояния.
На фиг. 8 продемонстрирована информация о расстоянии, получаемая блоком приобретения информации о расстоянии. В элементе 107 захвата изображения согласно настоящему изобретению, поскольку пиксели обнаружения фокуса SHA, SHB, SHC и SHD, показанные на фиг. 5A, 5B, 6A и 6B, распределены по всей области, можно получить расстояние до объекта в произвольной позиции экрана фотографирования. Если области с малыми расстояниями до объектов в распределении полученных расстояний до объектов объединены и сгруппированы, можно выделить контур объекта, включенного в экран фотографирования. Target1, Target2 и Target3 указывают области выделенных объектов, и BackGround1 указывает область фона. Dist1, Dist2, Dist3 и Dist4 указывают расстояния до объектов. Dist1 указывает расстояние до объекта в области объекта Target1, Dist2 указывает расстояние до объекта в области объекта Target2, Dist3 указывает расстояние до объекта в области объекта Target3, и Dist4 указывает расстояние до объекта в области фона BackGround1. Dist1 является ближайшим, Dist2 является вторым ближайшим, и Dist3 является третьим ближайшим. Кроме того, Dist4 является наиболее удаленным.
ЦП 121 выделяет объект из распределения расстояния до объекта, полученного от пикселя обнаружения фокуса, и получает область и расстояние каждого объекта.
В устройстве захвата изображения, отвечающем настоящему изобретению, размывание сфотографированного изображения корректируется на основании информации о расстоянии. Ход генерации размывания можно оценивать из характеристики устройства захвата изображения или характеристики фотографического объектива. Задается функция размывания, где моделируется ход генерации размывания, и размытое изображение восстанавливается согласно алгоритму восстановления изображения под общим названием «обращение свертки», например, с помощью фильтра Винера, что позволяет корректировать размывание. Поскольку способ коррекции размывания описан в патентном документе 2, его подробное описание здесь не приведено.
На фиг. 9 продемонстрировано соотношение между расстояниями до объектов Dist1, Dist2, Dist3 и Dist4 и расстоянием с возможностью коррекции размывания. По оси отложено расстояние до объекта Dist.
Расстояние до объекта, подлежащее фокусировке, определяется расстоянием, покрываемым фотографическим объективом 137. Поскольку трудно прогнозировать форму размывания для расстояния, не подлежащего фокусировке, расстояние с возможностью коррекции размывания также ограничивается диапазоном расстояний, практически равным расстоянию. Соответственно ЦП 121 вычисляет диапазон расстояний для коррекции размывания согласно расстоянию, покрываемому от фотографического объектива 137. Конец расстояния ближайшей стороны для коррекции размывания именуется первым расстоянием Dist11, и конец расстояния бесконечной стороны именуется вторым расстоянием Dist12. Блок коррекции размывания может осуществлять коррекцию размывания на изображении объекта в диапазоне первого расстояния Dist11 и второго расстояния Dist12. Первое расстояние определяется на основании конца расстояния ближайшей стороны фотографического объектива 137, и второе расстояние определяется на основании конца расстояния бесконечной стороны. В этом случае первое расстояние и второе расстояние задаются с небольшим запасом по отношению к концу расстояния ближайшей стороны и концу расстояния бесконечной стороны фотографического объектива 137, с учетом погрешности изготовления фотографического объектива 137, точности остановки фокусирующей линзы и изменения коррекции размывания.
Из расстояний до объектов Dist1, Dist2, Dist3 и Dist4, продемонстрированных на фиг. 8, расстояния до объектов Dist1 - Dist3 расположены в диапазоне первого расстояния Dist11 и второго расстояния Dist12, и расстояние до объекта Dist4 расположено вне диапазона.
На фиг. 10 продемонстрировано соотношение между позициями плоскостей изображения, соответствующими расстояниям до объектов Dist1, Dist2, Dist3 и Dist4, и позицией плоскости изображения фотографического объектива 137. По оси отложена степень расфокусировки Def от позиции плоскости изображения фотографического объектива 137. В этом случае положительное направление степени расфокусировки Def соответствует направлению после фокусировки.
"0" указывает позицию плоскости изображения фотографического объектива 137, и величина сдвига выражается как "0". Def1, Def2, Def3 и Def4 указывают степени расфокусировки в позициях плоскостей изображения для расстояний до объектов Dist1, Dist2, Dist3 и Dist4 соответственно. Def11 и Def12 указывают степени расфокусировки в позициях плоскостей изображения для первого расстояния Dist11 ближайшей стороны и второго расстояния Dist12 бесконечной стороны.
Между тем, Def21 и Def22 демонстрируют степени расфокусировки, которые соответствуют степеням размывания при активированной коррекции размывания. Когда степень размывания чрезвычайно высока, экстремальная обработка преобразования выполняется во время восстановления размытого изображения, и весьма вероятна генерация шума. По этой причине, когда размывание корректируется, предпочтительно, чтобы степень размывания попадала в диапазон Def21 и Def22. Согласно фиг. 10 степени расфокусировки Def21 и Def22, которые соответствуют степеням размывания при активированной коррекции размывания, расположены ближе к наружной стороне, чем степени расфокусировки Def11 и Def12 в позициях плоскостей изображения первого расстояния Dist11 ближайшей стороны и второго расстояния Dist12 бесконечной стороны. По этой причине первое расстояние Dist11 ближайшей стороны и второе расстояние Dist12 бесконечной стороны не обновляются.
На фиг. 11 продемонстрировано сфотографированное изображение до осуществления коррекции размывания с помощью блока коррекции размывания. Сфотографированное изображение на фиг. 11 идентично сфотографированному изображению на фиг. 8. Как описано в нижеприведенной последовательности операций, позиция обнаружения фокуса имеет приоритет от ближайшей стороны, и позиция объекта, который расположен на ближайшей стороне среди выделенных объектов, задается как позиция обнаружения фокуса. По этой причине сфотографированное изображение до осуществления коррекции размывания с помощью блока коррекции размывания становится состоянием, в котором сфокусирована область объекта Target1 ближайшей стороны, как показано на фиг. 11. Другие области объектов Target2, Target3 и BackGround1 не сфокусированы.
На фиг. 12A и 12B продемонстрирован случай, когда размывание сфотографированного изображения корректируется с помощью блока коррекции размывания. Изображения захвата изображения на фиг. 12A и 12B идентичны изображениям захвата изображения на фиг. 8 и 11. На фиг. 12A показано изображение, где коррекция размывания осуществляется по всей области сфотографированного изображения, на основании расстояния до объекта Dist2 области объекта Target2. Из информации характеристик устройства захвата изображения и информации фотографического объектива, которые соответствуют расстоянию до объекта Dist2 в области объекта Target2, задается функция размывания. Если обработка коррекции на основании функции размывания выполняется по всей области сфотографированного изображения, размывание области объекта Target2 корректируется, и соответствующее изображение становится изображением, подлежащим фокусировке. Между тем, если обработка изображения коррекции выполняется на областях, отличных от области объекта Target2, воспроизводится размывание, где позиция фокуса фотографического объектива 137 генерируется в состоянии, в котором сфокусировано расстояние до объекта Dist2. Таким образом, изображение, подлежащее фокусировке, можно получить только с помощью области объекта Target2, как показано на фиг. 12A.
На фиг. 12B продемонстрировано изображение, где коррекция размывания осуществляется по всей области сфотографированного изображения на основании расстояния до объекта Dist3 области объекта Target3. Из информации характеристик устройства захвата изображения и информации фотографического объектива, которые соответствуют расстоянию до объекта Dist3 в области объекта Target3, задается функция размывания. Если обработка коррекции на основании функции размывания выполняется по всей области сфотографированного изображения, размывание области объекта Target3 корректируется, и соответствующее изображение становится изображением, подлежащим фокусировке. Между тем, если обработка изображения коррекции выполняется на областях, отличных от области объекта Target3, воспроизводится размывание, где позиция фокуса фотографического объектива 137 генерируется в состоянии, в котором сфокусировано расстояние до объекта Dist3. Таким образом, изображение, подлежащее фокусировке, можно получить только с помощью области объекта Target3, как показано на фиг. 12B.
Как описано выше с использованием фиг. 11, 12A и 12B, в устройстве захвата изображения, где активирована коррекция размывания на основании информации о расстоянии до объекта, если коррекция размывания осуществляется на основании информации о расстоянии, включающей в себя расстояние и область каждого объекта, можно выбрать объект, подлежащий фокусировке.
Однако согласно фиг. 11, 12A и 12B, поскольку объекту, подлежащему фокусировке, придается степень свободы, фотографу трудно подтверждать сфотографированное изображение.
Посредством вышеописанной коррекции размывания расстояние до объекта, подлежащего фокусировке, можно изменять после фотографирования. Однако диапазон расстояний до объектов с возможностью коррекции размывания ограничен. По этой причине расстояние до объекта, подлежащее фокусировке, также заключено в заранее определенном диапазоне. Фотограф просматривает подтверждающее изображение сразу после фотографирования и оценивает диапазон расстояний до объектов, подлежащих фокусировке. Однако очень трудно захватывать диапазон, подлежащий фокусировке из изображения, где сфокусировано произвольное расстояние до объекта.
Независимо от области, в которой изображение, подлежащее фокусировке, можно получить путем обработки коррекции размывания после фотографирования, предполагается случай, когда подтверждающее изображение после фотографирования отображается в несфокусированном состоянии. В этом случае, несмотря на то, что в области генерируется сбойная часть, нежелательная для фотографа, подтверждающее изображение отображается в размытом состоянии. В результате фотограф не может подтвердить сбойную часть сразу после фотографирования и сначала подтверждает сбойную часть, когда размывание корректируется после фотографирования.
Соответственно в устройстве захвата изображения, отвечающем настоящему изобретению, когда расстояние ближайшей стороны, где размывание можно скорректировать с помощью блока коррекции размывания, задано как первое расстояние, и расстояние бесконечной стороны, где размывание можно скорректировать с помощью блока коррекции размывания, задано как второе расстояние, в отображении подтверждающего изображения сразу после фотографирования, отображается сфотографированное изображение, где размывание диапазона от первого расстояния до второго расстояния скорректировано. Таким образом, изображение, где размывание скорректировано, отображается максимально возможным.
На фиг. 13A и 13B продемонстрировано отображение подтверждающего изображения сразу после фотографирования в настоящем изобретении. Сфотографированные изображения на фиг. 13A и 13B идентичны сфотографированным изображениям на фиг. 8, 11, 12A и 12B. На фиг. 13A показан случай, когда отображается изображение, где сфокусированы области объектов Target1 - Target3. На фиг. 13B показан случай, когда области объектов Target1 - Target3 сфокусированы, и позиции и количество обнаруженных объектов отображаются для наложения.
На фиг. 13A, поскольку расстояния до объектов Dist1 - Dist3 для областей объектов Target1 - Target3 находятся в диапазоне первого расстояния Dist11 и второго расстояния Dist12, где размывание можно скорректировать, коррекция размывания активируется. Соответственно в устройстве захвата изображения, отвечающем настоящему изобретению, в отображении подтверждающего изображения сразу после фотографирования, коррекция размывания осуществляется на областях объектов Target1 - Target3.
Благодаря выполнению обработки коррекции на основании информации характеристик устройства захвата изображения и информации фотографического объектива, которые соответствуют расстоянию до объекта Dist1 в области объекта Target1, размывание области объекта Target1 корректируется, и соответствующее изображение становится изображением, подлежащим фокусировке. Благодаря выполнению обработки коррекции на основании информации характеристик устройства захвата изображения и информации фотографического объектива, которые соответствуют расстоянию до объекта Dist2 в области объекта Target2, размывание области объекта Target2 корректируется, и соответствующее изображение становится изображением, подлежащим фокусировке. Благодаря выполнению обработки коррекции на основании информации характеристик устройства захвата изображения и информации фотографического объектива, которые соответствуют расстоянию до объекта Dist3 в области объекта Target3, размывание области объекта Target3 корректируется, и соответствующее изображение становится изображением, подлежащим фокусировке. Таким образом, область объекта Target1, область объекта Target2 и область объекта Target3, которые расположены в диапазоне расстояний, где размывание можно скорректировать, отображаются в сфокусированном состоянии. Другими словами, изображение, где сфокусированы множественные расстояния до объектов Dist1, Dist2 и Dist3, отображается как отображение подтверждающего изображения сразу после фотографирования. Фон BackGround1, находящийся вне диапазона расстояний, где размывание можно скорректировать, отображается в размытом состоянии.
На фиг. 13B продемонстрирован аспект, где отображаются позиции количества обнаруженных объектов для наложения на области объектов Target1 - Target3, подлежащие фокусировке. SI1 - это отображение позиции объекта, которое указывает позицию области объекта Target1. SI1 - это отображение позиции объекта, которое указывает позицию области объекта Target1. Отображение контура, большего, чем контур области объекта Target1, указывает позицию области объекта Target1. Аналогично, SI2 - это отображение позиции объекта, которое указывает позицию области объекта Target2, и SI3 - это отображение позиции объекта, которое указывает позицию области объекта Target3. SI4 - это отображение количества объектов, которое указывает количество обнаруженных объектов. Таким образом, фотограф может легко захватить позиции и количество обнаруженных объектов, когда подтверждающее изображение отображается после фотографирования.
Благодаря отображению изображения, продемонстрированного на фиг. 13A и 13B, в качестве подтверждающего изображения после фотографирования можно реализовать устройство захвата изображения, имеющее функцию сфотографированного изображения, где фотографу легко подтверждать сфотографированное изображение. Таким образом, фотограф может легко захватить диапазон с возможностью коррекции размывания. Можно легко выявить сбойную часть в области, где изображение, подлежащее фокусировке, можно получить путем коррекции размывания. Благодаря отображению позиций и количества обнаруженных объектов для наложения на сфотографированное изображение с коррекцией размывания, фотограф может легко захватить позиции и количество обнаруженных объектов, когда подтверждающее изображение отображается после фотографирования.
На фиг. 14-19 продемонстрированы блок-схемы, демонстрирующие работу устройства захвата изображения, отвечающего настоящему изобретению.
На фиг. 14 главная блок-схема, демонстрирующая устройство захвата изображения, отвечающее настоящему изобретению. Операция согласно главной логической блок-схеме представляет собой процесс, выполняемый ЦП 121 согласно программе, хранящейся в ПЗУ.
Если фотограф включает выключатель питания камеры (S101), ЦП 121 подтверждает операцию каждого привода или элемента захвата изображения в камере, инициализирует содержимое памяти или выполнение программы и выполняет операцию подготовки к фотографированию (S102). На этапе S103 ЦП осуществляет связь с объективом посредством схемы связи с камерой в фотографическом объективе через схему 135 связи с объективом. ЦП подтверждает операцию объектива посредством связи с объективом, инициализирует содержимое памяти или выполнение программы в объективе и выполняет операцию подготовки. ЦП получает различные данные атрибутов объектива, необходимые для обнаружения фокуса или захвата изображения, и сохраняет данные атрибутов во встроенной памяти 144. На этапе S104 ЦП начинает операцию захвата изображения элемента захвата изображения и выводит движущееся изображение низкого разрешения для предпросмотра. На этапе S105 ЦП отображает считанное движущееся изображение с помощью блока 131 отображения, предусмотренного на задней стороне камеры, и фотограф просматривает изображение предпросмотра и определяет композицию во время фотографирования.
На этапе S106 ЦП определяет наличие или отсутствие лица в движущемся изображении для предпросмотра. Из движущегося изображения для предпросмотра ЦП определяет количество лиц, позиции лиц и размеры лиц, т.е. объектов, и записывает объекты во встроенной памяти 144. Поскольку метод распознавания лиц раскрыт в выложенной патентной заявке Японии № 2004-317699 и уже известен, его описание здесь не приведено.
На этапе S107 в случае распознавания наличия лица в сфотографированной области обработка переходит к этапу S108 и переводит режим регулировки фокуса в режим AF лица. В этом случае режим AF лица означает режим AF, в котором добавляются позиция лица в сфотографированной области и карта расстояний до объекта, сгенерированная на этапе S200, и производится фокусировка.
Между тем, на этапе S107, в случае распознавания отсутствия лица в сфотографированной области, обработка переходит от этапа S107 к этапу S109 и переводит режим регулировки фокуса в режим многоточечной AF. В этом случае режим многоточечной AF означает режим, в котором сфотографированная область делится на 3Ч5=15, главный объект аналогизируется на основании результата обнаружения фокуса в каждой области деления, вычисленного из карты расстояний до объекта и информации яркости объекта, и соответствующая область находится в фокусе.
В случае определения режима AF на этапе S108 или S109 ЦП определяет, включен ли переключатель подготовки к фотографированию на этапе S110. Когда определено, что переключатель подготовки к фотографированию не включен, обработка переходит к этапу S116 и определяет, выключен ли выключатель питания.
На этапе S111, когда переключатель подготовки к фотографированию включен, обработка переходит к этапу S200 и выполняет подпроцедуру генерации карты расстояний до объекта.
На этапе S111 ЦП определяет позицию обнаружения фокуса на основании карты расстояний до объекта, вычисленной на этапе S200. В этом случае согласно способу определения позиции обнаружения приоритет назначается ближайшей стороне, и позиция объекта, расположенного на ближайшей стороне, из объектов, полученных на этапе S200, задается как позиция обнаружения фокуса.
На этапе S112 ЦП вычисляет степень расфокусировки в позиции обнаружения фокуса, определенной на этапе S111, из карты расфокусировки, полученной на этапе S200, и определяет, равна ли полученная степень расфокусировки допустимому или меньшему значению. Когда степень расфокусировки превышает допустимое значение, ЦП определяет результат определения как отсутствие фокусировки и управляет фокусирующей линзой на этапе S113. Затем обработка возвращается к этапу S110 и определяет, нажат ли переключатель подготовки к фотографированию. На этапе S112, когда определено, что состояние становится сфокусированным состоянием, ЦП осуществляет сфокусированное отображение на этапе S114, и обработка переходит к этапу S115.
На этапе S115 ЦП определяет, включен ли переключатель пуска фотографирования. Когда определено, что переключатель пуска фотографирования не включен, состояние ожидания фотографирования поддерживается на этапе S115. На этапе S115, когда переключатель пуска фотографирования включен, обработка переходит к этапу S300 и выполняет подпроцедуру фотографирования.
По окончании подпроцедуры фотографирования этапа S300 обработка переходит к этапу S116 и определяет, выключен ли выключатель питания. Когда определено, что выключатель питания не выключен, обработка возвращается к этапу S103. Когда определено, что выключатель питания выключен, ЦП заканчивает последовательность операций.
На фиг. 15 продемонстрирована блок-схема, демонстрирующая подпроцедуру генерации карты расстояний до объекта. Последовательность операций (функция приобретения информации о расстоянии) подпроцедуры генерации карты расстояний до объекта также выполняется на ЦП 121.
Если процесс переходит от этапа S200 главной процедуры к этапу S200 соответствующей подпроцедуры, ЦП задает область обнаружения фокуса на этапе S201. ЦП определяет область обнаружения фокуса из всех областей обнаружения фокуса и выполняет следующие процессы этапа S202. На этапе S202 ЦП считывает сигнал пикселя обнаружения фокуса из области обнаружения фокуса, заданной на этапе S201. На этапе S203 ЦП генерирует два изображения для операции корреляции. Если сигналы отдельных пикселей обнаружения фокуса, считанные на этапе S202, существуют, сигналы становятся сигналами двух изображений A и B для операции корреляции.
На этапе S204 ЦП осуществляет операцию корреляции на основании полученных сигналов изображения и вычисляет разность фаз двух изображений A и B. На этапе S205 ЦП определяет достоверность результата операции корреляции. В этом случае достоверность означает степень совпадения изображений A и B, и в случае высокой степени совпадения изображений A и B достоверность результата обнаружения фокуса, в общем случае, высока. Соответственно ЦП может определять достоверность результата определения разности фаз на основании того, превышает ли степень совпадения пороговое значение, и может предпочтительно использовать информацию, имеющую высокую достоверность, при выборе множественных областей обнаружения фокуса. На этапе S206 ЦП умножает разность фаз изображений A и B, полученную на этапе S204, на коэффициент преобразования для преобразования разности фаз в степень расфокусировки, таким образом, оперируя степенью расфокусировки.
На этапе S207 ЦП определяет, завершено ли вычисление степени расфокусировки в отношении всех областей обнаружения фокуса. Когда определено, что вычисление не завершено в отношении всех областей обнаружения фокуса, обработка возвращается к этапу S201 и выбирает область обнаружения фокуса из оставшихся областей обнаружения фокуса и задает область обнаружения фокуса. На этапе S207, когда определено, что вычисление завершено в отношении всех областей обнаружения фокуса, обработка переходит к этапу S208.
На этапе S208 ЦП генерирует карту степени расфокусировки из степеней расфокусировки во всех областях обнаружения фокуса, полученных повторением процессов этапов S201-S207. В этом случае карта степени расфокусировки представляет собой данные распределения, где позиция на экране фотографирования и степень расфокусировки связаны друг с другом.
На этапе S209, в отношении карты расфокусировки, полученной на этапе S208, с учетом информации объектива, полученной от фотографического объектива 137 посредством связи с объективом на этапе S103, ЦП осуществляет преобразование степени расфокусировки в расстояние до объекта. Таким образом, можно получить данные распределения, где позиция на экране фотографирования и расстояние до объекта связаны друг с другом.
На этапе S210 ЦП выделяет объекты на основании данных распределения расстояния до объекта. ЦП объединяет области с малыми расстояниями до объектов в распределении полученных расстояний до объектов и группирует области и выделяет контур объекта, включенного в экран фотографирования. Таким образом, получается карта расстояний до объекта (информация о расстоянии), где область каждого объекта и расстояние до объекта связаны друг с другом.
Если процесс этапа S210 завершен, ЦП заканчивает подпроцедуру генерации карты расстояний до объекта, и обработка переходит к этапу S111 в главной процедуре.
На фиг. 16 находится блок-схема, демонстрирующая подпроцедуру фотографирования. Последовательность операций подпроцедуры фотографирования выполняется ЦП 121 согласно вышеописанной программе.
На этапе S301 ЦП управляет диафрагмой регулировки количества света и управляет апертурой механического затвора, который задает время экспозиции.
На этапе S302 ЦП считывает изображение для фотографирования неподвижного изображения высокого разрешения, т.е. считывает сигналы всех пикселей.
На этапе S303 ЦП осуществляет интерполяцию дефектных пикселей в считанных сигналах изображения. Таким образом, выход пикселя обнаружения фокуса не содержит цветовой информации RGB для фотографирования, и пиксель обнаружения фокуса соответствует дефектному пикселю при получении изображения. Поэтому ЦП генерирует сигнал изображения из информации периферийного пикселя захвата изображения путем интерполяции.
На этапе S304 ЦП выполняет обработку изображения, например гамма-коррекцию, цветовое преобразование и выделение краев изображения. На этапе S305 ЦП записывает сфотографированное изображение во флэш-памяти 133. Сфотографированное изображение, которое записывается на этапе S305, задается как изображение, где размывание не скорректировано. При воспроизведении и отображении записанного изображения размывание корректируется, и изображение отображается. Таким образом, снижается рабочая нагрузка устройства захвата изображения. Процесс этапа S305, состоящий в записи сфотографированного изображения, выполняется на ЦП 121.
На этапе S306 информация характеристик корпуса камеры 138 записывается во флэш-памяти 133 и встроенной памяти 144, чтобы соответствовать сфотографированному изображению, записанному на этапе S305. В этом случае информация характеристик корпуса камеры 138 включает в себя оптические характеристики, например информацию распределения светочувствительности пикселя захвата изображения и пикселя обнаружения фокуса элемента 107 захвата изображения, информацию чистой полосы светового потока фотографирования в корпусе 138 камеры, информацию о расстоянии от монтажных плоскостей корпуса 138 камеры и фотографического объектива 137 до элемента 107 захвата изображения и информацию погрешности изготовления. Поскольку информация распределения светочувствительности пикселя захвата изображения и пикселя обнаружения фокуса элемента 107 захвата изображения определяется микролинзой на кристалле ML и блоком фотоэлектрического преобразования PD, эту информацию можно записывать.
На этапе S307 информация характеристик фотографического объектива 137 записывается во флэш-памяти 133 и встроенной памяти 144, чтобы соответствовать сфотографированному изображению, записанному на этапе S305. В этом случае информация характеристик фотографического объектива 137 включает в себя оптические характеристики, например информацию выходного зрачка EP, информацию кадра, информацию числа F во время фотографирования, информацию аберрации и информацию погрешности изготовления.
В устройстве захвата изображения, отвечающем настоящему изобретению, как показано на этапах S305-S307, сфотографированное изображение, где коррекция размывания не осуществляется, и информация характеристик фотографического объектива и информация характеристик устройства захвата изображения, соответствующая сфотографированному изображению, записываются во флэш-памяти 133. Таким образом, размывание сфотографированного изображения можно корректировать на основании информации характеристик фотографического объектива и информации характеристик фотографирования после фотографирования. Рабочую нагрузку во время записи сфотографированного изображения можно снизить. Запись сфотографированного изображения, информации характеристик фотографического объектива и информации характеристик устройства захвата изображения, которая осуществляется на этапах S305 - S307, осуществляется на ЦП 121.
Если процесс этапа S307 завершен, то обработка переходит к подпроцедуре отображения подтверждающего изображения после фотографирования этапа S400.
По окончании подпроцедуры отображения подтверждающего изображения после фотографирования этапа S400 ЦП заканчивает подпроцедуру фотографирования этапа S300, и обработка переходит к этапу S116 главной процедуры.
На фиг. 17 находится блок-схема, демонстрирующая подпроцедуру отображения подтверждающего изображения после фотографирования. Последовательность операций подпроцедуры отображения подтверждающего изображения после фотографирования также выполняется на ЦП 121. Блок управления отображением изображения, упомянутый в формуле изобретения, соответствует ЦП 121.
На этапе S401 ЦП получает карту расстояний до объекта, сгенерированную на этапе S200.
На этапе S402 ЦП задает область объекта, где размывание скорректировано, и расстояние до объекта. Как показано в подпроцедуре генерации карты расстояний до объекта этапа S200, информация, где область объекта и расстояние до объекта связаны друг с другом, получается из карты расстояний до объекта. Как описано на фиг. 9, диапазон расстояний с возможностью коррекции размывания определяется фотографическим объективом 137, и первое расстояние Dist11, которое является расстоянием ближайшей стороны, где размывание можно скорректировать, и второе расстояние Dist12, которое является наибольшим расстоянием бесконечной стороны, изменяются. Соответственно объект, где расстояние до объекта находится в диапазоне расстояний с возможностью коррекции размывания (от первого расстояния Dist11 до второго расстояния Dist12), определенном фотографическим объективом 137, задается так, чтобы размывание можно было корректировать. Таким образом, можно задавать каждую область объекта и расстояние до объекта, используемое при коррекции размывания его области.
Первое расстояние Dist11 и второе расстояние Dist12, образующие диапазон расстояний с возможностью коррекции размывания, опять же задаются так, чтобы величина сдвига от позиции плоскости изображения фотографического объектива 137 была меньше или равна заранее определенной величине. Таким образом, степень размывания можно поддерживать меньшей или равной заранее определенной величине, и можно осуществлять усиленную коррекцию размывания.
По завершении задания области коррекции размывания и расстояния на этапе S402 обработка переходит к подпроцедуре коррекции размывания этапа S500.
На этапе S403 ЦП отображает изображение, где размывание скорректировано на этапе S500, с помощью блока отображения 131 в течение заранее определенного времени. В это время в качестве отображаемого изображения, как показано на фиг. 13A, отображается только изображение с коррекцией размывания или позиции и количество объектов отображаются для наложения на изображение с коррекцией размывания, как показано на фиг. 13B. Отображение переключается согласно установочному значению, которое фотограф вводит с помощью переключателя операций 132.
Если процесс этапа S403 завершен, ЦП заканчивает подпроцедуру отображения подтверждающего изображения после фотографирования, и обработка возвращается к подпроцедуре фотографирования.
На фиг. 18 находится блок-схема, демонстрирующая подпроцедуру коррекции размывания. Последовательность операций подпроцедуры коррекции размывания также осуществляется на ЦП 121. Блок коррекции размывания, упомянутый в формуле изобретения, соответствует ЦП 121.
На этапе S501 ЦП 121 получает информацию преобразования, которая указывает содержимое обработки преобразования в схеме 125 обработки изображения.
На этапе S502 ЦП 121 определяет способ преобразования, который используется при преобразовании информации изображения, поступающей от схемы 125 обработки изображения. В частности, ЦП 121 определяет способ преобразования на основании информации преобразования (при необходимости, информации характеристик устройства захвата изображения или информации характеристик фотографического объектива, полученной на этапе S306 или этапе S307, помимо информации преобразования), полученной на этапе S501. В этом случае определенный способ преобразования представляет собой способ, предусматривающий такое преобразование информации изображения, при котором значение экспозиции и значение пикселя находятся в пропорциональном соотношении, для обеспечения линейности, соответствующей исходному условию алгоритма процесса восстановления изображения, раскрытого в патентном документе 2.
Например, когда схема 125 обработки изображения выполняет гамма-коррекцию, ЦП выполняет преобразование, обратное преобразованию на основании гамма-коррекции, на этапе S502. Таким образом, можно воспроизводить изображение до преобразования и можно получить изображение, обладающее линейностью. Аналогично, когда схема 125 обработки изображения выполняет цветовую коррекцию, преобразование, обратное преобразованию на основании цветового преобразования, выполняется на этапе S502. Таким образом, можно получить изображение, обладающее линейностью. Таким образом, на этапе S502 определяется способ преобразования, который соответствует преобразованию, обратному обработке преобразования посредством схемы 125 обработки изображения.
На этапе S503 схема 125 обработки изображения получает сфотографированное изображение. На этапе S504 полученное сфотографированное изображение преобразуется согласно способу преобразования, определенному на этапе S502. По завершении обработки преобразования на этапе S504 обработка переходит к этапу S600 и генерирует функцию размывания.
На этапе S505 ЦП осуществляет преобразование, обратное функции размывания, сгенерированной на этапе S600, и выполняет обработку коррекции размывания на сфотографированном изображении, преобразованном на этапе S504. В этом случае обработка коррекции размывания выполняется согласно алгоритму восстановления изображения, именуемому обработкой обращения свертки. Таким образом, можно получить изображение с коррекцией размывания, где скорректировано размывание заранее определенного объекта. Поскольку способ, позволяющий корректировать размывание путем выполнения обработки преобразования, обратной функции размывания, раскрыт в патентном документе 2, его описание здесь не приведено.
Если процесс этапа S505 завершен, ЦП заканчивает подпроцедуру коррекции размывания, и обработка переходит к этапу S403 в подпроцедуре отображения подтверждающего изображения после фотографирования.
На фиг. 19 находится блок-схема, демонстрирующая подпроцедуру генерации функции размывания. Последовательность операций подпроцедуры генерации функции размывания также осуществляется на ЦП 121.
На этапе S601 ЦП получает информацию характеристик корпуса камеры 138, которая записывается во встроенной памяти 144 на этапе S305 во время фотографирования.
На этапе S602 ЦП получает информацию характеристик фотографического объектива 137, которая записывается во встроенной памяти 144 на этапе S306 во время фотографирования.
На этапе S603 ЦП получает параметры, которые используются при задании функции размывания. Функция размывания определяется характеристиками оптического пропускания между фотографическим объективом 137 и элементом 107 захвата изображения. Оптическое пропускание изменяется в зависимости от таких факторов, как информация характеристик корпуса камеры 138, информация характеристик фотографического объектива 137, позиция области объекта в сфотографированном изображении и расстояние до объекта. Соответственно ЦП сохраняет во встроенной памяти 144 табличные данные, где факторы и параметры, используемые при задании функции размывания, связаны друг с другом. Если процесс этапа S603 выполняется, ЦП 121 получает параметры, которые используются при задании функции размывания из встроенной памяти 144 на основании факторов.
На этапе S604 ЦП задает функцию размывания на основании параметров размывания, полученных на этапе S603. В порядке примера функция размывания включает в себя гауссово распределение, где предполагается, что явление размывания подчиняется закону нормального распределения. Если расстояние от центрального пикселя обозначить как r, и произвольный параметр закона нормального распределения обозначить как σ2, функцию размывания h(r) можно выразить следующим образом:
Если процесс этапа S604 завершен, ЦП заканчивает подпроцедуру генерации функции размывания, и обработка переходит к этапу S505 в подпроцедуре коррекции размывания.
В качестве устройства захвата изображения, отвечающего настоящему изобретению, рассмотрена камера с возможностью смены фотографического объектива, но настоящее изобретение можно применять к так называемой камере типа «мыльница», где фотографический объектив входит в состав камеры. Даже в камере типа «мыльница» существует традиционная проблема. Как описано в настоящем изобретении, тот же эффект можно получить путем отображения сфотографированного изображения с коррекцией размывания.
Как описано выше, согласно устройству захвата изображения, отвечающему настоящему изобретению, можно реализовать устройство захвата изображения с блоком коррекции размывания, который позволяет фотографу легко подтверждать сфотографированное изображение.
Второй вариант осуществления
На фиг. 20 продемонстрирован второй вариант осуществления настоящего изобретения. Теперь опишем обработку операция во втором варианте осуществления настоящего изобретения с использованием чертежей.
В первом варианте осуществления степени расфокусировки Def21 и Def22, которые соответствуют степени размывания, где размывание можно скорректировать, расположены ближе к наружной стороне, чем степени расфокусировки Def11 и Def12 в позициях плоскостей изображения первого расстояния Dist11 ближайшей стороны и второго расстояния Dist12 бесконечной стороны. По этой причине первое расстояние Dist11 ближайшей стороны и второе расстояние Dist12 бесконечной стороны не обновляются.
Между тем, во втором варианте осуществления степени расфокусировки Def21 и Def22, которые соответствуют степени размывания, где размывание можно скорректировать, расположены ближе к внутренней стороне, чем степени расфокусировки Def11 и Def12 в позициях плоскостей изображения первого расстояния Dist11 ближайшей стороны и второго расстояния Dist12 бесконечной стороны. По этой причине места, где первое расстояние Dist11 ближайшей стороны и второе расстояние Dist12 бесконечной стороны обновляются согласно степеням расфокусировки Def12 и Def22, отличаются от соответствующих мест в первом варианте осуществления.
На фиг. 20 продемонстрировано соотношение между позициями плоскостей изображения, соответствующими расстояниям до объектов Dist1, Dist2, Dist3 и Dist4, и позицией плоскости изображения фотографического объектива 137. По оси отложена степень расфокусировки Def от позиции плоскости изображения фотографического объектива 137. В этом случае положительное направление степени расфокусировки Def соответствует направлению после фокусировки.
"0" указывает позицию плоскости изображения фотографического объектива 137, и величина сдвига выражается как "0". Def1, Def2, Def3 и Def4 указывают степени расфокусировки в позициях плоскостей изображения для расстояний до объектов Dist1, Dist2, Dist3 и Dist4 соответственно. Def11 и Def12 указывают степени расфокусировки в позициях плоскостей изображения для первого расстояния Dist11 ближайшей стороны и второго расстояния Dist12 бесконечной стороны соответственно.
Между тем Def21 и Def22 указывают степени расфокусировки, которые соответствуют степени размывания, где размывание можно скорректировать соответственно. Когда степень размывания чрезвычайно высока, экстремальная обработка преобразования выполняется во время восстановления размытого изображения, и весьма вероятна генерация шума. По этой причине, когда размывание корректируется, предпочтительно, чтобы степень размывания попадала в диапазон Def21 и Def22. Поскольку Def11 и Def12 находятся на внешней стороне Dif21 и Def22, размывание трудно хорошо скорректировать.
Соответственно первое расстояние Dist11 ближайшей стороны корректируется так, чтобы степень расфокусировки Def11 на первом расстоянии Dist11 ближайшей стороны стала степенью расфокусировки, соответствующей степени расфокусировки Def21. Аналогично второе расстояние Dist12 бесконечной стороны корректируется так, чтобы степень расфокусировки Def12 на втором расстоянии Dist12 бесконечной стороны стала степенью расфокусировки, соответствующей степени расфокусировки Def22. Таким образом, можно снизить остроту проблемы, возникающей, когда степень размывания чрезвычайно высока, экстремальная обработка преобразования выполняется во время восстановления размытого изображения, и генерируется шум. Иными словами, активируется усиленная коррекция размывания.
Операция обновления первого расстояния Dist11 ближайшей стороны и второго расстояния Dist12 бесконечной стороны согласно степеням расфокусировки Def21 и Def22 осуществляется на этапе S402 подпроцедуры отображения подтверждающего изображения после фотографирования (см. фиг. 17).
На этапе S402, фиг. 17, задаются область объекта, где размывание скорректировано, и расстояние до объекта. Как описано в подпроцедуре генерации карты расстояний до объекта этапа S200, информация, где область объекта и расстояние до объекта связаны друг с другом, получается из карты расстояний до объекта. Объект, где расстояние до объекта находится в диапазоне расстояний с возможностью коррекции размывания (от первого расстояния Dist11 до второго расстояния Dist12), определенном фотографическим объективом 137, задается так, чтобы осуществлялась коррекция размывания. Расстояния вновь задаются так, чтобы на первом расстоянии Dist11 и втором расстоянии Dist12, находящихся в диапазоне расстояний с возможностью коррекции размывания, величины сдвига от позиции плоскости изображения фотографического объектива 137 были меньше или равны заранее определенной величине. Таким образом, степень размывания можно поддерживать меньшей или равной заранее определенной величине, и можно осуществлять усиленную коррекцию размывания.
Поскольку конфигурация устройства захвата изображения и элемента захвата изображения и структура пикселей во втором варианте осуществления такие же, как в первом варианте осуществления, мы не будем повторять их описание. Кроме того, поскольку соотношение между расстоянием до объекта, расстоянием с возможностью коррекции размывания и информацией о расстоянии, полученной блоком приобретения информации о расстоянии такое же, как в первом варианте осуществления, мы не будем повторять его описание. Кроме того, поскольку последовательность операций устройства захвата изображения согласно второму варианту осуществления такая же, как в первом варианте осуществления, мы не будем повторять ее описание.
Как описано выше, даже во втором варианте осуществления настоящего изобретения можно реализовать устройство захвата изображения с блоком коррекции размывания, который позволяет фотографу легко подтверждать сфотографированное изображение.
Выше были описаны предпочтительные варианты осуществления настоящего изобретения. Однако настоящее изобретение не ограничивается этими вариантами осуществления, и можно предложить различные модификации и изменения, не выходящие за рамки объема настоящего изобретения.
Хотя настоящее изобретение описано со ссылкой на иллюстративные варианты осуществления, следует понимать, что изобретение не ограничивается раскрытыми иллюстративными вариантами осуществления. Объем нижеследующей формулы изобретения должен соответствовать широчайшей интерпретации, чтобы охватывать все подобные модификации и эквивалентные структуры и функции.
Аспекты настоящего изобретения также можно реализовать посредством компьютера системы или устройства (или устройств, например ЦП или MPU), которое считывает и выполняет программу, записанную в запоминающем устройстве для осуществления функций вышеописанного(ых) варианта(ов) осуществления, и посредством способа, этапы которого осуществляются посредством компьютера системы или устройства, например считывающего и выполняющего программу, записанную в запоминающем устройстве для осуществления функций вышеописанного(ых) варианта(ов) осуществления. С этой целью программа передается на компьютер, например, по сети или в виде носителя записи того или иного типа, служащего запоминающим устройством (например, компьютерно-считываемого носителя).
Данная заявка притязает на приоритет японской патентной заявки № 2009-115592, поданной 12 мая, 2009, которая, таким образом, в полном объеме включена сюда в порядке ссылки.
1. Устройство захвата изображения, содержащее
фотографический объектив (101, 103 и 105), который формирует изображение объекта,
блок (107) фотоэлектрического преобразования, который расположен в прогнозируемой плоскости изображения фотографического объектива,
блок (131) отображения, который отображает сфотографированное изображение, полученное с помощью блока фотоэлектрического преобразования,
блок (121) управления отображением изображения, который отображает сфотографированное изображение с помощью блока отображения после получения сфотографированного изображения с помощью блока фотоэлектрического преобразования,
блок (121) приобретения информации о расстоянии, который получает информацию о расстоянии до объекта в сфотографированном изображении,
блок (121) коррекции размывания, который осуществляет коррекцию размывания посредством обработки обращения свертки на сфотографированном изображении на основании информации о расстоянии до объекта, полученной блоком приобретения информации о расстоянии,
блок (121) записи, который записывает сфотографированное изображение, где размывание не скорректировано, информацию характеристик фотографического объектива, информацию характеристик устройства захвата изображения, связанные друг с другом,
причем блок управления отображением изображения отображает сфотографированное изображение, где множественные расстояния до объекта в сфотографированном изображении сфокусированы.
2. Устройство захвата изображения по п.1, дополнительно содержащее
блок (121) обнаружения объекта, который обнаруживает объект в сфотографированном изображении, и
блок отображения позиции объекта, который отображает позицию объекта, обнаруженного блоком обнаружения объекта, с помощью блока отображения, для наложения на сфотографированное изображение.
3. Устройство захвата изображения по п.1, дополнительно содержащее
блок (121) обнаружения объекта, который обнаруживает объект в сфотографированном изображении, и
блок отображения количества объектов, который отображает количество объектов, обнаруженных блоком обнаружения объекта, на блоке отображения.
4. Устройство захвата изображения по п.1,
в котором обработка обращения свертки выполняется на основании характеристики оптического пропускания между фотографическим объективом и блоком фотоэлектрического преобразования.
5. Устройство захвата изображения, содержащее
фотографический объектив (101, 103 и 105), который формирует изображение объекта,
блок (107) фотоэлектрического преобразования, который расположен в прогнозируемой плоскости изображения фотографического объектива,
блок (131) отображения, который отображает сфотографированное изображение, полученное блоком фотоэлектрического преобразования,
блок (121) управления отображением изображения, который отображает сфотографированное изображение с помощью блока отображения после получения сфотографированного изображения с помощью блока фотоэлектрического преобразования,
блок (121) приобретения информации о расстоянии, который получает информацию о расстоянии до объекта в сфотографированном изображении, и
блок (121) коррекции размывания, который осуществляет коррекцию размывания на сфотографированном изображении на основании информации о расстоянии до объекта, полученной блоком приобретения информации о расстоянии,
причем блок управления отображением изображения отображает сфотографированное изображение, где размывание скорректировано с помощью блока коррекции размывания, в диапазоне от первого расстояния до объекта до второго расстояния до объекта согласно информации о расстоянии до объекта в сфотографированном изображении, и
при этом первое расстояние до объекта определяется на основании конца расстояния ближайшей стороны фотографического объектива, и второе расстояние определяется на основании конца расстояния бесконечной стороны фотографического объектива.
6. Устройство захвата изображения по п.5,
в котором диапазон первого расстояния до объекта и второго расстояния до объекта задается так, чтобы величина разности позиции плоскости изображения каждого из первого расстояния до объекта и второго расстояния до объекта и позиции плоскости изображения фотографического объектива была меньше или равна заранее определенной величине.
7. Устройство захвата изображения по п.5, дополнительно содержащее
блок (121) обнаружения объекта, который обнаруживает объект в сфотографированном изображении, и
блок отображения позиции объекта, который отображает позицию объекта, обнаруженного блоком обнаружения объекта, с помощью блока отображения, для наложения на сфотографированное изображение.
8. Устройство захвата изображения по п.5, дополнительно содержащее
блок (121) обнаружения объекта, который обнаруживает объект в сфотографированном изображении и
блок отображения количества объектов, который отображает количество объектов, обнаруженных блоком обнаружения объекта, на блоке отображения.
9. Устройство захвата изображения по п.5,
в котором блок коррекции размывания осуществляет обработку обращения свертки на основании характеристики оптического
пропускания между фотографическим объективом и блоком фотоэлектрического преобразования.
10. Устройство захвата изображения, содержащее фотографический объектив (101, 103 и 105), который формирует изображение объекта,
блок (107) фотоэлектрического преобразования, который расположен в прогнозируемой плоскости изображения фотографического объектива,
блок (131) отображения, который отображает сфотографированное изображение, полученное блоком фотоэлектрического преобразования,
блок (121) управления отображением изображения, который отображает сфотографированное изображение на блоке отображения после получения сфотографированного изображения с помощью блока фотоэлектрического преобразования,
блок (121) приобретения информации о расстоянии, который получает информацию о расстоянии до объекта в сфотографированном изображении, и
блок (121) коррекции размывания, который осуществляет коррекцию размывания посредством обращения свертки на сфотографированном изображении на основании информации о расстоянии до объекта, полученной блоком приобретения информации о расстоянии,
причем блок управления отображением изображения отображает информацию о диапазоне расстояний до объекта, где возможна коррекция размывания.
11. Устройство захвата изображения по п.10,
в котором обработка обращения свертки выполняется на основании характеристики оптического пропускания между фотографическим объективом и блоком фотоэлектрического преобразования.
12. Устройство захвата изображения по п.10, дополнительно содержащее
блок обнаружения объекта, который обнаруживает объект в сфотографированном изображении,
причем блок управления отображением изображения отображает позицию объекта, обнаруженного блоком обнаружения объекта, для наложения на сфотографированное изображение.
13. Устройство захвата изображения по п.10, дополнительно содержащее
блок обнаружения объекта, который обнаруживает объект в сфотографированном изображении,
причем блок управления отображением изображения отображает количество объектов, обнаруженных блоком обнаружения объекта.
