Формирование многоспектральных изображений

Изобретение относится к области спектроскопии и касается многоспектральной камеры. Многоспектральная камера содержит диафрагму, дисперсионный элемент, линзу, микролинзовую решетку, фотоприемное устройство и процессор. Излучение поступает в многоспектральную камеру через диафрагму, которая имеет, по меньшей мере, одно отверстие и направляется дисперсионным элементом в различных, зависящих от длины волны направлениях. Линза фокусирует излучение, поступающее от дисперсионного элемента, на плоскость изображений. Микролинзовая решетка принимает излучение от линзы и направляет его на фотоприемное устройство. Процессор на основании величин сигналов от фоточувствительных элементов фотоприемного устройства формирует многоспектральное изображение. Технический результат заключается в обеспечении возможности формирования многоспектральных изображений без использования сканирующих систем и сменных фильтров, а также в улучшении временного разрешения и упрощении конструкции устройства. 2 н. и 13 з.п. ф-лы, 7 ил.

 

ОБЛАСТЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Данное изобретение относится к формированию многоспектральных изображений, в частности, но не исключительно, к формированию многоспектральных изображений, имеющих две пространственных и одну спектральную размерности.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Человеческий глаз имеет три вида колбочек, которые чувствительны к различным участкам видимого спектра. Эти колбочки обычно обозначают L, M и S по длинам волн, к которым они чувствительны (длинные, средние и короткие), что приблизительно соответствует красному, зеленому и синему цветам. Относительная спектральная чувствительность колбочек иллюстрируется на фиг. 1, на которой показано, что колбочки имеют довольно широкополосный характер и соответствуют интегрированию излучения по широкому диапазону длин волн. Следовательно, два материала с различными спектральными параметрами при некоторых условиях освещения могут выглядеть для человека-наблюдателя как имеющие один и тот же цвет. Это явление известно как метамеризм. Подобно человеческому глазу, три основные (RGB) системы, использующие широкополосные светофильтры, стали составлять основу как дисплеев, так и камер. Дисплеи основаны на соответствующей комбинации основных цветов для формирования любого цвета в пределах гаммы, охватываемой основными цветами.

Часто бывает целесообразным описывать изображения исходя из более детальной спектральной отражательной способности, чем получаемая с помощью (относительно приблизительных) координат цветов RGB. Кроме того, желательно, чтобы изображение было получено с локальной спектральной информацией, т.е. информацией, в которой отдельно характеризуются спектральные характеристики различных участков изображения. Такое формирование изображения называется формированием многоспектральных изображений и является методом, нашедшим множество практических применений, включая, например:

- обнаружение загрязняющих веществ,

- контроль состояния окружающей среды,

- сортировку зерновых и лесо- и пиломатериалов по качеству,

- обнаружение микроорганизмов (флуоресценция/цитометрия),

- проточную цитометрию,

- оксиметрию и т.д.

Для некоторых применений желательно анализировать только отдельные участки спектра видимого излучения. Например, в фотоплетизмографии частота сердечных сокращений человека получается по результатам временного анализа оптической записи. Однако точно установлено, что сигнал частоты сердечных сокращений сильнее для зеленых цветов (например, 540-560 нм) ввиду свойств спектрального поглощения гемоглобина. В результате, система, специально анализирующая представляющую интерес узкую спектральную полосу, даст более точные оценки, чем система, использующая широкополосные датчики, которые регистрируют больше неспецифических сигналов окружающей среды и шума.

Желательно, чтобы многоспектральная камера обеспечивала высокое пространственное разрешение, высокое спектральное разрешение и высокое временное разрешение. Однако эти требования обычно бывают противоречивыми, и, следовательно, часто необходим компромисс между этими различными требованиями.

В одном типе многоспектральной камеры используется подход, при котором сцена/цель сканируется построчно, при этом используется ортогональный этой строке дисперсионный элемент (такой как решетка или призма) для получения спектра каждого пикселя в строке. Результирующие двумерные данные (с одной пространственной и одной спектральной размерностью) регистрируются с помощью традиционного двумерного датчика. Полные трехмерные данные (две пространственные размерности и одна спектральная размерность) формируются затем путем постепенного и последовательного сканирования строк в направлении, перпендикулярном строке.

Однако такая камера обычно бывает относительно сложной и требует механического перемещения для осуществления сканирования. Обычно это приводит к возрастанию сложности, увеличению стоимости, снижению надежности, повышению энергопотребления и увеличению габаритов и/или веса. Требуемый процесс сканирования также обычно бывает относительно медленным, что приводит к относительно длительному времени регистрации изображения. Это делает данный подход менее подходящим, например, для регистрации динамических изображений.

В другом типе многоспектральных камер используется перестраиваемый светофильтр, который размещается перед обычной черно-белой камерой. За счет последовательной смены фильтров и записи соответствующего изображения могут быть получены полные трехмерные данные (т.е. каждое зарегистрированное изображение будет соответствовать излучению в частотном интервале полосы пропускания фильтра). Основной недостаток этого подхода состоит в том, что коэффициент использования светового потока оказывается довольно плохим, поскольку значительная часть излучения блокируется фильтром. Кроме того, подходящие фильтры, такие как жидкокристаллические перестраиваемые фильтры и акустооптические перестраиваемые фильтры, являются довольно дорогими и обычно обеспечивают пропускание излучения лишь на одной длине волны (режекцию). Данный подход также обычно имеет те же недостатки, что и сканирующие многоспектральные камеры, т.е. является медленным и имеет относительно низкую надежность и т.д.

Особенно важный недостаток указанных типов многоспектральных камер состоит в том, что они жертвуют спектральным разрешением ради временного разрешения. Это является недостатком в ситуациях, в которых регистрируемые объекты являются движущимися. Кроме того, данные способы, как правило, обладают очень конкретным (фиксированным) спектральным разрешением, которое не может быть легко приспособлено к применению.

Таким образом, усовершенствованная многоспектральная камера была бы полезной. Например, многоспектральная камера, обеспечивающая повышенную универсальность, пониженную стоимость, уменьшенную сложность, увеличенную надежность, уменьшенные габариты/вес, пониженное энергопотребление, улучшенные временные характеристики/разрешение и/или улучшенную эффективность, была бы полезной.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В соответствии с этим целью изобретения является уменьшение, ослабление или устранение одного или более из вышеупомянутых недостатков отдельно или в любой комбинации.

В соответствии с одним вариантом осуществления изобретения предлагается многоспектральная камера, содержащая: светоблокирующий элемент, имеющий, по меньшей мере, одно отверстие, позволяющее излучению проходить сквозь него; дисперсионный элемент для разложения излучения из указанного, по меньшей мере, одного отверстия в различных, зависящих от длины волны направлениях; линзу для фокусирования излучения из дисперсионного элемента на плоскость изображения; микролинзовую решетку, принимающую излучение от линзы; датчик изображения, принимающий излучение от микролинзовой решетки и формирующий сигнал величин пикселей, содержащий величины падающего излучения для пикселей датчика изображения; и процессор для формирования многоспектрального изображения по сигналу величин пикселей.

Данное изобретение может обеспечивать усовершенствование спектральной камеры. В частности, данный подход может обеспечивать регистрацию многоспектрального изображения, не требующую последовательных операций, таких как сканирование или последовательная смена физических фильтров. Регистрация видеоинформации, обеспечивающая формирование многоспектрального изображения, во многих вариантах осуществления может быть практически мгновенной. Данный подход может обеспечивать улучшенные временные характеристики и может, в частности, обеспечивать высокое временное разрешение при сохранении относительно высокого пространственного и спектрального разрешения. Многоспектральная камера в данном изобретении может оказаться особенно подходящей, например, для регистрации движущихся объектов или видеоизображений.

Данный подход может также обеспечить жесткую механическую установку и может уменьшить стоимость, габариты/вес, энергопотребление и/или сложность. Он может также обеспечить повышенную надежность.

Например, в некоторых вариантах осуществления многоспектральная камера, использующая данный подход, может оказаться способной одновременно регистрировать спектр для каждого пикселя в сцене. В противоположность традиционным камерам, таким как спектрометры со строчным сканированием или камеры с перестраиваемыми блокирующими фильтрами, локальная спектральная информация для всех пикселей может регистрироваться одновременно, тем самым обеспечивая улучшенные временные характеристики, что является чрезвычайно полезным, например, при наличии движения.

Система может использовать данные с традиционного датчика изображения в совокупности со специальной конфигурацией главной линзы, микролинзовой решетки и дисперсионного элемента, такого как решетка или призма, для формирования детального многоспектрального изображения. В данном подходе может осуществляться последующая обработка сигнала с датчика изображения для формирования многоспектрального изображения с необходимыми требованиями. Например, данный подход может обеспечить создание светофильтров и их применение в программном обеспечении в качестве этапа последующей обработки цифровых данных, тем самым обеспечивая повышенную универсальность.

Многоспектральное изображение содержит как пространственную, так и спектральную информацию. Как правило, данные представляются в трехмерных наборах данных, соответствующих двум пространственным размерностям и одной спектральной размерности. Например, спектральное распределение для множества участков изображения может быть представлено многоспектральным изображением. При этом многоспектральное изображение представляет собой комбинированное пространственное и спектральное изображение. В некоторых вариантах осуществления многоспектральное изображение может быть разделено на множество пикселей со спектральным распределением, создаваемым для каждого пикселя. Многоспектральное изображение содержит отдельные спектральные данные для множества участков изображения. При этом многоспектральное изображение содержит локализованные спектральные данные и, в частности, может представлять как информацию по изображению видимого диапазона, так и спектральные изменения по данному изображению.

Светоблокирующий элемент может образовывать для камеры оболочку таким образом, что единственным излучением, достигающим дисперсионного элемента, линзы, микролинзы и датчика изображения, является излучение, проходящее сквозь отверстие в светоблокирующем элементе.

В конструкции многоспектральной камеры может использоваться структура последовательных плоскостей, при этом светоблокирующий элемент образует первую светоблокирующую плоскость (не считая отверстий), за которой следует (возможно, параллельная) плоскость дисперсионного элемента, за которой следует плоскость линзы, за которой следует плоскость микролинзовой решетки, за которой следует датчик изображения (который, возможно, параллелен микролинзовой решетке). Плоскость изображений может быть (виртуальной) (возможно, параллельной) плоскостью, как правило, между линзой и микролинзовой решеткой. Плоскости линзы, микролинзы и датчика могут, в частности, размещаться в конфигурации Шаймпфлюга. Это может, например, использоваться в вариантах осуществления, в которых дисперсионный элемент вносит угол относительно оптической оси.

Дисперсионный элемент может быть, например, призмой или решеточным элементом и может обеспечивать разложение за счет дифракции.

Указанное, по меньшей мере, одно отверстие может быть любым подходящим отверстием в светоблокирующем элементе, позволяющим излучению проходить сквозь светоблокирующий элемент. Отверстие не обязательно должно быть пустым, а может, например, быть заполнено прозрачным материалом. В некоторых вариантах осуществления в указанном, по меньшей мере, одном отверстии может располагаться линза и/или диафрагма. При этом с оптической точки зрения указанное, по меньшей мере, одно отверстие может представлять собой, по меньшей мере, одну линзу и/или диафрагму. В частности указанное, по меньшей мере, одно отверстие может содержать апертуру линзы объектива, которая переносит изображение на дисперсионный элемент.

В соответствии с еще одной особенностью данного изобретения многоспектральное изображение включает в себя признак спектрального распределения для пикселей многоспектрального изображения.

Данное изобретение может обеспечивать усовершенствованное формирование многоспектральных изображений с относительно высоким пространственным, спектральным и/или временным разрешением.

В соответствии с еще одной особенностью данного изобретения процессор размещается для: синтезирования первого изображения в плоскости дисперсии из сигнала величин пикселей; формирования второго изображения путем наложения пространственной маски на первое изображение, причем пространственная маска соответствует спектральной характеристике; и формирования пространственного изображения для многоспектрального изображения, соответствующего спектральной характеристике второго изображения.

Это может обеспечить улучшенные характеристики и/или упрощенную эксплуатацию. В частности, это может обеспечить подлежащие определению спектральные характеристики, которые соответствуют конкретным пожеланиям и требованиям для отдельного варианта осуществления. Спектральные характеристики могут, например, быть определены путем вычислительной обработки без требования каких-либо ручных, механических или физических изменений. При этом характеристики сформированного многоспектрального изображения могут быть изменены попросту использованием обработки выходной информации датчика. Тем самым достигается более гибкий подход, который не ограничивается физическими ограничениями, например, спектральных или пространственных фильтров.

Плоскость дисперсии представляет собой, в частности, плоскость, в которой положение излучения зависит лишь от длины волны излучения. При этом излучение от всех участков сцены (т.е. проходящее сквозь указанное, по меньшей мере, одно отверстие под любым углом) будет сходиться в одной и той же точке, которая зависит от длины волны. При этом в плоскости дисперсии спектральные характеристики полностью преобразуются в пространственные характеристики.

Первое изображение является не пространственным изображением сцены, а, скорее, спектральным изображением, в котором каждая точка соответствует суммарной интенсивности излучения сцены для одной длины волны. При этом первое изображение может рассматриваться как спектральное изображение или спектральная карта. В частности, первое изображение может рассматриваться как карта спектральной интенсивности.

В соответствии с еще одной особенностью данного изобретения процессор размещается для: определения множества пространственных изображений, соответствующих различным спектральным характеристикам, путем наложения соответствующих различных пространственных масок на первое изображение; и формирования многоспектрального изображения из множества пространственных изображений.

Это может дать практический и гибкий подход к формированию многоспектрального изображения. Последовательность масок, соответствующих различным спектральным характеристикам/фильтрам, может применяться параллельно или последовательно путем алгоритма последующей обработки для получения набора пространственных изображений, соответствующих различным спектральным контурам/характеристикам. Спектральные контуры/характеристики могут гибко выбираться и применяться с помощью имеющей низкую сложность пространственной обработки.

В соответствии с еще одной особенностью данного изобретения спектральная характеристика соответствует полосовому фильтру.

Характеристика полосового фильтра может, в частности, соответствовать выбору частотного интервала. Это может обеспечить практическое и эффективное формирование многоспектральных изображений.

В соответствии с еще одной особенностью данного изобретения микролинзовая решетка и датчик изображения размещаются таким образом, что излучение, проходящее через указанное, по меньшей мере, одно отверстие под одинаковым углом, распределяется по множеству пикселей датчика изображений, причем данное распределение является распределением, зависящим от длины волны.

Это может обеспечить усовершенствованное и/или упрощенное формирование многоспектральных изображений. Распределение, в частности, может быть таким, что один световой луч при заданном угле сквозь указанное, по меньшей мере, одно отверстие может достичь множества пикселей, при этом до каждого пикселя доходит различный интервал длин волн.

В соответствии с еще одной особенностью данного изобретения процессор размещается для компенсации величины одного пикселя датчика изображения, принимающего световые лучи, соответствующие лучам с различными длинами волн и проходящие сквозь указанное, по меньшей мере, одно отверстие под различными углами.

Это может обеспечить усовершенствованное и/или упрощенное формирование многоспектральных изображений. Вместо этого или кроме этого, данный подход может упростить реализацию.

В соответствии с еще одной особенностью данного изобретения микролинзовая решетка главным образом располагается в плоскости изображений.

Это может оказаться особенно целесообразным в некоторых вариантах осуществления или сценариях. В частности, во многих сценариях это может обеспечить формирование многоспектрального изображения непосредственно по выходной информации датчика без необходимости последующей обработки с фильтрацией. Данный подход может, например, обеспечить повышенное спектральное разрешение.

В соответствии с еще одной особенностью данного изобретения микролинзовая решетка располагается между плоскостью изображений и датчиком изображения.

Это может оказаться особенно целесообразным в некоторых вариантах осуществления или сценариях. В частности, это может позволить датчику изображения регистрировать информацию, которая хорошо подходит для формирования многоспектральных изображений с помощью последующей обработки на компьютере.

В соответствии с еще одной особенностью данного изобретения многоспектральная камера дополнительно содержит ввод данных пользователем и контроллер для регулирования положения, по меньшей мере, одного из следующего - микролинзовой решетки или датчика изображения - в ответ на ввод данных пользователем.

Это может позволить создать более универсальную многоспектральную камеру и может, в частности, позволить пользователю контролировать компромисс между пространственным и спектральным разрешением для изображения, регистрируемого датчиком изображения.

В с еще одной особенностью данного изобретения, светоблокирующий элемент образует светоблокирующую плоскость, при этом указанное, по меньшей мере, одно отверстие представляет собой щель в светоблокирующей плоскости.

Данный подход может обеспечить регистрацию трехмерного изображения с двумя пространственными и одной спектральной размерностью по измерению одним датчиком. Щель, как правило, может иметь ширину 1 мм или менее. Кроме того, узкая щель может обеспечивать надлежащее управление углами падающих лучей в указанной, по меньшей мере, одной щели по одной размерности при обеспечении регистрации протяженной сцены. Дисперсионный элемент может представлять собой, например, линейный решетчатый элемент, линии которого практически параллельны щели. Микролинзовая решетка может, в частности, представлять собой линзовую решетку, линии которой практически параллельны щели.

В соответствии с еще одной особенностью данного изобретения датчик изображения представляет собой двумерный датчик изображения.

Это может позволить регистрировать трехмерное изображение с двумя пространственными и одной спектральной размерностью по измерению одним датчиком.

В соответствии с еще одной особенностью данного изобретения указанное, по меньшей мере, одно отверстие состоит из множества отверстий, образующих кодированную апертуру.

Это может повысить световую чувствительность многоспектральной камеры посредством последующей обработки. Кодированная апертура может, в частности, обеспечивать падающее излучение от множества отверстий при обеспечении компенсации этого путем последующей обработки. Кодированная апертура может, например, состоять из практически круглых отверстий или вытянутых щелей, размещенных в соответствующей конфигурации, которая может быть скомпенсирована/изменена путем последующей обработки.

В соответствии с еще одной особенностью данного изобретения указанное, по меньшей мере, одно отверстие представляет собой точечное отверстие.

Это может обеспечить надлежащее управление углами падающих лучей в указанном, по меньшей мере, одном отверстии, при этом надлежащим образом заданные углы зависят от направления на источник лучей. В предпочтительном варианте осуществления точечное отверстие может часто иметь максимальный размер 1 мм или менее.

В соответствии с одним вариантом осуществления данного изобретения предлагается способ формирования многоспектрального изображения, причем данный способ включает в себя: создание светоблокирующего элемента, имеющего, по меньшей мере, одно отверстие, позволяющее излучению проходить через него; создание дисперсионного элемента для разложения излучения от указанного, по меньшей мере, одного отверстия в различных, зависящих от длины волны направлениях; создание линзы для фокусирования излучения от дисперсионного элемента на плоскость изображения; создание микролинзовой решетки, принимающей излучение от линзы; создание датчика изображения для приема излучения от микролинзовой решетки и формирования сигнала величин пикселей, содержащего величины падающего излучения для пикселей датчика изображения; и формирование многоспектрального изображения по сигналу величин пикселей.

Эти и другие варианты осуществления, особенности и преимущества данного изобретения понятны из описанного ниже варианта (вариантов) осуществления и пояснены со ссылкой на него.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления данного изобретения описываются лишь в качестве примера со ссылкой на чертежи, на которых:

фиг. 1 является иллюстрацией относительной спектральной чувствительности человеческого глаза;

фиг. 2 является иллюстрацией некоторых элементов многоспектральной камеры в соответствии с некоторыми вариантами осуществления данного изобретения;

фиг. 3 является иллюстрацией некоторых элементов многоспектральной камеры в соответствии с некоторыми вариантами осуществления данного изобретения;

фиг. 4 является иллюстрацией некоторых элементов системы формирования изображений с перестраиваемым спектром в соответствии с известным уровнем техники;

фиг. 5 является иллюстрацией некоторых элементов процессорного элемента для многоспектральной камеры в соответствии с некоторыми вариантами осуществления данного изобретения;

фиг. 6 является иллюстрацией некоторых элементов многоспектральной камеры в соответствии с некоторыми вариантами осуществления данного изобретения; и

фиг. 7 является иллюстрацией некоторых элементов многоспектральной камеры в соответствии с некоторыми вариантами осуществления данного изобретения.

ПОДРОБНОЕ ОПИСАНИЕ НЕКОТОРЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

На фиг. 2 показан пример элементов многоспектральной камеры в соответствии с некоторыми вариантами осуществления данного изобретения.

Многоспектральная камера включает в себя светоблокирующий элемент 201, который содержит одно или более отверстий 203, позволяющих излучению проходить сквозь него. Для ясности нижеследующее описание сосредоточено на примере, в котором в светоблокирующем элементе 201 предусматривается точечное отверстие (или узкая щель), но понятно, что в других вариантах осуществления может использоваться более одного отверстия.

В данном примере отверстие 203 имеет максимальный размер менее 1 мм (или ширину менее 1 мм для щели). В частности, отверстие 203 является настолько малым, что направление/угол световых лучей от объектов, изображения которых формируются, изменяется не более чем, например, на 1° поперек отверстия, т.е. лучи, исходящие из одной и той же точки, могут проходить сквозь отверстие 203 лишь в том случае, если они имеют угол относительно отверстия, лежащий в пределах 1° друг относительно друга. В данном конкретном примере многоспектральная камера используется для формирования изображений объектов, которые отстоят, по меньшей мере, на 20 см от отверстия 203 и, следовательно, отверстие достаточно мало для того, чтобы угол/направление лучей от одной и той же пространственной точки, которые проходят сквозь отверстие 203, составлял не более чем 1°.

Многоспектральная камера дополнительно содержит дисперсионный элемент 205, который принимает излучение, проходящее сквозь отверстие 203. В данном примере дисперсионный элемент 205 образует дисперсионную плоскость. Дисперсионный элемент 205 разлагает излучение из отверстия 203 по различным, зависящим от длины волны направлениям. Поэтому луч света может исходить из объекта в сцене и достигать сервера 109 распределения через отверстие 203. Ввиду малых размеров отверстия 203 направление/угол, в котором луч достигает отверстия, зависит только от направления от объекта к отверстию 203 (предполагается, что отверстие 203 имеет бесконечно малый размер). При этом дисперсионный элемент 205 разлагает излучение луча на угловое распределение, в котором угол выхода из дисперсионного элемента 205 зависит от длины волны.

Следует отметить, что размер отверстия непосредственно определяет спектральное разрешение, которое может быть получено. Диапазон углов падения в одно и то же место на дисперсионном элементе 205 определяется как размер точечного отверстия, деленный на расстояние между отверстием 203 и дисперсионным элементом 205. Этим задаются направления различных лучей после дисперсии и, следовательно, спектральное разрешение, например, в плоскости дисперсии.

В некоторых вариантах осуществления дисперсионный элемент 205 может быть, например, призмой. В приведенном на фиг. 2 примере дисперсионный элемент 205 является решетчатым элементом, который разлагает падающее излучение за счет дифракционных эффектов. При этом в данном примере излучение от сцены (объекты X, Y, Z) распространяется сквозь точечное отверстие 203, а затем падает на решетку (образуемую дисперсионным элементом 205). Благодаря дифракционному действию решетки различные длины волн расходятся по различным направлениям распространения.

В зависимости от требуемого поля зрения расстояние между отверстием 203 и дисперсионным элементом 205 в предпочтительном варианте осуществления часто может находиться в интервале между 10 и 100 мм (включая оба значения).

Многоспектральная камера дополнительно содержит линзу 207, которая принимает излучение от дисперсионного элемента 205 и которая фокусирует его на плоскость 209 изображения. Фокусирование осуществляется таким образом, что все излучение, проходящее через отверстие 203 при заданном угле, достигает одной и той же точки на плоскости 209 изображения. При этом линза дополняет/обращает действие/эффект дисперсионного элемента 205 при измерении в плоскости 209 изображения. При этом разложение луча дисперсионным элементом 205 в точности компенсируется линзой 207 для плоскости 209 изображения таким образом, что один луч преобразуется в одну точку на плоскости 209 изображения. При этом излучение, падающее на плоскость 209 изображения, соответствует излучению, падающему на дисперсионный элемент 205, за исключением обращения (т.е. изображение перевернуто «вверх ногами»).

Следует отметить, что плоскость 209 изображения является не физическим элементом, а, скорее, относится к плоскости, в которой компенсируется спектральное разложение падающих световых лучей. При этом если бы датчик изображения был расположен в плоскости изображения, он регистрировал бы пространственное изображение, но не регистрировал бы никакой спектральной информации. Плоскость 209 изображения можно рассматривать как соответствующую виртуальной плоскости (в которой может регистрироваться сфокусированное пространственное изображение).

Линза 207 обычно размещается таким образом, чтобы ее главная ось/плоскость была перпендикулярна дифракции N-го (обычно первого) порядка дисперсионного элемента 205. Кроме того, расстояние между дисперсионным элементом 205 и линзой 207 в предпочтительном варианте осуществления обычно больше расстояния между отверстием 203 и дисперсионным элементом 205.

Многоспектральная камера дополнительно содержит микролинзовую решетку 211, которая принимает излучение от линзы 207. Микролинзовая решетка 211 содержит множество линз, перекрывающих плоскость излучения, падающего от линзы 207. Микролинзовая решетка 211 в предпочтительном варианте осуществления может образовывать плоскость, пересекающую «ось вращения» (конфигурация Шаймпфлюга), которая также пересекается плоскостью дисперсионного элемента 205 и главной осью/плоскостью линзы 207. Расстояние между линзой 207 и микролинзовой решеткой 211 может быть определено по формуле линзы для линзы 20, поэтому зависит от оптической силы линзы 207 и расстояния от дисперсионного элемента 205.

Многоспектральная камера дополнительно включает в себя датчик 213 изображения, который содержит множество чувствительных элементов для обнаружения уровня падающего излучения. Каждый чувствительный элемент при этом является оптическим датчиком, соответствующим пикселю регистрируемого изображения. В приведенном на фиг. 2 примере чувствительные элементы размещаются в двумерной плоскости.

Таким образом, каждый чувствительный элемент может соответствовать пикселю изображения, формируемого микролинзовой решеткой 211 в плоскости, в которой расположен датчик 213 изображения. Датчик 213 изображения формирует сигнал величин пикселей, который содержит величины падающего излучения для пикселей датчика изображения. Сигнал величин пикселей может, в частности, включать в себя измеренные величины для каждого из чувствительных элементов.

Сигнал величин пикселей подается на процессор, который затем определяет по этому сигналу многоспектральное изображение.

Введение микролинзовой решетки 211, по существу, дает информацию, которая может использоваться для последующей обработки зарегистрированной информации в конкретной конструкции камеры таким образом, что трехмерный (две пространственные размерности и одна спектральная) набор данных, соответствующий многоспектральному изображению, может формироваться по одному мгновенному измерению. При этом спектральная информация может определяться без необходимости последовательной физической фильтрации излучения или сканирования.

Введение микролинзовой решетки 211, в частности, позволяет осуществлять точное и раздельное определение пространственных и спектральных характеристик на основе одного измерения с помощью двумерного датчика изображения.

Пример этого приведен на фиг. 3. В этом случае микролинзовая решетка 211 расположена по существу в плоскости 207 изображения. При этом все излучение, падающее на микролинзовую решетку 211, надлежащим образом фокусируется пространственно, и каждая из микролинз может рассматриваться как соответствующая величине пространственного пикселя. Однако изображение, проецируемое на микролинзовую решетку 211, не имеет никакого спектрального распределения, т.е. все длины волн из одного и того же места в сцене (и, следовательно, проходящие отверстие 203 под одним и тем же углом) достигают одной и той же микролинзы. Тем не менее, хотя различные длины волн луча сходятся в одной и той же точке в микролинзовой решетке 211, они осуществляют это с различных направлений и имеют различные углы падения. Это используется микролинзовой решеткой 211 для разложения лучей падающего излучения в зависимости от угла падения и, следовательно, длины волны. При этом излучение, выходящее из микролинзы, соответствует излучению, падающему на микролинзу (и, следовательно, в одну точку), но с угловым расхождением, которое отражает длину волны, т.е. выходящее излучение имеет спектральное (пространственное) распределение.

В приведенном на фиг. 3 примере датчик 213 изображения расположен таким образом, что излучение от одной микролинзы охватывает множество пикселей, хотя при этом излучение от каждой микролинзы достигает только одного набора пикселей (либо, с другой стороны, нет перекрытия световых конусов от отдельных микролинз, и каждый пиксель (чувствительный элемент) принимает излучение только от одной микролинзы.

В соответствии с этим в приведенном на фиг. 3 примере датчик 213 изображения регистрирует излучение, которое разделяется на пространственные группы пикселей, при этом каждая группа пикселей соответствует микролинзе. Кроме того, каждая группа пикселей содержит множество пикселей, каждая из которых соответствует излучению конкретного интервала длин волн. При этом зарегистрированные данные дают многоспектральные данные, соответствующие многоспектральному изображению с пространственным разрешением, соответствующим микролинзам микролинзовой решетки 211, и спектральным разрешением, соответствующим числу пикселей в каждой группе пикселей.

В качестве примера практического осуществления 1-мегапиксельный датчик может использоваться с микролинзовой решеткой 211 размером 100 на 100 для получения многоспектрального изображения с пространственным разрешением 100 на 100 пикселей и спектральным разрешением 100 спектральных значений на пространственный пиксель.

Таким образом, микролинзовая решетка 211 использует информацию о зависящих от длины волны углах лучей, падающих на микролинзовую решетку 211, для получения спектральной информации при сохранении отдельной пространственной информации плоскости изображений. При этом одновременная и разрешимая спектральная и пространственная информация регистрируется путем одного измерения датчиком.

Следует отметить, что без введения микролинзовой решетки 211 такое измерение не может быть выполнено. Например, в статье Мохан А., Раскар Р. и Тумблин Дж. «Формирование изображений с перестраиваемым спектром: программируемая модуляция длин волн для камер и проекторов» (Форум по компьютерной графике, т. 27, номер 2, 2008 г., стр. 709-717) предполагается, что многоспектральная камера может быть основана на такой конструкции, как изображенная на фиг. 4. В данной системе датчик изображения располагается в плоскости изображений, которая является единственным местом в системе, в котором положение лучей зависит только от пространственного положения источника луча. При этом в существующей системе данная плоскость является единственной плоскостью, которая позволяет определять пространственные положения.

Существующая камера выполняет оптическую фильтрацию падающих лучей для формирования многоспектральных изображений. В частности, в существующей камере различные светофильтры последовательно помещаются в плоскости дисперсии. Плоскость дисперсии представляет собой плоскость, в которой положение излучения зависит только от длины волны излучения и не зависит от пространственного источника излучения (и, следовательно, не зависит от угла/направления лучей, проходящих сквозь отверстие 203). Таким образом, в плоскости дисперсии световые лучи упорядочиваются по длине волны сверху вниз. Плоскость дисперсии может восприниматься как дополняющая плоскость изображений, т.е. в плоскости дисперсии изображение является спектральным изображением без какой-либо пространственной информации или корреляции, в то время как изображение в плоскости изображений является пространственным изображением без какой-либо спектральной информации.

Это используется в существующей камере для размещения датчика изображения в плоскости изображений и фильтрации элементов в плоскости дисперсии. В частности, в плоскость дисперсии помещается последовательность светоблокирующих или ослабляющих масок, при этом для каждой маски датчиком изображения регистрируется пространственное изображение. Каждое из этих изображений при этом соответствует изображению для пространственного контура, соответствующего маске, и за счет использования последовательности масок изображения могут упорядочиваться для получения многоспектрального изображения.

Однако такой подход обычно является субоптимальным и для некоторых областей применения может считаться медленным, сложным и нецелесообразным. В частности, требование к физически изменяющимся маскам в плоскости дисперсии вызывает затруднение и обычно приводит к относительно медленной работе при низком временном разрешении.

Следует отметить, что в изображенной на фиг. 4 системе, изображения, которые могут регистрироваться в каких-либо других плоскостях, представляют собой комбинацию пространственной и спектральной информации. При этом излучение, достигающее конкретной точки заданной плоскости (за исключением плоскостей дисперсии или изображений), соответствует лучам различных длин волн, исходящих из различных направлений. Такая комбинированная информация не может быть разрешена посредством обработки видеоданных, регистрируемых датчиком изображения, и, следовательно, камере требуется, чтобы датчик изображения располагался в плоскости изображений и чтобы в плоскость дисперсии последовательно вводились блокирующие маски.

Однако в многоспектральной камере, изображенной на фиг. 2 и 3, используется другой подход, исключающий необходимость во введении каких-либо маскирующих фильтров в плоскость дисперсии и, кроме того, обеспечивающий гибкость в размещении датчика 213 изображения.

В частности, в системе используется микролинзовая решетка 211 для получения информации, которая обеспечивает извлечение как спектральной, так и пространственной информации из одной плоскости и, следовательно, с помощью одного измерения одним датчиком изображения. В частности, данное изобретение основывается на представлении о том, что дополнительная информация обеспечивается в каждой плоскости за счет угла излучения, падающего на эту плоскость, и что эта информация может активно использоваться для разделения пространственных и спектральных характеристик в этой плоскости.

Например, в плоскости изображений положение падающих световых лучей зависит только от положения источника в сцене (и, в частности, от угла через точечное отверстие 203). Однако угол лучей, падающих на конкретную точку, зависит от длины волны из-за дисперсии, создаваемой дисперсионным элементом 205. Поэтому в соответствии с фиг. 5 миролинзовая решетка 211, помещенная в плоскость изображений, может использовать эту угловую зависимость для формирования спектрального распределения для каждой микролинзы. Спектральное распределение для каждой микролинзы при этом отражает спектральные характеристики точной области изображения, соответствующей микролинзе, и не включает в себя вклад каких-либо иных точек. Таким образом, миролинзовая решетка 211 обеспечивает поддержание пространственного разделения и возможность соответствующего измерения датчиком как спектральной, так и пространственной информации. Безусловно, в данном примере не допускается, что датчик принимает комбинированное излучение из различных точек на различных длинах волн. Тем самым исключается неразрешимая неоднозначность.

Аналогичным образом в плоскости дисперсии положение каждого луча зависит только от длины волны. Однако направление/угол зависит от пространственного положения в сцене. При этом микролинзовая решетка 211 в плоскости дисперсии может формировать пространственный спектр для микролинзы, т.е. пространственное распределение может формироваться для каждого спектрального интервала, соответствующего микролинзе (хотя обычно это является менее целесообразным и более сложным в обработке, чем приведенный на фиг. 3 пример).

В некоторых вариантах осуществления микролинзовая решетка 211 может располагаться в плоскостях, в которых каждая точка достигается различными лучами, исходящими из различных точек, но имеющими различные длины волн, которые как раз компенсируют различие в положении. Например, во многих вариантах осуществления микролинзовая решетка 211 может предпочтительно располагаться позади (на стороне, дальней от линзы 207) плоскости изображения. В этом случае каждый чувствительный элемент датчика 213 изображения может принимать излучение, которое является комбинацией лучей на различных длинах волн и из различных пространственных положений. Однако дополнительная информация, обеспечиваемая множеством оптических датчиков для каждой микролинзы, обеспечивает разрешение этого, обеспечивая при этом формирование многоспектрального изображения. Иными словами, неоднозначность, характерная для данного положения, разрешается микролинзовой решеткой 211, дополнительно выявляющей информацию, содержащуюся в угле падения излучения.

В некоторых вариантах осуществления сигналы от датчика 213 изображения могут предварительно обрабатываться для получения многоспектрального изображения с высоким пространственным разрешением и высоким и перестраиваемым спектральным разрешением. Последующая обработка может, в частности, включать в себя синтез изображения, соответствующего изображению, регистрируемому в плоскости дисперсии. После этого к изображению в плоскости дисперсии применяется пространственная фильтрация (обычно маскирование или ослабление различных участков). Затем на основе результирующего изображения пространственное изображение синтезируется и используется в качестве изображения для спектрального контура, соответствующего фильтрации, применяемой для изображения в плоскости дисперсии. Благодаря применению набора фильтров/масок могут формироваться изображения, соответствующие различным спектральным контурам или характеристикам, при этом многоспектральное изображение может определяться как набор трехмерных изображений (два пространственных измерения и одно спектральное), содержащий эти двумерные пространственные изображения для различных спектральных контуров.

Процессор может, в частности, выполнять итерации следующих этапов:

1. Синтез данных, как если бы они регистрировались виртуальным датчиком, размещенным в плоскости дисперсии.

2. Применение к синтезированным данным требуемой числовой апертуры/фильтра.

3. Повторный синтез фильтрованных данных в физической плоскости датчика.

4. Построение пространственного изображения путем комбинирования (интегрирования) лучей, достигающих точки пикселя.

Синтез различных фильтров может выполняться с помощью процесса построения хода луча. Безусловно, обработка может обеспечиваться путем использования аналогичной обработки, такой как обработка, предлагаемая для пленоптических камер при выполнении фокусировки после съемки, как, например, объяснено в статье Ламсдейн А., Георгиев Т. «Фокусируемая пленоптическая камера» (Международная конференция по компьютерной фотографии, апрель 2009 г.).

На фиг. 5 показан пример процессора, который реализует данный подход. Данный процессор содержит процессор 501 плоскости дисперсии, который принимает сигнал величин пикселей от кодера сигнала изображения. Сигнал величин пикселей включает в себя уровень излучения для каждого оптического датчика, т.е. для каждого пикселя кодера сигнала изображения.

Затем процессор 501 плоскости дисперсии приступает к синтезу первого изображения, соответствующего изображению, которое принимается в плоскости дисперсии виртуальным датчиком изображения. Такой синтез может выполняться по алгоритму построения хода луча, в котором используется пространственная и угловая информация об излучении, падающем на датчик 213 изображения, для вычисления изображения в элементе плоскости дисперсии. Такой синтез может включать в себя учет лучей с различными длинами волн, достигающих датчика изображения под различными углами, и может соответствующим образом компенсировать это.

Первое изображение является не пространственным изображением сцены, а, скорее, спектральным, изображением, в котором каждая точка соответствует суммарной интенсивности излучения сцены для одной длины волны. Таким образом, первое изображение можно считать спектральным изображением или спектральной картой. В частности, первое изображение можно считать спектральной картой интенсивностей.

Более конкретно, процессор 501 плоскости дисперсии может синтезировать первое изображение в плоскости дисперсии построением хода лучей, падающих на каждый пиксель датчика, назад в плоскость 215 дисперсии с учетом преломления в плоскости микролинз.

Построение хода лучей может выполняться путем наблюдения из координаты пикселя по направлению к центру соответствующей микролинзы: это дает нам положение и угол. После этого исходя из матричного формализма для геометрической оптики (см., например, учебник «Оптика» Е. Хечт, ISBN 0321188780, раздел 6.2 «Аналитическое построение хода лучей» и, в частности, раздел 6.2.1 «Матричные методы») можно построить ход лучей вплоть до линзы и по направлению к плоскости дисперсии. Далее, исходя из положения луча в плоскости дисперсии, можно обрабатывать соответствующий пиксель датчика.

Затем синтезированное изображение подается на процессор 503 пространственной маски, который выполнен с возможностью применения пространственной маски к первому изображению. Данная маска может представлять собой, например, двоичную маску или может представлять собой непрерывную маску, которая, например, включает в себя величину ослабления для каждого пикселя первого изображения. Например, заданная маска, содержащая коэффициент масштабирования для каждого пикселя, может применяться к первому изображению путем умножения величины пикселя и коэффициента масштабирования.

Поскольку плоскость дисперсии включает в себя изображение, в котором каждое положение соответствует конкретной длине волны (и которое не зависит от пространственных характеристик), применение пространственной маски соответствует фильтрации в спектральной/частотной области. При этом благодаря низкой сложности применения маски легко может формироваться любой требуемый спектральный контур результирующего сигнала. Данный подход может использоваться для обеспечения полосовой фильтрации низкой сложности. Например, для заданного интервала частот/длин волн подходящая маска может быть определена лишь установкой коэффициента масштабирования для пикселей, соответствующих этим интервалам, на единицу, а всех остальных коэффициентов масштабирования - на ноль (понятно, что в большинстве вариантов осуществления для сглаживания переходов применяется подходящее окно, например окно Хеннинга или Хэмминга).

Таким образом, процессор 503 пространственной маски формирует маскированное изображение, которое соответствует конкретному спектральному интервалу. Это изображение подается на процессор 505 изображения, который приступает к синтезу пространственного изображения, соответствующего маскированному изображению в плоскости дисперсии. Данное пространственное изображение может формироваться путем построения хода лучей по данным маскированного изображения (т.е. с учетом углов и интенсивности излучения лучей). Построение хода лучей может, например, использоваться для определения изображения в плоскости изображения, т.е. чисто пространственное изображение может формироваться для конкретного частотного интервала, выбираемого маскированием.

Более конкретно, процессор 505 плоскости изображения может синтезировать первое изображение путем интегрирования/суммирования лучей, соответствующих положению каждого пространственного изображения. Для создания многополосного (например, RGB) изображения для каждого спектрального диапазона может выполняться отдельный процесс маскирования и формирования изображения. Как и обычная камера, данная камера интегрирует излучение со всех различных направлений для каждого пространственного положения/пикселя. В нашем случае для того, чтобы синтезировать изображение, нам приходиться интегрировать все лучи, попадающие в буфер одного и того же пикселя (принимая во внимание, что к каждому пикселю датчика можно отнести угол и точку изображения в плоскости 215 изображения).

В приведенном на фиг. 5 примере управление работой процессора осуществляется контроллером 507, который связан с процессором 501 плоскости дисперсии, процессором 503 пространственной маски и процессором 505 изображения. Когда процессор 501 плоскости дисперсии принимает изображение от датчика 213 изображения, контроллер 507 управляет им для синтезирования изображения в плоскости дисперсии и для направления его в процессор 503 пространственной маски. Затем он приступает к передаче первой маски в процессор 503 пространственной маски и подает на процессор 503 пространственной маски и процессор 505 изображения команды на выполнение требуемой обработки и формирование пространственного изображения, соответствующего частотному профилю, отражаемому данной первой маской. При приеме этого изображения контроллер 507 запоминает изображение и приступает к передаче второй маски в процессор 503 пространственной маски. Эта вторая маска соответствует иному спектральному профилю, чем первая маска. Затем осуществляется управление процессором 503 пространственной маски и процессором 505 изображения для формирования второго пространственного изображения, соответствующего этому второму спектральному профилю. Данный процесс повторяется для такого числа масок/спектральных профилей, которое необходимо для конкретного применения. После этого результирующие двумерные пространственные изображения, соответствующие различным спектральным профилям, собираются в набор изображений для получения многоспектрального изображения.

Например, поступающие маски могут соответствовать спектру, разделенному на требуемое число интервалов, при этом многоспектральное изображение может иметь спектральное разрешение, соответствующее маскам и числу сформированных пространственных изображений.

При этом вместо помещения в плоскость дисперсии физических фильтров данный подход обеспечивает применение фильтров на этапе последующей обработки, включающем в себя числовой процесс. Это позволяет формировать многоспектральное изображение на основе одной мгновенной регистрации датчиком изображения. Поэтому такой подход пригоден, например, для формирования изображений движущихся объектов.

Размещение микролинзовой решетки 211 и датчика 213 изображения может использоваться для обеспечения требуемого компромисса между различными характеристиками. Безусловно, различные компромиссы между пространственным и спектральным разрешением могут быть получены путем помещения микролинзовой решетки 211 и датчика 213 изображения в несколько иное положение. Например, в показанной на фиг. 3 конфигурации каждый отдельный оптический датчик/пиксель дискретизирует несколько иную область изображения, осуществляющую интегрирование в несколько более широком диапазоне длин волн. Это приводит к более высокому пространственному разрешению, но к более низкому спектральному разрешению, чем в конфигурации, показанной на фиг. 2 (для того же датчика 213 изображения).

Показанная на фиг. 3 конфигурация приводит к оптимальному спектральному разрешению, определяемому числом пикселей/чувствительных элементов под одной микролинзой, и к минимальному пространственному разрешению, определяемому числом (и размером) микролинз и увеличением системы формирования изображений. Безусловно, в приведенном на фиг. 3 примере отдельные пиксели/чувствительные элементы под одной микролинзой измеряют информацию об одной и той же области изображения, но соответствующую различным длинам волн. В отличие от этого, в приведенном на фиг. 2 примере отдельные пиксели/чувствительные элементы под одной микролинзой измеряют информацию обо всем спектре, но соответствующую различным областям изображения. Что касается размещения микролинзовой решетки 211 в других местах, информация, зарегистрированная пикселем/чувствительным элементом, установленным для заданной микролинзы, включает в себя комбинацию информации о длине волны и положении, т.е. комбинацию спектральной и пространственной информации.

В результате, размещение микролинзовой решетки 211 и датчика 213 изображения представляет собой компромиссное решение между спектральным и пространственным разрешением. В некоторых вариантах осуществления многоспектральная камера может дополнительно содержать ввод данных пользователем, который может использоваться для изменения положения датчика 213 изображения и/или микролинзовой решетки 211 (и/или линзы 207), зависящего от ввода данных пользователем. Ввод данных пользователем может быть механическим вводом, который непосредственно изменяет положение одного из элементов или может быть, например, электрическим вводом данных пользователем, который используется для управления механическим исполнительным устройством (например, шаговым двигателем), который перемещает датчик 213 изображения и/или микролинзовую решетку 211. Такое перемещение может осуществляться, например, относительно плоскости изображения, линзы 207 или может, например, соответствовать относительному перемещению между микролинзовой решеткой 211 и датчиком 213 изображения.

Таким образом, ввод данных пользователем может использоваться для приспосабливания многоспектральной камеры к конкретным характеристикам и предпочтениям отдельного применения.

Во многих применениях улучшенные рабочие характеристики и/или упрощенная работа достигается для микролинзовой решетки 211, расположенной между плоскостью 209 изображения и датчиком 213 изображения. Безусловно, это часто может обеспечить подходящий компромисс между спектральным и пространственным разрешением при обеспечении выполнения последующей обработки относительно низкой сложности. В других применениях улучшенные рабочие характеристики и/или упрощенная работа может достигаться для микролинзовой решетки 211, расположенной перед плоскостью 209 изображения относительно датчика 213 изображения.

Такой подход может дать очень универсальную систему спектрального формирования изображения, в которой светофильтры могут быть запрограммированы в программном обеспечении, а не требуют физических светофильтров. Это дает значительно больше свободы с точки зрения конструкции фильтров (например, имеющих отрицательные коэффициенты). В результате, можно конструировать светофильтры с характеристикой спектральной чувствительности, которая не может быть создана с помощью физических светофильтров, в которых используются жидкокристаллические слои, акустооптика или химические растворы.

По сравнению со спектрометрами с линейным сканированием, предлагаемое устройство имеет дополнительное преимущество, состоящее в том, что локальная спектральная информация для всех пикселей в сцене собирается мгновенно, тем самым преодолеваются трудности при наличии движения. Многоспектральная камера обеспечивает спектральную информацию за счет (некоторого) пространственного разрешения, но данная камера может быть приспособлена к получению оптимального соотношения между ними для конкретного применения.

Фиг. 2 и 3 дают двумерное описание многоспектральной камеры, при этом в некоторых вариантах осуществления камера может обеспечивать одну пространственную размерность и одну спектральную размерность. Однако во многих вариантах осуществления датчик изображения является двумерным датчиком, а камера дает две пространственные размерности и одну спектральную размерность. В частности, фиг. 2 и 3 можно рассматривать как виды в разрезе структуры, которая проходит перпендикулярно плоскости чертежей (т.е. вдоль плоскостей элементов, плоскости дисперсии и плоскости изображений). При этом точечное отверстие 203 может быть узкой щелью, дисперсионный элемент 205 может быть, например, линейной решеткой, главная линза 207 может быть обычной (сферической) линзой, а микролинзовая решетка 211 может быть линзовой решеткой.

В предыдущем примере был показан блокирующий элемент 201 с одним отверстием 201. Однако это обычно ограничивает интенсивность регистрируемого излучения и тем самым приводит к низкой световой чувствительности камеры. Чтобы повысить относительную световую эффективность системы, может оказаться целесообразным увеличить размер апертуры (т.е. размер отверстия). Однако это приводит к расплыванию спектра, поскольку излучение, падающее на дисперсионный элемент 205, охватывает значительный диапазон углов падения.

Следовательно, чтобы повысить световую чувствительность, блокирующий элемент может содержать множество отверстий, образующих кодированную апертуру. Кодированной апертурой может считаться множество отверстий с известной схемой расположения, которая может быть изменена. В частности, кодированная апертура может представлять собой ряд отверстий с конкретной схемой расположения. Путем выбора схемы расположения, которую легко изменить, можно увеличить интенсивность излучения, попадающего в камеру, повышая при этом световую чувствительность и в то же время имея возможность компенсировать увеличенное входное отверстие. В такой системе данные могут декодироваться/изменяться до применения требуемых светофильтров в плоскости дисперсии, например, путем осуществления обратной свертки данных фильтром с дополняющей характеристикой; например, преобразуя данные в плоскости дисперсии в область Фурье и деля эти коэффициенты Фурье на соответствующие коэффициенты (проекции) кодированной апертуры. После этого обратное преобразование Фурье дает восстановленные из свертки данные.

Понятно, что точечное отверстие можно заменить линзой и/или диафрагмой (а в случае обратимого кода - кодированной апертурой). В таких вариантах осуществления линза/диафрагма выполняется таким образом, чтобы угловой диапазон излучения, падающего на дисперсионный элемент 205, был достаточно малым. Например, в некоторых вариантах осуществления может использоваться 80-миллиметровая линза с апертурой F/16 (80/16 = диаметр 5 мм).

Следует отметить, что, как принято в системах, использующих микролинзовые решетки, целесообразно использовать согласование диафрагменного числа для обеспечения отображения полного диапазона углов падающего излучения в пиксели за одной микролинзой. В других случаях пиксели/датчики датчика изображения 213 могут принимать излучение через множество микролинз, что может приводить к неустранимым неоднозначностям. Для спектрального формирования изображений диафрагменное число микролинз в предпочтительном варианте осуществления не должно согласовываться с диафрагменным числом (F/диаметр) линзы, а, скорее, должно согласовываться со спектральным диапазоном (расстояние от плоскости дисперсии до микролинзы/диаметр плоскости дисперсии). Тем самым осуществляется попытка обеспечить уникальный путь излучения для каждого пикселя без перекрытия. С другой стороны, целесообразно не иметь микролинз, которые захватывают диапазон углов больше доступного, поскольку это приводит к пустоте/черноте на датчике. Точная конфигурация и размеры элементов камеры могут выбираться для оптимизации характеристик для конкретного применения.

В приведенном выше описании большое внимание уделено вариантам осуществления, в которых различные плоскости и элементы были практически параллельными. Однако понятно, что это не принципиально и что в других вариантах осуществления могут использоваться другие конфигурации. В частности, плоскость дисперсионного элемента, плоскость линзы, плоскость микролинзовой решетки и плоскость датчика могут быть расположены в конфигурации Шаймпфлюга. Примеры таких вариантов осуществления представлены на фиг. 6 и 7. На фиг. 6 показан пример с плоской внешней фокальной плоскостью и внутренней конфигурацией Шаймпфлюга, а на фиг. 7 показан пример с внешним фокусом Шаймпфлюга и плоской внутренней конфигурацией.

Понятно, что хотя в показанной на фиг. 2 и 3 структуре рассматривается разложение/распространение луча в одной размерности (направление вверх/вниз на чертежах), в других реализациях может рассматриваться более одной размерности. Например, спектр падающего излучения в некоторых вариантах осуществления может также разлагаться в направлении, перпендикулярном показанному (т.е. подобное разложение может происходить по направлению, показанному на чертежах и направлению вне чертежей).

Понятно также, что в некоторых вариантах осуществления движущаяся камера может использоваться для формирования множества многоспектральных изображений, причем это множество многоспектральных изображений используется для последующего анализа. Например, множество многоспектральных изображений может формироваться, в то время как камера перемещается по дуге вокруг оцениваемого объекта. Локальные спектральные характеристики, а также изменения в них, могут после этого использоваться для анализа объекта. Это может, например, быть подходящим для анализа изъянов окраски или иных материалов.

Безусловно, формирование многоспектральных изображений, которое может обеспечиваться описанной многоспектральной камерой, может использоваться во многих областях применения.

Например, оно может использоваться для применения в освещении, где должен удовлетворяться очень строгий критерий цветовоспроизведения. Например, формирование многоспектральных изображений может использоваться для обнаружения и имитации естественного освещения.

В другом примере данный подход может использоваться для получения характеристик (локального) отображения с целью обнаружения и компенсации неоднородностей цвета, которые могут возникнуть в устройствах со светодиодной подсветкой или устройствах на органических светодиодах из-за эффектов старения или неоднородности температур.

Данный подход может также использоваться в областях определения характеристик, таких как определение качества пищевых продуктов, определение характеристик окраски, обнаружение загрязняющих веществ и т.д. Он может также использоваться в потребительской сфере, в которой описанный подход является достаточно компактным и механически надежным, например, для встраивания в мобильный телефон.

Кроме того, описанный подход может использоваться для нескольких применений в здравоохранении. Например, глубина проникновения излучения в кожу зависит от длины волны излучения. Путем создания изображения структуры кожи в зависимости от длины волны могут формироваться изображения кожи в переменном диапазоне глубин. Кроме того, спектр коэффициента отражения кожи имеет очень четко выраженные отличительные признаки. Эта особенность может использоваться для обнаружения людей в сцене. Это может быть осуществлено путем выполнения взаимной корреляции локального спектра с предполагаемой спектральной характеристикой для получения карты вероятности появления людей. Такое спектральное обнаружение людей должно быть значительно более надежным, чем обычные детекторы цвета кожи, основанные на трех широких цветовых каналах.

Понятно, что в приведенном выше описании для ясности описаны варианты осуществления данного изобретения со ссылкой на различные функциональные блоки и процессоры. Однако ясно, что любое подходящее распределение функциональности между различными функциональными блоками или процессорами может использоваться без умаления данного изобретения. Например, показанная функциональность, которая должна осуществляться отдельными процессорами или контроллерами, может осуществляться аналогичным процессором или контроллерами. Поэтому ссылки на конкретные функциональные блоки, скорее, должны рассматриваться лишь как ссылки на подходящие средства для обеспечения требуемой функциональности, чем как указывающие на строгую логическую или физическую структуру или организацию.

Данное изобретение может быть реализовано в любой подходящей форме, включая аппаратное обеспечение, программное обеспечение, встроенные программы или любую их совокупность. Данное изобретение может дополнительно быть реализовано, по меньшей мере, частично в виде компьютерного программного обеспечения, исполняемого на одном или более процессоров данных и/или цифровых сигнальных процессоров. Элементы и компоненты варианта осуществления данного изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. Безусловно, функциональность может быть реализована в одном блоке, во множестве блоков или в составе других функциональных блоков. В связи с этим, данное изобретение может быть реализовано в виде одного блока или может быть физически и функционально распределено между различными блоками и процессорами.

Несмотря на то что настоящее изобретение описано применительно к некоторым вариантам осуществления, оно не предполагает ограничения конкретной изложенной в данном документе формой. Скорее, объем настоящего изобретения ограничивается лишь прилагаемой формулой изобретения. Кроме того, хотя признак может быть описан применительно к конкретным вариантам осуществления, специалисту ясно, что различные признаки описанных вариантов осуществления могут быть объединены в соответствии с данным изобретением. В формуле изобретения термин «содержащий» не исключает наличия других элементов или этапов.

Более того, хотя множество средств, элементов или этапов способа перечислены отдельно, они могут быть реализованы, например, с помощью одного блока или процессора. Кроме того, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, возможно, они могут быть успешно объединены, и включение в различные пункты формулы изобретения не означает, что совокупность признаков нереализуема и/или нецелесообразна. Кроме того, включение признака в пункт формулы изобретения одной категории не означает ограничения этой категорией, а, скорее, указывает на то, что данный признак в равной степени применим к пунктам формулы другой категории соответствующим образом. Кроме того, порядок признаков в формуле изобретения не означает какого-либо конкретного порядка, в котором эти признаки должны быть реализованы, и, в частности, порядок отдельных этапов в пункте формулы изобретения на способ не означает, что данные этапы должны выполняться в этом порядке. Скорее, данные этапы могут выполняться в любом подходящем порядке. Кроме того, упоминания единственного числа не исключают множества. Ссылки на единственное число «первый», «второй» и т.д. не исключают множества. Ссылочные позиции в формуле изобретения представлены лишь в качестве поясняющего примера и никоим образом не толкуются как ограничивающие объем формулы изобретения.

1. Многоспектральная камера, содержащая:
светоблокирующий элемент (201), имеющий, по меньшей мере, одно отверстие (203), позволяющее излучению проходить сквозь него;
дисперсионный элемент (205) для разложения излучения из указанного, по меньшей мере, одного отверстия (203) в различных, зависящих от длины волны направлениях;
линзу (207) для фокусирования излучения из дисперсионного элемента (205) на плоскость (209) изображения;
микролинзовую решетку (211), принимающую излучение от линзы (207);
датчик (213) изображения, принимающий излучение от микролинзовой решетки (211) и формирующий сигнал величин пикселей, содержащий величины падающего излучения для пикселей датчика (213) изображения; и
процессор для формирования многоспектрального изображения по сигналу величин пикселей.

2. Многоспектральная камера по п.1, в которой многоспектральное изображение включает в себя указание на спектральное распределение для пикселей многоспектрального изображения.

3. Многоспектральная камера по п.1, в которой процессор выполнен с возможностью:
синтеза первого изображения в плоскости (215) дисперсии по сигналу величин пикселей;
формирования второго изображения путем применения пространственной маски к первому изображению, при этом пространственная маска соответствует спектральной характеристике; и
формирования пространственного изображения для многоспектрального изображения, соответствующего спектральной характеристике, по второму изображению.

4. Многоспектральная камера по п.3, в которой процессор выполнен с возможностью:
определения множества пространственных изображений, соответствующих различным спектральным характеристикам, путем применения соответствующих различных пространственных масок к первому изображению; и
формирования многоспектрального изображения по множеству пространственных изображений.

5. Многоспектральная камера по п.3, в которой спектральная характеристика соответствует полосовому фильтру.

6. Многоспектральная камера по п.1, в которой микролинзовая решетка (211) и датчик (213) изображения выполнены таким образом, что излучение, проходящее сквозь указанное, по меньшей мере, одно отверстие (203) под одним и тем же углом, распределяется по множеству пикселей датчика (213) изображения, причем это распределение является зависящим от длины волны распределением.

7. Многоспектральная камера по п.1, в которой процессор выполнен с возможностью компенсации величины одного пикселя датчика (213) изображения, принимающего световые лучи, соответствующие лучам с различными длинами волн и проходящие сквозь указанное, по меньшей мере, одно отверстие (203) под различными углами.

8. Многоспектральная камера по п.1, в которой микролинзовая решетка (211), по существу, расположена в плоскости (209) изображения.

9. Многоспектральная камера по п.1, в которой микролинзовая решетка (211), по существу, расположена между плоскостью (209) изображения и датчиком (213) изображения.

10. Многоспектральная камера по п.1, дополнительно содержащая ввод данных пользователем и контроллер для регулирования положения, по меньшей мере, одного из следующего - микролинзовой решетки (211) и датчика (213) изображения в ответ на ввод данных пользователем.

11. Многоспектральная камера по п.1, в которой светоблокирующий элемент (201) образует светоблокирующую плоскость, при этом указанное, по меньшей мере, одно отверстие (203) представляет собой щель (203) в светоблокирующей плоскости.

12. Многоспектральная камера по п.1, в которой датчик (213) изображения представляет собой двумерный датчик изображения.

13. Многоспектральная камера по п.1, в которой указанное, по меньшей мере, одно отверстие (203) состоит из множества отверстий, образующих кодированную апертуру.

14. Многоспектральная камера по п.1, в которой указанное, по меньшей мере, одно отверстие (203) представляет собой точечное отверстие.

15. Способ формирования многоспектрального изображения, причем данный способ включает в себя:
обеспечение светоблокирующего элемента (201), имеющего, по меньшей мере, одно отверстие (203), позволяющее излучению проходить;
обеспечение дисперсионного элемента (205) для разложения излучения от указанного, по меньшей мере, одного отверстия (203) в различных, зависящих от длины волны направлениях;
обеспечение линзы (207) для фокусирования излучения от дисперсионного элемента (205) на плоскость изображений (209);
обеспечение микролинзовой решетки (211), принимающей излучение от линзы (207);
обеспечение датчика (213) изображения для приема излучения от микролинзовой решетки (211) и формирования сигнала величин пикселей, содержащего величины падающего излучения для пикселей датчика (213) изображения; и
формирование многоспектрального изображения по сигналу величин пикселей.