Детектирование данных для передачи данных в видимом свете, используя датчик обычной камеры

Изобретение относится к области систем освещения и оптических приемников, и более конкретно к детектированию данных, внедренных в световой поток (выход) систем освещения. Техническим результатом является создание системы детектирования для определения данных, внедренных в световой поток источника света с невидимой модуляцией «высокой частоты», используя обычные коммерческие камеры, например камеры в мобильных телефонах или веб-камеры. Предложена система детектирования для определения повторяющейся первой последовательности из N символов, включенных в первый код, причем первый код внедрен в световой поток первого источника света системы освещения, где последовательность содержит по меньшей мере N разных кадров, и каждый кадр из по меньшей мере N разных кадров получают с общим временем экспозиции, содержащим один или более моментов экспозиции, причем в каждом из N разных кадров один или более моментов экспозиции находятся в разных временных положениях по отношению к повторяющейся первой последовательности из N символов. Система содержит камеру для получения последовательностей изображений сцены через определенные структуры открытого/закрытого состояния затвора и модуль обработки для обработки полученной последовательности изображений и определения повторяющейся последовательности из N символов. 3 н. и 12 з.п. ф-лы, 12 ил.

 

Область техники, к которой относится изобретение

Варианты осуществления настоящего изобретения относятся в общем к области систем освещения и оптических приемников, и более конкретно к системам и способам для детектирования данных, внедренных в световой выход таких систем освещения.

Уровень техники

Передача данных в видимом свете относится к передаче данных через световой выход, формируемый источниками освещения. Такая передача данных представляет собой перспективный способ обеспечения локализованного беспроводного обмена данными в будущем, поскольку широкий диапазон нелицензируемых частот доступен с этой целью, и поскольку светодиоды (LED), используемые для освещения помещения или пространства, можно применять для обеспечения передачи данных. Возможно каждый источник света для освещения в будущем может стать источником передачи данных.

Одна из технологий передачи данных в видимом свете основана на внедрении данных в световой выход устройства освещения путем модуляции света, выводимого устройством освещения, в ответ на повтор сигнала данных (такой световой выход иногда называется «кодированным светом» и сокращенно обозначается как “CL”). Предпочтительно световой выход модулируют с высокой частотой таким образом, что модуляция является невидимой для потребителей.

Один возможный вариант применения CL включает в себя лампы, на свет которых накладывается относящаяся к ним информация технического обслуживания, такая как количество часов свечения, схемы уменьшения яркости, возможности, адрес сети управления, температура лампы, планы уменьшения яркости, отказы и т.д. Другой вариант включает в себя лампы в общественных местах, в которые внедрены данные, представляющие местную погоду, вспомогательную информацию, местную рекламу ближайших магазинов/ресторанов, информацию о дорожном движении, музыку и т.д.

Внедренные данные могут быть детектированы с помощью оптического приемника, который, например, может быть реализован в пульте дистанционного управления для управления лампой, или могут быть включены в другой модуль, такой как переключатель или устройство датчика. Одна известная технология детектирования CL включает в себя направление оптического приемника в конкретную лампу и считывание данных, внедренных в световой выход этой лампы.

Один из недостатков такой технологии детектирования состоит в том, что могут быть детектированы только внедренные данные, присутствующие в одном положении. Напротив, желательно одновременно получать данные, передаваемые в разных положениях в пределах данного места. С этой целью были представлены другие технологии детектирования для использования камеры путем направления камеры на сцену и параллельной обработки и записи потоков данных в различных положениях в пределах сцены. Такой тип детектирования на основе камеры требует, чтобы камера с частотой кадров, которая по меньшей мере равна частоте модуляции, использовалась для внедрения данных в световой выход лампы. Обычные коммерческие камеры, такие как используемые, например, в мобильных телефонах и веб-камерах, имеют частоту кадров 50-100 Гц, что гораздо ниже частоты модуляции, необходимой для внедрения данных так, чтобы это было не заметно для потребителей. Хотя эти камеры могут использоваться для детектирования CL, CL должен быть внедрен либо путем использования низкой частоты модуляции, или используя модуляцию цвета. Оба таких способа внедрения приводят к вариациям света, выводимого лампой, что становится заметным для потребителей.

Как представлено выше, в данной области техники необходимо разработать технологию для детектирования данных, внедряемых в световой выход источников света, которая решает по меньшей мере некоторые из задач, описанных выше.

Раскрытие изобретения

Цель изобретения состоит в том, чтобы обеспечить систему и способ детектирования, пригодные для определения данных, внедренных в световой выход источника света с невидимой модуляцией «высокой частоты», используя обычные коммерческие камеры, такие как используются в предыдущих технологиях.

В одном варианте осуществления настоящего изобретения представлена система детектирования для определения повторяющейся первой последовательности из N символов, включенных в первый код. Первый код внедрен в световой выход первого источника света системы освещения. Система детектирования включает в себя по меньшей мере камеру и модуль обработки. Камера выполнена с возможностью получения последовательности изображений на сцене. Каждое полученное изображение включает в себя множество пикселей, каждый пиксель представляет интенсивность общего светового выхода системы освещения в разных физических положениях в пределах сцены. Общий световой выход системы освещения включает в себя световой выход первого источника света по меньшей мере в одном физическом положении в пределах сцены. Последовательность изображений включает в себя по меньшей мере N разных изображений. Каждое изображение по меньшей мере N разных изображений получают с общим временем экспозиции, содержащим один или более моментов экспозиции во временных положениях, в пределах повторения первой последовательности N символов. Модуль обработки выполнен с возможностью обработки полученной последовательности изображений для определения повторяющейся первой последовательности N символов.

Такая система детектирования может быть воплощена, например, в пульте дистанционного управления для управления системой освещения или может быть включена в другой модуль, такой как переключатель, устройство датчика или мобильный телефон. Модуль обработки может быть воплощен в аппаратных средствах, в программных средствах или как гибридное решение, имеющее как аппаратные, так и программные компоненты.

Кроме того, предусмотрены соответствующий способ и компьютерная программа для детектирования повторяющейся первой последовательности из N символов, включенной в первый код, где первый код внедрен в световой выход первого источника света системы освещения. Компьютерная программа может быть, например, загружена в существующие системы детектирования (например, для существующих оптических приемников или мобильных телефонов) или может быть сохранена после изготовления систем детектирования.

Используемый здесь термин «пиксель» [изображения] относится к модулю данных изображения, соответствующих определенной точке в пределах сцены. Данные изображения содержат интенсивности (или их производные) от общего светового выхода системы освещения в разных точках на сцене. Размещение данных изображения в рядах и столбцах пикселей представляет собой один из способов представления трехмерной (3-D) сцены в 2-D изображении.

Длительность времени повторения последовательности внедренного кода (или, в качестве альтернативы, длительность повторения последовательности внедренного кода, измеренная по количеству двоичных значений, составляющих последовательность) называется здесь «периодом кода». Конкретный код может быть внедрен в световой выход источника света путем модуляции сигнала привода, применяемого к источнику света через двоичную модуляцию или многоуровневую модуляцию, используя, например, широтно-импульсную модуляцию, модуляцию плотности импульсов или амплитудную модуляцию, как известно в данной области техники. Используемый здесь термин «сигнал привода» относится к электрическому сигналу, который при приложении к источнику света обеспечивает генерирование источником света светового выхода. Предпочтительно код внедрен в световой выход таким образом, что глаз человека не может различать световой выход, который включает в себя внедренный код, и световой выход, который его не включает. Это может быть достигнуто, например, путем модулирования сигнала привода, прикладываемого к первому источнику света с высокой частотой.

Настоящее изобретение основывается на распознавании того, что путем захвата последовательности изображений одной и той же сцены, которые отличаются только относительными моментами времени, когда каждое изображение было получено в пределах повторяющейся последовательности (такие моменты времени называются здесь «моментами экспозиции»), и выбором временных положений и длительности моментов экспозиции в пределах времени кадра камеры, которые должны соответствовать определенными битам кода кодированного света, может быть определена определенная последовательность кодовых битов, внедренных в световой выход источника света (световой выход этого источника света представлен в пределах сцены). Сумма длительности всех моментов времени экспозиции в пределах кадра называется «временем экспозиции» камеры. Требуемое время экспозиции в определенные моменты экспозиции может быть воплощено путем открывания и закрывания затвора камеры, причем затвор может быть либо внутренним, или внешним для камеры. Время экспозиции остается одинаковым для всех изображений, изменяясь, когда затвор открывают относительно внедренной последовательности кодовых битов (то есть при изменении временных положений моментов времени экспозиции в пределах повторяющейся последовательности). Например, в течение времени для кадра камеры, установленного 20 миллисекунд (мс), и времени экспозиции, установленного 5 мс, одно изображение может быть получено, когда затвор открыт только в течение первых 5 мс кадра (то есть затвор будет закрыт по меньшей мере последующие 15 мс кадра), другое изображение может быть получено, когда затвор открыт только в последние 5 мс кадра (то есть затвор закрыт в течение первых 15 мс кадра), еще одно изображение может быть получено, когда затвор открыт в течение первых миллисекунд кадра, затем закрыт на миллисекунду, затем открыт в течение следующей миллисекунды, затем снова закрыт в течение миллисекунды, затем снова открыт на 3 мс, и затем закрыт на оставшееся время кадра. Модуль обработки может быть выполнен с возможностью сравнения выбранных пикселей полученной последовательности изображений, используя пороговое значение, которое отличает один кодовый бит от другого для определения всех кодовых битов кодированной последовательности.

Получение и обработка последовательности изображений, таким образом, обеспечивают возможность определения данных, внедренных во вклад света от источника света в 2-D сцену. Благодаря тщательному инициированию момента времени, в который затвор камеры открывают для захвата разных кодовых битов кодированного света в течение каждого времени кадра камеры, может использоваться обычная камера с относительно длительным временем кадра. Поэтому технологии, представленные здесь, пригодны для детектирования невидимой «высокой частоты» CL, используя менее дорогостоящие камеры, чем использовались в предшествующем уровне техники.

Источники света, описанные здесь, могут содержать газоразрядный источник с высоким/низким давлением, неорганические/органические светодиоды, лазерные диоды, источники накаливания или галогенные источники. Данные, внедренные в свет, выводимый из системы освещения, могут содержать локализованную идентификацию источников света, ее возможности и текущие установки, или другие типы информации, относящиеся к источникам света. Однако следует отметить, что система освещения не обязательно применяется с целью освещения пространства или области, но также может применяться для передачи данных как таковой. В качестве примера, система освещения может составлять точку доступа к сети. В таких вариантах применения по меньшей мере часть светового выхода, формируемого системой освещения, может находиться за пределами видимого спектра (то есть световой выход одного из источников света системы может находиться за пределами видимого спектра).

Вариант осуществления по пп. 2 и 13 устанавливает то, что обработка полученной последовательности изображений может предпочтительно содержать определение типа модуляции, используемой для внедрения первого кода в световой выход первого источника света, используя определенный тип модуляции для определения одного или более разных символов, дифференцирующих пороговое значение первого кода, и определения повторяющейся первой последовательности из N символов путем сравнения каждого пикселя последовательности пикселей полученной последовательности изображений, соответствующей по меньшей мере одному физическому положению в пределах сцены, которая содержит световой выход первого источника света по меньшей мере с одним или более определенными пороговыми значениями.

Вариант осуществления по п. 3 обеспечивает то, что последовательность пикселей, используемая для определения повторяющейся первой последовательности из N символов, содержит пиксели, соответствующие физическому положению в пределах сцены, которая включает в себя только световой выход первого источника света. Таким образом, последовательность пикселей, которые включают в себя только одиночный поток данных, внедренный в световой выход одного источника света, используется для определения символов.

Вариант осуществления по п. 4 обеспечивает включение промежуточной последовательности в пределы первого кода. Промежуточная последовательность может предпочтительно использоваться, например, для обеспечения синхронизации между повторяющейся первой последовательностью из N символов и определения с помощью приемника (п. 5), что повторяющаяся первая последовательность из N символов содержит пиксели, соответствующие физическому положению в пределах сцены, которая включает в себя только свет, выходящий из первого источника (п. 5) света, и/или определения типа модуляции, используемой для внедренной, повторяющейся первой последовательности в выходном свете первого источника света (п. 6).

Вариант осуществления по п. 7 устанавливает длительность для данного момента экспозиции. Выбор такой длительности является предпочтительным, поскольку он обеспечивает разрешение для модуля обработки отдельных символов внедренного кода.

Варианты осуществления по пп. 8 и 9 обеспечивают то, что когда один или более моментов времени экспозиции содержат по меньшей мере два момента времени экспозиции, моменты времени экспозиции могут быть последовательными (то есть одна экспозиция) или непоследовательными (то есть экспозиция в пределах кадра камеры разделена на несколько моментов времени экспозиции). Когда все моменты времени экспозиции в пределах кадра камеры являются последовательными, затвор, который обычно является внутренним для всех камер, может использоваться для установки правильных моментов времени экспозиции в пределах общего времени экспозиции (то есть для установки моментов экспозиции в требуемых временных положениях, в пределах времени кадра камеры). В качестве альтернативы, затвор, который обычно является внутренним для всех камер, может быть установлен так, чтобы он был открытым в течение всего времени кадра для каждого кадра, и затвор, который является внешним для камеры, можно было бы использовать для установки правильных моментов времени экспозиции в пределах общего времени экспозиции. С этой целью можно использовать электронный затвор.

Варианты осуществления по пп. 10 и 14 обеспечивает возможность коррекции многобитных значений экспозиции (экспозиций) на кадр камеры, когда один или более моментов экспозиции содержат два или более момента экспозиции. Получение каждого изображения при использовании многобитного времени экспозиции на кадр может быть более эффективным по свету, в частности при плохих условиях освещении, благодаря уменьшению влияния шумов на процесс детектирования.

Вариант осуществления по п. 11 предпочтительно устанавливает использование камеры с частотой кадров более низкой, чем частота модуляции, используемая для внедрения первого кода в световой выход первого источника света для получения последовательности изображений.

Вариант осуществления изобретения будет более подробно описан ниже. При этом следует, однако, понимать, что данный вариант осуществления нельзя рассматривать как ограничивающий объем правовой охраны настоящего изобретения.

Краткое описание чертежей

На фиг. 1 представлена схематичная иллюстрация системы освещения, установленной в структуру в соответствии с одним вариантом выполнения настоящего изобретения;

на фиг. 2 представлена схематичная иллюстрация системы освещения в соответствии с одним вариантом выполнения настоящего изобретения;

на фиг. 3 представлена схематичная иллюстрация кода, содержащего повторяющуюся последовательность N символов, в соответствии с одним вариантом выполнения настоящего изобретения;

на фиг. 4 представлена схематичная иллюстрация системы детектирования, в соответствии с одним вариантом выполнения настоящего изобретения;

на фиг. 5 представлены схематичные иллюстрации примерного кода, содержащего повторяющуюся последовательность из 4 символов, и примерные однобитные моменты экспозиции в кадрах камеры, соответствующих такому коду, в соответствии с одним вариантом выполнения настоящего изобретения;

на фиг. 6a представлена схематичная иллюстрация первого изображения в последовательности изображений, снятых, когда два источника света обеспечивают вклад в свет сцены, в соответствии с одним вариантом выполнения настоящего изобретения;

на фиг. 6b представлена схематичная иллюстрация второго изображения последовательности изображений, снятых, когда два источника света обеспечивают вклад в свет сцены, в соответствии с одним вариантом выполнения настоящего изобретения;

на фиг. 6c представлена схематичная иллюстрация последовательности изображений, снятых, когда два источника света обеспечивают вклад в свет сцены, в соответствии с одним вариантом выполнения настоящего изобретения;

на фиг. 7 показана блок-схема последовательности операций этапов способа для определения повторяющейся последовательности N символов, в соответствии с одним вариантом выполнения настоящего изобретения;

на фиг. 8 представлена схематичная иллюстрация последовательности пикселей полученной последовательности изображений, соответствующих одному выбранному физическому положению на сцене, содержащей световую отдачу одного первого источника света, в соответствии с одним вариантом выполнения настоящего изобретения;

на фиг. 9 представлены схематичные иллюстрации примерного кода, содержащего повторяющуюся последовательность из 4 символов и примерных многобитных моментов экспозиции в кадрах камеры, соответствующих такому коду, в соответствии с одним вариантом выполнения настоящего изобретения; и

на фиг. 10 представлены схематичные иллюстрации примерного кода, содержащего повторяющуюся последовательность N символов, и примерный сигнал переключения, используемый для управления затвором, внешним по отношению к камере, в соответствии с одним вариантом выполнения настоящего изобретения.

Осуществление изобретения

В нижеследующем описании различные конкретные детали представлены для обеспечения более полного понимания настоящего изобретения. Однако для специалистов в данной области техники будет понятно, что настоящее изобретение можно использовать на практике без одной или более таких конкретных деталей. В других вариантах осуществления хорошо известные свойства не были описаны по порядку, для того чтобы не усложнять настоящее изобретение.

На фиг. 1 показана структура 100 (в данном случае, помещение) с установленной системой 110 освещения. Система 110 освещения содержит один или более источников 120 света и один или более контроллеров (не показаны), управляющих источниками 120 света. Под действием привода от электрического сигнала источники 120 света освещают части структуры 100, вклад в общее освещение от различных источников 120 света показан как контуры 125a-125d освещения. Источники 120 света могут содержать газоразрядные источники с высоким/низким давлением газа, органические/неорганические светодиоды, лазерные диоды, источники накаливания или галогенные источники. Система 110 освещения может дополнительно содержать пульт 130 дистанционного управления, обеспечивающий для пользователя возможность управления источниками 120 света.

На фиг. 2 показана схематичная иллюстрация системы 200 освещения в соответствии с одним вариантом осуществления настоящего изобретения. Система 200 освещения может использоваться как система 110 освещения в структуре 100, показанной на фиг. 1. Как показано, система 200 освещения включает в себя по меньшей мере системный контроллер 210 и первый источник 220-1 света и выполнена с возможностью генерировать световой выход 205 в соответствии с установками света. В других вариантах осуществления система освещения может включать в себя дополнительные источники света и, в случае необходимости, дополнительные контроллеры, индивидуально управляющие каждым из дополнительных источников света. В качестве альтернативы, одиночный контроллер может быть выполнен с возможностью управлять множеством источников света.

Система 200 освещения выполнена с возможностью работы следующим образом. Как показано на фиг. 2, установки света для системы 200 освещения предусмотрены для управления генератором 230 сигнала (который, в случае необходимости, может быть включен в систему 200 освещения). Установки света обозначают, чем средний световой выход 205 должен быть выражен, например, в мощности света, то есть определен как яркость и цветность. Установки света могут быть обеспечены пользователем через пульт 130 дистанционного управления или могут быть предварительно запрограммированы и предоставлены из внешнего модуля, управляющего установками сцены. В качестве альтернативы, установки света могут быть предварительно запрограммированы и сохранены в запоминающем устройстве, в генераторе 230 сигнала привода или в системе 200 освещения. Генератор 230 сигнала привода преобразует установки света в разные электрические сигналы управления для других источников света в пределах системы 200 освещения и предоставляет эти сигналы управления в системный контроллер 210. В варианте осуществления, показанном на фиг. 2, генератор 230 сигнала управления преобразует установки света в первый сигнал управления для первого источника 220-1 света. Системный контроллер 210, в свою очередь, управляет разными источниками света их соответствующими сигналами управления для получения светового выхода 205. В варианте осуществления, показанном на фиг. 2, системный контроллер 210 выполнен с возможностью управления источником 220-1 света первым сигналом управления для получения светового выхода 225-1. В данном варианте осуществления световой выход 205 системы 200 освещения содержит световой выход 225-1.

Как описано, установки света обозначают, что световой выход 205 системы 200 освещения должен быть выражен, например, в виде цветности света. Изменение цвета светового выхода 205 может быть достигнуто путем различного уменьшения интенсивности разных источников света (дополнительных, необязательных источников света, не показанных на фиг. 2) в пределах системы 200 освещения, путем управления сигналами привода, предоставляемыми системным контроллером 210 от генератора 230 сигнала привода. Для постоянного уровня уменьшения яркости света на источник света сигнал привода, который предоставляется из генератора 230 сигнала управления в системный контроллер 210, содержит повторяющуюся структуру импульсов. Такая повторяющаяся структура импульсов называется здесь «структурой привода».

Различные способы для уменьшения яркости источников света известны специалистам в данной области техники и поэтому не описаны здесь подробно. Такие способы включают в себя, например, широтно-импульсную модуляцию, модуляцию плотности импульсов или амплитудную модуляцию.

Системный контроллер 210 дополнительно выполнен с возможностью принимать сигнал 245 из источника 240 данных. Сигнал 245 включает в себя (по меньшей мере) биты данных, которые должны быть внедрены в световой выход 225-1 из источника 220-1 света. Системный контроллер 210 выполнен с возможностью генерирования кода, который должен быть внедрен в световой выход 225-1, путем размещения битов данных в повторяющихся последовательностях. Один пример такого кода представлен на фиг. 3. Как показано, код 310 содержит первую повторяющуюся последовательность телевизионных символов (например, битов), показанную как «последовательность 1». В следующем описании, символы будут называться битами. Однако следует принимать во внимание, что всякий раз, когда слово «бит» используется в настоящей заявке, применяется более широкое определение «символа», который также может содержать множество битов, представленных одним символом. Один пример представляет собой многоуровневые символы, где существуют не только 0 и 1, для внедрения данных, но также множество дискретных уровней.

Каждый бит кода 310 имеет длительность T_bit. Таким образом, период кода равен N*T_bit. Последовательность может быть представлена, например, локализованной идентификацией источника 220-1 света, его возможностями и текущими установками освещения или информацией другого типа, которая может или не может быть связана с источником 220-1 света или системой 200 освещения.

В одном варианте осуществления «последовательность 1» может содержать все из битов данных, которые должны быть внедрены в световой выход 225-1. В другом варианте осуществления системный контроллер 210 может разделять биты данных, которые должны быть внедрены в наборы меньшей длины (то есть в пакеты). В таком варианте осуществления первый код, который должен быть внедрен в световой выход 225-1, должен включать в себя повторяющуюся последовательность из одного набора (например, повторяющийся первый пакет), при этом следующий код будет включать в себя повторяющуюся последовательность другого набора (например, повторяющийся второй пакет), и так далее.

В случае необходимости, биты данных, которые должны быть внедрены в световой выход 225-1, могут быть кодированы, используя кодирование канала (например, используя сверточное кодирование или блочное кодирование), или используя проверку циклического избыточного кода (CRC). Это может быть выполнено для увеличения избыточности в передаваемых последовательностях данных для корректирования ошибок при детектировании битов и/или для проверки, являются ли детектируемые данные действительными. В качестве альтернативы, такое кодирование можно использовать для формирования спектра передаваемого светового сигнала, например для уменьшения видимости данных, внедренных в световой выход 225-1. Для последнего подхода, в одном варианте осуществления, может использоваться манчестерское кодирование. Преимущество такого способа кодирования состоит в том, что он подавляет низкочастотные компоненты в световых сигналах, которые вызывают видимое мерцание.

В одном варианте осуществления код 310 может содержать промежуточную последовательность, вставленную между по меньшей мере некоторыми из экземпляров «последовательности 1» (не показана на фиг. 3). Например, промежуточная последовательность может быть включена между каждым экземпляром «последовательности 1» в варианте осуществления, в котором биты данных разделены на пакеты, таким образом, что промежуточная последовательность может быть аналогична заголовку пакета, содержащего информацию, относящуюся к пакету, такую как, например, тип модуляции и/или кодирования, используемые на стороне передачи, и/или для идентификации источника 220-1 света. В качестве альтернативы, промежуточная последовательность может быть включена после каждых двух или трех экземпляров «последовательности 1». В еще одном варианте осуществления, промежуточная последовательность может быть включена случайным, а не периодическим способом.

Как пояснялось ниже, промежуточная последовательность может использоваться с помощью модуля обработки системы детектирования для получения синхронизации между источником 220-1 света и системой детектирования и/или для предоставления дополнительной информации в модуль обработки, который позволяет модулю обработки определять кодовые биты первой последовательности из N битов.

Системный контроллер 210 может внедрять код 310 в световой выход 225-1 источника 220-1 света путем модуляции сигнала управления, который должен быть применен к источнику 220-1 света в ответ на код 310. Различные технологии для внедрения кода в световой выход источника света известны для специалистов в данной области техники и поэтому они не описаны здесь подробно. Сигнал 245 может дополнительно включать в себя другие аналогичные коды, которые должны быть внедрены в световой выход других источников света. Каждый из кодов включает в себя разные повторяющиеся последовательности из N битов.

На фиг. 4 показана схема, представляющая систему 400 детектирования, в соответствии с одним вариантом осуществления настоящего изобретения. Как показано на чертеже, система 400 детектирования включает в себя по меньшей мере камеру 410, затвор 420 и модуль 430 обработки. В случае необходимости, система 400 детектирования также включает в себя запоминающее устройство 440. Камера 410 выполнена с возможностью получения последовательности изображений сцены. Затвор 420 выполнен с возможностью правильной установки времени для моментов времени, когда изображения были сняты камерой 410 (изображения были получены, когда затвор 420 открыт, и изображения не были получены, когда затвор 420 закрыт). В различных вариантах осуществления затвор 420 может либо содержать обычный затвор внутри камеры 410, который может только открыться и закрываться один раз в течение времени кадра камеры (то есть одиночная экспозиция заданной длительности в пределах кадра) или электронный затвор, расположенный перед камерой, который может открыться и может закрываться многократно во время одного кадра.

Сценарий 1: экспозиция в один бит на кадр

Вначале рассмотрим примерный сценарий, когда система 200 освещения выполнена так, что два источника света могут предоставлять световой вклад в определенную сцену. Рассмотрим, что сцена представляет собой часть пола структуры 100, показанной на фиг. 1, где первый источник света представляет собой один из источников 120 света, иллюстрируемых на фиг. 1, имеющих контур 125b освещения в пределах сцены (то есть на полу), и второй источник света представляет один из источников света 120, показанных на фиг. 1, имеющий контур 125c освещения в пределах сцены. Соответствующие коды, внедренные в световой выход первого и второго источников света, включают в себя разные повторяющиеся последовательности из N битов.

Для простоты, рассмотрим, что данные, которые должны быть внедрены в световой выход первого источника света, включают в себя только 4 бита. Код, содержащий повторяющуюся последовательность из этих 4 битов, показан на фиг. 5 как код 510 (то есть первая повторяющаяся последовательность из N битов содержит последовательность 4 бита). Как показано, каждый из битов имеет длительность T_bit. Поэтому период кодов равен 4*T_bit. Кроме того, рассмотрим, что отдельные биты последовательности, биты c₁₁, c₁₂, c₁₃, c₁₄, содержат 0, 1, 0 и 0, соответственно, иллюстрируемые на фиг. 5, с сигналом 520. Сигнал 520 может быть включен в сигнал 245, описанный со ссылкой на фиг. 2.

Как описано выше, данные внедрены в световой выход первого источника света путем управления первым источником света с сигналом привода, модулируемым в ответ на код 510. В различных вариантах осуществления системный контроллер 210 может генерировать модулированный сигнал управления путем модуляции сигнала привода, используя двоичную или многоуровневую модуляцию, используя, например, широтно-импульсную модуляцию (PWM, ШИМ), фазоимпульсную модуляцию, модуляцию плотности импульса или амплитудную модуляцию. Например, для внедрения двоичного значения 0 из сигнала 520, используя PWM, системный контроллер 210 может выполнить структуру управления в пределах сигнала управления, который уже на величину, требуемую для внедрения двоичного значения “0” из сигнала 520, и системный контроллер 210 может сделать другую структуру привода в пределах сигнала привода, более широкого на величину b, для внедрения двоичного значения “1” из сигнала 520. Благодаря тому что отношение между количеством a и количеством b равно отношению между количеством единиц и нулей в сигнале 520, данные внедрения в свет, выводимый из системы освещения, могут сделаться невидимыми для человеческого глаза, поскольку среднее по времени модулируемого сигнала привода остается таким же, как и в оригинальном сигнале привода. Для специалиста в данной области техники будут понятны другие способы для модулирования сигнала привода в зависимости от сигнала 520 для внедрения кодированных данных в световой выход системы освещения.

Аналогично рассмотрим, что данные, внедренные в световой выход второго источника света, включают в себя 4 бита, c₂₁, c₂₂, c₂₃, с₂₄. И снова, каждый из битов имеет длительность T_bit и период кода поэтому равен 4*T_bit. Упомянутое выше описание применимо в отношении того, как биты данных могут быть внедрены в световой выход второго источника света и поэтому для краткости, не повторяется.

Система 400 детектирования может быть выполнена с возможностью работы следующим образом для определения битов данных, внедренных в световой выход первого источника света.

Вначале камеру 410 конфигурируют для получения последовательности изображений сцены, где сцену выбирают так, чтобы по меньшей мере часть сцены включала в себя световой выход первого источника света. С этой целью, время кадра камеры может быть установлено равным на один бит более, чем период кода, то есть 5*T_bit, и экспозиция камеры может быть установлена так, чтобы она содержала один период экспозиции, имеющий длительность, равную длительности одного бита периода кода, то есть T_bit. Кроме того, камера 410 может быть выполнена так, чтобы она получала изображение во время первого периода времени T_bit каждого кадра. Экспозиция камеры 410, установленная таким образом, представлена на фиг. 5 строкой 530.

Когда снимают изображение, камера получает интенсивность всего света, выводимого из системы освещения во всех положениях на сцене. В настоящей заявке всякий раз, когда используется термин «интенсивность» (светового выхода), подразумевается, что в него также включены «производные от интенсивности», такие как, например, цвет света, температура цвета, спектр света и изменение интенсивности света. Изображение обычно разделяют на множество пикселей, где каждый пиксель представляет интенсивность всего светового выхода системы освещения в разных физических положениях на сцене. В текущем сценарии общий световой выход системы освещения содержит вклад света из первого источника света и вклад света из второго источника света.

Рассмотрим, что каждое изображение разделено на 2-D решетку из 150 пикселей с 10 пикселями в направлении оси х и 15 пикселями в направлении оси y. Поскольку время экспозиции камеры 410 установлено равным одному кодовому биту кода, на интенсивность в конкретном пикселе изображения влияет значение бита кода, кодированного в световом выходе первого источника света, и значение бита кода, кодированного в световом выходе второго источника света в момент времени, когда снимают изображение. Такое первое изображение показано на фиг. 6a (это изображение соответствует кадру 1, представленному на фиг. 5). Контур освещения первого источника света на сцене представлен как круг 610, и контур освещения второго источника света представлен как круг 620. Поскольку первое изображение 600-1 снимают, когда световой выход первого источника света модулирован битом c₁₁ и когда световой выход второго источника света модулирован битом C₂₁ кода, интенсивность I_x,_y в каждом пикселе (x, y) может быть рассчитана следующим образом:

I _x,y=A _х,y·c ₁₁+B _xy·c ₂₁,

где A_xy и B_xy являются соответствующими значениями того, какими должны были быть интенсивности светового выхода первого и второго источников света, если бы сигналы привода, приложенные к первому и второму источникам света не были модулированы определенным кодовым битом. Таким образом, как показано на фиг. 6a, интенсивность, например, в пикселе (7,6) равна (A_7,6·c₁₁+B_7,6·c₂₁). Кроме того, как показано на фиг. 6a, интенсивность, в например, пикселе (4,5) равна A_4,5·c₁₁ и интенсивность в пикселе (5,5) равна А_5,5·c₁₁, поскольку второй источник света не составляет какой-либо вклад по свету для части сцены, представленной этими пикселями (эти пиксели находятся за пределами контура 620 освещения), то есть B_4,5=B_5,5=0. Аналогично, интенсивность, например, в пикселе (7,9) равна B_7,9 · c₂₁ и интенсивность в пикселе (8,12) равна B_8,12 · c₂₁, поскольку первый источник света не обеспечивает какой-либо вклад по свету в части детали сцены, представленной этими пикселями (эти пиксели находятся за пределами контура 610 освещения), то есть B₇,₉=B _8,12 =0. Интенсивность, например, в пикселе (9,2) показана как равная нулю, поскольку ни первый, ни второй источники света не обеспечивают какой-либо вклад по свету в часть сцены, представленную этим пикселем (этот пиксель находится за пределами контуров 610 и 620 освещения).

Как можно видеть по экспозиции 530, второе изображение последовательности изображений на сцене получают во время кадра 2 камеры 410. Второе изображение показано на фиг. 6b как изображение 600-2. Поскольку изображение снимают на той же сцене, контуры 610 и 620 освещения остаются теми же, что и в первом изображении. Поскольку изображение 600-2 снимают, когда световой выход первого источника света модулирован кодовым битом c₁₂, и световой выход второго источника света модулирован кодовым битом c₂₂, интенсивность в каждом пикселе (x, y) может быть рассчитана следующим образом:

I _x,y=А _x,y·c _1,2+B _x,y·c ₂₂.

Таким образом, как показано на фиг. 6b, интенсивность, например, в пикселе (7,6) равна (А_7,6·с_1,2+В_7,6·с₂₂). Кроме того, как показано на фиг. 6a, интенсивность, например, в пикселе (4,5) равна A_4,5·c₁₂, интенсивность в пикселе (5,5) равна A_5,5·c₁₂, интенсивность в пикселе (7,9) равна B_7,9·c₂₂, и интенсивность в пикселе (8,12) равна B_8,12·c₂₂. И снова, интенсивность, например, в пикселе (9,2) показана равной нулю, поскольку ни первый, ни второй источники света не обеспечивают какой-либо вклад по свету в часть сцены, представленной этим пикселем.

Аналогичным образом, в кадрах 3 и 4 камера 410 получает, соответственно, третье изображение (600-3) и четвертое изображение (600-4) последовательностей изображений. И снова, учитывая способ, в соответствии с которым составляют время экспозиции и время кадра камеры 410 относительно встроенных кодов, третье изображение снимают, когда световые выходы первого и второго источников света модулируют кодовыми битами c₁₃ и c₂₃, соответственно, и четвертое изображение снимают, когда световые выходы первого и второго источников света модулируют кодовыми битами c₁₄ и c₂₄, соответственно. Последовательности изображений 600-1, 600-2, 600-3 и 600-4 показаны на фиг. 6c, где разные изображения показаны так, что они продолжаются в направлении t (где “t” обозначает «время»), представляющее, что изображения были сняты на одной и той же сцене, но в разные моменты времени.

После получения последовательности изображений 600-1-600-4 модуль 430 обработки может обработать последовательность изображений для определения первой повторяющейся последовательности из N битов, внедренных в световой выход первого источника света. На фиг. 7 иллюстрируется блок-схема последовательности операций способа 700 для определения первой повторяющейся последовательности из N битов, в соответствии с одним вариантом осуществления настоящего изобретения. В то время как этапы способа описаны со ссылкой на фиг. 4, для специалиста в данной области техники будет понятно, что любая система, выполненная с возможностью исполнения этапов способа, в любом порядке, находится в пределах объема настоящего изобретения.

Способ 700 может начаться с этапа 710, где модуль 430 обработки выполнен с возможностью выбора последовательности пикселей в пределах последовательности изображений 600-1-600-4, в соответствии с физическим положением в пределах сцены, которая включает в себя только световой выход первого источника света.

Для иллюстрации рассмотрим последовательность пикселей в пределах последовательности изображений 600-1-600-4 соответствующей определенному физическому положению в пределах сцены, учитывая, что выбранное физическое положение в пределах сцены представляет собой положение, соответствующее пикселю (4,5) на изображениях 600-1-600-4. Затем последовательность пикселей полученной последовательности, соответствующая этому положению, содержит пиксели (4,5) от каждого из изображений. Эта последовательность показана как последовательность 810 на фиг. 8. Последовательность 810 включает в себя пиксель (4,5) из первого изображения 600-1 (показанного как пиксель 820-1), пиксель (4,5) из второго изображения 600-2 (показанного как пиксель 820-2), пиксель (4,5) из третьего изображения 600-3 (показан как пиксель 820-3), и пиксель (4,5) из четвертого изображения 600-4 (показан как пиксель 820-4). Как показано на фиг. 8, интенсивности в пикселях 820-1-820-4 равны A_4,5·c₁₁, A_4,5·c₁₂, A_4,5·c₁₃ и A_4,5·c₁₄, соответственно.

В одном варианте осуществления определение того, что последовательность пикселей, соответствующая конкретному физическому положению в пределах сцены, включает в себя только световой выход одного (первого) источника света, может быть выполнено следующим образом.

Системный контроллер 210 может, в случае необходимости, включать одну промежуточную последовательность в код, который должен быть внедрен в световой выход первого источника света, и включать другую промежуточную последовательность в код, который должен быть внедрен в световой выход второго источника света, причем модуль 430 обработки имеет доступ к обеим из промежуточных последовательностей.

Каждая из промежуточных последовательностей может содержать идентификатор определенного рода, такой как, например, идентификатор определенного источника света. Количество разных источников света, которые могут быть идентифицированы таким образом, как описано выше, зависит от длины промежуточной последовательности. Например, для синхронного кода Уолша-Адамара, содержащего повторяющиеся последовательности из М двоичных значений, М разных источников света могут быть идентифицированы, что означает, что модуль 430 обработки может определять, присутствует ли вклад света от какого-либо из М разных источников света в определенном положении в пределах сцены и, в случае необходимости, определять магнитуду такого вклада света. Используя обычную камеру 50 Гц (то есть камера может снять 50 изображений в секунду), выполненную с возможностью получать момент экспозиции длительностью один бит в каждом кадре, последовательность изображений, необходимых для разрешения 50-битовой промежуточной последовательности внедренного кода, может быть получена за 1 секунду.

В одном варианте осуществления система 200 освещения может непосредственно предоставлять промежуточные последовательности в модуль 430 обработки. В другом варианте осуществления система 400 детектирования может включать в себя запоминающее устройство 440, содержащее промежуточные последовательности. В еще одном варианте осуществления система 400 детектирования может быть выполнена с возможностью получения промежуточных последовательностей из принятых (по беспроводному каналу) световых сигналов. В качестве альтернативы, модуль 430 обработки может получать, с помощью любого из средств, описанных выше, не промежуточные последовательности, содержащиеся в каждом из внедренных кодов, но их производные (то есть параметры, из которых могут быть получены промежуточные последовательности). Например, модуль 430 обработки может получать длину определенной известной последовательности или индикаторное число, относящееся к одному из наборов возможных последовательностей. Промежуточные последовательности могут быть затем воссозданы модулем 430 обработки, что потенциально уменьшает количество передаваемых данных, предоставляемых в систему 400 детектирования. В другом варианте осуществления параметры, описывающие промежуточные последовательности, могут быть выделены из принятых световых сигналов.

Имея доступ к промежуточным последовательностям, модуль 430 обработки может быть выполнен с возможностью коррелировать последовательность пикселей полученной последовательности изображений, соответствующих выбранному физическому положению в пределах сцены, с каждой из промежуточных последовательностей. Здесь следует отметить, что в варианте осуществления, где код 510 дополнительно включает в себя промежуточные последовательности из М битов, включенные, например, перед или после каждого возникновения последовательности 1, количество изображений, получаемых с помощью камеры 410, может составлять по меньшей мере (4+M) изображений вместо всего 4 изображений (поскольку N=4), как описано выше. В варианте осуществления, в котором код 510 дополнительно включает в себя промежуточные последовательности из М битов, включенных, например, перед или после каждого второго экземпляра последовательности 1, количество изображений, полученных камерой 410, может составить по меньшей мере (2*N+M) изображений. Специалист в данной области техники может вывести аналогичные варианты минимального количества изображений, необходимых для получения с помощью камеры 410, для разрешения всех битов внедренного кода. В таких вариантах осуществления с промежуточной последовательностью последовательность пикселей получаемой последовательности изображений может отличаться от последовательности 810, иллюстрируемой на фиг. 8, поскольку последовательность при этом могла бы содержать более 4 значений. В частности, она могла бы содержать одно значение из каждого получаемого изображения: например, (4+M) значений для первого варианта осуществления, описанного выше, и (8+M) для второго варианта осуществления, описанного выше. Аналогично, время кадра камеры 410 может быть затем установлено соответствующим образом для получения минимального количества разных изображений - время кадра могло бы быть, например, установлено как (4+1+M)*T_bit для первого варианта осуществления, описанного выше, и (8+1+M)*T_bit для второго варианта осуществления, описанного выше.

В результате корреляции последовательности пикселей полученной последовательности изображений, соответствующих выбранному физическому положению в пределах сцены с промежуточной последовательностью, внедренной в световой выход первого источника света (здесь называется «первой промежуточной последовательностью»), генерируется выход корреляции, имеющий по меньшей мере один пик. Выход корреляции обычно включает в себя определенное количество «пиков», причем некоторые пики меньше, чем другие, и представляют собой искусственное образование в процессе корреляции. Такие малые пики называются здесь «подпиками», и термин «пик» используется здесь для описания пика в выходе корреляции, который обозначает присутствие определенной промежуточной последовательности в пределах последовательности пикселей получаемой последовательности изображений, соответствующей выбранному физическому положению в пределах сцены. Пик может быть очевидно выше, чем подпики в выходе корреляции, и специалист в данной области техники может легко идентифицировать такой пик. Поэтому, на основе корреляции последовательности пикселей получаемой последовательности изображений, соответствующей выбранному физическому положению в пределах сцены с первой промежуточной последовательностью, модуль 430 обработки выполнен с возможностью определения того, что вклад света в первый источник света присутствует в выбранном физическом положении в пределах сцены, если выход корреляции включает в себя пик. Аналогичная корреляция может быть выполнена для любого другого выбранного физического положения в пределах сцены путем коррелирования последовательности пикселей из полученных изображений, соответствующих выбранному положению в пределах сцены с первой промежуточной последовательностью.

С другой стороны, в результате корреляции последовательности пикселей полученной последовательности изображений, соответствующих выбранному физическому положению в пределах сцене с промежуточной последовательностью, внедренной в световой выход первого источника света (называется здесь “второй промежуточной последовательностью”), генерируется выход корреляции, не содержащий пики, поскольку, как показано, например, на Фиг. 6a, второй источник света не обеспечивает какой-либо, даже по меньшей мере незначительный, вклад света в пиксель (4,5). Таким образом, модуль 430 обработки может определить, что последовательность пикселей (4,5) из полученной последовательности изображений включает в себя только, или преимущественно, световой выход одного (первого) источника света.

Если, например, модуль 430 обработки начал с определения, включает ли в себя, например, последовательность пикселей (7,6) в последовательности полученных изображений только световой выход одного (первого) источника света, путем коррелирования последовательности пикселей (7,6) с каждой из первой и второй промежуточных последовательностей, тогда оба выхода корреляции могут включать в себя пик. Пик в каждом из этих выходов корреляции мог бы обозначать присутствие светового выхода обоих источников света в физическом положении в пределах сцены, соответствующем пикселю (7,6). Модуль 430 обработки мог бы затем перейти к анализу другой последовательности пикселей, пока по меньшей мере одна последовательность пикселей полученной последовательности изображений не будет найдена, которая содержит световой выход только первого источника света.

Для такого варианта осуществления определение, что последовательность пикселей, соответствующая определенному физическому положению в пределах сцены, включает в себя только световой выход одного (первого) источника света, промежуточные последовательности могут содержать последовательности, которые имеют хорошие свойства автокорреляции. При использовании в системе, где каждому источнику света назначают уникальную промежуточную последовательность, эти последовательности, предпочтительно, являются ортогональными. Примеры этого могут быть представлены последовательностями Уолша-Адамара, где длина промежуточной последовательности равна количеству источников света, которым должна быть назначена промежуточная последовательность. Эти последовательности, однако, обычно требуют синхронной работы, что не всегда является желательным из-за дополнительной сложности. Поэтому другое желательное свойство промежуточных последовательностей состоит в том, что они имеют хорошие свойства взаимной корреляции, то есть высокую степень автокорреляции и низкую степень взаимной корреляции между последовательностями. Примеры таких последовательностей включают в себя псевдослучайные последовательности, последовательности, генерируемые линейными сдвиговыми регистрами с обратной связью, или другие последовательности, которые можно использовать в системах передачи данных с множественным доступом, с кодовым разделением каналов.

В еще одном варианте осуществления всем источникам света назначают уникальные частоты переключения, которые используются как код идентификации. Также это способствует низкой взаимной корреляции и высокой автокорреляции.

Для специалиста в данной области техники будет понятно, что для всех сценариев, описанных здесь, могут выполняться другие способы для обработки последовательности изображений, для определения с помощью модуля 430 обработки, присутствует ли вклад света определенного источника света в выбранном физическом положении на сцене. Например, модуль 430 обработки может генерировать различные последовательности пикселей, например, соответствующие разным промежуточным последовательностям, и определять, какая из этих последовательностей соответствует последовательности пикселей полученной последовательности изображений, соответствующих выбранному физическому положению, которое может быть выполнено, например, при поиске с максимальной вероятностью. Другие способы также могут быть рассмотрены.

В другом варианте осуществления определение того, что последовательность пикселей, соответствующая конкретному физическому положению в пределах сцены, включает в себя, в основном, световой выход одного (первого) источника света, может быть выполнена, используя CRC, внедренный в последовательность битов и используемый для определения, содержит ли последовательность пикселей только, или в основном, вклад света от первого источника света. Для определения этого может быть применен процесс по фиг. 7, как описано ниже. CRC затем используют для проверки, были ли данные детектированы корректно. Вероятно это не относится к случаю, когда вклад света первого источника света слишком слабый, когда вклад света от первого источника света отсутствует в этом пикселе, или когда существуют сильный вклад света от множества источников света в данном пикселе.

Во время определения, включают ли в себя последовательности пикселей, соответствующие определенным физическим положениям в пределах сцены, только или преимущественно световой выход первого источника света, вероятно, один и тот же поток данных (соответствующий световому выходу первого источника света) детектируют во множестве пикселей. В одном варианте осуществления сигналы от этих пикселей могут быть скомбинированы во время последующего определения отдельных битов данных, внедренных в световой выход первого источника света. В качестве альтернативы, выбор только нескольких из пикселей, приводящих к успешному детектированию первого пакета данных, внедренных в световой выход первого источника света, можно использовать для детектирования следующих пакетов. Пиксели, которые не включают в себя только световой выход первого источника света, могут быть проигнорированы на следующих этапах.

В еще одном другом варианте осуществления, в случае, когда разные источники света генерируют световой выход с разными длинами волн, система 400 детектирования может обеспечить то, что последовательность пикселей, соответствующая определенному физическому положению в пределах сцены, включает в себя только световой выход одного (первого) источника света путем использования цветного фильтра, выполненного с возможностью передавать только свет на определенной длине волны (или в диапазоне длин волн), при получении последовательности изображений.

Способ может затем перейти на необязательный этап 720, где модуль 430 обработки может синхронизировать систему 400 детектирования с первой повторяющейся последовательностью (то есть модуль 430 обработки может определять, где начинается первая повторяющаяся последовательность).

В таком варианте осуществления промежуточная последовательность может включать в себя последовательность синхронизации, где модуль 430 обработки имеет доступ к последовательности синхронизации. Доступ к последовательности синхронизации может быть установлен таким же образом, как и доступ к промежуточной последовательности, описанной выше.

Имея доступ к последовательности синхронизации, модуль 430 обработки может быть выполнен с возможностью коррелировать по меньшей мере одну выбранную последовательность пикселей в пределах последовательности изображений 600-1-600-4 в соответствии с физическим положением в пределах сцены, которая включает в себя только световой выход первого источника света в последовательности синхронизации. Максимум в выходе корреляции затем относится к началу последовательности синхронизации и используется для определения начала (начал) (по меньшей мере, некоторых из) первой повторяющейся последовательности (последовательностей) кода 510. Последовательности, практически используемые для синхронизации, представляют собой последовательности с хорошими свойствами автокорреляции, такие как последовательности Бейкера, которые имеют высокую степень корреляции для всего выравнивания, но низкую степень корреляции для смещенной версии.

Способ 700 затем переходит на этап 730, где модуль 430 обработки определяет тип модуляции, используемый для внедрения первой последовательности из N битов света, выводимого первым источником света. В одном варианте осуществления это может быть выполнено путем повторного использования промежуточной последовательности. Поле, обычно состоящее из нескольких битов, в пределах промежуточной последовательности, может обозначать, какая модуляция использовалась для внедрения первой последовательности N битов в световой выход первого источника света. С этой целью модуль 430 обработки также должен иметь доступ к типу модуляции, используемой для промежуточной последовательности. Тип модуляции, используемой для промежуточной последовательности, может быть идентифицирован, например, путем включения определенного идентификатора в промежуточные данные, и должен быть предоставлен в модуль 430 обработки, как ранее описано для идентификаторов разных источников света или для последовательностей синхронизации источников света.

В качестве альтернативы, модуляция промежуточной последовательности и/или первой последовательности из N битов всегда может выполняться с фиксированным форматом модуляции. Этап 730 затем уменьшают до получения модуля 430 обработки фиксированного формата модуляции путем, например, считывания фиксированного формата модуляции из запоминающего устройства 440 или путем приема фиксированного формата модуляции из системы 200.

В еще одном, другом варианте осуществления, модуль 430 обработки может определять способ модуляции, используемый для внедрения первой последовательности из N битов в световой выход первого источника света по выбранной последовательности пикселей в пределах последовательности изображений 600-1 - 600-4, соответствующей физическому положению в пределах сцены, которое включает в себя только световой выход первого источника света (например, последовательность 810). Например, модуль 430 обработки может определять количество уровней при амплитудной модуляции как число, равное количеству уровней амплитуды в последовательности 810.

Как только тип модуляции, используемой для внедрения первой последовательности из N битов в световой выход первого источника света, известен, на этапе 740 модуль 430 обработки выполнен с возможностью определения одного или более пороговых значений, дифференцирующих различные биты первой последовательности из N битов. Другими словами, модуль 430 обработки определяет алфавит модуляции. Например, для двоичной амплитудной модуляции интенсивность в определенном пикселе последовательности 810 выше определенного уровня (то есть порогового значения) может рассматриваться как представляющая бит данных «1», внедренный в световой выход первого источника света, в то время как интенсивность определенного пикселя последовательности 810, которая ниже, чем определенный уровень, может рассматриваться как представляющая бит данных «0», внедренный в световой выход первого источника света. Аналогично, при многоуровневой амплитудной модуляции может быть определено множество пороговых значений. Специалист в данной области техники может предусмотреть различные способы того, как модуль 430 обработки может определять пороговые значения в зависимости, например, от значения корреляции промежуточной последовательности, амплитуды принимаемой последовательности пикселей и/или распределения принимаемых уровней интенсивности.

Способ 700 может затем перейти на этап 750, на котором модуль 430 обработки определяет первую последовательность из N битов путем сравнения каждого пикселя последовательности 810 по меньшей мере с одним определенным пороговым значением (то есть путем использования алфавита модуляции, полученного на этапе 740).

В случае необходимости, после этапа 750, в варианте осуществления, где данные, внедренные в световой выход первого источника света, внедрены в множество пакетов, биты данных, определенные на этапе 750, могут быть агрегатированы в один пакет данных. Этапы 710-750 могут затем повторяться для второго пакета данных, внедренного в световой выход первого источника света, и так далее. После того как биты данных всех пакетов данных будут определены, биты данных могут быть рекомбинированы для формирования исходных данных.

Аналогичная обработка полученных последовательностей изображений 600-1-600-4 может быть выполнена для определения повторяющейся последовательности битов, внедренных в световой выход второго источника света.

Даже при том что в текущем сценарии рассматривается время кадра камеры, равное 5*T_bit, в других вариантах осуществления время кадра камеры может быть установлено равным любому целочисленному кратному T_bit, если только время кадра не представляет собой целочисленное кратное или дробь целого числа периода кода (в этом случае каждое изображение содержало бы значения одного и того же бита кода). Например, если период кода равен 7*T_bit, время кадра камеры может быть установлено на два бита больше или на два бита меньше, чем период кода, то есть 9*T_bit или 5*T_bit. Кроме того, камера 410 может быть выполнена с возможностью получения изображения во время любого периода времени T_bit каждого кадра, не обязательно во время первого периода времени T_bit каждого кадра.

В одном варианте осуществления моменты экспозиции могут по существу совпадать со всеми битами внедренных данных (то есть каждый момент экспозиции начинается по существу когда новый бит кода применяют для модуляции сигнала управления, поступающего в источник света, и заканчивается, когда применение нового бита заканчивается). В других вариантах осуществления моменты экспозиции могут совпадать не со всеми битами, а с тщательно выбранными частями всех битов внедренных данных (например, со средними 50% битов).

Кроме того, в других вариантах осуществления, которые относятся к повторяющейся последовательности из N битов, более чем N изображений могут быть получены и обработаны с помощью модуля 430 обработки. Это может быть выполнено, например, в варианте осуществления, где сигнал 520 включает в себя промежуточную последовательность из М битов. В таком варианте осуществления минимальное количество изображений, получаемых и обрабатываемых модулем 430 обработки, составляет (N+M) изображений. В другом варианте осуществления это может использоваться для улучшения вероятности детектирования источников света и для улучшения детектирования битов данных, внедренных в световой выход источников света. Например, когда получают 2N изображений, можно усреднять более чем 2 набора из N изображений для дальнейшего подавления влияния шумов при детектировании. Это, в частности, является предпочтительным в условиях низкой освещенности, поскольку в предложенных способах моменты экспозиции обычно малы по сравнению с периодом экспозиции.

Сценарий 2: многобитная экспозиция (экспозиция на кадр)

Далее, аналогично первому сценарию предположим, что система 200 освещения выполнена таким образом, что два источника света могут предоставлять вклад в свет в определенной сцене, где сцена представляет собой часть пола структуры 100, представленной на фиг. 1, первый источник света представляет собой один из источников 120 света, иллюстрируемых на фиг. 1, имеющий контур 125b освещения в пределах сцены (то есть на полу), и второй источник света представляет собой один из источников 120 света, показанный на фиг. 1, имеющий контур 125c освещения на сцене. И снова, соответствующие коды, внедренные в световой выход двух источников света, включают в себя разные повторяющиеся последовательности из N битов.

И снова, рассмотрим, что повторяющаяся последовательность кода, внедренного в световой выход первого источника света, включает в себя 4 бита, c₁₁, c₁₂, c₁₃, c₁₄, и что повторяющаяся последовательность кода, внедренного в световой выход второго источника света, включает в себя 4 бита, c₂₁, c₂₂, c₂₃, c₂₄. И снова, каждый из битов имеет длительность T_bit и период кода поэтому равен 4*T_bit. Код, внедренный в световой выход первого источника света, показан на фиг. 9 как код 910 и может быть включен в сигнал 245, описанный на фиг. 2.

Описание первого сценария в отношении того, как биты кода могут быть внедрены в световой выход источника света, применимо здесь, и поэтому для краткости, здесь оно не повторяется. Однако, для простоты, поскольку определение повторяющейся последовательности из N битов выполняют для каждого источника света, независимо от другого источника света, и поскольку модуль 430 обработки начинает работу с выбора пикселей получаемой последовательности изображений, в случае, когда по существу только световой выход одного источника света присутствует, текущий сценарий теперь фокусируется на примере, где только один источник света обеспечивает вклад света на сцене. Конечно, для специалиста в данной области техники будет понятно, что иллюстративный пример, показанный здесь, можно легко расширить на множество источников света, внедряя описания первого сценария в отношении того, как выбирают последовательность пикселей полученных изображений, которая включает в себя только световой выход одного (первого) источника света (этап 710 способа 700, описанного выше).

И снова, камера 410 выполнена с возможностью получения последовательности изображений сцены. С этой целью экспозиция камеры может быть установлена так, чтобы она содержала множество моментов экспозиции, и каждый момент экспозиции, имел длительность, равную длительности одного бита периода кода, то есть бит. В этом случае, общее время экспозиции камеры 410, T_exp, представляет собой сумму длительностей всех из множества моментов экспозиции. В таком сценарии, для определения повторяющейся первой последовательности из N символов, включенных в код 910, система 400 детектирования может быть выполнена с возможностью работы другим способом, чем было описано в первом сценарии.

Вначале рассмотрим, что множество моментов экспозиции являются последовательными и что камера 410 выполнена с возможностью получения изображения во время первого периода T_exp времени каждого кадра. Экспозиция камеры 410, составленная, таким образом, с тремя моментами экспозиции в каждом кадре, представлена на фиг. 9 линией 930.

Когда снимают изображение, камера получает интенсивности всего светового выхода системы освещения во всех положениях на сцене. В иллюстративном примере текущего сценария общий световой выход системы освещения содержит только вклад света от первого источника света.

Поскольку время экспозиции камеры установлено равным трем последовательным кодовым битам кода 910, на интенсивность в определенном пикселе изображения будут влиять значения всех битов кода, кодированного в световой выход источника 220-1 света во время съемки изображения. Каждый пиксель представляет интенсивность общего светового выхода системы освещения в разном физическом положении в пределах сцены. Поскольку первое изображение снимают, когда световой выход первого источника света модулирован с кодовыми битами c₁₁, c₁₂ и c₁₃ (см. фиг. 9, как в камере при экспозиции кадра 1 с экспозицией 930 происходит наложение кода 910), интенсивность d_x,y(1) в каждом пикселе (x, y) может быть определена следующим образом:

d_x,y=A_x,y·c₁₁+A_x,y·c₁₂+A_x,y·c₁₃ $$\begin{array}{ccc}& & \end{array}$$ (1)

где A_x,y представляет собой значение, какой должна была бы быть интенсивность, если бы сигнал привода, прикладываемый к первому источнику света, не был бы модулирован битами кода c₁₁, c₁₂ и c₁₃, и нижний индекс (1) в d_x,y(1) обозначает, что эта интенсивность была получена в кадре 1.

Как можно видеть в экспозиции 930, второе изображение последовательности изображений сцены получают во время кадра 2 камеры 410. Поскольку второе изображение снимают, когда световой выход источника 220-1 света модулирован кодовыми битами c₁₂, c₁₃ и c₁₄ (см. фиг. 5, как при экспозиции камерой кадра 2 на экспозицию 530 накладывается код 910), интенсивность d_xy(2) в каждом пикселе (x, y) может быть определена следующим образом:

d_xy(2)=A_x,y·c₁₂+A_x,y·c₁₃+A_x,y·c₁₄ $$\begin{array}{ccc}& & \end{array}$$ (2)

Аналогично, для третьего изображения, интенсивность d_xy(3) в каждом пикселе (x, y) может быть определена как:

d_xy(3)=A_x,y·c₁₃+A_x,y·c₁₄+A_x,y·c₁₁ $$\begin{array}{ccc}& & \end{array}$$ (3)

И, наконец, для четвертого изображения, интенсивность d₄ в каждом пикселе (x, y) может быть определена как:

d_xy(4)=A_x,y·c₁₄+A_x,y·c₁₁+A_x,y·c₁₂ $$\begin{array}{ccc}& & \end{array}$$ (4)

Представленные выше интенсивности (1)-(4) для определенного пикселя (x, y) для четырех полученных изображений могут быть записаны как интенсивности матрицы d _xy:

Используя обозначение, что формула (5) может быть переписана следующим образом:

В формуле (6) модуль 430 обработки содержит интенсивность d _xy из полученной последовательности изображений, и H из того, как камера 410 и затвор 420 выполнены для съемки изображений. Таким образом, уравнение (6) представляет собой уравнение с одним неизвестным, то есть A_x,_y c. Будучи снова переписанным в обозначениях матрицы, модуль 430 обработки может определить неизвестное A_x,y c как:

,

где в соответствии с общим обозначением матрицы H ^-1 обозначает инверсию матрицы H или псевдоинверсию для неквадратной матрицы H. Выполняя расчет в соответствии с формулой (7), можно рассмотреть применение трансформации, которая учитывает наличие многобитных моментов экспозиции в пределах каждого времени кадра камеры в принятой последовательности значений интенсивности d_xy. Такая трансформация корректирует многобитные экспозиции на кадр, в результате чего получают последовательность пикселей (x, y) полученных изображений, содержащих данные в форме A_x,y c (аналогично к последовательности 810, описанной в первом сценарии) вместо данных в форме A_x,_y H·c, (то есть нескорректированной для многобитных экспозиций на кадр). Затем аналогичная обработка, как была описана в первом сценарии (способ 700) может применяться к A_x,_y c. В различных вариантах осуществления, трансформацию применяют для последовательности пикселей перед некоторыми или всеми этапами 710-750, описанными выше.

В то время как описание этого сценария до настоящего момента относилось к случаю множества моментов экспозиции в пределах времени кадра камеры 410, которые были последовательными, аналогичный подход можно применять к множеству моментов экспозиции, которые не являются последовательными. Уравнения (6) и (7) все еще будут справедливы, тогда как разность в выборе разных моментов экспозиции для получения изображений могла бы быть отражена в другой матрице H. Поскольку выполнение расчетов в соответствии с уравнением (7) требует определения инверсии матрицы H, множество моментов экспозиции для последовательности изображений требуется выбрать таким образом, чтобы матрица H была инвертируемой.

Одно другое отличие между получением изображения с множеством последовательных и множеством не последовательных битов в пределах времени кадра камеры 410 состоит в том, как могут быть воплощены такие экспозиции. Поскольку затвор 420, который является встроенным во все камеры, может быть открыт и закрыт только один раз в пределах кадра, такой затвор обычно может использоваться только для получения изображений с множеством последовательных битов в пределах времени кадра камеры 410.

И, наоборот, затвор 420, который является внешним для камеры 410, можно использовать для получения изображений как для множества последовательных, так и для множества непоследовательных битов в каждом кадре. Такой затвор может быть воплощен как электронный затвор, расположенный перед камерой, который обеспечивает множество открываний/закрываний затвора в течение одного кадра. В одном варианте осуществления такой затвор можно переключать с помощью цифрового кода. Один пример структур открывания/закрывания, которые обеспечиваются путем использования затвора, внешнего для камеры 410, иллюстрируется как сигнал переключения 1030 на фиг. 10. На фиг. 10 также иллюстрируется примерный код 1010.

В одном варианте осуществления система 400 детектирования могла бы затем работать следующим образом. Комбинированный световой сигнал падает на затвор 420, который помещен перед камерой 410. Затвор 420 управляется сигналом 1030 переключения, который определяет открытое/закрытое состояние затвора. Предположим, что частота переключения затвора 420 является такой же, как и частота кодированного света, то есть в обеих используется одинаковый T_bit. Камера 410 затем интегрирует поступающий свет в течение периода кадра T_frame (что также относится ко всем другим вариантам осуществления, описанным здесь). Путем переключения затвора 420 биты кода 1010 в течение моментов открытого затвора будут приняты, а другие нет. В результате, выходной сигнал для затвора 420 камеры 410, таким образом, будет представлять собой сумму всех битов, в течение которых затвор был открыт.

Для каждого кадра применяют разный код затвора длительности T_frame, где T_frame=T_bit*N_shut. В варианте осуществления, где затвор 420 воплощен как затвор, внешний для камеры 410, N_shut предпочтительно представляет собой целочисленное кратное или дробь целочисленного кратного N_code. В варианте осуществления, где затвор 420 воплощен как затвор, внутренний для камеры 410, N_shut предпочтительно не равен целочисленному кратному или дробной части целочисленного кратного N_code, в результате выбора правильного набора последовательных кодов для включения в сигнал 1030 переключения, то есть таким образом, чтобы кодовая матрица H была инвертируемой, сигнал d(t) может быть восстановлен после электрической обработки сигналов, выводимых из камеры 410. Модуль 430 обработки может затем перейти к определению последовательности N выборок таким образом, как описано выше.

В одном варианте осуществления сигнал 1030 переключения предпочтительно содержит такое количество 1, которое возможно, поскольку, чем более длительное время затвор 420 открыт, тем больше света будет принято датчиком камеры 410. Соответствующие коды для этой цели представляют собой S-матрицы, которые состоят из матриц Адамара после удаления первых строки и столбца.

Все описания первого сценария применимы здесь, и поэтому они не повторяются, за исключением того, что относится к длительности периода кадра относительно длительности периода кода. В сценарии, где каждое изображение получают с множеством экземпляров экспозиции и затвор 420 воплощен как затвор, внешний для камеры 410, время кадра камеры, предпочтительно, устанавливают так, чтобы оно представляло собой целочисленное кратное или дробную часть целого числа периода кода. Например, если период кода равен 7*T_bit, время кадра камеры может быть установлено как в два раза превышающее период кода, то есть 14*T_bit. В сценарии, где каждое изображение получают с множеством моментов экспозиции и затвор 420 воплощен как затвор, внутренний для камеры 410, время кадра камеры предпочтительно устанавливают не равным целочисленному кратному или дробной части целочисленного кратного периода кода, как представлено в первом сценарии.

Одно преимущество текущего сценария состоит в том, что получение каждого изображения с многобитными экспозициями на кадр является более эффективным по свету, в частности, при условиях слабого освещения. Поэтому влияние шумов на процесс детектирования может быть уменьшено.

Одно преимущество настоящего изобретения состоит в том, что на основе последовательностей изображений, полученных путем выбора специфичных структур открытого/закрытого состояния затвора камеры, кодированный свет, модулируемый при высокой частоте и, таким образом, не видимый для человеческого глаза, может быть детектирован, используя обычную камеру с низкой скоростью съемки. Например, обычная камера 50 Гц может использоваться для определения кодированного света, модулированного на частоте 1 кГц или выше, что гораздо выше порога зрительного восприятия человека.

В то время как примерный вариант осуществления, представленный здесь, предназначен для систем с синхронным освещением (то есть систем, в которых внедренные коды различных источников света начинаются в один и тот же момент времени), для специалиста в данной области техники будет понятно, как расширить описание настоящего изобретения на системы асинхронного освещения (то есть системы, где внедренные коды различных источников света начинаются в разные моменты времени).

Один вариант осуществления изобретения может быть воплощен как программный продукт для использования в компьютерной системе. Программа (программы) программного продукта определяет функции вариантов осуществления (включающих в себя способы, описанные здесь) и может содержаться в множестве считываемых компьютером носителей информации. Иллюстративные считываемые компьютером носители информации включают в себя, не ограничиваясь: (i) не перезаписываемые носители информации (например, запоминающие устройства, предназначенные только для чтения внутри компьютера, такие как диски CD-ROM, считываемые приводом CD-ROM, запоминающие устройства типа флэш, микросхемы ПЗУ или твердотельные энергонезависимые запоминающие устройства любого типа), на которых постоянно содержится информация; и (ii) перезаписываемые носители информации (например, гибкие диски внутри привода дисков или любого типа твердотельное полупроводниковое оперативное запоминающее устройство), на котором сохраняют изменяемую информацию.

В то время как представленное выше направлено на варианты осуществления настоящего изобретения, другие и дополнительные варианты осуществления изобретения могут быть разработаны без отступа от основного его объема. Например, аспекты настоящего изобретения могут быть воплощены в аппаратных или программных средствах или с использованием комбинации аппаратных и программных средств. Кроме того, в то время как варианты осуществления описаны в контексте передачи данных через видимый свет, настоящее изобретение также применимо к другим диапазонам длин волн, кроме видимого света. Поэтому объем настоящего изобретения определяется следующей формулой изобретения.

1. Система детектирования для определения повторяющейся первой последовательности из N символов, включенных в первый код, причем первый код внедрен в световой выход первого источника света системы освещения, причем система детектирования содержит:
камеру, выполненную с возможностью получения последовательности кадров сцены, причем каждый кадр имеет время кадра, причем:
каждый полученный кадр включает в себя множество пикселей, причем каждый пиксель представляет интенсивность общего светового выхода системы освещения в отдельном физическом положении в пределах сцены, и общий световой выход системы освещения содержит световой выход первого источника света по меньшей мере в одном физическом положении в пределах сцены, отличающаяся тем, что:
последовательность содержит по меньшей мере N разных кадров, и
каждый кадр из по меньшей мере N разных кадров получают с общим временем экспозиции, содержащим один или более моментов экспозиции, причем в каждом из N разных кадров один или более моментов экспозиции находятся в разных временных положениях по отношению к повторяющейся первой последовательности из N символов,
причем для каждого кадра общее время экспозиции меньше, чем время кадра камеры; и
модуль обработки, выполненный с возможностью обработки полученной последовательности кадров для определения повторяющейся первой последовательности из N символов.

2. Система детектирования по п.1, в которой для обработки полученной последовательности кадров для определения повторяющейся первой последовательности из N символов модуль обработки выполнен с возможностью:
определения типа модуляции, используемой для внедрения первого кода в световой выход первого источника света,
на основе определенного типа модуляции, определения одного или более пороговых значений, дифференцирующих разные символы первого кода, и
определения повторяющейся первой последовательности из N символов путем сравнения каждого пикселя последовательности пикселей полученной последовательности кадров, соответствующей по меньшей мере одному физическому положению в пределах сцены, которое содержит световой выход первого источника света, с по меньшей мере одним или более определенными пороговыми значениями.

3. Система детектирования по п.2, в которой модуль обработки дополнительно выполнен с возможностью определения, что по меньшей мере одно физическое положение в пределах сцены, которое содержит световой выход первого источника света, содержит только световой выход первого источника света.

4. Система детектирования по п.2, в которой по меньшей мере одна первая последовательность из N символов отделена от другой первой последовательности из N символов промежуточной последовательностью символов.

5. Система детектирования по п.4, в которой для обработки полученной последовательности кадров для определения повторяющейся первой последовательности из N символов модуль обработки дополнительно выполнен с возможностью:
корреляции последовательности пикселей полученной последовательности кадров, соответствующих по меньшей мере одному физическому положению в пределах сцены, которое содержит световой выход первого источника света с промежуточной последовательностью символов, и
определения на основе корреляции начала по меньшей мере одной первой последовательности из N символов, определения начала другой первой последовательности из N символов, и/или определения, что по меньшей мере одно физическое положение в пределах сцены, которое содержит световой выход первого источника света, содержит только световой выход этого первого источника света.

6. Система детектирования по п.4, в которой промежуточная последовательность символов обозначает тип модуляции, используемой для внедрения первого кода в световой выход первого источника света.

7. Система детектирования по любому из пп.1-6, в которой длительность каждого из одного или более моментов экспозиции равна длительности одного символа первой последовательности из N символов.

8. Система детектирования по любому из пп.1-6, в которой один или более моментов экспозиции содержат одну экспозицию из двух или более последовательных моментов экспозиции.

9. Система детектирования по любому из пп.1-6, в которой один или более моментов экспозиции содержат два или более непоследовательных моментов экспозиции.

10. Система детектирования по любому из пп.1-6, в которой модуль обработки дополнительно выполнен с возможностью применения трансформации, учитывающей наличие более, чем одного момента экспозиции в пределах общего времени экспозиции, к последовательности пикселей полученной последовательности кадров, соответствующей по меньшей мере одному физическому положению в пределах сцены, которое содержит световой выход первого источника света.

11. Система детектирования по любому из пп.1-6, в которой частота кадров камеры ниже, чем частота модуляции, используемая для внедрения первого кода в световой выход первого источника света.

12. Способ определения повторяющейся первой последовательности из N символов, включенной в первый код, причем первый код внедрен в световой выход первого источника света системы освещения, при этом способ содержит этапы, на которых:
получают последовательность кадров сцены, причем каждый кадр имеет время кадра, при этом:
каждый полученный кадр включает в себя множество пикселей, причем каждый пиксель представляет интенсивность общего светового выхода системы освещения в разных физических положениях в пределах сцены, и общий световой выход системы освещения содержит световой выход первого источника света по меньшей мере в одном физическом положении в пределах сцены, отличающийся тем, что
последовательность содержит по меньшей мере N разных кадров, и
каждый кадр из по меньшей мере N разных кадров получают с общим временем экспозиции, содержащим один или более моментов экспозиции, причем в каждом из N разных кадров один или более моментов экспозиции находятся в разных временных положениях по отношению к повторяющейся первой последовательности из N символов,
причем для каждого кадра общее время экспозиции меньше, чем время кадра камеры; и
обрабатывают полученную последовательность кадров для определения повторяющейся первой последовательности из N символов.

13. Способ по п.12, в котором обработка полученной последовательности кадров для определения повторяющейся первой последовательности из N символов содержит этапы, на которых:
определяют тип модуляции, используемой для внедрения первого кода в световой выход первого источника света,
на основе определенного типа модуляции определяют одно или более пороговые значения, дифференцирующие разные символы первого кода, и
определяют повторяющуюся первую последовательность из N символов путем сравнения каждого пикселя последовательности пикселей полученной последовательности кадров, соответствующей по меньшей мере одному физическому положению в пределах сцены, которое содержит световой выход первого источника света, с по меньшей мере одним или более определенными пороговыми значениями.

14. Способ по п.13, в котором один или более моментов экспозиции содержат два или более момента экспозиции, и обработка полученной последовательности кадров для определения повторяющейся первой последовательности из N символов дополнительно содержит этап, на котором:
применяют трансформацию, учитывающую наличие более чем одного момента экспозиции в общем времени экспозиции, к последовательности пикселей полученной последовательности кадров, соответствующих по меньшей мере одному физическому положению в пределах сцены, которое содержит световой выход первого источника света.

15. Машиночитаемый носитель, содержащий участки программного кода, выполненные с возможностью при исполнении в системе детектирования по п. 1 выполнять этапы по любому из пп.12-14.