Вычисление расстояния на основе пространственной фазовой модуляции в четырехтактном i-tof датчике

Изобретение относится, в общем, к области обработки трехмерных (3D) изображений, и в частности к способу вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции и устройству для его реализации. Техническим результатом является повышение точности определения глубины на 3D-изображении. Результат достигается тем, что одновременно освещают сцену первым структурированным светом, имеющим первый фазовый пространственный узор, и вторым структурированным светом, имеющим второй фазовый пространственный узор, при этом каждый из первого и второго структурированного света модулирован по амплитуде с одной и той же несущей и образован участками со сдвигом +Δ фазы, чередующимися с участками со сдвигом -Δ фазы, сдвиги фаз участков первого и второго фазовых пространственных узоров равны по модулю и находятся в пределах 0<Δ<π/2, участки первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы накладываются друг на друга, пространственная частота участков первого и второго фазовых пространственных узоров выше, чем пространственная частота расположения объектов сцены; захватывают изображение сцены, одновременно освещенной первым и вторым структурированным светом, четырехтактным i-ToF датчиком в сочетании с массивом сепараторов, при этом массив сепараторов содержит первый набор сепараторов и второй набор сепараторов, отличающийся от первого набора сепараторов, сепараторы первого набора сепараторов расположены с чередованием с сепараторами второго набора сепараторов, один сепаратор из массива сепараторов находится напротив одного пикселя четырехтактного i-ToF датчика, и два соседних пикселя четырехтактного i-ToF датчика образуют сдвоенный пиксель, и при этом если первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, то изображение сцены захватывают четырехтактным i-ToF датчиком через массив сепараторов; устраняют по меньшей мере для одной пары последовательных тактов первого и второго пикселей в каждом сдвоенном пикселе четырехтактного i-ToF датчика фон и глобальную составляющую из сигналов; вычисляют для каждого сдвоенного пикселя расстояние до объекта сцены по меньшей мере по одной паре последовательных тактов первого и второго пикселей в сдвоенном пикселе. 2 н. и 4 з.п. ф-лы, 6 ил.

 

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Область техники, к которой относится изобретения

[0001] Настоящее изобретение относится, в общем, к области обработки трехмерных (3D) изображений и, в частности, к способу вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции и устройству для его реализации.

Описание предшествующего уровня техники

[0002] Современная робототехника, применения дополненной реальности (AR)/ виртуальной реальности (VR) и применения для распознавания жестов и лиц требуют быстрой и точной оценки расстояния от устройства до окружающих объектов. Одной из самых популярных технологий, используемых для удовлетворения этой потребности, является определение глубины с помощью непрямого измерения времени пролета светового сигнала (i-ToF). Эта технология обеспечивает довольно быстрое и надежное решение, но эта технология страдает от многолучевой интерференции (MPI). Причиной многолучевой интерференции (MPI) является существование нескольких путей распространения света, в том числе излучаемого камерой. Эти пути распространения света имеют разные длины оптического пути и образуются из-за многократного рассеяния и/или отражения света на реальных объектах сцены. MPI приводит к ошибкам определения глубины для 3D-изображений и искажению формы захваченных объектов. Существующие решения по коррекции MPI требуют довольно много времени либо для получения данных путем захвата нескольких изображений, либо для их обработки, что снижает эффективную частоту кадров датчиков i-ToF и приводит к нежелательным артефактам движения.

[0003] Эффект MPI вызывает большие ошибки (более 10%) при определении глубины и ограничивает точность современных i-ToF датчиков, собственная погрешность глубины которых составляет ~ 0,5%. Ошибки определения глубины приводят к искажению формы отображенных объектов сцены, ошибкам распознавания жестов и лиц, низкой точности одновременной локализации и построения карты (SLAM) и ухудшает навигационные характеристики робота. Искажение формы отображенных объектов сцены приводит к плохому сопоставлению объектов в AR, низкому качеству распознавания объектов, низкому качеству распознавания жестов. Почти все известные решения этой проблемы требуют захвата некоторого количества изображений (кадров) для получения скорректированного изображения (кадра) и приводят к нежелательным артефактам движения на захваченных изображениях. Другие решения требуют сложных вычислений и не могут выполняться в реальном времени. Артефакты движения приводят к низкому качеству изображения, низкому качеству распознавания жестов, плохому распознаванию движущихся объектов и плохому сопоставлению объектов в AR.

[0004] В предшествующем уровне техники известны технические решения, обеспечивающие улучшение определения глубины изображения.

[0005] Заявка на патент США US 20190219696 A1, опубликованная 15.01.2018 и озаглавленная «TIME OF FLIGHT CAMERA», предлагает ToF камеру и способ определения расстояний до объектов в сцене, содержащий излучение фазово-структурированного света, модулированного с частотой модуляции для освещения сцены с помощью узора структурированного освещения, и для каждой комбинации сдвига фазы выборки и сдвига фазы искажения модуляцию чувствительности фотодатчика на частоте модуляции излученного света. Такое техническое решение является сложным для реализации и требует значительной модификации ToF камеры.

[0006] Патент США US 9989630 B2, выданный 05.06.2018 и озаглавленный «STRUCTURED-LIGHT BASED MULTIPATH CANCELLATION IN TOF IMAGING», предлагает устройства и способы, обеспечивающие подавление многолучевой интерференции для устройств и систем формирования изображения. В различных реализациях структурированный свет используется для уменьшения, если не устранения помех. Например, свет может быть структурирован по амплитуде или фазе на основе угла излучения света. Такое техническое решение требует захвата нескольких кадров для получения скорректированного кадра, что снижает частоту кадров, увеличивает время обработки и может приводить к артефактам движения на захваченном 3D-изображении.

[0007] Патент США US 9874638 B2, выданный 23.01.2018 и озаглавленный «TIME OF FLIGHT CAMERA SYSTEM WHICH RESOLVES DIRECT AND MULTI-PATH RADIATION COMPONENTS», предлагает систему ToF камеры, которая определяет составляющую прямого пути или составляющую многолучевого распространения модулированного излучения, отраженного от цели. Система камеры включает в себя ToF передатчик, предназначенный для передачи модулированного излучения на цель, и по меньшей мере одну структуру формирования узора, работающую между передатчиком и целью. ToF камера выполнена так, чтобы на основании измерений определять вклад отражения прямого излучения источника, отраженного от цели. Такое техническое решение требует захвата нескольких кадров для получения скорректированного кадра, что снижает частоту кадров, увеличивает время обработки и может приводить к артефактам движения на захваченном 3D-изображении.

[0008] Патент США US 9405008 B2, выданный 02.08.2016 и озаглавленный «METHODS AND APPARATUS FOR MULTI-FREQUENCY CAMERA», предлагает многочастотную ToF камеру, которая снижает эффект многолучевой интерференции (MPI) и может вычислять точную карту глубины, несмотря на MPI. Источник света в многочастотной камере излучает свет во временной последовательности с разными частотами (по меньшей мере 4 частоты). На каждой частоте датчик синхронизации внутри ToF камеры захватывает 4 кадра. Из этих 4 кадров один или более процессоров вычисляют для каждого пикселя в датчике одно комплексное число. Процессоры складывают все такие комплексные величины (одно такое комплексное число на пиксель на частоту) и определяют глубину и интенсивность, используя метод спектральной оценки. Такое техническое решение является сложным для реализации и требует значительной модификации ToF камеры. Кроме того, это техническое решение требует захвата нескольких кадров для получения скорректированного кадра, что снижает частоту кадров, увеличивает время обработки и может приводить к артефактам движения на захваченном 3D-изображении.

[0009] Патент США US 10234561 B2, выданный 19.03.2019 и озаглавленный «SPECULAR REFLECTION REMOVAL IN TIME-OF-FLIGHT CAMERA APPARATUS», предлагает способ облегчения удаления шума зеркального отражения из световых данных, который может включать в себя освещение цели источником света с помощью блока освещения. Блок освещения выполнен с возможностью проецирования света с пространственным световым узором на цель. Световые данные могут содержать прямо отраженный пространственный световой узор и зеркально отраженный пространственный световой узор. Прямо отраженный пространственный световой узор и зеркально отраженный пространственный световой узор содержат по меньшей мере одно пространственное различие, которое отличает прямо отраженный пространственный световой узор от зеркально отраженного пространственного светового узора. Такое техническое решение имеет сложную последующую обработку и низкую точность коррекции.

[0010] Настоящее изобретение создано для устранения вышеописанных недостатков и для обеспечения нижеописанных преимуществ.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0011] Для ускорения сбора данных разработан четырехтактный i-ToF датчик. Четырехтактный i-ToF датчик открывает новые возможности для дальнейшего улучшения производительности таких устройств. В настоящей заявке предложен способ для повышения точности оценки расстояния четырехтактного i-ToF датчика за счет коррекции MPI. Этот способ требует минимальной модификации аппаратного обеспечения существующих четырехтактных i-ToF датчиков и обеспечивает высокую эффективность коррекции без сложных вычислений или снижения частоты кадров.

[0012] Целью настоящего изобретения является обеспечение способа вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции и устройству для его реализации, которые обеспечивают улучшение точности определения глубины на 3D-изображении. Улучшение точности определения глубины достигается за счет по меньшей мере одного из:

- исключения влияния многолучевой интерференции, включающей в себя множественные отражения света от реальных объектов,

- отсутствия снижения частоты кадров, вызывающего артефакты движения, и

- выполнения операций с низкими вычислительными затратами в реальном времени за счет применения простых вычислений.

[0013] Настоящее изобретение обеспечивает улучшение точности определения глубины на 3D-изображении выполнение операций в реальном времени, улучшенное качество изображений, улучшенное сопоставление объектов в устройствах дополненной реальности (AR), увеличение точности одновременной локализации и построения карты (SLAM) и, следовательно, улучшение навигации роботов, улучшение распознавания объектов, лиц и жестов.

[0014] В настоящем изобретении используются традиционные четырехтактные i-Tof датчики формирования изображения при незначительной модификации устройства формирования изображения, что упрощает изготовление устройства формирования изображения.

[0015] Один аспект настоящего изобретения обеспечивает способ вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции, причем упомянутый способ содержит этапы, на которых: одновременно освещают сцену первым структурированным светом, имеющим первый фазовый пространственный узор, и вторым структурированным светом, имеющим второй фазовый пространственный узор, при этом каждый из первого и второго структурированного света модулирован по амплитуде с одной и той же несущей, каждый из первого и второго фазовых пространственных узоров образован участками со сдвигом +∆ фазы, чередующимися с участками со сдвигом -Δ фазы, сдвиги фаз участков первого и второго фазовых пространственных узоров равны по модулю и находятся в пределах 0<Δ<π/2, участки первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы накладываются друг на друга, пространственная частота участков первого и второго фазовых пространственных узоров выше, чем пространственная частота расположения объектов сцены, и при этом либо первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, либо первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими; захватывают изображение сцены, одновременно освещенной первым и вторым структурированным светом, четырехтактным i-ToF датчиком в сочетании с массивом сепараторов, при этом массив сепараторов содержит первый набор сепараторов и второй набор сепараторов, отличающийся от первого набора сепараторов, сепараторы первого набора сепараторов расположены с чередованием с сепараторами второго набора сепараторов так, что стороны каждого сепаратора из первого набора сепараторов прилегают к сторонам сепараторов из второго набора сепараторов, один сепаратор из массива сепараторов находится напротив одного пикселя четырехтактного i-ToF датчика, и два соседних пикселя четырехтактного i-ToF датчика образуют сдвоенный пиксель, и при этом если первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, то изображение сцены захватывают четырехтактным i-ToF датчиком через массив сепараторов, один пиксель четырехтактного i-ToF датчика захватывает изображение через один сепаратор массива сепараторов, первый набор сепараторов пропускает только первый структурированный свет, а второй набор сепараторов пропускает только второй структурированный свет, если первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими, то изображение сцены захватывают четырехтактным i-ToF датчиком и затем первый набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика, полученные из первого структурированного света, а второй набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика, полученные из второго структурированного света; устраняют для по меньшей мере одной пары последовательных тактов и первого и второго пикселя в каждом сдвоенном пикселе четырехтактного i-ToF датчика фон и глобальную составляющую из сигналов, полученных четырехтактным i-ToF датчиком в сочетании с массивом сепараторов по формуле:

,

где = или , = 2, 3 или 4, является интенсивностью сигнала, полученного первым пикселем сдвоенного пикселя в сочетании с соответствующими сепаратором массива сепараторов в такте первого пикселя за один или более периодов одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде, является интенсивностью сигнала, полученного вторым пикселем сдвоенного пикселя в сочетании с соответствующими сепаратором массива сепараторов в такте второго пикселя, который является тем же, что и такт первого пикселя за один или более периодов одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде, является интенсивностью фона, является интенсивностью глобальной составляющей, является интенсивностью прямой составляющей, является набегом фазы глобальной составляющей при отражении света, которым освещают сцену, является набегом фазы прямой составляющей при отражении света, которым освещают сцену, является сдвигом +∆ или -∆ фазы одного из первого или второго структурированного света, и при этом прямая составляющая является составляющей света, однократно отраженного от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза; вычисляют для каждого сдвоенного пикселя расстояние до объекта сцены по по меньшей мере одной паре последовательных тактов и первого и второго пикселя в сдвоенном пикселе по формуле:

,

где является скоростью света, является частотой несущей модуляции по амплитуде с одной и той же несущей, при этом вычисляют из уравнения .

[0016] В одном дополнительном аспекте этап устранения фона и глобальной составляющей выполняют для каждой из трех пар тактов, включающих в себя пару тактов 1 и 2, пару тактов 2 и 3, пару тактов 3 и 4 первого и второго пикселя в каждом сдвоенном пикселе; и этап вычисления для каждого сдвоенного пикселя расстояния до объекта сцены дополнительно содержит вычисление расстояния до объекта сцены для каждой из упомянутых трех пар тактов первого и второго пикселя в каждом сдвоенном пикселе, и получение расстояния до объекта сцены для каждого сдвоенного пикселя посредством вычисления среднего значения расстояния до объекта сцены из вычисленных расстояний для упомянутых трех пар тактов для каждого сдвоенного пикселя.

[0017] В другом дополнительном аспекте этап устранения фона и глобальной составляющей выполняют для каждой из четырех пар тактов первого и второго пикселя в каждом сдвоенном пикселе, при этом упомянутые четыре пары тактов включают в себя пару тактов 1 и 2, пару тактов 2 и 3, пару тактов 3 и 4 при захвате текущего изображения и пару тактов, включающую в себя такт 1 при захвате текущего изображения и такт 4 при захвате предыдущего изображения, и при этом и получают за один период одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде; и этап вычисления для каждого сдвоенного пикселя расстояния до объекта сцены дополнительно содержит вычисление расстояния до объекта сцены для каждой из упомянутых четырех пар тактов первого и второго пикселя в каждом сдвоенном пикселе, и получение расстояния до объекта сцены для каждого сдвоенного пикселя посредством вычисления среднего значения расстояний до объекта сцены из вычисленных расстояний для упомянутых четырех пар тактов для каждого сдвоенного пикселя.

[0018] В еще одном дополнительном аспекте два соседних пикселя четырехтактного i-ToF датчика, расположенные горизонтально, образуют сдвоенный пиксель, и два соседних пикселя четырехтактного i-ToF датчика, расположенные вертикально, образуют сдвоенный пиксель, при этом сдвоенные пиксели из двух соседних пикселей, расположенных горизонтально, и сдвоенные пиксели из двух соседних пикселей, расположенных вертикально, наложены друг на друга.

[0019] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: сравнивают вычисленное расстояние до объекта сцены для каждого сдвоенного пикселя с вычисленным расстоянием до объекта сцены для соседнего сдвоенного пикселя; если результат сравнения превышает заданное пороговое значение, вычисляют среднее значение расстояний до объекта сцены для по меньшей мере двух сдвоенных пикселей, соседних со сдвоенным пикселем, для которого результат сравнения превышает заданное пороговое значение; и присваивают сдвоенному пикселю, для которого результат сравнения превышает заданное пороговое значение, вычисленное среднее значение расстояний до объекта сцены, при этом заданное пороговое значение задают на основании расстояния прохождения света за часть периода одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде.

[0020] Еще один аспект настоящего изобретения обеспечивает электронное вычислительное устройство, содержащее: источник света для одновременного освещения сцены первым структурированным светом, имеющим первый фазовый пространственный узор, и вторым структурированным светом, имеющим второй фазовый пространственный узор, при этом каждый из первого и второго структурированного света модулирован по амплитуде с одной и той же несущей, каждый из первого и второго фазовых пространственных узоров образован участками со сдвигом +Δ фазы, чередующимися с участками со сдвигом -Δ фазы, сдвиги фаз участков первого и второго фазовых пространственных узоров равны по модулю и находятся в пределах 0<Δ<π/2, участки первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы накладываются друг на друга, пространственная частота участков первого и второго фазовых пространственных узоров выше, чем пространственная частота расположения объектов сцены, и при этом либо первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, либо первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими; блок захвата изображения, содержащий четырехтактный i-ToF датчик и массив сепараторов, при этом массив сепараторов содержит первый набор сепараторов и второй набор сепараторов, отличающийся от первого набора сепараторов, сепараторы первого набора сепараторов расположены с чередованием с сепараторами второго набора сепараторов так, что стороны каждого сепаратора из первого набора сепараторов прилегают к сторонам сепараторов из второго набора сепараторов, один сепаратор из массива сепараторов находится напротив одного пикселя четырехтактного i-ToF датчика, и два соседних пикселя четырехтактного i-ToF датчика образуют сдвоенный пиксель, и при этом если первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, то изображение сцены захватывают четырехтактным i-ToF датчиком через массив сепараторов, один пиксель четырехтактного i-ToF датчика захватывает изображение через один сепаратор массива сепараторов, первый набор сепараторов пропускает только первый структурированный свет, а второй набор сепараторов пропускает только второй структурированный свет, если первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими, то изображение сцены захватывают четырехтактным i-ToF датчиком и затем первый набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика, полученные из первого структурированного света, а второй набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика, полученные из второго структурированного света; по меньшей мере один процессор; и память, в которой хранятся инструкции, которые при выполнении по меньшей мере одним процессором, заставляют по меньшей мере один процессор выполнять варианты осуществления способа вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0021] Вышеописанные и другие аспекты, признаки и преимущества настоящего изобретения будут более понятны из последующего подробного описания, приведенного в сочетании с прилагаемыми чертежами, на которых:

[0022] Фиг. 1 схематично иллюстрирует распространение света при захвате изображения.

[0023] Фиг. 2 является блок-схемой последовательности операций способа 100 вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции.

[0024] Фиг. 3 является блок-схемой электронного вычислительного устройства 200 для выполнения способа 100 вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции.

[0025] Фиг. 4А-4В схематично иллюстрируют примерные варианты осуществления сдвоенных пикселей.

[0026] В последующем описании, если не указано иное, одни и те же ссылочные позиции используются для одних и тех же элементов, когда они изображены на разных чертежах, и их параллельное описание не приводится.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

[0027] Нижеследующее описание со ссылкой на прилагаемые чертежи приведено, чтобы облегчить полное понимание различных вариантов осуществления настоящего изобретения, заданного формулой изобретения, и его эквивалентов. Описание включает в себя различные конкретные подробности, чтобы облегчить такое понимание, но данные подробности следует считать только примерными. Соответственно, специалисты в данной области техники обнаружат, что можно разработать различные изменения и модификации различных вариантов осуществления, описанных в настоящей заявке, без выхода за пределы объема настоящего изобретения. Кроме того, описания общеизвестных функций и конструкций могут быть исключены для ясности и краткости.

[0028] Термины и формулировки, используемые в последующем описании и формуле изобретения не ограничены библиографическим значениями, а просто использованы создателем настоящего изобретения, чтобы обеспечить четкое и последовательное понимание настоящего изобретения. Соответственно, специалистам в данной области техники должно быть ясно, что последующее описание различных вариантов осуществления настоящего изобретения предлагается только для иллюстрации.

[0029] Следует понимать, что формы единственного числа включают в себя множественность, если контекст явно не указывает иное.

[0030] Дополнительно следует понимать, что термины «содержит», «содержащий», «включает в себя» и/или «включающий в себя», при использовании в настоящей заявке, означают присутствие изложенных признаков, значений, операций, элементов и/или компонентов, но не исключают присутствия или добавления одного или более других признаков, значений, операций, элементов, компонентов и/или их групп.

[0031] Фиг. 1 схематично иллюстрирует распространение света при захвате изображения. На датчик формирования изображения падает свет, отраженный один раз от объектов сцены (прямое отражение), и свет, отраженный более одного раза от объектов сцены (множественные отражения). Свет, отраженный один раз (прямое отражение), показан на фиг. 1 пунктирной линией, а свет, отраженный более одного раза (множественные отражения) показан сплошной линией.

[0032] Весь свет, падающий на каждый пиксель датчика формирования изображения, состоит из прямой составляющей и глобальной составляющей. Прямая составляющая является составляющей света, отраженного один раз от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза. Множественные отражения, которые образуют глобальную составляющую, вызывают эффект MPI и приводят к искажению формы захваченных объектов и потере точности определения глубины на изображениях.

[0033] Для того чтобы избежать возникновения вышеприведенных артефактов на изображении в настоящем изобретении предложено устранить фон и глобальную составляющую из сигналов, полученных при захвате изображения.

[0034] В дальнейшем, различные варианты осуществления настоящего изобретения описаны более подробно со ссылкой на прилагаемые фиг. 2, 3, 4а-4в.

[0035] Способ 100 вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции может выполняться на электронном вычислительном устройстве 200, которое может представлять собой, например, видео и/или фото камеру, смартфон, мобильный телефон, устройство виртуальной и/или дополненной реальности, робота и т.д.

[0036] Блок-схема электронного вычислительного устройства 200 изображена на фиг. 3. Электронное вычислительное устройство 200 содержит источник 201 света, блок 202 захвата изображения, по меньшей мере один процессор 203 и память 204. Блок 202 захвата изображения содержит четырехтактный i-ToF датчик 202-1 и массив 202-2 сепараторов.

[0037] Источник 201 света выполнен с возможностью формирования первого структурированного света и второго структурированного света и одновременного освещения сцены первым и вторым структурированным светом. Первый структурированный свет имеет первый фазовый пространственный узор, а второй структурированный свет имеет второй фазовый пространственный узор. Каждый из первого и второго структурированного света модулирован по амплитуде с одной и той же несущей. Каждый из первого и второго фазовых пространственных узоров образован участками со сдвигом +Δ фазы, чередующимися с участками со сдвигом -Δ фазы. Сдвиги +Δ, -Δ фаз участков первого и второго фазовых пространственных узоров равны по модулю и находятся в пределах 0<Δ<π/2. Участки первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы накладываются друг на друга, т.е. каждая точка сцены освещена участками первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы. Пространственная частота участков первого и второго фазовых пространственных узоров выше, чем пространственная частота расположения объектов сцены. Для разделения сигналов от первого и второго структурированного света при приеме света каждым пикселем четырехтактного i-ToF датчика 202-1 блока 202 захвата изображения или выдачи выходных сигналов из блока 202 захвата изображения либо первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, либо первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими. Фазовые пространственные узоры первого и второго структурированного света могут быть, например, горизонтальными и/или вертикальными полосами, матрицей из точек, произвольно расположенными точками и т.д. или их сочетанием. Настоящее изобретение не ограничено этими примерами пространственного узора, и он может быть любым. Формирование структурированного света известно в уровне техники и, поэтому его описание будет опущено. Источниками 201 света могут быть любые источники света, например, массив светодиодов или массив поверхностно-излучающих лазеров с вертикальным резонатором (VCSEL). Однако настоящее изобретение не ограничено этими примерами источников света, источники 201 света могут быть любыми источниками света, например, содержащими по меньшей мере одно светоизлучающее устройство и по меньшей мере одно устройство модуляции света, которые способны формировать первый структурированный свет и второй структурированный свет и одновременного освещать захватываемую сцену первым и вторым структурированным светом.

[0038] Четырехтактный i-Tof датчик может быть любым известным четырехтактным i-Tof датчиком, например, КМОП-датчиком, ПЗС-датчиком.

[0039] Изображение сцены, одновременно освещенной первым и вторым структурированным светом, захватывают блоком 202 захвата изображения, т.е. четырехтактным i-ToF датчиком 202-1 в сочетании с массивом 202-2 сепараторов.

[0040] Массив 202-2 сепараторов содержит первый набор сепараторов и второй набор сепараторов, отличающийся от первого набора сепараторов. Сепараторы первого набора сепараторов расположены с чередованием с сепараторами второго набора сепараторов так, что стороны каждого сепаратора из первого набора сепараторов прилегают к сторонам сепараторов из второго набора сепараторов. Один сепаратор из массива 202-2 сепараторов находится напротив одного пикселя четырехтактного i-ToF датчика 202-1, т.е. каждый один пиксель четырехтактного i-ToF датчика 202-1 в сочетании только с одним сепаратором массива 202-2 сепараторов выдает выходной сигнал. Два соседних пикселя четырехтактного i-ToF датчика 202-1 образуют сдвоенный пиксель, и все пиксели четырехтактного i-ToF датчика 202-1 сгруппированы в сдвоенные пиксели. Если первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, то изображение сцены захватывают четырехтактным i-ToF датчиком 202-1 через массив 202-2 сепараторов, т.е. массив 202-2 сепараторов находится перед четырехтактным i-ToF датчиком 202-1 по отношению к падающему свету. В этом случае один пиксель четырехтактного i-ToF датчика 202-1 захватывает изображение через один сепаратор массива 202-2 сепараторов и первый набор сепараторов пропускает только первый структурированный свет, а второй набор сепараторов пропускает только второй структурированный свет. Если первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими, то изображение сцены захватывают четырехтактным i-ToF датчиком 202-1 и затем первый набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика 202-1, полученные из первого структурированного света, а второй набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика 202-1, полученные из второго структурированного света. В случае, когда первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими, массив 202-2 сепараторов находится за четырехтактным i-ToF датчиком 202-1 по отношению к падающему свету.

[0041] Один или более процессоров 203 могут включать в себя процессор общего назначения, такой как центральный процессор (ЦП), процессор приложений (AP), графический процессор (GPU), процессор обработки изображений (VPU) или тому подобное и/или специализированный процессор искусственного интеллекта (ИИ), такой как нейронный процессор (NPU). Один или более процессоров 203 выполняют обработку данных в соответствии с правилом работы, заданным инструкциями, хранящимися в памяти 204.

[0042] Память 204 может быть энергонезависимой памятью или энергозависимой памятью. Память 204 хранит инструкции, которые при выполнении по меньшей мере одним процессором 203 обеспечивают выполнение способа 100.

[0043] Примеры разделения четырехтактного i-ToF датчика 202-1 на сдвоенные пиксели показаны на фиг. 4А-4В.

[0044] На фиг. 4А показан вариант осуществления группировки пикселей четырехтактного i-ToF датчика 202-1 в сдвоенные пиксели. Сдвоенные пиксели выделены толстой линией на фиг. 4А. Каждый сдвоенный пиксель может быть образован двумя соседними пикселями четырехтактного i-ToF датчика 202-1, расположенными вертикально относительно друг друга, т.е. каждый сдвоенный пиксель может быть образован двумя соседними пикселями четырехтактного i-ToF датчика 202-1, расположенными в одном и том же столбце пикселей четырехтактного i-ToF датчика 202-1. Один пиксель сдвоенного пикселя принимает свет или выводит сигнал пикселя через сепаратор первого набора сепараторов, а другой пиксель сдвоенного пикселя принимает свет или выводит сигнал пикселя через сепаратор второго набора сепараторов.

[0045] На фиг. 4Б показан другой вариант осуществления группировки пикселей четырехтактного i-ToF датчика 202-1 в сдвоенные пиксели. Сдвоенные пиксели выделены толстой линией на фиг. 4Б. Каждый сдвоенный пиксель может быть образован двумя соседними пикселями четырехтактного i-ToF датчика 202-1, расположенными горизонтально относительно друг друга, т.е. каждый сдвоенный пиксель может быть образован двумя соседними пикселями четырехтактного i-ToF датчика 202-1, расположенными в одной и той же строке пикселей четырехтактного i-ToF датчика 202-1. Один пиксель сдвоенного пикселя принимает свет или выводит сигнал пикселя через сепаратор первого набора сепараторов, а другой пиксель сдвоенного пикселя принимает свет или выводит сигнал пикселя через сепаратор второго набора сепараторов.

[0046] На фиг. 4В показан еще один вариант осуществления группировки пикселей четырехтактного i-ToF датчика 202-1 в сдвоенные пиксели. Каждый сдвоенный пиксель может быть образован как двумя соседними пикселями четырехтактного i-ToF датчика 202-1, расположенными в одном и том же столбце пикселей четырехтактного i-ToF датчика 202-1, так и каждый сдвоенный пиксель может быть образован двумя соседними пикселями четырехтактного i-ToF датчика 202-1, расположенными в одной и той же строке пикселей четырехтактного i-ToF датчика 202-1. Кроме того, сдвоенные пиксели, образованные в столбцах пикселей, и сдвоенные пиксели, образованные в строках пикселей, наложены друг на друга. Другими словами, два соседних пикселя четырехтактного i-ToF датчика 202-1, расположенные горизонтально, образуют сдвоенный пиксель, и два соседних пикселя четырехтактного i-ToF датчика, расположенные вертикально, образуют сдвоенный пиксель, при этом сдвоенные пиксели из двух соседних пикселей, расположенных горизонтально, и сдвоенные пиксели из двух соседних пикселей, расположенных вертикально, наложены друг на друга. Сдвоенные пиксели из расположенных вертикально пикселей, т.е. расположенных в одном и том же столбце, выделены толстой линией на фиг. 4В. Сдвоенные пиксели из расположенных горизонтально пикселей, т.е. расположенных в одной и той же строке, схематично показаны пунктирной линией на фиг. 4В. Один пиксель сдвоенного пикселя принимает свет или выводит сигнал пикселя через сепаратор первого набора сепараторов, а другой пиксель сдвоенного пикселя принимает свет или выводит сигнал пикселя через сепаратор второго набора сепараторов.

[0047] На фиг. 2 показана блок-схема последовательности операций способа 100 вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции. Способ 100 вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции содержит следующие этапы.

[0048] На этапе S101 источник 201 света одновременно освещает сцену первым структурированным светом, имеющим первый фазовый пространственный узор, и вторым структурированным светом, имеющим второй фазовый пространственный узор. Каждый из первого и второго структурированного света модулирован по амплитуде с одной и той же несущей. Каждый из первого и второго фазовых пространственных узоров образован участками со сдвигом +Δ фазы, чередующимися с участками со сдвигом -Δ фазы. Сдвиги фаз участков первого и второго фазовых пространственных узоров равны по модулю и находятся в пределах 0<Δ<π/2. Участки первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы накладываются друг на друга. Пространственная частота участков первого и второго фазовых пространственных узоров выше, чем пространственная частота расположения объектов сцены. Для того чтобы каждый пиксель сдвоенного пикселя в сочетании с сепаратором массива 202-2 сепараторов принимал свет или выводил сигнал пикселя только от одного из первого или второго структурированного света, первый и второй структурированный свет имеют либо разные длины волн и/или разную поляризацию, либо дополнительно модулированы по амплитуде с разными несущими.

[0049] На этапе S103 четырехтактный i-ToF датчик 202-1 в сочетании с массивом 202-2 сепараторов захватывают изображение сцены, одновременно освещенной первым и вторым структурированным светом. Массив 202-2 сепараторов содержит первый набор сепараторов и второй набор сепараторов, отличающийся от первого набора сепараторов. Сепараторы первого набора сепараторов пропускают свет или выводят сигнал пикселя только от одного из первого или второго структурированного света. Сепараторы первого набора сепараторов расположены с чередованием с сепараторами второго набора сепараторов так, что стороны каждого сепаратора из первого набора сепараторов прилегают к сторонам сепараторов из второго набора сепараторов. Один сепаратор из массива 202-2 сепараторов находится напротив одного пикселя четырехтактного i-ToF датчика 202-1. Два соседних пикселя четырехтактного i-ToF датчика 202-1 образуют сдвоенный пиксель.

[0050] Если первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, то изображение сцены захватывают четырехтактным i-ToF датчиком 202-1 через массив 202-2 сепараторов. Один пиксель четырехтактного i-ToF датчика 202-1 захватывает изображение через один сепаратор массива 202-2 сепараторов. Первый набор сепараторов пропускает только первый структурированный свет, а второй набор сепараторов пропускает только второй структурированный свет.

[0051] Если первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими, то изображение сцены захватывают четырехтактным i-ToF датчиком 202-1. Затем первый набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика 202-1, полученные из первого структурированного света, а второй набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика 202-1, полученные из второго структурированного света.

[0052] На этапе S105 для по меньшей мере одной пары последовательных тактов и первого и второго пикселя в каждом сдвоенном пикселе четырехтактного i-ToF датчика 202-1 устраняют фон и глобальную составляющую из сигналов, полученных четырехтактным i-ToF датчиком 202-1 в сочетании с массивом 202-2 сепараторов по формуле:

.

является тактом первого и второго пикселя в каждом сдвоенном пикселе четырехтактного i-ToF датчика 202-1 и = или , = 2, 3 или 4. является интенсивностью сигнала, полученного первым пикселем сдвоенного пикселя в сочетании с соответствующими сепаратором массива 202-2 сепараторов в такте первого пикселя за один или более периодов одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде. является интенсивностью сигнала, полученного вторым пикселем сдвоенного пикселя в сочетании с соответствующими сепаратором массива 202-2 сепараторов в такте второго пикселя, который является тем же, что и такт первого пикселя за один или более периодов одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде. является интенсивностью фона. является интенсивностью глобальной составляющей. является интенсивностью прямой составляющей. является набегом фазы глобальной составляющей при отражении света, которым освещают сцену. является набегом фазы прямой составляющей при отражении света, которым освещают сцену. является сдвигом +∆ или -∆ фазы одного из первого или второго структурированного света. Поскольку пространственная частота участков первого и второго фазовых пространственных узоров выше, чем пространственная частота расположения объектов сцены, то в данном случае можно считать, что глобальная компонента образована суммой одинакового числа участков первого или второго фазовых пространственных узоров со сдвигом +∆ фазы и участков первого или второго фазовых пространственных узоров участков со сдвигом -∆ фазы. Таким образом сдвиг +∆, -∆ фазы в глобальной компоненте можно считать как 0, следовательно, ее изменением в сигналах, полученных пикселями i-ToF датчика, можно пренебречь и сдвиг фазы можно не учитывать в . Прямая составляющая является составляющей света, однократно отраженного от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза.

[0053] На этапе S107 для каждого сдвоенного пикселя расстояние до объекта сцены вычисляют по по меньшей мере одной паре последовательных тактов и первого и второго пикселя в сдвоенном пикселе по формуле:

,

где является скоростью света, является частотой несущей модуляции по амплитуде с одной и той же несущей, при этом вычисляют из уравнения .

[0054] В способе 100 этап (S105) устранения фона и глобальной составляющей может выполняться для каждой из трех пар тактов, включающих в себя пару тактов 1 и 2, пару тактов 2 и 3, пару тактов 3 и 4 первого и второго пикселя в каждом сдвоенном пикселе. В этом случае этап (S107) вычисления для каждого сдвоенного пикселя расстояния до объекта сцены может дополнительно содержать вычисление расстояния до объекта сцены для каждой из упомянутых трех пар тактов первого и второго пикселя в каждом сдвоенном пикселе, и получение расстояния до объекта сцены для каждого сдвоенного пикселя посредством вычисления среднего значения расстояния до объекта сцены из вычисленных расстояний для упомянутых трех пар тактов для каждого сдвоенного пикселя.

[0055] В способе 100 этап (S105) устранения фона и глобальной составляющей может выполняться для каждой из четырех пар тактов первого и второго пикселя в каждом сдвоенном пикселе, при этом упомянутые четыре пары тактов включают в себя пару тактов 1 и 2, пару тактов 2 и 3, пару тактов 3 и 4 при захвате текущего изображения и пару тактов, включающую в себя такт 1 при захвате текущего изображения и такт 4 при захвате предыдущего изображения, и при этом и получают за один период одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде. В этом случае этап (S107) вычисления для каждого сдвоенного пикселя расстояния до объекта сцены дополнительно содержит вычисление расстояния до объекта сцены для каждой из упомянутых четырех пар тактов первого и второго пикселя в каждом сдвоенном пикселе, и получение расстояния до объекта сцены для каждого сдвоенного пикселя посредством вычисления среднего значения расстояний до объекта сцены из вычисленных расстояний для упомянутых четырех пар тактов для каждого сдвоенного пикселя.

[0056] В одном из вариантов осуществления пиксели четырехтактного i-ToF датчика 202-1 могут быть разделены на сдвоенные пиксели, в которых два соседних пикселя четырехтактного i-ToF датчика 202-1, расположенные горизонтально, образуют сдвоенный пиксель, и два соседних пикселя четырехтактного i-ToF датчика, расположенные вертикально, образуют сдвоенный пиксель. Сдвоенные пиксели из двух соседних пикселей, расположенных горизонтально, и сдвоенные пиксели из двух соседних пикселей, расположенных вертикально, наложены друг на друга. Такая компоновка сдвоенных пикселей описана выше со ссылкой на фиг. 4В. В этом варианте осуществления расстояние до объекта сцены вычисляют для каждого сдвоенного пикселя и, следовательно, возможно получить расстояний до объекта сцены в два раза больше, что увеличивает разрешение изображения.

[0057] Способ 100 может дополнительно содержать этапы, на которых: сравнивают вычисленное расстояние до объекта сцены для каждого сдвоенного пикселя с вычисленным расстоянием до объекта сцены для соседнего сдвоенного пикселя; если результат сравнения превышает заданное пороговое значение, вычисляют среднее значение расстояний до объекта сцены для по меньшей мере двух сдвоенных пикселей, соседних со сдвоенным пикселем, для которого результат сравнения превышает заданное пороговое значение; и присваивают сдвоенному пикселю, для которого результат сравнения превышает заданное пороговое значение, вычисленное среднее значение расстояний до объекта сцены. Пороговое значение задают на основании расстояния прохождения света за часть периода одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде. Пороговое значение представляет собой расстояние прохождения света за часть периода одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде. Предпочтительно часть периода одной и той же несущей находится в диапазоне от π/4 до π/2.

[0058] Кроме того, способ, раскрытый в данном документе, может быть реализован на считываемом компьютером носителе, который хранит исполняемые компьютером инструкции, которые при выполнении процессором, заставляют процессор выполнять раскрытый способ.

[0059] Вышеприведенные описания вариантов осуществления изобретения являются иллюстративными, и модификации конфигурации и реализации не выходят за пределы объема настоящего описания. Например, хотя варианты осуществления изобретения описаны, в общем, в связи с фигурами 2, 3, 4а-4в, приведенные описания являются примерными. Хотя предмет изобретения описан на языке, характерном для конструктивных признаков или методологических операций, понятно, что предмет изобретения, определяемый прилагаемой формулой изобретения, не обязательно ограничен конкретными вышеописанными признаками или операциями. Более того, конкретные вышеописанные признаки и операции раскрыты как примерные формы реализации формулы изобретения. Изобретение не ограничено также показанным порядком этапов способа, порядок может быть видоизменен специалистом без новаторских нововведений. Некоторые или все этапы способа могут выполняться последовательно или параллельно.

[0060] Соответственно предполагается, что объем вариантов осуществления изобретения ограничивается только нижеследующей формулой изобретения.

1. Способ определения расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции, причем упомянутый способ содержит этапы, на которых:

одновременно освещают (S101) сцену первым структурированным светом, имеющим первый фазовый пространственный узор, и вторым структурированным светом, имеющим второй фазовый пространственный узор, при этом каждый из первого и второго структурированного света модулирован по амплитуде с одной и той же несущей, каждый из первого и второго фазовых пространственных узоров образован участками со сдвигом +Δ фазы, чередующимися с участками со сдвигом -Δ фазы, сдвиги фаз участков первого и второго фазовых пространственных узоров равны по модулю и находятся в пределах 0<Δ<π/2, участки первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы накладываются друг на друга, пространственная частота участков первого и второго фазовых пространственных узоров выше, чем пространственная частота расположения объектов сцены, и при этом либо первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, либо первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими;

захватывают (S103) изображение сцены, одновременно освещенной первым и вторым структурированным светом, четырехтактным i-ToF датчиком в сочетании с массивом сепараторов, при этом массив сепараторов содержит первый набор сепараторов и второй набор сепараторов, отличающийся от первого набора сепараторов, сепараторы первого набора сепараторов расположены с чередованием с сепараторами второго набора сепараторов так, что стороны каждого сепаратора из первого набора сепараторов прилегают к сторонам сепараторов из второго набора сепараторов, один сепаратор из массива сепараторов находится напротив одного пикселя четырехтактного i-ToF датчика, и два соседних пикселя четырехтактного i-ToF датчика образуют сдвоенный пиксель, и при этом если первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, то изображение сцены захватывают четырехтактным i-ToF датчиком через массив сепараторов, один пиксель четырехтактного i-ToF датчика захватывает изображение через один сепаратор массива сепараторов, первый набор сепараторов пропускает только первый структурированный свет, а второй набор сепараторов пропускает только второй структурированный свет, если первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими, то изображение сцены захватывают четырехтактным i-ToF датчиком и затем первый набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика, полученные из первого структурированного света, а второй набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика, полученные из второго структурированного света;

устраняют (S105) по меньшей мере для одной пары последовательных тактов и первого и второго пикселей в каждом сдвоенном пикселе четырехтактного i-ToF датчика фон и глобальную составляющую из сигналов, полученных четырехтактным i-ToF датчиком в сочетании с массивом сепараторов по формуле:

,

где = или , = 2, 3 или 4, является интенсивностью сигнала, полученного первым пикселем сдвоенного пикселя в сочетании с соответствующими сепаратором массива сепараторов в такте первого пикселя за один или более периодов одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде, является интенсивностью сигнала, полученного вторым пикселем сдвоенного пикселя в сочетании с соответствующими сепаратором массива сепараторов в такте второго пикселя, который является тем же, что и такт первого пикселя за один или более периодов одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде, является интенсивностью фона, является интенсивностью глобальной составляющей, является интенсивностью прямой составляющей, является набегом фазы глобальной составляющей при отражении света, которым освещают сцену, является набегом фазы прямой составляющей при отражении света, которым освещают сцену, является сдвигом +Δ или -Δ фазы одного из первого или второго структурированного света, и при этом прямая составляющая является составляющей света, однократно отраженного от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза;

вычисляют (S107) для каждого сдвоенного пикселя расстояние до объекта сцены по меньшей мере по одной паре последовательных тактов и первого и второго пикселей в сдвоенном пикселе по формуле:

,

где является скоростью света, является частотой несущей модуляции по амплитуде с одной и той же несущей, при этом вычисляют из уравнения .

2. Способ по п. 1, в котором

этап (S105) устранения фона и глобальной составляющей выполняют для каждой из трех пар тактов, включающих в себя пару тактов 1 и 2, пару тактов 2 и 3, пару тактов 3 и 4 первого и второго пикселей в каждом сдвоенном пикселе; и

этап (S107) вычисления для каждого сдвоенного пикселя расстояния до объекта сцены дополнительно содержит вычисление расстояния до объекта сцены для каждой из упомянутых трех пар тактов первого и второго пикселей в каждом сдвоенном пикселе и получение расстояния до объекта сцены для каждого сдвоенного пикселя посредством вычисления среднего значения расстояния до объекта сцены из вычисленных расстояний для упомянутых трех пар тактов для каждого сдвоенного пикселя.

3. Способ по п. 1, в котором

этап (S105) устранения фона и глобальной составляющей выполняют для каждой из четырех пар тактов первого и второго пикселей в каждом сдвоенном пикселе, при этом упомянутые четыре пары тактов включают в себя пару тактов 1 и 2, пару тактов 2 и 3, пару тактов 3 и 4 при захвате текущего изображения и пару тактов, включающую в себя такт 1 при захвате текущего изображения и такт 4 при захвате предыдущего изображения, и при этом и получают за один период одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде; и

этап (S107) вычисления для каждого сдвоенного пикселя расстояния до объекта сцены дополнительно содержит вычисление расстояния до объекта сцены для каждой из упомянутых четырех пар тактов первого и второго пикселей в каждом сдвоенном пикселе и получение расстояния до объекта сцены для каждого сдвоенного пикселя посредством вычисления среднего значения расстояний до объекта сцены из вычисленных расстояний для упомянутых четырех пар тактов для каждого сдвоенного пикселя.

4. Способ по любому из пп. 1-3, в котором два соседних пикселя четырехтактного i-ToF датчика, расположенные горизонтально, образуют сдвоенный пиксель, и два соседних пикселя четырехтактного i-ToF датчика, расположенные вертикально, образуют сдвоенный пиксель, при этом сдвоенные пиксели из двух соседних пикселей, расположенных горизонтально, и сдвоенные пиксели из двух соседних пикселей, расположенных вертикально, наложены друг на друга.

5. Способ по любому из пп. 1-3, дополнительно содержащий этапы, на которых:

сравнивают вычисленное расстояние до объекта сцены для каждого сдвоенного пикселя с вычисленным расстоянием до объекта сцены для соседнего сдвоенного пикселя;

если результат сравнения превышает заданное пороговое значение, вычисляют среднее значение расстояний до объекта сцены по меньшей мере для двух сдвоенных пикселей, соседних со сдвоенным пикселем, для которого результат сравнения превышает заданное пороговое значение; и

присваивают сдвоенному пикселю, для которого результат сравнения превышает заданное пороговое значение, вычисленное среднее значение расстояний до объекта сцены,

при этом заданное пороговое значение задают на основании расстояния прохождения света за часть периода одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде.

6. Электронное вычислительное устройство, выполненное с возможностью определения расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции, содержащее:

источник света для одновременного освещения сцены первым структурированным светом, имеющим первый фазовый пространственный узор, и вторым структурированным светом, имеющим второй фазовый пространственный узор, при этом каждый из первого и второго структурированного света модулирован по амплитуде с одной и той же несущей, каждый из первого и второго фазовых пространственных узоров образован участками со сдвигом +Δ фазы, чередующимися с участками со сдвигом -Δ фазы, сдвиги фаз участков первого и второго фазовых пространственных узоров равны по модулю и находятся в пределах 0<Δ<π/2, участки первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы накладываются друг на друга, пространственная частота участков первого и второго фазовых пространственных узоров выше, чем пространственная частота расположения объектов сцены, и при этом либо первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, либо первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими;

блок захвата изображения, содержащий четырехтактный i-ToF датчик и массив сепараторов, при этом массив сепараторов содержит первый набор сепараторов и второй набор сепараторов, отличающийся от первого набора сепараторов, сепараторы первого набора сепараторов расположены с чередованием с сепараторами второго набора сепараторов так, что стороны каждого сепаратора из первого набора сепараторов прилегают к сторонам сепараторов из второго набора сепараторов, один сепаратор из массива сепараторов находится напротив одного пикселя четырехтактного i-ToF датчика, и два соседних пикселя четырехтактного i-ToF датчика образуют сдвоенный пиксель, и при этом если первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, то изображение сцены захватывают четырехтактным i-ToF датчиком через массив сепараторов, один пиксель четырехтактного i-ToF датчика захватывает изображение через один сепаратор массива сепараторов, первый набор сепараторов пропускает только первый структурированный свет, а второй набор сепараторов пропускает только второй структурированный свет, если первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими, то изображение сцены захватывают четырехтактным i-ToF датчиком и затем первый набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика, полученные из первого структурированного света, а второй набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика, полученные из второго структурированного света;

по меньшей мере один процессор; и

память, в которой хранятся инструкции, которые при выполнении по меньшей мере одним процессором заставляют по меньшей мере один процессор выполнять способ по любому из пп. 1-5.