Способ управления положением бокового автомобильного стекла и устройство для его реализации

Группа изобретений относится к управлению объектами с помощью жестов, производимых оператором в заданном пространственном объеме. Устройство для управления положением бокового автомобильного стекла содержит камеру и оптически сопряженные с ней первый и второй инфракрасный излучатели, светоотражатель, оптически сопряженный с камерой и с обоими излучателями, сервопривод, связанный с редуктором-подъемником автомобильного стекла. Телевизионная камера размещается в нижнем углу оконного проема автомобильной двери, а угол ее обзора охватывает противоположную поверхность с размещенным там светоотражателем. Вычислитель осуществляет поочередное включение одного из двух излучателей, вводит в память координаты теней на поверхности светоотражателя, образуемые при появлении на пути излучений пальца пользователя, и рассчитывает по ним координаты пальца и скорость его перемещения. Далее вычислитель рассчитывает произведенный пользователем жест и вырабатывает соответствующий этому жесту сигнал в сервопривод, управляющий положением стекла. Достигается возможность регулировки стекла боковой автомобильной двери. 2 н.п. ф-лы, 10 ил.

 

Предлагаемое изобретение относится к технике построения интерфейсов взаимодействия оператора с системой управления или техническим объектом, в частности к управлению объектами с помощью жестов, производимых оператором в заданном пространственном объеме.

Известен ряд устройств, использующих данный принцип. К ним, например, можно отнести фотоаппараты, затвор которых срабатывает от улыбки фотографируемого субъекта [1]. Это также телевизоры, регулировки которых можно производить с помощью жестов, производимых в поле зрения телевизионной камеры, установленной в телевизоре [2]. Широкое применение нашло использование игровой приставки Kinect, производимой применение фирмой Microsoft как в игровых [3], так и в различных бытовых, технологических и научных приложениях [4].

Известны также устройства дистанционного управления, используемые в автомобилях и упрощающие процесс взаимодействия пользователя (водителя) с электронным оборудованием. Наиболее распространенный из них - инфракрасный пульт, позволяющий сформировать управляющие сигналы для автомагнитолы, однако для этого необходимо найти и взять этот пульт в руку, т.е. частично оторваться от процесса вождения. Аналогичную функцию выполняют кнопки, размещенные на рулевом колесе, но и в этом случае необходим их зрительный, либо тактильный поиск.

В патенте фирмы International Business Machines Corporation [5] предложена система управления автомобильным оборудованием, основанная на использовании распознавания жестов и голосовых команд. Для этого, кроме всего прочего, для управления оборудованием предлагается установить на поверхности руля Touchpad (широко применяемый в ноутбуках). Далее, как предлагается авторами этого изобретения, используется перемещение пальца водителя по поверхности Touchpad, причем вычислительное устройство, входящее в состав системы, распознает определенный заранее набор команд, сопоставляемый с траекториями движениями пальца. Недостатком данной системы является наличие Touchpad с активной зоной, занимающей поверхность рулевого колеса.

В заявке на патент, поданной фирмой Microsoft [6], предлагается способ управления автомобильной магнитолой, основанный на распознавании ряда жестов, причем, предлагается и сам набор жестов, интуитивно связанный с управлением звуком.

В концепте фирмы Nartron Corporation представлена автомобильная дверь с возможностью распознавания координат и величины объекта, находящегося в оконном проеме, с целью обезопасить пользователя, например ребенка, от защемления стеклом [7].

В заявке на патент, поданной предприятием «Ангстрем» [8], предлагается устройство, монтируемое в автомобильный руль и позволяющее осуществлять управление автомобильным оборудованием с помощью фиксированного набора жестов, осуществляемых в пространстве, ограниченном дугой рулевого колеса.

Известно устройство управления положением бокового автомобильного стекла, предложенное в патенте фирмы ASMO Co., Ltd.[9], которое содержит микроконтроллер, силовой привод, датчик положения бокового стекла и кнопки управления, которое наиболее близко по реализации к предлагаемому изобретению.

Предлагаемый способ и устройство его реализующее, позволяет упростить взаимодействие со стеклоподъемником боковой автомобильной двери, полностью устранить тактильный или визуальный поиск требуемых для подъема, опускания или блокировки кнопок.

Предлагаемый способ управления положением бокового стекла заключается в том, что в зоне, непосредственно примыкающей к нему и называемой далее сенсорным полем, определяются координаты точки пересечения пальцем пользователя (водителя или пассажира транспортного средства) этого сенсорного поля и точки, в которой происходит выход пальца из него. По разности этих координат определяется жест, произведенный пользователем. Для этого предлагается набор жестов, описываемых траекторией движения кончика пальца, и алгоритмы их распознавания.

Устройство для реализации предложенного способа включает в себя телевизионную камеру, в зону обзора которой попадает часть поверхности, прилегающей к кромке бокового стекла, два поочередно включаемых излучателя и вычислитель, связанный с телевизионной камерой и излучателями. Вычислительное устройство вводит координаты теней, образуемых при появлении на пути оптических потоков первого и второго излучателя пальца оператора, и на основании этих данных запоминает траекторию движения пальца, пересекшего сенсорное поле. Далее, реализуя предложенный алгоритм, специализированный вычислитель интерпретирует эту траекторию в жест и выдает сигнал управления сервоприводом. В соответствии с этим сигналом сервопривод устанавливает боковое стекло в требуемое положение, определяемое выполненным пользователем жестом.

Фиг. 1 иллюстрирует реализацию предлагаемого способа, где:

1 - боковое автомобильное стекло,

2 - сенсорное поле,

3 - палец пользователя,

31 - палец пользователя в положении «над сенсорным полем»,

32 - палец пользователя в положении «касание»,

33 - палец пользователя в положении «выше точки касания»,

34 - палец пользователя в положении «ниже точки касания»,

35 - палец пользователя в положении « вперед от точки касания»,

36 - палец пользователя в положении «назад от точки касания».

В данном способе термин «касание» означает, что палец пользователя прошел через сенсорное поле 2, что в свою очередь может быть обнаружено предложенным ниже устройством, реализующим данный способ.

На фиг. 2 приведен алгоритм управления боковым стеклом, реализующий процесс полного подъема стекла, где:

40 - начало алгоритма,

41 - блок обнуления начальных значений Y_П1 и Y_П2,

42 - проверка пересечения пальцем 3 сенсорного поля 2,

43 - блок вычисления координат пересечения пальцем сенсорного поля, в частности координаты Y_П по формуле 2,

44 - проверка значения Y_П1, если оно равно 0, пересечение пальца с сенсорным полем произошло только что, необходимо перейти к блоку 45,

45 - блок, в котором фиксируется время t₁ и координата Y_П1,

46 - блок задержки на время Δt,

47 - блок, в котором фиксируется время t₂ и координата Y_П2,

48 - блок вычисления скорости движения пальца V_y,

49 - проверка скорости движения пальца по оси Y, если скорость V_Y выше некоторого значения V_UMax, то переход к условию 50,

50 - проверка условия Y_П1<Y_П2, если палец двигался снизу вверх, то жест выполнен корректно,

51 - блок выполнения команды по полному подъему стекла.

На фиг. 3 приведен алгоритм управления боковым стеклом, реализующий процесс полного опускания стекла, где:

52 - проверка скорости движения пальца по оси Y, если скорость V_Y выше некоторого значения V_DMax, то переход к условию 53,

53 - проверка условия Y_П1>Y_П2, если палец двигался сверху вниз, жест выполнен корректно,

54 - блок выполнения команды по полному опусканию стекла.

На фиг. 4 приведен алгоритм управления, реализующий процесс перемещением стекла вслед за движением пальца, где:

55 - проверка скорости движения пальца по оси Y, если скорость V_Y ниже некоторого значения V_CMin, то переход к условию 50,

56 - блок выполнения команды по поднятию стекла до точки Y_П2, то есть до текущего положения пальца,

57 - блок выполнения команды по опусканию стекла до точки Y_П2, то есть до текущего положения пальца.

На фиг. 5 приведен алгоритм управления боковым стеклом для его фиксации на заданном уровне, где:

58 - проверка скорости движения пальца по оси Y, если скорость движения пальца V_Y ниже некоторого значения V_Min, то переход к условию 59,

59 - проверка положения верхней грани стекла относительно точки Y_П1 (точка вхождения пальца в сенсорное поле), если точка Y_П1 выше верхней грани стекла, то перейти к блоку 60,

60 - блок выполнения команды по поднятию окна до точки Y_П1 (верхняя грань стекла на уровне пальца),

61 - блок выполнения команды по опусканию окна до точки Y_П1 (верхняя грань стекла на уровне пальца).

На фиг. 6 приведен алгоритм выработки команды блокировки дверей автомобиля, где

62 - блок обнуления начальных значений X_П1 и X_П2,

63 - блок вычисления координат пересечения пальцем сенсорного поля, в частности координаты X_П по формуле 2,

64 - проверка значения X_П1, если оно равно 0, то пересечение пальца с сенсорным полем произошло только что, необходимо перейти к блоку 65,

65 - блок, в котором фиксируется время t₁ и координата X_П1,

66 - блок, в котором фиксируется время t₂ и координата X_П2,

67 - блок вычисления скорости движения пальца V_X,

68 - проверка скорости движения пальца по оси X, если V_X выше некоторого значения V_TMax, то переход к условию 69,

69 - проверка условия X_П1<Х_П2, если палец двигался сторону движения автомобиля, то жест выполнен корректно,

70 - блок выполнения команды по блокировке двери.

На фиг. 7 приведен алгоритм выработки команды разблокировки дверей автомобиля, где:

71 - проверка скорости движения пальца по оси X, если V_X выше некоторого значения V_RMax, то переход к условию 72,

72 - проверка условия X_П1>X_П2, если палец двигался сторону, обратную движению автомобиля, то жест выполнен корректно,

73 - блок выполнения команды по разблокировке двери.

На фиг. 8 приведена функциональная схема устройства, реализующего предлагаемый способ управления положением бокового автомобильного стекла, где:

4, 5 - первый и второй инфракрасные (ИК) излучатели,

6 - телевизионная камера,

7 - светоотражающая поверхность,

8 - специализированный вычислитель,

9 - сервопривод,

10 - усилитель сервопривода, причем:

in+ - не инвертирующий вход усилителя,

in- - инвертирующий вход усилителя,

11 - электромотор с редуктором,

12 - датчик обратной связи,

13 - механическая передача,

14 - автомобильная дверь.

На фиг. 9 приведена оптическая схема, поясняющая определение координат пальца, пересекшего сенсорное поле 2, где:

15 - объектив телевизионной камеры 6,

16 - матрица телевизионной камеры 6,

T₁ - тень, формируемая пальцем при включенном первом излучателе,

T₂ - тень, формируемая пальцем при включенном втором излучателе,

$$N_{T_1}$$ - номер столбца фотоприемника, соответствующего середине изображения тени T₁ на его поверхности,

$$N_{T_2}$$ - номер столбца фотоприемника, соответствующего середине изображения тени T₂ на его поверхности.

На фиг. 10 приведена упрощенная оптическая схема данной системы, поясняющая вывод координат точки прохождения пальцем сенсорного поля, где:

0XY - система координат;

S - плоскость расположения светоотражающей поверхности 7,

β - плоскость расположения матрицы 16 телевизионной камеры 6,

(X_П, Y_П) - координаты точки касания,

(X_Ψ1, Y_Ψ1) - координаты первого излучателя 4,

(X_Ψ2, Y_Ψ2) - координаты второго излучателя 5,

(X₁, 0) - координата тени на отражателе от действия первого излучателя,

(X₂, 0) - координата тени на отражателе от действия второго излучателя,

(X_P1, Y_P1) - координаты оптического центра изображения тени от действия первого излучателя на поверхности матрицы 16,

(X_P2, Y_P2) - координаты оптического центра изображения тени от действия второго излучателя на поверхности матрицы 16,

(X_F, Y_F) - координаты оптического центра объектива 15.

Предлагаемый способ управления положением бокового автомобильного стекла иллюстрируется на фиг. 1 и заключается в следующем.

Для полного подъема бокового стекла 1 пользователь пересекает пальцем 3 сенсорное поле 2, ведет его вверх со скоростью не ниже некоего порогового значения и выводит за пределы сенсорного поля 2, после чего стекло 1 начинает движение до полного закрытия окна. Данная функция реализуется с помощью алгоритма, представленного на фиг. 2.

Для полного опускания бокового стекла 1 пользователь пересекает пальцем 3 сенсорное поле 2, ведет палец вниз со скоростью не ниже некоего порогового значения и выводит за пределы сенсорного поля 2, после чего стекло 1 начинает движение до полного открытия окна. Данная функция реализуется с помощью алгоритма, представленного на фиг. 3.

Для регулировки положения бокового стекла 1 пользователь пересекает пальцем 3 сенсорное поле 2 и ведет палец вниз или вверх со скоростью не выше некоего порогового значения, при этом стекло 1 движется вслед за пальцем 3 с одинаковой с ним скоростью, и после достижения им требуемого уровня, пользователь выводит палец 3 за пределы сенсорного поля 2. Данная функция реализуется с помощью алгоритма, представленного на фиг. 4.

Для установки бокового стекла 1 на заданный уровень пользователь пересекает пальцем 3 сенсорное поле 2 на этом уровне, задерживает там палец на некое пороговое время и выводит за пределы сенсорного поля 2, после чего начинается перемещение стекла 1 до достижения им этого заданного уровня. Данная функция реализуется с помощью алгоритма, представленного на фиг. 5.

Для блокировки дверей автомобиля пользователь пересекает пальцем 3 сенсорное поле 1, перемещает его по направлению движения автомобиля и выводит за пределы сенсорного поля 1, после чего срабатывает блокировка дверей. Данная функция реализуется с помощью алгоритма, представленного на фиг. 6.

Для разблокировки дверей автомобиля пользователь пересекает пальцем 3 сенсорное поле 2, перемещает его в сторону, обратную направлению движения автомобиля, и выводит за пределы сенсорного поля 2, после чего срабатывает разблокировка дверей. Данная функция реализуется с помощью алгоритма, представленного на фиг. 7.

Функциональная схема устройства, реализующего предлагаемый способ управления положением бокового автомобильного стекла, приведена на фиг. 8.

При поочередном включении первого и второго излучателя 4 и 5 и появлении на пути потоков ψ₁ и ψ₂ пальца пользователя на поверхности светоотражающей поверхности 7 образуются тени, отбрасываемые этим пальцем на поверхность 7. Это иллюстрируется фиг.9, на которой эти тени обозначены как $$N_{T_1}$$ и $$N_{T_2}$$ . Соответственно, на фотоприемнике 16 телевизионной камеры 6 координаты центров этих теней имеют значения (X_P1, Y_P1) и (X_Р2, Y_P2) соответственно. При этом сенсорное поле, в котором регистрируется положение пальца пользователя, ограниченно пересечением потоков ψ₁ и ψ₂, падающих на светоотражающую поверхность 7.

Специализированный вычислитель 8 фиксирует координаты (XP₁, YP₁) и (XP₂, YP₂) и рассчитывает координаты точки пересечения пальцем 3 сенсорного поля. Расчетные формулы могут быть получены на основе фиг. 10. Запишем уравнения прямых, проходящих через точки (X₁, 0), (X_P1, Y_P1), (X_F, X_F) и (X₂, 0), (X_P2, Y_P2), (X_F, Y_F), учитывая, что Y_P1=Y_P2=Y_P,:

откуда, могут быть получены значения Х₁ и X₂.

Далее, для точек (X₁, 0), (X_Ψ1, Y_Ψ1), (X_П, Y_П) и (X₂, 0), (Х_Ψ2, Y_Ψ2), (X_П, Y_П) запишем:

откуда получаем значения координат точки (X_П, Y_П).

Для значений координат точки (Х_П1, Y_П1) и (Х_П2, Y_П2), полученных в моменты времени t₁ и t₂ (t₂-t₁=Δt), могут быть рассчитаны составляющие скорости по вертикали и горизонтали, равные:

Специализированный вычислитель 8 определяет координаты пальца в сенсорном поле, принимает решение о совершенном пользователем жесте согласно приведенных на фигурах 2-7 алгоритмов и выдает на сервопривод 9 сигнал в виде напряжения, пропорционального координате, на которую требуется вывести верхнюю кромку бокового стекла 1.

В состав сервопривода входит усилитель 10, электромотор с редуктором 11, датчик обратной связи 12 и механическая передача 13.

Напряжение с выхода специализированного вычислителя 8, поступив на первый, не инвертирующий вход in+ усилителя 10, вызывает вращение электромотора 11 и соответствующее перемещение бокового стекла в сторону, компенсирующую разность напряжений между инвертирующим (in-) и не инвертирующим (in+) входами усилителя 10.

Изменение положения стекла 1 осуществляется с помощью механической передачи 13, связанной с валом редуктора электромотора 11. Датчик обратной связи 12, входящий в состав сервопривода, определяет реальное положение бокового стекла в пространстве, сигнал с него замыкает цепь отрицательной обратной связи, требуемой для работы сервопривода.

Таким образом, специализированный вычислитель 8 осуществляет поочередное включение одного из двух излучателей 4 и 5, ввод видеосигналов с выхода телевизионной камеры 6, соответствующих включенному состоянию каждого из излучателей 4, 5, и определение по амплитудам видеосигналов наличия теней, вызванных перемещением пальцем или стилусом сенсорного поля 2. Далее, по формулам 2, 3 и 4 осуществляется расчет координаты точки пересечения сенсорного поля 2 и скорости пальца 3.

Для реализации параллельного исполнения алгоритмов (фиг. 2-7) специализированный вычислитель 8 может содержать 6 независимых ядер, реализованных, например, на базе soft-процессора Microblaze в ПЛИС Artix фирмы Xilinx [10]. Учитывая невысокие требования по скорости обработки информации, эти алгоритмы могут быть реализованы в многопоточном режиме на микроконтроллере общего назначения, например STM32FM141 фирмы STMicroelectronics [11].

В качестве телевизионной камеры 6 может быть использован модуль OVM7690 фирмы Omni Vision [12].

Светоотражающая поверхность 7 может быть выполнена из материала Scothlite фирмы 3М [13].

Источники информации

1. Функция Smile Shutter. Материал фирмы SONY. http://www.sony.ru/hub/learnandenjoy/2/2.

2. Слышит.Видит.Понимает.Smart Interaction. Материал фирмы Samsung. http://www.samsung.com/ru/SmartTV/.

3. Семь игр для Kinect без зверюшек и фитнеса. Компьютерра Online. http://old.computerra.ru/vision/592147/.

4. Kinect 2 with Oculus Rift gets NASA robotic arm workout. PHYS ORG. Dec. 30, 2013. http://phys.org/news/2013-12-kinect-oculus-rift-nasa-robotic.html.

5. Патент США №7295904 от 13.11.2007 г.

6. Заявка на патент США №2013/0155237 A1 от 20.06.2013 г.

7. Smart Close™… the new standard of care. Материал фирмы Narton. http://www.nartron.com/smart_close.pdf.

8. Решение о выдаче патента РФ по заявке №2012138583 от 22.11.2013.

9. Патент США №7982589 В2 от 19.07.2011 г.

10. 7 Series FPGAs Overview. Материал фирмы XILINX. http://www.xilinx.com/support/documentation/data_sheets/dsl80_7Series_O verview.pdf

11. STM32F405xx. STM32F407xx. Материал фирмы STMicroelectronics. http://www.st.com/st-web-ui/static/active/en/resource/technical/document/datasheet/DM00037051.pdf

12. OVM7690. 640×480 Camera Cube™ device. Product brief. Материал фирмы OmniVision. http://www.ovt.com/uploads/parts/O VM7690_PB(1.0)_web.pdf

13. 3M™ Scotchlite™ Reflective Material. Материал фирмы 3М. http://solutions.3m.com/wps/portal/3M/en_US/ScotchliteReflectiveMate rial/Scotchlite/

1. Способ управления положением бокового автомобильного стекла, заключающийся в том, что в непосредственной близости от стекла со стороны пользователя создается сенсорное поле, позволяющее определить координату прошедшего сквозь нее пальца и скорость его движения в этой плоскости относительно системы координат, связанной с дверью, при этом:
- для полного опускания бокового стекла пользователь пересекает пальцем сенсорное поле, ведет его вниз со скоростью не ниже некоего порогового значения и выводит за пределы сенсорного поля, после чего стекло начинает движение до полного открытия окна,
- для полного подъема бокового стекла пользователь пересекает пальцем сенсорное поле, ведет его вверх со скоростью не ниже некоего порогового значения и выводит за пределы сенсорного поля, после чего стекло начинает движение до полного закрытия окна,
- для регулировки положения бокового стекла пользователь пересекает пальцем сенсорное поле и ведет его вниз или вверх со скоростью не выше некоего порогового значения, при этом стекло движется вслед за пальцем с одинаковой с ним скоростью, и после достижения им требуемого уровня пользователь выводит палец за пределы сенсорного поля,
- для установки стекла на заданный уровень пользователь пересекает пальцем сенсорное поле на этом уровне, задерживает его там на некое пороговое время и выводит за пределы сенсорного поля, после чего начинается перемещение стекла до достижения им этого заданного уровня,
- для блокировки дверей автомобиля пользователь пересекает пальцем сенсорное поле, перемещает его по направлению движения автомобиля и выводит за пределы сенсорного поля, после чего срабатывает блокировка дверей,
- для разблокировки дверей автомобиля пользователь пересекает пальцем сенсорное поле, перемещает его в сторону, обратную направлению движения автомобиля, и выводит за пределы сенсорного поля, после чего срабатывает разблокировка дверей.

2. Устройство для управления положением бокового автомобильного стекла, реализующее способ по п.1, содержащее телевизионную камеру, подключенную к первому входу вычислителя, и оптически сопряженные с ней первый и второй инфракрасный излучатели, подключенные к первому и второму выходам специализированного вычислителя, светоотражатель, оптически сопряженный с телевизионной камерой и с обоими излучателями, сервопривод, связанный с редуктором-подъемником автомобильного стекла и подключенный к третьему выходу вычислительного устройства, при этом телевизионная камера размещается, например, в нижнем углу оконного проема автомобильной двери, а угол ее обзора охватывает противоположную поверхность с размещенным там светоотражателем, при этом специализированный вычислитель осуществляет поочередное включение одного из двух излучателей, вводит в память координаты теней на поверхности светоотражателя, образуемые при появлении на пути излучений пальца пользователя, и рассчитывает по ним координаты пальца и скорость его перемещения, далее по этим координатам и скорости их изменения специализированный вычислитель рассчитывает произведенный пользователем жест, а далее вырабатывает соответствующий этому жесту сигнал в сервопривод, управляющий положением стекла, либо сигнал блокировки или разблокировки автомобильных дверей.