Окно-дисплей

Изобретение относится к окнам, одновременно являющимся дисплеями. Окно-дисплей содержит раму, обрамляющую стеклопакет, выполненный из прозрачного материала, при этом стеклопакет включает в себя слой, являющийся прозрачным дисплеем, соединенный с модулем вывода изображения на указанный дисплей, при этом модуль вывода изображения на дисплей соединен с модулем определения местоположения частей тела пользователя в помещении и выполнен с возможностью пересчета изображения в зависимости от местоположения частей тела пользователя. Технический результат - расширение функциональных возможностей окна, а именно возможность использовать его в качестве устройств вывода изображений в виде дополненной реальности, которая подстраивается под местоположение пользователя. 7 з.п. ф-лы, 4 ил.

 

Область техники, к которой относится изобретение.

Изобретение относится к окнам, одновременно являющимися дисплеями, включающим раму, обрамляющую стеклопакет, выполненный из прозрачного материала, при этом стеклопакет включает в себя слой, являющимся прозрачным дисплеем, соединенный с модулем вывода изображения на указанный дисплей.

Уровень техники.

В настоящее время все большее распространение приобретает совмещение функций в одном устройстве. Так окно можно использовать для вывода изображения, что позволяет не только отказаться от использования телевизоров, но и расширяет возможности самого окна, например, позволяет менять панораму за окном, используя окно в режиме «виртуальное окно» или выводить различные данные в фоновом режиме, котировки, время, температуры, бегущую новостную строку.

Так известно из уровня техники окно-дисплей, включающее раму, обрамляющую стеклопакет, выполненный из прозрачного материала, при этом стеклопакет включает в себя слой, являющимся прозрачным дисплеем, соединенный с модулем вывода изображения на указанный дисплей.

Такие устройства описаны в интернете:

https://zen.yandex.ru/media/oknoved/legkim-kasaniem-ruki-okno-prevrascaetsia-v-planshet-5d64cc34a660d700ad2c417e

https://www.oknamedia.ru/novosti/sensornye-okna-zamenyat-plastikovye-46863

https://tybet.ru/content/news/index.php?SECTION_ID=604&ELEMENT_ID=86987

Данные устройства являются наиболее близким по технической сути и достигаемому техническому результату и выбраны за прототип предлагаемого изобретения как устройства.

Недостатком любого из этих прототипов является то, что в нем отсутствует перестройка изображения в зависимости от точки зрения пользователя, что не позволяет реализовать эффект нахождения в виртуальной реальности. В частности, невозможно обеспечить перестройку изображения в зависимости от местоположения головы пользователя. То есть если выводить изображение поверх того, что реально видится, то сразу будет ясно, где какое изображение, нет «эффекта присутствия», когда виртуальные объекты воспринимаются как настоящие.

Также пользователь не может манипулировать виртуальными объектами с помощью рук дистанционно, что необходимо, например, в учебном или игровом процессе, а также для осуществления управления устройством.

Раскрытие изобретения.

Настоящее изобретение, главным образом, имеет целью предложить окно-дисплей, включающее раму, обрамляющую стеклопакет, выполненный из прозрачного материала, при этом стеклопакет включает в себя слой, являющимся прозрачным дисплеем, соединенный с модулем вывода изображения на указанный дисплей, позволяющий, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно: обеспечить возможность использовать его в качестве устройств вывода изображений в виде дополненной реальности, которая подстраивается под местоположение пользователя, что дает дополнительный эффект присутствия и является решаемой поставленной задачей.

Для достижения этой цели модуль вывода изображения на дисплей соединен с модулем определения местоположения частей тела пользователя в помещении и выполнен с возможностью пересчета изображения в зависимости от местоположения частей тела пользователя.

Благодаря данным выгодным характеристикам появляется возможность пересчитывать выводимое изображение в зависимости от местоположения частей тела пользователя.

Существует вариант изобретения, в котором модуль определения местоположения частей тела пользователя в помещении выполнен с возможностью определения местоположения глаз пользователя.

Благодаря данным выгодным характеристикам появляется возможность точно пересчитывать выводимое изображение, изменяя его в соответствии с точкой зрения пользователя в виртуальном пространстве для левого и правого глаза одновременно.

Существует вариант изобретения, в котором модуль определения местоположения частей тела пользователя в помещении выполнен с возможностью определения местоположения рук пользователя.

Благодаря данным выгодным характеристикам появляется возможность точно пересчитывать выводимое изображение, подстраивая его под положение рук пользователя, что дает возможность управления устройством на расстоянии, а также транслировать виртуальные предметы, которыми может управлять пользователь – менять их положение, поворачивать, перемещать.

Существует еще и такой вариант изобретения, в котором модуль определения местоположения пользователя в помещении выполнен в виде как минимум одной видеокамеры

Благодаря данной выгодным характеристикам появляется возможность определения местоположения пользователя по изображениям, получаемым с видеокамеры видимого или инфракрасного спектра. Существует кроме того и такой вариант изобретения, в котором блок определения положения пользователя включает в себя модуль определения положения датчиков, закрепляемых на пользователе.

Существует и такой вариант изобретения, в котором модуль определения местоположения пользователя в помещении выполнен в виде стереопары из двух видеокамер

Благодаря данной выгодной характеристике появляется возможность повысить точность определения положения пользователя и его отдельных частей (головы, рук), за счет наличия стереопары, которые позволяют построить точную пространственную сцену.

Существует, кроме всего прочего, вариант изобретения, в котором модуль определения местоположения пользователя в помещении соединен с модулем выбора из множества определенных частей тела множества пользователей одного.

Благодаря данной выгодной характеристике появляется возможность автоматического выбора из множества пользователей одного. Это может быть наиболее близко расположенный пользователь (так как при удалее расстояния снижается эффект от дополненной реальности), или пользователь, находящийся в центре группы пользователей (тогда снижаются суммарные искажения для остальных).

Существует вариант изобретения, в котором модуль вывода изображения на дисплей выполнен с возможностью пересчета перспективы изображения в виртуальном пространстве в зависимости от координат и направления наклона и/или поворота головы пользователя в трехмерном пространстве для создания у пользователя иллюзии свободного перемещения в виртуальном пространстве.

Благодаря данной выгодной характеристике появляется возможность учета направления наклона и/или поворота головы пользователя для вывода изображения. То есть изображение учитывает направления наклона и/или поворота головы пользователя, в том числе ее координат в трех измерениях и углов наклона, поворота по трем взаимно перпендикулярным осям что дает дополнительный эффект присутствия. От любого наклона, поворота или движения головы изображение перестраивается, отражая изменение точки зрения в виртуальном пространстве.

Существует, наконец, вариант изобретения, в котором модуль вывода изображения на дисплей соединен с модулем определения местоположения касания стеклопакета пользователем.

Благодаря данной выгодной характеристике появляется возможность дополнительно управлять устройством путем касания самого стеклопакета (сенсорный ввод).

Краткое описание чертежей.

Другие отличительные признаки и преимущества изобретения ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:

- фигура 1 схематично изображает функциональную схему окна-дисплея, согласно изобретению;

- фигуры 2 и 3 схематично изображают разные варианты вывода изображений в зависимости от положения пользователя, согласно изобретению, вид спереди;

- фигура 4 схематично изображает этапы работы окна-дисплея, согласно изобретению.

Согласно фигурам 1-3 окно-дисплей включает раму 1, обрамляющую стеклопакет 2, выполненный из прозрачного материала. При этом стеклопакет 2 включает в себя слой, являющимся прозрачным дисплеем, соединенный с модулем 3 вывода изображения на указанный дисплей, модуль 3 вывода изображения на дисплей соединен с модулем 4 определения местоположения частей тела пользователя в помещении и выполнен с возможностью пересчета изображения в зависимости от местоположения частей тела пользователя.

Модуль 4 определения местоположения частей тела пользователя в помещении может быть выполнен с возможностью определения местоположения глаз 5 пользователя и/или местоположения рук 6 пользователя. (Показаны условно на фигуре 1).

Модуль 4 определения местоположения пользователя в помещении может быть выполнен в виде как минимум одной видеокамеры или в виде стереопары из двух видеокамер. (См. фигуру 1).

Модуль 4 определения местоположения пользователя в помещении может быть может быть выполнен с возможностью выбора из множества определенных частей тела множества пользователей одного.

Могут быть использованы разные алгоритмы для этого:

- выбор наиболее близкого пользователя,

- выбор произвольного конкретного пользователя,

- выбор того пользователя, который находится в геометрическом центре множества пользователей, то есть у кого суммарное расстояние до всех остальных пользователей минимально,

- поочерёдное переключение между пользователями.

Могут быть использованы алгоритмы нейронной сети, которая запоминает результат выбора и потом автоматически выбирает оптимальный режим работы. Для этого устройство может запоминать рейтинг своей работы, который ему присваивает пользователь. Например, при обнаружении плохого соответствия выводимого изображения, делается голосовая команда, которая заносится в базу данных устройства.

Модуль 3 вывода изображения на дисплей может быть выполнен с возможностью пересчета перспективы изображения в виртуальном пространстве в зависимости от координат и направления наклона и/или поворота головы пользователя в трехмерном пространстве для создания у пользователя иллюзии свободного перемещения в виртуальном пространстве.

Модуль 3 вывода изображения на дисплей может быть соединен с модулем определения местоположения касания стеклопакета пользователем. На фигуре не показан. Это технология тач-скрин –определение местоположения касания экрана.

Модуль 4 определения местоположения пользователя в помещении может быть выполнен в виде моно или стерео видеокамеры, работающей в видимом или в инфракрасном диапазоне. Пример такого осуществления – Kinect, см. например: https://ru.wikipedia.org/wiki/Kinect

В общем для определения местоположения частей тела пользователя могут быть использованы не только видеокамеры. А также такие технологии как:

Инфракрасное позиционирование. Мобильная метка в системе инфракрасного позиционирования испускает инфракрасные импульсы, которые принимаются приемниками системы, имеющими фиксированные координаты. Местонахождение метки рассчитывается по Time-of-flight (ToF) – времени распространения сигнала от источника до приемника. Недостаток метода – чувствительность к помехам от солнечного света. Применение ИК лазера повышает дальность, точность. Точность позиционирования этим методом 10-30 сантиметров.

Ультразвуковое позиционирование. В системах ультразвукового позиционирования используются частоты от 40-130 кГц. Для определения координат метки обычно измеряют ToF до четырех приемников.
Основной недостаток – чувствительность к потерям сигнала при наличии (появлении) даже «легких» препятствий, к ложным эхо-сигналам и к помехам от источников ультразвука, например, от ультразвуковых дефектоскопов, аппаратов ультразвуковой очистки на производстве, УЗИ в больнице. Чтобы исключить эти недостатки, требуется тщательно планировать систему.
Достоинство ультразвуковых систем – высочайшая точность позиционирования, достигающая трех сантиметров.

Кроме того, устройство может быть снабжено динамиком для передачи звуков и микрофоном для принятия голосовых команд.

Осуществление изобретения.

Окно-дисплей работает следующим образом, см. фигуру 4.

Этап А1. Пользователь подпадает в зону видимости модуля 4 определения местоположения частей тела пользователя в помещении.

Этап А2. Модуль 3 вывода изображения на дисплей выводит изображение в зону, условно показанную как 22, например, горы или летящие птицы. При этом в зоне, условно показанной как 22 пользователь видит обычно изображение того, что находится за окном, например, дома или деревья.

Этап А3. При изменении положения самого пользователя или изменении положения головы пользователя модуль 4 определения местоположения частей тела пользователя в помещении определяет положение головы и глаз пользователя, в том числе ее координат и углов наклона, поворота по трем взаимно перпендикулярным осям, и модуль 3 вывода изображения на дисплей меняет в зависимости от этого изображение в поле 22 создавая эффект присутствия. Например, пользователь может рассмотреть с разных сторон виртуальные предметы, находящиеся «рядом». Альтернативно это может быть использовано для вывода информации (видео, текста и прочего) именно в той зоне окна, где наиболее высокая контрастность.

На фигурах 2 и 3 показано как меняется выводимое в зависимости положения пользователя виртуальное изображение. То есть на фигуре 2 показано схематично какое изображение выводится на экран, когда пользователь находится подходит слева к окну, а именно основной виртуальный объект 7 и расположенный слева от него виртуальный объект 8, а на фигуре 3 показано схематично, какое изображение выводится на экран, когда пользователь подходит справа к окну и видит другие виртуальные объекты, а именно основной виртуальный объект 7 и расположенный справа от него виртуальный объект 9.

Этап А4. Опционально пользователь может управлять параметрами вывода изображений: пауза, перемотка видео, цвет, контрастность, яркость, смена любых режимов и любыми другими – руками дистанционно. В общем пользователь может управлять также и голосом.

Этап А5. Опционально пользователь может управлять параметрами вывода изображений: пауза, перемотка видео, цвет, контрастность, яркость, смена любых режимов и любыми другими – руками, касаясь дисплея.

Промышленная применимость.

Объемный дисплей может быть осуществлен специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.

Очевидно, что предлагаемое окно-дисплей обеспечивает возможность использовать его в качестве устройств вывода изображений в виде дополненной реальности, которая подстраивается под местоположение пользователя.

Это происходит за счет того, что устройство позволят производить:

1. автоматическое распознавание положения пользователя;

2. автоматическое распознавание положения головы и, в частности глаз пользователя;

3. автоматическое распознавание положения рук пользователя;

4. автоматический пересчет выводимого на экран изображения, в зависимости от полученных координат пользователя.

Предлагаемое изобретение возможно использовать в качестве:

1. Устройства для вывода любых изображений дополненной реальности для создания комфорта пользователя.

2. Устройства для вывода любой информации, вывод которой подстраивается под местоположения пользователя, например, выводится на самом контрастном участке в поле зрения.

3. Устройства для управления выводимой информаций не расстоянии.

4. Устройства для спорта в помещении в связке с тренажерами, при котором меняется изображение за окном в зависимости от условно пройденного расстояния.

5. Устройства, в котором виртуальный собеседник может следить глазами за пользователем, отслеживая его местоположение, создавая «эффект реального диалога».

Таким образом можно реализовать окно-дисплей, которое реализует полный эффект присутствия за счет выведения на него объектов дополненной реальности, подстраивающихся под местоположение пользователя, а также реагирующих на его действия. Окно-дисплей в режиме затемнения полностью заменяет обычный телевизор, в режиме дезактивации дисплея – это становится простым окном. В рабочем режиме может быть комбинированным вариантом, выводящим темные буквы на светлый фон, например, неба, как оно видно пользователю, или светлые буквы на темный фон реальных объектов, как они видны со стороны пользователя. Точно также про изображение.

Так можно достичь эффекта полного погружения нахождения в другом климатическом поясе, другом географическим месте, а даже другой планете.

1. Окно-дисплей, включающее раму, обрамляющую стеклопакет, выполненный из прозрачного материала, при этом стеклопакет включает в себя слой, являющийся прозрачным дисплеем, соединенный с модулем вывода изображения на указанный дисплей, отличающееся тем, что модуль вывода изображения на дисплей соединен с модулем определения местоположения частей тела пользователя в помещении и выполнен с возможностью пересчета изображения в зависимости от местоположения частей тела пользователя.

2. Окно-дисплей по п.1, отличающееся тем, что модуль определения местоположения частей тела пользователя в помещении выполнен с возможностью определения местоположения глаз пользователя.

3. Окно-дисплей по п.1, отличающееся тем, что модуль определения местоположения частей тела пользователя в помещении выполнен с возможностью определения местоположения рук пользователя.

4. Окно-дисплей по п.1, отличающееся тем, что модуль определения местоположения пользователя в помещении выполнен в виде как минимум одной видеокамеры.

5. Окно-дисплей по п.1, отличающееся тем, что модуль определения местоположения пользователя в помещении выполнен в виде стереопары из двух видеокамер.

6. Окно-дисплей по п.1, отличающееся тем, что модуль определения местоположения пользователя в помещении может быть выполнен с возможностью выбора из множества определенных частей тела множества пользователей одного.

7. Окно-дисплей по п.2, отличающееся тем, что модуль вывода изображения на дисплей выполнен с возможностью пересчета перспективы изображения в виртуальном пространстве в зависимости от координат и направления наклона и/или поворота головы пользователя в трехмерном пространстве для создания у пользователя иллюзии свободного перемещения в виртуальном пространстве.

8. Окно-дисплей по п.1, отличающееся тем, что модуль вывода изображения на дисплей соединен с модулем определения местоположения касания стеклопакета пользователем.