Способ и устройство для мониторинга движений и дыхания множества субъектов в общей кровати

Группа изобретений относится к медицинской технике, а именно к средствам мониторинга движений и дыхания двух или более субъектов, занимающих общую постель. Способ мониторинга движений содержит этапы формирования изображения постели посредством оптического датчика, осуществления оценки движений посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров, которые принимают от оптического датчика, вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения, сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту, основанное на пространственном и/или временном сходстве кластеров движений между собой и на предыдущих результатах сегментации. Способ осуществляется посредством устройства мониторинга с машиночитаемым носителем, содержащим компьютерную программу. Использование изобретений позволяет повысить точность мониторинга. 3 н. и 8 з.п. ф-лы, 8 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способу и устройству для мониторинга движений и дыхания в общей постели, например партнеров по кровати. В частности, изобретение относится к способу мониторинга движений субъектов, находящихся в общей постели, причем способ содержит этапы:

- формирования изображения постели посредством оптического датчика;

- осуществления оценки движений посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров, которые приняты от указанного оптического датчика;

- вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения;

- сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту,

причем присвоение кластеров движений соответствующему субъекту основано на пространственном и/или временном сходстве кластеров движений между собой и предыдущих результатах присвоения движений.

УРОВЕНЬ ТЕХНИКИ

Дыхание представляет собой параметр сна, имеющий большое значение, например, он обеспечивает обнаружение состояния, в частности расслабления, глубины сна, апноэ и эпизодов храпа. Движение также представляет собой параметр сна, который имеет большое значение, например, он обеспечивает обнаружение состояния сна-бодрствования человека и периодических движений конечностей. Больше чем один человек в кровати создает трудности для мониторинга дыхания и движений в кровати. Это имеет место не только тогда, когда два человека спят вместе близко, но также когда спят вместе не так близко, но под одним одеялом. Следовательно, данное изобретение относится к мониторингу дыхания и движений, когда два или более субъектов совместно используют общую кровать. В этом отношении «субъект» следует понимать как человек и/или животное, а общую кровать следует понимать как место для отдыха, например, такое как кровать, которую совместно используют по меньшей мере два субъекта одновременно.

Можно осуществлять мониторинг дыхания бесконтактным путем с использованием оптических датчиков и небольших микрофонов. Мониторинг дыхания можно использовать во многих применениях ко сну/расслаблению, таких как задающее ритм дыхательное устройство с замкнутым контуром или другие расслабляющие устройства, устройство для мониторинга различных типов апноэ или храпа, инструктор по сну, монитор глубины сна, бесконтактный «оценщик качества сна» и т.д. Движения во время сна также представляют собой параметр сна, имеющий большое значение, например, он обеспечивает обнаружение состояния сна-бодрствования человека и периодических движений конечностей. Также можно осуществлять мониторинг движения бесконтактным образом с использованием оптических датчиков. Мониторинг движений можно использовать в нескольких применениях ко сну/расслаблению, таких как системы, которые реагируют на состояние сна/бодрствования человека (например, система, которая выключается, когда человек засыпает), устройство для мониторинга периодических движений конечностей, монитор глубины сна, бесконтактный «оценщик качества сна» и т.д.

Указанные выше устройства типично направлены на мониторинг одного пользователя или влияние на него; однако, многие люди используют свои кровати совместно с партнером по кровати. Партнеры по кровати могут спать вместе ближе или дальше друг от друга. Существует множество положений, в которых спят пары, например:

- «Порознь» - партнеры спят в самых дальних углах кровати или головой к ступням;

- «В обнимку» - партнеры спят со своим партнером лицом к лицу в тесных объятиях;

- «Ложками» - один партнер лежит на своем боку и другой партнер лежит позади этого партнера, обняв одной рукой его или ее;

- «Свободно с сохранением контакта» - это положение похоже на «Ложки», но различие состоит в том, что один партнер сохраняет некоторое расстояние между собой и своим партнером; тем не менее, всегда имеет место контакт между обоими партнерами: колено, рука, ступня и т.д.

Многие люди спят вместе в одной кровати и под одним одеялом. Исследование, проведенное National Sleep Foundation, в котором опрашивали более тысячи взрослых респондентов, выявило, что большинство ночей 61% респондентов спит с близким человеком, 12% спят большинство ночей со своим домашним животным и 5% спят со своим ребенком (детьми). Больше чем шесть из десяти респондентов (62%) сообщают, что они предпочитают спать со своим близким человеком.

Нательные датчики можно использовать для того, чтобы осуществлять мониторинг движений (например, актиграфию) или дыхания во время сна (например, дыхательные ремни, которые носят вокруг грудной клетки или/и живота), однако эти датчики не являются ни комфортными, ни удобными для пользователя. Следовательно, ненательные датчики, такие как оптические датчики, лучше подходят для пользователя и обладают потенциалом для того, чтобы осуществлять мониторинг сна даже более надежным путем.

Совместный сон создает сложности для мониторинга дыхания и/или движений посредством ненательного датчика, который имеет фиксированное местоположение в течение ночи. Это имеет место не только тогда, когда два человека спят физически близко друг к другу, но также когда спят не так близко друг к другу, но под одним одеялом, поскольку как большие, так и менее крупные движения, включая дыхательные движения, могут перемещаться с одной стороны кровати на другую.

В публикации «A method for measuring respiration and physical activity in bed by optical flow analysis» авторов Nakajima et al., в Proceedings - 19th Int. Conference IEEE/EMBS, Oct. 30-Nov. 2, 1997 Chicago, IL, USA, раскрыт полностью бесконтактный и нестесняющий способ мониторинга, основанный на оптическом обнаружении последовательности движений тела посредством внедрения анализа последовательности изображений. Способ пространственно-временной локальной оптимизации применяют для того, чтобы определять оптическую последовательность в последовательности изображений. Оптическая последовательность визуализирует поле кажущихся скоростей всех движений тела, включая движения груди в связи с дыханием и изменения положения в кровати. Временное повышение частоты сердечных сокращений отражает величину физической активности. Предложены два возможных параметра для оценки дыхательной и физической активности на основе сравнения экспериментальных результатов. Среднее значение квадратов скоростей движения отражает величину физической активности. Репрезентативный усредненный по полю компонент показывает форму сигнала с периодической флуктуацией, соответствующей такому дыханию, которое получено с помощью использования носового терморезистора.

В публикации «A monitor for posture changes and respiration in bed using real time image sequence analysis» авторов Nakajima et al., в Proceedings of the 22nd annual EMBS international conference, July 23-28, 2000, Chicago, IL, USA, раскрыта система анализа последовательности изображений в реальном времени для того, чтобы оценивать как изменения положения субъекта, так и дыхание в кровати. Система состоит из CCD видеокамеры (используемой в качестве датчика), платы обработки изображения и ПК. Плата обработки изображения, которая содержит 256 CPU, обнаруживает оптическую последовательность (кажущуюся скорость) 256×240 пикселей в течение 150 мс. Репрезентативная усредненная по полю скорость показывает форму сигнала, содержащего два компонента с большими пиками и периодической флуктуацией. Большие пики возникают во время изменения положения, и периодическая флуктуация соответствует дыханию, получаемому с помощью использования носового терморезистора. Систему тестировали в центре сестринского ухода, где она работала в целом в течение пятидесяти шести часов без проблем.

В публикации «A visual context-awareness-based sleeping-respiration measurement system» авторов Kuo et al. в IEEE Transactions on Information Technology in Biomedicine, Vol. 14, №2, March 2010, раскрыто, что из-за быстрого роста популяции престарелых, улучшение конкретных аспектов здравоохранения для престарелых стало более важным. Системы мониторинга сна для престарелых редки. В этой публикации предложена осведомленная визуальным контекстом система измерения дыхания во сне, которая измеряет информацию о дыхании спящих престарелых. Точное измерение дыхания требует учета всех возможных контекстов для спящего человека. Предложенная система состоит из подсистемы обнаружения контекста движений тела, подсистемы обнаружения контекста дыхания и подсистемы измерения дыхания на основе оценки векторов быстрых движений. Система давала точные дыхательные измерения для исследуемой популяции.

В US 7431700 B2 раскрыт монитор, который может обнаруживать дыхание спящего человека без воздействия светом внутреннего освещения и может легко оценивать обнаруживаемое дыхание количественно через измерения изображений. Монитор содержит средство проецирования конкретного паттерна освещения, средство непрерывного захвата изображения проецируемого света, средство вычисления межкадрового движения паттерна освещения по изображениям из двух кадров, получаемых посредством средства захвата изображения в различные моменты времени, средство генерации данных о форме сигнала движения, содержащего межкадровые движения, находящиеся во временной последовательности, и средство обнаружения движения объекта по данным формы сигнала движения.

В WO 2010/070463 A1 раскрыта система обнаружения настроения для того, чтобы указывать расположение человека к сексу, система содержит устройство обнаружения телесных знаков, которое генерирует ответный сигнал, который представляет параметр тела указанного человека, детектор контакта тела, который генерирует сигнал контакта, отражающий наличие телесного контакта между указанным человеком и партнером, процессор сигнала, в котором предусмотрена память, и устройство вывода, которым управляет процессор. В режиме анализа процессор анализирует сигнал(ы) реакции, получаемые от устройства обнаружения телесных знаков, определяет настроение человека и, в зависимости от результата определения, приводит в действие устройство вывода. В ответ на прием сигнала контакта от детектора контакта тела, который указывает на то, что тела человека и партнера имеют физический контакт, процессор переключается из режима регистрации в режим анализа.

В публикации «Motion segmentation and tracking using normalized cuts» авторов Shi и Malik, в Sixth International Conference on Computer Vision. Narosa, New Delhi, pages 1154-1160 предложен алгоритм сегментации движений, который нацелен на разбиение сцены на ее наиболее выраженные группы движения. По последовательности изображений конструируют взвешенный граф посредством соединения пикселей, которые находятся в пространственно-временном соседстве друг с другом. В каждом пикселе определяют векторы профиля движения, которые содержат распределение вероятности скорости изображения. Расстояние между профилями движения используют для того, чтобы присвоить вес ребрам графа. Используя нормализованные пороги, находят наиболее выступающие части пространственно-временного графа, образуемого посредством последовательности изображений.

В EP 1410755 A1 раскрыто устройство мониторинга, которое может обнаруживать состояния спящего человека. Устройство мониторинга содержит множество независимых датчиков расстояния, установленных обращенными к различным положениям в целевой области, мониторинг которой осуществляют, которая подлежит мониторингу для измерения расстояния до цели, мониторинг которой осуществляют, вычислительный блок для вычисления изменений с течением времени в выходных сигналах датчиков расстояния и процессор обнаружения для обнаружения изменений в геометрической форме цели, мониторинг которой осуществляют, основываясь на вычисляемых изменениях с течением времени в одном или множестве датчиков расстояния среди множества датчиков расстояния.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Следовательно, цель данного изобретения состоит в том, чтобы повысить точность мониторинга дыхания и движений посредством ненательного датчика, в частности, когда два или более субъектов совместно используют кровать.

Эту цель изобретения достигают посредством способа мониторинга движения субъектов, расположенных на общей постели, причем способ содержит этапы:

- формирования изображения постели посредством оптического датчика;

- осуществления оценки движений посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров (число кадров зависит от частоты кадров, заданной в камере), которые принимают от указанного оптического датчика;

- вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения;

- сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту,

причем присвоение кластеров движений соответствующему субъекту основано на пространственном и/или временном сходстве кластеров движений между собой и предыдущих присвоениях векторов движений.

Настоящим изобретением предложена технология с использованием оптического датчика, которая может адаптивно присваивать части изображения одному субъекту или/и другому для того, чтобы анализировать собственные движения и ритм дыхания субъекта правильно на всем протяжении ночи. Это применимо даже когда субъекты спят на двух отдельных матрасах, а также когда они лежат близко вместе и под одним одеялом. Кроме того, в предложенной технологии используется только один датчик, чтобы одновременно осуществлять мониторинг нескольких субъектов в кровати.

Формирование изображения

Визуализацию в этом отношении следует понимать как сбор оптической информации о субъектах в общей кровати. Однако нет необходимости получать эту оптическую информацию посредством систем камер высокого разрешения. Для осуществления оценки движений изображения низкого разрешения, например, собирают с оптического датчика, похожего на оптический датчик, используемый в оптической мыши с разрешением 16×16 пискелей. Обработка изображений низкого разрешения снижает необходимые вычислительные мощности, что в свою очередь делает способ более быстрым, даже когда используют только небольшие вычислительные системы. Дополнительно, использование изображений низкого разрешения делает возможным анонимный мониторинг субъектов с такими нераспознаваемыми признаками, как лицо. Кроме того, оптическая информация не должна находиться в видимом диапазоне электромагнитного спектра. Например, оптическую информацию можно собирать в инфракрасном (ИК) диапазоне электромагнитного спектра. Использование ИК обеспечивает такой эффект, что способ является еще менее тревожащим для субъектов, мониторинг которых осуществляют, поскольку он не видим невооруженному глазу, и, следовательно, более комфортным.

Для оценки движений можно применять алгоритм любого типа, предоставляющий подходящие вектора движения, например алгоритм, предложенный в публикации «True-motion estimation with 3-D recursive search block matching» авторов de Haan et al., в IEEE Transactions on Circuits and Systems for Video Technology, Vol. 3, № 5, October 1993. Однако, в целом, можно применять любой алгоритм, который вычисляет информацию о движении, например, для патентоспособного способа можно применять оценку оптической последовательности, оценку максимальной апостериорной вероятности, оценку марковского случайного поля, вычисление среднеквадратической ошибки, вычисление суммы абсолютных разностей, вычисление средних абсолютных разностей, вычисление суммы квадратов ошибок и вычисление суммы абсолютных преобразованных разностей.

Согласно одному из вариантов осуществления изобретения результаты сегментации предшествующих изображений учитывают для присвоения кластеров движений соответствующему субъекту на последующем изображении. Поступая таким образом, повышают точность присвоения, и при этом происходит снижение необходимых вычислительных мощностей.

Согласно другому варианту осуществления изобретения, анализ дыхания осуществляют для каждого субъекта в общей кровати, основываясь на данных из последовательных изображений или изображений, которые отстоят на несколько кадров (число кадров зависит от частоты кадров, заданной в камере), предоставляемых посредством оптического датчика.

Измерение дыхания является полезным в здравоохранении и на потребительском рынке. В здравоохранении большое число заболеваний (например, сердечная недостаточность, респираторные или легочные заболевания, почечная недостаточность) можно распознавать посредством анализа дыхательного паттерна субъекта. Например, когда прогрессирует сердечная недостаточность, может развиваться дыхание Чейна-Стокса (периодическое дыхание). Далее описано, как симптомы сердечной недостаточности могут проявлять себя в конкретных дыхательных паттернах. Симптомы сердечной недостаточности могут возникнуть внезапно, в частности, если причиной является сердечный приступ. Однако большинство людей не имеют симптомов, когда в сердце впервые начинают развиваться проблемы. Затем симптомы проявляются постепенно в течение суток, месяцев или лет. Наиболее общими симптомами являются укорочение дыхания и утомляемость. Может происходить стабилизация сердечной недостаточности в течение определенных периодов времени, но часто она прогрессирует медленно и постепенно. Правосторонняя сердечная недостаточность и левосторонняя сердечная недостаточность создают различные симптомы. Несмотря на то, что могут присутствовать оба типа сердечной недостаточности, часто преобладают симптомы отказа одной стороны. В конечном итоге, левосторонняя сердечная недостаточность вызывает правосторонний отказ. Левосторонняя сердечная недостаточность ведет к накоплению жидкости в легких, которая вызывает укорочение дыхания. Сначала укорочение дыхания возникает только во время напряжения, но по мере прогрессирования сердечной недостаточности, она возникает при все меньшем и меньшем напряжении и в конечном итоге возникает даже в покое. Люди с тяжелой левосторонней сердечной недостаточностью могут коротко дышать, когда ложатся (состояние, называемое ортопноэ), поскольку гравитация заставляет большее количество жидкости перемещаться в легкие. Сидячее положение заставляет некоторое количество жидкости оттекать в нижнюю часть легких и делает дыхание более легким. Когда прогрессирует сердечная недостаточность, может развиваться дыхание Чейна-Стокса (периодическое дыхание). При этом необычном паттерне дыхания человек дышит быстро и глубоко, затем медленнее, затем не дышит вовсе в течение нескольких секунд. Дыхание Чейна-Стокса развивается, потому что происходит снижение потока крови к головному мозгу, и, следовательно, области головного мозга, которые управляют дыханием, не получают достаточно кислорода. Некоторые люди с сердечной недостаточностью испытывают ортопноэ, пароксизмальную ночную одышку или и то и другое. Ортопноэ представляет собой укорочение дыхания, когда человек лежит, когда облегчается сидячим положением. Пароксизмальная ночная одышка представляет собой внезапный, часто пугающий, приступ укорочения дыхания во время сна. Это состояние является крайней формой ортопноэ и признаком тяжелой сердечной недостаточности. Одышка также может возникать у людей, которые страдают анемией или потерей крови, по причине сниженного числа красных клеток крови, которые несут кислород к тканям. Человек дышит часто и глубоко, в рефлекторной попытке увеличить количество кислорода в крови. Некто с тяжелой почечной недостаточностью, внезапным ухудшением сахарного диабета или некто, кто принял определенные лекарственные средства или яды, ощущает нарушение дыхания и может начать быстро задыхаться по причине накопления большого количества кислот в крови (состояние, называемое метаболический ацидоз). Анемия и сердечная недостаточность также вносит вклад в одышку у людей с почечной недостаточностью. Дополнительно, существует три формы апноэ во сне: центральное (CSA), обструктивное (OSA) и комплексное или смешанное апноэ во сне (т.е. комбинация центрального и обструктивного). При CSA, дыхание прерывается за счет недостаточности дыхательного усилия; при OSA, дыхание прерывается за счет физического блока потока воздуха, несмотря на дыхательное усилие, и храп является обычным явлением.

Независимо от типа, индивидуум с апноэ во сне редко осведомлен о том, что имел затрудненное дыхание, даже после пробуждения. Апноэ во сне часто в качестве проблемы рассматривают другие люди, наблюдающие за индивидуумом во время эпизодов, или его предполагают по причине его эффектов, оказываемых на организм. Симптомы могут присутствовать в течение лет или даже десятилетий без идентификации, и в течение этого времени страдающий может впадать в состояние дневной сонливости и утомляемости, связанной со значительными уровнями нарушений сна.

Сердечная недостаточность (СН) представляет собой очень распространенное заболевание, как сообщает ESC (European Society of Cardiology) и HFSA (Heart Failure Society of America). ESC представляет страны с объединенной популяцией >900 миллионов, и по меньшей мере 15 миллионов пациентов с СН в этой 51 стране. Распространенность бессимптомных нарушений функции желудочков схожа, так что СН или бессимптомное нарушение функции желудочков выражено в ~4% популяции. Распространенность СН составляет между 2 и 3% и резко возрастает в возрасте ~75 лет, так что распространенность у людей в возрасте от 70 до 80 лет составляет между 10 и 20%. Общая распространенность СН также растет по причине старения мировой популяции. HFSA документирует, что сердечная недостаточность является обычной, но нераспознанной и часто ошибочно диагностированной. Она поражает приблизительно 5 миллионов американцев. Сердечная недостаточность представляет собой только основное растущее сердечно-сосудистое нарушение. По оценкам, от 400000 до 700000 новых случаев сердечной недостаточности диагностируют каждый год, а число смертей в Соединенных Штатах от этого состояния возросло больше чем в два раза с 1979 года, приблизительно 250000 смертей ежегодно.

Большое количество случаев СН естественно сопровождается высокими затратами на здравоохранение. Помимо сердечных заболеваний, широко распространены респираторные заболевания, где более раннее вмешательство или более простое диагностирование будут полезны как для здоровья человека, так и для связанных затрат на здравоохранение. British Lung Foundation выявляет следующие факты:

- Существует больше сорока состояний, которые поражают легкие и/или дыхательные пути и влияют на способность человека дышать. Они включают, среди прочих, злокачественную опухоль легких, туберкулез, астму, ХОЗЛ (хроническое обструктивное заболевание легких), кистозный фиброз, апноэ во сне, птичий грипп, бронхиолит;

- 1 человек из каждых 7 в Великобритании страдает легочным заболеванием - это равно приблизительно 8 миллионам людей;

- Респираторное заболевание представляет собой вторую по распространенности причину смерти в Великобритании (117456 смертей в 2004 году) после всех злокачественных опухолей за пределами дыхательной системы вместе, которые насчитывают лишь немного больше смертей (122500 смертей в Великобритании в 2004 году);

- Респираторное заболевание представляет собой вторую по распространенности причину смерти по всему миру после сердечно-сосудистых заболеваний;

- В 2020 году из 68 миллионов смертей по всему миру 11,9 миллиона будут обусловлены легочными заболеваниями;

- В Великобритании смертность от респираторных заболеваний почти вдвое превышает среднюю по Европе и находится на 6-м месте в Европе;

- Смерти от профессиональных легочных заболеваний быстро растут из-за 75% увеличения числа смертей от мезотелиом в 1988-1998 годах;

- Респираторное заболевание представляет собой наиболее часто описываемое длительное заболевание у детей и на третьем месте по частоте у взрослых.

Мониторинг дыхания является полезным на потребительском рынке, в частности, для расслабления. В наше время сложнее уснуть расслабленным образом из-за нерегулярного сна, сменного дежурства, давления эффективности и стресса. Решения, связанные с расслаблением, становятся все более и более важными. Состояние расслабления человека тесно связано с характеристиками его дыхания. Поскольку дыхательный паттерн меняется на всем протяжении процесса засыпания, анализ дыхания может предоставлять управляющие параметры для вмешательств по улучшению сна, например, дыхание с заданным ритмом для расслабления.

Кроме того, поскольку люди проводят почти треть своей жизни во сне, хорошее качество сна важно для хорошего здоровья и благополучия. Однако образ жизни и факторы окружающей среды вызывают все больше трудностей со сном, как рассмотрено в настоящем документе. В наше время имеет место возрастающее ухудшение качества сна из-за заболеваний, нерегулярного сна, сменного дежурства, давления эффективности и стресса. Плохой сон оказывает негативные эффекты на поведение, настроение, эффективность, безопасность, душевное и физическое здоровье.

Анализ дыхания можно осуществлять посредством способа, сравнимого с интерферометрией фазового сдвига, как типично используют для количественного определения глубины. Чтобы выполнить это, световой паттерн проецируют на область, подлежащую анализу. В отсутствие проецируемого светового паттерна анализируют зависимость между наблюдаемым вертикальным сдвигом и действительным вертикальным сдвигом отраженного света, идущего от природных источников. Микродвижения от дыхания значительно деформируют этот паттерн проецируемого света от естественного света. Если требования смягчаются, и качество изображения является достаточным, микродвижения можно извлекать из изображений без проецирования какого-либо дополнительного паттерна.

Согласно изобретению, анализ дыхания субъектов в общей постели выполняется с использованием наиболее крупных областей движения в последовательных изображениях или изображениях, которые отстоят на несколько кадров (число кадров зависит от частоты кадров, заданной в камере), которые идентифицируются в моменты отсутствия движения конечностей субъектов. Когда осуществляют оценку движений для того, чтобы предоставить векторы движения, наиболее крупные области движения представляют собой области, которые имеют наибольшие векторы движения. Для того чтобы идентифицировать моменты отсутствия движений конечностей, можно применять пороговое значение для векторов движения. Если векторы движения ниже порогового значения, идентифицируют области наибольших векторов движения и осуществляют анализ дыхания только в этих областях. Это снижает вычислительную мощность, необходимую для анализа, и делает возможной реализацию способа для небольших устройств мониторинга, которые действуют в качестве обособленных систем.

Согласно другому варианту осуществления изобретения, анализ дыхания индивидуума для каждого субъекта осуществляют посредством осуществления независимого анализа дыхания для каждой идентифицированной наиболее крупной области движения. Это делает возможным точный мониторинг дыхания для каждого индивидуального субъекта, даже когда субъекты расположены в непосредственной близости друг к другу, например в общей кровати или под одним одеялом.

Согласно другому варианту осуществления изобретения, изображения, поступающие от оптического датчика, сегментируют по границам преобладающих движений грудной клетки. Такая сегментация может быть основана на результатах оценки движений и вычисляемых векторах движения, например посредством присвоения векторов движения, имеющих одинаковое направление, одному сегменту. Направление может варьировать в пределах определяемого порогового уровня для присвоения. Обнаружено, что в целом векторы движения грудной клетки различных субъектов, расположенных в общей окрестности, различаются значительно своим направлением, чтобы присвоение векторов различным сегментам, представляющим различные субъекты, было возможным.

Согласно другому варианту осуществления изобретения, оптический датчик визуализирует окрестность кровати в дополнение к субъектам, совместно использующим общую кровать. Поступая таким образом, можно осуществлять мониторинг движения субъекта прямо в тот момент, когда субъект входит в окрестность, мониторинг которого осуществляют, например, в спальную комнату или тому подобное. Посредством постоянного мониторинга движений субъектов, присвоение движений различным субъектам происходит проще, поскольку результаты оценки движений, получаемые из предыдущих изображений, можно учитывать, когда анализируются последовательные изображения или изображения, которые отстоят на несколько кадров.

Согласно другому варианту осуществления изобретения, векторы движения, являющиеся результатом оценки движений, используются для того, чтобы отслеживать субъекты также в окрестности постели. Поступая таким образом, можно осуществлять мониторинг движения субъектов и тогда, когда они покидают общую постель, до тех пор, пока они остаются в общей окрестности, например в спальной комнате или тому подобном. Посредством постоянного мониторинга движений субъектов, присвоение движений различным субъектам происходит легче, поскольку результаты оценки движений, поступающие с предыдущих изображений, можно принимать во внимание, когда анализируются последовательные изображения или изображения, которые отстоят на несколько кадров.

В другом аспекте изобретение относится к устройству для мониторинга движения субъектов, расположенных в общей постели, устройство содержит оптический датчик и блок обработки данных, причем оптический датчик способен визуализировать общую постель и доставлять данные последовательных изображений или изображений, которые отстоят на несколько кадров, в блок обработки данных, причем блок обработки данных способен осуществлять компьютерную программу, которая содержит набор инструкций, способных побуждать блок обработки осуществлять способ, как описано выше.

В частности, компьютерная программа обладает возможностями осуществления оценки движений на изображениях, получаемых от указанного оптического датчика, посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров, которые получают от указанного оптического датчика, вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения, сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту, где присвоение кластеров движений соответствующему субъекту основано на пространственном и/или временном сходстве кластеров движений между собой и предыдущими результатами сегментации.

В другом варианте осуществления изобретения устройство содержит проецирующее свет средство, способное проецировать световой паттерн на упомянутую общую постель. Предпочтительно, проецирующее свет средство проецирует световые паттерны на длине волны, невидимой для человеческого глаза, например, в ИК-диапазоне электромагнитного спектра.

В другом аспекте изобретение относится к компьютерной программе, которая содержит набор инструкций, способных, когда встроены в машиночитаемый носитель, побуждать систему обработки информации осуществлять описанный выше способ. В частности, компьютерная программа обладает возможностями для того, чтобы осуществлять оценку движений на изображениях, получаемых от оптического датчика, посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров, которые получают от указанного оптического датчика, вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения, сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту, причем присвоение кластеров движений соответствующему субъекту основано на пространственном и/или временном сходстве кластеров движений между собой и предыдущих результатах сегментации.

Мониторинг дыхания можно использовать во многих применениях для сна/расслабления, например, в задающем ритм дыхательном устройстве с замкнутым контуром или других расслабляющих устройствах, устройстве для мониторинга апноэ или храпа, инструкторе по сну, мониторе глубины сна, бесконтактном «оценщике качества сна» и т.д. Мониторинг движений также можно использовать во многих применениях для сна/расслабления, таких как системы, которые реагируют на состояние сна/бодрствования человека (например, система, которая выключается, когда человек засыпает), устройство для мониторинга периодических движений конечностей, монитор глубины сна, бесконтактный «оценщик качества сна» и т.д. Они типично представляют собой устройства, нацеленные на мониторинг одного пользователя или оказания влияния на него; однако многие люди совместно используют свои кровати с другими. Это изобретение дополнительно имеет отношение к системам, которые нацелены на двух людей, например, задающему ритм дыхательному устройству или другому расслабляющему устройству, которое разработано для использования двумя (или больше) людьми.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения видны из вариантов осуществления, описанных далее в настоящем документе, и разъяснены со ссылкой на них.

На чертежах:

на фиг. 1 представлены векторы движения двух спящих субъектов;

на фиг. 2 представлена блок-схема присвоения движений правильным субъектам;

на фиг. 3 представлена блок-схема извлечения сигналов дыхания индивидуума;

на фиг. 4 представлено тоновое изображение из последовательности сна в течение ночи;

на фиг. 5 представлен момент во время дыхательного цикла;

на фиг. 6 представлен другой момент во время дыхательного цикла;

на фиг. 7 представлен другой момент во время дыхательного цикла; и

на фиг. 8 представлена диаграмма, представляющая индивидуально обработанные сигналы дыхания.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Несмотря на то, что изобретение иллюстрировано и описано в деталях на чертежах и в приведенном выше описании, такие иллюстрации и описание следует рассматривать как иллюстративные или образцовые, но не ограничивающие; изобретение не ограничено раскрытыми вариантами осуществления. Другие вариации раскрытых вариантов осуществления могут понять и осуществить специалисты в данной области техники при практическом осуществлении описываемого в заявке изобретения, изучив чертежи, раскрытие и приложенную формулу изобретения. В формуле изобретения слово «содержит» не исключает другие элементы или этапы, а формы единственного числа не исключают множество. Сам факт того, что определенные средства перечислены во взаимно различных зависимых пунктах формулы изобретения, не указывает на то, что комбинация этих средств не может быть использована с пользой. Какие-либо ссылочные позиции в формуле изобретения не следует толковать в качестве ограничения объема.

На фиг. 1 представлены векторы движения двух спящих субъектов 10 и 20. Векторы движения двух спящих субъектов, зарегистрированные в обстановке настоящего дома, имеют цветовое/числовое кодирование. Различные цвета/числа обозначают различные векторы движения. Два субъекта лежат близко друг к другу и совершают движения, пока спят. На фиг 1A: различные типы векторов движения можно использовать для того, чтобы сегментировать субъекты друг от друга, т.е. голубая область 100 относится к правому субъекту, фиолетовая область 200 к левому субъекту. На фиг. 1B: преимущественно правый субъект совершает движения, которые видны из-за выраженных векторов движения 100 на его стороне. Голова двигается (красная область 115) в другом направлении от тела (зеленая область 120).

На фиг. 2 представлена блок-схема присвоения движений конкретному субъекту. После осуществления оценки движений 300 по данным изображения, получаемого от оптического датчика, которая дает в результате векторы движения 310, например, посредством алгоритма оптической последовательности, на стадии 320 измеряют пространственные и временные корреляции между векторами движения 310. Векторы движения 310, которые имеют одинаковое направление, в пределах области допуска, объединяют в кластеры движений 330. Эти кластеры движений 330 присваивают соответствующему субъекту. Для повышения точности присвоения, а также снижения необходимой вычислительной мощности учитывают историю 340 сегментации из предыдущего анализа изображения, когда измеряют пространственные и временные корреляции векторов движения 310.

На фиг. 3 представлена блок-схема извлечения сигналов дыхания индивидуума. Для того чтобы извлекать дыхательную форму волны для каждого субъекта с использованием одного датчика, предложен подход, описанный на фиг. 3. Можно применять какой-либо тип алгоритм дыхания на основе оптического датчика, например, посредством способа, сравнимого с интерферометрией фазового сдвига, как его типично используют для количественного определения глубины. Чтобы выполнить это, световой паттерн проецируют на область, подлежащую анализу. В отсутствие проецируемого светового паттерна наблюдают временную взаимозависимость между одними и теми же областями изображений (например, блоками изображения), например, количество отраженного инфракрасного света будет варьировать с течением времени в области дыхания. Микродвижения от дыхания значительно деформируют паттерн проецируемого света от естественного света. Можно анализировать области 400 движения, вносящие главным образом вклад в глобальный сигнал дыхания всего изображения (исходное входное изображение см. на фиг. 4), и получают преобладающие центры 410 движения (см. подсвеченные области на фиг. 5, 6, 7). Изображение дополнительно сегментируют по найденным центрам движения и осуществляют анализ дыхания алгоритм 420 в множестве (двух или более, в зависимости от числа субъектов в кровати) участков изображения независимо. Это ведет к двум независимым формам волны, как показано на фиг. 8. Формы волны визуально верифицируют посредством субъективной оценки дыхательного движения на изображениях.

На фиг. 4 представлено тоновое изображение из последовательности сна в течение ночи. Исходное тоновое изображение из последовательности сна в течение ночи с двумя субъектами, лежащими близко бок о бок, представляет собой пример для последовательных изображений или изображений, которые отстоят на несколько кадров, которые используют в качестве входных данных для оценки движений как описано выше.

На фиг. 5 представлен момент во время дыхательного цикла. Он представляет собой момент во время дыхательного цикла, когда грудные клетки обоих субъектов двигаются. На левом чертеже представлены подсвеченные области 500, 510 движения во время мониторинга дыхания, тогда как на правом чертеже представлено наложение выходных данных 500, 510 выраженных движений грудной на исходное тоновое изображение (справа).

На фиг. 6 представлен другой момент во время дыхательного цикла. Здесь представлен момент во время дыхательного цикла, когда грудная клетка левого субъекта совершает движения. Представлены подсвеченные области движения во время мониторинга 600 дыхания (слева) и наложение выходных данных 600 выраженных движений грудной клетки на исходное тоновое изображение (справа).

На фиг. 7 представлен другой момент во время дыхательного цикла. Здесь представлен момент во время дыхательного цикла, когда грудная клетка правого субъекта совершает движения. Представлены подсвеченные области движения во время мониторинга 700 дыхания (слева) и наложение выходных данных 700 выраженных движений грудной клетки на исходное тоновое изображение (справа).

На фиг. 8 представлена диаграмма, представляющая индивидуально обработанные сигналы дыхания. Изображены индивидуально обработанные сигналы дыхания двух спящих субъектов после сегментирования областей изображений и присвоения их соответствующему субъекту. Видно, что левый субъект (черный, 800) имеет более высокую частоту дыхания, чем правый субъект (голубой, 900) и иногда дышит в той же фазе, что и правый субъект, и иногда в противоположной фазе. Следует отметить, что масштаб по амплитуде можно не учитывать, поскольку дыхательный сигнал не нормализован.

1. Способ мониторинга движения субъектов, находящихся в общей постели, причем упомянутые субъекты являются людьми и/или животными, при этом способ содержит этапы:
- формирования изображения постели посредством оптического датчика;
- осуществления оценки движений посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров, которые принимают от указанного оптического датчика;
- вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения;
- сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту,
причем присвоение кластеров движений соответствующему субъекту основано на пространственном и/или временном сходстве кластеров движений между собой, и
причем анализ дыхания осуществляют для каждого субъекта в общей постели, основываясь на данных последовательных изображений или отстоящих на несколько изображений, предоставляемых посредством оптического датчика, тем что анализ дыхания двух или более субъектов в общей постели осуществляют посредством использования наиболее крупных областей движения на указанных последовательных изображениях или изображениях, которые отстоят на несколько кадров, которые идентифицируют в моменты отсутствия движения конечностей субъектов.

2. Способ по п. 1, в котором результаты сегментации предыдущих изображений принимают во внимание для присвоения кластеров движений соответствующему субъекту на последующем изображении.

3. Способ по п. 1, в котором указанные изображения сегментируют по границам преобладающего движения грудной клетки.

4. Способ по п. 1 или 3, в котором анализ дыхания индивидуума для каждого субъекта осуществляют посредством исполнения независимого анализа дыхания для каждой идентифицированной указанной наиболее крупной области движения.

5. Способ по п. 4, в котором световой паттерн проецируют на упомянутую общую постель и упомянутый паттерн проецируемого света деформируют так, что микродвижения из-за дыхания одного субъекта или другого субъекта могут извлекаться из изображений.

6. Способ по п. 1, в котором оптический датчик также дополнительно визуализирует окрестность постели в дополнение к указанным двум или более субъектам, спящим в упомянутой общей постели.

7. Способ по п. 6, в котором векторы движения, являющиеся результатом оценки движений, используют для того, чтобы отслеживать субъектов в пределах указанной окрестности постели.

8. Способ по п. 1, в котором упомянутую оценку движений осуществляют посредством по меньшей мере одного алгоритма из группы, состоящей из алгоритма сопоставления блоков, оценки оптической последовательности, оценки максимальной апостериорной вероятности, оценки марковского случайного поля, вычисления среднеквадратической ошибки, вычисления суммы абсолютных разностей, вычисления средних абсолютных разностей, вычисления суммы квадратов ошибок или вычисления суммы абсолютных преобразованных разностей.

9. Устройство для мониторинга движения субъектов, находящихся в окрестности общей постели, причем устройство содержит оптический датчик и блок обработки данных, причем оптический датчик способен визуализировать общую постель и доставлять данные последовательных изображений или изображений, которые отстоят на несколько кадров, в блок обработки данных, причем блок обработки данных способен выполнять компьютерную программу, которая содержит набор инструкций, способных побуждать блок обработки осуществлять способ по любому из пп. 1-8.

10. Устройство по п. 9, дополнительно содержащее средство проецирования светового паттерна на упомянутую общую постель.

11. Машиночитаемый носитель для мониторинга движения субъектов, содержащий сохраненную на нем компьютерную программу, которая содержит набор инструкций, способных предписывать устройству осуществлять способ по любому из пп. 1-8.