Технологический процесс, система и способ компенсации движения при ультразвуковых процедурах

Группа изобретений относится к медицине, к устройству для ультразвуковой визуализации с ультразвуковым датчиком, выполненному с возможностью получения ультразвукового изображения реального времени, которое отображается с контуром или опорным изображением, совмещенным с ультразвуковым изображением реального времени с использованием составного преобразования. Для обновления составного преобразования устройство ультразвуковой визуализации получает базовое трехмерное ультразвуковое (3D-УЗ) изображение, снабженное меткой соответствующей базовой ориентации ультразвукового датчика, измеренной устройством отслеживания датчика, и одно или более опорных 3D-УЗ изображений, каждое из которых снабжено меткой соответствующей опорной ориентации. Вычисляют преобразования для пространственного совмещения каждого опорного 3D-УЗ изображения с базовым 3D-УЗ изображением. Определяют ближайшее опорное 3D-УЗ изображение, соответствующая ориентация которого наиболее близка к текущей ориентации ультразвукового датчика, измеренной устройством отслеживания датчика. Обновляют составное преобразование для включения в него указанного преобразования для пространственного совмещения ближайшего опорного 3D-УЗ изображения с базовым опорным 3D-УЗ изображением. Применение данной группы изобретений обеспечит улучшенный визуальный контроль в реальном времени для хирургической операции под визуальным контролем. 2 н. и 13 з.п. ф-лы, 4 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение, в общем, относится к области хирургии под визуализационным контролем, таким как биопсия, брахитерапия и т.п., к ультразвуковой визуализации, выполняемой для осуществления визуализационного контроля в таких хирургических операциях и т.п.

Уровень техники

Хирургические операции под визуализационным контролем используются для различных целей, таких как операции забора проб тканей (т.е. биопсия), операции целенаправленной лазерной абляции и операции брахитерапии (при которой радиоактивные источники помещаются в целевые места). Ультразвуковая (УЗ) визуализация является распространенным методом визуального контроля хирургических операций, таких как ректальная биопсия или брахитерапия простаты. В данных операциях используется ректальный УЗ датчик, и может быть использована сетка с целью выравнивания иглы для биопсии или другого интервенционного инструмента. Для получения визуализации (почти) в реальном времени обычно применяется двухмерная (2D) УЗ визуализация (обычно называемая "живой" 2D-УЗ визуализацией). Также может быть использована 3D-УЗ визуализация в реальном времени, если скорость съемки достаточна. Для совмещения УЗ изображений реального времени в пространстве осуществляют отслеживание УЗ датчика, например, с помощью электромагнитного (ЭМ) отслеживания, оптического отслеживания (если датчик находится вне пациента) или т.д. Кроме того, чтобы обеспечить контурирование простаты или другого анатомического объекта (объектов), представляющего интерес, в 3D пространстве, получают предоперационное трехмерное (3D) УЗ базовое изображение. В некоторых процедурах получают трехмерное (3D) проектное изображение другим методом, таким как магнитно-резонансная томография (МРТ) или компьютерная томография (КТ), причем контурирование выполняют на проектном изображении, а 3D-УЗ базовое изображение используют в качестве посредника для совмещения проектного изображения (или контура, определенного на проектном изображении) с 2D-УЗ изображением реального времени. В последнем случае проектное изображение обычно получают до проведения хирургической операции под визуальным контролем с целью получения информации для идентификации опухолей или других целей биопсии и контурирования простаты.

Некоторые иллюстративные подходы раскрыты в патенте США №8885897 авторов Xu и др. В одном из таких иллюстративных подходов предоперационное базовое 3D-УЗ изображение сравнивают с 3D диагностическим изображением (например, 3D-MPT) для определения базового преобразования, совмещающего базовые 3D-УЗ и 3D-MPT объемные изображения. Во время хирургической операции получают 2D (или 3D) УЗ изображения реального времени. Одно или более УЗ изображений реального времени сравнивают с базовым 3D-УЗ изображением для определения преобразования коррекции движения. Регулировку изображения выполняют на 3D-MPT изображении с помощью базового преобразования и преобразования коррекции движения для генерирования 3D-MPT изображения с коррекцией движения, которое отображают вместе с (например, слитное с) отображением УЗ изображения реального времени. Таким образом компенсируют движение тканей (т.е. искажение или изменение), которое могло произойти между получением 3D-MPT изображения и последующей УЗ визуализацией в реальном времени.

Ниже раскрыты новые и усовершенствованные системы и способы.

Раскрытие сущности изобретения

В одном аспекте изобретения предложено интервенционное устройство визуализации, содержащее ультразвуковой датчик, устройство ультразвуковой визуализации, функционально соединенное с ультразвуковым датчиком для проведения ультразвуковой визуализации с использованием ультразвукового датчика, дисплей и устройство (28) отслеживания датчика, выполненное с возможностью отслеживания ориентации ультразвукового датчика. Устройство также включает в себя электронный процессор, функционально соединенный с ультразвуковым устройством визуализации, устройством отслеживания датчика и дисплеем. Долговременный носитель данных хранит инструкции, которые могут быть считаны и исполнены электронным процессором данных для управления устройством ультразвуковой визуализации для получения ультразвукового изображения реального времени и управления дисплеем для отображения ультразвукового изображения реального времени вместе с контуром или опорным изображением, которое совмещают с ультразвуковым изображением реального времени с использованием составного преобразования, а также для выполнения других операций, включая: управление устройством ультразвуковой визуализации для получения базового трехмерного ультразвукового (3D-УЗ) изображения, снабженного меткой соответствующей базовой ориентации ультразвукового датчика, измеренной устройством отслеживания датчика для базового 3D-УЗ изображения; управление устройством ультразвуковой визуализации для получения одного или более опорных 3D-УЗ изображений, каждое из которых снабжено меткой соответствующей опорной ориентации ультразвукового датчика, измеренной устройством отслеживания датчика для опорного 3D-УЗ изображения; вычисление преобразования для пространственного совмещения каждого опорного 3D-УЗ изображения с базовым 3D-УЗ изображением; определение ближайшего опорного 3D-УЗ изображения, соответствующая ориентация которого наиболее близка к текущей ориентации ультразвукового датчика, измеренной устройством отслеживания датчика; и обновление составного преобразования для включения в него указанного преобразования для пространственного совмещения ближайшего опорного 3D-УЗ изображения с базовым 3D-УЗ изображением.

В другом аспекте изобретения предложен долговременный носитель данных, хранящий инструкции, которые могут быть считаны и исполнены электронным процессором, который находится в функциональной связи с устройством ультразвуковой визуализации, с ультразвуковым датчиком, с дисплеем и с устройством отслеживания датчика, выполненным с возможностью отслеживания ориентации ультразвукового датчика. Инструкции могут быть считаны и исполнены электронным процессором для выполнения способа визуализации в реальном времени, содержащего этапы: управление устройством ультразвуковой визуализации для получения ультразвукового изображения реального времени; осуществление пространственного совмещения контура или опорного изображения с ультразвуковым изображением реального времени с использованием составного преобразования; отображение ультразвукового изображения реального времени вместе с пространственно совмещенным контуром или опорным изображением на дисплее; и регулировка составного преобразования. Регулировку производят с помощью таких операций, как: управление устройством ультразвуковой визуализации для получения базового трехмерного ультразвукового (3D-УЗ) изображения, снабженного меткой соответствующей базовой ориентации ультразвукового датчика, измеренной устройством отслеживания датчика для базового 3D-УЗ изображения; управление устройством ультразвуковой визуализации для получения одного или более опорных 3D-УЗ изображений, каждое из которых снабжено меткой соответствующей опорной ориентации ультразвукового датчика, измеренной устройством отслеживания датчика для опорного 3D-УЗ изображения; вычисление набора преобразований для пространственного совмещения опорных 3D-УЗ изображений с базовым 3D-УЗ изображением, где N - количество опорных 3D-УЗ изображений, а преобразование предусматривает пространственное совмещение опорного 3D-УЗ изображения, с индексом i, с базовым 3D-УЗ изображением; определение ближайшей опорной ориентации, которая наиболее близка к текущей ориентации ультразвукового датчика, измеренной устройством отслеживания датчика; и обновление составного преобразования до произведения по меньшей мере преобразования Т_1,k и преобразования Т_2,k, где k - индекс определенного ближайшего опорного 3D-УЗ изображения, причем преобразование Т_1,k пространственно совмещает определенное ближайшее опорное 3D-УЗ изображение, с индексом k, с базовым 3D-УЗ изображением, а преобразование Т_2,k пространственно совмещает определенное ближайшее опорное 3D-УЗ изображение с ультразвуковым изображением реального времени.

В другом аспекте изобретения предложен способ ультразвуковой визуализации в реальном времени. Устройство ультразвуковой визуализации используется для получения временного ряда ультразвуковых изображений реального времени с помощью ультразвукового датчика. Контур или опорное изображение пространственно совмещают с временным рядом ультразвуковых изображений реального времени с использованием составного преобразования. Временной ряд ультразвуковых изображений реального времени отображают вместе с пространственно совмещенным контуром или опорным изображением. Составное преобразование регулируют с помощью таких операций как: управление устройством ультразвуковой визуализации для получения базового трехмерного ультразвукового (3D-УЗ) изображения, снабженного меткой соответствующей базовой ориентации ультразвукового датчика, измеренной устройством отслеживания датчика для базового 3D-УЗ изображения; управление устройством ультразвуковой визуализации для получения одного или более опорных 3D-УЗ изображений, каждое из которых снабжено меткой соответствующей опорной ориентации ультразвукового датчика, измеренной устройством отслеживания датчика для опорного 3D-УЗ изображения; вычисление набора преобразований для пространственного совмещения опорных 3D-УЗ изображений с базовым 3D-УЗ изображением, где N - количество опорных 3D-УЗ изображений, а преобразование Т_1,i выполняет пространственное совмещение опорного 3D-УЗ изображения, с индексом i, с базовым 3D-УЗ изображением; определение ближайшей опорной ориентации, которая наиболее близка к текущей ориентации ультразвукового датчика, измеренной устройством отслеживания датчика; и обновление составного преобразования до произведения по меньшей мере преобразования Т_1,k и преобразования Т_2,k, где k - индекс определенного ближайшего опорного 3D-УЗ изображения, причем преобразование T_1,k пространственно совмещает определенное ближайшее опорное 3D-УЗ изображение, с индексом k, с базовым 3D-УЗ изображением, а преобразование Т_2,k пространственно совмещает определенное ближайшее опорное 3D-УЗ изображение с ультразвуковым изображением реального времени. Обновленное составное преобразование используют в пространственном совмещении контура или опорного изображения с ультразвуковыми изображениями реального времени временного ряда ультразвуковых изображений реального времени, полученных после текущего ультразвукового изображения реального времени.

Одно из преимуществ заключается в обеспечении ультразвуковой (УЗ) визуализации в реальном времени применительно к базовому 3D-УЗ изображению и/или ранее полученному 3D-MPT или другому проектному изображению, с улучшенной коррекцией базового 3D-УЗ или 3D-MPT изображения на движение тканей, которое могло произойти до или во время хирургической операции под визуальным контролем.

Еще одно преимущество заключается в обеспечении УЗ визуализации в реальном времени применительно к одному или более контурам органов или других объектов изображения, очерченных на базовом 3D-УЗ изображении и/или ранее полученных 3D-MPT или других проектных изображениях, с улучшенной коррекцией объекта (объектов) изображения на движение тканей, которое могло произойти до или во время хирургической операции под визуальным контролем.

Еще одно преимущество заключается в обеспечении УЗ визуализационного контроля в реальном времени для хирургической операции под визуальным контролем с улучшенной устойчивостью к деформации тканей, вызванной перестановкой ультразвукового датчика.

Еще одно преимущество заключается в обеспечении УЗ визуализационного контроля в реальном времени для хирургической операции под визуальным контролем с улучшенной точностью при перемещении УЗ датчика в различных ориентациях для обеспечения оптимальной перспективы обзора для визуализации хирургической операции.

Еще одно преимущество заключается в обеспечении одного или более из вышеперечисленных преимуществ с сопутствующей быстрой УЗ визуализацией в реальном времени и, следовательно, улучшенным визуальным контролем в реальном времени для хирургической операции под визуальным контролем.

Данный вариант осуществления может обеспечивать одно, два, более двух или все вышеперечисленные преимущества, или не обеспечивать ни одного из них, и/или может обеспечивать другие преимущества, которые станут очевидными для специалиста в данной области техники после прочтения и понимания настоящего раскрытия.

Краткое описание чертежей

Настоящее изобретение может быть раскрыто в виде различных компонентов и компоновок компонентов, а также с помощью различных этапов и порядка этапов. Чертежи представлены исключительно с целью иллюстрирования предпочтительных вариантов осуществления и не должны истолковываться как ограничивающие изобретение.

На фиг. 1 схематически показана система биопсии простаты под ультразвуковым (УЗ) контролем.

На фиг. 2 показаны характеристические изображения с коррекцией движения тканей, сгенерированные частью УЗ контроля системы биопсии простаты под УЗ контролем с фиг. 1.

На фиг. 3 схематически показаны получение и обработка 3D базового и опорного УЗ изображений, выполняемые с помощью системы биопсии простаты под УЗ контролем с фиг. 1.

На фиг 4 схематически показана УЗ визуализация в реальном времени, выполняемая для поддержки хирургической операции биопсии простаты с помощью части УЗ контроля системы биопсии простаты под УЗ контролем с фиг. 1.

Осуществление изобретения

Точность и надежность компенсации движения на основе совмещения изображений зависит от сходства совмещаемых изображений. В некоторых хирургических операциях под УЗ контролем ориентация УЗ датчика может быть отрегулирована хирургом во время операции, чтобы обеспечить предпочтительную точку обзора операции. Это может привести к существенно отличающейся деформации тканей по сравнению с базовым УЗ изображением и, таким образом, затруднить совмещение разнородных УЗ изображения реального времени и базового 3D-УЗ изображения, полученных с различной ориентацией датчика. Такое совмещение особенно затруднено для 2D-УЗ изображений реального времени из-за уменьшения информации об изображении в 2D-УЗ изображениях, на которых должно основываться совмещение.

Подходы, раскрытые в настоящем документе в связи с этой проблемой, обеспечивают множество опорных 3D-УЗ изображений, полученных с различными ориентациями ультразвукового датчика. Одно из них обозначено как базовое 3D-изображение. Каждое опорное 3D-УЗ изображение и базовое 3D-УЗ изображение снабжается меткой ориентации датчика, т.е. ориентацией ультразвукового датчика на момент получения 3D-УЗ опорного или базового изображения. Каждое опорное 3D-УЗ изображение пространственно совмещается с базовым 3D-УЗ изображением. Если также обеспечивается проектное изображение с помощью другого метода (например, 3D-MPT изображение или 3D-KT изображение), то оно пространственно совмещается со специальным базовым изображением с помощью кросс-модального пространственного совмещения изображений (т.е. пространственного совмещения изображений, полученных разными методами визуализации). По мере проведения интервенционной (т.е. хирургической) операции она отслеживается с помощью устройства ультразвуковой визуализации, которое получает УЗ изображения реального времени с частотой, достаточной для обеспечения визуализации простаты или другой хирургической области (практически) в реальном времени. Как правило, УЗ изображения реального времени представляют собой двумерные (2D) изображения, хотя возможны и 3D-УЗ изображения реального времени, если скорость получения 3D-УЗ изображений достаточна (например, при использовании 3D-УЗ датчика).

Первоначально базовое 3D-УЗ изображение используется для наложения хирургически релевантного контура (контуров) (например, контура простаты) и/или слияния УЗ изображения реального времени с проектным изображением или контекстным 3D-УЗ изображением. Альтернативно, поскольку система отслеживания отслеживает ориентацию УЗ датчика во время УЗ визуализации в реальном времени, эта ориентация может быть использована для первоначального выбора ближайшего опорного или базового 3D-УЗ изображения для этой цели. Если выбрано опорное 3D-УЗ изображение, то наложение релевантного контура (контуров) и/или слитного 3D изображения влечет за собой пространственное преобразование с использованием как преобразования между УЗ изображением реального времени и ближайшим опорным 3D-УЗ изображением, так и первоначально сгенерированного преобразования между ближайшим опорным 3D-УЗ изображением и базовым 3D-УЗ изображением.

Это отслеживание в реальном времени с наложением контура и/или слиянием 3D изображения продолжается по мере выполнения интервенционной операции. Однако, если хирург изменит положение УЗ датчика на достаточно большую величину, используемое преобразование будет становиться все более неточным, поскольку предполагаемое сходство между ориентацией УЗ датчика, используемого для получения УЗ изображения реального времени, и ближайшим опорным или базовым 3D-УЗ изображением станет более разнородным. Пока это продолжается, хирург может заметить все большее несоответствие между УЗ изображением реального времени и наложенным контуром (контурами) и/или слитным 3D изображением. В этот момент хирург может нажать на пусковую кнопку или осуществить другой ввод данных пользователя для запуска обновления пространственного совмещения. В рамках этого обновления система отслеживания определяет текущую ориентацию УЗ датчика для УЗ визуализации в реальном времени, и эта ориентация сравнивается с используемыми в качестве меток ориентациями УЗ датчика базового и опорного 3D-УЗ изображений для выбора ближайшего 3D-УЗ изображения. Преобразования обновляются соответствующим образом (например, выбирается новое ближайшее опорное 3D-УЗ изображение, выбирается преобразование между новым ближайшим опорным 3D-УЗ изображением и базовым 3D-УЗ изображением для последующего использования, а затем УЗ изображение реального времени совмещается с новым ближайшим опорным 3D-УЗ изображением).

Таким образом, более точно учитывается движение (например, дифференциальная деформация тканей), вызванное перестановкой хирургом УЗ датчика. Это выполняется эффективным образом сточки зрения вычислений, так как не пересчитывается затратное с точки зрения вычислений кросс-модальное совмещение проектного изображения (например, 3D-MPT или 3D-KT изображения) и базового 3D-УЗ изображения, а также не пересчитываются менее затратные с точки зрения вычислений (но все же несколько затратное) преобразования опорных 3D-УЗ изображений и базовых 3D-УЗ изображений.

В некоторых вариантах осуществления, в отличие от указанного последнего преимущества, может иметься возможность (например, выбираемая хирургом или автоматически запускаемая по недопустимому значению критерия качества пространственного совмещения) получать одно или более дополнительных опорных 3D-УЗ изображений и/или повторно получать ранее полученное опорное 3D-УЗ изображение и рассчитывать (или пересчитывать) преобразование (преобразования) между вновь полученными опорными 3D-УЗ изображением (изображениями) и базовым 3D-УЗ изображением. Такой подход, в случае его применения, обеспечивает механизм корректировки больших перемещений (например, большей деформации тканей) или перестановки УЗ датчика в положение, удаленное от любой из ориентаций опорных 3D-УЗ изображений путем обновления опорного 3D-УЗ изображения (изображений).

На фиг. 1 показан пример интервенционного устройства визуализации, подходящего для реализации вышеизложенного. Устройство 10 ультразвуковой (УЗ) визуализации может представлять собой, например, систему ультразвуковой визуализации EPIQ™ производства Koninklijke Philips N.V., Амстердам, Нидерланды, или другой коммерческой или изготовленной на заказ ультразвуковой системой визуализации. Устройство 10 ультразвуковой визуализации функционально соединено с УЗ датчиком 12 для выполнения ультразвуковой визуализации с помощью ультразвукового датчика 12. Показанный в качестве примера УЗ датчик является ректальным ультразвуковым датчиком 12, который вставлен в прямую кишку пациента 14. (Нижняя половина пациента обрезана на схематичной фиг. 1, чтобы показать вставленный датчик 12, который в противном случае был бы скрыт.Обычно пациент лежит на боку или лицом вверх с поднятыми и зафиксированными на вытяжном элементе стола ногами). Показанный в качестве примера выбор ректального УЗ датчика 12 является традиционным выбором для процедуры УЗ мониторинга простаты; в более общем случае, раскрытые подходы интервенционной визуализации могут использоваться с другими типами УЗ датчиков и/или для мониторинга других типов интервенционных хирургических операций, например, УЗ датчик может быть чрескожным УЗ датчиком, используемым для мониторинга операции на печени или на молочной железе. Показанный в качестве примера ультразвуковой датчик 12 соединен с системой 10 ультразвуковой визуализации по кабельной проводке 15. Иллюстративный ректальный ультразвуковой датчик 12 для использования в операции на простате включает в себя интегрированный узел 16 иглы для биопсии для сбора образцов биопсии. В более общем случае может быть использован любой тип методов биопсии под визуальным контролем, например, трансректальная биопсия под ультразвуковым контролем с использованием интегрированного датчика 12, 16, как показано на фигуре, в которой ультразвуковой датчик вставлен в прямую кишку и получает доступ к простате через стенку прямой кишки; или трансперинеальная биопсия, в которой ультразвуковой датчик проходит в прямую кишку, но игла для биопсии проходит через промежность для доступа к простате (возможно, с использованием стереотаксической координатной сетки или т.п.); или т.д. В некоторых интервенционных операциях игла для биопсии или другой интервенционный инструмент (инструменты) может быть не соединен с УЗ датчиком. Для операции трансректальной биопсии простаты, показанной в качестве примера, пациент 14 лежит на боку (как схематически показано на фиг. 1) на схематически показанной кровати или опоре 18 с подходящими подушками или другими опорами (не показаны). Показанная в качестве примера система 10 ультразвуковой визуализации включает в себя дисплей 20 для отображения ультразвуковых изображений и один или более компонентов пользовательского интерфейса, таких как дисплей 22 пользовательского интерфейса и пользовательская панель 24 управления, включающая в себя пользовательские устройства ввода, такие как клавиатура, специальные кнопки, трекбол или мышь, или другое указательное устройство или т.д. Вместо или в дополнение к указательному устройству, один или оба компонента 20, 22 дисплея могут представлять собой сенсорный дисплей, позволяющий пользователю вводить данные посредством нажатия нужного места на дисплее 20.

На фиг. 1 также показано, что интервенционное устройство визуализации дополнительно включает в себя устройство 28 отслеживания УЗ датчика, которое позволяет отслеживать ориентацию УЗ датчика. Устройство 28 отслеживания УЗ датчика может включать в себя, например, электромагнитное (ЭМ) устройство отслеживания, такое как система отслеживания Aurora® ЕМ, предлагаемая компанией North Digital Inc. (NDI, Онтарио, Канада). ЭМ устройство отслеживания использует ЭМ датчики на отслеживаемых компонентах, например, один или более ЭМ датчиков (не показаны) подходящим образом установлены на или в УЗ датчике 12 для отслеживания его положения и ориентации. В других вариантах осуществления устройство отслеживания УЗ датчика может включать в себя гиродатчик, координатно-измерительную машину (КИМ), конец которой прикреплен к УЗ датчику, а основание закреплено в опорной точке или т.д. В других предполагаемых вариантах осуществления, в которых визуально наблюдают УЗ датчик, например чрескожный УЗ датчик, расположенный вне пациента, устройство 28 отслеживания УЗ датчика может использовать оптическое отслеживание с помощью оптических отражателей или аналогичных средств, установленных на УЗ датчике 12, или дальномерную камеру. Измерение и локализация формы оптоволокна, в котором используются волоконные решетки Брэгга, рэлеевское рассеяние и т.п. определяют форму, положение или ориентацию оптического волокна, и на основании этих данных могут также использоваться данные о положении или ориентации ультразвукового датчика. Это лишь иллюстративные примеры. В приведенных здесь иллюстративных примерах предполагается, что устройство 28 отслеживания УЗ датчика является ЭМ устройством отслеживания.

На фиг. 1 также показано, что интервенционное устройство визуализации дополнительно включает в себя электронный процессор 30, который функционально соединен с устройством 10 УЗ визуализации и дисплеем 20, 22, а также с долговременным носителем 32 данных, хранящим инструкции, которые могут быть считаны и исполнены электронным процессором 30 данных для управления устройством 10 ультразвуковой визуализации для выполнения описанных здесь операций. Электронный процессор 30 может быть выполнен в виде микропроцессора или микроконтроллера устройства 10 УЗ визуализации (как схематично показано на фиг. 1), и/или в виде микропроцессора или микроконтроллера компьютера или другого отдельного электронного устройства обработки данных и/или т.д. Долговременный носитель 32 данных может, в качестве неограничивающего примера, включать в себя жесткий диск или другой магнитное запоминающее устройство, флэш-память, постоянное запоминающее устройство (ПЗУ) или другое электронное запоминающее устройство, оптический диск или другое оптическое запоминающее устройство, различные комбинации этих носителей или т.д.

На фиг. 1 схематически показаны операции процесса ультразвуковой визуализации в реальном времени, выполняемые электронным процессором 30, исполняющим инструкции, считываемые с долговременного носителя 32 данных. Этот процесс включает в себя предоставление пользовательского интерфейса (UI, от англ. user interface) 40 ультразвуковой визуализации в реальном времени, в котором получают ультразвуковое изображение реального времени с помощью устройства 10 ультразвуковой визуализации и УЗ датчика 12. На дисплее 20 отображается ультразвуковое изображение реального времени. Для обеспечения контекста ультразвуковое изображение реального времени отображается вместе с контуром или опорным изображением, совмещенным с ультразвуковым изображением реального времени с использованием составного преобразования 42. Например, для обеспечения интервенционной визуализации, сопровождающей операцию биопсии простаты, контекстом может быть проектное 3D-MPT изображение простаты (или 3D-KT изображения или т.д.), или контур простаты, начерченный на такой 3D-MPT. Составное преобразование 42 может периодически обновляться с помощью процесса 44 обновления преобразования, более подробно описанного в других разделах настоящего описания. В некоторых вариантах осуществления, процесс 44 обновления преобразования запускается устройством 46 управления пуском, управляемым хирургом или другим пользователем. Например, пользовательская панель 24 управления или другое устройство управления пользовательским вводом может функционировать в качестве устройства 46 управления пуском для запуска обновлений пространственного совмещения 42, используемого для пространственного совмещения анатомического контура (контуров) и/или слитного трехмерного опорного изображения с ультразвуковым изображением реального времени. Следует понимать, что устройство 46 управления пуском может принимать различные формы, такие как ручной пульт дистанционного управления по беспроводному радио или с инфракрасным контактом с системой 10 ультразвуковой визуализации, программируемая клавиша, отображаемая на дисплее 22 пользовательского интерфейса (в данном случае сенсорная), специальная кнопка запуска на панели управления 24 и т.д.

Обычно UI 40, реализованный электронным процессором 30, управляет устройством ультразвуковой визуализации 10 для получения и отображения временного ряда ультразвуковых изображений реального времени с наложенным контуром или слитным опорным изображением, совмещенным с каждым ультразвуковым изображением реального времени с использованием составного преобразования. Ультразвуковые изображения реального времени временного ряда предпочтительно получают с достаточно высокой частотой (т.е. "частотой кадров" по аналогии с видеодисплеем), так что UI 40 предоставляет хирургу возможность видеть практически в реальном времени иглу для биопсии или другой интервенционный инструмент, проникающий в простату или другую хирургическую цель. В некоторых устройствах ультразвуковой визуализации ультразвуковые изображения реального времени являются двумерными (2D) ультразвуковыми изображениями реального времени, полученными с помощью УЗ датчика 12, имеющего одномерную матрицу ультразвуковых преобразователей. В других вариантах осуществления при использовании УЗ датчика с 2D матрицей ультразвуковых преобразователей, способного быстро получать 3D-УЗ изображение, предполагается, что ультразвуковые изображения реального времени являются трехмерными ультразвуковыми изображениям реального времени.

Для обеспечения контекста UI 40 визуализации в реальном времени, реализованный электронным процессором 30, также отображает контур или опорное изображение вместе с ультразвуковым изображением реального времени. Например, контур простаты может быть наложен на отображаемое в реальном времени ультразвуковое изображение простаты, и/или 3D-MPT проектное изображение может быть слито с ультразвуковым изображением реального времени, например, с помощью альфа-смешения или т.п. Однако кросс-модальное пространственное совмещение 3D-MPT, 3D-KT или другого не ультразвукового проектного изображения с ультразвуковым изображением реального времени представляет собой процесс, требующий больших вычислительных затрат. Кроме того, в случае 2D ультразвукового изображения реального времени точность такого пространственного совмещения может быть ограничена пространственной информацией, полученной с помощью 2D ультразвукового изображения реального времени (пространственная информация 2D ультразвукового изображения реального времени ограничена плоскостью в пространстве). Для устранения этих трудностей получают базовое трехмерное ультразвуковое (3D-УЗ) изображение с использованием пользовательского интерфейса (UI) 48 получения 3D-УЗ изображения. Работа UI 48 получения 3D-УЗ изображения зависит от типа используемого УЗ датчика 12. Если УЗ датчик 12 содержит 2D матрицу ультразвуковых преобразователей, то он может получать 3D-УЗ изображение напрямую. Если УЗ датчик 12 содержит только линейную матрицу ультразвуковых преобразователей, то пользовательский интерфейс UI 48 получения 3D-УЗ изображения может выдать пользователю инструкцию передвигать УЗ датчик 12 на протяжении пространственного расстояния, чтобы обеспечить трехмерные ультразвуковые эхо-данные для получения 3D-УЗ изображения. Как раскрыто далее, UI 48 получения 3D-УЗ изображения используется для получения базового 3D-УЗ изображения и одного или более опорных 3D-УЗ изображений с разной ориентацией УЗ датчика 12, используемого для получения различных базовых и опорных 3D-УЗ изображений.

Следует отметить, что устройство 28 отслеживания УЗ датчика предусмотрено, например, в качестве ЭМ устройства отслеживания УЗ датчика, которое отслеживает положение и ориентацию УЗ датчика 12 путем измерения пространственных положений одного или более ЭМ датчиков, расположенных на или в УЗ датчике 12. Каждое ультразвуковое изображение реального времени снабжается меткой соответствующей ориентации УЗ датчика 12, измеренной устройством 28 отслеживания УЗ датчика для данного ультразвукового изображения реального времени. Аналогичным образом, каждое базовое 3D-УЗ изображение или опорное 3D-УЗ изображение снабжается меткой соответствующей базовой или опорной ориентации УЗ датчика 12, измеренной устройством 28 отслеживания УЗ датчика для данного базового или опорного 3D-УЗ изображения. Ориентация УЗ датчика 12, соответствующая УЗ изображению, является ориентацией УЗ датчика 12, измеренной устройством 28 отслеживания УЗ датчика для УЗ изображения. Данную соответствующую ориентацию измеряют устройством 28 отслеживания УЗ датчика для УЗ изображения, например, при получении УЗ изображения или незадолго до или после получения УЗ изображения, в то время как ориентация УЗ датчика 12 остается такой же, что используется при получении УЗ изображения. Каждое УЗ изображение снабжается меткой соответствующей ориентации УЗ датчика 12, измеренной устройством 28 отслеживания УЗ датчика для УЗ изображения. Термин "метка" означает, что соответствующая ориентация, измеренная устройством 28 отслеживания УЗ датчика для УЗ изображения, связана с УЗ изображением в устройстве хранения данных, поэтому электронный процессор 30, исполняющий инструкции долговременного носителя 32 данных, может восстановить соответствующую ориентацию и определить, что она является ориентацией УЗ датчика 12, используемой при получении соответствующего УЗ изображения. Снабжение меткой может представлять собой, например, прямое снабжение изображения меткой, например ориентация может храниться в виде метаданных, содержащихся в заголовке файла данных УЗ изображения, или косвенное снабжение, например ориентация может храниться в таблице, электронной таблице или аналогичном документе, который индексирует УЗ изображения и включает в себя колонку, поле или аналогичные элементы, в которых хранится соответствующая ориентация, измеренная устройством 28 отслеживания УЗ датчика для каждого УЗ изображения.

UI 48 получения 3D-УЗ изображения используется для получения 3D-УЗ изображений с различными ориентациями УЗ датчика 12, которые используются для генерации набора 3D преобразований 50, которые используются (частично) для построения составного преобразования 42. В частности, UI 48 получения 3D-УЗ изображения используется для получения базового 3D-УЗ изображения, снабженного меткой соответствующей базовой ориентации, измеренной устройством 28 отслеживания УЗ датчика для базового 3D-УЗ изображения. Затем применяется процесс кросс-модального пространственного совмещения изображений для генерации 3D преобразования 52, обозначенного как Т₀ без потери общности, которое совмещает 3D проектное изображение (например, 3D-МРТ, 3D-KT изображение, 3D-изображение позитронно-эмиссионной томографии или т.д.) с базовым 3D-УЗ изображением. Данное кросс-модальное совмещение изображений является затратным с точки зрения вычислений и/или опционально может повлечь за собой прием данных ввода пользователя, таких как обозначение соответствующих ориентиров на проектном изображении и базовом 3D-УЗ изображении, соответственно, или контурирование соответствующих объектов на проектном изображении и базовом 3D-УЗ изображении, соответственно. Однако кросс-модальное совмещение изображений обычно выполняется только один раз для заданной хирургической операции.

Если УЗ датчик 12 будет находиться в фиксированном положении в течение всей хирургической операции, то достаточно будет получить одно базовое 3D-УЗ изображение и сгенерировать преобразование Т₀ 52, совмещающее 3D проектное изображение с базовым 3D-УЗ изображением. Тогда составное преобразование 42 будет представлять собой произведение преобразования Т₀ и второго преобразования, совмещающего базовое 3D-УЗ изображение с ультразвуковым изображением реального времени. (Следует отметить, что термин "произведение", используемый в данном контексте, обозначает функциональную комбинацию Т₀ и второго преобразования. Этого можно добиться различными способами, например, применив Т₀ к изображению, а затем применив второе преобразование к изображению).

Однако во время хирургической операции хирург может выбрать или изменить положение УЗ датчика 12, чтобы получить разные точки обзора для ультразвуковой визуализации в реальном времени интервенционного инструмента и целевого органа (например, игла для биопсии, проникающая в простату при проведении операции по биопсии простаты). При этом перемещенный УЗ датчик может вызвать движение, например, изменение деформации тканей, вызванное УЗ датчиком 12. Такое движение (т.е. деформация ткани, отличная от деформации для базовой ориентации УЗ датчика 12), в целом, не точно учитывается для базового 3D-УЗ изображения.

Для решения этой проблемы в раскрытых подходах дополнительно используется UI 48 получения 3D-УЗ изображения для получения одного или более опорных 3D-УЗ изображений, каждое из которых снабжено меткой соответствующей опорной ориентации, измеренной устройством 28 отслеживания УЗ датчика для данного опорного 3D-УЗ изображения. Без потери общности, количество полученных опорных 3D-УЗ изображений обозначено в данном документе как N, где N - целое число, большее или равное единице. Затем применяется процесс пространственного совмещения изображений для генерации набора 3D преобразований 54, обозначенных без потери общности, как где N - это количество опорных 3D-УЗ изображений, причем преобразование Т_1,i пространственно совмещает опорное 3D-УЗ изображение, с индексом i, с базовым 3D-УЗ изображением. (Следует отметить, что там, где соответствующий индекс очевиден, используемое преобразование может обозначаться кратко как Т₁). Поскольку это - одномодальное (ультразвук-ультразвук) пространственное совмещение (т.е. пространственное совмещение изображений, полученных одним методом визуализации), оно относительно малозатратно с точки зрения вычислений и в некоторых вариантах осуществления может быть выполнено с использованием автоматизированных процессов определения объектов (например, с помощью угловых детекторов или других подходов градиентной сегментации изображения) для идентификации соответствующих объектов в опорных и базовых 3D-УЗ изображениях, соответственно, что позволяет реализовать совмещение изображений в полностью автоматизированном режиме. В качестве альтернативы можно использовать пользовательский ввод данных, т.е. очертить соответствующие объекты и/или соответствующие контуры.

Составное преобразование 42 включает в себя произведение по меньшей мере преобразования Т_1,k и преобразования Т_2,k. (Опять же, термин "произведение", используемый в настоящем документе в данном контексте, обозначает функциональную комбинацию Т_1,k и Т_2,k, например, посредством применения Т_1,k к базовому 3D-УЗ изображению и последующего применения Т_2,k к базовому 3D-УЗ изображению после его преобразования с помощью Т_1,k. Этого можно добиться различным образом, например, путем применения преобразования Т₀ к изображению, а затем применения второго преобразования к изображению). В данном случае индекс k - индекс опорного 3D-УЗ изображения, соответствующая опорная ориентация которого должна быть близка к текущей ориентации УЗ датчика 12, используемого для получения текущего ультразвукового изображения реального времени. Таким образом, Т_1,k пространственно совмещает базовое 3D-УЗ изображение с опорным 3D-УЗ изображением с индексом к. Преобразование Т_2,k пространственно совмещает опорное 3D-УЗ изображение, с индексом к, с ультразвуковым изображением реального времени. Таким образом, произведение преобразований Т_1,k и Т_2,k приводит к пространственному совмещению базового 3D-УЗ изображения с текущим ультразвуковым изображением реального времени. Если контур или опорное изображение, подлежащее отображению вместе с ультразвуковым изображением реального времени, является 3D проектным изображением или контуром, начерченным на 3D проектном изображении, то составное преобразование 42 дополнительно включает в себя преобразование Т₀, т.е. составное преобразование 42 включает в себя произведение преобразования Т₀, преобразования Т_1,k и преобразования Т_2,k. (Опять же, термин "произведение", используемый в настоящем документе в данном контексте, обозначает функциональную комбинацию Т₀, Т_1,k и Т_2,k, например, посредством применения Т₀ к проектному изображению или контуру, начерченному на проектном изображении, для преобразования в пространственную конструкцию базового 3D-УЗ изображения, и последующего применения Т_1,k для преобразования в пространственную конструкцию опорного 3D-УЗ изображения, с индексом k, а затем применения Т_2,k для преобразования в пространственную конструкцию ультразвукового изображения реального времени).

(В некоторых вариантах осуществления предполагается, что опорным контуром или опорным изображением, подлежащим отображению вместе с ультразвуковым изображением реального времени, может быть базовое 3D-УЗ изображение или контур, начерченный на базовом изображении 3D-УЗ. В этом случае составное преобразование 42 не будет включать в себя Т₀, и в таких вариантах осуществления может не быть 3D проектного изображения, полученного методом визуализации, отличным от ультразвука).

Как описано выше применительно к фиг. 1, обновление составного преобразования 42 для учета изменения положения УЗ датчика 12 влечет за собой определение ближайшей опорной ориентации УЗ датчика 12, которая наиболее близка к текущей ориентации УЗ датчика 12, измеренной устройством 28 отслеживания УЗ датчика. В составном преобразовании 42 Т_1,k обновляется посредством задания к равным индексу опорного 3D-УЗ изображения с ближайшей опорной ориентацией. Для отображения изображений реального времени после этого обновления выполняют преобразование Т_2,k для пространственного совмещения опорного 3D-УЗ изображения, с обновленным индексом к, с ультразвуковым изображением реального времени. Преобразование Т₀ (если используется) не изменяется в результате этого обновления, что позволяет выгодным образом избежать больших вычислительных затрат на повторное вычисление преобразования Т₀.

На фиг. 2 показан результат данного обновления. На фиг. 2, изображение слева, показано базовое 3D-УЗ-изображение простаты с наложенным контуром. В этом иллюстративном примере контур начерчен на базовом 3D-УЗ изображении, но в качестве альтернативы, он может быть начерчен на 3D проектном изображении, например 3D-MPT, и преобразован в пространственную конструкцию базового 3D-УЗ изображения с помощью преобразования Т₀. На фиг. 2, среднее изображение, показано 2D ультразвуковое изображение реального времени с контуром, как на фиг. 1, трансформированным посредством преобразования T_1,,k и Т_2,k в пространственную конструкцию 2D ультразвукового изображения реального времени. Однако, как видно на фиг. 2, существует большое несоответствие между контуром и границей простаты на 2D ультразвуковом изображении реального времени (показано стрелками на фиг. 2, среднее изображение). На фиг. 2, изображение справа, показано то же 2D ультразвуковое изображение реального времени с обновленным контуром, который обновлен посредством обновленного составного преобразования с использованием преобразования Т_1,k с индексом k, обновленным до ближайшего опорного 3D-УЗ изображения. На фиг. 2 также показано последовательное применение преобразований Т₀, T₁ и Т₂, подходящих для реализации составного преобразования, включающего в себя произведение преобразований Т₀, T₁ и Т₂.

Следует отметить, в предельном случае может оказаться, что ближайшая опорная ориентация, которая наиболее близка к текущей ориентации УЗ датчика 12 фактически является базовой ориентацией, соответствующей базовому 3D-УЗ изображению, а не любому из опорных 3D-УЗ изображений. В этом случае преобразование может быть исключено или, с другой точки зрения, преобразование T₁ может быть задано в качестве единичного преобразования таким образом, что применение единичного преобразования T₁ к базовому 3D-УЗ изображению выдает то же базовое 3D-УЗ изображение без изменений.

Базовую ориентацию предпочтительнее всего выбирать в качестве ориентации, наиболее часто используемой при выполнении хирургической операции. Например, при биопсии простаты базовая ориентация может быть, предпочтительно, осевой ориентацией. Дополнительные опорные объемы (опорные 3D-УЗ изображения) получают в той же области, представляющей интерес, что и базовое 3D-УЗ изображение, но с различными ориентациями датчика, что может вызвать различную деформацию тканей и, следовательно, различный вид изображения. Опорные объемы совмещаются с базовым объемом для нанесения вокселей изображения в опорном объеме на воксели изображения в базовом объеме. Поскольку речь идет об объемных совмещениях, для совмещения можно использовать значительное количество информации об изображениях, что позволяет точно и надежно определять преобразования 54, несмотря на различия между объемами, вызванные деформацией.

На фиг. 1 и далее на фиг. 3 описан процесс, выполняемый электронным процессором 30, исполняющим инструкции, считываемые с долговременного носителя 32 данных для генерирования 3D преобразований 50. Процесс получает 3D проектное изображение 60 и опционально получает один или более контуров 62 объектов, начерченных на проектном изображении 60 (если такие контуры подлежат наложению на ультразвуковое изображение реального времени). На этапе 64, выполняемом UI 48 получения 3D-УЗ изображения, получают базовое 3D-УЗ изображение 66, снабженное меткой соответствующей базовой ориентации УЗ датчика 12, измеренной устройством 28 отслеживания УЗ датчика для базового 3D-УЗ изображения 66. На этапе 68, выполняемом UI 48 получения 3D-УЗ изображения, получают одно или более опорных 3D-УЗ изображений 70 (т.е. N таких изображений), каждое из которых снабжено меткой соответствующей опорной ориентации УЗ датчика 12, измеренной устройством 28 отслеживания УЗ датчика для данного опорного 3D-УЗ изображения. (Следует понимать, что этапы 64, 68 можно выполнять в разном порядке). На этапе 72 используют кросс-модальное совмещение изображений для совмещения проектного изображения 60 (и, следовательно, контура 62, если он начерчен на проектном изображении 62) с базовым 3D-УЗ изображением 66. При этом генерируется преобразование Т₀ 52. На этапе 74 применяют одномодальное (ультразвук-ультразвук) совмещение изображений (т.е. совмещение изображений, полученных одним методом визуализации) для совмещения базового 3D-УЗ изображения 66 с каждым опорным 3D-УЗ изображением одного или более опорных 3D-УЗ изображений 70. В результате генерируется набор преобразований 54.

На фиг. 1 и далее на фиг. 4 описан процесс, выполняемый электронным процессором 30, исполняющим инструкции, считываемые с долговременного носителя 32 данных для выполнения ультразвуковой визуализации в реальном времени, включающей в себя обновление 44 составного преобразования 42 в ответ на активирование устройства 46 управления пуском. В примере на фиг. 4 ультразвуковое изображение реального времени полагают двухмерным ультразвуковым изображением реального времени. На этапе 80 получают исходное 2D ультразвуковое изображение реального времени и снабжают меткой соответствующей ориентации УЗ датчика 12. На этапе 82 2D ультразвуковое изображение реального времени пространственно совмещают с ближайшим опорным (или базовым) 3D-УЗ изображением для генерирования 84 преобразования Т₂, и на этапе 86 отображают 2D ультразвуковое изображение реального времени вместе с контуром или опорным изображением. Затем путем итераций этапов 82, 84, 86, 88 генерируют временной ряд 2D изображений реального времени. При выполнении визуализации в реальном времени этого временного ряда пользователь может выбрать или изменить положение УЗ датчика 12, в результате чего изначально выбранное ближайшее 3D-УЗ изображение перестает быть достаточно точным (например, как показано на фиг. 2, среднее изображение). Когда пользователь распознает ухудшение точности, он может активировать устройство 46 запуска обновления, что определяется на этапе 90. На этапе 92 выполняют сравнение текущей ориентации УЗ датчика 12, измеренной устройством 28 отслеживания УЗ датчика, с опорными ориентациями и базовой ориентацией, и выбирают ближайшую опорную ориентацию (с индексом к в данном случае, без потери общности). Затем возвращаются на этап 82 для продолжения ультразвуковой визуализации в реальном времени с использованием обновленного ближайшего 3D-УЗ опорного изображения с индексом k (т.е. преобразование Т₁ обновляют до индекса k, а преобразование Т₂ обновляют до Т_2,k посредством совмещения 2D ультразвукового изображения реального времени и обновленного ближайшего опорного 3D-УЗ изображения с индексом k).

Хотя это и не показано на фиг. 4, опционально, если требуются дополнительные опорные ориентации, которые не были получены в процессе регулировки (фиг. 3), производство временного ряда ультразвуковой визуализации в реальном времени (т.е. итерация этапов 82, 84, 86, 88) может быть прервано, и может быть получено одно или более дополнительных опорных 3D-УЗ изображений с дополнительными опорными ориентациями, и они могут быть совмещены с базовым 3D-УЗ изображением согласно этапам 68, 74 на фиг. 3. Если начальным набором преобразований является 54, то новое преобразование для дополнительной опорной ориентации можно подходящим образом обозначить как T_1N+1. Данное новое получение опорного 3D-УЗ изображения может быть запущено, например, если на этапе 92 ближайшая опорная ориентация УЗ датчика 12 отличается от текущей ориентации УЗ датчика 12 более, чем на пороговое значение. Как отмечалось ранее, если УЗ датчик 12 имеет только линейную матрицу ультразвуковых преобразователей, то работа с ультразвуковым устройством визуализации для получения нового опорного 3D-УЗ изображения может включать в себя побуждение пользователя к ручному управлению УЗ датчиком 12 для выполнения намеченного перемещения УЗ датчика 12 во время получения нового опорного 3D-УЗ изображения.

В иллюстративных вариантах осуществления (например, на фиг. 1) обновление 44 преобразования запускается вручную пользователем с помощью устройства 46 управления пуском. В альтернативных вариантах осуществления предусматривается автоматический запуск обновления 44 преобразования при обнаружении условия запуска. Например, обновление может быть запущено, если на этапе 82 критерий качества совмещения для пространственно совмещенных изображений указывает на низкую точность пространственного совмещения.

В иллюстративных реализациях обновления 44 преобразования в качестве текущего ультразвукового изображения реального времени используется одиночное ультразвуковое изображение реального времени. В альтернативных вариантах осуществления текущее ультразвуковое изображение реального времени может включать в себя множество ультразвуковых изображений реального времени из временного ряда ультразвуковых изображений реального времени, полученных с той же текущей ориентацией. Так, например, на этапе 82 совмещения можно оптимальным образом совмещать множество ультразвуковых изображений реального времени с лучшей точностью, усредненной по множеству ультразвуковых изображений реального времени. Такой подход может повысить точность и снизить вероятность получения ложных результатов, связанных с 2D ультразвуковым изображением реального времени, которое является выбросом значения, и на котором имеются значительные шумы или другие помехи изображения.

Изобретение раскрыто в отношении предпочтительных вариантов осуществления. После прочтения и понимания предшествующего подробного описания специалистами могут быть предложены модификации и изменения. Подразумевается, что изобретение должно толковаться как включающее в себя все такие модификации и изменения в той мере, в какой они входят в объем прилагаемой формулы изобретения или ее эквивалентов.

1. Интервенционное ультразвуковое устройство визуализации, содержащее:

ректальный или чрескожный ультразвуковой датчик (12);

устройство (10) ультразвуковой визуализации, функционально соединенное с ультразвуковым датчиком для осуществления ультразвуковой визуализации с использованием ультразвукового датчика, содержащее дисплей (20, 22);

устройство (28) отслеживания датчика, выполненное с возможностью отслеживания ориентации ультразвукового датчика;

электронный процессор (30), функционально соединенный с устройством ультразвуковой визуализации, устройством отслеживания датчика и дисплеем; и

долговременный носитель (32) данных, хранящий инструкции, которые могут быть считаны и исполнены электронным процессором для управления устройством ультразвуковой визуализации для получения ультразвукового изображения реального времени и управления дисплеем для отображения ультразвукового изображения реального времени вместе с контуром (62) или опорным изображением (60), которые совмещены с ультразвуковым изображением реального времени с использованием составного преобразования (42), а также для осуществления других операций, включающих в себя:

управление устройством ультразвуковой визуализации для получения базового трехмерного ультразвукового (3D-УЗ) изображения (66), снабженного меткой соответствующей базовой ориентации ультразвукового датчика, измеренной устройством отслеживания датчика для базового трехмерного ультразвукового (3D-УЗ) изображения;

управление устройством ультразвуковой визуализации для получения одного или более опорных трехмерных ультразвуковых (3D-УЗ) изображений (70), каждое из которых снабжено меткой соответствующей опорной ориентации ультразвукового датчика, измеренной устройством отслеживания датчика для опорного трехмерного ультразвукового (3D-УЗ) изображения;

вычисление преобразования (54) для пространственного совмещения каждого опорного трехмерного ультразвукового (3D-УЗ) изображения с базовым трехмерным ультразвуковым (3D-УЗ) изображением;

определение ближайшего опорного трехмерного ультразвукового (3D-УЗ) изображения, соответствующая ориентация которого наиболее близка к текущей ориентации ультразвукового датчика, измеренной устройством отслеживания датчика; и

обновление составного преобразования для включения в него указанного преобразования для пространственного совмещения ближайшего опорного трехмерного ультразвукового (3D-УЗ) изображения с базовым трехмерным ультразвуковым (3D-УЗ) изображением.

2. Интервенционное устройство визуализации по п. 1, в котором операция вычисления преобразования (54) для пространственного совмещения каждого опорного 3D-УЗ изображения с базовым 3D-УЗ изображением предусматривает вычисление набора преобразований {T_1,i}i_=1,…,N, где N - количество опорных 3D-УЗ изображений, причем преобразование T_1,i предусматривает пространственное совмещение опорного 3D-УЗ изображения, с индексом i, с базовым 3D-УЗ изображением; при этом обновление составного преобразования (42) включает в себя обновление составного преобразования до произведения по меньшей мере преобразования Т_1,k и преобразования T_2,k, где k - индекс определенного ближайшего опорного 3D-УЗ изображения, причем преобразование T_2,k предусматривает пространственное совмещение определенного ближайшего опорного 3D-УЗ изображения с ультразвуковым изображением реального времени.

3. Интервенционное устройство визуализации по п. 2, в котором: обновленное составного преобразования (42) включает в себя произведение преобразования Т₀, преобразования Т_{1, k} и преобразования Т_2,k, причем преобразование Т₀ предусматривает пространственное совмещение трехмерного изображения (60), полученного методом визуализации, отличным от ультразвукового, с базовым 3D-УЗ изображением; при этом обновление составного преобразования не предусматривает обновление преобразования T₀.

4. Интервенционное устройство визуализации по п. 3, в котором трехмерное изображение (60), полученное способом визуализации, отличным от ультразвукового, включает в себя трехмерное изображение магнитно-резонансной томографии (3D-МРТ) или трехмерное изображение компьютерной томографии (3D-КТ).

5. Интервенционное устройство визуализации по любому из пп. 3, 4, в котором контур (62) или опорное изображение (60), отображаемое вместе с ультразвуковым изображением реального времени, содержит контур (62), заданный на проектном изображении и совмещенный с базовым 3D-УЗ изображением с использованием преобразования T₀.

6. Интервенционное устройство визуализации по любому из пп. 2-5, в котором электронный процессор (30) выполнен с возможностью управления устройством (10) ультразвуковой визуализации для получения и отображения временного ряда ультразвуковых изображений реального времени вместе с контуром (62) или опорным изображением (60), совмещенным с ультразвуковыми изображениями реального времени с использованием составного преобразования (42), причем предусмотрено генерирование преобразования T_2,k обновленного составного преобразования для ультразвуковых изображений реального времени, полученных после обновления составного преобразования посредством пространственного совмещения определенного ближайшего опорного 3D-УЗ изображения, с индексом k, с ультразвуковым изображением реального времени.

7. Интервенционное устройство визуализации по любому из пп. 1-6, в котором запуск обновления составного преобразования (42) предусмотрен при обнаружении активации пользователем устройства (46) управления пуском.

8. Долговременный носитель (32) данных для интервенционного ультразвукового устройства визуализации, хранящий инструкции, которые могут быть считаны и исполнены электронным процессором (30), находящимся в функциональной связи с устройством (10) ультразвуковой визуализации, с ультразвуковым датчиком (12), с дисплеем (20, 22), и с устройством (28) отслеживания датчика, выполненным с возможностью отслеживания ориентации ультразвукового датчика, причем инструкции могут быть считаны и исполнены электронным процессором для выполнения способа визуализации в реальном времени, включающего в себя следующие этапы:

управление устройством ультразвуковой визуализации для получения ультразвукового изображения реального времени;

пространственное совмещение контура (62) или опорного изображения (60) с ультразвуковым изображением реального времени с использованием составного преобразования (42);

отображение ультразвукового изображения реального времени вместе с пространственно совмещенным контуром или опорным изображением на дисплее; и

регулировка составного преобразования с помощью операций, включающих в себя:

управление устройством ультразвуковой визуализации для получения базового трехмерного ультразвукового (3D-УЗ) изображения (66), снабженного меткой соответствующей базовой ориентации ультразвукового датчика, измеренной устройством отслеживания датчика для базового трехмерного ультразвукового (3D-УЗ) изображения;

управление устройством ультразвуковой визуализации для получения одного или более опорных трехмерных ультразвуковых (3D-УЗ) изображений (70), каждое из которых снабжено меткой соответствующей опорной ориентации ультразвукового датчика, измеренной устройством отслеживания датчика для опорного трехмерного ультразвукового (3D-УЗ) изображения;

вычисление набора преобразований {T_1,i}_i=1,…,N (54) для пространственного совмещения опорных трехмерных ультразвуковых (3D-УЗ) изображений с базовым трехмерным ультразвуковым (3D-УЗ) изображением, где N - количество опорных трехмерных ультразвуковых (3D-УЗ) изображений, причем преобразование T_1,i предусматривает пространственное совмещение опорного трехмерного ультразвукового (3D-УЗ) изображения, с индексом i, с базовым трехмерным ультразвуковым (3D-УЗ) изображением;

определение ближайшей опорной ориентации, которая наиболее близка к текущей ориентации ультразвукового датчика, измеренной устройством отслеживания датчика; и

обновление составного преобразования до произведения по меньшей мере преобразования T_1,k и преобразования T_2,k, где k - индекс определенного ближайшего опорного трехмерного ультразвукового (3D-УЗ) изображения, причем преобразование T_1,k предусматривает пространственное совмещение определенного ближайшего опорного трехмерного ультразвукового (3D-УЗ) изображения, с индексом k, с базовым трехмерным ультразвуковым (3D-УЗ) изображением, а преобразование T_2,k предусматривает пространственное совмещение определенного ближайшего опорного трехмерного ультразвукового (3D-УЗ) изображения с ультразвуковым изображением реального времени.

9. Долговременный носитель (32) данных по п. 8, в котором обновление предусматривает обновление составного преобразования (42) до произведения преобразования Т₀ (52), преобразования Т_1,k и преобразования Т_2,k, причем преобразование Т₀ предусматривает пространственное совмещение трехмерного проектного изображения (60), полученного методом визуализации, отличным от ультразвукового, с базовым 3D-УЗ изображением (66); при этом контур (62) или опорное изображение (60), отображаемое вместе с ультразвуковым изображением реального времени, является проектным изображением или контуром, заданным на проектном изображении.

10. Долговременный носитель (32) данных по любому из пп. 8, 9, в котором операции управления устройством (10) ультразвуковой визуализации для получения ультразвукового изображения реального времени, пространственного совмещения контура (62) или опорного изображения (60) с ультразвуковым изображением реального времени и отображения ультразвукового изображения реального времени вместе с пространственно совмещенным контуром или опорным изображением итерационно повторяются для получения и отображения временного ряда ультразвуковых изображений реального времени вместе с контуром или опорным изображением, совмещенным с ультразвуковыми изображениями реального времени с использованием составного преобразования (42).

11. Долговременный носитель (32) данных по п. 10, в котором операции управления устройством (10) ультразвуковой визуализации для получения базового 3D-УЗ изображения (66), управления устройством ультразвуковой визуализации для получения одного или более опорных 3D-УЗ изображений и вычисления набора преобразований {T_1,i}_i=1,...,N (54) выполняют до получения и отображения временного ряда ультразвуковых изображений реального времени.

12. Долговременный носитель (32) данных по п. 11, в котором обновление составного преобразования (42) осуществляют посредством операций, дополнительно включающих в себя: прерывание получения и отображения временного ряда ультразвуковых изображений для управления устройством (10) ультразвуковой визуализации для получения нового опорного 3D-УЗ изображения, снабженного меткой соответствующей ориентации и вычисления нового преобразования T_1,N+1, которое пространственно совмещает новое опорное 3D-УЗ изображение с базовым 3D-УЗ изображением (66); при этом если определенная ближайшая опорная ориентация соответствует новому опорному 3D-УЗ изображению, то составное преобразование обновляется до произведения по меньшей мере преобразования T_1,N+1 и преобразования T_2,N+1, причем преобразование T_2,N+1 пространственно совмещает новое опорное 3D-УЗ изображение с ультразвуковым изображением реального времени.

13. Долговременный носитель (32) данных по п. 12, в котором управление устройством (10) ультразвуковой визуализации для получения нового опорного 3D-УЗ изображения включает в себя побуждение пользователя к ручному манипулированию ультразвуковым датчиком (12) для выполнения намеченного перемещения ультразвукового датчика (12) во время получения нового опорного 3D-УЗ изображения.

14. Долговременный носитель (32) данных по любому из пп. 8-13, в котором запуск регулировки составного преобразования (42) предусмотрен при обнаружении активирования пользователем устройства (46) управления пуском.

15. Долговременный носитель (32) данных по любому из пп. 8-14, в котором управление устройством (10) ультразвуковой визуализации для получения ультразвукового изображения реального времени включает в себя: управление устройством ультразвуковой визуализации для получения ультразвукового изображения реального времени, состоящего из двухмерного ультразвукового изображения.