Инструменты наведения для ручного управления эндоскопом с помощью 3d-изображений, полученных до операции и во время операции

Группа изобретений относится к медицинской технике, а именно к медицинским инструментам наведения для ручного управления эндоскопами. Система наведения для перемещения эндоскопа пользователем относительно системы координат пользователя содержит регистрирующий модуль, выполненный с возможностью регистрации, с помощью процессора, первой совокупности изображений со второй совокупностью изображений с эндоскопа, модуль выбора представляющих интерес областей на первой совокупности изображений и преобразования выбранных представляющих интерес областей в систему координат эндоскопа и модуль наведения, выполненный с возможностью наложения инструментов наведения на вторую совокупность изображений для предоставления пользователю эндоскопа возможности его перемещения к выбранным представляющим интерес областям, при этом модуль наведения включает в себя модуль траектории, выполненный с возможностью наложения траектории текущего движения эндоскопа на вторую совокупность изображений. По второму варианту выполнения система наведения дополнительно содержит модуль привода, выполненный с возможностью ориентации камеры эндоскопа таким образом, чтобы система координат камеры соответствовала системе координат пользователя, чтобы предоставить пользователю эндоскопа возможность его перемещения к выбранным представляющим интерес областям. Способ для наведенного перемещения эндоскопа осуществляется посредством системы наведения. Использование изобретений позволяет расширить арсенал технических средств инструментов для наведения. 3 н. и 23 з.п. ф-лы, 4 ил.

 

Настоящее раскрытие относится к медицинским инструментам и, более конкретно, к инструментам наведения для ручного управления эндоскопами.

Обходное шунтирование коронарной артерии (CABG) представляет собой хирургическое вмешательство для реваскуляризации имеющих непроходимость коронарных артерий. Минимально инвазивное CABG выполняется с помощью эндоскопа в качестве единственной обратной связи в месте оперативного вмешательства. При стандартной настройке для минимально инвазивной процедуры CABG хирург использует обе руки для удержания инструментов, в то время как ассистент удерживает эндоскоп. Эндоскоп обычно вставляется в грудную полость с правой стороны пациента или по заднему-переднему направлению. Это может привести к наличию трех соответствующих систем координат: система координат эндоскопа (например, камеры), система координат хирурга и система координат ассистента. Это может привести к ряду проблем. Например, когда хирург смотрит прямо на экран, камера представляет анатомию для вида сбоку. Кроме того, если бы камера, расположенная на вершине эндоскопа, должна была вращаться на 180°, то изображение отображалось бы на экране инвертированным. Однако в настоящий момент отсутствует способ определения ориентации камеры. Кроме того, ассистент должен отреагировать на инструкции от хирурга относительно того, как перемещать эндоскоп. Указание, такое как "вправо", может соответствовать перемещению эндоскопа влево и вниз, что может быть очень нелогичным для ассистента и может привести к подходу, основанному на методе проб и ошибок. Эти проблемы могут привести к более длительному времени операции и неэффективности рабочего процесса.

В соответствии с настоящими принципами, предоставляются новые решения для инструментов наведения для ручного управления эндоскопом. В одном из вариантов осуществления настоящие принципы могут включать регистрацию полученных до операции и/или во время операции изображений с изображениями эндоскопа. Визуальные подсказки могут быть наложены на вид с эндоскопа в качестве инструментов наведения, чтобы позволить пользователю направлять эндоскоп к выбранным представляющим интерес областям. Движение эндоскопа может отслеживаться в реальном времени с использованием свойств изображения для обновления визуальных подсказок. В другом варианте осуществления настоящие принципы могут предварительно ориентировать камеру эндоскопа таким образом, чтобы система координат камеры соответствовала предпочтительной системе координат пользователя. Камера эндоскопа может быть смонтирована на имеющей привод платформе, которая предварительно ориентирует эндоскоп посредством вращения камеры с целью обеспечения соответствия предпочтительному направлению пользователя. Предпочтительно, настоящие принципы обеспечивают эффективное управление для ручного наведения эндоскопа. Это может привести к сокращению времени операции и более эффективному рабочему процессу.

Система для наведения перемещения эндоскопа содержит регистрирующий модуль, выполненный с возможностью регистрации, с помощью процессора, первого множества изображений со вторым множеством изображений эндоскопа. Модуль выбора выполнен с возможностью получения выбранных представляющих интерес областей в первом множестве изображений и преобразования выбранных представляющих интерес областей в систему координат эндоскопа. Модуль наведения выполнен с возможностью наложения инструментов наведения на второе множество изображений, чтобы предоставить пользователю эндоскопа возможность его перемещения к выбранным представляющим интерес областям.

Система для наведения перемещения эндоскопа содержит регистрирующий модуль, выполненный с возможностью регистрации, с помощью процессора, первого множества изображений со вторым множеством изображений эндоскопа. Модуль выбора выполнен с возможностью получения выбранных представляющих интерес областей в первом множестве изображений и преобразования выбранных представляющих интерес областей в систему координат эндоскопа. Модуль наведения выполнен с возможностью наложения инструментов наведения на второе множество изображений. Модуль привода выполнен с возможностью ориентирования камеры эндоскопа таким образом, чтобы система координат камеры соответствовала системе координат пользователя, чтобы предоставить пользователю эндоскопа возможность его перемещения к выбранным представляющим интерес областям.

Способ для наведения перемещения эндоскопа включает в себя регистрацию, с помощью процессора, первого множества изображений со вторым множеством изображений эндоскопа. Представляющие интерес области выбираются на первом множестве изображений, и выбранные представляющие интерес области преобразуются к системе координат эндоскопа. Инструменты наведения накладываются на второе множество изображений, чтобы предоставить пользователю эндоскопа возможность его передвижения к выбранным представляющим интерес областям.

Эти и другие объекты, функции и преимущества настоящего раскрытия станут очевидными из приведенного ниже описания его иллюстративных вариантов осуществления, которое должно читаться совместно с прилагаемыми чертежами.

Данное раскрытие подробно представит приведенное описание предпочтительных вариантов осуществления в отношении следующих чертежей, причем:

фиг. 1 представляет собой блочную/потоковую диаграмму, демонстрирующую систему для ручного управления эндоскопом, с помощью инструментов наведения, в соответствии с одним и вариантов осуществления;

фиг. 2A представляет собой иллюстративный пример изображения с эндоскопа с наложенными указателями направления, траектории и погрешности направления, в соответствии с одним из вариантов осуществления;

фиг. 2B представляет собой иллюстративный пример изображения с эндоскопа с наложенным указателем погрешности расстояния, отображающим расстояние, в соответствии с одним из вариантов осуществления;

фиг. 2C представляет собой иллюстративный пример изображения с эндоскопа с наложенным указателем погрешности расстояния, использующим виртуальную пружину, в соответствии с одним из вариантов осуществления;

фиг. 3A представляет собой блочную/потоковую диаграмму, демонстрирующую систему для ориентации системы координат камеры эндоскопа в соответствии с системой координат пользователя эндоскопа, в соответствии с одним из вариантов осуществления;

фиг. 3B представляет собой иллюстративный пример изображения с эндоскопа для ориентации системы координат камеры эндоскопа в соответствии с системой координат пользователя эндоскопа, в соответствии с одним из вариантов осуществления; и

фиг. 4 представляет собой блочную/потоковую диаграмму, демонстрирующую способ для ручного управления эндоскопом с помощью инструментов наведения, в соответствии с одним из вариантов осуществления.

В соответствии с настоящими принципами, варианты осуществления для системы, устройства и способа предоставляют инструменты наведения для ручного управления эндоскопом. В одном из вариантов осуществления полученные до операции и/или во время операции изображения регистрируются в изображениях с эндоскопа. Визуальные подсказки могут быть наложены на вид эндоскопа в качестве инструментов наведения, чтобы предоставить пользователю (например, ассистенту хирурга) возможность направления эндоскопа к представляющим интерес областям. Движение эндоскопа может отслеживаться в реальном времени с использованием свойств изображения для обновления визуальных подсказок. Визуальные подсказки могут включать, но не ограничиваются указанным: указатель направления, показывающий направление к выбранным представляющим интерес областям, указатель эндоскопа, показывающий движение эндоскопа, погрешность направления, показывающая угловую погрешность движения эндоскопа по сравнению с направлением к выбранным представляющим интерес областям, указатель погрешности расстояния, показывающий расстояние до выбранных представляющих интерес областей, и контрольные анатомические направления, показывающие анатомические направления. Другие визуальные подсказки возможны и были предусмотрены в рамках настоящих принципов.

В другом варианте осуществления настоящие принципы могут предварительно ориентировать систему координат камеры эндоскопа в соответствии с предпочтительной системой координат пользователя. Для того чтобы предварительно ориентировать камеру в предпочтительном направлении, камера эндоскопа может быть смонтирована на имеющей привод платформе. Пользователь эндоскопа перемещает эндоскоп в физическом направлении, в котором он или она предпочел/предпочла бы в качестве соответствующего, например, направлению "вверх" на изображении. Определяется угол между физическим движением эндоскопа и фактическим направлением "вверх" на изображении, и приведенная в движение платформа вращает камеру соответственно, чтобы предварительно ориентировать систему координат. Следует отметить, что настоящие принципы не ограничиваются направлением "вверх", но могут включать любое направление.

Следует понять, что настоящее изобретение будет описано с точки зрения эндоскопа; однако, идеи настоящего изобретения являются намного более широкими и являются применимыми к любому прибору для наблюдения, который может использоваться при внутреннем просмотре ветвящихся, искривленных, спиральных систем и систем другой формы. В некоторых вариантах осуществления настоящие принципы применяются для отслеживания или анализа сложных биологических или механических систем (например, пищеварительные системы, кровеносные системы, трубопроводные системы, проходы, шахты, каверны и т.д.). В частности, настоящие принципы применимы к внутренним процедурам внутреннего отслеживания биологических систем, процедурам во всех областях организма, таких как легкие, желудочно-кишечный тракт, органы выделения, кровеносные сосуды и т.д. Элементы, изображенные на фигурах, могут быть реализованы в различных комбинациях аппаратного и программного обеспечения и предоставляют функции, которые могут быть комбинированы в единственном элементе или множестве элементов. Варианты осуществления, описанные в настоящем раскрытии, предпочтительно отображаются для просмотра на экране дисплея. Такие дисплеи могут включать любое соответствующее устройство отображения, включая, но не ограничиваясь, портативные дисплеи (например, на карманных персональных компьютерах, телефонных устройствах и т.д.), компьютерные дисплеи, телевизоры, специальные мониторы и т.д. В зависимости от прибора для наблюдения, дисплей может быть предоставлен как часть системы или может являться отдельным модулем или устройством.

Также следует понимать, что оптический прибор для наблюдения может включать множество различных устройств, соединенных или связанных с прибором для наблюдения. Такие устройства могут включать подсветку, режущее устройство, щетку, вакуумный прибор, камеру и т.д. Эти компоненты могут быть сформированы как составляющие единое целое с головкой на дальнем конце прибора для наблюдения. Оптические приборы для наблюдения могут включать камеру, размещенную в наконечнике прибора для наблюдения, или камера может быть размещена на конце оптического кабеля, противоположном наконечнику.

Функции различных элементов, показанных на фигурах, могут быть предоставлены с помощью выделенных аппаратных средств, а также аппаратных средств, способных выполнять программное обеспечение, совместно с соответствующим программным обеспечением. При предоставлении посредством процессора, функции могут быть предоставлены единственным выделенным процессором, единственным совместно используемым процессором, или множеством индивидуальных процессоров, некоторые из которых могут быть использованы совместно. Кроме того, явное использование термина "процессор" или "контроллер" не должно рассматриваться как относящееся исключительно к аппаратным средствам, способным к выполнению программного обеспечения, и может неявно включать, без ограничения, аппаратные средства цифрового сигнального процессора ("DSP"), постоянное запоминающее устройство ("ROM") для хранения программного обеспечения, оперативную память ("RAM"), долговременное запоминающее устройство и т.д.

Кроме того, предполагается, что все утверждения в настоящем раскрытии, в которых излагаются принципы, аспекты и варианты осуществления изобретения, а также его конкретные примеры, охватывают и структурные, и функциональные его эквиваленты. Кроме того, предполагается, что такие эквиваленты включают как известные в настоящий момент эквиваленты, так и эквиваленты, которые будут разработаны в будущем (то есть, любые разработанные элементы, которые выполняют ту же самую функцию, независимо от структуры). Таким образом, например, специалистам в данной области техники будет понятно, что блочные диаграммы, представленные в настоящем документе, показывают концептуальные представления иллюстративных компонентов и/или электрических схем системы, воплощающих принципы изобретения. Аналогично, следует понимать, что любые блок-схемы, поточные диаграммы и т.п. представляют различные процессы, которые могут быть, по существу, представлены на машиночитаемом носителе информации и, таким образом, выполнены компьютером или процессором, независимо от того, показан ли такой компьютер или процессор явно.

Кроме того, варианты осуществления настоящего изобретения могут принимать форму компьютерного программного продукта, к которому может осуществляться доступ с используемого компьютером или читаемого компьютером носителя информации, предоставляющего код программы для использования компьютером или в соединении с компьютером, или любой другой системой выполнения инструкций. Для целей настоящего описания используемый компьютером или машиночитаемый носитель информации может представлять собой любое устройство, которое может содержать, хранить, передавать, распространять или переносить программу для использования системой, прибором или устройством выполнения инструкций, или в соединении с такой системой. Носитель информации может являться электронной, магнитной, оптической, электромагнитной, инфракрасной или полупроводниковой системой (или прибором, или устройством) или средством распространения. Примеры читаемого компьютером носителя информации включают полупроводниковую память или твердотельную память, магнитную ленту, съемную компьютерную дискету, оперативную память (RAM), постоянное запоминающее устройство (ROM), жесткий магнитный диск и оптический диск. Текущие примеры оптических дисков включают постоянную память на компакт-дисках (CD-ROM), перезаписываемые компакт-диски (CD-R/W), Blu-Ray™ и DVD.

Обратимся теперь к чертежам, на которых одинаковые ссылочные позиции представляют одни и те же или аналогичные элементы, и обратимся сначала к фиг. 1, на которой система 100 для ручного управления эндоскопом с помощью инструментов наведения иллюстративно изображена в соответствии с одним из вариантов осуществления. Система 100 может содержать рабочую станцию или консоль 108, с которой процедуры (например, эндоскопия) контролируются и управляются. Рабочая станция 108 предпочтительно содержит один или более процессоров 138 и память 110 для хранения программ и приложений. Следует понимать, что функции и узлы системы 100 могут интегрироваться в одну или более рабочих станций или систем.

В памяти 110 могут храниться изображения 112. Изображения 112 могут включать изображения, полученные до операции и изображения, полученные во время операции, которые могут быть получены от систем, включающих, но не ограничивающихся указанным, систему магнитно-резонансной визуализации (MRI), систему компьютерной томографии (CT), рентгеновскую систему, 3D ультразвуковую систему и т.д. В памяти 110 также могут храниться изображения 114 прибора для наблюдения, полученные от прибора 102 для наблюдения. В предпочтительном варианте осуществления прибор 102 для наблюдения представляет собой эндоскоп для получения изображения до операции из места оперативного вмешательства с камеры 106. Изображения 114 прибора для наблюдения могут, предпочтительно, содержать видео с камеры 106 эндоскопа 102.

Настоящие принципы могут быть применены для различных приложений направляемой посредством эндоскопа минимально инвазивной хирургии. Например, настоящие принципы могут применяться для кардиальной хирургии (например, минимально инвазивное обходное шунтирование коронарной артерии, закрытие дефекта межпредсердной перегородки, пластика/протезирование клапана и т.д.), лапароскопической хирургии (например, гистерэктомии, простатэктомии, операции на желчном пузыре и т.д.), хирургии через естественные отверстия, легочной/бронхоскопической хирургии, нейрохирургических вмешательств и видеоассистированной торакальной хирургии. Однако следует отметить, что идеи настоящих принципов являются намного более широкими, чем указано выше, поскольку прибор 102 для наблюдения может включать любой тип прибора для наблюдения для приложений различных типов. В одном типовом варианте осуществления настоящие принципы могут быть применены для ручного наведения гибкого бура при перемещении в трубопроводе. Также предполагаются и другие применения.

Рабочая станция 108 может содержать один или более дисплеев 134 для просмотра изображений 112, полученных до операции и во время операции, и изображений 114 прибора для наблюдения, включая функции наведения по настоящим принципам. Дисплей 134 может также позволять пользователю взаимодействовать с рабочей станцией 108 и ее компонентами и функциями. Этому дополнительно способствует пользовательский интерфейс 136, который может содержать клавиатуру, "мышь", джойстик, или любое другое периферийное устройство или элемент управления для обеспечения возможности взаимодействия пользователя с рабочей станцией 108.

Исполняемая компьютером программа 116 хранится в памяти 110 рабочей станции 108. Программа 116 может содержать ряд модулей, каждый из которых выполнен с возможностью выполнения различных функций. Следует понимать, что модули могут быть реализованы в различных комбинациях аппаратного и программного обеспечения.

Программа 116 может содержать регистрирующий модуль 118, который выполнен с возможностью выполнения регистрации между изображениями 112 (например, изображениями, полученными до операции и/или изображениями, полученными во время операции), и изображениями 114 прибора для наблюдения (например, эндоскопа). Регистрация выполняется в соответствии с известным в технике.

Программа 116 может также содержать модуль 120 выбора, который выполнен с возможностью обеспечения пользователю (например, хирургу) возможности выбора представляющих интерес областей на изображениях 112, полученных до операции или во время операции (например, CT или рентгеновских). Например, выбранная представляющая интерес область может быть целевой обходной артерией в процедуре обходного шунтирования коронарной артерии. Модуль 120 выбора может включать использование дисплея 134 и пользовательского интерфейса 136 для способствования данному выбору. Модуль 120 выбора затем преобразует выбранную систему координат представляющих интерес областей изображения, полученного до операции и/или во время операции, к системе координат эндоскопа с применением регистрационного преобразования, определенного в регистрационном модуле 118.

Программа 116 может содержать модуль 122 наведения, который выполнен с возможностью использования выбранных представляющих интерес областей в виде с эндоскопа с целью определения множества указателей наведения. Модуль 122 наведения может содержать, но не ограничивается указанным, модуль 124 направления, модуль 126 траектории или модуль 128 расстояния, или все указанные модули. Другие указатели также были предусмотрены.

Модуль 124 направления определяет направление от текущего центра изображения с эндоскопа к выбранным представляющим интерес областям для того, чтобы наложить указатель управления на изображение с эндоскопа. Обратимся ненадолго к фиг. 2A; на ней иллюстративно показано изображение с эндоскопа, содержащее наложенные указатели 200, в соответствии с одним из вариантов осуществления. Указатель 206 направления накладывается на изображение с эндоскопа, чтобы показать направление от центра изображения 202 эндоскопа к выбранным представляющим интерес областям 204.

Модуль 122 наведения с фиг. 1 может содержать модуль 126 траектории для дополнительной помощи пользователю (например, хирургу или ассистенту) в проведении эндоскопа. Обратимся ненадолго к фиг. 2A; след 208 эндоскопа накладывается на изображение с эндоскопа, чтобы показать движение эндоскопа. След 208 генерируется посредством отслеживания положения одной или более анатомических особенностей, которые располагаются в центре изображения с эндоскопа, и наложения стрелки, чтобы отметить данное положение на изображении эндоскопа. В каждом кадре или периоде кадров текущая особенность в центре изображения накладывается со стрелкой на изображении эндоскопа, при этом продолжается отслеживание особенностей, ранее находившихся в центре изображения. Посредством продолжения данного процесса может быть создан визуальный след, чтобы помочь пользователю, регулирующему эндоскоп, в передвижении к выбранным представляющим интерес областям 204.

Направление следа 208 может сравниваться с представляющей интерес целевой областью 204 для отображения угловой погрешности с использованием визуальных подсказок. В одном из вариантов осуществления циферблат 210 может быть изображен с использованием стрелок 212 и 214, чтобы указать угловое смещение между движением 208 эндоскопа и направлением к выбранным представляющим интерес областям 206, соответственно. Другие визуальные подсказки, обозначающие угловую погрешность, также предусматриваются. Например, может быть отображен угол (например, в градусах) между направлением к выбранным представляющим интерес областям 206 и движением эндоскопа 102.

Модуль 122 наведения может также содержать модуль 128 расстояния, который выполнен с возможностью указания расстояния от центра изображения с эндоскопа до представляющих интерес целевых областей. Обратимся ненадолго к фиг. 2B; изображение с эндоскопа с наложенным указателем 220 погрешности расстояния иллюстративно изображено в соответствии с одним из вариантов осуществления. Изображение с эндоскопа может содержать указатель 206 направления, показывающий направление от центра изображения 202 с эндоскопа до представляющей интерес целевой области 204. В одном из вариантов осуществления расстояние 222 (например, в пикселях) может быть показано как число на экране. В другом варианте осуществления линия между центром изображения 202 с эндоскопа и выбранными представляющими интерес областями 204 может быть представлена как функция расстояния. Например, как показано на фиг. 2C, изображение с эндоскопа с наложенным указателем расстояния, использующим виртуальную пружину 240, иллюстративно изображается в соответствии с одним из вариантов осуществления. Виртуальная пружина 242 соединяет центр изображения 202 с эндоскопа с выбранными представляющими интерес областями 204. Виртуальная пружина может становиться растянутой, если расстояние между двумя точками возрастает, и сжатой, если расстояние становится меньше. Также предусматриваются другие указатели погрешности расстояния. Например, цвет линии между центром изображения 202 с эндоскопа и выбранными представляющими интерес областями 204 может изменяться с расстоянием, при этом на экране отображаются условные обозначения, определяющие цвета. В другом варианте осуществления может быть изменена толщина линии при изменении расстояния.

В еще одном варианте осуществления настоящих принципов модуль 124 направления с фиг. 1 может накладывать контрольные анатомические направления на изображение с эндоскопа. При регистрации изображений 112, полученных до операции и во время операции, на изображениях 114 с эндоскопа регистрационным модулем 118, определяются контрольные анатомические направления изображений, полученных до операции и во время операции. Контрольные анатомические направления преобразуются в систему координат эндоскопа и накладываются на изображение с эндоскопа. Контрольные анатомические направления могут включать, но не ограничиваются указанным, направления вперед/назад, влево/право и к голове/к ногам. Также предусмотрены другие анатомические направления.

С использованием наложенных указателей наведения модуля 122 наведения, пользователь управляет эндоскопом 102. Движение эндоскопа отслеживается, как обсуждалось выше, с целью определения того, достиг ли эндоскоп 102 выбранных представляющих интерес областей. Операции модуля 122 наведения повторяются, пока не будут достигнуты выбранные представляющие интерес области. Как только выбранная представляющая интерес область достигается, процесс завершается.

В одном из вариантов осуществления настоящих принципов программа 116 с фиг. 1 может также содержать модуль 130 привода для дополнительного способствования передвижению эндоскопа 102 пользователем. Модуль 130 запуска выполнен с возможностью предварительного ориентирования камеры 106 с применением имеющей привод платформы 104 таким образом, чтобы система координат камеры соответствовала предпочтительной системе координат пользователя. Модуль 130 привода получает направление, которому пользователь предпочитает соответствовать, например, направление "вверх". Например, пользователь может физически переместить эндоскоп в предпочтительное направление "вверх". Угол между физическим движением эндоскопа и реальным направлением вверх на изображении с эндоскопа вычисляется и передается в качестве входного значения на имеющую привод платформу, которая предварительно ориентирует камеру соответствующим образом. Следует отметить, что соответствующее направление не ограничено направлением "вверх", а может включать любое направление.

Обратимся теперь к фиг. 3A; система 300 для ориентации системы координат камеры эндоскопа в соответствии с системой координат пользователя эндоскопа иллюстративно изображена в соответствии с одним из вариантов осуществления. Камера 106 устанавливается на имеющей привод платформе 104 на приборе 102 для наблюдения. Имеющая привод платформа 104 вращается в соответствии с полученным углом, чтобы соответствующим образом ориентировать камеру. Обратимся ненадолго к фиг. 3B, на которой показан иллюстративный пример изображения с эндоскопа с наложенными ориентирующими указателями 320 в соответствии с одним из вариантов осуществления. Пользователь перемещает эндоскоп в предпочтительное направление "вверх", что приводит к передвижению эндоскопа 324 из центра указателя 202 изображения. Угол между движением эндоскопа 324 и реальным направлением "вверх" изображения 322 вычисляется для определения угла 326, который передается приводимую в движение платформу 104, чтобы соответствующим образом ориентировать камеру.

Обратимся теперь к фиг. 4; способ 400 для ручного управления эндоскопом с помощью инструментов наведения иллюстративно изображен в соответствии с одним из вариантов осуществления. В блоке 402 изображения с прибора для наблюдения регистрируются на изображениях, полученных до операции и/или во время операции. Изображения прибора для наблюдения предпочтительно представляют собой изображения с эндоскопа, имеющего камеру для получения изображения места проведения операции во время операции. Изображения с эндоскопа могут, предпочтительно, содержать видео. Изображения, полученные до операции и/или во время операции могут быть получены от систем, включающих, но не ограничивающихся указанным, систему MRI, систему CT, рентгеновскую систему, 3D ультразвуковую систему и т.д. Регистрация выполняется в соответствии со способами известными в технике.

В блоке 404 представляющие интерес области могут быть выбраны на изображениях, полученных до операции и во время операции. В блоке 406 выбранные представляющие интерес области могут быть преобразованы из системы координат изображений, полученных до операции и во время операции, к системе координат изображений с эндоскопа. Это может включать использование регистрационного преобразования, определенного в блоке 402.

В блоке 408 направление от текущего центра изображения с эндоскопа к выбранным представляющим интерес областям определяется на изображении с эндоскопа. С использованием этого направления в блоке 410 указатели наведения накладываются на изображение с эндоскопа. Указатели наведения могут включать, например, но не ограничиваясь указанным, указатель направления, трассировщик эндоскопа, указатель погрешности направления, указатель погрешности расстояния и указатель контрольного анатомического направления. Также предусматриваются другие указатели наведения.

В одном из вариантов осуществления указатели наведения могут включать указатель направления, наложенный на изображение с эндоскопа, чтобы показать направление от текущего центра изображения с эндоскопа к выбранным представляющим интерес областям. В другом варианте осуществления след эндоскопа может быть наложен на изображение с эндоскопа, показывая движение эндоскопа. След может генерироваться посредством отслеживания положения каждой анатомической особенности, которая располагается в центре изображения с эндоскопа, и наложения стрелки для обозначения этого местоположения на изображении с эндоскопа. В каждом кадре или периоде кадров текущая особенность в центре изображения накладывается со стрелкой на изображение эндоскопа, при этом продолжается отслеживание особенностей, ранее находившихся в центре изображения. При продолжении этого процесса положения каждой из особенностей отображаются на изображении с эндоскопа, чтобы предоставить визуальный след, который может помочь пользователю передвигать эндоскоп.

В еще одном варианте осуществления след эндоскопа может сравниваться с направлением к выбранным представляющим интерес областям с целью определения угловой погрешности, представляющей смещение угла между движением эндоскопа и направлением к выбранным представляющим интерес областям. Угловая погрешность может быть наложена на изображение с эндоскопа с использованием визуальных подсказок. В одном из вариантов осуществления циферблат, содержащий две стрелки, накладывается на изображение с эндоскопа, при этом каждая стрелка показывает след эндоскопа и направление к выбранным представляющим интерес областям, соответственно. В другом примере угловая погрешность может быть указана посредством отображения угла (например, в градусах) на изображении с эндоскопа.

В одном из вариантов осуществления указатели наведения могут содержать указатель погрешности расстояния, наложенный на изображение с эндоскопа. При перемещении эндоскопа расстояние от центра изображения с эндоскопа до выбранных представляющих интерес областей изменяется. Погрешность расстояния может быть наложена на изображения с эндоскопа, чтобы помочь пользователю перемещать эндоскоп. Например, расстояние (например, в пикселях) может быть показано как число на экране. В другом примере линия, которая соединяет центр изображения с эндоскопа и выбранные представляющие интерес области, может быть представлена как функция расстояния. Это может включать представление линии в виде виртуальной пружины, которая может становиться растянутой, если расстояние возрастает, и сжатой, если расстояние становится меньше. Альтернативно, цвет или толщина линии могут изменяться в соответствии с расстоянием. Также предусматриваются другие представления погрешности расстояния.

В другом варианте осуществления контрольные анатомические направления могут быть наложены на изображения с эндоскопа. При регистрации изображений, полученных до операции и во время операции (блок 402), контрольные анатомические направления изображений, полученных до операции и во время операции, определяются и преобразуются в вид с эндоскопа. Контрольные анатомические направления могут включать, например, направления вперед/назад, влево/право и к голове/к ногам. Также предусматриваются другие контрольные анатомические направления.

В блоке 414, используя указатели наведения, наложенные на изображение с эндоскопа, пользователь может перемещать эндоскоп с повышенной эффективностью. Движение эндоскопа отслеживается с целью определения, достигается ли представляющая интерес выбранная область. В блоке 416, если выбранная представляющая интерес область не достигнута, повторяются шаги 408, 410, 414 и 416, пока выбранная представляющая интерес область не будет достигнута в блоке 418. Предпочтительно, настоящие принципы помогают пользователю перемещать эндоскоп эффективно, что приводит к сокращению времени операции.

В одном из вариантов осуществления настоящего изобретения, в блоке 412, камера эндоскопа может быть предварительно ориентирована таким образом, чтобы система координат камеры соответствовала предпочтительной системе координат пользователя. Пользователь может указать предпочтительное направление, например, "вверх". Это может включать физическое перемещение пользователем эндоскопа в предпочтительном направление "вверх". Угол между физическим движением эндоскопа и фактическим направлением "вверх" изображения с эндоскопа вычисляется и подается в качестве входных данных на имеющую привод платформу, установленную между камерой и эндоскопом. Имеющая привод платформа вращает камеру в соответствии с полученным углом, чтобы помочь пользователю в перемещении эндоскопа. Следует отметить, что соответствующее направление не ограничено направлением "вверх", а может включать любое направление.

При интерпретации прилагаемой формулы изобретения следует понимать что:

a) слово "содержащее" не исключает наличия других элементов или действий, отличных от включенных в данный пункт формулы изобретения;

b) если элемент указан в единственном числе, это не исключают наличия множества таких элементов;

c) любые условные обозначения в формуле изобретения не ограничивают его объем;

d) несколько "средств" могут быть представлены одним и тем же элементом, или аппаратным обеспечением, или программным обеспечением, реализующим структуру или функцию; и

e) никакая конкретная последовательность действий не является обязательной, если это не указано явно.

После описания предпочтительных вариантов осуществления для инструментов наведения для ручного управления эндоскопом с использованием 3D-изображений, полученных до операции и во время операции (которые предполагаются иллюстративными и не ограничивающими), следует отметить, что изменения и вариации могут быть сделаны специалистами в данной области техники с учетом указанных выше идей. Поэтому следует понимать, что изменения могут быть произведены в конкретных вариантах осуществления, рассмотренных в данном раскрытии, которые находятся в пределах объема вариантов осуществления, раскрытых в настоящем описании, как изложено в прилагаемой формуле изобретения. Таким образом, после описания подробностей и особенностей, требуемых патентными законами, заявляемый объект, который предполагается защитить патентом на изобретение, формулируется в прилагаемой формуле изобретения.

1. Система наведения для наведенного перемещения эндоскопа пользователем относительно системы координат пользователя, причем система наведения содержит:

регистрирующий модуль, выполненный с возможностью регистрации, с помощью процессора, первой совокупности изображений со второй совокупностью изображений с эндоскопа;

модуль выбора, выполненный с возможностью получения выбранных представляющих интерес областей на первой совокупности изображений и преобразования выбранных представляющих интерес областей в систему координат эндоскопа; и

модуль наведения, выполненный с возможностью наложения инструментов наведения на вторую совокупность изображений для предоставления пользователю эндоскопа возможности его перемещения к выбранным представляющим интерес областям, при этом модуль наведения включает в себя модуль траектории, выполненный с возможностью наложения траектории текущего движения эндоскопа на вторую совокупность изображений.

2. Система по п. 1, дополнительно содержащая:

модуль привода, выполненный с возможностью ориентации камеры эндоскопа таким образом, чтобы система координат камеры соответствовала системе координат пользователя.

3. Система по п. 2, в которой модуль привода дополнительно выполнен с возможностью вращения платформы привода, включающей в себя камеру, в соответствии с углом между направлением физического движения эндоскопа и направлением в пределах второй совокупности изображений эндоскопа.

4. Система по п. 1, в которой модуль наведения дополнительно включает в себя модуль направления, выполненный с возможностью наложения указателя направления на вторую совокупность изображений, при этом указатель направления направлен из центра кадра второй совокупности изображений к выбранным представляющим интерес областям.

5. Система по п. 1, в которой траектория, наложенная посредством модуля траектории, создает визуальный след движения эндоскопа.

6. Система по п. 1, в которой траектория генерируется посредством отслеживания положения анатомических особенностей, включающих в себя по меньшей мере одну из анатомических особенностей, расположенных в центре кадра второй совокупности изображений, и анатомических особенностей, ранее располагавшихся в центре кадра.

7. Система по п. 4, в которой модуль направления дополнительно выполнен с возможностью наложения указателя угловой погрешности на вторую совокупность изображений, чтобы показать угловую погрешность между указателем направления и траекторией движения эндоскопа.

8. Система по п. 1, в которой модуль наведения дополнительно включает в себя модуль расстояния, выполненный с возможностью наложения на вторую совокупность изображений указателя расстояния, указывающего расстояние от центра кадра второй совокупности изображений до выбранных представляющих интерес областей.

9. Система по п. 8, в которой указатель расстояния представляет собой линию от центра кадра до выбранных представляющих интерес областей, которая изменяется как функция расстояния.

10. Система по п. 9, в которой линия представляет собой виртуальную пружину, которая представляется сжатой, когда расстояние уменьшается, и растянутой, когда расстояние возрастает.

11. Система по п. 9, в которой цвет линии изменяется как функция расстояния.

12. Система по п. 1, в которой модуль наведения дополнительно включает в себя модуль направления, выполненный с возможностью наложения анатомических направлений первой совокупности изображений на вторую совокупность изображений.

13. Система наведения для перемещения эндоскопа, содержащая:

регистрирующий модуль, выполненный с возможностью регистрации, с помощью процессора, первой совокупности изображений со второй совокупностью изображений с эндоскопа;

модуль выбора, выполненный с возможностью получения выбранных представляющих интерес областей на первой совокупности изображений и преобразования выбранных представляющих интерес областей в систему координат эндоскопа;

модуль наведения, выполненный с возможностью наложения инструментов наведения на вторую совокупность изображений, при этом модуль наведения включает в себя модуль траектории, выполненный с возможностью наложения траектории текущего движения эндоскопа на вторую совокупность изображений; и

модуль привода, выполненный с возможностью ориентации камеры эндоскопа таким образом, чтобы система координат камеры соответствовала системе координат пользователя, чтобы предоставить пользователю эндоскопа возможность его перемещения к выбранным представляющим интерес областям.

14. Система по п. 13, в которой модуль привода дополнительно выполнен с возможностью вращения платформы привода, включающей в себя камеру, в соответствии с углом между первым направлением и фактическим направлением первого направления.

15. Способ для наведенного перемещения эндоскопа пользователем относительно системы координат пользователя, способ, содержащий:

регистрацию, с помощью процессора, первой совокупности изображений со второй совокупностью изображений эндоскопа;

наложение инструментов наведения на вторую совокупность изображений для предоставления пользователю эндоскопа возможности его перемещения к представляющим интерес областям, при этом представляющие интерес области могут быть выбраны на первой совокупности изображений и преобразованы к системе координат эндоскопа; и

при этом наложение включает в себя наложение траектории текущего движения эндоскопа на вторую совокупность изображений.

16. Способ по п. 15, дополнительно содержаний:

ориентацию камеры эндоскопа таким образом, чтобы система координат камеры соответствовала системе координат пользователя.

17. Способ по п. 16, в котором ориентация включает в себя вращение платформы привода, включающей в себя камеру, в соответствии с углом между направлением физического движения эндоскопа и направлением в пределах второй совокупности изображений эндоскопа.

18. Способ по п. 15, в котором наложение дополнительно включает в себя наложение указателя направления на вторую совокупность изображений, при этом указатель направления направлен из центра кадра второй совокупности изображений к выбранным представляющим интерес областям.

19. Способ по п. 15, в котором наложение траектории текущего движения эндоскопа на вторую совокупность изображений создает визуальный след движения эндоскопа.

20. Способ по п. 15, в котором траектория генерируется посредством отслеживания положения анатомических особенностей, включающих в себя по меньшей мере одну из анатомических особенностей, расположенных в центре кадра второй совокупности изображений, и анатомических особенностей, ранее располагавшихся в центре кадра.

21. Способ по п. 18, в котором наложение дополнительно включает в себя наложение указателя угловой погрешности на вторую совокупность изображений, чтобы показать угловую погрешность между указателем направления и траекторией движения эндоскопа.

22. Способ по п. 15, в котором наложение дополнительно включает в себя наложение на вторую совокупность изображений указателя расстояния, указывающего расстояние от центра кадра второй совокупности изображений до выбранных представляющих интерес областей.

23. Способ по п. 22, в котором указатель расстояния представляет собой линию от центра кадра до выбранных представляющих интерес областей, которая изменяется как функция расстояния.

24. Способ по п. 23, в котором линия представляет собой виртуальную пружину, которая представляется сжатой, когда расстояние уменьшается, и растянутой, когда расстояние возрастает.

25. Способ по п. 23, в которой цвет линии изменяется как функция расстояния.

26. Способ по п. 15, в котором наложение дополнительно включает в себя наложение анатомических направлений первой совокупности изображений на вторую совокупность изображений.