Способ автоматизированного управления роботизированным операционным экзоскопом

Изобретение относится к медицине, а именно к способу автоматизированного управления роботизированным операционным экзоскопом на основании механического перемещения видеокамеры экзоскопа с помощью замкнутой системы объединения следящих приводов, образующих внутренний контур и осуществляющих управляемое движение подвижных звеньев манипулятора по его степеням свободы. При этом измеряют угловые координаты подвижных звеньев манипулятора. Формируют входные управляющие воздействия на эту замкнутую систему путем технологических действий хирурга. Изменяют фокусное расстояние оптической системы видеокамеры экзоскопа. Формируют на экране монитора изображение зоны хирургической операции по сигналам с видеокамеры экзоскопа. Входные управляющие воздействия на внутренний контур формируют во внешнем контуре замкнутой через хирурга двухконтурной системы автоматизированного управления процессами наблюдения с помощью роботизированного операционного экзоскопа. Для этого измеряют координаты пространственного положения головы хирурга, наблюдающего за изображением зоны хирургической операции на экране монитора в исходном состоянии и в текущем времени проведения хирургической операции. Формируют сигналы, дополняющие измерения положения головы хирурга в исходном состоянии до сигналов, соответствующих текущему пространственному положению головы хирурга. Преобразуют сигналы дополнения в сигналы, пропорциональные координатам требуемого пространственного положения видеокамеры экзоскопа. Формируют входные управляющие воздействия для локальных следящих приводов перемещения звеньев манипулятора в соответствии с преобразованными сигналами дополнения до сигналов, соответствующих требуемому пространственному положению видеокамеры экзоскопа. Достигается повышение эффективности использования времени операции, снижение трудоемкости работы хирурга за счет уменьшения объема вспомогательных обеспечивающих технологических операций и повышения качества проводимых хирургических операций. 2 з.п. ф-лы, 8 ил.

 

Область техники, к которой относится изобретение

Изобретение относится к области медицинской техники, обеспечивающей информационную поддержку проведения хирургических операций (ассистенция), и может быть использовано для дистанционного управления пространственными параметрами поля зрения операционных экзоскопов.

Уровень техники

Многие годы стандартным интраоперационным оборудованием для выполнения микрохирургических операций, требующих получения изображений операционного поля под большим увеличением, являлись бинокулярные операционные микроскопы.

Особенностью функционирования оптической схемы хирургического микроскопа является тот факт, что, чем больше увеличение и оптическое разрешение, которые использует хирург, тем меньше глубина резкости. В результате при работе на большом увеличении хирургу приходиться постоянно изменять фокусное расстояние оптической системы микроскопа. А при выполнении малоинвазивных и малотравматичных хирургических доступов уменьшение размера трепанационного окна приводит к увеличению количества перемещений микроскопа, и, соответственно, к увеличению времени на настройку фокусировки и общей длительности оперативного вмешательства.

Известен способ управления пространственной ориентацией и фокусным расстоянием оптической системы операционного микроскопа, реализованный в устройстве «Марика» [1]. Способ позволяет хирургу, не прерывая операцию, управлять положением, ориентацией и фокусным расстоянием микроскопа при помощи губ и подбородка.

Недостатком данного способа является то, что работа с микроскопом требует от хирурга постоянного вынужденного, связанного с микроскопом, положения головы и направления взгляда строго в бинокуляры микроскопа, что ведет к низкой эффективности использования времени операции, повышенной утомляемости хирурга и повышению трудоемкости его работы.

Благодаря последним достижениям в области оптики и цифровой обработки видеосигналов, в хирургии все более широкое распространение получают такие визуализационные системы ассистенции при хирургических операциях, как экзоскопы. В отличие от операционного микроскопа, экзоскоп имеет значительно меньшие размеры и закрепляется на расстоянии 25-75 см над операционным полем, что предоставляет хирургу большое пространство для работы, а увеличенное изображение, полученное видеосистемой экзоскопа, выводится на монитор. Также здесь отсутствует требование вынужденного положения головы, привязанное к ракурсу наблюдения и к расстоянию от головы до операционного поля. Однако, известные операционные экзоскопы также унаследовали недостатки операционных микроскопов, связанные с низкой эффективностью использования времени операции и повышенной трудоемкостью работы хирурга.

Известен способ визуализации операционного поля, реализованный в экзоскопической хирургической системе [2]. Устройство содержит систему линз для наблюдения поля хирургического объекта, систему подсветки объекта и систему валов и кронштейнов для ручного управления экзоскопом.

Управление экзоскопом производится хирургом вручную, то есть хирург вынужден прерывать операцию, чтобы перенести кисть руки или кисти обеих рук на рукоятку или рукоятки управления экзоскопом. В соответствии с данным способом хирург, или ассистент хирурга, останавливает операцию, удаляет свои руки с инструментом от рабочей области операции, высвобождает свои руки от инструментов, вручную снимает корпус визуализатора, т.е. видеокамеры (ВК), формирующей поле зрения наблюдения, с механических фиксаторов, наблюдает изображение с ВК на экране монитора, поочередно вручную перемещает корпус ВК относительно степеней свободы механического подвеса (штатива), по результатам визуального анализа изображения выбирает устраивающее его положение ВК во всем пространстве рабочей области наблюдения, механически фиксирует все степени свободы механического подвеса, берет в свои руки инструмент и вновь вводит их в рабочую область операции. Таким образом, значительное количество этапов операции при использовании данного устройства выполняется вручную.

Недостатками данного способа являются низкая эффективность использования времени операции и повышенная трудоемкость работы хирурга.

Известен способ дистанционного управления камерой эндоскопа [3], в соответствии с которым команды на изменение пространственного положения головки цифровой камеры эндоскопа и осветительным модулем формируются с помощью ножных педалей. Способ дистанционного управления при помощи ножной педали включает в себя следующие технологические операции:

- перемещение корпуса камеры и головки камеры влево и вправо;

- перемещение корпуса камеры вверх и вниз;

- изменение фокусного расстояния;

- регулирование интенсивности света.

Недостатком описанного способа управления является повышенная трудоемкость работы оперирующего хирурга в силу необходимость его отвлечения на проведение операций управления с помощью ног.

Известен способ дистанционного управления медицинским экзоскопом, реализуемый устройством, одеваемого на палец или кисть, раскрытый в системе дистанционного управления [4].

Система дистанционного управления, состоит из навигационного оборудования, роботизированной руки, визуализационной системы с камерой и блока ее управления.

Видеокамера экзоскопа, закрепленная на дистальном звене манипулятора, все звенья которого вращаются с помощью приводов, управляемых в замкнутом контуре по сигналам рассогласования между задающими воздействиями и сигналами пространственного положения экзоскопа с навигационного оборудования. Задающие воздействия формируются с помощью устройства, одеваемого на палец хирурга или кисть его руки.

Такое построение данной системы дистанционного управления требует от хирурга, при формировании задающих воздействий на замкнутый контур, изменений положения пальцев для включения соответствующих переключателей во время выполнения оперативного вмешательства. Однако пальцы оперирующего хирурга всегда заняты хирургическими инструментами. В результате использование данной системы при занятости пальцев дополнительными управленческими движениями снижает точность хирургических манипуляций и понижает качество хирургической и особенно микрохирургической техники, где даже низкоамплитудные неверные движения недопустимы.

Недостатками данного способа являются повышенная трудоемкость работы хирурга и снижение качества хирургической техники.

Известен способ ассистенции при выполнении хирургической операции с помощью медицинской навигационный системы, состоящей из локационного измерителя пространственных координат порта доступа и пространственных координат устройства формирования изображения, вычислительного устройства, педали или джойстика, формирующих задающие воздействия, и многозвенного манипулятора с приводами по числу степеней свободы [5] - прототип.

В соответствии с этим способом осуществляют формирование задающего воздействия за счет ручного перемещения порта доступа или за счет механического нажатия педали или механического перемещения движка джойстика, или голосовых команд; отслеживание задающих воздействий за счет угловых перемещений звеньев манипулятора при формировании единичной обратной связи по измерениям пространственных координат устройства формирования изображения (в том числе, видеокамеры - ВК); формирование сигнала на начало отслеживания при превышении ошибкой слежения порогового значения ошибки слежения в течении определенного, заранее заданного, промежутка времени; формирование изображения зоны хирургического интереса на экран с помощью видеосигнала, генерируемого устройством формирования изображения; формирование информации о пространственных координатах устройства формирования изображения по локальным координатам положения звеньев манипулятора друг относительно друга; автоматическое изменение фокусного расстояния оптической схемы устройства формирования изображения после его пространственного перемещения, изменяющего расстояние между ним и зоной хирургического интереса.

Недостатками данного способа являются низкая эффективность использование времени операции и повышенная трудоемкость работы хирурга.

Раскрытие изобретения

Цель изобретения - повышение эффективности использования времени операции, снижения трудоемкости работы хирурга за счет уменьшения объема вспомогательных обеспечивающих технологических операций и повышения качества проводимых хирургических операций.

Поставленная цель достигается тем, что входные управляющие воздействия на замкнутую систему объединения следящих приводов (внутренний контур) формируют во внешнем контуре, замкнутой через хирурга двухконтурной системы автоматизированного управления процессами наблюдения с помощью роботизированного операционного экзоскопа, для чего измеряют координаты пространственного положения головы хирурга, наблюдающего за изображением зоны хирургической операции на экране монитора, как однократно в исходном состоянии, так и в текущем времени проведения хирургической операции, формируют сигналы, дополняющие измерения положения головы хирурга в исходном состоянии до сигналов, соответствующих текущему пространственному положению головы хирурга, преобразуют сигналы дополнения в сигналы, пропорциональные координатам требуемого пространственного положения видеокамеры экзоскопа, формируют входные управляющие воздействия для локальных следящих приводов перемещения звеньев манипулятора в соответствии с преобразованными сигналами дополнения до сигналов, соответствующих требуемому пространственному положению видеокамеры экзоскопа.

Снижение трудоемкости работы хирурга и увеличение эффективности использования времени операции достигается тем, что установка пространственного положения и ориентации ВК производится под управлением движений головы хирурга, который рассматривает изображение зоны хирургической операции на мониторе, и выбирает необходимые и удобные для проведения операции пространственные и оптические параметры изображения так, как если бы хирург оптически наблюдал зону хирургической операции непосредственно прямым взглядом. При этом такой «виртуальный взгляд» может быть в любой точке полусферы над реальной зоной хирургической операции, в то время как голова хирурга, в основном, смотрит перпендикулярно на экран монитора, совершая небольшие, ограниченные размером самой зоны операции, угловые и поступательные движения. Для этого используются технические решения, которые реализуют виртуальное оптическое подобие между полем зрения (ПЗ) взгляда хирурга (по отношению к экрану монитора) и ПЗ ВК (по отношению к реальной зоне хирургической операции).

Принцип повышения эффективности автоматизации процессов управляемого наблюдения хирургом за зоной хирургической операции при минимальном отвлечении внимания хирурга и частей его тела (за исключением головы) заключается в следующем.

В процессе выполнения операции руки хирурга заняты инструментами, размещенными в зоне хирургической операции (ЗХО), и поэтому они должны быть избавлены ото всех обеспечивающих функций, напрямую не связанных с процессом хирургического вмешательства. Следовательно, необходимо создать замкнутый следящий контур, который бы взял на себя функции управления пространственным положением и ориентацией (ППО) ВК экзоскопа без участия частей тела (за исключением головы) хирурга. Данный принцип автоматизированного управления демонстрируется на фиг. 1.

Для всеобъемлющего решения поставленной задачи было бы необходимо связать параметры ППО ВК с угловым положением зрачков глаз хирурга, как это реализуется, например, в нашлемной системе целеуказания и индикации летчика. Но габаритно-массовые размеры таких шлемов на современном уровне развития этой техники неприемлемо затрудняют хирургу проведение операции.

Поэтому в данном техническом решении зрачки глаз заменены на участок головы хирурга, в котором размещаются датчики измерения ППО этого участка головы, может быть, в максимальной близости к глазным впадинам. Естественно, реальные движения зрачков глаз хирурга, могли бы вносить определенные искажения, но они минимизируются за счет относительно больших расстояний от глаз хирурга до экрана монитора.

При таком техническом решении необходимо учитывать не просто ППО глаз и ВК, но и особенности формирования оптических параметров двух различных систем наблюдения: «глаза хирурга - экран монитора» и «ВК - реальная ЗХО». Такой полный учет ведет к значительному усложнению устройства, реализующего данный способ, поэтому в качестве частной реализации способа будем рассматривать устройство автоматизированного управления ППО с упрощенными (редуцированными) блоками выполнения операций данного способа.

Поясним идеологию автоматизации процессов наблюдения с привлечением блок-схемы, показанной на фиг. 2

Хирург I, рассматривая изображение 105 на мониторе 3, сформированное ВК 13, вращательными движениями головы, а также поступательными ее движениями в ортогональных направлениях горизонтальной плоскости, добивается желаемого «ракурса» изображения 100, т.е., по сути, он реализует функции дискриминатора 1 замкнутого автоматизированного контура (внешнего). Выбор желаемого ракурса приводит к конкретному ППО головы хирурга 110 с некоторым запаздыванием 115 от принятия им решения до движения его головы (учитываются блоком 2 динамики движения головы). При этом вместе с головой совершают пространственные движения жестко прикрепленные к ней датчики 4 углов вращения головы ( и ) и ее поступательного перемещения ( и ). Размещение датчиков ориентации и датчиков поступательного перемещения показано на упрощенной схеме движения головы на фиг. 3.

Упрощение конкретной биомеханической модели 5 заключается в принятой в данном устройстве, реализующем предлагаемый способ, гипотезе: голова вращается вокруг стационарной по отношению к голове точки О_г, которая может совершать только строго горизонтальные поступательные движения вдоль осей О_гХ_г и О_гZ_г. Следовательно, вершина радиус-вектора (собственно датчик ориентации, положение которого условно показано на этой схеме, не совпадающей с точкой размещения глазных впадин) в процессе трех поворотов переходит из положения в положение затем в результате двух поступательных движений - в положение Такое смещения радиус-вектора показано на фиг. 4.

При этом необходимо отметить, что расстояние от глаз хирурга до экрана монитора обозначаемое естественно, не равняется расстоянию R_вк от ВК до ЗО, поэтому в самом общем случае переход от перемещения головы хирурга к необходимому перемещению ВК должен производиться в виде нелинейного преобразования. Но, для рассматриваемого частного случая примем упрощающую гипотезу, что ВК в пространстве полностью повторит поступательный путь (с учетом поправочного коэффициента ), пройденный в том же пространстве глазом хирурга, т.е. радиус-вектор переместится из положения через положение окончания вращательного движения головы в конечное положение

В этом случае, преобразуя измеренный сигнал ППО 120 «виртуального глаза» (места расположения на голове датчика углов ориентации) в блоке 5 имитации движения головы хирурга, получаем сигнал 125 пространственного положения «виртуального глаза». Этот сигнал, в свою очередь, преобразуется в блоке 6 согласования ПЗ «виртуального глаза» хирурга и ПЗ ВК, что позволяет определить сигнал 130 требуемого ППО ВК.

Если рассмотреть схему рабочей зоны наблюдения (РЗН), которая показана на фиг. 5, то можно сделать вывод, что в случае необходимости перемещения ВК на достаточно далеко отстоящие друг от друга подобласти РЗН (например из подобласти D_н в подобласть D_к) хирург будет вынужден совершать вращательные движения головой с большой амплитудой (размахом). Такая ситуация приводит к тому, что из поля зрения взгляда хирурга уйдет экран монитора.

Чтобы преодолеть такой недостаток в данном способе предусмотрен второй режим управления ППО ВК. В этом режиме хирург совершает не совместные, а поочередные вращательные движения головы вокруг трех осей, с каждой из которых связан один из трех параметров ППО ВК. Когда амплитуда 135 этого движения головы превышает заранее заданный порог в блоке 7 формируется сигнал 140, приводящий к изменению управляемого в этом случае параметра ППО ВК с постоянной скоростью (перемещение в пространстве), в то время как хирург получает возможность вернуть голову в исходное положение для спокойного наблюдения за изменением изображения зоны хирургической операции. Если ППО ВК устраивает хирурга, он совершает вращательное движение головой вокруг той же оси, но в другую сторону, и когда амплитуда 135 этого движения головы превышает заранее заданный порог (с противоположным знаком) в блоке 7 формируется сигнал 140, останавливающий ВК в ППО в момент времени этого превышения.

Выбор необходимого режима осуществляется хирургом за счет изменения состояния переключающего элемента 8, выходной сигнал которого 150 может быть равен или сигналу 130, или сигналу 140, или сигналу 145.

ВК занимает исходное положение для выполнения первого режима функционирования роботизированного экзоскопа - отслеживания движений головы хирурга.

В зависимости от конкретной кинематической схемы манипулятора (механический подвес ВК) в блоке 9 формируется сигналы 155 пропорциональные требуемым значениям углов поворота по каждой из степеней свободы этого подвеса.

Сигналы 155 является управляющим воздействием на внутренний замкнутый контур III, сигнал 165 рассогласования которого формируется за счет вычитания из сигнала 155 сигнала 160 ППО ВК, за счет его измерения системой датчиков 12, размещенных на звеньях манипулятора с помощью связей 180. Блок 10 формирует структуру взаимного соединения локальных приводов 11 многозвенного манипулятора, в результате чего на каждый из локальных приводов подаются соответствующие сигналы 170 управления. Эти привода, формируя управляющие механические моменты 175, перемещают ВК 13 экзоскопа в требуемое положение. С помощью видеосигнала 185 изображение ЗХО транслируется на монитор 3.

Устройство управления полем зрения ВК экзоскопа в процессе операции представляет собой с точки зрения процессов управления следящую систему (СС), обобщенная структурная схема которой показана на фиг. 6.

Замыкание единичной отрицательной обратной связью в данной СС (внешний контур) производится самим хирургом за счет сравнения реального положения ВК по наблюдаемому на мониторе изображению и по желаемому изображению, формируемому хирургом, исходя из его профессиональных компетенций.

В данном устройстве, реализующим заявляемый способ объектом управления (ОУ) является многозвенный манипулятор со своей, присущей только ему конкретной кинематической схемой, в данном случае манипулятор с 5-ю степенями свободы

Исполнительный орган (ИО) - это набор из пяти электромеханических приводов на основе шаговых двигателей.

Регулятор формирует аппаратурный состав устройства управления, связи между элементами (структура) устройства, режимы и сценарии реализации этих режимов.

В предлагаемом техническом решении дискриминатор, регулятор, ИО и ОУ объединяются в целостную систему, с качествами присущей именно такому составу элементов и связей, которую принято называть объединением следящих приводов (ОСП).

Реализация установки полезной нагрузки (ВК) многозвенного манипулятора в заданную точку РЗН с требуемым ППО ВК по данному способу осуществляется с помощью объединения четырех следящих приводов (Привод I, Привод II, Привод III и Привод IV), которые с точки зрения операции заявляемого способа технически представляют собой единую сложную техническую систему управления - ОСП, структурная схема которого показана на фиг. 7.

Привод V реализует следующую функцию.

Так как объект наблюдения расположен в горизонтальной плоскости, при вращении вокруг вертикальной оси происходит поворот изображения, наблюдаемый на экране монитора. С помощью привода V осуществляется вращение ВК вокруг своей оптической оси на угол, равный углу поворота манипулятора вокруг вертикальной оси.

На фиг. 7 детализирован внутренний контур автоматизированной системы управления роботизированным операционным экзоскопом (структурная схема автоматизированного устройства, реализующего данный способ).

На фиг. 7 показаны локальные замкнутые контура, входящие в состав ОСП:

I-1, II-1, III-1, IV-1 и V-1 - регуляторы пяти локальных следящих приводов (СП);

I-2, II-2, III-2, IV-2 и V-2 - исполнительные двигатели пяти локальных СП;

II-3, III-3 и IV-3 - датчики наклона трех локальных СП;

I-3 и V-3 - датчики угла поворота двух локальных СП;

I-4, II-4, III-4, IV-4 и V-4 - цифровые блоки обработки сигналов измерений;

Остальные обозначения соответствуют обозначениям, приведенным на фиг. 2.

Блоки 3, 4, 5 и 6 являются регулятором внешнего замкнутого контура.

Отрицательная обратная связь внутреннего контура, т.е. ОСП, формируется с помощью датчика IV-3, цифрового блока обработки сигналов измерений IV-4, формирующего сигнал измерения углового положения ВК ϕ_вк. На базовый Привод IV подаются управляющее входное воздействие ϕ_упр.вк, в результате формируется сиг ε_{вн.конт} нал рассогласования внутреннего контура автоматизированной системы управления роботизированным операционным экзоскопом.

На фиг. 8 представлена общая схема проведения операции хирургом в соответствии с предлагаемым способом.

Чертежи

На фиг. 1 показан принцип автоматизированного управления экзоскопом.

На фиг. 2 показана идеологию автоматизации процессов наблюдения с привлечением блок-схемы.

На фиг. 3 показано размещение датчиков ориентации и датчиков поступательного перемещения на упрощенной схеме движения головы.

На фиг. 4 показано смещения радиус-вектора

На фиг. 5 показана схема рабочей зоны наблюдения.

На фиг. 6 показана обобщенная структурная схема следящей системы управления полем зрения ВК экзоскопа.

На фиг. 7 показаны локальные замкнутые контуры, входящие в состав объединения следящих приводов.

На фиг. 8 представлена общая схема проведения операции хирургом в соответствии с предлагаемым способом.

Источники информации

1. Патент RU 2331383, опубл. 20.08.2008.

2. Патент ЕР 2514357 А1, опубл. 24.10.2012.

3. Патент US 5,762,603, опубл. 9.06.1998.

4. Патент US 2017/0239010 А1, опуб. 13.01.2017

5. Патент US 10588699 В2, опубл. 17.03.2020.

1. Способ автоматизированного управления роботизированным операционным экзоскопом, основанный на механическом перемещении видеокамеры экзоскопа с помощью замкнутой системы объединения следящих приводов (внутренний контур), осуществляющих управляемое движение подвижных звеньев манипулятора по его степеням свободы, измерении угловых координат подвижных звеньев манипулятора, формировании входных управляющих воздействий на эту замкнутую систему путем технологических действий хирурга, изменении фокусного расстояния оптической системы видеокамеры экзоскопа, формировании на экране монитора изображения зоны хирургической операции по сигналам с видеокамеры экзоскопа, отличающийся тем, что с целью уменьшения трудоемкости работы хирурга, увеличения эффективности использования времени операции и повышения качества проводимых операций входные управляющие воздействия на замкнутую систему объединения следящих приводов (внутренний контур) формируют во внешнем контуре замкнутой через хирурга двухконтурной системы автоматизированного управления процессами наблюдения с помощью роботизированного операционного экзоскопа, для чего измеряют координаты пространственного положения головы хирурга, наблюдающего за изображением зоны хирургической операции на экране монитора, как однократно в исходном состоянии, так и в текущем времени проведения хирургической операции, формируют сигналы, дополняющие измерения положения головы хирурга в исходном состоянии до сигналов, соответствующих текущему пространственному положению головы хирурга, преобразуют сигналы дополнения в сигналы, пропорциональные координатам требуемого пространственного положения видеокамеры экзоскопа, формируют входные управляющие воздействия для локальных следящих приводов перемещения звеньев манипулятора в соответствии с преобразованными сигналами дополнения до сигналов, соответствующих требуемому пространственному положению видеокамеры экзоскопа.

2. Способ по п. 1, отличающийся тем, что при величинах сигналов дополнения, соответствующих текущему пространственному положению головы хирурга, превышающих постоянный заранее определенный порог, эти сигналы дополнения формируют знак направления угловых движений головы хирурга вокруг трех степеней свободы ее движений, в зависимости от знака направления движений головы хирурга формируют сигналы управления на изменение пространственного положения видеокамеры экзоскопа с постоянной скоростью, фиксируют сигналы требуемого пространственного положения видеокамеры экзоскопа в виде запоминания входного управляющего воздействия внутреннего контура при изменении направления угловых движений головы хирурга.

3. Способ по п. 1, отличающийся тем, что для формирования сигналов, соответствующих требуемому пространственному положению видеокамеры экзоскопа, преобразуют сигналы дополнения, соответствующие текущему пространственному положению головы хирурга, в сигналы, соответствующие пространственным координатам центра поля зрения наблюдения хирурга относительно изображения зоны хирургической операции на экране монитора, формируют сигналы, пропорциональные координатам требуемого пространственного положения видеокамеры экзоскопа, за счет добавления к начальным значениям таких сигналов сигналов дополнения до значений пространственных координат центра поля зрения наблюдения хирурга относительно изображения зоны хирургической операции на экране монитора.