Позиционирование датчика ультразвуковой визуализации

Группа изобретений относится к медицине. Раскрыта система наведения ультразвуковой визуализации для направления оператора системы ультразвуковой визуализации, включающей в себя ультразвуковой датчик, причем система наведения ультразвуковой визуализации содержит приемопередатчик, выполненный с возможностью приема информации о целевом расположении ультразвукового датчика, генерируемой удаленной системой поддержки ультразвуковой визуализации, упомянутая информация о целевом расположении ультразвукового датчика извлекается из потока данных, переданного удаленной системе поддержки ультразвуковой визуализации, упомянутый поток данных включает в себя последовательность ультразвуковых изображений, генерируемых с помощью ультразвукового датчика, и указание для каждого ультразвукового изображения фактического расположения ультразвукового датчика при захвате упомянутого ультразвукового изображения; процессор, соединенный с возможностью связи с приемопередатчиком и запрограммированный генерировать виртуальное изображение ультразвукового датчика в расположением, соответствующем информации о целевом расположении ультразвукового датчика; и устройство отображения, соединенное с возможностью связи с процессором и выполненное с возможностью отображения виртуального изображения. Также раскрыты система поддержки ультразвуковой визуализации и соответствующие способы и компьютерные программные продукты. Применение данной группы изобретений обеспечит возможность пользователю системы ультразвуковой визуализации правильного расположения ультразвукового датчика. 7 н. и 8 з.п. ф-лы, 7 ил.

 

ОБЛАСТЬ ИЗОБРЕТЕНИЯ

Настоящее изобретение относится к системе наведения ультразвуковой визуализации для направления оператора системы ультразвуковой визуализации.

Настоящее изобретение дополнительно относится к системе ультразвуковой визуализации, включающей в себя такую систему наведения ультразвуковой визуализации.

Настоящее изобретение дополнительно относится к системе поддержки ультразвуковой визуализации для выдачи информации поддержки такой системе наведения ультразвуковой визуализации.

Настоящее изобретение дополнительно относится к способу направления работы системы ультразвуковой визуализации, содержащей ультразвуковой датчик.

Настоящее изобретение дополнительно относится к компьютерному программному продукту для осуществления способа направления работы системы ультразвуковой визуализации, содержащей ультразвуковой датчик, в системе наведения ультразвуковой визуализации.

Настоящее изобретение дополнительно относится к способу генерации используемой для наведения информации для работы системы ультразвуковой визуализации, содержащей ультразвуковой датчик.

Настоящее изобретение дополнительно относится к компьютерному программному продукту для осуществления способа генерации используемой для наведения информации для работы системы ультразвуковой визуализации, содержащей ультразвуковой датчик, в системе поддержки ультразвуковой визуализации.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

Ультразвуковая визуализация является интегральной частью средств диагностики, используемых врачами по всему миру. В настоящее время системы ультразвуковой визуализации регулярно используются многими врачами, в том числе врачами в удаленных местах, например, сельских районах развивающихся стран, а также персоналом амбулаторного медицинского обеспечения. Одной из проблем для таких врачей является правильное использование системы ультразвуковой визуализации для получения полезной диагностической информации из захваченных ультразвуковых изображений. Некоторые врачи могут быть не столь же квалифицированными в использовании таких систем ультразвуковой визуализации, как другие, что может поставить под угрозу качество ультразвуковых изображений, захваченных с помощью такой системы, и/или может привести к пропуску представляющей интерес области, которая должна быть визуализирована, что в свою очередь приводит к неправильному диагнозу заболевания или его отсутствию.

US 2003/0083563 A1 раскрывает систему и способ для потоковой передачи необработанных данных медицинских изображений от системы медицинской визуализации к дистанционному терминалу. Система медицинской визуализации получает данные медицинских изображений, генерирует необработанные данные медицинских изображений, а затем передает необработанные данные медицинских изображения на дистанционный терминал. Дистанционный терминал принимает необработанные данные медицинских изображений, обрабатывает данные для воспроизведения медицинского изображения и отображает медицинское изображение оператору у дистанционного терминала.

Эта система уровня техники и способ могут предложить поддержку местному врачу в виде экспертного наведения более опытного врача у дистанционного терминала. Однако с этим решением остается проблема, которая состоит в том, что местный врач может быть неспособен генерировать данные медицинских изображений достаточного качества, например, при несоответствующем расположении ультразвукового датчика системы ультразвуковой визуализации. Это может затруднить предоставление дистанционным экспертом надлежащего наведения местному врачу.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящее изобретение направлено на обеспечение системы наведения ультразвуковой визуализации для поддержки системы ультразвуковой визуализации, содержащей ультразвуковой датчик, который будет помогать пользователю системы ультразвуковой визуализации в правильном расположении ультразвукового датчика.

Настоящее изобретение дополнительно направлено на обеспечение системы ультразвуковой визуализации, содержащей такую систему наведения ультразвуковой визуализации.

Настоящее изобретение дополнительно направлено на обеспечение системы поддержки ультразвуковой визуализации, которая облегчает дистанционному эксперту генерацию инструкции по позиционированию ультразвукового датчика для использования такой системы ультразвуковой визуализации.

Настоящее изобретение дополнительно направлено на обеспечение способа поддержки работы системы ультразвуковой визуализации, содержащей ультразвуковой датчик, который помогает пользователю системы ультразвуковой визуализации в правильном расположении ультразвукового датчика, а также компьютерного программного продукта для осуществления такого способа в системе наведения ультразвуковой визуализации.

Настоящее изобретение дополнительно направлено на обеспечение способа генерации используемой для наведения информации для работы системы ультразвуковой визуализации, содержащей ультразвуковой датчик, который облегчает дистанционному эксперту генерацию инструкций по позиционированию ультразвукового датчика для использования такой системы ультразвуковой визуализации, а также компьютерного программного продукта для осуществления такого способа системы поддержки ультразвуковой визуализации.

В соответствии с одним аспектом предусмотрена система наведения ультразвуковой визуализации для поддержки системы ультразвуковой визуализации, содержащей ультразвуковой датчик, причем система наведения ультразвуковой визуализации содержит приемопередатчик, выполненный с возможностью приема информации о целевом расположении ультразвукового датчика, генерируемой удаленной системой поддержки ультразвуковой визуализации, причем упомянутая информация о целевом расположении ультразвукового датчика извлекается из потока данных, переданного удаленной системе поддержки ультразвуковой визуализации, упомянутый поток данных включает в себя последовательность ультразвуковых изображений, генерируемых с помощью ультразвукового датчика, и указание для каждого ультразвукового изображения фактического расположения ультразвукового датчика при захвате упомянутого ультразвукового изображения; процессор, соединенный с возможностью связи с приемопередатчиком и запрограммированный генерировать виртуальное изображение ультразвукового датчика в расположении, соответствующем информации о целевом расположении ультразвукового датчика; и устройство отображения, соединенное с возможностью связи с процессором и выполненное с возможностью отображения виртуального изображения.

Настоящее изобретение основано на понимании того, что локально генерируемая ультразвуковая последовательность изображений может быть дополнена информацией о расположении ультразвукового датчика. Удаленный эксперт может выбрать конкретную часть последовательности, например, ультразвуковое изображение из последовательности. Расположение ультразвукового датчика, связанное с этим конкретным ультразвуковым изображением из ультразвукового расположения датчика, может быть передано обратно системе наведения ультразвуковой визуализации в качестве целевого расположения для ультразвукового датчика либо напрямую, либо через систему ультразвуковой визуализации, где это целевое расположение отображается как виртуальное изображение ультразвукового датчика с требуемым расположением, так что местный практикующий врач может расположить ультразвуковой датчик в соответствии с этим виртуальным изображением, для помощи местному практикующему врачу в генерации ультразвукового изображения достаточного качества, чтобы облегчить местному практикующему врачу (или удаленному эксперту) постановку правильного диагноза. Кроме того, такая система наведения может использоваться для обеспечения дистанционного обучения, например, студентов, практикующихся на заменителе пациента, например, добровольце, трупе и т.п.

В одном варианте осуществления система наведения ультразвуковой визуализации принимает форму фиксируемого на голове устройства, включающего в себя устройство отображения, так что виртуальное изображение может быть представлено местному практикующему врачу как дополненная реальность, это имеет то преимущество, что практикующий врач может расположить виртуальное изображение на теле пациента, которое должно быть визуализировано, и наложить фактическое положение ультразвукового датчика на виртуальное изображение для получения особенно точного расположения ультразвукового датчика. Альтернативно, система наведения ультразвуковой визуализации может принимать форму планшетного компьютера или (распределенной) компьютерной системы, в которой устройство отображения отделено от преобразователя и/или процессора.

Система ультразвуковой визуализации может быть выполнена с возможностью передачи потока данных удаленной системе поддержки ультразвуковой визуализации. Альтернативно, приемопередатчик может быть дополнительно выполнен с возможностью приема последовательности ультразвуковых изображений от системы ультразвуковой визуализации; генерации информации о фактическом расположении ультразвукового датчика для каждого из ультразвуковых изображений; и передачи упомянутого потока данных дистанционной системе поддержки ультразвуковой визуализации. Это имеет то преимущество, что дистанционная система поддержки ультразвуковой визуализации должна осуществлять связь только с одной системой. В другом варианте осуществления система ультразвуковой визуализации выполнена с возможностью ретрансляции потока данных, генерируемых системой наведения ультразвуковой визуализации, системе поддержки ультразвуковой визуализации и/или ретрансляции информации о целевом расположении ультразвукового датчика, генерируемой дистанционной системой поддержки ультразвуковой визуализации, преобразователю системы наведения ультразвуковой визуализации.

В одном варианте осуществления последовательность ультразвуковых изображений содержит последовательность 2-D срезов для создания 3-D ультразвукового объема.

По меньшей мере в некоторых вариантах осуществления процессор может быть выполнен с возможностью извлечения указания относительно фактического расположения ультразвукового датчика для каждого среза на основании модели тела пациента. Например, процессор может быть выполнен с возможностью повторного вычисления расположения ультразвукового датчика для среза 3-D изображения объема из расположения датчика во время захвата 3-D изображения объема и направления 3-D среза.

Альтернативно, система наведения ультразвуковой визуализации может дополнительно содержать детектор расположения датчика, выполненный с возможностью генерации указания фактического расположения ультразвукового датчика при захвате ультразвукового изображения в упомянутой последовательности. Например, детектор расположения датчика может содержать камеру, выполненную с возможностью захвата изображения фактического расположения ультразвукового датчика при генерации ультразвукового изображения упомянутой последовательности. Альтернативно, ультразвуковой датчик может включать в себя один или более датчиков ориентации, выполненных с возможностью генерации информации о расположении ультразвукового датчика, например, один или более акселерометров, гироскопов, датчиков Холла и т.п.

В одном варианте осуществления приемопередатчик дополнительно выполнен с возможностью приема одного из ультразвуковых изображений упомянутой последовательности от удаленной системы поддержки ультразвуковой визуализации, упомянутое ультразвуковое изображение включает в себя выделенную область; и устройство отображения дополнительно выполнено с возможностью отображения ультразвукового изображения, включающего в себя выделенную область. Путем совместного использования выделенных изображений системой поддержки ультразвуковой визуализации и системой наведения ультразвуковой визуализации местному практикующему врачу может оказывать помощь удаленный эксперт в оценке ультразвуковых изображений, захваченных с помощью системы ультразвуковой визуализации, тем самым дополнительно помогая диагностировать пациентов.

В соответствии с другим аспектом предусмотрена система ультразвуковой визуализации, содержащая ультразвуковой датчик и систему наведения ультразвуковой визуализации любого из описанных в настоящем описании вариантов осуществления. Такая система ультразвуковой визуализации выгодна благодаря предоставлению наведения расположения ультразвукового датчика системой наведения ультразвуковой визуализации, тем самым обеспечивая систему ультразвуковой визуализации, которая может соответствующим образом более легкой в эксплуатации.

В соответствии с еще одним аспектом предусмотрена система поддержки ультразвуковой визуализации, содержащая приемопередатчик, выполненный с возможностью приема потока данных, включающих в себя последовательность ультразвуковых изображений, генерируемых с помощью ультразвукового датчика системы ультразвуковой визуализации, и указание для каждого ультразвукового изображения фактического расположения ультразвукового датчика при захвате упомянутого ультразвукового изображения; процессор, соединенный с возможностью связи с приемопередатчиком; устройство отображения, соединенное с возможностью связи с процессором; и пользовательский интерфейс, соединенный с возможностью связи с процессором; при этом процессор запрограммирован управлять устройством отображения для отображения последовательности ультразвуковых изображений; принимать пользовательский ввод от пользовательского интерфейса, указывающий выбор изображения из упомянутой последовательности ультразвуковых изображений; и генерировать информацию о целевом расположении ультразвукового датчика из принятых указаний фактического расположения ультразвукового датчика и принятого выбора изображения, при этом приемопередатчик дополнительно выполнен с возможностью передачи целевого расположения ультразвукового датчика удаленной системе наведения ультразвуковой визуализации, связанной с системой ультразвуковой визуализации.

Такая система поддержки ультразвуковой визуализации позволяет эксперту по ультразвуковой визуализации принимать поток данных ультразвуковых изображений из удаленного местоположения, так что эксперт может обеспечить пользовательский ввод, указывающий предпочтительное ультразвуковое изображение, например, ультразвуковое изображение, обеспечивающее наилучшее расположение датчика для визуализации представляющей интерес области исследуемого пациента, в последовательности, из которого система поддержки ультразвуковой визуализации может определить требуемое расположение ультразвукового датчика для захвата предпочтительного ультразвукового изображения из информации о расположении для каждого из ультразвуковых изображений расположения ультразвукового датчика, в котором ультразвуковое изображение было захвачено, включенное в поток данных, и передавать это расположение ультразвукового датчика дистанционной системе наведения ультразвуковой визуализации.

Установленный пользователем выбор изображения может содержать выбранное ультразвуковое изображение из последовательности ультразвуковых изображений или 2-D изображения-среза 3-D ультразвукового объема, заданного последовательностью ультразвуковых изображений. Такой 2-D изображение-срез не обязательно должен присутствовать в принятом потоке данных, а вместо этого он может генерироваться экспертом путем перенарезания 3-D ультразвукового объема в направлении, отличающемся от исходного направления нарезки 2-D изображений-срезов в потоке данных.

Процессор системы поддержки ультразвуковой визуализации может быть дополнительно запрограммирован принимать дополнительный пользовательский ввод от пользовательского интерфейса, указывающий выбранную область в пределах выбранного ультразвукового изображения из упомянутой последовательности ультразвуковых изображений; и генерировать выделенную область в выбранном ультразвуковом изображении, соответствующем выбранной области, при этом приемопередатчик может быть дополнительно выполнен с возможностью передачи выбранного ультразвукового изображения, включающего в себя выделенную область, удаленной системе наведения ультразвуковой визуализации. Таким образом, местного практикующего врача, эксплуатирующего систему ультразвуковой визуализации, может дополнительно направлять дистанционный эксперт путем выделения интересующих областей на конкретном ультразвуковом изображении, созданном с помощью системы ультразвуковой визуализации, для помощи местному практикующему врачу в фокусировании на соответствующих частях этого ультразвукового изображения.

В соответствии с другим аспектом обеспечен способ поддержки работы системы ультразвуковой визуализации, содержащей ультразвуковой датчик; причем способ содержит прием целевой информации о расположении ультразвукового датчика, полученной из потока данных, включающего в себя последовательность ультразвуковых изображений, генерируемых с помощью ультразвукового датчика, и указания для каждого ультразвукового изображения фактического расположения ультразвукового датчика при захвате упомянутого ультразвукового изображения от удаленной системы поддержки ультразвуковой визуализации; генерацию виртуального изображения ультразвукового датчика в расположении, соответствующем информации о целевом расположении ультразвукового датчика; и отображение виртуального изображения. Как объяснялось выше, это помогает местному практикующему врачу в правильном расположении ультразвукового датчика на теле пациента, тем самым увеличивая вероятность правильной диагностики пациента системой ультразвуковой визуализации и местным практикующим врачом.

Способ может дополнительно содержать прием последовательности ультразвуковых изображений от системы ультразвуковой визуализации; генерацию информации о фактическом расположении ультразвукового датчика для каждого из ультразвуковых изображений; и передачу упомянутого потока данных удаленной системе поддержки ультразвуковой визуализации, это имеет то преимущество, что удаленная система поддержки ультразвуковой визуализации может осуществлять связь с одной точкой контакта, то есть одной системой.

В соответствии с другим аспектом предусмотрен компьютерный программный продукт, содержащий машиночитаемый носитель данных, имеющий воплощенные в нем машиночитаемые инструкции программы, которые, будучи исполняемыми на процессоре системы наведения ультразвуковой визуализации, как описано в этой заявке, заставляют процессор осуществлять этапы способа поддержки эксплуатации системы ультразвуковой визуализации, содержащей ультразвуковой датчик, как описано в этой заявке.

В соответствии с другим аспектом обеспечен способ генерации используемой для наведения информации для работы системы ультразвуковой визуализации, содержащей ультразвуковой датчик, способ содержит прием потока данных, включающего в себя последовательность ультразвуковых изображений, генерируемых с помощью ультразвукового датчика, и указания для каждого ультразвукового изображения фактического расположения ультразвукового датчика при захвате упомянутого ультразвукового изображения; отображение последовательности ультразвуковых изображений; прием пользовательского ввода, указывающего выбор изображения из упомянутой последовательности ультразвуковых изображений, при этом выбор изображения содержит выбранное ультразвуковое изображение из последовательности ультразвуковых изображений или 2-D изображение-срез 3-D ультразвукового объема, заданного последовательностью ультразвуковых изображений; генерацию информации о целевом расположении ультразвукового датчика из принятых указаний фактического расположения ультразвукового датчика и принятого пользовательского ввода; и передачу информации о целевом расположении ультразвукового датчика удаленной системе наведения ультразвуковой визуализации, связанной с системой ультразвуковой визуализации. Как объяснялось выше, такой способ способствует эксперту в местоположении, удаленном относительно системы ультразвуковой визуализации, обеспечивать наведение относительно того, как система ультразвуковой визуализации должна правильно использоваться, то есть путем обеспечения целевого расположения ультразвукового датчика.

В соответствии с другим аспектом предусмотрен компьютерный программный продукт, содержащий машиночитаемый носитель данных, имеющий воплощенные в нем машиночитаемые инструкции программы, которые, будучи исполняемыми на процессоре системы поддержки ультразвуковой визуализации, как описано в этой заявке, заставляют процессор осуществлять этапы способа генерации используемой для наведения информации для работы системы ультразвуковой визуализации, содержащей ультразвуковой датчик, как описано в этой заявке.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления изобретения описаны более подробно и посредством неограничивающих примеров со ссылкой на прилагаемые чертежи, на которых:

фиг. 1 схематично изображает принцип в соответствии с вариантами осуществления настоящего изобретения;

фиг. 2 схематично изображает один аспект дополнительного варианта осуществления настоящего изобретения;

фиг. 3 схематично изображает систему наведения ультразвуковой визуализации в соответствии с одним вариантом осуществления;

фиг. 4 схематично изображает систему наведения ультразвуковой визуализации в соответствии с другим вариантом осуществления;

фиг. 5 является блок-схемой последовательности операций способа поддержки ультразвуковой визуализации в соответствии с одним вариантом осуществления;

фиг. 6 схематично изображает систему поддержки ультразвуковой визуализации в соответствии с одним вариантом осуществления; и

фиг. 7 является блок-схемой последовательности операций способа наведения ультразвуковой визуализации в соответствии с одним вариантом осуществления.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Следует понимать, что фигуры являются исключительно схематичными и нарисованными не в масштабе. Также следует понимать, что одинаковые номера позиций используются на всех фигурах для обозначения одинаковых или подобных частей.

В настоящей заявке там, где делается ссылка на информацию о расположении для ультразвукового датчика, предполагается, что она охватывает информацию, из которой могут быть извлечены ориентация и местоположение ультразвукового датчика. Например, такая информация о расположении может включать в себя информацию о местоположении, которая может быть задана в декартовых координатах (координаты x, y, z) или их эквиваленте, а также угловая информация, которая может быть задана в углах Эйлера (R_x, R_y, R_z) или их эквиваленте. Может использоваться любое подходящее представление такого расположения.

Фиг. 1 схематично изображает принцип в соответствии с вариантами осуществления настоящего изобретения. В соответствии с этим принципом врач в первом местоположении 100, таком как сельская местность, амбулатория, такая как скорая помощь и т.д. и т.п., может использовать ультразвуковой датчик 11 системы ультразвуковой визуализации на части тела пациента 1 для генерации последовательности ультразвуковых изображений 15. Врач в первом местоположении 100 может не иметь опыта в использовании такой системы ультразвуковой визуализации и поэтому может быть не уверен в правильной эксплуатации, то есть расположении ультразвукового датчика 11 относительно части тела пациента 1.

В соответствии с вариантами осуществления настоящего изобретения последовательность ультразвуковых изображений 15, генерируемая врачом в первом местоположении 100, может передаваться в потоке данных эксперту в использовании такой системы ультразвуковой визуализации, находящемуся во втором местоположении 150, которое может быть местоположением, которое является географически удаленным относительно первого местоположения 100 до такой степени, что эксперт во втором местоположении 150 не может с легкостью оказать помощь врачу в первом местоположении 100 лично. Например, первое местоположение 100 может быть сельской местностью, а второе местоположение 150 может быть больницей или другим медицинским учреждением в городе на относительно большом расстоянии от сельской местности.

Каждое ультразвуковое изображение 15 в потоке данных дополнено информацией о расположении ультразвукового датчика 11 при захвате ультразвукового изображения 15, например, о расположении относительно части тела пациента 1. Расположение ультразвукового датчика 11 может определяться любым подходящим образом, как будет описано более подробно ниже. Информация о расположении ультразвукового датчика может быть включена в поток данных любым подходящим образом, например, каждое ультразвуковое изображение 15 может быть дополнено метаданными 16, устанавливающими расположение ультразвукового датчика 11 во время захвата изображения. Например, информация о расположении может устанавливать положение и угол вращения или угол наклона ультразвукового датчика 11, например, в декартовой системе координат с использованием углов Эйлера в качестве неограничивающего примера.

Поток данных, включающий в себя последовательность ультразвуковых изображений 15 и связанную информацию 16 о расположении ультразвукового датчика, может передаваться из первого местоположения 100 во второе местоположение 150 любым подходящим образом, например, через Интернет или по линии мобильной связи, использующей стандарт мобильной связи, такой как GMS или UMTS через сети мобильной связи 2G, 3G, 4G или более высокого поколения и так далее.

Поток данных, включающий в себя последовательность ультразвуковых изображений 15 и связанную информацию 16 о расположении ультразвукового датчика, может быть принят экспертом во втором местоположении 150 и отображен на устройстве отображения системы поддержки ультразвуковой визуализации, которая будет объяснена более подробно ниже. Например, эксперт может использовать устройство отображения для просмотра путем прокрутки последовательности ультразвуковых изображений 15, например, с использованием устройства пользовательского интерфейса, такого как мышь или шар прокрутки, с использованием устройства пользовательского интерфейса, являющегося интегральной частью устройства отображения, например, сенсорного экрана, с использованием пользовательского интерфейса в форме программного обеспечения для распознавания речи и так далее для выбора ультразвукового изображения 15 в последовательности, которое обеспечивает наилучший вид обследуемой части анатомии пациента 1, например, четкий вид артерии или вены, части органа, такого как желудок, почка, печень, кишка или сердце и так далее.

Система поддержки ультразвуковой визуализации идентифицирует ультразвуковое изображение 15, выбранное экспертом во втором местоположении 150 в потоке данных, принятом из первого местоположения 100, и снимает информацию 16 о расположении ультразвукового датчика 11, которая принадлежит выбранному ультразвуковому изображению 15, то есть, которая устанавливает расположение ультразвукового датчика 11, в котором выбранное ультразвуковое изображение 15 было захвачено, и передает эту информацию 16 о расположении системе наведения ультразвуковой визуализации в первом местоположении 100, которая будет описана более подробно ниже. Альтернативно, система поддержки ультразвуковой визуализации может передавать информацию о целевом расположении ультразвукового датчика в форме идентификатора выбранного экспертом ультразвукового изображения 15 системе наведения ультразвуковой визуализации, так что система наведения ультразвуковой визуализации может самостоятельно снять подходящую информацию 16 о расположении ультразвукового датчика 11 путем извлечения этой информации о расположении из метаданных, связанных с ультразвуковым изображением 15, идентифицированным с помощью идентификатора, переданного системой поддержки ультразвуковой визуализации во втором местоположении 150.

Система наведения ультразвуковой визуализации в первом местоположении 100 принимает информацию 16 о расположении, связанную с выбранным экспертом ультразвуковым изображением 15, в форме фактических данных о расположении ультразвукового датчика 11 или в форме идентификатора выбранного экспертом ультразвукового изображения 15, из которого система наведения ультразвуковой визуализации может снять фактические данные о расположении ультразвукового датчика 11, как было объяснено выше, и конструирует виртуальное изображение 17 ультразвукового датчика 11, представляющее фактическое расположение ультразвукового датчика 11 во время выбранного экспертом ультразвукового изображения 15.

Система наведения ультразвуковой визуализации как правило содержит устройство отображения, на котором отображается виртуальное изображение 17. Как объясняется более подробно ниже, в предпочтительных вариантах осуществления устройство отображения может являться частью устройства дополненной реальности, например, закрепляемого на голове вычислительного устройства, так что врач в удаленном местоположении 100 может создать наложение, включающее в себя виртуальное изображение 17, над наблюдаемой врачом сценой, что имеет то преимущество, что виртуальное изображение 17 может быть расположено в подходящем положении на теле пациента 1, так что врач может просто изменить положение ультразвукового датчика 11 так, чтобы его расположение совпадало с виртуальным изображением 17. В предпочтительных вариантах осуществления виртуальное изображение 17 является 3-D изображением, например, голографическим представлением ультразвукового датчика 11, хотя возможны и другие подходящие представления. Альтернативно, виртуальное изображение 17 может отображаться на устройстве отображения, таком как планшетный компьютер или монитор, который может быть закреплен на руке, треноге и т.п., так что врач может видеть виртуальное изображение 17, отображаемое на устройстве отображения, при этом одновременно наблюдая фактическое расположение ультразвукового датчика 11 на теле пациента 1.

В одном варианте осуществления указание информации 16 о расположении, предоставленное системой поддержки ультразвуковой визуализации, соответствующей ультразвуковому изображению 15, выбранному экспертом во втором местоположении 150, может быть дополнено ультразвуковым изображением 15, например, выбранным экспертом ультразвуковым изображением 15, на котором представляющая интерес область выделена экспертом. Например, эксперт может выделить представляющую интерес область на ультразвуковом изображении 15, чтобы привлечь внимание врача в первом местоположении 100 к области на ультразвуковом изображении 15, на которой необходимо сфокусироваться с помощью ультразвукового датчика 11, например, область на ультразвуковом изображении 15, которая имеет диагностическую значимость.

Врач и эксперт дополнительно могут совместно использовать ультразвуковое изображение 15, например, ультразвуковое изображение 15, включающее в себя выделенную область, на котором эксперт и/или врач могут выделять область на ультразвуковом изображении 15 в реальном масштабе времени, например, с использованием курсора и т.п. Это, например, может быть особенно выгодным в случае дополнительного канала связи между врачом в первом местоположении 100 и экспертом во втором местоположении 150, например, речевой линии связи по телефону или через Интернет, поскольку это обеспечивает эффективное обсуждение рассматриваемого ультразвукового изображения 15 путем указания релевантных областей на ультразвуковом изображении 15 с помощью курсора.

В одном варианте осуществления врач в первом местоположении 100 может задействовать систему ультразвуковой визуализации, выполненную с возможностью генерации 3-D объемного ультразвукового изображения, с помощью системы ультразвуковой визуализации. Как правило, это достигается путем перемещения врачом ультразвукового датчика 11 в конкретном направлении над областью тела пациента 1, во время которого ультразвуковой датчик 11 периодически захватывает 2-D ультразвуковое изображение-срез 3-D объемного ультразвукового изображения. Как схематично изображено на фиг. 2, в этом варианте осуществления поток данных, переданный из первого местоположения 100 во второе местоположение 150, содержит множество таких 2-D ультразвуковых изображений-срезов 15, из которых может быть создано 3-D объемное ультразвуковое изображение 18, например, в системе поддержки ультразвуковой визуализации во втором местоположении 150. Эксперт может выбрать один из 2-D ультразвуковых изображений-срезов 15 для повторной генерации врачом в первом местоположении 100, как объяснялось выше.

Альтернативно, как по существу хорошо известно, такое 3-D объемное ультразвуковое изображение 18 может быть перенарезано после его создания, например, для задания объемного среза 15', который может быть разрезом в другом направлении по сравнению с исходными 2-D ультразвуковыми изображениями-срезами 15. Эксперт во втором местоположении 150, например, может выполнить такое повторное разбиение на срезы 3-D объемного ультразвукового изображения 18 для получения среза этого 3-D объемного ультразвукового изображения, которое содержит требуемый рассматриваемый признак тела пациента 1.

Поскольку такой реконструированный объемный срез 15', как правило, имеет более низкое разрешение (например, как следствие обработки изображений, необходимой для создания реконструированного объемного среза 15'), чем исходные ультразвуковые изображения-срезы 15, эксперт может попросить, чтобы врач (специалист по ультразвуковой визуализации) в первом местоположении 100 изменил расположение ультразвукового датчика 11 в соответствии с объемным срезом 15', так что может быть захвачено 2-D изображение высокого разрешения, соответствующее реконструированному срезу объема 15', с помощью ультразвуковой системы, включающей в себя ультразвуковой датчик 11.

С этой целью система поддержки ультразвуковой визуализации может экстраполировать целевое расположение ультразвукового датчика 11 для генерации этого 2-D изображения высокого разрешения из информации 16 о расположении, связанной с соответствующими исходными 2-D ультразвуковыми изображениями-срезами 15, принятыми в потоке данных из первого местоположения 100. Например, система поддержки ультразвуковой визуализации может экстраполировать расположение ультразвукового датчика 11 и направление, в котором был перемещен ультразвуковой датчик 11 для захвата последовательности 2-D ультразвуковых изображений-срезов 15, из принятой информации 16 о расположении, и может преобразовать эту ориентацию и направление путем построения матрицы преобразования на основании разницы между исходным направлением, в которое перемещался ультразвуковой датчик, приводя к направлению укладки 2-D ультразвуковых изображений-срезов в 3-D объемном ультразвуковом изображении 18, и направлением объемного среза 15'.

Система поддержки ультразвуковой визуализации во втором местоположении 150 может послать исходное расположение ультразвукового датчика (или указание относительно него в форме идентификатора конкретного 2-D ультразвукового изображения-среза 15, как объяснялось ранее) вместе с этой матрицей преобразования системе наведения ультразвуковой визуализации в первом местоположении 100, так что система наведения ультразвуковой визуализации может генерировать виртуальное изображение 17 требуемого расположения ультразвукового датчика 11 как объяснялось ранее, или альтернативно система поддержки ультразвуковой визуализации может выполнить это преобразование и просто послать преобразованное расположение ультразвукового датчика 11 системе наведения ультразвуковой визуализации в первом местоположении 100 для создания виртуального изображения 17.

Ультразвуковое изображение, генерируемое с помощью ультразвукового датчика 11 в расположении, как указано с помощью виртуального изображения 17, может совместно использоваться врачом в первом местоположении 100 и экспертом во втором местоположении 150, как объяснялось ранее, так что представляющие интерес области на этом ультразвуковом изображении, например, выделенные области с использованием курсора и т.п. могут обсуждаться или иным образом идентифицироваться между врачом и экспертом. Альтернативно или дополнительно реконструированный объемный срез 15' может отображаться на системе наведения ультразвуковой визуализации, чтобы помочь врачу в первом местоположении 100 с воспроизведением реконструированного объемного среза 15' с помощью ультразвуковой системы, включающей в себя ультразвуковой датчик 11.

Фиг. 3 схематично изображает один вариант осуществления системы 20 наведения ультразвуковой визуализации для поддержки системы 10 ультразвуковой визуализации, включающей в себя ультразвуковой датчик 11, соединенный с консолью 13 в первом местоположении 100. Система 20 наведения ультразвуковой визуализации, как правило, содержит процессор 21, который соединен с возможностью связи с приемопередатчиком 23 и устройством 25 отображения. Необязательно, система 10 ультразвуковой визуализации может дополнительно содержать детектор 27 расположения ультразвукового датчика, соединенный с возможностью связи с процессором 21 для обнаружения расположения ультразвукового датчика 11 во время захвата ультразвукового изображения 15, как объяснялось выше.

Процессор 21 может быть любым подходящим процессором, например, процессором общего назначения или специализированной интегральной схемой (ASIC). Процессор может быть запрограммирован, например, с использованием компьютерного программного продукта, включающего в себя соответствующие инструкции кода компьютерной программы для генерации виртуального изображения 17 ультразвукового датчика 11 в расположении, соответствующем информации о целевом расположении ультразвукового датчика, принятой от системы поддержки ультразвуковой визуализации через преобразователь 23. Процессор 21 в некоторых вариантах осуществления может быть процессорным узлом, содержащим несколько процессоров, например, графический процессор для управления устройством 25 отображения и сигнальный процессор для генерации виртуального изображения 17, которое должно быть воспроизведено графическим процессором.

В контексте настоящей заявки преобразователь может быть любым устройством или компонентом, способным передавать данные по каналу передачи данных, такому как сеть передачи данных. Преобразователь может быть выполнен с возможностью установления проводного или беспроводного канала передачи данных; например, преобразователь может быть выполнен с возможностью передачи данных с использованием протокола беспроводной связи малого радиуса действия, такого как протокол Wi-Fi, Bluetooth или NFC, протокола беспроводной связи большого радиуса действия, такого как GSM или UMTS, протокола проводной связи, такого как Ethernet, и так далее. Любой существующий протокол передачи данных может использоваться преобразователем.

В контексте настоящей заявки устройство 25 отображения может быть интегральным компонентом вычислительного устройства, такого как планшетный компьютер или портативный компьютер, или может быть автономным устройством, которое соединено через кабель и т.п. с отдельным компонентом, содержащим процессор 21. В особенно предпочтительном варианте осуществления, который будет описан более подробно ниже, устройство 25 отображения является частью фиксируемого на голове устройства, реализующего систему 20 наведения ультразвуковой визуализации.

Детектор 27 расположения датчика в некоторых вариантах осуществления может быть реализован как камера (или множество камер), выполненных с возможностью захвата изображения (или множества изображений) ультразвукового датчика 11 во время захвата ультразвукового изображения 15. Изображение (или множество изображений) может пересылаться процессору 21, который может быть выполнен с возможностью извлечения расположения датчика из захваченного изображения или изображений. Пример такой методики раскрыт в US 2003/0055335 A1. Например, процессор 21 может использовать модель тела пациента для пациента 1 для задания системы координат для ультразвукового датчика 11 и определения расположения датчика относительно этой модели тела пациента. В вариантах осуществления процессор 21 может реализовывать модель тела пациента как статическую модель, хотя в альтернативных вариантах осуществления процессор 21 может реализовывать модель тела пациента как динамическую модель, в которой модель обновляется в соответствии с движениями тела пациента 1, захваченными с помощью камеры (или множества камер). Обеспечение такой модели тела пациента по существу хорошо известно. Например, статическая модель тела пациента может быть захвачена с использованием 3D камеры глубины, необязательно дополненной одной или более стереотактическими метками или использующей телесные ориентиры на теле пациента. Такая модель тела пациента может обновляться в соответствии с отслеживаемыми движениями тела пациента, например, с использованием камеры, такой как кинетическая камера, для обновления модели тела пациента.

Система наведения ультразвуковой визуализации может включать в себя или иметь доступ к устройству хранения данных (не показана), такому как память, жесткий диск, оптический диск, "облачное" хранилище, сетевое хранилище данных, сеть хранения данных и так далее, это устройство хранения данных может хранить, например, данные, имеющие отношение к процессору 21, например, данные, относящиеся к модели тела пациента.

Ультразвуковой датчик 11 может содержать визуальную метку, которая может быть захвачена одной или более камерами и распознана процессором 21 на изображении или изображениях, генерируемых одной или более камерами. Процессор 21 может использовать распознанную визуальную метку в качестве средства совмещения для определения расположения ультразвукового датчика 11 относительно тела пациента 1, например, относительно модели тела пациента. Альтернативно, процессор 21 может использовать CAD-модель ультразвукового датчика 11, которая может быть сохранена в упомянутом ранее устройстве хранения данных, в качестве образца, из которого может быть вычислено расположение ультразвукового датчика 11 относительно тела пациента 1. Альтернативно, расположение ультразвукового датчика 11 относительно тела пациента 1 может быть определено, например, с использованием методик отслеживания, основанных на инфракрасном, магнитном, ультразвуковом или радиолокационном отслеживании. Возможна любая подходящая методика отслеживания.

Следует понимать, что расположение ультразвукового датчика 11 может быть определено любым подходящим образом. Например, ультразвуковой датчик 11 может содержать один или более датчиков ориентации, например, один или более акселерометров, гироскопов, датчиков Холла и т.п., которые могут предоставлять информацию о расположении, которая должна обрабатываться в системе 10 ультразвуковой визуализации или процессором 21. Альтернативно, расположение ультразвукового датчика 11 может определяться относительно консоли 13 с использованием методик электромагнитного отслеживания, как используется, например, компанией Ascension Technologies.

Каждое из ультразвуковых изображений 15, генерируемых с помощью системы 10 ультразвуковой визуализации, может маркироваться расположением ультразвукового датчика 11 во время захвата этого изображения. Это может быть достигнуто любым подходящим образом. Например, система 20 наведения ультразвуковой визуализации может содержать преобразователь, например, преобразователь 23 или дополнительный преобразователь для установления канала связи с системой 10 ультразвуковой визуализации, которая может быть каналом проводной или беспроводной связи. Система 20 наведения ультразвуковой визуализации может передавать информацию об определенном положении датчика системе 10 ультразвуковой визуализации для маркировки захваченного ультразвукового изображения 15 системой 10 ультразвуковой визуализации, или система 10 ультразвуковой визуализации может передавать захваченное ультразвуковое изображение 15 системе 20 наведения ультразвуковой визуализации для маркировки информацией о расположении датчика с помощью процессора 21. В дополнительных вариантах осуществления, в которых информация о расположении датчика определяется системой 10 ультразвуковой визуализации, может отсутствовать необходимость в передаче какой-либо информации между системой 10 ультразвуковой визуализации и системой 20 наведения ультразвуковой визуализации, или, альтернативно, система 10 ультразвуковой визуализации может передавать последовательность ультразвуковых изображений 15, включающую в себя метаданные расположения датчика, системе 20 наведения ультразвуковой визуализации. Другие подходящие варианты будут сразу же очевидны для специалиста в области техники.

В этом месте следует отметить, что система 10 ультразвуковой визуализации конкретно не ограничена и может быть любой подходящей системой ультразвуковой визуализации, например, системой 10 ультразвуковой визуализации, выполненной с возможностью генерации 2-D ультразвуковых изображений, 3-D ультразвуковых изображений, 4-D ультразвуковых изображений (3-D сканирование в кинофрагменте) и так далее. Как таковые системы ультразвуковой визуализации по существу хорошо известны, они не объясняются более подробно лишь для краткости.

Фиг. 4 схематично изображает особенно предпочтительный вариант осуществления системы 20 наведения ультразвуковой визуализации, на которой эта система реализована в форме фиксируемого на голове вычислительного устройства, так что виртуальное изображение 17 может генерироваться в поле зрения врача в первом местоположении для дополнения реальности (то есть фактически видимого поля зрения) врача, например, путем наложения виртуального изображения 17 на это фактически видимое поле зрения.

В контексте настоящей заявки фиксируемое на голове вычислительное устройство является устройством, которое можно носить на голове его пользователя и которое предоставляет пользователю вычислительную функциональность. Фиксируемое на голове вычислительное устройство может быть выполнено с возможностью выполнения конкретных вычислительных задач, как указано в программном приложении (приложении), которое может быть получено из Интернета или другого машиночитаемого носителя. Неограничивающие примеры таких фиксируемых на голове вычислительных устройств включают в себя умные головные приспособления, например, очки, защитные очки, шлем, шапку, козырек, наголовный обруч или любое другое устройство, которое может удерживаться на голове владельца, и так далее.

Фиксируемое на голове вычислительное устройство может включать в себя процессор 21 и преобразователь 23, например, в корпусе 22 для компонентов. Фиксируемое на голове вычислительное устройство может дополнительно включить в себя датчик изображения или камеру в качестве детектора 27 ориентации для захвата изображения в поле обзора владельца носимого вычислительного устройства. Датчик изображения может быть выполнен с такой возможностью, что когда фиксируемое на голове вычислительное устройство носят как положено, датчик изображения совмещается с глазами его владельца, то есть он производит направленный вперед сигнал датчика, соответствующий полю обзора его владельца.

Такой датчик изображения или камера могут являться интегральной частью фиксируемого на голове вычислительного устройства, например, интегрированной в линзу фиксируемого на голове вычислительного устройства, через которое его владелец видит поле обзора, в держателе линзы или оправе для такой линзы, или в любой другой подходящей структуре фиксируемого на голове вычислительного устройства, в котором оптический датчик совмещен с полем обзора владельца фиксируемого на голове вычислительного устройства.

Альтернативно, такой датчик изображения может быть частью модульного носимого вычислительного устройства, например, фиксируемый на голове модуль датчика изображения, соединенный с возможностью связи через проводное или беспроводное соединение с одним или более другими модулями фиксируемого на голове вычислительного устройства, при этом по меньшей мере некоторые из других модулей можно носить на частях тела помимо головы, или при этом некоторые из других модулей могут быть не носимыми, но вместо этого, например, портативными.

Фиксируемое на голове вычислительное устройство, как правило, содержит по меньшей мере один модуль 25 дисплея, который может быть прозрачным модулем 25 дисплея, под управлением дискретного контроллера дисплея (не показан). Альтернативно, контроллер дисплея может быть реализован с помощью процессора 21 фиксируемого на голове вычислительного устройства, как показано на фиг. 3.

По меньшей мере один модуль 25 дисплея, как правило, выполнен с такой возможностью, что владелец фиксируемого на голове вычислительного устройства, например, врач в первом местоположении 100, может видеть виртуальное изображение 17 ультразвукового датчика 11, отображаемое по меньшей мере на одном модуле 25 дисплея. Предпочтительно, по меньшей мере один модуль 25 дисплея является прозрачным модулем дисплея, так что владелец может видеть по меньшей мере часть поля обзора через модуль 25 дисплея, например, фактическое расположение ультразвукового датчика 11. В одном варианте осуществления фиксируемое на голове вычислительное устройство содержит пару модулей 25 дисплея, в том числе первый модуль дисплея, который можно видеть правым глазом владельца, и второй модуль дисплея, который можно видеть левым глазом владельца. Альтернативно, по меньшей мере один модуль 25 дисплея может быть непрозрачным модулем дисплея, на который отображается сцена дополненной реальности поля обзора владельца, например, поле обзора, дополненное виртуальным изображением 17. С этой целью фиксируемое на голове вычислительное устройство может включать в себя камеру для захвата поля обзора его владельца, как по существу хорошо известно.

Первым и вторым модулями дисплея можно управлять для отображения различных изображений, например, генерировать стереоскопическое изображение, как по существу известно в области техники. Альтернативно, изображение может генерироваться только на одном из первого и второго модулей дисплея, так что владелец может видеть генерируемое изображение одним глазом и фактическое поле обзора другим глазом. И первый, и второй модули дисплея могут быть прозрачными модулями дисплея. Альтернативно, один из первого и второго модулей дисплея может быть прозрачным модулем дисплея, тогда как другой модуль дисплея является непрозрачным модулем дисплея, то есть модулем дисплея, который не является прозрачным, так что владелец не может видеть сквозь этот модуль дисплея.

По меньшей мере один модуль 25 дисплея может быть обеспечен в любой подходящей форме, такой как прозрачная часть линзы. Альтернативно, как показано на фиг. 4, фиксируемое на голове вычислительное устройство может содержать пару таких частей линз, то есть одну для каждого глаза, как объяснялось выше. Одна или более прозрачных частей линз могут иметь такие размеры, что по существу все поле обзора владельца получается через одну или более прозрачных частей линз. Например, по меньшей мере один модуль 25 дисплея может иметь форму линзы, которая устанавливается в оправе 28 фиксируемого на голове вычислительного устройства. Возможна любая другая конфигурация, известная специалисту в области техники.

Следует понимать, что оправа 28 может иметь любую подходящую форму и может быть сделана из любого подходящего материала, например, металла, металлического сплава, пластикового материала или их комбинации. Несколько компонентов фиксируемого на голове вычислительного устройства могут быть установлены в оправе 28, например, в корпусе 22 для компонентов, являющегося частью оправы 28. Корпус 22 для компонентов может иметь любую подходящую форму, предпочтительно эргономичную форму, которая позволяет владельцу удобно носить фиксируемое на голове устройство.

В этом месте следует отметить, что система 20 наведения ультразвуковой визуализации может быть автономной системой или может являться частью системы 10 ультразвуковой визуализации, например, может являться интегральной частью системы 10 ультразвуковой визуализации.

Фиг. 5 схематично изображает способ 200 направления работы системы 10 ультразвуковой визуализации, включающей в себя ультразвуковой датчик 11. Способ 200 начинается на этапе 201 с инициализации системы 10 ультразвуковой визуализации и системы 20 наведения ультразвуковой визуализации, после чего ультразвуковое изображение пациента 1 захватывается на этапе 203 с помощью ультразвукового датчика 11 системы 10 ультразвуковой визуализации. Одновременно на этапе 205 определяется расположение ультразвукового датчика 11 при захвате ультразвукового изображения 15 на этапе 203, как объяснялось выше. Этапы 203 и 205 повторяются до тех пор, пока не будут захвачены все ультразвуковые изображения 15 последовательности, которая должна быть предоставлена системе поддержки ультразвуковой визуализации во втором местоположении 150, что проверяется на этапе 207. Как объяснялось выше, в некоторых вариантах осуществления ультразвуковые изображения 15 могут формировать 2-D срезы 3-D объемного ультразвукового изображения.

Затем, поток данных, включающий в себя последовательность ультразвуковых изображений 15, сгенерированных с помощью ультразвукового датчика 11, и указания для каждого ультразвукового изображения фактического расположения ультразвукового датчика 11 при захвате упомянутого ультразвукового изображения 15 генерируются на этапе 209, например, системой 10 ультразвуковой визуализации или системой 20 наведения ультразвуковой визуализации и далее передается во второе местоположение 150, например, системе поддержки ультразвуковой визуализации во втором местоположении 150, так что эксперт по ультразвуковой визуализации во втором местоположении 150 может проанализировать последовательность ультразвуковых изображений 15 и сгенерировать наведение визуализации, из которого система 20 наведения ультразвуковой визуализации может сгенерировать виртуальное изображение 17, как объяснялось более подробно выше.

На этапе 213 система 20 наведения ультразвуковой визуализации принимает информацию о целевом расположении датчика от системы поддержки ультразвуковой визуализации во втором местоположении 150, например, прямо или косвенно через объект в первом местоположении 100, который осуществляет связь с системой поддержки ультразвуковой визуализации во втором местоположении 150, например, через систему 10 ультразвуковой визуализации, после чего система 20 наведения ультразвуковой визуализации, то есть процессор 21, генерирует виртуальное изображение 17 целевого расположения датчика, извлекаемое из информации, принятой на этапе 213, и активирует отображение сгенерированного виртуального изображения 17 на устройстве 215 отображения, после чего способ 200 завершается на этапе 217. Во избежание недоразумений следует отметить, что хотя способ 200 был изображен как серия последовательных этапов, специалисту в области техники будет очевидно, что по меньшей мере некоторые из этапов альтернативно могут выполняться одновременно, то есть параллельно.

Фиг. 6 схематично изображает иллюстративный вариант осуществления системы 30 поддержки ультразвуковой визуализации, которая может принимать поток данных, включающий в себя ультразвуковые изображения 15 и информацию о расположении датчика 16 для каждого ультразвукового изображения 15, во втором местоположении 150. Система 30 поддержки ультразвуковой визуализации, как правило, содержит один или более процессоров 31, соединенных с возможностью связи с преобразователем 33, выполненным с возможностью приема потока данных. Один или более процессоров 31 могут включать в себя процессор для обработки данных, запрограммированный обрабатывать данные в потоке данных, например, генерировать имеющую возможность прокрутки последовательность ультразвуковых изображений 15 и управлять устройством 35 отображения, на котором может отображаться эта имеющая возможностью прокрутки последовательность ультразвуковых изображений 15. Альтернативно, один или более процессоров 31 могут включать в себя отдельный процессор, осуществляющий связь с процессором для обработки данных, выполненным с возможностью управления устройством 35 отображения, например, графическим процессором. Устройство 35 отображения может быть любым подходящим устройством отображения, например, модулем дисплея, являющимся интегральной частью устройства, дополнительно содержащим один или более процессоров 31 и преобразователь 33, например, планшетным компьютером, портативным компьютером, специализированной консолью для обработки ультразвуковых изображений 15 и так далее, или альтернативно может быть отдельным устройством, которое связано с вычислительным устройством или консолью через кабель и т.п.

Система 30 поддержки ультразвуковой визуализации дополнительно содержит один или более пользовательских интерфейсов 37, символически изображенных здесь с помощью компьютерной мыши в качестве неограничивающего примера. Один или более пользовательских интерфейсов 37 могут включать в себя, например, одно или более из: компьютерную мышь, клавиатуру, сенсорный экран, шаровой манипулятор, микрофон для предоставления программному обеспечению для распознавания речи, исполняющемуся на процессоре 31, речевых инструкций, камеру для предоставления изображений захваченных жестов и т.п. программному обеспечению для распознавания жестов, исполняющемуся на процессоре 31, и так далее. Следует понимать, что любое существующее устройство пользовательского интерфейса может использоваться в сочетании с системой 30 поддержки ультразвуковой визуализации.

В одном варианте осуществления система 30 поддержки ультразвуковой визуализации может по меньшей мере частично быть реализована как фиксируемое на голове вычислительное устройство, такое как фиксируемое на голове вычислительное устройство, описанное более подробно выше с помощью фиг. 4.

Система 30 поддержки ультразвуковой визуализации, как правило, запрограммирована реализовывать способ 300 генерации используемой для наведения информации для работы системы 10 ультразвуковой визуализации, иллюстративный вариант осуществления которого изображен в виде блок-схемы последовательности операций на фиг. 7. Способ 300 начинается на этапе 301 с инициализации системы 30 поддержки ультразвуковой визуализации, после чего из первого местоположения 100 принимается поток данных, включающий в себя последовательность ультразвуковых изображений 15, сгенерированный с помощью ультразвукового датчика 11, и указание 16 для каждого ультразвукового изображения фактического расположения ультразвукового датчика при захвате упомянутого ультразвукового изображения. Затем процессор 31 обрабатывает принятые ультразвуковые изображения 15 и управляет устройством 35 отображения для отображения последовательности ультразвуковых изображений 15 на устройстве 35 отображения, например, в виде имеющей возможность прокрутки последовательности ультразвуковых изображений 15 или в виде объемного (3-D) ультразвукового изображения, созданного из 2-D ультразвуковых изображений-срезов 15, принятых в потоке данных.

На этапе 307 система 30 поддержки ультразвуковой визуализации, то есть процессор 31, принимает пользовательский ввод, обеспеченный через один или более пользовательских интерфейсов 37, этот пользовательский ввод указывает выбор изображения из упомянутой последовательности ультразвуковых изображений. Например, эксперт во втором местоположении 150 может выбрать конкретное ультразвуковое изображение 15 из последовательности ультразвуковых изображений 15, потому что оно обеспечивает наилучший вид конкретного представляющего интерес анатомического признака, или альтернативно эксперт может сгенерировать 2-D изображение-срез 3-D ультразвукового объема, заданного последовательностью ультразвуковых изображений 15. Повторим, что такой 2-D изображение-срез не обязательно должен соответствовать 2-D изображению-срезу 15 в потоке данных; вместо этого эксперт может перенарезать 3-D объемное изображение в другом направлении для получения 2-D изображения-среза 15', обеспечивающего требуемый вид конкретного представляющего интерес анатомического признака.

На этапе 309 процессор 31 системы 30 поддержки ультразвуковой визуализации генерирует информацию о целевом расположении ультразвукового датчика из принятых указаний фактического расположения ультразвукового датчика и принятого пользовательского ввода и передает целевую информацию о расположении ультразвукового датчика системе 20 наведения ультразвуковой визуализации, связанной с системой 10 ультразвуковой визуализации в первом местоположении 100, либо прямо, либо косвенно, как объяснялось выше.

Информация о целевом расположении ультразвукового датчика может состоять просто из идентификатора конкретного ультразвукового изображения 15 в потоке данных, принятом из первого местоположения 100, так что соответствующее расположение ультразвукового датчика может быть снято в первом местоположении 100 путем снятия метаданных 16, соответствующих идентифицированному конкретному ультразвуковому изображению 15. Альтернативно, информация о целевом расположении ультразвукового датчика может содержать метаданные 16, извлеченные из принятого потока данных, которые соответствуют ультразвуковому изображению 15 в этом потоке данных, выбранному экспертом во втором местоположении 150. В случае перенарезанного 2-D изображения-среза 15' целевая информация о расположении ультразвукового датчика может содержать идентификатор исходного 2-D изображения-среза 15 в принятом потоке данных вместе с информацией об изменении расположения ультразвукового датчика, генерируемой процессором 31, например, матрицей преобразования и т.п., эта информация об изменении расположения как правило содержит информацию, из которой расположение ультразвукового датчика 11, заданное метаданными 16, связанными с выбранным исходным 2-D изображением-срезом 15, может быть преобразовано в заданное расположение для захвата перенарезанного 2-D изображения-среза 15' с помощью ультразвукового датчика 11. В этом варианте осуществления исходное расположение ультразвукового датчика 11 может быть преобразовано с помощью процессора 21 системы 20 наведения ультразвуковой визуализации в первом местоположении 100. Альтернативно, процессор 31 может преобразовать соответствующую информацию о расположении датчика и предоставить преобразованную информацию о расположении ультразвукового датчика 11 системе 20 наведения ультразвуковой визуализации, так что процессору 21 системы 20 наведения ультразвуковой визуализации нет необходимости выполнять преобразование, а есть необходимость только сгенерировать виртуальное изображение 17 для отображения на устройстве 25 отображения.

Затем способ 300 завершается на этапе 313. Перед завершением способ 300 может дополнительно включать в себя совместное использование выбранного ультразвукового изображения 15 или перенарезанного 2-D изображения-среза 15' системой 30 поддержки ультразвуковой визуализации во втором местоположении 150 и системой 20 наведения ультразвуковой визуализации в первом местоположении 100, так что эксперт во втором местоположении 150 может взаимодействовать с врачом в первом местоположении 100, например, путем выделения представляющих интерес областей на совместно используемом ультразвуковом изображении, например, с использованием перекрестия, курсора, цветной формы, такой как круг или прямоугольник и т.п., что может использоваться для помощи врачу в первом местоположении 100 с фокусированием генерации ультразвуковых изображений с помощью системы 10 ультразвуковой визуализации на соответствующем анатомическом признаке (представляющей интерес области) пациента 1.

Во избежание недоразумений следует отметить, что хотя способ 300 был изображен как серия последовательных этапов, специалисту в области техники будет очевидно, что по меньшей мере некоторые из этапов альтернативно могут выполняться одновременно, то есть параллельно.

Аспекты способа 200 и способа 300 могут быть обеспечены в форме компьютерного программного продукта, содержащего машиночитаемый носитель данных, имеющий воплощенные в нем машиночитаемые инструкции программы, которые, будучи исполняемыми на процессоре 21 системы 20 наведения ультразвуковой визуализации или на процессоре 31 системы 30 поддержки ультразвуковой визуализации, заставляют эти процессоры осуществлять соответствующие этапы способа 200 и способа 300 соответственно.

Аспекты настоящего изобретения могут быть воплощены как система 20 наведения ультразвуковой визуализации, система 30 поддержки ультразвуковой визуализации, способ или компьютерный программный продукт. Аспекты настоящего изобретения могут принимать форму компьютерного программного продукта, воплощенного в одном или более машиночитаемых носителей, имеющих воплощенный на них машиночитаемый программный код.

Может использоваться любая комбинация одного или более машиночитаемых носителей. Машиночитаемый носитель может быть машиночитаемым носителем сигналов или машиночитаемым носителем данных. Машиночитаемый носитель данных может быть, например, но не ограничивается только этим, электронной, магнитной, оптической, электромагнитной, инфракрасной или полупроводниковой системой, устройством или любой подходящей комбинацией приведенного выше. Такая система или устройство могут быть доступны через любое подходящее сетевое соединение; например, система или устройство могут быть доступны через сеть для извлечения машиночитаемого программного кода по сети. Такая сеть может быть, например, сетью Интернет, сетью мобильной связи и т.п.

Более конкретные примеры (неполный список) машиночитаемых носителей данных могут включать в себя следующее: электрическое соединение, имеющее один или более проводов, дискету портативного компьютера, жесткий диск, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), стираемую программируемую постоянную память (EPROM или флэш-память), оптоволокно, портативное постоянное запоминающее устройство на компактных дисках (CD-ROM), оптическое запоминающее устройство, магнитное запоминающее устройство или любая подходящая комбинация приведенного выше. В контексте настоящей заявки машиночитаемый носитель данных может быть любым материальным носителем, который может содержать или хранить программу для использования или имеющую связь с системой или устройством исполнения инструкций.

Машиночитаемая носитель сигналов может включать в себя распространяющийся сигнал данных с машиночитаемым программным кодом, воплощенным в нем, например, в основной полосе частот или как часть несущей волны. Такой распространяющийся сигнал может принимать любую из множества форм, в том числе, но не ограничиваясь только этим, электромагнитную, оптическую или любую подходящая их комбинацию. Машиночитаемый носитель сигналов может быть любым машиночитаемым носителем, который не является машиночитаемым носителем данных, и который может передавать, распространять или транспортировать программу для использования или имеющей связь с системой или устройством исполнения инструкций.

Программный код, воплощенный на машиночитаемом носителе, может передаваться с использованием любого подходящего носителя, в том числе, но не ограничиваясь только этим, с помощью беспроводной связи, проводной линии, волоконно-оптического кабеля, RF и т.д. или любая подходящей комбинации приведенного выше.

Код компьютерной программы для выполнения способов настоящего изобретения путем исполнения на процессоре 21 или 31 может быть записан в любой комбинации одного или более языков программирования, в том числе объектно-ориентированного языка программирования, такого как Java, Smalltalk, C++ и т.п., и традиционных языков процедурного программирования, таких как язык программирования "C" или аналогичные языки программирования. Программный код может исполниться полностью на процессоре 21 или 31 как автономный пакет программного обеспечения, например, приложение или может быть исполняться частично на процессоре 21 или 31, а частично на удаленном сервере. В последнем случае удаленный сервер может быть соединен с системой 20 наведения ультразвуковой визуализации или системой 30 поддержки ультразвуковой визуализации через любой тип сети, в том числе локальную сеть (LAN) или глобальную сеть (WAN), или может быть сделано соединение с внешним компьютером, например, через Интернет с использованием Интернет-провайдера.

Аспекты настоящего изобретения описаны выше со ссылкой на иллюстрации блок-схем последовательности операций и/или блок-схемы способов, устройства (системы) и компьютерные программные продукты в соответствии с вариантами осуществления изобретения. Следует понимать, что каждый блок иллюстраций блок-схем последовательности операций и/или блок-схем и комбинации блоков на иллюстрациях блок-схем последовательности операций и/или блок-схемах могут быть реализованы с помощью инструкций компьютерной программы, которые должны полностью или частично исполняться на процессоре 21 системы 20 наведения ультразвуковой визуализации или на процессоре 31 системы 30 поддержки ультразвуковой визуализации, так что инструкции создают средство для осуществления функций/действий, указанных в блоке или блоках блок-схемы последовательности операций и/или блок-схемы. Эти инструкции компьютерной программы также могут быть сохранены в машиночитаемом носителе, который может направлять систему 20 наведения ультразвуковой визуализации или систему 30 поддержки ультразвуковой визуализации для работы конкретным образом.

Инструкции компьютерной программы могут быть загружены на процессор 21 или процессор 31, чтобы вызвать выполнение серии операционных этапов на процессоре 21 или процессоре 31 для создания реализованного с помощью компьютера процесса, так что инструкции, которые исполняются на процессоре 21 или процессоре 31, обеспечивают процессы для осуществления функций/действий, указанных в блоке или блоках блок-схемы последовательности операций и/или блок-схемы. Компьютерный программный продукт может являться частью системы 20 наведения ультразвуковой визуализации или системы 30 поддержки ультразвуковой визуализации, например, может быть установлен на системе 20 наведения ультразвуковой визуализации или системе 30 поддержки ультразвуковой визуализации.

Следует отметить, что упомянутые выше варианты осуществления иллюстрируют, а не ограничивают изобретение, и что специалисты в области техники смогут спроектировать много альтернативных вариантов осуществления, не отступая от объема прилагаемой формулы изобретения. В формуле изобретения любые ссылочные позиции, помещенные между круглыми скобками, не должны рассматриваться как ограничение формулы изобретения. Слово "содержащий" не исключает присутствия элементов или этапов помимо перечисленных в пункте формулы изобретения. Единственное число элемента не исключают присутствия множества таких элементов. Изобретение может быть реализовано посредством аппаратного обеспечения, содержащего несколько различных элементов. В описывающем устройство пункте формулы изобретения, перечисляющем несколько средств, несколько из этих средств могут быть воплощены с помощью одного и того же элемента аппаратного обеспечения. Сам по себе факт, что некоторые средства перечислены во взаимно различных зависимых пунктах формулы изобретения, не означает, что комбинация этих средств не может быть использована с выгодой.

1. Система (20) управления визуализацией для направления оператора системы (10) ультразвуковой визуализации, включающей в себя

ультразвуковой датчик (11), содержащая: приемопередатчик (23), выполненный с возможностью

- приема последовательности ультразвуковых изображений (15), генерируемых оператором с помощью ультразвукового датчика (11), от системы ультразвуковой визуализации (10);

- генерации для каждого ультразвукового изображения информации (16) о фактическом расположении ультразвукового датчика (11) при захвате упомянутого ультразвукового изображения; и

- передачи потока данных дистанционной системе (30) поддержки ультразвуковой визуализации, причем упомянутый поток данных включает в себя последовательность ультразвуковых изображений и указание для каждого ультразвукового изображения фактического расположения ультразвукового датчика; и

- приема информации о целевом расположении ультразвукового датчика от дистанционной системы (30) поддержки ультразвуковой визуализации, причем упомянутая информация о целевом расположении ультразвукового датчика извлекается удаленной системой поддержки ультразвуковой визуализации из переданного потока данных;

процессор (21), соединенный с возможностью связи с приемопередатчиком и запрограммированный генерировать виртуальное изображение (17) ультразвукового датчика в расположении, соответствующем информации о целевом расположении ультразвукового датчика; и

устройство (25) отображения, соединенное с возможностью связи с процессором и выполненное с возможностью отображения виртуального изображения.

2. Система (20) по п. 1, причем

последовательность ультразвуковых изображений (15) содержит последовательность 2-D срезов для генерации 3-D ультразвукового объема.

3. Система (20) по п. 1 или 2, причем процессор (21) выполнен с возможностью извлечения указания фактического расположения (16) ультразвукового датчика (11) для каждого среза на основании модели тела пациента.

4. Система (20) по любому из пп. 1-3, дополнительно содержащая детектор (27) расположения датчика, выполненный с возможностью генерации указания фактического расположения (16) ультразвукового датчика (11) при захвате ультразвукового изображения (15) в упомянутой последовательности.

5. Система (20) по п. 4, причем детектор (27) расположения датчика содержит камеру, выполненную с возможностью захвата изображения фактического расположения ультразвукового датчика (11) при генерации ультразвукового изображения (15) упомянутой последовательности.

6. Система (20) по любому из пп. 1-5, причем приемопередатчик (23) дополнительно выполнен с возможностью приема одного из ультразвуковых изображений (15) упомянутой последовательности из удаленного местоположения, причем упомянутое ультразвуковое изображение включает в себя выделенную область; и

устройство (25) отображения дополнительно выполнено с возможностью отображения ультразвукового изображения, включающего в себя выделенную область.

7. Система (10) ультразвуковой визуализации, содержащая ультразвуковой датчик (11) и систему (20) управления визуализацией по любому из пп. 1-6.

8. Система (30) ультразвуковой визуализации, содержащая: приемопередатчик (33), выполненный с возможностью приема потока данных, включающего в себя последовательность ультразвуковых изображений (15), сгенерированных с помощью ультразвукового датчика (11), и указания для каждого ультразвукового изображения фактического расположения (16) ультразвукового датчика при захвате упомянутого ультразвукового изображения;

процессор (31), соединенный с возможностью связи с приемопередатчиком;

устройство (35) отображения, соединенное с возможностью связи с процессором; и

пользовательский (37) интерфейс, соединенный с возможностью связи с процессором;

при этом процессор запрограммирован, чтобы: управлять устройством отображения для отображения последовательности ультразвуковых изображений;

принимать пользовательский ввод от пользовательского интерфейса, указывающий выбор изображения из упомянутой последовательности ультразвуковых изображений; и генерировать информацию о целевом расположении ультразвукового датчика из принятых указаний фактического расположения ультразвукового датчика и принятого выбора изображения, при этом приемопередатчик дополнительно выполнен с возможностью передачи целевого расположения ультразвукового датчика дистанционной системе (20), связанной с системой ультразвуковой визуализации.

9. Система по п. 8, причем установленный пользователем выбор изображения содержит выбранное ультразвуковое изображение (15) из последовательности ультразвуковых изображений или 2-D изображение-срез для генерации 3-D ультразвукового объема (18), заданного с помощью последовательности ультразвуковых изображений.

10. Система по п. 8 или 9, причем процессор (31) дополнительно запрограммирован:

принимать дополнительный пользовательский ввод от пользовательского интерфейса (37), указывающий выбранную область в пределах выбранного ультразвукового изображения из упомянутой последовательности ультразвуковых изображений; и

генерировать выделенную область в выбранном ультразвуковом изображении, соответствующем выбранной области; и

при этом приемопередатчик (33) дополнительно выполнен с возможностью передачи выбранного ультразвукового изображения, включающего в себя выделенную область, дистанционной системе (20) наведения ультразвуковой визуализации.

11. Способ (200) управления визуализацией системы (10) ультразвуковой визуализации, включающей в себя ультразвуковой датчик (11), причем способ содержит:

прием (213) информации о целевом расположении ультразвукового датчика, извлеченной из потока данных, включающего в себя последовательность ультразвуковых изображений (15), сгенерированных с помощью ультразвукового датчика, и указания для каждого ультразвукового изображения фактического расположения (16) ультразвукового датчика при захвате упомянутого ультразвукового изображения от дистанционной системы (30) поддержки ультразвуковой визуализации;

генерацию (215) виртуального изображения (17) ультразвукового датчика в расположении, соответствующем информации о целевом расположении ультразвукового датчика; и отображение виртуального изображения.

12. Способ (200) по п. 11, дополнительно содержащий:

прием последовательности ультразвуковых изображений (15) от системы (10) ультразвуковой визуализации;

генерацию информации о фактическом расположении (16) ультразвукового датчика (11) для каждого из ультразвуковых изображений; и

передачу упомянутого потока данных дистанционной системе (30) поддержки ультразвуковой визуализации.

13. Машиночитаемый носитель данных, имеющий воплощенные в нем машиночитаемые инструкции программы, которые, будучи исполняемыми на процессоре (21) системы (20) по любому из пп. 1-5, заставляют процессор осуществлять этапы способа (200) по п. 11 или 12.

14. Способ (300) генерации используемой информации для управления визуализацией системы (10) ультразвуковой визуализации, включающей в себя ультразвуковой датчик (11), причем способ содержит:

прием (303) потока данных, включающего в себя последовательность ультразвуковых изображений (15), сгенерированных с помощью ультразвукового датчика,

и указания для каждого ультразвукового изображения фактического расположения (16) ультразвукового датчика при захвате упомянутого ультразвукового изображения;

отображение (305) последовательности ультразвуковых изображений;

прием (307) пользовательского ввода, указывающего выбор изображения из упомянутой последовательности ультразвуковых изображений, при этом выбор изображения содержит выбранное ультразвуковое изображение (15) из последовательности ультразвуковых изображений или 2-D изображение-срез 3-D ультразвукового объема, заданного последовательностью ультразвуковых изображений;

генерацию (309) информации о целевом расположении ультразвукового датчика из принятых указаний фактического расположения ультразвукового датчика и принятого пользовательского ввода; и

передачу (311) информации о целевом расположении ультразвукового датчика дистанционной системе (20) наведения ультразвуковой визуализации, связанной с системой ультразвуковой визуализации.

15. Машиночитаемый носитель данных, имеющий воплощенные в нем машиночитаемые инструкции программы, которые, будучи исполняемыми на процессоре (31) системы (30) по любому из пп. 8-10, заставляют процессор осуществлять этапы способа (300) по п. 14.