Интеллектуальная ультразвуковая система для обнаружения артефактов изображений
Группа изобретений относится к медицинской технике и раскрывает систему и способ ультразвуковой визуализации, обеспечивающие идентификацию и устранение артефактов изображения из кадров ультразвукового изображения путем применения нейронной сети к кадрам. Система может включать в себя ультразвуковой преобразователь, выполненный с возможностью получения эхо-сигналов в ответ на ультразвуковые импульсы, передаваемые в целевую область. Один или более процессоров, коммуникативно связанных с ультразвуковым преобразователем, могут быть выполнены с возможностью генерирования кадра изображения из ультразвуковых эхо-сигналов и применения нейронной сети к кадру изображения. Нейронная сеть определяет наличие артефакта в кадре изображения и идентифицирует тип обнаруженного артефакта. Процессоры также могут генерировать указывающий наличие артефакта индикатор, который может отображаться на пользовательском интерфейсе. Процессоры могут дополнительно генерировать инструкцию для настройки ультразвукового преобразователя на основании наличия и типа артефакта, присутствующего в кадре изображения. 3 н. и 17 з.п. ф-лы, 6 ил.
Ссылка на родственную заявку
Настоящая заявка испрашивает преимущество и приоритет по предварительной заявке США №62/580635, поданной 2 ноября 2017 года, которая включена в настоящий документ во всей своей полноте посредством ссылки.
Область техники, к которой относится изобретение
[001] Настоящее изобретение относится к ультразвуковым системам и способам идентификации артефактов в ультразвуковых изображениях с использованием нейронной сети. Конкретные варианты реализации включают в себя системы, предназначенные для идентификации артефактов во время ультразвуковой визуализации, и обеспечивают инструкции по настройке ультразвукового зонда для устранения артефактов из полученных ультразвуковых изображений.
Уровень техники
[002] Ультразвуковые изображения могут содержать различные артефакты, которые делают неясными телесные элементы, запечатленные на изображениях. Например, артефакты изображений обычно появляются на ультразвуковых изображениях вследствие физики ультразвука и вмешательства оператора. Рассогласование эхогенности между различными элементами может вызывать эффекты затенения, в частности, изменение скорости звука в тканях и отражение высококонтрастного импеданса тканей может привести к зеркальным изображениям и реверберациям. Появление таких артефактов может препятствовать возможности оператора точно интерпретировать элементы на ультразвуковых изображениях, что может привести к неправильной диагностике. Артефакты изображений могут также мешать при интервенционных процедурах под ультразвуковым контролем.
[003] Устранение артефактов из ультразвуковых изображений часто может быть выполнено путем настройки положения, ориентации и/или рабочих параметров ультразвукового преобразователя, используемого для получения изображений. Однако неопытные операторы ультразвукового оборудования могут не распознать артефакты, появляющиеся на изображениях, или могут не знать о настройках, необходимых для исчезновения артефактов. Соответственно, могут потребоваться системы ультразвуковой визуализации, способные распознавать артефакты изображений, и шаги, которые можно предпринять для устранения артефактов.
Раскрытие сущности изобретения
[004] В настоящем изобретении раскрыты системы и способы для улучшения качества и интерпретации ультразвуковых изображений путем идентификации и устранения артефактов, вносящих неясность в элементы, входящие в изображения. Системы могут использоваться начинающими пользователями ультразвукового оборудования, которые не могут надежно идентифицировать артефакты и/или настроить ультразвуковой преобразователь так, как это необходимо для их устранения. За счет уменьшения эксплуатационной ошибки раскрытые в настоящем документе системы могут улучшить качество ультразвуковых изображений, полученных во время сканирования, и диагнозы, сделанные на основании таких изображений. В системах может быть реализована нейронная сеть, обученная обнаруживать наличие различных артефактов, которые могут появиться во время ультразвукового сканирования. Помимо обнаружения наличия артефактов, системы могут определять тип каждого артефакта. Типы артефактов могут включать в себя, например, реверберацию, затенения или зеркальные изображения. Нейронная сеть может быть дополнительно обучена выдавать инструкцию или корректирующее действие для настройки ультразвукового преобразователя и/или его параметров так, как это необходимо для устранения артефакта (артефактов) из изображений. Инструкция может меняться в зависимости от типа идентифицированного артефакта, так что инструкция по устранению артефакта реверберации может отличаться от инструкции по устранению артефакта зеркального изображения. В некоторых примерах инструкция предоставляется пользователю, работающему с ультразвуковым оборудованием. В других примерах инструкцию передают системному компоненту, например контроллеру, который выполнен с возможностью автоматической настройки ультразвукового преобразователя в соответствии с инструкцией, тем самым устраняя артефакты без вмешательства пользователя.
[005] В соответствии с некоторыми примерами, система ультразвуковой визуализации может включать в себя ультразвуковой преобразователь, выполненный с возможностью получения эхо-сигналов в ответ на ультразвуковые импульсы, передаваемые в целевую область. Также могут быть предусмотрены один или более процессоров, имеющих связь с ультразвуковым преобразователем. Процессоры могут быть выполнены с возможностью генерирования по меньшей мере одного кадра изображения из ультразвуковых эхо-сигналов; применения нейронной сети к кадру изображения, причем нейронная сеть определяет наличие и тип артефакта в кадре изображения; генерирования индикатора на основании определенного наличия артефакта; обеспечения отображения индикатора на пользовательском интерфейсе, имеющем связь с процессорами; и генерирования инструкции для настройки ультразвукового преобразователя на основании определенных наличия и типа артефакта.
[006] В некоторых примерах процессоры могут быть дополнительно выполнены с возможностью передачи инструкции контроллеру, коммуникативно связанному с ультразвуковым преобразователем. В некоторых вариантах осуществления контроллер может быть выполнен с возможностью настройки ультразвукового преобразователя путем изменения его рабочего параметра на основании инструкции, принятой от процессоров. В некоторых примерах рабочий параметр может включать в себя положение, ориентацию, глубину фокусировки, угол луча, модальность визуализации или частоту ультразвукового преобразователя. В некоторых вариантах осуществления ультразвуковой преобразователь может быть физически связан с роботизированной рукой-манипулятором, выполненной с возможностью перемещения ультразвукового преобразователя.
[007] В некоторых примерах процессоры могут дополнительно иметь возможность генерирования и обеспечения отображения ультразвукового изображения из кадра изображения на пользовательском интерфейсе. В некоторых вариантах осуществления индикатор может включать в себя графическую накладку или маркер положения, наложенный на ультразвуковое изображение, отображаемое на пользовательском интерфейсе. В некоторых примерах артефакт может включать в себя реверберацию, акустическое затенение, акустическое усиление, зеркальное изображение или краевое затенение. В некоторых вариантах осуществления нейронная сеть может включать в себя множество моделей нейронных сетей, причем каждая из моделей нейронной сети связана с одной из множества предусмотренных модальностей визуализации, выбираемых пользователем. В некоторых примерах каждая из предусмотренных модальностей визуализации может предназначаться для обеспечения получения ультразвуковым преобразователем эхо-сигналов от отдельной целевой области путем реализации набора рабочих параметров, специфических для этой отдельной целевой области. В некоторых вариантах осуществления указанные один или более процессоров могут быть выполнены с возможностью генерирования и обеспечения отображения спрогнозированного ультразвукового изображения без артефактов. В некоторых вариантах осуществления инструкция может отображаться на пользовательском интерфейсе. В некоторых примерах следование инструкции обеспечивает устранение артефакта из кадра изображения. В некоторых вариантах осуществления нейронная сеть может быть функционально связана с алгоритмом обучения, обеспечивающим прием массива обучающих входных данных и известных выходных данных, при этом обучающие входные данные включают в себя кадры ультразвукового изображения, содержащие артефакты, а известные выходные данные включают в себя настройку рабочих параметров, обеспечивающую устранение артефактов из кадров ультразвукового изображения. В некоторых примерах нейронная сеть может включать в себя множество моделей нейронных сетей, причем каждая из моделей нейронной сети связана с одним из множества поднаборов обучающих входных данных, при этом каждый из поднаборов связан с одной из множества предусмотренных модальностей визуализации, выбираемых пользователем.
[008] В соответствии с некоторыми примерами способ ультразвуковой визуализации может включать в себя получение эхо-сигналов в ответ на ультразвуковые импульсы, передаваемые в целевую область преобразователем, функционально связанным с ультразвуковой системой; генерирование по меньшей мере одного кадра изображения из ультразвуковых эхо-сигналов; применение нейронной сети к кадру изображения, причем нейронная сеть определяет наличие и тип артефакта в кадре изображения; генерирование индикатора на основании определенного наличия артефакта; отображение индикатора на пользовательском интерфейсе; и генерирование инструкции для настройки преобразователя на основании определенных наличия и типа артефакта, причем инструкция содержит рабочее руководство по устранению артефакта из кадра изображения.
[009] В некоторых примерах способ может дополнительно включать в себя выбор модальности визуализации для получения эхо-сигналов, причем модальность визуализации содержит рабочие параметры, специфические для целевой области. В некоторых вариантах осуществления способ может дополнительно включать в себя передачу инструкции контроллеру, коммуникативно связанному с преобразователем. В некоторых примерах способ может дополнительно включать в себя изменение рабочего параметра преобразователя на основании инструкции. В некоторых вариантах осуществления способ может дополнительно включать отображение инструкции на пользовательском интерфейсе. В некоторых примерах способ может дополнительно включать в себя обучение нейронной сети с использованием кадров ультразвуковых изображений, содержащих множество различных артефактов, и экспертных инструкций для настройки преобразователя на основании множества различных артефактов. В некоторых примерах способ может дополнительно включать в себя генерирование спрогнозированного ультразвукового изображения без артефакта.
[010] Любой из способов, раскрытых в настоящем документе, или из их этапов, может быть реализован на долговременном машиночитаемом носителе, содержащем исполняемые инструкции, которые при исполнении могут заставить процессор системы медицинской визуализации выполнять способ или этапы, воплощенные в настоящем документе.
Краткое описание чертежей
[011] На фиг. 1 представлена блок-схема ультразвуковой системы согласно принципам настоящего изобретения.
[012] На фиг. 2 представлена блок-схема другой ультразвуковой системы согласно принципам настоящего изобретения.
[013] На фиг. 3 представлена блок-схема нейронной сети, обученной определять наличие и тип артефактов ультразвукового изображения согласно принципам настоящего изобретения.
[014] На фиг. 4 представлена фотография ультразвукового изображения, содержащего артефакт зеркального изображения, который не был устранен согласно принципам настоящего изобретения.
[015] На фиг. 5А представлена фотография ультразвукового изображения, содержащего идентифицированные артефакты и индикатор наличия и типа таких артефактов согласно настоящему изобретению.
[016] На фиг. 5В представлена фотография ультразвукового изображения, содержащего идентифицированные артефакты и инструкции по настройке ультразвукового преобразователя для устранения артефактов согласно настоящему изобретению.
[017] На фиг. 6 представлена блок-схема последовательности операций способа ультразвуковой визуализации, выполняемого согласно принципам настоящего изобретения.
Осуществление изобретения
[018] Нижеследующее раскрытие конкретных вариантов осуществления является просто примерным по своей сути и никоим образом не предназначено для ограничения изобретения, его применений или использования. В последующем подробном раскрытии вариантов осуществления настоящих систем и способов рассматриваются прилагаемые чертежи, которые составляют его часть и которые показаны в качестве иллюстрации конкретных вариантов осуществления, в которых раскрытые системы и способы могут быть применены на практике. Эти варианты осуществления раскрыты достаточно подробно, чтобы дать возможность специалистам в данной области техники на практике реализовать раскрытые в настоящий момент системы и способы, при этом следует понимать, что могут быть использованы другие варианты осуществления и что могут быть сделаны структурные и логические изменения без отклонения от сущности и объема настоящей системы. Кроме того, для ясности, подробные описания определенных признаков не будут обсуждаться, когда они очевидны для специалистов в данной области техники, чтобы не усложнять понимание раскрытия настоящей системы. Поэтому нижеследующее подробное раскрытие не следует рассматривать в ограничивающем смысле, и объем настоящей системы определяется только прилагаемой формулой изобретения.
[019] Ультразвуковая система согласно настоящему изобретению может использовать нейронную сеть, например глубокую нейронную сеть (DNN, deep neural network), сверточную нейронную сеть (CNN, convolutional neural network) или тому подобное, для идентификации различных артефактов изображения, например ревербераций, которые могут появляться во время ультразвуковой визуализации. В некоторых примерах нейронная сеть может быть обучена с использованием любой из множества известных на текущий момент или разработанных позже методик машинного обучения для получения нейронной сети (например, машинообученный алгоритм или аппаратная система узлов), которые способны анализировать входные данные в виде ультразвуковых кадров изображения и идентифицировать конкретные признаки, включая один или более артефактов изображения. Нейронные сети могут обеспечивать преимущество перед традиционными формами алгоритмов компьютерного программирования в том, что они могут быть обобщены и обучены распознавать признаки набора данных путем анализа выборок набора данных, а не путем использования специализированного компьютерного кода. Представляя соответствующие входные и выходные данные в алгоритм обучения нейронной сети, нейронную сеть ультразвуковой системы в соответствии с настоящим изобретением можно обучить для идентификации артефактов и предоставления инструкций для настройки ультразвукового преобразователя так, чтобы это приводило к устранению артефактов из ультразвуковых изображений. В некоторых примерах инструкции могут передаваться контроллеру, выполненному с возможностью автоматической настройки ультразвукового преобразователя в соответствии с инструкциями, без вмешательства пользователя. Дополнительно или альтернативно, инструкции могут быть транслированы в одну или более операций обработки изображения для устранения артефактов из ультразвукового изображения.
[020] Ультразвуковая система в соответствии с принципами настоящего изобретения может включать в себя ультразвуковой преобразователь или быть функционально связанной с ультразвуковым преобразователем, выполненным с возможностью передачи ультразвуковых импульсов к среде, например телу человека или его отдельным частям, и генерировать эхо-сигналы в ответ на ультразвуковые импульсы. Ультразвуковая система может включать в себя формирователь луча, обеспечивающий выполнение лучеформирования передачи и/или приема, и дисплей, выполненный с возможностью отображения, в некоторых примерах, ультразвуковых изображений, генерируемых системой ультразвуковой визуализации. Система ультразвуковой визуализации может включать в себя один или более процессоров и по меньшей мере одну модель нейронной сети, которая может быть реализована в аппаратных и/или программных компонентах. Нейронная сеть может быть машинообучена идентифицировать один или более артефактов изображения, таких как реверберации или зеркальные отображения, и выводить индикацию наличия и/или типа таких артефактов.
[021] Нейронная сеть, реализованная согласно настоящему изобретению, может быть основанной на аппаратном (например, нейроны представлены физическими компонентами) или программном (например, нейроны и пути, реализованные в программном приложении) обеспечении и может использовать множество топологий и обучающих алгоритмов для обучения нейронной сети для получения требуемого результата. Например, основанная на программном обеспечении нейронная сеть может быть реализована с использованием процессора (например, одноядерного или многоядерного центрального процессора (CPU), одиночного графического процессора (GPU) или кластера графических процессоров, или множества процессоров, выполненных с возможностью параллельной обработки), обеспечивающего выполнение инструкций, которые могут быть сохранены на машиночитаемом носителе и которые при их исполнении обеспечивают выполнение процессором машинообученного алгоритма для идентификации различных артефактов в ультразвуковых изображениях и, в некоторых примерах, выдачу индикации их наличия, отсутствия и/или типа. Ультразвуковая система может включать в себя дисплей или графический процессор, выполненный с возможностью размещения ультразвуковых изображений и/или дополнительной графической информации, которая может включать в себя аннотации, информацию о тканях, информацию о пациенте, индикаторы и другие графические компоненты, в окне дисплея для отображения на пользовательском интерфейсе ультразвуковой системы. В некоторых вариантах осуществления ультразвуковые изображения и информация о тканях, включая информацию, касающуюся наличия и/или типа артефактов, могут быть предоставлены в устройство хранения и/или памяти, такое как система архивации и передачи изображений (PACS, picture archiving and communication system) для целей отчетности или для будущего машинного обучения (например, чтобы продолжить повышение производительности нейронной сети). В некоторых примерах ультразвуковые изображения, полученные во время сканирования, могут не отображаться пользователю, работающему с ультразвуковой системой, но могут анализироваться системой на наличие или отсутствие артефактов изображения при выполнении ультразвукового сканирования.
[022] На фиг. 1 показан пример ультразвуковой системы в соответствии с принципами настоящего изобретения. Ультразвуковая система 100 может включать в себя блок 110 получения ультразвуковых данных. Блок 110 получения ультразвуковых данных может включать в себя ультразвуковой преобразователь, или зонд, который включает в себя массив 112 ультразвуковых датчиков, выполненный с возможностью передачи ультразвуковых импульсов 114 в целевую область 116 субъекта, например - в брюшную полость, и приема эхо-сигналов 118 в ответ на передаваемые импульсы. Как также показано, модуль 110 получения ультразвуковых данных может включать в себя формирователь 120 луча и сигнальный процессор 122, который может обеспечивать генерирование множества дискретных кадров 124 ультразвукового изображения из ультразвуковых эхо-сигналов 118, принимаемых в массиве 112. В некоторых вариантах осуществления система 100 также может включать в себя контроллер 125, связанный с блоком 110 получения ультразвуковых данных. Контроллер 125 может быть выполнен с возможностью настройки положения, ориентации и/или рабочих параметров блока 110 получения данных как часть автоматического контура обратной связи. Механизм 126 механической настройки, такой как роботизированная рука-манипулятор, может быть выполнен с возможностью физического манипулирования узлом 110 получения ультразвуковых данных в направлении контроллера 125. В некоторых примерах сигнальный процессор 122 может быть расположен с массивом 112 датчиков, или он может быть физически отделен, но коммуникативно (например, посредством проводного или беспроводного соединения), соединенным с ним.
[023] Система также может включать в себя модуль 127 обнаружения артефактов, например, вычислительный модуль или схему (например, специализированную интегральную схему (ASIC), выполненную с возможностью реализации нейронной сети 128. Нейронная сеть 128 может быть выполнена с возможностью приема кадров 124 изображения и определения наличия и/или типа артефакта визуализации в каждом кадре. Для обучения нейронной сети 128 различные типы обучающих данных 129 могут вводиться в сеть в различные моменты до и/или после применения сети. Тогда как на фиг. 1 для ясности и простоты иллюстрации показана только одна нейронная сеть 128, с модулем 127 обнаружения артефактов может быть соединено или коммуникативно связано множество различных моделей нейронных сетей. Каждая модель нейронной сети 128 может быть предварительно обучена с помощью алгоритма обучения для определения наличия и/или типа артефакта визуализации в кадрах 124 изображения, полученных во время конкретного применения визуализации. Соответственно, каждая модель может быть предварительно обучена с помощью отдельного набора обучающих данных 129, полученных посредством визуализации отдельной целевой области 116.
[024] В некоторых примерах система 100 также включает в себя дисплейный процессор 130, связанный с модулем 127 обнаружения артефактов, и пользовательский интерфейс 132. В некоторых примерах дисплейный процессор 130 может быть выполнен с возможностью генерирования ультразвуковых изображений 134 из кадров 124 изображения, а также индикатора 136, который указывает наличие и/или тип артефакта (артефактов) изображения в каждом из кадров 124. Пользовательский интерфейс 132 может быть выполнен с возможностью отображения ультразвуковых изображений 134 области вместе с индикатором 136 в режиме реального времени по мере выполнения ультразвукового сканирования. В некоторых вариантах осуществления пользовательский интерфейс 132 может не отображать ультразвуковые изображения, но может отображать индикатор 136, так что пользователь может не иметь возможности видеть телесные элементы и/или артефакты изображения, показанные в кадре изображения, но поскольку может отображаться индикатор 136, пользователь все равно будет уведомлен об их ультразвуковом обнаружении. Пользовательский интерфейс 132 также может быть выполнен с возможностью отображения одной или более инструкций 137 на основании обнаружения наличия и/или типа артефактов, возникающих в кадрах 124 изображения. Инструкции 137 могут включать в себя указания для настройки блока 110 получения данных таким образом, чтобы устранить артефакт (артефакты) из кадров 124 изображения, тем самым улучшая качество кадров изображения. Пользовательский интерфейс 132 также может быть выполнен с возможностью приема пользовательских входных данных 138 в любое время до, во время или после ультразвукового сканирования. В некоторых примерах пользовательские входные данные 138 могут включать в себя выбор предусмотренной модальности визуализации, который определяет рабочие параметры для визуализации определенных элементов, например мочевого пузыря, легких, почек и т.д. Рабочие параметры могут включать в себя предварительно заданные глубину фокусировки, частоту пульса, число линий сканирования, плотность линий сканирования или другие параметры. Конкретная модель нейронной сети 128, применяемая к полученным кадрам 124 изображения, может зависеть от предусмотренной модальности визуализации, выбранной пользователем. Например, модель 128 нейронной сети, применяемая во время визуализации сердца, может отличаться от модели нейронной сети, применяемой при визуализации мочевого пузыря или почки. Таким образом, каждая модель нейронной сети 128 может быть предварительно обучена для идентификации артефактов в определенных типах кадров 124 изображений, полученных от конкретной целевой области 116. Выбор предусмотренной модальности визуализации обеспечивает реализацию надлежащей модели нейронной сети 128.
[025] Конфигурация системы 100, показанная на фиг. 1 может изменяться. Как также показано, пользовательский интерфейс 132 может отображать спрогнозированные кадры 139 без артефактов изображения, сгенерированные нейронной сетью 128. Например, система 100 может быть портативной или стационарной. Различные портативные устройства, например ноутбуки, планшеты, смартфоны или тому подобное, могут использоваться для реализации одной или более функций системы 100 в месте, отдельном от клиники, например в удаленном пункте обслуживания. В примерах, которые включают в себя такие устройства, массив 112 ультразвуковых датчиков может быть подключен, например, через интерфейс USB.
[026] Блок 110 получения ультразвуковых данных может быть выполнен с возможностью получения ультразвуковых данных от одной или более исследуемых областей, которые могут включать в себя различные ткани, органы или другие внутренние структуры тела. Массив 112 ультразвуковых датчиков может включать в себя по меньшей мере один массив преобразователей, выполненный с возможностью передачи и приема ультразвуковой энергии. Могут быть использованы различные массивы преобразователей, например, линейные массивы, выпуклые массивы или фазированные массивы. Количество и расположение элементов преобразователя, входящих в состав массива 112 датчиков, в разных примерах может быть различным. Например, массив 112 ультразвуковых датчиков может включать в себя одномерный или двумерный массив преобразовательных элементов, соответствующий зондам с линейным массивом и матричным массивом, соответственно. Двумерные матричные массивы могут быть выполнены с возможностью электронного сканирования как по вертикальному, так и по азимутальному направлениям (посредством формирования луча с фазированной решеткой) для двумерной или трехмерной визуализации. В дополнение к визуализации в В-режиме, модальности визуализации, реализованные согласно изобретению, раскрытому в настоящем документе, также могут включать в себя, например, сдвиговую волну и/или эффект Доплера.
[027] Обращаться с узлом 110 получения ультразвуковых данных и использовать его для выполнения способов, раскрытых в настоящем документе, может широкий круг пользователей. В некоторых примерах пользователь может быть неопытным, начинающим оператором ультразвукового оборудования, неспособным последовательно идентифицировать и/или удалять артефакты из ультразвуковых изображений. Раскрытая в настоящем документе усовершенствованная ультразвуковая технология позволяет таким пользователям выполнять эффективную ультразвуковую визуализацию путем идентификации артефактов в полученных кадрах 124 ультразвукового изображения и предоставления пользователям инструкций по настройке ультразвукового преобразователя таким образом, чтобы удалять артефакты из изображений. В примерах, где для управления положением и/или ориентацией ультразвукового преобразователя используется механизм 126 механической настройки, инструкции по устранению артефактов могут быть переданы контроллеру 125, выполненному с возможностью обеспечивать автоматическое выполнение роботизированным оборудованием требуемых настроек, без входных данных от пользователя. Благодаря идентификации артефактов и предоставлению точных инструкций по устранению артефактов, раскрытые в настоящем документе системы могут обеспечить улучшенную интерпретацию и диагностику изображений.
[028] Как также показано на фиг. 1, блок 110 получения данных может также включать в себя формирователь 120 луча, например, содержащий формирователь микролуча или комбинацию формирователя микролуча и основного формирователя луча, связанный с массивом 112 ультразвуковых датчиков. Формирователь 120 луча может управлять передачей ультразвуковой энергии, например, путем формирования ультразвуковых импульсов в сфокусированные лучи. Формирователь 120 луча также может быть выполнен с возможностью управления приемом ультразвуковых сигналов, чтобы с помощью других компонентов системы можно было получать и обрабатывать распознаваемые данные изображения. Роль формирователя 120 луча может быть различной в зависимости от типа ультразвукового зонда. В некоторых вариантах осуществления формирователь 120 луча может содержать два отдельных формирователя луча: формирователь луча передачи, выполненный с возможностью приема и обработки импульсных последовательностей ультразвуковой энергии для передачи внутрь субъекта, и отдельный формирователь луча приема, выполненный с возможностью усиления, задержки и/или суммирования принятых ультразвуковых эхо-сигналов. В некоторых вариантах осуществления формирователь 120 луча может содержать формирователь микролуча, работающий на группах сенсорных элементов для формирователя луча передачи и для формирователя луча приема, связанный с основным формирователем луча, который работает на групповых входных и выходных сигналах для формирования луча передачи и приема, соответственно.
[029] Сигнальный процессор 122 может быть коммуникативно, функционально и/или физически связан с массивом 112 датчиков и/или формирователем 120 луча. В примере, показанном на фиг. 1, сигнальный процессор 122 сигналов входит в состав блока 110 получения данных как неотъемлемый компонент, но в других примерах сигнальный процессор 122 может быть отдельным компонентом. Сигнальный процессор 122 может быть выполнен с возможностью приема неотфильтрованных и неорганизованных ультразвуковых данных, воплощающих ультразвуковые эхо-сигналы 118, принятые в массиве 112 датчиков. Из этих данных сигнальный процессор 122 может непрерывно генерировать множество кадров 124 ультразвукового изображения по мере сканирования пользователем области 116.
[030] Модуль 127 обнаружения артефактов может принимать кадры 124 изображения из блока 110 получения данных. Затем модуль 127 может подготовить принятые данные изображения, воплощенные в кадрах 124 изображения, для ввода в нейронную сеть 128. В вариантах осуществления модуль 127 может вводить кадры 124 изображения в конкретную модель нейронной сети 128 на основании предусмотренной модальности визуализации, выбранной пользователем. В некоторых примерах подготовка данных включает в себя создание трехкратной репликации данных, чтобы для идентификации артефактов изображения и вариантов настройки для их устранения можно было использовать различные модели нейронных сетей, например, Inception, Alexnet и/или Resnet. В некоторых вариантах осуществления тройная репликация может включать в себя три 8-битных представления динамического диапазона, то есть изображение с высоким сигналом и низким динамическим диапазоном; изображение с низким сигналом и низким динамическим диапазоном; и сжатое изображение с высоким динамическим диапазоном с адаптивным выравниванием гистограммы.
[031] В различных вариантах осуществления нейронная сеть 128 может быть встроена в сигнальный процессор 122 и/или модуль 127 обнаружения артефактов или по меньшей мере иметь связь с ними. В некоторых примерах нейронная сеть 128 может быть выполнена с возможностью приема и ввода кадров 124 ультразвукового изображения непосредственно из сигнального процессора 122 и определения того, присутствуют ли один или более артефактов в каждом из кадров 124 изображения. В некоторых вариантах осуществления нейронная сеть 128 может быть сверточной нейронной сетью (CNN), состоящей из по-разному организованных нейронных слоев и подслоев, совместно обучаемых распознавать различные артефакты изображения в ультразвуковых кадрах изображения. Нейронная сеть 128 может включать в себя множество моделей нейронных сетей, причем каждая модель обучается с использованием отдельного набора обучающих данных 129, полученных путем визуализации конкретной целевой области 116 во время реализации определенной модальности визуализации. Нейронная сеть 128 может автоматически обнаруживать наличие, отсутствие и/или тип артефактов в каждом принятом кадре 124 изображения и может быть реализована в двух- или трехмерных системах ультразвуковой визуализации. Нейронная сеть 128 также может идентифицировать тип каждого артефакта, обнаруженного в кадрах 124 изображения. В зависимости от типа артефакта нейронная сеть 128 может быть также выполнена с возможностью выдавать инструкцию 137 для устранения артефакта из изображений. Кроме того, нейронная сеть 128 может быть выполнена с возможностью генерирования спрогнозированных кадров 139 изображения без артефактов. Кадры 139 изображения без артефактов могут содержать исходные кадры 124 изображения, но с устраненными из них артефактами.
[032] Дисплейный процессор 130, коммуникативно связанный с нейронной сетью 128, может быть выполнен с возможностью генерирования индикатора 136 на основании результатов определений, сделанных нейронной сетью 128. В некоторых реализациях индикатор 136 может указывать на наличие, отсутствие и/или тип артефакта в кадре 124 изображения. После приема ультразвуковых изображений 124 и/или индикатора 136 пользовательский интерфейс 132 может затем отображать указанные изображения и/или индикатор. Индикатор 136 может отображаться одновременно, например, с наложением поверх ультразвуковых изображений 134 или рядом с ними в режиме реального времени по мере получения изображений. Соответственно, индикатор 136 может немедленно уведомлять пользователя о наличии или отсутствии одного или более артефактов. В некоторых примерах индикатор 136 может содержать сенсорный сигнал, который не отображается визуально, например вибрацию ультразвукового зонда или звуковой сигнал, испускаемый динамиками, связанными с ультразвуковой системой 100. Индикатор 136 также может содержать свет, который включается или выключается или меняет цвет. Например, наличие артефакта может указываться красным светом, тогда как отсутствие артефакта может указываться зеленым светом или отсутствием света. В некоторых вариантах осуществления индикатор 136 может отображаться без одновременного отображения ультразвуковых изображений. Конкретный характер индикатора 136 не является критическим, при условии, что индикатор уведомляет пользователя о наличии или отсутствии артефактов изображения во время сканирования.
[033] В некоторых примерах пользовательский интерфейс 132 может быть дополнительно выполнен с возможностью руководства пользователем или помощи ему в ультразвуковом сканировании так, чтобы любые артефакты изображения были устранены или, по меньшей мере, уменьшены по интенсивности. Такое руководство может быть сгенерировано нейронной сетью 128 в виде одной или более инструкций 137 и может реагировать на индикатор 136, также сгенерированный нейронной сетью 128. Например, пользовательский интерфейс 132 может предоставлять инструкцию пользователю в ответ на прием индикатора 136, указывающего на наличие и/или тип артефакта изображения. Инструкция может побудить пользователя выполнить ультразвуковое сканирование конкретным образом, что гарантирует устранение всех артефактов изображения из полученных изображений. Например, если обнаружен артефакт реверберации, то пользовательский интерфейс 132 может обеспечить инструкцию для изменения угла обзора ультразвукового преобразователя. Для зеркальных изображений пользовательский интерфейс 132 может обеспечить инструкцию для изменения плоскости формирования изображения, глубины фокусировки и/или частоты импульсов преобразователя. Инструкции могут также включать в себя команды направления, например, «Переместить ультразвуковой зонд в боковом направлении» и/или команды, основанные на технике выполнения, например «Перемещать ультразвуковой преобразователь медленнее»; «Замедлить»; «Остановить»; или «Продолжить». В некоторых примерах инструкции могут предписывать пользователю удерживать преобразователь в одном месте в тот момент, когда артефакт исчезает, что позволяет визуализировать и интерпретировать изображение без артефактов. Инструкции могут также побуждать пользователя вносить небольшие корректировки в положение и/или ориентацию преобразователя в момент обнаружения артефакта.
[034] На фиг. 2 представлена блок-схема другой ультразвуковой системы 200 в соответствии с принципами настоящего изобретения. Один или более компонентов, показанных на фиг. 2, могут быть включены в систему, выполненную с возможностью идентификации артефактов изображения, которые могут появляться в кадрах ультразвукового изображения, для обеспечения индикации наличия, отсутствия и/или типа артефактов, обеспечения инструкций по настройке ультразвукового преобразователя для устранения артефактов и/или автоматической настройки одного или более рабочих параметров ультразвукового преобразователя. Например, любая из вышеописанных функций сигнального процессора 122 может быть реализована и/или управляться одним или более компонентами обработки, показанными на фиг. 2, включающими в себя, например, сигнальный процессор 226, процессор 228 В-режима, преобразователь 230 сканирования, мультипланарный переформатировщик (multiplanar reformatted 232, объемный рендерер 234 и/или процессор 236 изображений.
[035] В системе ультразвуковой визуализации по фиг. 2, ультразвуковой зонд 212 включает в себя массив 214 преобразователей для передачи ультразвуковых волн в область, содержащую какой-либо элемент, например орган, и приема эхо-информации в ответ на передаваемые волны. В различных вариантах осуществления массив 214 преобразователей может быть матричным массивом или одномерным линейным массивом. Массив преобразователей может быть связан с формирователем 216 микролуча в зонде 212, который может управлять передачей и приемом сигналов преобразовательными элементами в массиве. В показанном примере формирователь 216 микролуча связан кабелем зонда с переключателем 218 передачи/приема (T/R, transmit/receive), который переключается между передачей и приемом и защищает основной формирователь 222 луча от передаваемых сигналов высокой энергии. В некоторых вариантах осуществления переключатель 218 T/R и другие элементы в системе могут входить в состав преобразовательного зонда, а не являться отдельным компонентом ультразвуковой системы. Передача ультразвуковых лучей из массива 214 преобразователей под управлением формирователя 216 микролуча может направляться контроллером 220 передачи, связанным с переключателем 218 T/R, и формирователем 222 луча, который принимает входные данные, например, от действий пользователя на пользовательском интерфейсе или панели 224 управления. Функцией, которой может управлять контроллер 220 передачи, является направление, в котором наводятся лучи. Лучи могут наводиться прямо вперед (ортогонально) от массива преобразователей или под разными углами для более широкого поля зрения. Сигналы с частичным формированием луча, создаваемые формирователем 216 микролуча, соединяются с основным формирователем 222 луча, при этом сигналы с частичным формированием луча от отдельных фрагментов преобразовательных элементов объединяются в полностью сформированный лучом сигнал.
[036] Сигналы, сформированные лучом, могут быть переданы в сигнальный процессор 226. Сигнальный процессор 226 может обрабатывать принятые эхо-сигналы различными способами, такими как полосовая фильтрация, прореживание, разделение I- и Q-компонентов и/или разделение гармонических сигналов. Сигнальный процессор 226 также может выполнять дополнительное усиление сигнала посредством уменьшения спекла, сложения сигналов и/или устранения шума. В некоторых примерах данные, генерируемые различными методами обработки, используемыми сигнальным процессором 226, могут использоваться процессором данных и/или нейронной сетью для идентификации одного или более артефактов изображения. Обработанные сигналы могут быть связаны с процессором 228 В-режима, который может использовать обнаружение амплитуды для структур визуализации в теле. Сигналы, создаваемые процессором 228 В-режима, могут быть связаны с преобразователем 230 сканирования и мультипланарным переформатировщиком 232. Преобразователь 230 сканирования может располагать эхо-сигналы во взаимосвязи с пространством, из которого они были получены, в требуемом формате изображения. Например, преобразователь 230 сканирования может располагать эхо-сигналы в двумерном (2D) формате в виде сектора. Мультипланарный переформатировщик 232 может преобразовывать эхо-сигналы, которые принимаются от точек в общей плоскости в объемной области тела, в ультразвуковое изображение этой плоскости, как раскрыто в патенте США No. №6,444,896 (Detmer). В некоторых примерах, объемный рендерер 234 может преобразовывать эхо-сигналы трехмерного (3D) набора данных 3D в проецируемое 3D-изображение, наблюдаемое из заданной базовой точки, например, как раскрыто в патенте США №6,530,885 (Entrekin et al.). 2D- или 3D-изображения могут передаваться из преобразователя 230 сканирования, мультипланарного переформатировщика 232 и объемного рендерера 234 в процессор 236 изображений для дальнейшего улучшения, буферизации и/или временного хранения для отображения на дисплее 237 изображений. Перед их отображением, нейронная сеть 238, которая может содержать множество различных моделей нейронных сетей, может быть реализована для идентификации того, содержит ли каждое изображение один или более артефактов изображения. В вариантах осуществления нейронная сеть 238 может быть реализована на различных этапах обработки, например, до обработки, выполняемой процессором 236 изображений, объемным рендерером 234, мультипланарным переформатировщиком 232 и/или преобразователем 230 сканирования. Графический процессор 240 может генерировать графические накладки для отображения с ультразвуковыми изображениями. Эти графические накладки могут содержать, например, стандартную идентификационную информацию, такую как имя пациента, дата и время изображения, параметры визуализации и тому подобное, а также различные выходные данные, генерируемые нейронной сетью 238, такие как один или более индикаторов, указывающих наличие, отсутствие и/или тип артефактов изображения, входящих в конкретное изображение. Графические накладки также могут включать в себя визуальные инструкции, например текст и/или символы, чтобы указывать пользователю системы 200 на протяжении ультразвукового сканирования, каким образом необходимо генерировать изображения без артефактов. В некоторых примерах графический процессор может принимать входные данные от пользовательского интерфейса 224, такие как введенное имя пациента или подтверждение того, что инструкция, отображаемая на интерфейсе или выдаваемая интерфейсом, была подтверждена пользователем системы 200. Пользовательский интерфейс 224 также может принимать входные данные, относящиеся к выбору конкретных модальностей визуализации и рабочих параметров, входящих в эти модальности, вводить указания для регулировки настроек и/или параметров, используемых системой 200, вводить запрос дополнительных инструкций или помощи для выполнения ультразвукового сканирования и/или вводить запрос на сохранение одного или более ультразвуковых изображений и/или их передачу на удаленный приемник. Пользовательский интерфейс также может быть связан с мультипланарным переформатировщиком 232 для выбора и управления отображением множества мультипланарных переформатированных (MPR, multiplanar reformatted) изображений.
[037] На фиг. 3 представлена блок-схема нейронной сети 300, обученной идентифицировать артефакты изображения в данных ультразвукового изображения в соответствии с принципами настоящего изобретения. В показанном примере нейронная сеть 300 является сверточной нейронной сетью (CNN), в частности, модифицированной версией модели lnception-v3. В других вариантах осуществления могут использоваться другие нейронные сети, такие как Alexnet и/или Resnet. Архитектура сети, показанная на фиг. 3, которая настроена для обнаружения наличия и типа артефактов изображения в данных ультразвукового изображения, представляет только один пример компоновки нейронных слоев и подслоев, а также взаимосвязь между ними, которая может быть реализована в соответствии с примерами настоящего изобретения. Например, число слоев 304 может быть больше для нейронной сети, выполненной с возможностью идентификации большего разнообразия артефактов изображения. Аналогично, число слоев 304 может быть меньше для идентификации меньшего числа артефактов изображения. В некоторых примерах архитектура сети, показанная на фиг. 3, может быть изменена путем настройки весов и плотных слоев для выдачи многозначного классификатора, длина которого равна числу различных типов артефактов изображения. В различных вариантах осуществления может быть реализовано множество нейронных сетей 300, каждая из которых четко видоизменена для идентификации артефактов изображения в ходе конкретной модальности визуализации.
[038] Нейронная сеть 300, показанная на фиг. 3 обучена принимать входные данные в виде кадров 302 ультразвукового изображения, каждый из которых может содержать ноль, один или множество артефактов изображения. В зависимости от предусмотренной модальности визуализации, выбранной пользователем, типы кадров 302 изображения, а также конкретная модель применяемой нейронной сети 300 могут различаться. В некоторых примерах конкретная модель 300 нейронной сети может быть неспособна идентифицировать артефакты, если снабжается кадрами 302 изображения, полученными с помощью модальности визуализации, не связанной с этой конкретной моделью. Нейронная сеть 300 может быть выполнена с возможностью приема различных типов входных данных. Например, сеть может обрабатывать двумерные, трехмерные, 8-битные, 16-битные или красно-сине-зеленые данные канала. В некоторых вариантах осуществления каждый уровень может быть обучен выполнять определенные аспекты обнаружения элементов. Например, один или более слоев 304 могут быть обучены распознавать края и/или уровни интенсивности различных элементов в каждом принятом кадре изображения. Один или более слоев 304 могут быть обучены отделять артефакты изображения от других элементов, имеющих аналогичные уровни интенсивности. В некоторых примерах наивысшие активации на верхних сверточных слоях можно наложить поверх каждого кадра ультразвукового изображения, чтобы выделить местоположение ультразвука. Этот подход имеет преимущества перед методами сегментации, обнаружения или локализации, поскольку он не требует занимающей много времени экспертной аннотации или дополнительного машинного обучения. В некоторых вариантах осуществления данные обучения могут также включать в себя инструкции по настройке ультразвукового зонда, создаваемые опытными пользователями или экспертами, просматривающими артефакты, идентифицированные нейронной сетью. В соответствии с такими вариантами осуществления обучающие изображения могут быть сопряжены с инструкциями по устранению, чтобы сеть 300 обучалась идентифицировать артефакты и способы их одновременного устранения. Последний уровень может обеспечивать определение типа артефакта, присутствующего в данных изображения, и генерирование соответствующих выходных данных 306. По этой причине последний уровень может называться «выходным уровнем». Выходные данные могут включать в себя указание наличия, отсутствия и/или типа артефактов изображения, присутствующих в исходных входных данных, которые могут включать в себя артефакты реверберации, артефакты акустического затенения, артефакты акустического усиления, артефакты зеркального отображения, артефакты краевого затенения или другие. Инструкция, основанная на наличии и/или типе артефакта (артефактов), идентифицированного (идентифицируемых) нейронной сетью 300, также может выдаваться из конечного уровня. В некоторых вариантах осуществления выходные данные могут включать в себя изображение без артефактов, спрогнозированное нейронной сетью 300. В некоторых примерах выходные данные 306 можно визуализировать с использованием методов свертки с дробным шагом. Выходные данные могут быть связаны с дисплейным процессором, например с дисплейным процессором 130, показанным на фиг. 1, который может преобразовывать выходные данные, например, в сигнал, метку или графическое отображение.
[039] Нейронная сеть 300 может быть реализована, по меньшей мере - частично, на машиночитаемом носителе, содержащем исполняемые инструкции, которые при выполнении процессором, таким как модуль 127 обнаружения артефактов, могут обеспечить выполнение процессором машинообученного алгоритма для определения наличия, отсутствия и/или типа артефактов изображения, содержащихся в кадре изображения, на основании полученных эхо-сигналов, сформированных в нем. Для обучения нейронной сети 300 обучающие наборы, которые включают в себя множество примеров массивов входных данных и классификаций выходных данных, могут быть предоставлены алгоритму (алгоритмам) обучения нейронной сети 300 (например, алгоритму обучения AlexNet, как описано в работе А. Крижевского, И. Суцкевера и Д. Хинтона (Krizhevsky, А., Sutskever, I. and Hinton, G. E.) «Классификация ImageNet с глубокими сверточными нейронными сетями (ImageNet Classification with Deep Convolutional Neural Networks)», NIPS 2012, или его потомкам).
[040] Алгоритм обучения нейронной сети, связанный с нейронной сетью 300, может быть представлен тысячами или даже миллионами наборов обучающих данных для обучения нейронной сети для идентификации артефактов изображения и предоставления инструкций по их устранению. В различных примерах число ультразвуковых изображений, используемых для обучения нейронной сети, может варьироваться от приблизительно 50000 до 200000 или более. Число изображений, используемых для обучения сети, может быть увеличено, если нужно идентифицировать большее количество различных артефактов. Число обучающих изображений, используемых для обучения сети, может различаться для разных артефактов и может зависеть от изменчивости появления определенных артефактов. Например, элементы, указывающие на выбранные артефакты, могут появляться более последовательно, чем элементы, указывающие на другие артефакты. Обучение нейронной сети 300 для идентификации артефактов с переменными элементами может потребовать больше обучающих изображений. В некоторых вариантах осуществления обучение может контролироваться. Например, окончательные выходные данные 306 нейронной сети 300, которые могут включать в себя идентифицированный артефакт изображения и/или инструкцию по его устранению, могут быть подтверждены или отклонены экспертом в интерпретации ультразвукового изображения.
[041] Обучение нейронной сети 300 для генерирования спрогнозированных изображений, в которых отсутствуют идентифицированные артефакты изображения, может включать в себя ввод ультразвуковых изображений различных элементов, содержащих артефакты, и связанных ультразвуковых изображений тех же самых элементов, полученных после того, как была выполнена настройка визуализации и устранены артефакты. В некоторых примерах создание спрогнозированных изображений без артефактов может включать в себя экстраполяцию частей телесных элементов, скрытых одним или более артефактами. Например, нейронная сеть 300 может быть обучена идентифицировать края каждого артефакта в пределах конкретного кадра изображения и инвертировать цвет пикселей, определенных этими краями. После такой инверсии все или часть инвертированных пикселей могут быть изменены по мере необходимости, чтобы дополнить телесные элементы, первоначально скрытые теперь устраненным артефактом (артефактами).
[042] На фиг. 4 представлена фотография ультразвукового изображения 400, содержащего артефакт зеркального изображения, который не был устранен. Как показано, артефакт зеркального изображения может появляться в виде двух идентичных элементов 402а и 402b, расположенных как отраженные копии. Артефакты зеркального изображения могут быть вызваны зеркальным отражением ультразвукового луча на большой гладкой границе раздела, например границе раздела жидкость-воздух. Раскрытые в настоящем документе системы могут быть выполнены с возможностью идентификации артефактов зеркального отображения, таких как артефакты, показанные на фиг. 4, путем ввода кадра изображения, воплощающего артефакт, в нейронную сеть, обученную идентифицировать артефакты, включая зеркальные изображения. В некоторых примерах нейронная сеть может быть обучена специально искать артефакты зеркального изображения на основе предусмотренной модальности визуализации, выбранной пользователем. Например, артефакты зеркального изображения могут часто появляться при визуализации мочевого пузыря. Соответственно, когда пользователь выбирает модальность визуализации, обеспечивающую формирование изображения мочевого пузыря, нейронная сеть может быть специально или предпочтительно обучена искать артефакты зеркального отображения. Другие органы или типы тканей также могут быть связаны с конкретными артефактами изображения. Например, при визуализации плеврального интерфейса между тканью легкого и воздухом, содержащимся в легких, нейронная сеть может быть специально выполнена, для поиска ревербераций, например, А-линий и/или В-линий. Обучение нейронной сети поиску конкретных артефактов при отображении определенных телесных элементов может сократить требуемое время обработки и повысить вычислительную эффективность всей системы за счет исключения ненужной обработки, которая вряд ли идентифицирует какие-либо артефакты. В некоторых вариантах осуществления нейронная сеть может быть обучена идентифицировать все артефакты, независимо от выбора пользователем конкретной модальности визуализации. В некоторых примерах система может быть выполнена с возможностью переключения между первым режимом поиска поднабора артефактов изображения и вторым режимом поиска всех артефактов изображения, использованных для обучения нейронной сети.
[043] На фиг. 5А представлена фотография ультразвукового изображения, содержащего идентифицированные артефакты и индикатор наличия и типа таких артефактов в соответствии с настоящим изобретением. Изображение 500, которое может отображаться на пользовательском интерфейсе, включает в себя три графических накладки 502, указывающих местоположение артефактов изображения в пределах изображения. Изображение 500 также включает в себя уведомление 504, указывающее, что на изображении обнаружены артефакты затенения. В других примерах уведомление может не отображаться, а выдаваться как звуковой сигнал. Дополнительно или альтернативно, уведомление может быть выражено в сенсорном сигнале, таком как вибрация ультразвукового преобразователя, используемого для получения изображения.
[044] На фиг. 5В показана фотография 500 с фиг. 5А, включающая в себя инструкции 506 для настройки ультразвукового преобразователя, чтобы устранить артефакты, обнаруженные на изображении. Как показано, примерные инструкции могут содержать «Предложение по устранению», которое может указать пользователю «повернуть преобразователь» и «включить угловое составление». Как было пояснено в настоящем документе, инструкции 506 могут меняться в зависимости от типа и/или количества обнаруженных артефактов. Инструкция 506, показанная на фиг. 5В также включает в себя графическое представление, иллюстрирующее маневр, который может выполняться с ультразвуковым преобразователем для устранения артефактов из изображения.
[045] Дополнительно или альтернативно, инструкции 506 могут быть переданы контроллеру, связанному с ультразвуковым преобразователем, используемым для получения изображения 500 как часть контура рабочей обратной связи. В соответствии с этими вариантами осуществления инструкции 506 могут автоматически преобразовываться в настройку положения, ориентации и/или рабочих параметров ультразвукового преобразователя. Настройки могут быть реализованы с использованием механизма механической настройки, управляемого контроллером так, чтобы механизм автоматически поворачивал преобразователь и/или включал угловое составление. Настройки также могут быть реализованы путем изменения различных параметров изображения, например, путем включения составления изображения, использования гармонического изображения и/или уменьшения глубины изображения. Настройки могут быть воплощены в инструкциях 506 и предоставлены пользователю для ручной настройки или автоматически реализованы системой после одобрения пользователя. После выполнения таких инструкций, либо с помощью контроллера, либо с помощью ручной настройки, может быть сгенерировано и/или отображено новое ультразвуковое изображение, в котором отсутствуют артефакты, что приводит к удалению инструкций 506. В некоторых случаях настройка преобразователя может вызвать появление одного или более новых артефактов, что приведет к отображению новых инструкций для их устранения.
[046] На фиг. 6 представлена блок-схема последовательности операций способа ультразвуковой визуализации, выполняемого в соответствии с принципами настоящего изобретения. Примерный способ 600 показывает этапы, которые могут использоваться в любой последовательности системами и/или устройствами, раскрытыми в настоящем документе, для идентификации наличия и/или типа артефакта изображения, появляющегося во время ультразвукового сканирования, которое может выполнять начинающий пользователь и/или роботизированное ультразвуковое устройство, придерживающееся инструкций, сгенерированных системой. Способ 600 может быть выполнен системой ультразвуковой визуализации, такой как система 600, или другими системами, включая, например, мобильную систему, такую как LUMIFY от Koninklijke Philips N.V. («Philips»). Дополнительные примерные системы могут включать в себя SPARQ и/или EPIQ, также производимые Philips.
[047] В показанном варианте осуществления способ 600 начинается в блоке 602 с «получения эхо-сигналов в ответ на ультразвуковые импульсы, передаваемые в целевую область преобразователем, функционально связанным с ультразвуковой системой». Преобразователь может быть управляемым пользователем вручную или реализованным с руководством от контроллера, который может работать в соответствии с предусмотренной модальностью визуализации, предназначенным для визуализации одного или более конкретных элементов, например легких, печени, мочевого пузыря, сердца и т.д.
[048] В блоке 604 показано, что способ включает в себя «генерирование по меньшей мере одного кадра изображения из ультразвуковых эхо-сигналов». Кадр изображения может быть сгенерирован с использованием одного или более процессоров. В некоторых вариантах осуществления могут быть предусмотрены процессоры обработки дискретных сигналов и процессоры данных.
[049] В блоке 606 показано, что способ включает в себя «применение нейронной сети к кадру изображения, причем нейронная сеть определяет наличие и тип артефакта в кадре изображения». Нейронная сеть может быть сверточной нейронной сетью, такой как модель Inception. При необходимости архитектуру сети можно модифицировать для идентификации множества артефактов изображения и выдачи указания на них. Обучение нейронной сети может включать в себя ввод тысяч ультразвуковых изображений, содержащих артефакты, а также изображений без артефактов. Обучение может также включать в себя ввод инструкций по устранению артефактов и/или попарных изображений с артефактами изображения или без них.
[050] В блоке 608 показано, что способ включает в себя «генерирование индикатора на основании определенного наличия артефакта». Индикатор может обновляться, по существу, в режиме реального времени в ответ на перемещение преобразователя пользователем или механизмом механической настройки. Индикатор может представлять собой двоичный индикатор, индикатор включения или выключения, или индикатор может постепенно меняться в зависимости от количества и/или типа артефактов изображения, выявленных во время ультразвукового сканирования.
[051] В блоке 610 показано, что способ включает в себя «отображение индикатора на пользовательском интерфейсе». Отображение индикатора может включать в себя изображение значка, указывающего на наличие или отсутствие индикатора, и/или текстовое уведомление, описывающее наличие и/или идентификацию артефактов изображения. В некоторых вариантах осуществления индикатор может быть наложен на артефакты, содержащиеся в ультразвуковом изображении, чтобы также показать местоположение артефактов. В некоторых примерах индикатор может содержать световой индикатор, который включается или выключается или меняет цвет на основании наличия артефактов изображения в пределах изображения. В некоторых реализациях, например, когда изображения передаются стороннему специалисту для анализа, индикатор может не отображаться.
[052] В блоке 612 показано, что способ включает в себя «генерирование инструкции для настройки преобразователя на основании определенных наличия и типа артефакта, причем инструкция содержит рабочее руководство по устранению артефакта из кадра изображения». Как раскрыто в настоящем документе, инструкция может быть передана пользователю, который затем может реализовать инструкцию по устранению артефактов, или может быть передана другому компоненту системы, например контроллеру, выполненному с возможностью автоматической настройки блока получения ультразвуковых данных в соответствии с инструкцией.
[053] В различных вариантах осуществления, где компоненты, системы и/или способы реализуются с использованием программируемого устройства, такого как компьютерная система или программируемая логика, следует понимать, что раскрытые выше системы и способы могут быть реализованы с использованием любого из различных известных или разработанных позднее языков программирования, таких как «С», «С++», «FORTRAN», «Pascal», «VHDL» и тому подобное. Соответственно, можно подготовить различные носители данных, такие как магнитные компьютерные диски, оптические диски, электронные запоминающие устройства и тому подобное, которые могут содержать информацию, которая может руководить устройством, таким как компьютер, для реализации раскрытых выше систем и/или способов. Как только соответствующее устройство будет иметь доступ к информации и программам, содержащимся на носителе данных, носитель данных может предоставить информацию и программы устройству, обеспечивая в устройстве возможность выполнения функций систем и/или способов, раскрытых в настоящем документе. Например, если компьютерный диск, содержащий соответствующие материалы, такие как исходный файл, объектный файл, исполняемый файл или тому подобное, был предоставлен компьютеру, компьютер может принимать информацию, соответствующим образом конфигурировать себя и выполнять функции различных систем и способов, раскрытых выше на чертежах и блок-схемах, для реализации различных функций. То есть, компьютер может принимать с диска различные фрагменты информации, относящейся к различным элементам раскрытых выше систем и/или способов, реализовывать отдельные системы и/или способы и координировать функции отдельных систем и/или способов, раскрытых выше.
[054] В свете этого изобретения следует отметить, что различные способы и устройства, раскрытые в настоящем документе, могут быть реализованы в аппаратном, программном и программно-аппаратном обеспечении. Кроме того, различные способы и параметры приведены только в качестве примера, а не в каком-либо ограничивающем смысле. В свете этого изобретения специалисты в данной области техники могут реализовать настоящие идеи при определении своих собственных методик и необходимого оборудования, задействованного в этих методиках, оставаясь при этом в рамках объема изобретения. Функциональные возможности одного или более процессоров, раскрытых в настоящем документе, могут быть включены в меньшее число блоков или один блок обработки (например, центральный процессор) и могут быть реализованы с использованием специализированных интегральных схем (ASIC) или схем обработки общего назначения, которые запрограммированы как реагирующие на исполняемую инструкцию для выполнения функций, раскрытых в настоящем документе.
[055] Хотя настоящая система могла быть описана с конкретным рассмотрением системы ультразвуковой визуализации, также предполагается, что настоящая система может быть распространена на другие системы медицинской визуализации, где одно или более изображений получают систематическим образом. Соответственно, настоящая система может применяться для получения и/или записи информации изображения, относящейся, не ограничиваясь этим, к следующим системам: почечной, яичек, молочной железы, яичников, матки, щитовидной железы, печени, легких, опорно-двигательного аппарата, селезенки, сердца, артериальной и сосудистой, а также к другим применениям визуализации, связанным с ультразвуковыми вмешательствами. Кроме того, настоящая система также может включать в себя одну или более программ, которые могут использоваться с традиционными системами визуализации, чтобы они могли обеспечивать признаки и преимущества настоящей системы. Некоторые дополнительные преимущества и признаки настоящего изобретения могут быть очевидными для специалистов в данной области техники после изучения изобретения или могут быть применены теми, кто использует новаторские систему и способ согласно настоящему изобретению. Другое преимущество настоящих систем и способа может заключаться в том, что можно легко модернизировать традиционные медицинские системы изображения, чтобы включить в них признаки и преимущества настоящих систем, устройств и способов.
[056] Конечно, следует понимать, что любой из примеров, вариантов осуществления или процессов, раскрытых в настоящем документе, может быть скомбинирован с одним или более другими примерами, вариантами осуществления и/или процессами или может быть разделен между и/или выполнен отдельными устройствами или частями устройств в соответствии с настоящими системами, устройствами и способами.
[057] Наконец, вышеприведенное обсуждение предназначено только для иллюстрации настоящей системы и не должно рассматриваться как ограничение прилагаемой формулы изобретения каким-либо конкретным вариантом осуществления или группой вариантов осуществления. Таким образом, хотя настоящая система была подробно описана со ссылкой на примерные варианты осуществления, следует также понимать, что специалисты в данной области техники могут разработать многочисленные модификации и альтернативные варианты осуществления, не отступая от более широких и подразумевающихся сущности и объема настоящей системы, как изложено в нижеследующей формуле изобретения. Соответственно, описание и чертежи должны рассматриваться в качестве иллюстрации и не предназначены для ограничения объема прилагаемой формулы изобретения.
1. Система медицинской ультразвуковой визуализации, содержащая:
ультразвуковой преобразователь, выполненный с возможностью получения эхо-сигналов в ответ на ультразвуковые импульсы, передаваемые в целевую область;
один или более процессоров, имеющих связь с ультразвуковым преобразователем и выполненных с возможностью:
генерирования по меньшей мере одного кадра изображения из ультразвуковых эхо-сигналов;
применения нейронной сети к кадру изображения, причем нейронная сеть выполнена с возможностью определения наличия и типа артефакта в кадре изображения;
генерирования индикатора на основании определенного наличия артефакта;
обеспечения отображения индикатора на пользовательском интерфейсе, имеющем связь с процессорами; и
генерирования с использованием нейронных сетей инструкции для настройки ультразвукового преобразователя на основании определенных наличия и типа артефакта.
2. Система ультразвуковой визуализации по п. 1, в которой один или более процессоров дополнительно выполнены с возможностью передачи инструкции контроллеру, коммуникативно связанному с ультразвуковым преобразователем.
3. Система ультразвуковой визуализации по п. 2, в которой контроллер выполнен с возможностью настройки ультразвукового преобразователя путем изменения его рабочего параметра на основании инструкции, принятой от одного или более процессоров.
4. Система ультразвуковой визуализации по п. 3, в которой рабочий параметр включает в себя положение, ориентацию, глубину фокусировки, угол луча, модальность визуализации или частоту ультразвукового преобразователя.
5. Система ультразвуковой визуализации по п. 4, в которой ультразвуковой преобразователь физически связан с роботизированной рукой-манипулятором, выполненной с возможностью перемещения ультразвукового преобразователя.
6. Система ультразвуковой визуализации по п. 1, в которой один или более процессоров дополнительно выполнены с возможностью генерирования и обеспечения отображения ультразвукового изображения из кадра изображения на пользовательском интерфейсе.
7. Система ультразвуковой визуализации по п. 6, в которой индикатор содержит графическую накладку, наложенную на ультразвуковое изображение, отображаемое на пользовательском интерфейсе.
8. Система ультразвуковой визуализации по п. 1, в которой нейронная сеть содержит модели нейронных сетей, причем каждая из моделей нейронной сети связана с одной из множества предусмотренных модальностей визуализации, выбираемых пользователем.
9. Система ультразвуковой визуализации по п. 8, в которой каждая из предусмотренных модальностей визуализации обеспечивает получение ультразвуковым преобразователем эхо-сигналов от отдельной целевой области путем реализации набора рабочих параметров, специфических для указанной отдельной целевой области.
10. Система ультразвуковой визуализации по п. 1, в которой один или более процессоров дополнительно выполнены с возможностью генерирования и обеспечения отображения спрогнозированного ультразвукового изображения без артефактов.
11. Система ультразвуковой визуализации по п. 1, в которой нейронная сеть функционально связана с алгоритмом обучения, обеспечивающим возможность приема массива обучающих входных данных и известных выходных данных, при этом обучающие входные данные включают в себя кадры ультразвукового изображения, содержащие артефакты, а известные выходные данные включают в себя настройку рабочих параметров, обеспечивающую устранение артефактов из кадров ультразвукового изображения.
12. Система ультразвуковой визуализации по п. 11, в которой нейронная сеть содержит модели нейронных сетей, причем каждая из моделей нейронной сети связана с одним из поднаборов обучающих входных данных, при этом каждый из поднаборов связан с одной из предусмотренных модальностей визуализации, выбираемых пользователем.
13. Способ медицинской ультразвуковой визуализации, содержащий следующее:
получают эхо-сигналы в ответ на ультразвуковые импульсы, передаваемые в целевую область преобразователем, функционально связанным с ультразвуковой системой;
генерируют по меньшей мере один кадр изображения из ультразвуковых эхо-сигналов;
применяют нейронную сеть к кадру изображения, причем нейронная сеть определяет наличие и тип артефакта в кадре изображения;
генерируют индикатор на основании определенного наличия артефакта;
отображают индикатор на пользовательском интерфейсе; и
генерируют с использованием нейронных сетей инструкцию для настройки преобразователя на основании определенных наличия и типа артефакта, причем инструкция содержит рабочее руководство по устранению артефакта из кадра изображения.
14. Способ по п. 13, дополнительно содержащий выбор модальности визуализации для получения эхо-сигналов, причем модальность визуализации содержит рабочие параметры, специфические для целевой области.
15. Способ по п. 13, дополнительно содержащий передачу инструкции контроллеру, коммуникативно связанному с преобразователем.
16. Способ по п. 15, дополнительно содержащий изменение рабочего параметра преобразователя на основании инструкции.
17. Способ по п. 13, дополнительно содержащий отображение инструкции на пользовательском интерфейсе.
18. Способ по п. 13, дополнительно содержащий обучение нейронной сети с использованием кадров ультразвукового изображения, содержащих различные артефакты и экспертные инструкции для настройки преобразователя на основании указанных различных артефактов.
19. Способ по п. 13, дополнительно содержащий генерирование спрогнозированного ультразвукового изображения без артефакта.
20. Долговременный машиночитаемый носитель для проведения медицинской ультразвуковой визуализации, содержащий исполняемые инструкции, которые при их выполнении обеспечивают выполнение процессором системы медицинской визуализации любого из способов по пп. 13-19.
