Автоматическое обнаружение и извлечение предшествующих аннотаций, релевантных для визуализирующего исследования, для эффективного просмотра и отчета
Группа изобретений относится к медицинской технике, а именно к аннотированию или извлечению контента. Система помощи при аннотировании содержит по меньшей мере одно устройство отображения, по меньшей мере один процессор, запрограммированный определять контекст текущего медицинского изображения из текущего визуализирующего исследования, сравнивать контекст текущего медицинского изображения с контекстами предшествующих медицинских изображений из предшествующих визуализирующих исследований и отображать предшествующие релевантные контексту аннотации и релевантные контексту медицинские изображения из предшествующих визуализирующих исследований, которые соответствуют контексту текущего медицинского исследования, при этом контекст включает в себя модальность текущего визуализирующего исследования, идентификацию анатомической области в текущем визуализирующем исследовании и ориентацию просмотра по отношению к этой анатомической области. Способ предоставления помощи осуществляется посредством системы, снабженной постоянным машиночитаемым носителем. Использование изобретений позволяет более точно определять изменение/прогресс ROI с течением времени. 3 н. и 12 з.п. ф-лы, 4 ил.
Настоящая заявка, в целом, относится к системе и способу аннотирования и/или извлечения контента. Она находит конкретное применение в сочетании с эффективным извлечением предшествующих визуализирующих исследований, релевантных для данного исследования, и описана с конкретной ссылкой на него. Однако следует понимать, что также она находит применение в других сценариях использования и не обязательно ограничена указанным выше применением.
Ежедневно радиологи работают с возрастающим числом изображений для того, чтобы диагностировать и лечить пациентов оптимальным образом. Пациенты, например, со злокачественными опухолями часто подвергаются визуализирующим исследованиям и с течением времени накапливают в своих медицинских картах множество визуализирующих исследований, часто относящихся к одной и той же анатомической области. Когда радиолог читает текущее исследование, он/она сравнивает изображения текущего исследования с изображениями из предшествующих исследований для того, чтобы определять изменения в патологических изменениях с течением времени и обнаруживать, существуют ли какие-либо новые патологические изменения. Этот процесс включает просмотр набора двухмерных/трехмерных диагностических изображений пациента. По мере просмотра изображений радиолог часто помечает область (или области), представляющую интерес (ROI), чтобы обозначать важный участок, с использованием набора аннотационных инструментов. В ходе этого процесса радиологи также сравнивают текущее визуализирующее исследование с предшествующими визуализирующими исследованиями для того, чтобы определять изменения в размере конкретного патологического изменения и другие детали, чтобы понимать общий прогресс пациента. Из-за большого объема изображений, которые нужно просматривать, радиологу нужно чрезвычайно много времени для того, чтобы идентифицировать и просмотреть все релевантные предшествующие исследования для пациента. Для того чтобы снизить число изображений для просмотра, обыкновенная практика состоит в том, чтобы сравнивать только изображения (часто только «ключевые изображения») из самого последнего релевантного исследования (т.е., с той же модальностью и для той же области организма) с изображениями из текущего исследования. Ключевой недостаток такой практики состоит в том, что становится сложно понимать общее изменение/прогресс с течением времени, поскольку хронологическое прогрессирование проявляется не в явной форме и интерпретация остается на усмотрение конкретного радиолога.
Дополнительно, если радиолог идентифицирует патологическое изменение на текущем изображении, он/она может возвращаться к предшествующему исследованию того же пациента, открывать средство просмотра изображений, идентифицировать изображения той же области пациента и находить изображения, на которых предоставлены схожие ракурсы патологического изменения(й), что и на текущем изображении. Обычно радиолог помечает патологическое изменение на текущем изображении для сравнения. Нахождение предшествующих изображений, на которых предоставлены схожие ракурсы патологического изменения, для подходящего сравнения может требовать времени. Патологическое изменение может быть не идентифицировано на предшествующем релевантном изображении(ях). Кроме того, существующие системы просмотра радиологических изображений автоматически не обнаруживают предшествующие релевантные исследования, связанные с текущей ROI. Из-за отсутствия объединения изображений на конкретной основе радиологу сложно точно определять изменение/прогресс ROI с течением времени.
US 7184582 B2 относится к рабочей станции интеллектуального поиска для интерпретации медицинских изображений с помощью компьютера и соответствующему способу. В способе используют получение медицинского изображения, вычисление отличительных характеристик данных изображения, получение изображений со схожими отличительными характеристиками из базы данных и отображение изображений. Отличительные характеристики основаны на метрике вероятности злокачественного новообразования, вычисляемой посредством CAD. Поиск может быть основан на метрике для известных схожих случаев.
Настоящая заявка предусматривает новые и усовершенствованные способы и систему, которые преодолевают указанные выше проблемы и другое.
В соответствии с одним аспектом предоставлена система помощи при аннотировании. Система содержит по меньшей мере одно устройство отображения и по меньшей мере один процессор, запрограммированный для того, чтобы определять контекст текущего медицинского изображения по текущему визуализирующему исследованию, сравнивать контекст текущего медицинского изображения с контекстами предшествующих медицинских изображений из предшествующих визуализирующих исследований и отображать релевантные контексту аннотации и релевантные контексту медицинские изображения из предшествующих визуализирующих исследований, которые соответствуют контексту текущего медицинского исследования, где контекст включает в себя по меньшей мере одно из модальности текущего визуализирующего исследования и визуализируемой анатомической структуры.
В соответствии с другим аспектом предусмотрен способ предоставления помощи при аннотировании. Способ включает определение контекста аннотации на текущем медицинском изображении из текущего визуализирующего исследования, сравнение контекста текущего медицинского изображения с контекстами предшествующих аннотаций и медицинских изображений из предшествующих визуализирующих исследований и отображение релевантных контексту аннотаций и релевантных контексту медицинских изображений из предшествующих визуализирующих исследований, которые соответствуют контексту текущего медицинского исследования, где контекст включает в себя по меньшей мере одно из модальности текущего визуализирующего исследования и визуализируемой анатомической структуры.
Может быть предусмотрена система помощи при аннотировании. Система содержит по меньшей мере одно устройство отображения, модуль извлечения контекста, который определяет контекст текущего медицинского изображения из текущего визуализирующего исследования, сопоставляющий модуль, который сравнивает контекст текущего медицинского изображения с контекстами предшествующих медицинских изображений из предшествующих визуализирующих исследований, и отображающий модуль, который отображает по меньшей мере одно из релевантных контексту аннотаций и релевантных контексту медицинских изображений из предшествующих визуализирующих исследований, которые соответствуют контексту текущего медицинского исследования.
Одно преимущество заключается в предоставлении более эффективного механизма для аннотирования связанных изображений, что ведет к более согласованному набору аннотированных изображений из-за повторного использования аннотаций.
Другое преимущество заключается в увеличенной эффективности потока операций.
Другое преимущество заключается в предоставлении более эффективного механизма для нахождения и просмотра связанных предшествующих аннотаций патологического изменения на текущем изображении.
Другие дополнительные преимущества настоящего изобретения специалисты в данной области примут во внимание при прочтении и осмыслении следующего подробного описания.
Изобретение может принимать форму различных компонентов и компоновок компонентов и различных стадий и последовательностей стадий. Фигуры служат только целям иллюстрирования предпочтительных вариантов осуществления и их не следует рассматривать в качестве ограничения изобретения.
На фиг.1 проиллюстрирована блочная диаграмма образцового варианта осуществления системы помощи при аннотировании согласно аспектам настоящей заявки.
На фиг.2 проиллюстрирована блочная визуализация системы помощи при аннотировании согласно аспектам настоящей заявки.
На фиг.3 проиллюстрирована блочная визуализация другой системы помощи при аннотировании согласно аспектам настоящей заявки.
На фиг.4 проиллюстрирована блочная диаграмма способа помощи при аннотировании согласно аспектам настоящей заявки.
Во время медицинской визуализации одно или несколько изображений генерируются по сканированиям пациента. Типы медицинских изображений включают магнитно-резонансные (MR или MRI), компьютерно-томографические (CT или CAT), рентгеновские, ультразвуковые, позитронно-эмиссионные томографические (PET) изображения, однофотонную эмиссионную компьютерную томографию (SPECT) и т.п. После завершения сканирования обычная практика радиолога состоит в аннотировании этих изображений с использованием информации, которая предусматривает описательную или идентификационную информацию об изображении. Аннотации предусматривают информацию, относящуюся к контексту изображения, демографии изображения, например, к идентификации пациента, типу исследования, больнице, дате исследования, типу регистрации, типу сканирования, ориентации изображения, использованию специального фильтра для обработки изображения, статистике, связанной с областями, представляющей интерес, которые представлены на изображении и/или тому подобному. Типично, аннотации содержат текстовую информацию, однако следует принимать во внимание, что аннотация содержит различную визуальную информацию, включая геометрическую форму, размеры и т.п. конкретных элементов изображения.
Настоящее раскрытие предусматривает систему 10 помощи при аннотировании, которая позволяет радиологу определять местоположение и загружать предшествующие визуализирующие исследования и осуществлять просмотр и повторное использование предшествующих аннотаций из предшествующих исследований для визуализирующего исследования, выполняемого в настоящее время. В существующем радиологическом потоке операций, каждый раз, когда нужно аннотировать патологическое изменение, радиолог просматривает предшествующие исследования того же пациента для того, чтобы находить изображения, которые содержат ракурсы патологического изменения(й), схожие с текущим изображением. Нахождение изображений, которые предоставляют схожие ракурсы патологического изменения, может требовать времени. Радиологи обычно аннотируют несколько выбранных изображений (известных как «ключевые изображения») с использованием конкретных поисковых деталей (например, измерения патологических изменений) и часто эти аннотации предшествующих ключевых изображений содержат контекстовую информацию, схожую с текущими изображениями. Система 10 помощи при аннотировании использует контекстовую информацию из предшествующих изображений для того, чтобы автоматически находить релевантные предшествующие аннотации при просмотре текущего изображения. Такая система обеспечивает согласованность между аннотациями патологического изменения и повышает эффективность потока операций.
Система 10 помощи при аннотировании, кроме того, обнаруживает аннотации автоматически и семантически по предшествующим отчетам, когда создают новую аннотацию, и позволяет радиологам легко сравнивать схожие находки. Когда наблюдают схожие находки, между находками на предшествующих изображениях также устанавливают связи, что позволяет радиологу отслеживать прогресс патологического изменения с течением времени. В существующем радиологическом потоке операций каждая аннотация, описывающая находку, является независимой, что затрудняет отслеживание прогресса. Идентификация одной и той же области, представляющей интерес, среди множества исследований для заданного пациента в настоящее время представляет собой ручную работу, требующую времени. Как результат, радиологи обычно просматривают только самые последние изображения, которые представляют только ограниченный обзор степени прогресса (например, патологического изменения). Система 10 связывает находки для заданного пациента и отображает представление деталей конкретной находки во времени, и при этом хорошо интегрируется в существующий поток операций. Такая система обеспечивает более качественное общее представление прогресса находки, что потенциально ведет к более хорошим исходам и повышенной эффективности потока операций благодаря автоматическому извлечению предшествующих находок.
Со ссылкой на фиг.1 система 10 помощи при аннотировании содержит клиентское устройство 12 аннотирования, в необязательном порядке, диспетчер 14 аннотирования, систему 16 информации о пациенте и т.п. Соответственно, компоненты системы 10 соединены через коммуникационную сеть 18, такую как интернет, локальная сеть, глобальная сеть, беспроводная сеть или тому подобное.
Клиентское устройство 12 аннотирования отображает одно или несколько изображений пациента и делает возможным аннотирование одного или нескольких изображений с использованием информации, предусматривающей описательную или идентификационную информацию об изображении. Одно или несколько изображений и соответствующих аннотаций типично хранятся в системе 16 информации о пациенте, доступ к которой клиентское устройство 12 аннотирования осуществляет через коммуникационную сеть 18. Аннотации, соответственно, включают визуальные данные, отражающие контекст изображения, демографию изображения, например идентификацию пациента, тип исследования, больницу, дату исследования, тип регистрации, тип сканирования, местоположение и ориентацию изображения, использование специального фильтра для обработки изображения, статистику, связанную с областями, представляющими интерес, представленными на изображении, и так далее. Аннотацию можно генерировать вручную и/или автоматически. В отношении первого, дисплей 20 клиентского устройства 12 аннотирования в сочетании с одним или несколькими устройствами 22 ввода позволяет радиологу аннотировать одно или несколько изображений, представленных на дисплее 20. В отношении последнего, одну или несколько предшествующих аннотаций предоставляют пользователю. Например, клиентское устройство 12 аннотирования автоматически обнаруживает чувствительные к контексту аннотации по предшествующим связанным изображениям на основе контекста текущего изображения и позволяет радиологу, например, повторно использовать эти аннотации или редактировать и повторно использовать.
Для того чтобы выполнять это, клиентское устройство 12 аннотирования содержит модуль 24 извлечения контекста, который автоматически определяет контекст текущего изображения на дисплее. Модуль 24 извлечения контекста также определяет контекст предшествующих изображений и/или аннотации, такой как идентификация пациента, часть организма или орган, подлежащий визуализации, тип исследования, больница, дата исследования, тип регистрации, тип сканирования, ориентация изображения. Сопоставляющий модуль 26 клиентского устройства 12 аннотирования сравнивает контекст текущего изображения с контекстами изображений из предшествующих исследований, хранимых в системе 16 информации о пациенте, и предоставляет релевантные предшествующие чувствительные к контексту аннотации, которые использовались в предшествующих исследованиях, на клиентское устройство 12 аннотирования.
Отображающий модуль 28 отображает релевантные предшествующие чувствительные к контексту аннотации радиологу через дисплей 20 клиентского устройства 12 аннотирования для использования в аннотировании текущего изображения. Отображающий модуль 28 также позволяет радиологу настраивать список предшествующих аннотаций так, что аннотации, например, берутся из всех предшествующих исследований, которые аннотировал текущий радиолог, вместо всех релевантных предшествующих исследований для текущего пациента (которые могут содержать аннотации от других радиологов). Релевантные предшествующие чувствительные к контексту аннотации затем можно использовать в зависимости от конкретного применения, например накладывать непосредственно на текущее рассматриваемое изображение или отображать в виде списка радиологу.
Клиентское устройство 12 аннотирования также автоматически обнаруживает релевантные предшествующие изображения, когда создается новая аннотация. Для того чтобы выполнять это, модуль 24 извлечения контекста автоматически извлекает информацию о контексте для области, представляющей интерес (ROI), на текущем изображении. Информация о контексте может поступать от визуализирующего техника для описания свойств сканирования, сканируемой области и т.д. или может поступать от радиолога, выполняющего диагностику. Сопоставляющий модуль 26 сравнивает текущую информацию о контексте для ROI на текущем изображении с контекстами для ROI из предшествующих исследований, хранимых в системе 16 информации о пациенте, и предоставляет релевантные предшествующие исследования, которые содержат ту же информацию о контексте для ROI на текущем изображении. Отображающий модуль 28 отображает релевантные предшествующие исследования радиологу через дисплей 20 клиентского устройства 12 аннотирования. Отображающий модуль 28 позволяет радиологу накладывать срез текущего изображения поверх соответствующего среза предшествующего изображения релевантного предшествующего исследования, что обеспечивает визуальное сравнение ROI на самом изображении и, тем самым, каких-либо изменений относительно предыдущих находок. Отображающий модуль 28, кроме того, обеспечивает визуальное представление деталей, специфичных для ROI/находки, на временной оси.
Система 16 информации о пациенте хранит изображения и/или аннотации изображений из системы 10 помощи при аннотировании, например из клиентского устройства 12 аннотирования, в одной или нескольких базах 30 данных. Например, система 16 информации о пациенте представляет собой радиологическую информационную систему (RIS) и/или систему архивирования и передачи изображений (PACS), которая хранит изображения, получаемые от системы медицинской визуализации, и/или аннотации изображений, генерируемые с помощью клиентского устройства 12 аннотирования. В некоторых вариантах осуществления система 14 информации о пациенте также сохраняет изображения и/или аннотации изображений от пользовательского устройства 32 ввода системы 16 информации о пациенте в базах 30 данных и/или позволяет просматривать сохраненные изображения и/или аннотации изображений на устройстве 34 отображения системы 16 информации о пациенте. Устройство 34 отображения можно дополнительно или альтернативно использовать для обеспечения получение изображений и/или аннотаций изображений с пользовательского устройства 32 ввода. Примеры системы информации о пациенте включают, но не ограничиваясь этим, системы электронных медицинских карт, ведомственные системы и т.п.
В необязательном порядке, система 10 помощи при аннотировании содержит диспетчер 14 аннотирования, который автоматически предоставляет чувствительные к контексту аннотации из предшествующих аннотаций и/или релевантных предшествующих изображений непосредственно радиологу и/или клиентскому устройству 12 аннотирования. При выполнении этой функциональности диспетчер 14 аннотирования и/или клиентское устройство 12 аннотирования, оба представляющие собой обособленные устройства, могут работать независимо друг от друга или совместно. Диспетчер 14 аннотирования содержит модуль 36 извлечения контекста, который определяет контекст текущего изображения на дисплее клиентского устройства 12 аннотирования. Модуль 36 извлечения контекста также определяет контекст аннотации и сохраняет информацию о контексте наряду с другой информацией об аннотации в системе 16 информации о пациенте. Сопоставляющий модуль 38 диспетчера 14 аннотирования сравнивает контекст текущего изображения с контекстами изображений из предшествующих исследований, сохраненных в системе 16 информации о пациенте, и предоставляет релевантные предшествующие чувствительные к контексту аннотации, которые использовались в предшествующих исследованиях, клиентскому устройству 12 аннотирования.
Отображающий модуль 40 диспетчера 14 аннотирования отображает релевантные предшествующие чувствительные к контексту аннотации радиологу через дисплей 20 клиентского устройства 12 аннотирования. Отображающий модуль 40 позволяет радиологу настраивать список предшествующих аннотаций так, что аннотации, например, берутся из всех предшествующих исследований, которые аннотировал текущий радиолог, вместо всех релевантных предшествующих исследований для текущего пациента (которые могут содержать аннотации от других радиологов). Релевантные предшествующие чувствительные к контексту аннотации затем можно использовать в зависимости от применения, например накладывать непосредственно на текущее рассматриваемое изображение или отображать в виде списка радиологу.
Диспетчер 14 аннотирования также автоматически обнаруживает релевантные предшествующие изображения, когда создают новую аннотацию. Для того чтобы выполнять это, модуль 36 извлечения контекста автоматически извлекает информацию о контексте для области, представляющей интерес (ROI), на текущем изображении клиентского устройства 12 аннотирования. Информация о контексте может исходить от визуализирующего техника для описания свойств сканирования, сканируемой области и т.д. или может поступать от радиолога, выполняющего диагностику. Сопоставляющий модуль 38 сравнивает текущую информацию о контексте для ROI на текущем изображении с контекстами для ROI из предшествующих исследований, сохраненных в системе 16 информации о пациенте, и предоставляет релевантные предшествующие исследования, которые содержат ту же или семантически схожую информацию о контексте для ROI на текущем изображении. Отображающий модуль 40 отображает релевантные предшествующие исследования радиологу через дисплей 20 клиентского устройства 12 аннотирования. Отображающий модуль 40 позволяет радиологу накладывать срез текущего изображения на срез предшествующего изображения релевантного предшествующего исследования, что обеспечивает визуальное сравнение ROI на самом изображении и, тем самым, каких-либо изменений в предыдущей находке. Отображающий модуль 40, кроме того, обеспечивает визуальное представление деталей, специфичных для ROI/находки, на временной оси.
В некоторых вариантах осуществления диспетчер 14 аннотирования также предоставляет чувствительные к контексту аннотации из предшествующих аннотаций и/или релевантных предшествующих изображений непосредственно радиологу и/или клиентскому устройству 12 аннотирования из пользовательского устройства 42 ввода диспетчера 14 аннотирования и/или позволяет просматривать изображения и/или аннотации изображений на устройстве 44 отображения диспетчера 14 аннотирования. Устройство 44 отображения можно дополнительно или альтернативно использовать для обеспечения получения изображений и/или аннотаций изображений от пользовательского устройства 42 ввода.
Со ссылкой на фиг.2 проиллюстрирована блочная визуализация системы помощи при аннотировании. В блоке 100 модуль 24, 36 извлечения контекста автоматически определяет контекст изображения, в настоящее время рассматриваемого радиологом. В одном из вариантов осуществления модуль 24, 36 извлечения контекста извлекает информацию о контексте, содержащуюся в заголовке DICOM (стандарта Формирования и передачи цифровых изображений в медицине) изображения, чтобы определять контекст изображения. DICOM представляет собой стандарт для обработки, хранения, печати и передачи информации в отношении медицинской информации. Когда генерируют изображение, генерируют заголовок DICOM, который содержит информацию, связанную с модальностью системы визуализации и визуализируемой частью организма. В другом варианте осуществления алгоритм сегментации на основе модели применяют к текущему изображению. Для определения контекста текущего изображения, модуль 24, 36 извлечения контекста использует алгоритм сегментации на основе модели для того, чтобы извлекать информацию, связанную с частью организма и/или органами, содержащимися на текущем изображении.
Модуль извлечения контекста также автоматически определяет контекст для новых аннотаций, применяемых к изображению, в настоящее время просматриваемому радиологом. Когда новую аннотацию добавляют в систему 16 информации о пациенте, заголовок DICOM аннотируемого изображения содержит контекстовую информацию, релевантную аннотации. Эту информацию извлекают с использованием работы модуля 24, 36 извлечения контекста, описанной в блоке 100, и связывают с аннотацией так, чтобы контекст текущего изображения соответствовал контексту новой аннотации. Затем новую аннотацию сохраняют в системе 16 информации о пациенте наряду с соответствующей информацией о контексте.
В блоке 102 сопоставляющий модуль 26, 38 сравнивает контекст текущего изображения с контекстами изображений из предшествующих исследований. Предшествующие контексты загружают из базы 30 данных аннотаций, но, альтернативно, контексты всех предшествующих изображений можно определять на лету. Сопоставляющий модуль 26, 38 использует информацию о контексте для определения того, какие аннотации являются релевантными. Например, сопоставляющий модуль 26, 28 использует модальность системы визуализации и визуализируемую часть организма, для того, чтобы определять, какие аннотации являются релевантными контексту текущего изображения. Сопоставляющий модуль 26, 38 также использует анатомическую информацию для того, чтобы определять какие аннотации относятся к тому же органу, на который смотрит радиолог на рассматриваемом изображении. Когда идентифицируют релевантные ключевые изображения, сопоставляющий модуль 26, 38 получает чувствительные к контексту аннотации из релевантных изображений и отображает их радиологу. В одном из вариантов осуществления осуществляют разбор контекста изображений из предшествующих исследований с использованием известных способов обработки естественного языка. В другом варианте осуществления осуществляют разбор релевантных изображений из предшествующих исследований для того, чтобы определять, представляет ли собой текущее исследование наблюдение, рекомендованное для релевантного предыдущего исследования. В другом варианте осуществления осуществляют разбор данных текущего клинического порядка с использованием обработки естественного языка для того, чтобы определять контекст текущих данных визуализации.
В блоке 104 отображающий модуль 28, 40 отображает список чувствительных к контексту аннотаций из предшествующих отчетов. В одном из вариантов осуществления предшествующие аннотации отображаются в соответствии с предпочтениями радиолога. Каждый раз, когда создают новую аннотацию, ее добавляют в систему 16 информации о пациенте, и, по существу, «предшествующие аннотации» также включают аннотации, которые добавлены в текущее исследование. Предпочтения радиолога включают перечисление всех предшествующих аннотаций (фильтрованных только по модальности и части организма), перечисление всех предшествующих аннотаций, выполненных текущим радиологом, перечисление предшествующих аннотаций, выполненных текущим радиологом только для текущего пациента (в противоположность всем аннотациям текущего пользователя), перечисление всех предшествующих аннотаций для текущего пациента (не только от текущего радиолога) и т.п.
Списки предшествующих аннотаций используют для того, чтобы отображать радиологу список связанных предшествующих аннотаций, которые найдены в блоке 104. Этот список содержит всю связанную с аннотацией информацию, и каждое использование связанной с аннотацией информации зависит от применения. Например, в применении, сосредоточенном на повторном использовании аннотации, пользователю можно давать возможность выбирать предшествующую аннотацию(и), представляющую интерес, и добавлять или целую аннотацию или только выбирать ее части, такие как только описание (используемое, когда новую геометрическую форму нужно связать с предшествующим описанием), или геометрическую форму непосредственно накладывают на текущее изображение.
В блоке 106 предшествующую аннотацию(и), выбранную радиологом, добавляют к изображению наряду с любыми новыми аннотациями. Поскольку некоторые радиологи используют различные термины, типы аннотаций и т.д., добавление предшествующих аннотаций кумулятивно от множества радиологов облегчает нахождение связанных изображений при дополнительных поисках, проводимых другими.
Со ссылкой на фиг.3 проиллюстрирована блочная визуализация другой системы помощи при аннотировании. В блоке 200 модуль 24, 36 извлечения контекста извлекает информацию о контексте для ROI текущего изображения. В одном из вариантов осуществления информация о контексте содержится в заголовке DICOM изображения, содержащем модальность системы визуализации, визуализируемую часть организма, информацию, связанную с текущей ROI (например, длина/диаметр), и т.п. В одном из вариантов осуществления модуль 24, 36 извлечения контекста использует алгоритм сегментации изображений для того, чтобы идентифицировать часть организма, которая закрывает/находится в ROI, а также метаданные, охватывающие соединение областей пикселей/вокселей между визуализирующими исследованиями. В другом варианте осуществления алгоритм сегментации изображений идентифицирует характеристику патологического изменения на изображении, например отступы, геометрическую форму, текстуру и протяженность, которые используются для того, чтобы более точно определять контекст.
В блоке 202 сопоставляющий модуль 26, 28 автоматически определяет релевантные аннотации и предшествующие исследования. В одном из вариантов осуществления сопоставляющий модуль 26, 38 осуществляет быстрый проход поиска, где сопоставляющий модуль 26, 38 получает только аннотации и предшествующие исследования, которые совпадают с модальностью и частью организма для текущей ROI (или посредством сортировки). В другом варианте осуществления местоположение ROI относительно ориентиров обнаруженного органа можно использовать для того, чтобы отфильтровывать нерелевантные исследования из выполненного первого быстрого прохода. На втором проходе сопоставляющий модуль 26, 38 сравнивает измеримые количества ROI (например, площадь, длина патологического изменения). Порог по умолчанию, т.е. ±10% или другое значение, которое задает радиолог, в отношении предыдущей меры из находок предшествующих исследований, можно использовать для сопоставления. В другом варианте осуществления характеристики ROI можно использовать для того, чтобы отфильтровывать нерелевантные аннотации из предшествующих исследований.
Для того чтобы гарантировать, что корректные предшествующие исследования используются в последующем анализе, сопоставляющий модуль 26, 28 автоматически отображает радиологу список предшествующих аннотаций и/или исследований из различных предшествующих исследований. Радиологу нужно подтверждать записи в списке. Флаговую кнопку, отмеченную по умолчанию, отображают напротив каждой позиции списка, и радиолог может снимать отметку, если конкретное исследование не является релевантным. Для каждого предшествующего исследования, которое подтверждает радиолог, создают внутреннюю связь, связывающую текущее исследование и предшествующее исследование.
В блоках 204, 206, 208 отображающий модуль 28, 40 систематически представляет релевантные предшествующие исследования радиологу. Когда на предыдущей стадии радиолог подтверждает релевантные предшествующие исследования, радиолог может сравнивать/просматривать все эти исследования сразу или выбирать только поднабор. Для выбранных исследований радиолог может выбирать: (a) накладывать ROI, чтобы выполнять визуальное сравнение непосредственно на текущем исследовании в блоке 204, или (b) выполнять сравнение исследований бок о бок в блоке 206, (c) просматривать детали, связанные с каждым исследованием, на временной оси, в блоке 208 или (d) отображать исследования в хронологическом порядке.
Хотя модуль 24, 36 извлечения контекста, сопоставляющий модуль 26, 38 и отображающий модуль 28, 40 показаны как независимые компоненты, следует принимать во внимание, что каждый из компонентов может представлять собой часть интегрированного клиентского устройства 12 аннотирования и/или диспетчера 14 аннотирования. Каждый из, по меньшей мере, некоторых из компонентов системы 10 помощи при аннотировании содержит по меньшей мере один процессор 46, 48, 50, исполняющий исполняемые компьютером инструкции из по меньшей мере одной его памяти 52, 54, 56. Компоненты включают клиентское устройство 12 аннотирования, устройство 14 аннотирования и систему 16 информации о пациенте. Исполняемые компьютером инструкции воплощают функциональность компонентов и включают применения клиентского устройства 12 аннотирования, устройства 14 аннотирования и системы 16 информации о пациенте. Кроме того, каждый из по меньшей мере некоторых из компонентов содержит коммуникационный блок 58, 60, 62 и/или по меньшей мере одну системную шину 64, 68. Коммуникационный блок предусматривает соответствующий процессор с интерфейсом для по меньшей мере одной коммуникационной сети, такой как коммуникационная сеть 18. Системная шина делает возможным обмен данными между подкомпонентами компонентов. Подкомпоненты включают процессоры, память, датчики, устройства отображения, коммуникационные блоки и так далее.
Со ссылкой на фиг.4 проиллюстрирована блочная диаграмма способа помощи при аннотировании. На стадии 300 контекст текущего медицинского изображения определяют из текущего визуализирующего исследования. На стадии 302 контекст текущего медицинского изображения сравнивают с контекстами предшествующих медицинских изображений из предшествующих визуализирующих исследований. На стадии 304 отображают по меньшей мере одно из релевантных контексту аннотаций и релевантных контексту медицинских изображений из предшествующих визуализирующих исследований, которые соответствуют контексту текущего медицинского исследования. На стадии 306 отображают список релевантных контексту аннотаций, содержащих предшествующие аннотации, выполненные текущим радиологом, предшествующие аннотации, выполненные текущим радиологом для текущего пациента, и/или предшествующие аннотации для текущего пациента. На стадии 308 текущее медицинское изображение аннотируют с использованием всех или части одной или нескольких релевантных контексту аннотаций. На стадии 310 определяют контекст для представляющей интерес области текущего медицинского изображения. На стадии 312 отображают релевантные медицинские изображения из предшествующих визуализирующих исследований, которые соответствуют контексту области, представляющей интерес. На стадии 314 релевантные контексту медицинские изображения отображают посредством по меньшей мере одного из наложения областей, представляющих интерес, на текущее медицинское изображение, сравнения релевантных контексту медицинских изображений бок о бок с текущим медицинским изображением и расположения релевантных контексту медицинских изображений на временной оси.
Как используется в настоящем документе, память включает одно или несколько из постоянного машиночитаемого носителя; магнитного диска или другого магнитного запоминающего носителя; оптического диска или другого оптического запоминающего носителя; оперативного запоминающего устройства (RAM), постоянного запоминающего устройства (ROM) или другого электронного устройства памяти или микросхемы или набора функционально взаимосвязанных микросхем; сервер интернета/интранета, с которого сохраненные инструкции можно загружать через интернет/интранет или локальную сеть; или так далее. Кроме того, как используется в настоящем документе, процессор включает одно или несколько из микропроцессора, микроконтроллера, графического процессора (GPU), специализированной интегральной схемы (ASIC), вентильной матрицы с эксплуатационным программированием (FPGA) и т.п.; пользовательское устройство ввода включает одно или несколько из мыши, клавиатуры, дисплея с чувствительным к прикосновениям экраном, одной или нескольких кнопок, одного или нескольких переключателей, одного или нескольких тумблеров и т.п.; база данных включает один или несколько видов памяти; и устройство отображения включает одно или несколько из LCD дисплея, LED дисплея, плазменного дисплея, проекционного дисплея, дисплея с чувствительным к прикосновениям экраном и т.п., включая их версии с трехмерными возможностями.
Изобретение описано со ссылкой на предпочтительные варианты осуществления. Модификации и изменения могут приходить в голову при прочтении и осмыслении предшествующего подробного описания. Подразумевается, что изобретение должно толковаться как включающее все такие модификации и изменения, если они охватываются объемом, определяемым приложенной формулой изобретения или ее эквивалентами.
1. Система (10) помощи при аннотировании, содержащая:
по меньшей мере одно устройство отображения (20);
по меньшей мере один процессор (46, 48), запрограммированный:
определять контекст текущего медицинского изображения из текущего визуализирующего исследования,
сравнивать контекст текущего медицинского изображения с контекстами предшествующих медицинских изображений из предшествующих визуализирующих исследований и
отображать предшествующие релевантные контексту аннотации и релевантные контексту медицинские изображения из предшествующих визуализирующих исследований, которые соответствуют контексту текущего медицинского исследования, при этом контекст включает в себя модальность текущего визуализирующего исследования, идентификацию анатомической области в текущем визуализирующем исследовании и ориентацию просмотра по отношению к этой анатомической области.
2. Система помощи при аннотировании по п. 1, в которой контекст определяется исходя из по меньшей мере одного из информации о контексте, содержащейся в заголовке текущего изображения, и информации, связанной с анатомической областью, содержащейся на текущем медицинском изображении.
3. Система помощи при аннотировании по п. 1, которая дополнительно запрограммирована отображать список релевантных контексту аннотаций, содержащих по меньшей мере одно из предшествующих аннотаций, выполненных текущим радиологом, предшествующих аннотаций, выполненных текущим радиологом для текущего пациента, и предшествующих аннотаций для текущего пациента.
4. Система помощи при аннотировании по п. 1, которая дополнительно запрограммирована накладывать релевантные контексту аннотации на текущее медицинское изображение.
5. Система помощи при аннотировании по п. 1, которая дополнительно запрограммирована аннотировать текущее медицинское изображение с использованием всех или части одной или нескольких релевантных контексту аннотаций.
6. Система помощи при аннотировании по п. 1, которая дополнительно запрограммирована:
связывать контекст текущего изображения с контекстом новой аннотации; и
сохранять новую аннотацию в качестве релевантной контексту аннотации.
7. Система помощи при аннотировании по п. 1, которая дополнительно запрограммирована:
определять контекст для аннотации представляющей интерес области текущего медицинского изображения; и
отображать релевантные медицинские изображения из предшествующих визуализирующих исследований, которые соответствуют контексту области, представляющей интерес.
8. Система помощи при аннотировании по п. 1, которая дополнительно запрограммирована управлять устройством отображения (20, 44), чтобы отображать релевантные контексту медицинские изображения посредством по меньшей мере одного из наложения областей, представляющих интерес, на текущее медицинское изображение, бок о бок для сравнения релевантных контексту медицинских изображений с текущим медицинским изображением, и отображения релевантных контексту медицинских изображений на временной оси.
9. Способ предоставления помощи при аннотировании, содержащий:
определение контекста текущего медицинского изображения из текущего визуализирующего исследования или контекста для аннотации представляющей интерес области текущего медицинского изображения;
сравнение контекста текущего медицинского изображения с контекстами предшествующих медицинских изображений из предшествующих визуализирующих исследований; и
отображение предшествующих релевантных контексту аннотаций и релевантных контексту медицинских изображений из предшествующих визуализирующих исследований, которые соответствуют контексту текущего медицинского исследования,
при этом контекст текущего медицинского изображения из текущего визуализирующего исследования включает в себя модальность текущего визуализирующего исследования, идентификацию анатомической области в текущем визуализирующем исследовании и ориентацию просмотра по отношению к этой анатомической области.
10. Способ по п. 9, в котором определение контекста включает определение исходя из по меньшей мере одного из информации о контексте, содержащейся в заголовке текущего изображения, и информации, связанной с анатомической областью, содержащейся на текущем медицинском изображении.
11. Способ по п. 9, дополнительно содержащий отображение списка релевантных контексту аннотаций, содержащих предшествующие аннотации, выполненные текущим радиологом, предшествующие аннотации, выполненные текущим радиологом для текущего пациента, и/или предшествующие аннотации для текущего пациента.
12. Способ по п. 9, дополнительно содержащий кумулятивное аннотирование текущего медицинского изображения с использованием всех или части одной или нескольких релевантных контексту аннотаций.
13. Способ по п. 9, дополнительно содержащий:
определение контекста для представляющей интерес области текущего медицинского изображения; и
отображение релевантных медицинских изображений из предшествующих визуализирующих исследований, которые соответствуют контексту области, представляющей интерес.
14. Способ по п. 9, дополнительно содержащий отображение релевантных контексту медицинских изображений посредством по меньшей мере одного из наложения областей, представляющих интерес, на текущее медицинское изображение, бок о бок для сравнения релевантных контексту медицинских изображений с текущим медицинским изображением, и расположения релевантных контексту медицинских изображений на временной оси.
15. Постоянный машиночитаемый носитель, который переносит программное обеспечение, которое управляет одним или несколькими процессорами для осуществления способа по любому из пп. 9-14.
