Система и способ для обучающихся моделей планов радиотерапевтического лечения с прогнозированием распределений дозы радиотерапии

Изобретение относится к области медицины, а именно к медицинской технике. Система лечения лучевой терапией с прогнозированием дозы лучевой терапии содержит: устройство получения изображений для получения одного или более трехмерных медицинских изображений; невременный машиночитаемый носитель данных для хранения упомянутых одного или более трехмерных медицинских изображений, модели нейронной сети, одной или более трехмерных анатомических карт и одного или более трехмерных распределений дозы; устройство обработки изображений, выполненное с возможностью: обучать модель нейронной сети прогнозировать по меньшей мере одну из карты флюенса и карты дозы на основе упомянутых одного или более трехмерных медицинских изображений и упомянутых одной или более трехмерных анатомических карт; и генерировать трехмерное распределение дозы на основе прогнозирований нейронной сети. Система лечения лучевой терапией с прогнозированием дозы лучевой терапии содержит: устройство получения изображений для получения набора обучающих данных, при этом обучающие данные содержат одно или более трехмерных медицинских изображений, модель нейронной сети, одну или более трехмерных анатомических карт и одно или более трехмерных распределений дозы, невременный машиночитаемый носитель данных для хранения обучающих данных, первой модели нейронной сети и второй модели нейронной сети; причем устройство обработки изображений выполнено с возможностью: обучать первую модель нейронной сети с использованием обучающих данных прогнозировать первое распределение дозы; обучать вторую модель нейронной сети с использованием обучающих данных прогнозировать второе распределение дозы; определять ошибку посредством сравнения первого распределения дозы со вторым распределением дозы; и использовать эту ошибку, чтобы обучать первую модель нейронной сети. Способ прогнозирования дозы лучевой терапии содержит: прием одного или более трехмерных медицинских изображений из устройства получения изображений; сохранение трехмерных изображений, модели нейронной сети, одной или более трехмерных анатомических карт и одного или более трехмерных распределений дозы на невременном машиночитаемом носителе данных; обучение нейронной сети посредством по меньшей мере одного процессора прогнозировать по меньшей мере одно из карты флюенса и карты дозы на основе упомянутого одного или более трехмерных медицинских изображений и упомянутой одной или более трехмерных анатомических карт и одного или более трехмерных распределений дозы; и генерирование трехмерного распределения дозы на основе прогнозирований нейронной сети. Технический результат заявленного изобретения заключается в повышении точности при оптимизации плана лечения. 3 н. и 19 з.п. ф-лы, 19 ил.

 

ПЕРЕКРЕСТНЫЕ ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Эта заявка притязает на приоритет предварительной заявки на патент США номер 62/384192, поданной 7 сентября 2016 года, озаглавленной «Learning Models of Radiotherapy Treatment Plans to Predict Therapy Dose distributions», раскрытие которой полностью включено в данный документ по ссылке для всех целей.

ОБЛАСТЬ И ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

Область изобретения

[0002] Настоящее изобретение, в общем, относится к системам лучевой терапии. Более конкретно, варианты осуществления раскрытого изобретения направлены на системы и способы для разработки и реализации планов лечения облучением в системе лечения облучением, которая использует алгоритмы машинного обучения и нейронные сети.

Предпосылки изобретения

[0003] Лучевая терапия используется для лечения опухоли в человеческой (и животной) ткани. Модулированная по интенсивности радиотерапия (FMRT) и объемно-модулированная дуговая терапия (VMAT) становятся стандартами лечения в современной лучевой терапии рака, предлагая большую точность при облучении целевого объекта и большую защиту для близлежащих чувствительных тканей, чем способы терапии уровня техники. К сожалению, создание индивидуальных планов лечения пациентов (например, для FMRT, VMAT и т.п.) может представлять собой как процесс с большим объемом вычислений, так и процесс на основе метода проб и ошибок. Получение оптимального плана лечения, который доставляет предписанную дозу излучения к целевому объекту при одновременном сбережении критических органов или здоровых окружающих тканей, может требовать большего количества времени, чем доступно в плотном клиническом расписании, и/или приводить к ошибкам (например, передозированным горячим очагам или недолеченной опухолевой массе, получающейся в результате предложенного плана).

[0004] Кроме того, планы лечения регулируются посредством манипулирования программными ограничениями и затем повторного вычисления карты флюенса и, альтернативно или помимо этого, карты дозы. При использовании в данном документе «карта флюенса» иллюстрирует локализованное поглощение энергии в пациенте. Например, карта флюенса может иллюстрировать число частиц или фотонов в секунду подаваемого излучения, пересекающих каждый воксел (элемент объема) в трехмерном изображении, например, с учетом проникновении через ткань. Также при использовании в данном документе «карта дозы» иллюстрирует дозу излучения, которая должна доставляться к пациенту из радиотерапевтического устройства в конкретном местоположении (например, под конкретным углом пучка), и использует конкретную информацию об устройстве для лечения облучением, такую как ограничения движения гентри и многолепесткового коллиматора или другие ограничения по доставке радиотерапевтической системы.

[0005] Может быть затруднительным предвидеть эффекты этих манипулирований на повторно вычисленной карте флюенса/дозы. Например, даже порядок, в котором регулируются программные ограничения, может затрагивать карту флюенса/дозы. Как результат, планирование лечения зачастую зависит от субъективных определений опытных специалистов-практиков. Трудности с обеспечением качества плана лечения разрешаются посредством задания показателей (например, гистограмм «доза-объем», гистограммы «перекрытие-объем»), и использование этих показателей может помогать идентифицировать связанные высококачественные планы лечения. Но даже самые квалифицированные специалисты-практики не могут гарантировать оптимальность планов лечения либо то, позволяют или нет дополнительные усилия идентифицировать лучший план лечения.

[0006] Основанные на методе проб и ошибок процессы создания плана лечения известны в области техники. Например, начальное лечение может задерживаться вследствие количества времени, требуемого работниками сферы здравоохранения при выполнении процесса планирования лечения. Проведены исследования, которые демонстрируют то, что планы лечения для VMAT, в сравнении в EVIRT, могут требовать существенно большего количества времени планирования лечения (например, вплоть до коэффициента, в 5-6,8 раз превышающего количество времени планирования, чтобы получать оптимизированный план лечения в EVERT).

[0007] Эти подходы являются, в частности, проблематичными для лечебных клинических учреждений, в которых не хватает глубоких специфических экспертных знаний и/или нового оборудования, и могут быть неподходящими для использования в адаптивной терапии. Например, типичный план радиотерапевтического лечения может быть разработан до начала последовательности радиотерапии, которая должна включать в себя несколько сеансов лечения (например, вплоть до 5 дней в неделю) за множество недель (например, вплоть до 8 недель). Напротив, адаптивная радиотерапия оценивает изменения у пациента относительно исходного плана лечения; и для того, чтобы повышать точность лечения, исходный план лечения адаптируется. Адаптация исходного плана лечения требует повторного планирования лечения. Например, адаптивное планирование лечения требует дополнительной визуализации, планирования лечения, визуализации в специализированном кабинете, регистрации и коррекции изображений до доставки лечения. Безусловно, системы планирования лечения лучевой терапией могут извлекать выгоду из более оптимизированных и согласованных подходов планирования лечения.

[0008] Соответственно, существует потребность в новых системах и способах для того, чтобы эффективно генерировать карты флюенса и дозы, чтобы оптимизировать планирование лечения для предписанного радиотерапевтического лечения. Помощь в работе таких систем и способов могут обеспечивать модели процесса планирования лечения, извлекаемые из наборов примерных планов лечения идентичного вида.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0009] При использовании в данном документе «алгоритм машинного обучения» означает любой алгоритм, который может обучать модель или шаблон на основе существующей информации или сведений и прогнозировать или оценивать вывод с использованием ввода новой информации или сведений. Контролируемое обучение представляет собой ветвь машинного обучения, которая логически выводит модель прогнозирования с учетом набора обучающих данных. Каждая отдельная выборка обучающих данных представляет собой пару, содержащую набор данных (например, одно или более изображений или данных визуализации) и требуемое выходное значение или набор данных. Алгоритм контролируемого обучения анализирует обучающие данные и формирует функцию предиктора. Функция предиктора, после ее выведения посредством обучения, способна обоснованно прогнозировать или оценивать корректное выходное значение или набор данных для допустимого ввода. Функция предиктора может формулироваться на основе различных машинных обучающихся моделей, алгоритмов и/или процессов. Настоящее раскрытие относится к системам и способам разработки планов радиотерапевтического лечения через использование подходов на основе машинного обучения, реализованных через компоненты нейронных сетей.

[0010] В одном варианте осуществления предусмотрена система лечения лучевой терапией с прогнозированием дозы лучевой терапии. Система включает в себя устройство получения изображений для получения одного или более трехмерных медицинских изображений, невременный машиночитаемый носитель данных для сохранения одного или более трехмерных медицинских изображений, модели нейронной сети, одной или более трехмерных анатомических карт и одного или более трехмерных распределений дозы, и устройство обработки изображений. Устройство обработки изображений выполнено с возможностью обучать модель нейронной сети прогнозировать по меньшей мере одну из карты флюенса и карты дозы на основе упомянутого одного или более трехмерных медицинских изображений и упомянутой одной или более трехмерных анатомических карт и генерировать трехмерное распределение дозы на основе прогнозирований нейронной сети.

Согласно варианту осуществления трехмерные анатомические карты соответствуют одному или более медицинским изображениям и указывают местоположения анатомических структур пациента и местоположения целевых объектов лечения.

Согласно варианту осуществления трехмерные анатомические карты содержат по меньшей мере одно из контура изображения, контурной поверхности в пространстве, карты функциональной анатомии, бинарной маски, соответствующей структуре, и функции структуры, такой как карта расстояний.

Согласно варианту осуществления обученная нейронная сеть выдает трехмерную карту флюенса.

Согласно варианту осуществления обучение модели нейронной сети содержит устройство обработки изображений, дополнительно выполненное с возможностью:

(a) инициализировать модель нейронной сети с конфигурацией начального слоя, конфигурацией начального соединения, начальным набором весовых коэффициентов и начальным набором смещений;

(b) вводить обучающие данные в инициализированную модель нейронной сети, причем обучающие данные содержат истории болезни от совокупности пациентов, которые включают в себя медицинские изображения, конкретные анатомические структуры и ожидаемые трехмерные распределения дозы;

(c) принимать спрогнозированное распределение дозы из модели нейронной сети;

(d) сравнивать спрогнозированное распределение дозы из модели нейронной сети с ожидаемым распределением дозы и регулировать весовые коэффициенты и смещения нейронной сети, чтобы снижать разности между спрогнозированным распределением дозы и ожидаемым распределением дозы;

итеративно повторять этапы (c)-(d) до тех пор, пока разности между спрогнозированным распределением дозы и ожидаемым распределением дозы не достигнут заданного порогового значения; и

сохранять обученную нейронную сеть на невременном машиночитаемом носителе данных.

Согласно варианту осуществления обучающие данные содержат второй набор обучающих данных, содержащий обновленный набор новых изображений пациентов, соответствующих конкретному пациенту.

Согласно варианту осуществления обучающие данные содержат по меньшей мере одно из распределения дозы, набора параметров машины для управления устройством лучевой терапии, показателя качества на основе гистограммы «доза-объем», контура изображения, контурной поверхности в пространстве, функциональной анатомии и карты расстояний и их комбинации, чтобы обучать инициализированную модель нейронной сети.

Согласно варианту осуществления обучающие данные содержат функцию распределения дозы, при этом функция представляет собой по меньшей мере квадратичную, экспоненциальную и обратимую математическую функцию.

Согласно варианту осуществления тестирование обученной модели нейронной сети содержит конфигурирование устройства обработки изображений с возможностью:

принимать обученную нейронную сеть, сохраненную на невременном машиночитаемом носителе данных;

вводить тестовые данные в обученную нейронную сеть, причем тестовые данные содержат истории болезни от совокупности пациентов, которые включают в себя медицинские изображения, конкретные анатомические структуры и ожидаемые распределения дозы;

получать спрогнозированное распределение дозы из обученной нейронной сети; и

определять фактор ошибки посредством сравнения ожидаемого распределения дозы со спрогнозированным распределением дозы.

Согласно варианту осуществления нейронная сеть содержит глубокую сверточную нейронную сеть (DCNN).

[0011] В другом варианте осуществления предусмотрена система лечения лучевой терапией с прогнозированием дозы лучевой терапии, которая включает в себя устройство получения изображений для получения набора обучающих данных. Обучающие данные включают в себя одно или более трехмерных медицинских изображений, модель нейронной сети, одну или более трехмерных анатомических карт и одно или более трехмерных распределений дозы. Помимо этого, система включает в себя невременный машиночитаемый носитель данных для хранения обучающих данных, первой модели нейронной сети и второй модели нейронной сети. Система дополнительно включает в себя устройство обработки изображений, которое используется для обучения первой модели нейронной сети с использованием обучающих данных прогнозировать первое распределение дозы. Процессор изображений также обучает вторую модель нейронной сети с использованием обучающих данных прогнозировать второе распределение дозы. Ошибка определяется посредством сравнения первого распределения дозы со вторым распределением дозы, и эта ошибка используется, чтобы дополнительно обучать первую модель нейронной сети.

Согласно варианту осуществления устройство обработки изображений выполнено с возможностью обучать вторую модель нейронной сети с использованием функции обучающих данных прогнозировать распределение дозы, при этом функция содержит обратимую математическую функцию.

[0012] Предусмотрен способ прогнозирования дозы лучевой терапии. Способ включает в себя прием одного или более трехмерных медицинских изображений из устройства получения изображений. Способ дополнительно сохраняет трехмерные изображения, модель нейронной сети, одну или более трехмерных анатомических карт и одно или более трехмерных распределений дозы на невременном машиночитаемом носителе данных. С использованием процессора способ обучает нейронную сеть прогнозировать по меньшей мере одну из карты флюенса и карты дозы на основе упомянутого одного или более трехмерных медицинских изображений и упомянутой одной или более трехмерных анатомических карт и одного или более трехмерных распределений дозы. Затем способ генерирует трехмерное распределение дозы на основе прогнозирований нейронной сети.

Согласно варианту осуществления трехмерные анатомические карты соответствуют одному или более медицинских изображений и указывают местоположения анатомических структур и целевых объектов лечения пациента.

Согласно варианту осуществления трехмерные анатомические карты содержат по меньшей мере одно из контура изображения, контурной поверхности в пространстве, карты функциональной анатомии, бинарной маски, соответствующей структуре, и функции структуры, такой как карта расстояний.

Согласно варианту осуществления обученная нейронная сеть выдает трехмерную карту флюенса.

Согласно варианту осуществления обучение модели нейронной сети содержит устройство обработки изображений, выполненное с возможностью:

(a) инициализировать модель нейронной сети с конфигурацией начального слоя, конфигурацией начального соединения, начальным набором весовых коэффициентов и начальным набором смещений;

(b) вводить обучающие данные в инициализированную модель нейронной сети, причем обучающие данные содержат истории болезни от совокупности пациентов, которые включают в себя медицинские изображения, конкретные анатомические структуры и ожидаемые трехмерные распределения дозы;

(c) принимать спрогнозированное распределение дозы из модели нейронной сети;

(d) сравнивать спрогнозированное распределение дозы из модели нейронной сети с ожидаемым распределением дозы и регулировать весовые коэффициенты и смещения нейронной сети, чтобы снижать разности между спрогнозированным распределением дозы и ожидаемым распределением дозы;

итеративно повторять этапы (c)-(d) до тех пор, пока разности между спрогнозированным распределением дозы и ожидаемым распределением дозы не достигнут заданного порогового значения; и

сохранять обученную нейронную сеть на невременном машиночитаемом носителе данных.

Согласно варианту осуществления обучающие данные содержат второй набор обучающих данных, содержащий обновленный набор новых изображений пациентов, соответствующих конкретному пациенту.

Согласно варианту осуществления обучающие данные содержат по меньшей мере одно из распределения дозы, набора параметров машины для управления устройством лучевой терапии, показателя качества на основе гистограммы «доза-объем», контура изображения, контурной поверхности в пространстве, функциональной анатомии и карты расстояний и их комбинации, чтобы обучать инициализированную модель нейронной сети.

Согласно варианту осуществления обучающие данные содержат функцию распределения дозы, при этом функция представляет собой по меньшей мере квадратичную, экспоненциальную и обратимую математическую функцию.

Согласно варианту осуществления тестирование модели обученной нейронной сети содержит выполнение устройства обработки изображений, чтобы:

принимать обученную нейронную сеть, сохраненную на невременном машиночитаемом носителе данных;

вводить тестовые данные в обученную нейронную сеть, причем тестовые данные содержат истории болезни от совокупности пациентов, которые включают в себя медицинские изображения, конкретные анатомические структуры и ожидаемые распределения дозы;

получать спрогнозированное распределение дозы из обученной нейронной сети; и

определять фактор ошибки посредством сравнения ожидаемого распределения дозы со спрогнозированным распределением дозы.

Согласно варианту осуществления нейронная сеть содержит глубокую сверточную нейронную сеть (DCNN).

[0013] Преимущества вариантов осуществления настоящего изобретения являются обширными и могут включать в себя снижение расходов и задержки при планировании и доставки лечения облучением для пациентов, уменьшение субъективности в проекте плана, предоставление полезных указаний и аналитических выводов для разработки плана, прогнозирование производительности существующих планов и предоставление помощи для лечебных клинических учреждений, в которых не хватает глубоких специфических экспертных знаний. В любом случае процесс заменяет неэффективные аспекты на основе метода проб и ошибок реализаций уровня техники и предоставляет повышение точности и производительности планирования за рамками предыдущих реализаций. Дополнительно, прилагаемые чертежи, которые содержатся и составляют часть этого описания изобретения, иллюстрируют несколько вариантов осуществления изобретения и вместе с описанием служат для того, чтобы пояснять принципы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0014] Прилагаемые чертежи, которые составляют часть этого описания изобретения, иллюстрируют несколько вариантов осуществления и вместе с описанием служат для того, чтобы пояснять раскрытые принципы.

[0015] Фиг. 1 иллюстрирует примерную радиотерапевтическую систему, согласно некоторым вариантам осуществления настоящего раскрытия.

[0016] Фиг. 2 иллюстрирует примерную систему лучевой терапии, которая может включать в себя выходной узел лучевой терапии, выполненный с возможностью выдавать терапевтический пучок.

[0017] Фиг. 3 иллюстрирует примерную систему, включающую в себя объединеную систему лучевой терапии и систему визуализации, к примеру, систему визуализации на основе компьютерной томографии (КТ).

[0018] Фиг. 4 иллюстрирует вид в частичном разрезе примерной системы, включающей в себя объединенную систему лучевой терапии и систему визуализации, к примеру, систему ядерной магнитно-резонансной (МР) томографии.

[0019] Фиг. 5 иллюстрирует примерную конфигурацию коллиматора для формирования, направления или модуляции интенсивности пучка для лучевой терапии.

[0020] Фиг. 6 иллюстрирует примерную систему лучевой терапии на основе принципа гамма-ножа.

[0021] Фиг. 7 иллюстрирует полную блок-схему последовательности операций способа для вариантов осуществления системы по настоящему изобретению.

[0022] Фиг. 8 иллюстрирует примерную (DCNN) модель глубокой сверточной нейронной сети для генерирования выходных карт согласно некоторым вариантам осуществления настоящего раскрытия.

[0023] Фиг. 9 иллюстрирует генерирование и использование выходной карты в примерной радиотерапевтической системе.

[0024] Фиг. 10 иллюстрирует примерную систему для генерирования выходных карт согласно некоторым вариантам осуществления настоящего раскрытия.

[0025] Фиг. 11 иллюстрирует блок-схему последовательности операций способа, иллюстрирующую примерный процесс обучения для обучения DCNN-модели.

[0026] Фиг. 12 иллюстрирует блок-схему последовательности операций способа, иллюстрирующую примерный процесс генерирования выходных карт с использованием обученных CNN-моделей, полученных посредством процесса по фиг. 11.

[0027] Фиг. 13 иллюстрирует КТ-секцию простаты.

[0028] Фиг. 14 иллюстрирует осевой вид примерного распределения дозы облучения для простаты человека с фиг. 13 согласно варианту осуществления настоящего раскрытия.

[0029] Фиг. 15 иллюстрирует (слева направо, соответственно) карту расстояний, ожидаемое распределение дозы и оцененное распределение дозы для пациента при 17000 итераций обучения.

[0030] Фиг. 16 иллюстрирует профили интенсивности для ожидаемых и оцененных распределений дозы с фиг. 15.

[0031] Фиг. 17 иллюстрирует (слева направо, соответственно) карту расстояний, ожидаемое распределение дозы и оцененное распределение дозы для пациента при 60000 итераций обучения.

[0032] Фиг. 18 иллюстрирует профили интенсивности для ожидаемых и оцененных распределений дозы с фиг. 17.

[0033] Фиг. 19 иллюстрирует гистограмму «доза-объем» (DVH) для различных чисел итераций, при этом воксельное разнесение и темп обучения остаются идентичными, согласно некоторым вариантам осуществления настоящего раскрытия.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[0034] Фиг. 1 иллюстрирует примерную радиотерапевтическую систему 10 для предоставления лучевой терапии пациенту. Радиотерапевтическая система 10 включает в себя устройство 12 обработки изображений. Устройство 12 обработки изображений может соединяться с сетью 20. Сеть 20 может соединяться с Интернетом 22. Сеть 20 может соединять устройство 12 обработки изображений с одним или более из базы 24 данных, больничной базы 26 данных, онкологической информационной системы 28 (OIS), устройства 30 лучевой терапии, устройства 32 получения изображений, устройства 34 отображения и пользовательского интерфейса 36. Например, сеть 20 может соединять устройство 12 обработки изображений с базой 24 данных или больничной базой 26 данных, устройством 34 отображения и пользовательским интерфейсом 36. Также, например, сеть 20 может соединять устройство 12 обработки изображений с устройством 30 лучевой терапии, устройством 32 получения изображений, устройством 34 отображения и пользовательским интерфейсом 36. Устройство 12 обработки изображений выполнено с возможностью генерировать планы лечения лучевой терапией, которые должны использоваться устройством 30 лучевой терапии. Дополнительно, устройство 12 обработки изображений дополнительно может содержать пользовательский интерфейс и дисплей (не показан), функционально соединенный с процессором 14 изображений.

[0035] При использовании в данном документе данные изображений или данные визуализации означают информацию, которая представляет изображение или вид предмета, включающую в себя, например, информацию, которая может использоваться для того, чтобы получать или конструировать одно или более изображений предмета. Например, изображение опухоли может представляться посредством матрицы пиксельных значений, в которой каждый пиксел связан с данными изображений для параметров, таких как яркость и цвет. Такие параметры могут использовать любые из множества соглашений или схем; например, цвет может представляться с использованием цветовых RGB-моделей, CMYK-моделей, CIE-моделей или HSV-моделей. Данные изображений могут сохраняться в любом формате, в том числе, например, в одном или более компьютерных файлов в любом из различных форматов изображений, ASCII-форматов, числовых форматов, сжатых форматов или стандартизированных форматов. Изображение может быть многомерным, в том числе двумерным и трехмерным, и данные изображений множества размерностей могут использоваться для того, чтобы получать изображения меньшего числа размерностей. Например, данные трехмерных изображений могут включать в себя данные, из которых могут получаться несколько различных двумерных изображений либо из которых могут подготавливаться посредством рендеринга различные трехмерные изоповерхности. Аналогично, данные четырехмерных изображений (например, временные ряды трехмерных изображений) могут включать в себя данные, из которых могут получаться несколько различных трехмерных или двумерных изображений.

[0036] Устройство 12 обработки изображений может включать в себя устройство 16 памяти, процессор 14, к примеру, процессор изображений, нейронную сеть 47 и интерфейс 18 связи. Нейронная сеть 47 может содержать архитектуру глубокой сверточной нейронной сети (DCNN) и может реализовываться через программное обеспечение, сохраненное в устройстве 16 памяти, через внешние аппаратные средства (к примеру, аппаратные ускорители или графические процессоры), соединенные с устройством 12 обработки изображений, либо через комбинацию сохраненного программного обеспечения и внешних аппаратных средств. Устройство 16 памяти может сохранять машиноисполняемые инструкции невременным образом, к примеру, операционную систему 43, планы 42 лечения лучевой терапией (например, исходные планы лечения, адаптированные планы лечения и т.п.), программы 44 (например, искусственный интеллект, всю или часть нейронной сети 47 и программное обеспечение плана радиотерапевтического лечения) и любые другие машиноисполняемые инструкции, которые должны выполняться посредством процессора 14. В варианте осуществления программы 44 могут преобразовывать медицинские изображения одного типа (например, МРТ) в другой тип (например, КТ) посредством формирования синтетических изображений, таких как псевдо-КТ-изображение. При использовании в данном документе «медицинское изображение» означает изображение, представляющее объект, такой как анатомическая область человека или животного, которое является полезным для медицинских целей и включает в себя «изображение пациента». Данные медицинской визуализации могут получаться посредством любого типа модальностей визуализации, таких как КТ, магнитно-резонансная томография (МРТ), функциональная МРТ (например, фМРТ, DCE-МРТ и диффузионная МРТ), компьютерная томография на основе конического пучка (CBCT), спиральная КТ, позитрон-эмиссионная томография (PET), однофотонная эмиссионная компьютерная томография (SPECT), рентгеновская визуализация, оптическая томография, люминесцентная визуализация, ультразвуковая визуализация и радиотерапевтическая портальная визуализация, в числе других. Данные медицинской визуализации могут сохраняться в любом формате, включающем в себя DICOM-формат, JPEG, TIFF, GIF, EPS, PNG, PDF, масштабируемую векторную графику, битовые карты либо любой другой традиционный или нестандартный формат данных изображений. «Двумерное медицинское изображение» или «срез» может означать плоское представление объекта, такого как анатомическая область человека или животного, с определенной точки обзора. «Трехмерное медицинское изображение» может означать изображение, представляющее объем объекта, такого как анатомическая область человека или животного. Например, программы 44 могут включать в себя программы обработки изображений, чтобы обучать прогнозирующую модель для преобразования медицинского изображения 46 в одной модальности (например, МРТ-изображения) в синтетическое изображение другой модальности (например, в псевдо-КТ-изображение); альтернативно, обученная прогнозирующая модель может преобразовывать КТ-изображение в МРТ-изображение. Устройство 16 памяти может сохранять данные, включающие в себя медицинские изображения 46 (включающие в себя данные медицинской визуализации), данные 45 пациентов и другие данные, требуемые для того, чтобы создавать и реализовывать план 42 лечения лучевой терапией.

[0037] В дополнение к памяти 16, хранящей программы 44, предполагается, что программы 44 могут быть сохранены на съемном компьютерном носителе данных, который может использоваться в дополнение или в качестве замены для стационарного носителя данных, причем съемный носитель включает в себя такие устройства, как жесткий диск, компьютерный диск, CD-ROM, DVD, HD, DVD Blu-Ray, USB-флэш-накопитель, SD-карта, карта памяти в формате Memory Stick либо любой другой подходящий невременный носитель данных, соединенный с процессором 14. Программы 44, когда загружаются на или являются доступными для устройства 12 обработки изображений, могут выполняться посредством процессора 14 изображений.

[0038] Процессор 14 может функционально соединяться с устройством 16 памяти и нейронной сетью 47, и процессор 14 может быть выполнен с возможностью выполнять сохраненные на нем машиноисполняемые инструкции. Процессор 14 может отправлять или принимать медицинские изображения в любой зоне памяти 16 или нейронной сети 47, к примеру, медицинские изображения, сохраненные в местоположении 46. Например, процессор 14 может принимать медицинские изображения из устройства 32 получения изображений через сеть 20 через интерфейс 18 связи, так что они сохраняются в памяти 16. Процессор 14 также может отправлять медицинские изображения, сохраненные в памяти 16, 46 через интерфейс 18 связи в сеть 20, так что они сохраняются в базе 24 данных или в больничной базе 26 данных.

[0039] Дополнительно, процессор 14 может использовать программы 44 (например, программное обеспечение для планирования лечения) и нейронную сеть 47 наряду с медицинскими изображениями 46 и данными 45 пациентов, чтобы создавать план 42 лечения лучевой терапией. Медицинские изображения 46 могут включать в себя данные визуализации, к примеру, данные для интерпретации или обработки изображения, данные, связанные с анатомической областью, исследуемым органом или объемом пациента, и данные сегментации. Данные 45 пациентов могут включать в себя такую информацию, как (1) функциональные данные моделирования органов (например, последовательные по сравнению с параллельными органами, надлежащие модели реакции на дозы и т.п.); (2) данные дозировок излучения (например, информацию гистограммы «доза-объем» (DVH)); или (3) другую клиническую информацию относительно пациента и курса лечения (например, другие хирургические операции, химиотерапию и предыдущую радиотерапию).

[0040] Помимо этого, процессор 14 может использовать программы, чтобы генерировать промежуточные данные, такие как обновленные параметры, которые должны использоваться, например, посредством модели, реализованной посредством нейронной сети 47; либо генерировать промежуточные двумерные или трехмерные изображения, которые после этого могут сохраняться в памяти 16. Процессор 14 после этого может передавать выполняемый план 42 лечения лучевой терапией через интерфейс 18 связи через сеть 20 в устройство 30 лучевой терапии, где план лучевой терапии используется для лечения пациента с помощью облучения. Помимо этого, процессор 14 может выполнять программы 44, чтобы реализовывать такие функции, как преобразование изображений, сегментация изображений, глубокое обучение, обучение нейронной сети, оценка нейронной сети и искусственный интеллект. Например, процессор 14 может выполнять программы 44, которые обучают или оконтуривают медицинское изображение; такое программное обеспечение 44, которое при выполнении может обучать детектор границ или использовать словарь форм.

[0041] Процессор 14 может содержать обрабатывающее устройство и может включать в себя одно или более обрабатывающих устройств общего назначения, таких как микропроцессор, центральный процессор (CPU), графический процессор (GPU), процессор с ускорителем (APU), аппаратный ускоритель и т.п. Более конкретно, процессор 14 может включать в себя микропроцессор на основе архитектуры вычислений с полным набором команд (CISC), микропроцессор на основе архитектуры вычислений с сокращенным набором команд (RISC), микропроцессор на основе архитектуры со сверхдлинными командными словами (VLrvV), процессор, реализующий другие наборы инструкций, либо процессоры, реализующие комбинацию наборов инструкций. Процессор 14 также может реализовываться посредством одного или более обрабатывающих устройств специального назначения, таких как специализированная интегральная схема (ASIC), программируемая пользователем вентильная матрица (FPGA), процессор цифровых сигналов (DSP), внутрикристальная система (SoC) и т.п. Специалисты в области техники должны принимать во внимание в некоторых вариантах осуществления, что процессор 14 может представлять собой процессор специального назначения, а не процессор общего назначения. Процессор 14 может включать в себя одно или более известных обрабатывающих устройств, таких как микропроцессор из семейства Pentium™, Core™, Xeon™ или Itanium®, изготовленный компанией Intel™, семейства Turion™, Athlon™, Sempron™, Opteron™, FX™, Phenom™, изготовленный компанией AMD™, либо любой из различных процессоров, изготовленных компанией Sun Microsystems. Процессор 14 также может включать в себя графические процессоры, такие как GPU из семейства GeForce®, Quadro®, Tesla®, изготовленный компанией Nvidia™, семейства GMA, Iris™, изготовленный компанией Intel™, или семейства Radeon™, изготовленный компанией AMD™. Процессор 14 также может включать в себя процессоры с ускорителем, такие как семейство Xeon Phi™, изготовленное компанией Intel™. Раскрытые варианты осуществления не ограничены каким-либо типом процессора(ов), выполненного иным способом с возможностью удовлетворять вычислительным требованиям по идентификации, анализу, поддержанию, генерированию и/или предоставлению больших объемов данных либо по манипулированию такими данными, чтобы осуществлять способы, раскрытые в данном документе. Помимо этого, термин «процессор» может включать в себя более одного процессора, например, многоядерную структуру или множество процессоров, каждый из которых имеет многоядерную структуру. Процессор 14 может выполнять последовательности компьютерных программных инструкций, сохраненных в памяти 16, чтобы выполнять различные операции, процессы, способы, которые подробнее поясняются ниже.

[0042] Устройство 16 памяти может сохранять медицинские изображения 46 (включающие в себя данные визуализации).

В некоторых вариантах осуществления медицинские изображения 46 могут включать в себя одно или более МРТ-изображений (например, двумерных МРТ-изображений, трехмерных МРТ-изображений, двумерных потоковых МРТ-изображений, четырехмерных МРТ-изображений, четырехмерных объемных МРТ-изображений, четырехмерных синусоидальных МРТ-изображений и т.п.), функциональных МРТ-изображений (например, фМРТ-изображений, DCE-МРТ-изображений, диффузионных МРТ-изображений), изображений цифровой камеры (например, в JPEG-формате, RAW-формате, TIFF-формате или GIF-формате), компьютерных графических изображений, компьютерных томографических (КТ) изображений (например, двумерных КТ-изображений, КТ-изображений на основе конического пучка, трехмерных КТ-изображений, четырехмерных КТ-изображений), ультразвуковых изображений (например, двумерных ультразвуковых, трехмерных ультразвуковых, четырехмерных ультразвуковых), позитрон-эмиссионных томографических (PET) изображений, рентгеновских изображений, флуороскопических изображений, радиотерапевтических портальных изображений, однофотонных эмиссионных компьютерных томографических (SPECT) изображений, машиногенерируемых синтетических изображений (например, псевдо-КТ-изображений), сформированных пользователем изображений и т.п. Дополнительно, медицинские изображения 46 также могут включать в себя обучающие изображения, изображения на основе ожидаемых результатов, изображения на основе экспериментально полученных проверочных данных, фиктивные изображения, обработанные изображения и контурные изображения. В варианте осуществления медицинские изображения 46 могут приниматься из базы 24, 26 данных. В другом варианте осуществления медицинские изображения 46 могут приниматься из устройства 32 получения изображений. Соответственно, устройство 32 получения изображений может включать в себя любое устройство, которое может предоставлять данные визуализации, включающее в себя, например, устройство МРТ-визуализации, устройство КТ-визуализации, устройство PET-визуализации, устройство ультразвуковой визуализации, флуороскопическое устройство, устройство SPECT-визуализации, интегрированный линейный ускоритель и устройство МРТ-визуализации или другие устройства медицинской визуализации для получения медицинских изображений пациента. Медицинские изображения 46 (включающие в себя данные медицинской визуализации) могут приниматься и сохраняться в любом типе данных или любом типе формата, который устройство 12 обработки изображений может использовать для того, чтобы выполнять операции в соответствии с раскрытыми вариантами осуществления. Память 16 может представлять собой невременный машиночитаемый носитель данных, такой как постоянное запоминающее устройство (ROM), оперативное запоминающее устройство на фазовых переходах (PRAM), статическое оперативное запоминающее устройство (SRAM), флэш-память, оперативное запоминающее устройство (RAM), динамическое оперативное запоминающее устройство (DRAM), такое как синхронное DRAM (SDRAM), электрически стираемое программируемое постоянное запоминающее устройство (EEPROM), статическое запоминающее устройство (например, флэш-память, флэш-диск, статическое оперативное запоминающее устройство), а также другие типы оперативных запоминающих устройств, кэш, регистр, постоянное запоминающее устройство на компакт-дисках (CD-ROM), универсальный цифровой диск (DVD) или другое оптическое устройство хранения данных, кассетная лента, другое магнитное устройство хранения данных либо любой другой невременный носитель данных, который может использоваться для того, чтобы сохранять информацию, включающую в себя изображение, данные или машиноисполняемые инструкции (например, сохраненные в любом формате), допускающие осуществление доступа посредством процессора 14 или любого другого типа компьютерного устройства. Компьютерные программные инструкции могут быть доступными посредством процессора 14, считываться из ROM или любого другого подходящего местоположения памяти и загружаться в RAM для выполнения посредством процессора 14. Например, память 16 может сохранять одно или более приложений. Приложения, сохраненные в памяти 16, могут включать в себя, например, операционную систему 43 для общих компьютерных систем, а также для управляемых посредством программного обеспечения устройств. Дополнительно, память 16 может сохранять все приложение или только часть приложения, которая выполняется посредством процессора 14. Например, память 16 может сохранять один или более планов 42 лечения лучевой терапией. В еще одном другом варианте осуществления, данные 46 медицинских изображений могут приниматься как из базы данных, так и из устройства (например, устройство предоставляет обновленную версию изображения, сохраненного в базе данных, посредством идентификации измененных признаков).

[0043] Устройство 12 обработки изображений может обмениваться данными с сетью 20 через интерфейс 18 связи, который функционально соединяется с процессором 14, памятью 16 и нейронной сетью 47. Интерфейс 18 связи может предоставлять соединения связи между устройством 12 обработки изображений и компонентами радиотерапевтической системы 10 (например, позволять обмен данными с внешними устройствами). Например, интерфейс 18 связи в некоторых вариантах осуществления может иметь надлежащую интерфейсную схему для того, чтобы соединяться с пользовательским интерфейсом 36, которая может представлять собой аппаратную клавиатуру, клавишную панель или сенсорный экран, через который пользователь может вводить информацию в радиотерапевтическую систему 10.

[0044] Интерфейс 18 связи может включать в себя, например, сетевой адаптер, кабельный разъем, последовательный разъем, USB-разъем, параллельный разъем, адаптер для высокоскоростной передачи данных (например, такой как волокно, USB 3.0, Thunderbolt и т.п.), беспроводной сетевой адаптер (например, такой как Wi-Fi-адаптер), адаптер связи (например, 3G, 4G/LTE и т.п.) и т.п. Интерфейс 18 связи может включать в себя одно или более устройств цифровой и/или аналоговой связи, которые позволяют устройству 12 обработки изображений обмениваться данными с другими машинами и устройствами, к примеру, удаленно расположенными компонентами, через сеть 20.

[0045] Сеть 20 может предоставлять функциональность локальной вычислительной сети (LAN), беспроводной сети, облачного вычислительного окружения (например, программное обеспечение как услуга, платформа как услуга, инфраструктура как услуга и т.д.), клиент-сервера, глобальной вычислительной сети (WAN) и т.п. Например, сеть 20 может представлять собой LAN или WAN, которая может включать в себя другие системы S1 (38), S2 (40) и S3 (41). Системы S1, S2 и S3 могут быть идентичными устройству 12 обработки изображений или могут представлять собой другие системы. В некоторых вариантах осуществления одна или более систем в сети 20 могут формировать распределенное вычислительное/моделирующее окружение, которое совместно выполняет варианты осуществления, описанные в данном документе. В некоторых вариантах осуществления одна или более систем S1, S2 и S3 могут включать в себя КТ-сканер, который получает КТ-изображения (например, медицинские изображения 46). Помимо этого, сеть 20 может соединяться с Интернетом 22, чтобы обмениваться данными с серверами и клиентами, которые постоянно размещаются удаленно, в Интернете. В дополнительных вариантах осуществления одна или более систем S1, S2 и S3 могут включать в себя внешне доступные нейронные сети или связанные вычислительные средства.

[0046] Следовательно, сеть 20 может обеспечивать возможность передачи данных между устройством 12 обработки изображений и определенным числом различных других систем и устройств, таких как OIS 28, устройство 30 лучевой терапии и устройство 32 получения изображений. Дополнительно, данные, сгенерированные посредством OIS 28 и/или устройства 32 получения изображений, могут сохраняться в памяти 16, в базе 24 данных и/или в больничной базе 26 данных. Данные могут передаваться/приниматься через сеть 20, через интерфейс 18 связи для осуществления доступа посредством процессора 14, по мере необходимости.

[0047] Устройство 12 обработки изображений может обмениваться данными с базой 24 данных через сеть 20, чтобы отправлять/принимать множество различных типов данных, сохраненных в базе 24 данных. Например, база 24 данных может включать в себя машинные данные, которые представляют собой информацию, связанную с устройством 30 лучевой терапии, устройством 32 получения изображений или другими машинами, релевантными для радиотерапии. Информация в виде машинных данных может включать в себя размер пучка излучения, размещение дуги, временную длительность активации и деактивации пучка, управляющие точки, сегменты, конфигурацию многолепесткового коллиматора (MLC), скорость гентри, последовательность МРТ-импульсов и т.п. База 24 данных может представлять собой невременное устройство хранения данных. Специалисты в области техники должны принимать во внимание, что база 24 данных может включать в себя множество устройств, расположенных централизованным или распределенным способом.

[0048] В некоторых вариантах осуществления база 24 данных может включать в себя считываемый процессором невременный носитель данных (не показан). Хотя считываемый процессором носитель данных в варианте осуществления может представлять собой один носитель данных, термин «считываемый процессором носитель данных» должен рассматриваться как включающий в себя в себя один носитель данных или несколько носителей данных (например, централизованную или распределенную базу данных и/или связанные кэши и серверы), которые сохраняют один или более наборов из машиноисполняемых инструкций или данных. Термин «считываемый процессором носитель данных» также должен рассматриваться как включающий в себя в себя любой носитель данных, который допускает сохранение или кодирование набора инструкций для выполнения посредством процессора и который инструктирует процессору выполнять любую одну или более технологий настоящего раскрытия. Термин «считываемый процессором носитель данных», соответственно, должен рассматриваться как включающий в себя в себя, но не только, полупроводниковые устройства памяти, оптические и магнитные носители данных. Например, считываемый процессором носитель данных может представлять собой один или более энергозависимых, долговременных или невременных материальных машиночитаемых носителей данных.

[0049] Процессор 14 изображений может обмениваться данными с базой 24 данных с тем, чтобы считывать изображения в память 16 или сохранять изображения из памяти 16 в базу 24 данных. Например, база 24 данных может быть выполнена с возможностью сохранять множество изображений (например, срезовые трехмерные МРТ-изображения, четырехмерные МРТ-изображения, двумерные МРТ-изображения, КТ-изображения, двумерные флуороскопические изображения, рентгеновские изображения, необработанные данные из МР-сканирований или КТ-сканирований, данные по стандарту цифровой визуализации и связи в медицине (DICOM) и т.д.), которые база 24 данных принимает из устройства 32 получения изображений. База 24 данных может сохранять данные, которые должны использоваться посредством процессора 14 изображений при выполнении программы 44 или при создании планов 42 лечения лучевой терапией. Устройство 12 обработки изображений может принимать данные визуализации 46 (например, двумерные срезовые МРТ-изображения, КТ-изображения, двумерные флуороскопические изображения, рентгеновские изображения, трехмерные МРТ-изображения, четырехмерные МРТ-изображения и т.д.) из базы 24 данных, устройства 30 лучевой терапии (например, линейного МРТ-ускорителя) и/или устройства 32 получения изображений, чтобы генерировать план 42 лечения.

[0050] В варианте осуществления радиотерапевтическая система 10 может включать в себя устройство 32 получения изображений, которое может получать медицинские изображения (например, изображения на основе магнитно-резонансной томографии (МРТ), трехмерные МРТ-изображения, двумерные потоковые МРТ-изображения, четырехмерные объемные МРТ-изображения, компьютерные томографические (КТ) изображения, КТ-изображения на основе конического пучка, позитрон-эмиссионные томографические (PET) изображения, функциональные МРТ-изображения (например, фМРТ-изображения, DCE-МРТ-изображения и диффузионные МРТ-изображения), рентгеновские изображения, флуороскопическое изображение, ультразвуковые изображения, радиотерапевтические портальные изображения, однофотонные эмиссионные компьютерные томографические (SPECT) изображения и т.п.) пациента. Устройство 32 получения изображений, например, может представлять собой устройство МРТ-визуализации, устройство КТ-визуализации, устройство PET-визуализации, ультразвуковое устройство, флуороскопическое устройство, устройство SPECT-визуализации либо любое другое подходящее устройство медицинской визуализации для получения одного или более медицинских изображений пациента. Изображения, полученные посредством устройства получения обработки изображений 32, могут сохраняться в базе 24 данных в качестве данных визуализации и/или тестовых данных. В качестве примера, изображения, полученные посредством устройства получения обработки изображений 32, также могут сохраняться посредством устройства 12 обработки изображений в качестве данных 46 медицинских изображений в памяти 16.

[0051] В варианте осуществления, например, устройство 32 получения изображений необязательно может интегрироваться с устройством 30 лучевой терапии в качестве одного устройства 30A (например, МРТ-устройства, объединенного с линейным ускорителем, также называемым «линейным МРТ-ускорителем»). Такой линейный МРТ-ускоритель может использоваться, например, для того, чтобы определять местоположение целевого органа или целевой опухоли у пациента, с тем чтобы направлять лучевую терапию точно согласно плану 42 лечения лучевой терапией в заданный целевой объект.

[0052] Устройство 32 получения изображений может быть выполнено с возможностью получать одно или более изображений анатомии пациента для исследуемой области (например, целевого органа, целевой опухоли либо и того, и другого). Каждое изображение, обычно двумерное изображение или срез, может включать в себя один или более параметров (например, толщину, ориентацию и местоположение в двумерном срезе). В примере, устройство 32 получения изображений может получать двумерный срез в любой ориентации. Например, ориентация двумерного среза может включать в себя сагиттальную ориентацию, корональную ориентацию или осевую ориентацию. Процессор 14 может регулировать один или более параметров, таких как толщина и/или ориентация двумерного среза, так что они включают в себя целевой орган и/или целевую опухоль. В примере, двумерные срезы могут определяться из такой информации, как трехмерный МРТ-объем. Такие двумерные срезы могут получаться посредством устройства 32 получения изображений в «реальном времени», в то время как пациент подвергается лечению лучевой терапией, например, при использовании устройства 30 лучевой терапии. «Реальное время» означает получение данных по меньшей мере за миллисекунды или меньше.

[0053] Устройство 12 обработки изображений может генерировать и сохранять планы 42 лечения лучевой терапией для одного или более пациентов. Планы 42 лечения лучевой терапией могут предоставлять информацию относительно конкретной дозы излучения, которая должна применяться к каждому пациенту. Планы 42 лечения лучевой терапией также могут включать в себя другую информацию радиотерапии, такую как углы пучка, информация гистограммы «доза-объем», параметры доставки, такие как число пучков излучения, которые должны использоваться во время терапии, максимальная доза в расчете на пучок или скорость гентри, и т.п.

[0054] Процессор 14 изображений может генерировать план 42 лечения лучевой терапией посредством использования программ 44, таких как программное обеспечение для планирования лечения, к примеру, MONACO®, изготовленное компанией Elekta, Inc., Атланта, Джорджия. Чтобы генерировать планы 42 лечения лучевой терапией, процессор 14 изображений может обмениваться данными с устройством 32 получения изображений (например, КТ-устройством, МРТ-устройством, PET-устройством, рентгеновским устройством, ультразвуковым устройством), памятью 16 или базой 24 данных для того, чтобы осуществлять доступ к изображениям пациента и очерчивать целевые объекты, такие как опухоль. В некоторых вариантах осуществления может требоваться очерчивание одного или более органов риска (OAR), таких как здоровая ткань, окружающая опухоль, или непосредственную близость к опухоли. Следовательно, сегментация OAR (т.е. очерчивание структур органов риска из близлежащих объемов лечения) может выполняться, когда OAR находится близко к целевой опухоли. Помимо этого, если целевая опухоль находится близко к OAR (например, простата в непосредственной близости к мочевому пузырю и прямой кишке), то посредством сегментации OAR из опухоли, устройство планирования лечения может изучать распределение дозы не только в целевом объекте, но также и в OAR.

[0055] Чтобы очерчивать целевой орган или целевую опухоль от OAR, медицинские изображения, такие как МРТ-изображения, КТ-изображения, PET-изображения, фМРТ-изображения, рентгеновские изображения, ультразвуковые изображения, радиотерапевтические портальные изображения, SPECT-изображения и т.п., для пациента, подвергающегося радиотерапии, могут получаться неинвазивно посредством устройства 32 получения изображений, чтобы раскрывать внутреннюю структуру части тела. На основе информации из медицинских изображений может получаться трехмерная структура релевантного анатомического фрагмента. Помимо этого, во время процесса планирования лечения, множество параметров могут учитываться, чтобы достигать равновесия между эффективным лечением целевой опухоли (например, таким образом, что целевая опухоль принимает достаточную дозу излучения для эффективной терапии) и низким облучением OAR (например, OAR принимает максимально возможно низкую дозу излучения). Другие параметры, которые могут рассматриваться, включают в себя местоположение целевого органа и целевой опухоли, местоположение OAR и перемещение целевого объекта относительно OAR. Например, трехмерная структура может получаться посредством оконтуривания целевого объекта или оконтуривания OAR в каждом двумерном слое или срезе МРТ-изображения или КТ-изображения и комбинирования контура каждого двумерного слоя или среза. Контур может генерироваться вручную (например, врачом, дозиметристом или работником здравоохранения) либо автоматически (например, с использованием программы, такой как программное обеспечение для автосегментации на основе атласа, ABAS™, изготовленное компанией Elekta AB, Стокгольм, Швеция). В конкретных вариантах осуществления трехмерная структура целевой опухоли или OAR может генерироваться автоматически посредством программного обеспечения для планирования лечения.

[0056] После того, как целевая опухоль и OAR обнаружены и очерчены, дозиметрист, врач или работник системы здравоохранения может определять дозу излучения, которая должна применяться к целевой опухоли, а также максимальные величины дозы, которая может приниматься посредством OAR рядом с опухолью (например, посредством левой и правой околоушной железы, зрительных нервов, глаз, хрусталика глаза, внутренних ушей, спинного мозга, ствола мозга и т.п.). После того, как доза излучения определяется для каждой анатомической структуры (например, целевой опухоли, OAR), процесс, известный как обратное планирование, может выполняться для того, чтобы определять один или более параметров плана лечения, которые должны достигать требуемого распределения дозы облучения. Примеры параметров плана лечения включают в себя параметры очерчивания объема (например, которые задают целевые объемы или чувствительные к контуру структуры), допустимые запасы вокруг целевой опухоли и OAR, выбор угла пучка, настройки коллиматора и времена активации пучка. Во время процесса обратного планирования врач может задавать параметры ограничения дозы, которые задаются пределы относительно того, сколько излучения OAR может принимать (например, задание полной дозы для цели опухоли и нулевой дозы для любого OAR; задание 95% дозы для целевой опухоли; задание того, что спинной мозг, ствол мозга и оптические структуры принимают <45 Гр, <55 Гр и <54 Гр, соответственно). Результат обратного планирования может составлять план 42 лечения лучевой терапией, который может сохраняться в памяти 16 или базе 24 данных. Некоторые из этих параметров лечения могут коррелироваться. Например, настройка одного параметра (например, весовых коэффициентов для различных задач, таких как увеличение дозы для целевой опухоли) в попытке изменять план лечения может затрагивать по меньшей мере еще один параметр, что, в свою очередь, может приводить к разработке другого плана лечения. Таким образом, устройство 12 обработки изображений может генерировать специализированный план 42 лечения лучевой терапией, имеющий эти параметры, с тем чтобы устройство 30 лучевой терапии предоставляло радиотерапевтическое лечение пациенту.

[0057] Помимо этого, радиотерапевтическая система 10 может включать в себя устройство 34 отображения и пользовательский интерфейс 36. Устройство 34 отображения может включать в себя один или более экранов отображения, которые отображают медицинские изображения, интерфейсную информацию, параметры планирования лечения (например, контуры, дозировки, углы пучка и т.п.), планы лечения, целевой объект, локализацию целевого объекта и/или отслеживание целевого объекта либо любую информацию, связанную с пользователем или пациентом. Пользовательский интерфейс 36 может представлять собой клавиатуру, клавишную панель, мышь, сенсорную панель, сенсорный экран или любой тип устройства, с помощью которого пользователь может вводить информацию в радиотерапевтическую систему 10. Альтернативно, устройство 34 отображения и пользовательский интерфейс 36 могут интегрироваться в устройство, такое как планшетный компьютер, например, Apple iPad®, Lenovo Thinkpad®, Samsung Galaxy ® и т.п.

[0058] Кроме того, все без исключения компоненты радиотерапевтической системы 10 могут реализовываться как виртуальная машина (например, VMware, Hyper-V и т.п.). Например, виртуальная машина может представлять собой программное обеспечение, которое функционирует в качестве аппаратных средств. Следовательно, виртуальная машина может включать в себя по меньшей мере один или более виртуальных процессоров, одно или более виртуальных устройств памяти и один или более виртуальных интерфейсов связи, которые вместе функционируют в качестве аппаратных средств. Например, устройство 12 обработки изображений, OIS 28 или устройство 32 получения изображений могут реализовываться как виртуальная машина. С учетом доступной мощности обработки, характеристик памяти и вычислительных характеристик, вся радиотерапевтическая система 10 может реализовываться как виртуальная машина.

[0059] Фиг. 2 иллюстрирует примерное устройство 202 лучевой терапии, включающее в себя источник излучения, такой как источник рентгеновского излучения или линейный ускоритель, многолепестковый коллиматор (не показан), кушетку 216, детектор 214 визуализации и выходной узел 204 лучевой терапии. Устройство 202 лучевой терапии может быть выполнено с возможностью испускать пучок 208 излучения, чтобы предоставлять терапию пациенту. Выходной узел 204 лучевой терапии может включать в себя один или более аттенюаторов или коллиматоров, к примеру, многолепестковый коллиматор (MLC), как описано в иллюстративном примере по фиг. 5 ниже.

[0060] Снова ссылаясь на фиг. 2, пациент может позиционироваться в области 212, с использованием стола или кушетки 216, чтобы принимать дозу лучевой терапии согласно плану лечения лучевой терапией. Выходной узел 204 лучевой терапии может монтироваться или присоединяться к гентри 206 или другой механической опоре. Один или более электромоторов шасси (не показаны) могут вращать гентри 206 и выходной узел 204 лучевой терапии вокруг кушетки 216, когда кушетка 216 находится в зоне лечения. В варианте осуществления гентри 206 может непрерывно поворачиваться вокруг кушетки 216, когда кушетка 216 находится в зоне лечения. В другом варианте осуществления гентри 206 может вращаться в заданную позицию, когда кушетка 216 находится в зоне лечения. Например, гентри 206 может выполняться с возможностью вращать выходной узел 204 для терапии вокруг оси (A). Кушетка 216 может перемещаться независимо от гентри 206 и выходного узла 204 для терапии, вращающихся вокруг поперечной оси (T), указываемой посредством R, и перемещающихся в пространстве параллельно поперечной оси (L), поперечной оси (T) и оставшейся оси (A). Контроллер (не показан), функционально соединенный с терапевтическим устройством 202, может управлять перемещениями или вращениями кушетки 216, чтобы надлежащим образом позиционировать пациента в или из позиции пучка 208 излучения согласно плану лечения лучевой терапией. Поскольку как кушетка 216, так и гентри 206 являются независимо подвижными относительно друг друга в нескольких степенях свободы, пациент может позиционироваться таким образом, что пучок 208 излучения точно может нацеливаться на опухоль.

[0061] Система координат (включающая в себя оси A, T и L), показанная на фиг. 2, может иметь начало координат, расположенное в изоцентре 210. Изоцентр может задаваться как местоположение, в котором пучок 208 для лучевой терапии пересекает начало оси координат, к примеру, чтобы доставить предписанную дозу излучения в местоположение на/внутри пациента. Например, изоцентр 210 может задаваться как местоположение, в котором пучок 208 для лучевой терапии пересекает пациента для различных позиций вращения выходного узла 204 лучевой терапии, позиционированного посредством гентри 206 вокруг оси A.

[0062] Гентри 206 также может иметь присоединенный детектор 214 визуализации. Детектор 214 визуализации предпочтительно расположен напротив источника 204 излучения, и в примере, детектор 214 визуализации может быть расположен в поле пучка 208 для терапии.

[0063] Детектор 214 визуализации может монтироваться на гентри 206 предпочтительно напротив выходного узла 204 лучевой терапии, к примеру, чтобы поддерживать совмещение с пучком 208 для терапии, причем в этом случае детектор 214 визуализации вращается вокруг оси вращения по мере того, как вращается гентри 206. В варианте осуществления детектор 214 визуализации может представлять собой плоскопанельный детектор (например, прямой детектор или сцинтилляторный детектор). Таким образом, детектор 214 визуализации может использоваться для того, чтобы отслеживать пучок 208 для терапии, или детектор 214 визуализации может использоваться для визуализации анатомии пациента, к примеру, портальной визуализации. Схема управления радиотерапевтического устройства 202 может интегрироваться в системе 202 или располагаться удаленно от нее.

[0064] В иллюстративном примере одно или более из кушетки 216, выходного узла 204 для терапии или гентри 206 может автоматически позиционироваться, и выходной узел 204 для терапии может устанавливать пучок 208 для терапии согласно указанной дозе для конкретного случая доставки терапии. Последовательность доставок терапии может указываться согласно плану лечения лучевой терапией, к примеру, с использованием одной или более различных ориентаций или местоположений гентри 206, кушетки 216 или выходного узла 204 для терапии. Доставки терапии могут осуществляться последовательно, но могут пересекаться в требуемом локусе терапии на/внутри пациента, к примеру, в изоцентре 210. Предписанная кумулятивная доза лучевой терапии в силу этого может доставляться в локус терапии, в то время как повреждение ткани поблизости локуса терапии уменьшается или не допускается.

[0065] Фиг. 3 иллюстрирует примерное устройство 302 лучевой терапии, которое может включать в себя объединение линейного ускорителя и системы визуализации, к примеру, системы визуализации на основе компьютерной томографии (КТ). Система КТ-визуализации может включать в себя источник 318 визуализирующего рентгеновского излучения, к примеру, источник рентгеновского излучения, выдающий энергию рентгеновского излучения в энергетическом диапазоне в килоэлектронвольтах (кэВ). Источник 318 визуализирующего рентгеновского излучения может выдавать веерообразный и/или конический пучок 320, направленный в детектор 322 визуализации, к примеру, в плоскопанельный детектор. Система 302 лучевой терапии может быть аналогичной системе 302, описанной относительно фиг. 2, к примеру, включающей в себя выходной узел 304 лучевой терапии, гентри 306, платформу 316 и другой плоскопанельный детектор 314. Источник 318 рентгеновского излучения может выдавать пучок со сравнительно меньшей энергией для визуализации, чем для терапии.

[0066] В иллюстративном примере с фиг. 3 выходной узел 304 лучевой терапии и источник 318 рентгеновского излучения могут монтироваться на идентичной вращающейся гентри 306 с вращательным разделением друг от друга на 90 градусов. В другом примере два или более источников рентгеновского излучения могут монтироваться вдоль окружности гентри 306, к примеру, каждый из которых имеет собственную детекторную компоновку для того, чтобы предоставлять несколько углов диагностической визуализации параллельно. Аналогично, могут предоставляться несколько выходных узлов 304 лучевой терапии.

[0067] Фиг. 4 иллюстрирует примерную систему 400 лучевой терапии, которая может включать в себя объединение устройства 402 лучевой терапии и системы визуализации, к примеру, системы 430 ядерной магнитно-резонансной (МР) томографии (известной в области техники в качестве линейного МР-ускорителя) в соответствии с раскрытыми вариантами осуществления. Как показано, система 400 может включать в себя кушетку (не показана), устройство 430 получения изображений и устройство 424 доставки излучения. Система 400 доставляет лучевую терапию к пациенту в соответствии с планом радиотерапевтического лечения. В некоторых вариантах осуществления устройство 430 получения изображений может соответствовать устройству 32 получения изображений с фиг. 1, которое может получать исходные изображения первой модальности (например, КТ-изображения или МРТ-изображения).

[0068] Кушетка (не показана) может поддерживать пациента во время сеанса лечения. В некоторых реализациях кушетка может перемещаться вдоль горизонтальной оси перемещения в пространстве (с меткой A) таким образом, что кушетка может перемещать пациента в и/или из системы 400. Кушетка также может вращаться вокруг центральной вертикальной оси вращения, поперечной относительно оси перемещения в пространстве. Чтобы обеспечивать возможность такого перемещения или вращения, кушетка может иметь электромоторы (не показаны), позволяющие кушетке перемещаться в различных направлениях и вращаться вдоль различных осей. Контроллер (не показан) может управлять этими перемещениями или вращениями, чтобы надлежащим образом позиционировать пациента согласно плану лечения.

[0069] В некоторых вариантах осуществления устройство 430 получения изображений может включать в себя МРТ-машину, используемую для того, чтобы получать двумерные или трехмерные МРТ-изображения пациента до, во время и/или после сеанса лечения. Устройство 430 получения изображений может включать в себя магнит для генерирования первичного магнитного поля для магнитно-резонансной томографии. В некоторых вариантах осуществления одна или более катушек в магните могут быть разнесены таким образом, что центральное окно магнита не содержит катушек, с тем чтобы предоставлять доступ пучка для лечения из источника 404. В других вариантах осуществления катушки в магните могут быть достаточно тонкими или иметь уменьшенную плотность, так что они являются практически проницаемыми для излучения с длиной волны, сгенерированной посредством радиотерапевтического устройства 400. Устройство 430 получения изображений также может включать в себя одну или более экранирующих катушек, которые могут генерировать магнитное поле за пределами магнита с приблизительно равной абсолютной величиной и противоположной полярностью, чтобы подавлять или уменьшать все магнитные поля за пределами магнита.

[0070] В некоторых вариантах осуществления устройство 430 получения изображений может представлять собой устройство визуализации, отличное от МРТ-визуализации, к примеру, устройство рентгеновской визуализации, устройство КТ-визуализации, устройство CBCT-визуализации, устройство спиральной КТ-визуализации, устройство PET-визуализации, устройство SPECT-визуализации, оптическое томографическое устройство, устройство люминесцентной визуализации, устройство ультразвуковой визуализации или устройство радиотерапевтической портальной визуализации и т.д. Специалисты в области техники должны признавать, что вышеприведенное описание устройства 430 получения изображений связано с конкретными вариантами осуществления и не имеет намерение быть ограниченным.

[0071] Радиотерапевтическое устройство 400 может включать в себя источник 404 излучения, к примеру, источник рентгеновского излучения или линейный ускоритель и многолепестковый коллиматор (MLC). Гентри 406 радиотерапевтического устройства может монтироваться на шасси. Один или более электромоторов шасси (не показаны) могут вращать шасси вокруг кушетки, когда кушетка вставляется в зону лечения через ось A. В варианте осуществления шасси может быть непрерывно поворотным вокруг кушетки, когда кушетка вставляется в зону лечения. Шасси также может иметь присоединенный детектор излучения (не показан), предпочтительно расположенный напротив источника 404 излучения, при этом ось вращения шасси позиционируется между источником 404 излучения и детектором (не показан). Дополнительно, устройство 400 может включать в себя, схему управления (не показана), используемую для того, чтобы управлять, например, одним или более из кушетки пациента, устройства 430 получения изображений и радиотерапевтического выходного узла 424. Схема управления радиотерапевтического устройства 400 может интегрироваться в системе или располагаться удаленно от него и функционально представляется посредством пользовательского интерфейса 36, показанного на фиг. 1.

[0072] Фиг. 2, фиг. 3 и фиг. 4, в общем, иллюстрируют примеры устройства лучевой терапии, выполненного с возможностью предоставлять радиотерапевтическое лечение для пациента, включающего в себя конфигурацию, в которой выходной узел лучевой терапии может вращаться вокруг центральной оси (например, оси «A»). Другие конфигурации выходных узлов лучевой терапии могут использоваться. Например, выходной узел лучевой терапии может монтироваться на роботизированной руке или манипуляторе, имеющем несколько степеней свободы. В еще одном другом примере выходной узел для терапии может быть закрепленным, к примеру, располагаться в области, поперечно разделенной от пациента, и платформа, поддерживающая пациента, может использоваться для того, чтобы совмещать изоцентр лучевой терапии с указанным целевым локусом внутри пациента.

[0073] Как пояснено выше, устройства лучевой терапии, описанные посредством фиг. 2, фиг. 3 и фиг. 4, могут включать в себя многолепестковый коллиматор для формирования, направления или модуляции интенсивности пучка для лучевой терапии в указанный целевой локус внутри пациента. Фиг. 5 иллюстрирует примерный многолепестковый коллиматор 532 (MLC), который включает в себя лепестки 532A-532J, которые могут автоматически позиционироваться, чтобы задавать апертуру, аппроксимирующую поперечное сечение или проекцию 540 опухоли. Лепестки 532A-532J позволяют модуляцию пучка для лучевой терапии. Лепестки 532A-532J могут быть изготовлены из материала, предусмотренного с возможностью ослаблять или блокировать пучок излучения в областях, отличных от апертуры, в соответствии с планом лечения облучением. Например, лепестки 532A-532J могут включать в себя металлические пластины или лепестки, к примеру, содержащие вольфрам, при этом продольная ось лепестков и концы лепестков ориентированы параллельно направлению пучка и имеют движение лепестков, ортогональное к направлению пучка. «Состояние» MLC 532 может регулироваться адаптивно в ходе лечения лучевой терапией, к примеру, чтобы устанавливать пучок для терапии, который лучше аппроксимирует форму или местоположение опухоли 540 либо другого целевого локуса.

[0074] Фиг. 6 иллюстрирует пример другого типа радиотерапевтического устройства 600 (например, гамма-ножа Лекселла) согласно некоторым вариантам осуществления настоящего раскрытия. В сеансе радиотерапевтического лечения пациент 602 может носить координатный фрейм 620, чтобы сохранять стабильность части тела (например, головы) пациента, подвергающегося хирургической операции или радиотерапии. Координатный фрейм 620 и система 622 позиционирования пациентов могут устанавливать пространственную систему координат, которая может использоваться при визуализации пациента или во время хирургии излучения. Радиотерапевтическое устройство 600 может включать в себя защитный кожух 614, чтобы вмещать множество источников 612 излучения. Источники 612 излучения могут генерировать множество пучков излучения миллиметровой ширины (например, элементарных пучков) через каналы 616 пучка. Упомянутое множество пучков излучения могут быть выполнены с возможностью фокусироваться на изоцентре 618 из различных направлений. Хотя каждый отдельный пучок излучения может иметь относительно низкую интенсивность, изоцентр 618 может принимать относительно высокий уровень излучения, когда несколько доз из различных пучков излучения накапливаются в изоцентре 618. В конкретных вариантах осуществления изоцентр 618 может соответствовать целевому объекта, подвергающемуся хирургии или лечению, такому как опухоль.

[0075] Фиг. 7 иллюстрирует общее представление блок-схемы 700 последовательности операций способа для варианта осуществления настоящего изобретения, включающего в себя три фазы: фазу 725 подготовки к обучению, фазу 726 обучения сети и фазу 727 логического вывода по сети.

[0076] В фазе 725 подготовки к обучению обучающие вводы 720 подготавливаются и обрабатываются для использования в обучении компонента нейронной сети (фиг. 1, 47). Модель сети выбирается 705 для использования в обучении; такой выбор модели может включать в себя, например, идентификацию архитектуры глубокой сверточной нейронной сети и надлежащей конфигурации слоев обработки (как подробнее описано ниже в отношении фиг. 8 в качестве примерного варианта осуществления). Модель компонентов нейронной сети (фиг. 1, 47) инициализируется с конфигурацией начального слоя, конфигурацией начального соединения, набором весовых коэффициентов и набором смещений. В дополнение к медицинским изображениям 710 и ожидаемым результатам 715 (также известным специалистам в релевантных областях техники как «экспериментально полученные проверочные данные») другие параметры (как подробнее описано ниже) могут указываться для ввода в качестве обучающих данных 720. В варианте осуществления обучающие данные 720 также могут включать в себя данные для фактических пациентов или тестируемых исследуемых объектов. В другом варианте осуществления обучающие данные 720, например, генерируемые машиной изображения на основе теоретически возможных ситуаций, могут синтетически создаваться либо разрабатываться для целей модельного тестирования.

[0077] В одном варианте осуществления и конфигурации модели компонентов нейронной сети (фиг. 1, 47) входные данные пациентов соответствуют трехмерной информации, в то время как выходные данные из сети соответствуют двумерным медицинским изображениям (или функция изображений), к примеру, осевым сечениям трехмерного медицинского изображения или структуры. Этот вариант осуществления может быть оптимизирован, чтобы взаимодействовать с глубоким обучающимися сетями, которые работают на двумерных изображениях. В одном варианте осуществления обучающие данные 720 могут включать в себя как обучающие данные для пациентов, так и тестовые данные для пациентов, которые представляют собой непересекающиеся наборы всей совокупности обучающих данных 720. Эта конфигурация повышает точность тестирования сходимости сети итерационного процесса во время фазы обучения, которая следует.

[0078] В различных вариантах осуществления фаза 725 подготовки включает в себя повторную дискретизацию всех данных визуализации в обучающих данных 720 в общий размер сетки и разнесение сетки, при этом анатомия и доза совмещаются, и анатомическая структура центрируется в осевом виде изображения пациента. Интенсивности изображений могут повторно дискретизироваться и вставляться в каналы, соответствующие выходным изображениям (например, RGB-каналы). Затем, значения дозы могут повторно дискретизироваться в общую шкалу по всем пациентам в обучающих данных 720, чтобы повышать производительность и сходимость обучения на основе обучающих данных, предоставляемых в сеть. Перед такой подготовкой обучающих данных, обучающие данные 720 содержат медицинские изображения (пациентов), функции изображений, связанные с изображениями пациентов, анатомическими структурами пациентов и распределением дозы для пациентов, в одном варианте осуществления, ориентированные и зарегистрированные вместе в общем координатном фрейме. После подготовки данных обучающие данные и тестовые данные представляют изображения пациентов и соответствующие дозы, содержащие экспериментально полученные проверочные данные.

[0079] Фаза 726 обучения сети начинается с представлением обучающих данных 720 в сконфигурированную и инициализированную модель нейронной сети с этапа 705 (без указываемой входной дозы). Компонент нейронной сети (фиг. 1, 47) оценивает результаты 735 из данных изображений пациентов и формирует оцененные результаты, например, карту флюенса или карту дозы. После этого проводится сравнение между оцененными результатами из этапа 735 и ожидаемыми результатами 715, соответствующими данным 710 медицинских изображений, и карта ошибок («ошибок при обучении») генерируется на основе разностей между ожидаемыми результатами 715 и оцененными результатами 735. Карта ошибок сравнивается с критериями 745 оценки. Например, функция потерь, такая как функция ошибок (MAE, подробнее описывается ниже), может использоваться для того, чтобы определять то, удовлетворяются или нет критерии ошибки. Если ошибки не удовлетворяют пороговому критерию ошибки, параметры модели нейронной сети (фиг. 1, 47) (например, весовые коэффициенты и смещения) обновляются 750, например, чтобы минимизировать ошибку согласно обучающему алгоритму (например, регуляризованному подходу на основе оптимизации градиентного спуска), и обучающие данные повторно представляются 730 в нейронную сеть (фиг. 1, 47) с заново назначенными параметрами модели нейронной сети.

[0080] В одном варианте осуществления определение того, удовлетворяются или нет критерии 745, включает в себя представление одного или более тестовых изображений пациентов, которые отличаются от обучающих изображений (но не имеют указываемой входной дозы), в модель сети, выполненную в данный момент с возможностью генерировать оценку дозы для пациента для таких тестовых изображений пациентов. Полученная в результате оценка дозы затем может сравниваться с экспериментально полученными проверочными данными/ожидаемой дозой, чтобы оценивать качество модели параметров сети. Разности между ожидаемой дозой и оцененной дозой для этих тестовых данных составляют «ошибку теста». В любом случае, итерация от этапа 750 до этапа 730, до этапов 735 и 740, до этапа 745 продолжается до тех пор, пока пороговый критерий ошибки не будет удовлетворен, после чего процесс 725 обучения завершается 755, с обученной моделью компонентов нейронной сети, готовой к использованию с реальными изображениями и данными пациентов (фиг. 1, 45, 46).

[0081] После обучения, модель компонентов нейронной сети (фиг. 1, 47) может сохраняться в памяти (например, фиг. 1, 16), в невременной памяти компонента сети (фиг. 1, 47) или в базе данных (например, фиг. 1, 24). Обученная модель сети затем может использоваться на этапах 727 логического вывода по сети, чтобы вычислять полезный вывод (например, карту флюенса или карту дозировки) при представлении данных пациентов (фиг. 1, 45, 46), для которых требуется план лечения облучением. Обученная нейронная сеть конфигурируется 765, например, посредством загрузки сохраненных весовых коэффициентов и смещений для конкретной обученной конфигурации сети. Вводы данных пациента представляются в обученный и сконфигурированный компонент нейронной сети (фиг. 1, 47), чтобы получать спрогнозированные результаты. В предпочтительном варианте осуществления спрогнозированные результаты содержат одну из информации карт флюенса и информации карт дозы; информация карт флюенса или карт дозы затем может использоваться для того, чтобы завершать план лечения облучением для пациента. Таким образом, для интересующего пациента изображения и/или данные 760 пациентов представляются в обученную и сконфигурированную модель нейронной сети 770, чтобы формировать спрогнозированные результаты 775. В дополнительном варианте осуществления спрогнозированные результаты в свою очередь обрабатываются для использования посредством системы 780 планирования лечения, к примеру, для генерирования гистограмм «доза-объем» (DVH) для использования в системе планирования лечения (например, в системе MONACO® компании Elekta AB, Стокгольм, Швеция).

[0082] Варианты осуществления настоящего изобретения предоставляют вычисления карт флюенса и дозы, заключающие в себе внутренние, а также внешние источники излучения. Варианты осуществления включают в себя варианты осуществления, которые предоставляют вычисления для внутренних вариантов применения брахитерапии. Брахитерапия, в общем, заключает в себе размещение источника излучения непосредственно в локализации опухоли. Вычисления для того, чтобы определять оптимальные профили лечения, зачастую требуют сложных вычислений и оценок с использованием линейного транспортного уравнения Больцмана в различных процедурах оптимизации. Посредством обучения нейронной сети по настоящему изобретению идентифицировать карты флюенса из идеализированных входных данных (например, изображений пациентов и требуемых результатов), могут поддерживаться варианты применения брахитерапии.

[0083] В различных вариантах осуществления настоящего изобретения планирование брахитерапии продолжается из начальной точки, аналогично терапии внешним пучком (КТ-изображение или МР-изображение планирования с очерченными целевым объектом и OAR и рецепт для целевого объекта и OAR-ограничения) с тем, чтобы достигать распределения дозы, которое удовлетворяет критериям плана. Следовательно, в различных вариантах осуществления применение глубокого обучения для того, чтобы прогнозировать распределение дозы для брахитерапии, должно быть аналогичным прогнозированию распределения внешнего пучка. Для обоих видов терапии модель сети изучает увязку из структур в изображениях с картами дозы и использует ее для того, чтобы прогнозировать карту дозы для нового пациента. Эта изученная увязка игнорирует механистические детали ведения терапии.

[0084] Дополнительные аспекты настоящего изобретения относительно брахитерапии предоставляют использование глубокой сверточной нейронной сети (DCNN), чтобы предоставлять оцененные дозы в варьирующиеся времена во время затухания применяемого источника излучения. В таких аспектах время дискретизации представляет собой дополнительный параметр в обучающем наборе, и четырехмерный анализ (предусматривающий время работы радиоактивного источника или время лечения) может предоставлять кумулятивную дозу на основе конкретного источника(ов) излучения. Спрогнозированные результаты этих вариантов осуществления помогают с определением размещения источников излучения в целевой зоне лечения патента, интенсивности дозы излучения, которая должна доставляться в целевой объект лечения, и длительности доставки дозы во времени.

[0085] В другом варианте осуществления МРТ-изображения в реальном времени могут использоваться в сочетании с брахитерапией. МРТ-устройства предоставляют превосходную контрастность мягких тканей и точную визуализацию опухоли и окружающих органов. Это обеспечивает повышенную точность имплантации брахитерапевтического источника, улучшенное очерчивание целевых объектов и органов риска (OAR) и улучшенный рецепт с дозировкой. МРТ-изображения в реальном времени из МРТ-устройства (например, если МРТ-устройство и брахитерапевтическое устройство работают одновременно) могут предоставлять визуализацию в реальном времени для надлежащего размещения брахитерапевтического аппликатора и брахитерапевтического радиоактивного источника с тем, чтобы (1) не допускать перфораций и (2) направлять источник в целевой объект, чтобы предоставлять лечение брахитерапией. Другое преимущество МР-изображений по сравнению с КТ-изображениями заключается в том, что МР может предоставлять более точные целевые контуры, чем КТ, которая обеспечивает лучшее очерчивание целевых структур и более высокую степень оптимизации дозы. Хотя МРТ улучшает видимость целевых структур по сравнению с КТ, оконтуривание целевого объекта по-прежнему предоставляет неопределенности, связанные с процедурами с корректировкой по изображениям. Способность отслеживать как источник, так и аппликатор посредством использования МРТ должна обеспечивать 1) верификацию имплантата, 2) измерения исходных позиций радиоактивного источника (например, обычно 20 позиций источника при 5-миллиметровом расстоянии и времени работы радиоактивного источника в 0,5 секунд в расчете на позицию источника) и 3) выполнение планирования с реальным распределением дозы облучения у пациента. В дополнительном варианте осуществления функциональная МРТ (фМРТ) может использоваться для брахитерапии простаты. Функциональная МРТ может улучшать идентификацию патологических изменений внутри простаты, которая представляет конкретный интерес для консервативной брахитерапии простаты и для увеличения частичного объема.

[0086] Входные данные могут включать в себя медицинские изображения. Входные данные могут включать в себя по меньшей мере одно из анатомических данных и метапараметров планирования. В некоторых аспектах метапараметры планирования могут включать в себя ограничения устройства, диагностическую информацию и другую информацию относительно запланированного курса лучевой терапии. Ограничения устройства могут включать в себя углы пучка гентри, векторы элементарного пучка и аналогичные ограничения на доставку излучения.

[0087] Как проиллюстрировано на фиг. 9, варианты осуществления систем и способов по настоящему изобретению могут использоваться для того, чтобы генерировать карту 930 флюенса и карту 950 дозы из входных данных. Например, система 900 может быть выполнена с возможностью генерировать карту 950 дозы для использования с устройством 960 лучевой терапии из входных данных 910. Карта 950 дозы может иллюстрировать локализованное поглощение энергии в пациенте, подвергающемся ограничениям, налагаемым посредством устройства 160 излучения. Карта 930 флюенса обычно может отличаться от карты 950 дозы, и раскрытые системы и способы могут быть выполнены с возможностью уменьшать это отличие. В некоторых аспектах как проиллюстрировано в альтернативном пути 935, система 900 может быть выполнена с возможностью использовать нейронную сеть 920, чтобы формировать карту 950 дозы непосредственно из входных данных 910. Входные данные 910 могут содержать медицинские изображения 912, анатомические карты 914 и метаданные 916 планирования. Медицинские изображения 912 могут получаться от пациента с использованием модальности визуализации. Анатомические карты могут указывать набор заданных целевых объектов и чувствительных органов пациента. В некоторых аспектах заданные целевые объекты могут включать в себя опухоли. Входные данные 910 могут предоставляться в нейронную сеть 920. Как описано подробнее ниже и выше в отношении фиг. 7, нейронная сеть 920 может обучаться, чтобы генерировать карты 930 флюенса (и, альтернативно карты 950 дозы) из входных данных 910. Нейронная сеть 920 может содержать сверточную нейронную сеть, и в некоторых аспектах карта 930 флюенса может содержать вывод нейронной сети 920. Нейронная сеть 920, показанная на фиг. 9, может содержать идентичную или аналогичную архитектуру с компонентом 47 нейронной сети, показанным на фиг. 1, и нейронной сетью 920, показанную на фиг. 8.

[0088] Дополнительно, нейронная сеть 920 по фиг. 9 может включать в себя глубокую сверточную нейронную сеть (DCNN). Архитектура DCNN-модели включает в себя стек различающихся слоев, которые преобразуют ввод в вывод. Примеры различных слоев могут включать в себя один или более сверточных слоев, слоев нелинейных операторов (к примеру, функций на основе блоков линейной ректификации (ReLu), сигмоидальных функций или гиперболических функций тангенса), слоев подвыборки или субдискретизации, полностью соединенных слоев, конечных слоев потерь, обращенных сверточных слоев, слоев отмены подвыборки или повышающей дискретизации, слоев попиксельного прогнозирования и/или слоев операторов копирования и обрезки. Каждый слой может соединять один вышерасположенный слой и один нижерасположенный слой. Ввод может рассматриваться как входной слой, и вывод может рассматриваться как конечный выходной слой.

[0089] Чтобы повышать производительность и способность к обучению DCNN-моделей, число различных слоев может избирательно увеличиваться. Число промежуточных различающихся слоев от входного слоя до выходного слоя может становиться очень большим, за счет этого повышая сложность архитектуры DCNN-модели. Настоящее раскрытие использует мощные обучающиеся DCNN-модели, чтобы генерировать карты флюенса и/или выходные карты. В соответствии с раскрытыми вариантами осуществления система 900 может быть выполнена с возможностью генерировать карты 930 флюенса или карты 950 дозы с использованием обученной DCNN-модели (реализованной в нейронной сети 920), которая принимает входные данные 910. Преимущественно, DCNN-модель для генерирования карт флюенса и карт дозы в вариантах осуществления настоящего раскрытия обеспечивает автоматическое генерирование таких карт без необходимости ручного выведения признаков.

[0090] При использовании в данном документе DCNN-модель, используемая посредством раскрытого способа генерирования, может означать любую модель нейронной сети, сформулированную, адаптированную или модифицированную на основе инфраструктуры сверточной нейронной сети. Например, DCNN-модель, используемая для генерирования карт флюенса и/или дозы в вариантах осуществления настоящего раскрытия, может избирательно включать в себя промежуточные слои между входными и выходными слоями, к примеру, один или более сверточных слоев, слоев нелинейных операторов, слоев подвыборки или субдискретизации, полностью соединенных слоев, конечных слоев потерь, обращенных сверточных слоев и/или слоев отмены подвыборки или повышающей дискретизации.

[0091] Раскрытые системы и способы для генерирования выходных карт, в общем, включают в себя две стадии: стадию обучения, которая «тренирует» или «обучает» DCNN-модель с использованием обучающих наборов данных, и стадию прогнозирования или логического вывода, на которой обученная DCNN-модель использует обучающие наборы данных и входные данные для того, чтобы генерировать выходные карты. Как упомянуто выше, вышеуказанные стадии обучения, в общем, коррелируются с обучением 726 сети, как проиллюстрировано на фиг. 7. При использовании в данном документе «обучение» DCNN-модели означает определение одного или более параметров по меньшей мере одного слоя в DCNN-модели. Например, сверточный слой DCNN-модели может включать в себя по меньшей мере один фильтр или ядро. Один или более параметров, таких как весовые коэффициенты ядер, размер, форма и структура по меньшей мере для одного фильтра могут определяться, например, посредством процесса обучения на основе обратного распространения.

[0092] Вышеуказанная стадия прогнозирования, в общем, коррелируется с логическим выводом 727 по сети, как проиллюстрировано на фиг. 7. При использовании относительно варианта осуществления, описанного в данном документе, «прогнозирование» из DCNN-модели означает генерирование карты флюенса и/или дозы с использованием медицинских изображений 912, в том числе двумерных и трехмерных карт флюенса и/или дозы из любого типа модальности визуализации.

DCNN-модель для генерирования выходных карт

[0093] Фиг. 8 иллюстрирует примерную нейронную сеть 920, которая реализует архитектуру глубокой сверточной нейронной сети для генерирования выходных карт (например, генерирования карт флюенса и/или карт дозы), согласно некоторым вариантам осуществления настоящего раскрытия. Нейронная сеть 920 может содержать глубокую сверточную нейронную сеть. Как показано на фиг. 8, нейронная сеть 920 может принимать медицинские изображения 912, полученные с использованием одной или более первых модальностей визуализации, в качестве ввода. Медицинские изображения при использовании в данном документе могут включать в себя, без ограничения, контент входных данных (фиг. 9, 910), включающих в себя медицинские изображения 912, анатомические карты 914 и метаданные 916 планирования. Нейронная сеть 920 может формировать вывод 840, соответствующий карте флюенса или карте дозы. Вывод 840 может быть связан с предметом, идентичным предмету одного из входных медицинских изображений. Например, когда медицинские изображения 912 содержат стек смежных изображений, вывод 840 может быть связан с предметом, идентичным предмету одного из изображений в середине стека 912. Например, когда медицинские изображения 912 содержат нечетное число изображений, вывод 840 может быть связан с предметом, идентичным предмету среднего изображения стека. Альтернативно, когда медицинские изображения 912 содержат четное число изображений, вывод 840 может быть связан с предметом, идентичным предмету одного из двух средних изображений стека.

[0094] Как показано на фиг. 8, вариант осуществления нейронной сети 920 по настоящему изобретению, в общем, может включать в себя два фрагмента: первый участок 820 выведения признаков и второй участок 830 конструирования выходных карт. Участок 820 выведения признаков может извлекать один или более признаков медицинских изображений 912. Участок 820 выведения признаков использует подход на основе глубокой сверточной нейронной сети, чтобы принимать медицинские изображения 912 и выводить по меньшей мере один вектор или матрицу признаков, представляющую признаки входного стека. Таким образом, участок 820 выведения признаков может извлекать признаки на различных шкалах и при различных уровнях сложности, причем каждый слой фрагмента 820 выведения признаков принимает в качестве ввода латентное представление предыдущего слоя. Участок 830 конструирования выходных карт может использовать вывод фрагмента 820 выведения признаков, чтобы генерировать вывод 840, который, как упомянуто выше, может содержать карту флюенса или карту дозы. Второй участок может постепенно реконтструировать выходную карту от приблизительного разрешения до точного разрешения до тех пор, пока не будет достигнуто требуемое разрешение изображений или размер изображений.

[0095] В некоторых вариантах осуществления нейронная сеть 920 может быть выполнена с прямыми соединениями из вывода слоя в фрагменте 820 выведения признаков во ввод слоя в конструировании 830 выходных карт. В некоторых аспектах такие соединения могут быть только из вывода конечного слоя фрагмента 820 выведения признаков во ввод начального слоя конструирования 830 выходных карт. В различных аспектах нейронная сеть 920 может быть выполнена с одним или более дополнительных соединений между фрагментом 820 выведения признаков и конструированием 830 выходных карт. Эти соединения могут заключать в себе неконечные слои фрагмента 820 выведения признаков и неконечные слои конструирования 830 выходных карт, конечные слои фрагмента 820 выведения признаков и неконечные слои конструирования 830 выходных карт и/или неконечные слои фрагмента 820 выведения признаков и конечные слои конструирования 830 выходных карт.

[0096] В некоторых вариантах осуществления участок 820 выведения признаков и конструирование 830 выходных карт могут обучаться вместе. Например, параметры фрагмента 820 выведения признаков и конструирования 830 выходных карт могут обновляться вместе во время каждой итерации обучения модели. В различных вариантах осуществления участок 820 выведения признаков и конструирование 830 выходных карт могут обучаться по отдельности. Например, участок 820 выведения признаков может содержать известную модель, к примеру, VGG-модель классификации изображений, и только параметры конструирования 830 выходных карт могут обновляться во время обучения.

[0097] Преимущественно, точность нейронной сети 920 может увеличиваться, когда медицинские изображения 912 содержат стек смежных двумерных изображений, которые содержат информацию о зависимых структурах. Нейронная сеть 920 может быть выполнена с возможностью использовать такой стек смежных двумерных изображений при обучении и при генерировании выходных карт в форме карт флюенса или карт дозы. При использовании в данном документе информация о зависимых структурах может означать пространственно зависимую взаимосвязь между анатомическими структурами, показанными в стеке смежных двумерных изображений вдоль оси, ортогональной к анатомической плоскости двумерных изображений. В качестве неограничивающего примера форма и тип анатомической структуры, представленной посредством первого набора пикселов в первом изображении стека, также могут представляться посредством второго набора пикселов во втором изображении, смежном с первым изображением. Это обусловлено тем, что пространственное окружение первого и второго изображений вдоль оси, ортогональной к анатомической плоскости, обеспечивает некоторую зависимость или неразрывность анатомических структур, показанных в этих изображениях. Следовательно, форма, размер и/или тип анатомической структуры в одном изображении могут предоставлять информацию о форме, размере и/или типе анатомической структуры в другом смежном изображении вдоль идентичной плоскости. Преимущество информации о зависимых структурах может зависеть от числа смежных изображений в стеке, анатомических структур, проиллюстрированных в медицинских изображениях 912, и/или модальности визуализации, используемой для получения изображений.

[0098] Ниже подробно описываются различные компоненты и признаки нейронной сети 920, используемой в вариантах осуществления настоящего раскрытия.

DCNN для выведения признаков

[0099] В некоторых вариантах осуществления участок 820 выведения признаков нейронной сети 920 включает в себя входной слой, например, медицинские изображения 912. В некоторых вариантах осуществления медицинские изображения 912 могут содержать несколько изображений. В некоторых аспектах медицинские изображения 912 могут содержать один или более наборов медицинских изображений. Например, медицинские изображения 912 могут содержать одно или более трехмерных КТ-изображений. В различных аспектах медицинские изображения 912 могут содержать стек смежных двумерных КТ-изображений. Как описано выше, смежные срезы могут предоставлять в нейронную сеть 920 информацию о зависимых структурах, предоставляющую более точные или надежные прогнозирования.

[0100] В некоторых вариантах осуществления участок 820 выведения признаков нейронной сети 920 включает в себя входной слой, например, функции медицинских изображений 912 или функции анатомических карт 914. В некоторых вариантах осуществления информация об анатомии пациентов может кодироваться в бинарных масках или изображениях, в которых очерченные структуры, такие как целевой объект радиотерапии и близлежащие органы риска, представляются посредством фиксированного пиксельного значения, и все пикселы за пределами структуры задаются равными фоновому значению. В некоторых вариантах осуществления информация об анатомии пациентов может кодироваться как карты расстояний, в которых каждое пиксельное значение равно кратчайшему расстоянию до границы структуры, при этом пикселам в структуре назначается положительное значение, а пикселам за пределами структуры назначается отрицательное значение. В некоторых вариантах осуществления информация об анатомии пациентов может кодироваться как функции исходного изображения, преобразованного посредством алгоритма в новое изображение, в котором, например, края анатомической структуры выделяются. Эти варианты осуществления иллюстрируют то, что может быть полезным в выведении признаков и не является ограничивающим в каком-либо смысле.

[0101] В некоторых вариантах осуществления входной слой имеет объем, пространственные размерности которого определяются посредством ширины и высоты двумерных изображений, и глубина которого определяется частично посредством числа изображений, содержащих медицинские изображения 912.

[0102] В некоторых вариантах осуществления участок 820 выведения признаков нейронной сети 920 может включать в себя один или более сверточных слоев 322. Каждый сверточный слой 322 может иметь множество параметров, таких как ширина (W) и высота (H), определенных посредством верхнего входного слоя (например, размера ввода сверточного слоя 322), и число фильтров или ядер (N) в слое и их размеры. Число фильтров может упоминаться как глубина сверточного слоя. Следовательно, каждый сверточный слой 322 может описываться с точки зрения трехмерного объема, как показано на фиг. 8. Ввод каждого сверточного слоя 322 может свертываться с одним фильтром, чтобы формировать карту признаков, соответствующую этому фильтру. Такая свертка может выполняться для каждого фильтра каждого сверточного слоя. Полученные в результате карты признаков могут иметь ширину и высоту и могут быть помещаться в стек вдоль размерности по глубине, генерируя трехмерный вывод. Этот вывод может содержать ввод в следующий сверточный слой.

[0103] В некоторых вариантах осуществления участок 820 выведения признаков нейронной сети 920 может включать в себя один или более слоев подвыборки (не показаны). Слой подвыборки может добавляться между двумя последовательными сверточными слоями 322 в нейронной сети 920. Слой подвыборки работает независимо на каждом срезе глубины ввода (например, карте признаков из предыдущего сверточного слоя) и уменьшает свою пространственную размерность посредством выполнения формы нелинейной понижающей дискретизации. Как показано на фиг. 8, слои подвыборки могут постепенно уменьшать пространственную размерность выведенных карт признаков, чтобы уменьшать количество параметров и вычисления в сети. Это также позволяет управлять сверхподгонкой. Число и размещение слоев подвыборки могут определяться на основе различных факторов, таких как проектное решение на основе сверточной архитектуры сети, размер ввода, размер сверточных слоев 322 и/или применение нейронной сети 920.

[0104] Различные нелинейные функции могут использоваться для того, чтобы реализовывать слои подвыборки. Например, может использоваться подвыборку по максимуму. Подвыборка по максимуму может секционировать срез изображения ввода на набор перекрывающихся или неперекрывающихся подобластей с заданным шагом. Для каждой подобласти, подвыборка по максимуму может выводить максимум, с понижающей дискретизацией каждого среза ввода вдоль его ширины и вдоль его высоты, при том, что размерность по глубине остается неизменной. Другие подходящие функции могут использоваться для реализации слоев подвыборки, к примеру, для подвыборки по среднему или подвыборки по L2-норме.

[0105] В различных вариантах осуществления участок 820 выведения признаков нейронной сети 920 может включать в себя один или более дополнительных слоев. В качестве неограничивающего примера ReLu-слой (не показан) может избирательно добавляться после сверточного слоя, чтобы генерировать промежуточную активационную карту или карту признаков. ReLu-слой может увеличивать нелинейные свойства функции предиктора и в общем нейронной сети 920 без влияния на соответствующие размерности сверточных слоев 322. Дополнительно, ReLu-слой может уменьшать или не допускать насыщения во время процесса обучения с обратным распространением.

[0106] В качестве другого неограничивающего примера один или более полностью соединенных слоев 824 могут добавляться после сверточных слоев и/или слоев подвыборки. Полностью соединенный слой 824 может иметь полное соединение со всеми активационными картами или картами признаков предыдущего слоя. Например, полностью соединенный слой 824 может принимать вывод последнего сверточного слоя или последнего слоя подвыборки в качестве ввода в векторной форме и выполнять высокоуровневое определение и выводить вектор признаков, размещаемый вдоль размерности по глубине. Выходной вектор может упоминаться как выходной слой. Вектор может содержать информацию об анатомических структурах во входном стеке медицинских изображений 912 нейронной сети 920.

Сверточная нейронная сеть для конструирования выходных карт

[0107] Как описано выше, конструирование 830 выходных карт нейронной сети 920 может генерировать выходную карту 840 с использованием одного или более признаков, выводимых посредством фрагмента 820 выведения признаков. Как упомянуто в другом месте, выходная карта 840 может содержать карту флюенса или карту дозы и может содержать спрогнозированные результаты, поясненные в отношении фиг. 7, 775.

[0108] Как показано на фиг. 8, конструирование 830 выходных карт нейронной сети 920 может преобразовывать приблизительную выходную карту признаков (например, вектор признаков) фрагмента 820 выведения признаков в выходную карту 840. Различные функции могут использоваться для того, чтобы реализовывать слой попиксельного прогнозирования, такие как обратная повышающая дискретизация или отмена подвыборки (например, билинейная или нелинейная интерполяция) и обратная свертка (обращенная свертка). В некоторых аспектах конструирование 830 выходных карт нейронной сети 920 может содержать зеркальную версию фрагмента 820 выведения признаков нейронной сети 920. Хотя участок 820 выведения признаков может постепенно уменьшать пространственные размерности выведенных активационных карт или карт признаков, участок 830 конструирования выходных карт может постепенно увеличивать карты признаков с использованием обращенных сверточных слоев 826 и/или слоев отмены подвыборки (не показаны). Слой отмены подвыборки (например, слой повышающей дискретизации) может принимать пикселы в карте признаков и выводить большую карту признаков, при этом пикселы карты признаков возвращаются к своему предыдущему или исходному местоположению пула, за счет этого генерируя увеличенную, но при этом разреженную активационную карту или карту признаков. Обращенный сверточный слой может использоваться для того, чтобы связывать один пиксел входной активационной карты или карты признаков с несколькими выходными пикселами, за счет этого увеличивая и повышая плотность активационной карты или карты признаков. Следовательно, участок 830 конструирования выходных карт может обучаться и использоваться вместе с фрагментом 820 выведения признаков, чтобы генерировать выходную карту 840.

[0109] Специалисты в области техники должны принимать во внимание, что другие подходящие способы генерирования выходной карты 840 могут адаптироваться, модифицироваться и/или использоваться в вариантах осуществления настоящего раскрытия.

Система генерирования выходных карт на основе DCNN-моделей

[0110] Фиг. 10 иллюстрирует примерный вариант осуществления по настоящему изобретению, показывающий систему 1000 генерирования выходных карт для генерирования выходных карт с использованием по меньшей мере одной CNN-модели согласно некоторым вариантам осуществления настоящего раскрытия. Как показано на фиг. 10, система 1000 генерирования выходных карт может включать в себя компоненты для выполнения двух стадий, стадии обучения и стадии генерирования. Чтобы выполнять стадию обучения, система 1000 генерирования выходных карт может включать в себя обучающую базу 1011 данных и обучающую систему 1010. Чтобы выполнять стадию генерирования выходных карт, система 1000 генерирования выходных карт может включать в себя систему 1020 прогнозирования и базу 1021 данных прогнозирования. В некоторых вариантах осуществления система 1000 генерирования выходных карт может включать в себя большее или меньшее число компонентов, показанных на фиг. 10. Например, когда DCNN-модель для генерирования выходных карт предварительно обучается и предоставляется, система 1000 генерирования выходных карт может включать в себя только систему 1020 прогнозирования и базу 1021 данных прогнозирования. Система 1000 генерирования выходных карт необязательно может включать в себя сеть 1030. В некоторых вариантах осуществления сеть 1030 может заменяться посредством систем или устройств проводного обмена данными.

[0111] В некоторых вариантах осуществления различные компоненты системы 1000 генерирования выходных карт могут быть расположены удаленно друг от друга либо в различных местах и соединяться через сеть 1030, как показано на фиг. 10. В некоторых альтернативных вариантах осуществления определенные компоненты системы 1000 генерирования выходных карт могут быть расположены в одной локализации или внутри одного устройства. Например, обучающая база 1011 данных может быть расположена в локализации с обучающей системой 1010 или составлять часть обучающей системы 1010. В качестве другого примера, обучающая система 1010 и система 1020 прогнозирования могут находиться внутри идентичного компьютера или обрабатывающего устройства.

[0112] Как показано на фиг. 10, обучающая система 1010 может обмениваться данными с обучающей базой 1011 данных с тем, чтобы принимать обучающие данные. Обучающие данные, сохраненные в обучающей базе 1011 данных, могут получаться из базы данных медицинских изображений, например, из базы данных медицинских изображений, содержащей ранее полученные медицинские изображения во время сеансов радиотерапевтического лечения. Каждый элемент обучающих данных может включать в себя одно или более медицинских изображений, полученных в одной или более исходных модальностей визуализации, одну или более анатомических карт, метаданные планирования и соответствующую заданную выходную карту.

[0113] В различных аспектах одно или более обучающих изображений могут содержать медицинские изображения, имеющие заданную пространственную взаимосвязь. В некоторых аспектах одно или более обучающих изображений могут содержать трехмерное медицинское изображение, полученное в исходной модальности визуализации. Система 1000 может быть выполнена с возможностью разделять трехмерное медицинское изображение на один или более последовательных стеков смежных двумерных медицинских изображений. Число смежных двумерных изображений в каждом стеке может определяться на основе различных факторов, таких как размер трехмерного изображения, конкретная инфраструктура CNN-модели, взаимосвязь между анатомическими структурами в смежных двумерных изображениях вдоль оси, ортогональной к двумерному изображению, и/или применение генерирования выходных карт.

[0114] В некоторых вариантах осуществления, когда одно или более обучающих изображений содержат стек медицинских изображений в одной или более исходных модальностей визуализации, выходная карта может соответствовать пространственно среднему изображению стека (например, центральному изображению для стека с нечетным числом изображений и одному из двух средних изображений для стека с четным числом изображений).

[0115] В соответствии с раскрытыми вариантами осуществления одно или более обучающих изображений могут получаться с использованием различных модальностей визуализации, включающих в себя МРТ, функциональную МРТ (например, фМРТ, DCE-МРТ и диффузионную МРТ), КТ, CBCT, спиральную КТ, PET, SPECT, рентгеновскую, оптическую томографию, люминесцентную визуализацию, ультразвуковую визуализацию и радиотерапевтическую портальную визуализацию и т.д. В некоторых вариантах осуществления одно или более обучающих изображений могут собираться из онкологической информационной системы.

[0116] В различных аспектах одна или более анатомических карт могут содержать информацию о сегментации, соответствующую одному или более обучающих изображений. Например, одна или более анатомических карт могут содержать очерчивания целевых объемов и нормальных критических органов в одном или более обучающих изображений. Например, анатомические карты могут содержать метки, связывающие пиксел или вокселы с анатомической структурой, либо прогнозирования анатомической структуры, которую представляют каждый пиксел или воксел обучающего изображения. Эти анатомические карты могут генерироваться согласно способам, известным специалистам в области техники, таким как ручная сегментация или автосегментация на основе атласа. Анатомические карты также могут генерироваться с использованием способов машинного обучения.

[0117] В некоторых аспектах метаданные планирования могут содержать информацию относительно процесса планирования. Например, метаданные планирования могут содержать информацию относительно диагноза пациента, типа и характеристик устройства лучевой терапии либо аналогичную информацию. Например, метаданные планирования могут содержать углы пучка гентри, векторы элементарного пучка и аналогичную информацию.

[0118] Обучающая система 1010 может использовать обучающие данные, принятые из обучающей базы 1011 данных, для того, чтобы обучать CNN-модель для генерирования выходных карт в форме карт флюенса и/или карт дозы. Обучающая система 1010 может включать в себя процессор и невременный машиночитаемый носитель данных (подробно поясняется в связи с фиг. 1). Процессор может проводить обучение посредством выполнения инструкций процесса обучения, сохраненных на машиночитаемом носителе данных. Обучающая система 1010 дополнительно может включать в себя интерфейсы ввода и вывода (подробно поясняются в связи с фиг. 1), чтобы обмениваться данными с обучающей базой 1011 данных, сетью 1030 и/или пользовательским интерфейсом (не показан). Пользовательский интерфейс может использоваться для выбора обучающих данных (т.е. изображений в одной или более исходных модальностей визуализации и целевой модальности визуализации), регулирования одного или более параметров процесса обучения (например, числа смежных срезов изображений в каждом стеке), выбора или модификации инфраструктуры DCNN-модели и/или ручного или полуавтоматического редактирования изображений для обучения. Ниже подробно описываются примеры процесса обучения со ссылкой на фиг. 11.

[0119] В соответствии с некоторыми вариантами осуществления обучающая система 1010 может реализовываться с аппаратными средствами (например, как раскрыто на фиг. 1), в частности, программируемыми посредством программного обеспечения, которое выполняет процесс обучения (например, как раскрыто на фиг. 1 и 7).

[0120] Система 1020 прогнозирования может принимать по меньшей мере одну обученную CNN-модель из обучающей системы 1010. Система 1020 прогнозирования может включать в себя процессор и невременный машиночитаемый носитель данных (подробно поясняется в связи с фиг. 1). Процессор может выполнять инструкции процесса генерирования изображений, сохраненные на невременном машиночитаемом носителе данных, инструктирующие системе 1020 прогнозирования выполнять операции для генерирования выходной карты. Система 1020 прогнозирования дополнительно может включать в себя интерфейсы ввода и вывода (подробно поясняются в связи с фиг. 1), чтобы обмениваться данными с базой 1021 данных прогнозирования, сетью 1030 и/или пользовательским интерфейсом (не показан, но в одном варианте осуществления соответствует фиг. 1, 36). Пользовательский интерфейс может использоваться для того, чтобы выбирать одно или более медицинских изображений в качестве основы для генерирования выходной карты, инициирования процесса генерирования, вывода выходной карты и/или выполнения дополнительного анализа на основе выходной карты.

[0121] В соответствии с некоторыми вариантами осуществления система 1020 прогнозирования может реализовываться с аппаратными средствами (например, как раскрыто на фиг. 1), в частности, программируемыми посредством программного обеспечения, которое конфигурирует систему 1020 прогнозирования, чтобы генерировать выходную карту (например, как раскрыто на фиг. 12).

[0122] Система 1020 прогнозирования может обмениваться данными с базой 1021 данных прогнозирования, чтобы принимать входные данные. В некоторых аспектах входные данные могут содержать одно или более медицинских изображений. Медицинские изображения, сохраненные в базе 1021 данных прогнозирования, могут получаться из базы данных медицинских изображений, которая содержит, например, двумерные и/или трехмерные изображения сеансов радиотерапевтического лечения. Как описано в данном документе, медицинские изображения могут содержать трехмерные медицинские изображения, которые могут реконструироваться из двумерных проецируемых изображений, полученных посредством устройств медицинской визуализации, к примеру, посредством устройства получения изображений по фиг. 1, 32.

[0123] В соответствии с раскрытыми вариантами осуществления медицинские изображения могут получаться с использованием различных модальностей визуализации, включающих в себя МРТ, функциональную МРТ (например, фМРТ, DCE-МРТ и диффузионную МРТ), КТ, CBCT, спиральную КТ, PET, SPECT, рентгеновскую, оптическую томографию, люминесцентную визуализацию, ультразвуковую визуализацию и радиотерапевтическую портальную визуализацию и т.д. В некоторых вариантах осуществления база 1021 данных прогнозирования может представлять собой интегрированную часть системы 1020 прогнозирования или располагаться в одной локализации системы 1020 прогнозирования, к примеру, в кабинете для радиотерапевтического лечения.

[0124] В некоторых аспектах входные данные дополнительно могут содержать анатомические карты. Как описано выше, одна или более анатомических карт могут содержать информацию о сегментации, соответствующую одному или более медицинских изображений. Например, одна или более анатомических карт могут содержать очерчивания целевых объемов и нормальных критических органов в одном или более медицинских изображений. В некоторых аспектах входные данные дополнительно могут содержать метаданные планирования. Например, метаданные планирования могут содержать информацию относительно диагноза пациента, типа и характеристик устройства лучевой терапии либо аналогичную информацию. Например, метаданные планирования могут содержать углы пучка гентри, векторы элементарного пучка и аналогичную информацию.

[0125] Система 1020 прогнозирования может использовать по меньшей мере одну обученную CNN-модель, принимаемую из обучающей системы 1010, чтобы генерировать выходную карту. Когда это генерирования завершается, система 1020 прогнозирования может выводить выходную карту. Выходная карта может отображаться в пользовательском интерфейсе и/или сохраняться в базе 1021 данных прогнозирования для дополнительного использования в планировании лечения. В некоторых вариантах осуществления выходная карта может автоматически сохраняться в обучающей базе 1011 данных. Например, выходная карта может быть связана с принимаемыми медицинскими изображениями, принимаемыми анатомическими картами и метаданными планирования. Один или более из этих связанных элементов могут сохраняться в качестве обучающих данных в обучающей базе 1011 данных.

[0126] Сеть 1030 может предоставлять соединения между любым из вышеописанных компонентов в системе 1000 сегментации изображений. Например, сеть 1030 может представлять собой локальную вычислительную сеть (LAN), беспроводную сеть, облачное вычислительное окружение (например, программное обеспечение как услуга, платформа как услуга, инфраструктура как услуга), клиент-сервер и глобальную вычислительную сеть (WAN), в числе других.

Примерные процессы обучения DCNN-модели

[0127] Примерные процессы обучения, выполняемые посредством раскрытых систем и способов генерирования выходных карт, описываются выше в отношении фиг. 7 и подробнее ниже со ссылками на фиг. 11, который иллюстрирует блок-схему последовательности операций способа, иллюстрирующую примерный процесс 1100 обучения для обучения DCNN-модели, согласно некоторым вариантам осуществления настоящего раскрытия. В некоторых вариантах осуществления процесс 1100 обучения может выполняться посредством обучающей системы 1010.

[0128] Процесс 1100 обучения может начинаться, когда обучающая система 1010 принимает обучающие данные (этап 1105). Как описано выше, обучающие данные могут включать в себя по меньшей мере одно или более медицинских изображений, полученных с использованием одной или более модальностей визуализации, и соответствующую выходную карту. Медицинские изображения могут представлять собой трехмерные или двумерные медицинские изображения. Например, медицинские изображения могут включать в себя КТ-изображения анатомической зоны пациента, к примеру, головы, торса, брюшной полости и/или конечностей. В некоторых вариантах осуществления КТ-изображения могут представлять собой трехмерные КТ-изображения или один или более стеков двумерных изображений. Выходная карта может содержать карту флюенса или карту дозы. В некоторых аспектах обучающие данные также могут включать в себя одну или более анатомических карт. В различных аспектах обучающие данные также могут включать в себя метаданные планирования.

[0129] В некоторых вариантах осуществления обучающая система 1010 может быть выполнена с возможностью предварительно обрабатывать обучающие данные. Например, когда одно или более медицинских изображений содержат одно или более трехмерных медицинских изображений, обучающая система 1010 может быть выполнена с возможностью генерировать один или более стеков смежных двумерных изображений из одного или более трехмерных медицинских изображений. Один или более стеков могут составлять практически целое трехмерное обучающее изображение. Один или более стеков могут содержать перекрывающиеся изображения (например, идентичные или практически аналогичные изображения могут присутствовать более чем в одном из стеков). Как описано выше, стек смежных двумерных медицинских изображений может совместно содержать информацию о зависимых структурах вдоль оси, ортогональной к анатомической плоскости. Когда выходная карта содержит трехмерное медицинское изображение, обучающая система 1010 может быть выполнена с возможностью генерировать двумерную выходную карту из трехмерной выходной карты. Когда одна или более анатомических карт содержат одно или более трехмерных изображений, обучающая система 1010 может быть выполнена с возможностью генерировать один или более стеков смежных двумерных анатомических карт из одной или более трехмерных анатомических карт. Двумерные анатомические карты в одном или более стеков смежных двумерных анатомических карт могут соответствовать двумерным медицинским изображениям в одном или более стеков смежных двумерных медицинских изображений. В некоторых вариантах осуществления обучающая система 1010 может быть выполнена с возможностью использовать один или более стеков медицинских изображений и соответствующую выходную карту совместно в качестве одного пакета обучающих данных для того, чтобы обучать DCNN-модель. В различных вариантах осуществления обучающая система 1010 также может быть выполнена с возможностью использовать один или более стеков смежных двумерных анатомических карт и/или метаданные планирования.

[0130] В некоторых вариантах осуществления один или более стеков медицинских изображений могут располагаться вдоль выбранной плоскости из трех анатомических плоскостей, таких как осевая плоскость, сагиттальная плоскость или корональная плоскость. В таких случаях, процесс 1100 может выводить обученную DCNN-модель для этой выбранной плоскости (например, для генерирования выходных карт из медицинских изображений вдоль этой выбранной плоскости). В некоторых вариантах осуществления процесс 1100 может повторяться, чтобы выводить три различных DCNN-модели, обученные для генерирования выходных карт вдоль трех анатомических плоскостей, соответственно.

[0131] В других вариантах осуществления один или более стеков смежных двумерных изображений могут располагаться вдоль двух или более выбранных анатомических плоскостей. Процесс 1100 может выполняться для того, чтобы выводить одну обученную DCNN-модель, которая может использоваться для генерирования выходных карт вдоль любой из двух или более выбранных анатомических плоскостей. В других вариантах осуществления один или более стеков смежных двумерных изображений могут располагаться вдоль любой из трех анатомических плоскостей, например, по меньшей мере один стек смежных двумерных изображений выбирается для каждой анатомической плоскости. Процесс 1100 может выполняться для того, чтобы получать одну обученную CNN-модель, которая может использоваться для генерирования выходных карт вдоль любой из трех анатомических плоскостей. В таких случаях, DCNN-модель обучается с использованием комбинированных стеков смежных двумерных изображений вдоль всех трех анатомических плоскостей.

[0132] Этапы 1105-1125 могут выполняться итеративно, чтобы обучать DCNN-модель до тех пор, пока DCNN-модель не выведет удовлетворительные выходные карты. Число итераций может определяться посредством различных критериев прекращения. В некоторых вариантах осуществления может использоваться максимальное число итераций. На каждой итерации, новый пакет обучающих данных может приниматься или генерироваться из ранее принимаемых данных. Новый пакет обучающих данных может использоваться для обучения DCNN-модели до тех пор, пока не будет достигнуто максимальное число итераций. Дополнительно или альтернативно, ожидаемая точность может быть задана перед обучением DCNN-модель. Выбор пакета и обновление параметров DCNN-модели многократно выполняются до тех пор, пока точность выходных двумерных и/или трехмерных карт меток не будет удовлетворять ожидаемой точности.

[0133] Как описано выше, обучающие данные могут приниматься и предварительно обрабатываться на этапе 1105. Обучающая система 1010 может быть выполнена с возможностью вводить выбранный пакет обучающих данных в DCNN-модель для обучения на этапе 1110. Обучающая система 1010 может использовать DCNN-модель со своими текущими параметрами, например, весовыми коэффициентами фильтров, чтобы вычислять выходную карту, соответствующую входным стекам исходных медицинских изображений. В некоторых вариантах осуществления действие DCNN-модели может символически захватываться посредством функции , где Y* является вычисленным выводом DCNN-модели, и являются параметрами DCNN-модели. DCNN обучается с использованием наборов данных , где X_i содержит данные входных изображений (например, медицинские изображения, анатомические карты, функции изображений или анатомических карт, метаданные планирования), и является соответствующей выходной картой. На этапе 1120 обучающая система 1010 может сравнивать вычисленную выходную карту с обучающими данными, принимаемыми на этапе 1105, и вычислять соответствующие карты ошибок. Обучающая система 1010 может определять или обновлять на основе полученных карт ошибок на этапе 1120. Например, способ с обратным распространением может использоваться для того, чтобы определять или обновлять на основе разности между вычисленной выходной картой и обучающей картой. Способ с обратным распространением может оптимизировать параметры посредством минимизации функции потерь относительно параметров в DCNN-модели. Специалисты в области техники должны быть знакомы с различными функциями потерь, такими как средняя абсолютная ошибка (MAE) прогнозирования на основе модели или -норма , или среднеквадратическая ошибка (MSE), или L2-норма , где содержит выбор параметров, который минимизирует разности между Y и Y*. Алгоритм обратного распространения может использоваться для того, чтобы вычислять градиент функции ошибок относительно параметров модели или весовых коэффициентов. Затем может обновляться итеративно с использованием стохастического алгоритма градиентного спуска, чтобы сходиться к .

[0134] В некоторых аспектах функции затрат могут выражать аппроксимирующую функцию данных в качестве вероятностной функции проблемных переменных или условной вероятности наблюдения Y с учетом X и с подчинениям значениям параметров , выражаемым как , для которых оптимальные параметры получаются посредством максимизации вероятности или альтернативно , суммированной по обучающим данным. Независимо от выражения, оптимальное определяется посредством обратного распространения.

[0135] На этапе 1125, обучающая система 1010 может определять то, удовлетворяются или нет критерии прекращения. Как описано выше, в некоторых вариантах осуществления критерий прекращения может выражаться как максимальное число итераций. Таким образом, например, обучающая система 1010 может определять то, равен или выше либо нет итеративный индекс заданного максимального индекса числа. Дополнительно или альтернативно, обучающая система 1010 может определять то, удовлетворяет или превышает либо нет точность выходных карт ожидаемую точность, например, посредством определения того, меньше или нет функция потерь порогового значения. Если обучающая система 1010 определяет то, что критерии прекращения не удовлетворяются, процесс 1100 может возвращаться к этапу 1105 и принимать обучающие данные или генерировать новые обучающие данные из ранее принимаемых обучающих данных для обучения DCNN-модели. Если обучающая система 1010 определяет то, что критерии прекращения итерации удовлетворяются, процесс 1100 обучения может переходить к этапу 1130, на котором обучающая система 1010 может быть выполнена с возможностью сохранять DCNN-модель с обновленными параметрами и/или выводить обученную DCNN-модель.

[0136] В некоторых вариантах осуществления более одного набора данных обучающих изображений (например, более одного трехмерного исходного медицинского изображения и соответствующего трехмерного целевого медицинского изображения и необязательно анатомическая карта и/или метаданные планирования) могут использоваться для обучения DCNN-модели. В таких случаях при приеме обучающих данных на этапе 1105, обучающая система 1010 может быть выполнена с возможностью выбирать один или более наборов данных обучающих изображений и затем выбирать (или генерировать) входные данные. Этапы 1110-1125 затем могут продолжаться аналогично тому, как описано выше.

Примерные процессы генерирования выходных карт на основе DCNN-моделей

[0137] Ниже подробно описываются примерные процессы генерирования выходных карт, выполняемые посредством раскрытых систем и способов, со ссылками на фиг. 12, который иллюстрирует блок-схему последовательности операций способа, иллюстрирующую примерный процесс 1200 генерирования выходных карт. Процесс 1200 генерирования выходных карт может выполняться посредством системы 1020 прогнозирования.

[0138] Как показано на фиг. 12, система 1020 прогнозирования может быть выполнена с возможностью принимать обученную DCNN-модель (например, нейронную сеть 920) на этапе 1210. Обученная DCNN-модель может получаться через процесс 1100, описанный относительно фиг. 11, или через другой процесс. Система 1020 прогнозирования может быть выполнена с возможностью выполнять процесс 1200 генерирования выходных карт для конкретной точки обзора, к примеру, вдоль конкретной анатомической плоскости. Например, система 1020 прогнозирования может быть выполнена с возможностью выбирать из трех анатомических плоскостей, к примеру, осевой плоскости, сагиттальной плоскости и корональной плоскости. Принимаемая обученная DCNN-модель может обучаться со срезами (или стеками срезов) вдоль выбранной анатомической плоскости либо может обучаться со срезами (или стеками срезов) вдоль нескольких анатомических плоскостей, включающих в себя выбранную анатомическую плоскость.

[0139] На этапе 1220, система 1020 прогнозирования может быть выполнена с возможностью принимать входные данные.

Входные данные могут содержать одно или более медицинских изображений. Одно или более медицинских изображений могут содержать одно или более трехмерных медицинских изображений. Трехмерные медицинские изображения могут иллюстрировать по меньшей мере участок головы, торса, брюшной полости, конечностей или других анатомических зон пациента. Система 1020 прогнозирования может быть выполнена с возможностью предварительно обрабатывать исходные медицинские изображения. Например, когда медицинские изображения содержат одно или более трехмерных медицинских изображений, система 1020 прогнозирования может быть выполнена с возможностью преобразовывать одно или более трехмерных медицинских изображений в один или более стеков двумерных медицинских изображений. Как описано выше, один или более стеков двумерных медицинских изображений могут быть последовательными и могут иметь одно или более перекрывающихся изображений таким образом, что средние изображения стеков вместе практически составляют целое трехмерное медицинское изображение.

[0140] Система 1020 прогнозирования может быть выполнена с возможностью выбирать плоскость трехмерного изображения, принимаемого на этапе 1220, и может быть выполнена с возможностью генерировать один или более стеков исходных медицинских изображений на основе принимаемых входных данных и выбранной плоскости. В некоторых аспектах система 1020 прогнозирования может генерировать срезы из одного или более медицинских изображений вдоль выбранной анатомической плоскости. В различных аспектах система 1020 прогнозирования может генерировать срезы из одного или более анатомических изображений вдоль выбранной анатомической плоскости. В некоторых аспектах система 1020 прогнозирования может генерировать последовательность отдельных медицинских срезов или необязательно анатомических срезов. В различных аспектах система 1020 прогнозирования может генерировать последовательность стеков срезов, при этом средний срез в каждом стеке соответствует сгенерированной выходной карте.

[0141] В некоторых вариантах осуществления система 1020 прогнозирования может быть выполнена с возможностью генерировать выходные карты с использованием идентичного типа медицинских изображений, на которых обучается DCNN-модель. Например, система 1020 прогнозирования может быть выполнена с возможностью генерировать выходные карты из изображений, полученных с использованием идентичной модальности визуализации, в качестве обучающих изображений. Например, когда DCNN-модель обучается на КТ-изображениях, система 1020 прогнозирования может быть выполнена с возможностью генерировать выходную карту с использованием КТ-изображений. Когда DCNN-модель обучается на трехмерных КТ-изображениях, система 1020 прогнозирования может быть выполнена с возможностью генерировать выходную карту с использованием трехмерных КТ-изображений. Кроме того, когда DCNN-модель обучается на стеках смежных медицинских изображений, система 1020 прогнозирования может быть выполнена с возможностью применять модель к идентичному типу стеков смежных медицинских изображений.

[0142] В некоторых вариантах осуществления система 1020 прогнозирования может быть выполнена с возможностью генерировать выходные карты для обследуемого пациента, имеющего идентичный общий диагноз с пациентами, от которых собраны обучающие данные. Например, обследуемый пациент может иметь идентичный тип рака и/или опухоль в идентичном местоположении с пациентами, от которых собраны обучающие данные.

[0143] В некоторых вариантах осуществления система 1020 прогнозирования может быть выполнена с возможностью генерирования выходные карты с использованием идентичного типа анатомических карт, на которых обучается DCNN-модель. Например, когда DCNN-модель обучается на анатомических картах, которые связывают пикселы или вокселы с критическими структурами и целевыми объектами, система 1020 прогнозирования может быть выполнена с возможностью генерировать выходные карты с использованием анатомических карт, которые аналогично связывают пикселы или вокселы с критическими структурами и целевыми объектами.

[0144] На этапе 1230, обученная DCNN-модель применяется к входным данным. Система 1020 прогнозирования может определять выходную карту с использованием входных данных, как описано выше относительно фиг. 8-11. На этапе 1240 процесс 1200 генерирования выходных карт дополнительно может содержать вывод, посредством системы 1020 прогнозирования, одной или более выходных карт. Например, система 1020 прогнозирования может быть выполнена с возможностью выводить выходную карту, сгенерированную на этапе 1230. Вывод может содержать отображение одной или более выходных карт для дополнительного анализа или наблюдения, сохранение одной или более выходных карт на невременном носителе данных либо предоставление одной или более выходных карт в компьютерный процесс, программу и/или приложение. Невременный носитель данных и компьютерный процесс, программа и/или приложение могут находиться в удаленной системе.

[0145] В некоторых вариантах осуществления система 1020 прогнозирования может быть выполнена с возможностью собирать одну или более выходных карт в трехмерные выходные карты. Как описано выше, система 1020 прогнозирования может быть выполнена с возможностью обрабатывать входные данные вдоль двух или более из трех анатомических плоскостей. В таких случаях процесс 1200 может включать в себя генерирования конечной трехмерной выходной карты. В некоторых аспектах система 1020 прогнозирования может быть выполнена с возможностью определять конечную трехмерную выходную карту посредством слияния двух или более трехмерных выходных карт, определенных для двух или более анатомических плоскостей. В некоторых вариантах осуществления значение воксела слитной трехмерной выходной карты может быть средним значением. В качестве неограничивающего примера, когда три слитных трехмерных выходных карты имеют значения флюенса в 0,7, 0,8 и 0,3, воксел затем может иметь КТ-значение в 0,6. Как описано в данном документе, любые подходящие способы могут использоваться для того, чтобы сливать три трехмерные выходные карты, определенные в процессе 1200 генерирования выходных карт.

Подготовка данных, обучение нейронной сети и оценка обученной нейронной сети для радиотерапии простаты

[0146] База данных медицинских изображений для 178 пациентов с болезнью простаты выбрана в качестве обучающих данных. Планы лечения простаты лучевой терапией подготавливаются для каждого пациента, чтобы служить в качестве ожидаемых результатов в обучающих данных, следующим образом. Во-первых, контуры (эскизы релевантных анатомических объектов) проанализированы, и многие из них перерисованы таким образом, чтобы соответствовать комбинированным указаниям по анатомии Группы по изучению лучевой терапии в онкологии и RTOG Foundation Inc. (www.rtog.org/). Объемы клинического лечения (CTV) и объемы лечения в соответствии с планированием (PTV) затем генерируются для каждого пациента с использованием инструмента маржирования в Monaco®. После этого планы лучевой терапии задаются для каждого пациента с использованием программы для планирования лечения Erasmus-iCycle. Эта программа применяет многокритериальную оптимизацию планов для упорядоченного по рангу списка жестких ограничений и приоритезированных задач, указывающих целевое покрытие и цели сбережения органов риска (OAR) для врача. Полные планы с картами дозы вычисляются посредством Elekta Monaco с использованием плана iCycle в качестве шаблона, и файлы изображений, структур, планов и доз сохраняются в DICOM-формате. Медицинские изображения разделены на обучающий набор из 165 пациентов и тестовый набор из 13 пациентов. 13 тестовых случаев выбраны с примерно равными интервалами в полном наборе, нацеленные на дискретизацию дисперсии, внутренне присущей в данных, которые продольно получены за несколько лет.

[0147] Медицинские изображения для пациентов в обучающих данных варьируются во многих отношениях. Они отображают диапазон признаков заболевания, от очень небольших до очень больших объемов лечения простаты-семенного пузырька. Они варьируются в пиксельной плотности и толщине в срезе (от 1,25 до 3 мм). Местоположение целевой зоны в поле зрения также варьируется. Чтобы минимизировать эти источники вариабильности, данные повторно дискретизированы в идентичный размер и разнесение трехмерной сетки, и целевые объекты заново обнаружены как согласованно размещенные в пределах поля зрения. Данные сначала транслируются из DICOM-формата в ITK-форматы. В одной конкретной конфигурации, изображение, структуры и данные доз после этого повторно дискретизированы в сетку (x, y, z)=(256, 256, N) с воксельным разнесением в 2,25×2,25×2,25 мм, где N является числом осевых срезов, требуемых для того, чтобы охватывать трехмерное распределение дозы вдоль оси Z. PTV-центр массы обнаруживается сначала, и затем доза преобразуется в соответствии с PTV в осевом центре. Z-охват дозы измеряется, и N повторно дискретизированных КТ-изображений формируются в идентичных z-местоположениях в качестве срезов дозы. Данные затем транслируются обратно в DICOM-формат.

[0148] Кишечные газы выглядят в качестве пустот в медицинских изображениях, представленных в нейронной сети.

Это формирует артефакты в оцененных распределениях дозы. В дополнительной подготовке для DCNN-обучения, вокселы газа идентифицированы, и их интенсивность заменена посредством значений, случайно дискретизированных из диапазона интенсивностей мягких тканей, и обработанные изображения представлены в нейронной сети. Ранее наблюдаемые артефакты более не присутствуют в оцененных распределениях дозы.

[0149] В модели нейронной сети рассматриваются и представляются анатомические изображения нескольких форматов, включающие в себя карты расстояний, которые детализируют ближайшее расстояние до границы анатомического объекта, непосредственно КТ-изображения, улучшенные версии изображений (с лапласовым повышением резкости, инвертированные) и версии с обнаружением краев по методу Собела для КТ-изображений. Дополнительно, трехмерная реконструкция применяется к этим изображениям, чтобы определять внешний контур пациента и карты расстояний для каждого вида.

[0150] Хотя слои RGB-каналов DCNN зачастую используются для того, чтобы указывать цветовые данные изображения, которое вводится в DCNN, варианты осуществления настоящего изобретения используют слои RGB-каналов новым способом. С использованием трех отдельных, но связанных изображений, RGB-каналы DCNN могут быть заполнены изображением, связанным с картой расстояний для внешнего контура пациента, соответствующей осевой картой расстояний органов риска и картой расстояний объема лечения в соответствии с планированием пациента. После того, как три RGB-канала так заполняются, композитное цветное изображение может использоваться для обучения DCNN. Ожидаемые результаты, которые должны использоваться в обучении, показаны на фиг. 14, как описано ниже, который соответствует предварительно установленному плану лечения по «золотому стандарту» для этого пациента. DCNN теперь должна обучаться (см. описание фиг. 7 и 11 вышеописанного процесса обучения) с обучающим изображением 13 и ожидаемыми результатами, как показано на фиг 14, с целью выбирать параметры надлежащего числа обучающих итераций и темпа обучения, чтобы позволять обучающему алгоритму сходиться к конфигурации сети, которая формирует карту флюенса, которая надлежащим образом является аналогичной ожидаемому результату и удовлетворяет другим диагностическим критериям.

[0151] Фиг. 13 иллюстрирует осевой КТ-вид, который дополнительно проанализирован на нижеприведенных чертежах. Фиг. 14 показывает выбранный осевой вид, соответствующий ожидаемой (на основе экспериментально полученных проверочных данных) дозе, которая должна использоваться для тестирования точности обученной сети с использованием информации об анатомии и лечения пациента. Ожидаемые результаты должны использоваться в обучении, которое соответствует предварительно установленному плану лечения по «золотому стандарту» для этого пациента. Начальная подготовка - воксельное разнесение сетки в 2,25 мм × 2,25 мм × 2,25 мм.

[0152] Выбранная модель сети представляет собой U-Net, описанную в работе Ronneberger, O., Fischer, P. и Brox, T. «U-Net: Convolutional networks for biomedical image segmentation», arXiv:1505.0459/vl, 2015 год, которая включена в данный документ по ссылке. Эта сеть объединяет изученные признаки на нескольких шкалах с признаками после отмены подвыборки на идентичной шкале.

[0153] Эта сеть представляет собой модель, используемую в общедоступной платформе Caffe, описанной в работе Jia Y., Shelhammer E., Donahue J., Karayev S., Girshick R., Guadarrama S., Darrell T., Caffe: «Convolutional architecture for fast feature embedding», arXiv: 1408:5093vl, 2014 года, которая полностью включена в данный документ по ссылке. Размеры входного изображения и дозы составляют 256×256, и выбран вариант «уточнения». При этом варианте, Caffe случайно обрезает центральный участок 224×224 для пары из изображения и дозы, представляющий данные в сеть со случайным смещением, с тем чтобы уменьшать сверхподгонку.

[0154] Написана программа, которая принимает двумерное изображение дозы, выводимое из Caffe, и реконструирует DICOM-объект доз в собственном DICOM-файле доз. Эта доза добавляется в существующий набор данных пациента DICOM и считывается в программу Монако для сравнения с дозой программы Erasmus-iCycle. Построение гистограмм «доза-объем» (DVH) в % от объема анатомического объекта (ордината) по сравнению с % от анатомического объекта, охваченного посредством дозы (абсцисса), используется для того, чтобы оценивать результаты.

[0155] Обучающий набор представляется в DCNN-модель на компьютерах, оснащенных графическим процессором Nvidia. Темп обучения первоначально задается равным 0,01, и этот темп уменьшается на коэффициент в 0,1 каждые 30000 итераций. Компьютер с картой nVidia TitanX совершает приблизительно 10000 итераций/день, и компьютер с картой Nvidia Tesla совершает 3000 итераций/день. Каждое из изображений в тестовом наборе затем представляется для каждой из обученных моделей. Сеть предоставляется надежные и просматриваемые оценки дозы. Это является истиной для больших и для меньших чисел итераций (например, примерно для 10k итераций) в обучении.

[0156] Чтобы выполнять обучение, первоначально темп обучения задается равным 0,01, и 17400 обучающих итераций используются для того, чтобы обучать модель глубокого обучения с тем, чтобы формировать результаты, показанные на фиг. 15, при этом левая сторона иллюстрации показывает входное изображение, среднее изображение показывает экспериментально полученные проверочные данные или ожидаемые результаты, которые вводятся в алгоритм обучения, и самое правое изображение, помеченное как «unet-результат», показывает выходную карту (карту флюенса) спрогнозированных результатов, соответствующую входным данным, которые DCNN формирует после выполнения 17400 обучающих итераций.

[0157] Фиг. 16 иллюстрирует профили дозы ожидаемых результатов (левое изображение) и спрогнозированных результатов (правое изображение). Визуальный осмотр по фиг. 16 показывает обоснованную аппроксимацию спрогнозированных результатов к ожидаемым результатам с этим обучающим набором (воксельное разнесение в 2,25 мм × 2,25 мм × 2,25 мм, 17400 взаимодействий и темп обучения в 0,01).

[0158] Фиг. 17 иллюстрирует состояние сценария обучения для идентичных обучающих данных, теперь при 60000 итераций и с темпом обучения теперь в 0,001. Спрогнозированный вывод (карта флюенса), показанный справа на фиг. 17, более близко аппроксимирует экспериментально полученный ожидаемый результат в середине фиг. 17, чем предыдущий с фиг. 15, где используются только 17400 итераций. Соответственно, гистограммы дозы на фиг. 18 показывают более близкое соответствие между ожидаемыми результатами (слева) и спрогнозированным выводом (справа), в частности, в опущенном пике кривых по сравнению с фиг. 16.

[0159] Гистограмма «доза-объем» (DVH) подготавливалась (показана на фиг. 19) для различных чисел итераций, при этом воксельное разнесение и темп обучения остаются идентичными. 10k, 20k, 60k и 90k итераций используются в различных обучающих испытаниях, и гистограмма демонстрирует очень близкую подгонку между экспериментально полученными проверочными данными и ожидаемыми результатами в обучающем цикле в 90k итераций. В DVH, PTV представляется зеленым цветом, графики мочевого пузыря являются синими, и графики прямой кишки являются красными. Если спрогнозированные результаты алгоритма обучения точно совпадают с экспериментально полученными проверочными данными (или ожидаемыми результатами), DVH-кривые для экспериментально полученных проверочных данных и конкретного числа итераций, формирующих оптимизированные спрогнозированные результаты, должны быть по существу идентичными. Число обучающих итераций, которые следует использовать, наряду с размером воксельного разнесения и темпами обучения, могут определяться экспериментально посредством исследования того, как близко DVH-графики для интервалов времени обучения сходятся к спрогнозированному результату.

[0160] Различные операции или функции описываются в данном документе, которые могут быть реализованы или определены в качестве кода программного обеспечения или инструкций. Такое содержимое может быть непосредственно исполняемым («объектом» или «исполняемой» формой), исходным кодом или кодом различия (кодом «дельта» или «заплатки»). Программные реализации вариантов осуществления, описанных в данном документе, могут быть предоставлены посредством изделия производства с кодом или инструкциями, сохраненными на нем, или посредством способа работы интерфейса связи для отправки данных через интерфейс связи. Машиночитаемый или считываемый компьютером носитель данных может инструктировать машине выполнять описанные функции или операции и включает в себя любой механизм, который хранит информацию в форме, доступной посредством машины (например, вычислительного устройства, электронной системы и т.п.), такой как записываемый/незаписываемый носитель данных (например, постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), носитель данных на магнитном диске, оптический носитель данных, устройства флеш-памяти и т.п.). Интерфейс связи включает в себя любой механизм, который взаимодействует с каким-либо из проводного, беспроводного, оптического и т.п. носителя для связи с другим устройством, таким как интерфейс шины памяти, интерфейс процессорной шины, Интернет-соединение, дисковый контроллер и т.п. Интерфейс связи может быть сконфигурирован посредством предоставления параметров конфигурации и/или отправки сигналов для подготовки интерфейса связи, чтобы предоставлять информационный сигнал, описывающий контент программного обеспечения. Доступ к интерфейсу связи может быть осуществлен через одну или более команд или сигналов, отправляемых интерфейсу связи.

[0161] Настоящее изобретение также относится к системе для выполнения операций в ней. Эта система может быть специально сконструирована для требуемых целей, или она может содержать компьютер общего назначения, выборочно активизируемый или переконфигурируемый посредством компьютерной программы, сохраненной в компьютере. Такая компьютерная программа может быть сохранена на читаемом компьютером носителе данных, таком как, но не только, любой тип диска, включающий в себя гибкие диски, оптические диски, CD-ROM и магнитно-оптические диски, постоянные запоминающие устройства (ROM), оперативные запоминающие устройства (RAM), EPROM, EEPROM, магнитные или оптические карты или любой тип носителей данных, подходящих для хранения электронных инструкций, каждый соединен с системной шиной компьютера.

[0162] Порядок исполнения или выполнения операций в вариантах осуществления изобретения, иллюстрированных и описанных в данном документе, является несущественным, если не определено иное. То есть, операции могут быть выполнены в любом порядке, если не определено иное, и варианты осуществления изобретения могут включать в себя больше или меньше операций, чем раскрытые в данном документе. Например, предполагается, что исполнение или выполнение отдельной операции перед, одновременно с, или после другой операции находится в рамках аспектов изобретения.

[0163] Варианты осуществления изобретения могут быть реализованы с помощью машиноисполняемых инструкций. Машиноисполняемые инструкции могут быть организованы в один или более машиноисполняемых компонентов или модулей. Аспекты изобретения могут быть реализованы с помощью любого числа и организации таких компонентов или модулей. Например, аспекты изобретения не ограничены конкретными машиноисполняемыми инструкциями или конкретными компонентами либо модулями, проиллюстрированными на чертежах и описанными в данном документе. Другие варианты осуществления изобретения могут включать в себя другие машиноисполняемые инструкции или компоненты, имеющие большую или меньшую функциональность, чем проиллюстрирована и описана в данном документе.

[0164] В то время как примеры и отличительные признаки раскрытых принципов описываются в данном документе, модификации, адаптации и другие реализации являются возможными без отступления от духа и рамок раскрытых вариантов осуществления. Также, слова «содержащий», «имеющий», «заключающий» и «включающий в себя» и другие аналогичные формы предназначены быть эквивалентными по значению и интерпретироваться как ничем не ограниченные, так что элемент или элементы, следующие за каким-либо одним из этих слов, не означают исчерпывающее перечисление элемента или элементов или означают ограничение только перечисленным элементом или элементами. Упоминание элемента в единственном числе не исключает множества таких элементов, пока контекст явно не диктует иное.

[0165] При наличии описанных аспектов изобретения в деталях будет понятно, что модификации и вариации возможны без отступления от рамок аспектов изобретения, как определено в прилагаемой формуле. Поскольку различные изменения могут быть выполнены в вышеуказанных конструкциях, продуктах и способах без отступления от рамок аспектов изобретения, считается, что вся сущность, содержащаяся в вышеприведенном описании и показанная на сопровождающих чертежах, должна интерпретироваться как иллюстративная, но не в ограничивающем смысле.

1. Система лечения лучевой терапией с прогнозированием дозы лучевой терапии, содержащая:

устройство получения изображений для получения одного или более трехмерных медицинских изображений;

невременный машиночитаемый носитель данных для хранения упомянутых одного или более трехмерных медицинских изображений, модели нейронной сети, одной или более трехмерных анатомических карт и одного или более трехмерных распределений дозы;

устройство обработки изображений, выполненное с возможностью:

обучать модель нейронной сети прогнозировать по меньшей мере одну из карты флюенса и карты дозы на основе упомянутых одного или более трехмерных медицинских изображений и упомянутых одной или более трехмерных анатомических карт; и

генерировать трехмерное распределение дозы на основе прогнозирований нейронной сети.

2. Система по п. 1, причем трехмерные анатомические карты соответствуют одному или более медицинским изображениям и указывают местоположения анатомических структур пациента и местоположения целевых объектов лечения.

3. Система по п. 1, причем трехмерные анатомические карты содержат по меньшей мере одно из контура изображения, контурной поверхности в пространстве, карты функциональной анатомии, бинарной маски, соответствующей структуре, и функции структуры, такой как карта расстояний.

4. Система по п. 1, причем обученная нейронная сеть выдает трехмерную карту флюенса.

5. Система по п. 1, причем обучение модели нейронной сети содержит устройство обработки изображений, дополнительно выполненное с возможностью:

(a) инициализировать модель нейронной сети с конфигурацией начального слоя, конфигурацией начального соединения, начальным набором весовых коэффициентов и начальным набором смещений;

(b) вводить обучающие данные в инициализированную модель нейронной сети, причем обучающие данные содержат истории болезни от совокупности пациентов, которые включают в себя медицинские изображения, конкретные анатомические структуры и ожидаемые трехмерные распределения дозы;

(c) принимать спрогнозированное распределение дозы из модели нейронной сети;

(d) сравнивать спрогнозированное распределение дозы из модели нейронной сети с ожидаемым распределением дозы и регулировать весовые коэффициенты и смещения нейронной сети, чтобы снижать разности между спрогнозированным распределением дозы и ожидаемым распределением дозы;

итеративно повторять этапы (c)-(d) до тех пор, пока разности между спрогнозированным распределением дозы и ожидаемым распределением дозы не достигнут заданного порогового значения; и

сохранять обученную нейронную сеть на невременном машиночитаемом носителе данных.

6. Система по п. 5, причем обучающие данные содержат второй набор обучающих данных, содержащий обновленный набор новых изображений пациентов, соответствующих конкретному пациенту.

7. Система по п. 5, причем обучающие данные содержат по меньшей мере одно из распределения дозы, набора параметров машины для управления устройством лучевой терапии, показателя качества на основе гистограммы «доза-объем», контура изображения, контурной поверхности в пространстве, функциональной анатомии и карты расстояний и их комбинации, чтобы обучать инициализированную модель нейронной сети.

8. Система по п. 5, причем обучающие данные содержат функцию распределения дозы, при этом функция представляет собой по меньшей мере квадратичную, экспоненциальную и обратимую математическую функцию.

9. Система по п. 5, причем тестирование обученной модели нейронной сети содержит конфигурирование устройства обработки изображений с возможностью:

принимать обученную нейронную сеть, сохраненную на невременном машиночитаемом носителе данных;

вводить тестовые данные в обученную нейронную сеть, причем тестовые данные содержат истории болезни от совокупности пациентов, которые включают в себя медицинские изображения, конкретные анатомические структуры и ожидаемые распределения дозы;

получать спрогнозированное распределение дозы из обученной нейронной сети; и

определять фактор ошибки посредством сравнения ожидаемого распределения дозы со спрогнозированным распределением дозы.

10. Система по п. 1, причем нейронная сеть содержит глубокую сверточную нейронную сеть (DCNN).

11. Система лечения лучевой терапией с прогнозированием дозы лучевой терапии, содержащая:

устройство получения изображений для получения набора обучающих данных, при этом обучающие данные содержат одно или более трехмерных медицинских изображений, модель нейронной сети, одну или более трехмерных анатомических карт и одно или более трехмерных распределений дозы,

невременный машиночитаемый носитель данных для хранения обучающих данных, первой модели нейронной сети и второй модели нейронной сети;

причем устройство обработки изображений выполнено с возможностью:

обучать первую модель нейронной сети с использованием обучающих данных прогнозировать первое распределение дозы;

обучать вторую модель нейронной сети с использованием обучающих данных прогнозировать второе распределение дозы;

определять ошибку посредством сравнения первого распределения дозы со вторым распределением дозы; и

использовать эту ошибку, чтобы обучать первую модель нейронной сети.

12. Система по п. 11, причем устройство обработки изображений выполнено с возможностью обучать вторую модель нейронной сети с использованием функции обучающих данных прогнозировать распределение дозы, при этом функция содержит обратимую математическую функцию.

13. Способ прогнозирования дозы лучевой терапии, содержащий:

прием одного или более трехмерных медицинских изображений из устройства получения изображений;

сохранение трехмерных изображений, модели нейронной сети, одной или более трехмерных анатомических карт и одного или более трехмерных распределений дозы на невременном машиночитаемом носителе данных;

обучение нейронной сети посредством по меньшей мере одного процессора прогнозировать по меньшей мере одно из карты флюенса и карты дозы на основе упомянутого одного или более трехмерных медицинских изображений и упомянутой одной или более трехмерных анатомических карт и одного или более трехмерных распределений дозы; и

генерирование трехмерного распределения дозы на основе прогнозирований нейронной сети.

14. Способ по п. 13, причем трехмерные анатомические карты соответствуют одному или более медицинских изображений и указывают местоположения анатомических структур и целевых объектов лечения пациента.

15. Способ по п. 13, причем трехмерные анатомические карты содержат по меньшей мере одно из контура изображения, контурной поверхности в пространстве, карты функциональной анатомии, бинарной маски, соответствующей структуре, и функции структуры, такой как карта расстояний.

16. Способ по п. 13, причем обученная нейронная сеть выдает трехмерную карту флюенса.

17. Способ по п. 13, причем обучение модели нейронной сети содержит устройство обработки изображений, выполненное с возможностью:

(a) инициализировать модель нейронной сети с конфигурацией начального слоя, конфигурацией начального соединения, начальным набором весовых коэффициентов и начальным набором смещений;

(b) вводить обучающие данные в инициализированную модель нейронной сети, причем обучающие данные содержат истории болезни от совокупности пациентов, которые включают в себя медицинские изображения, конкретные анатомические структуры и ожидаемые трехмерные распределения дозы;

(c) принимать спрогнозированное распределение дозы из модели нейронной сети;

(d) сравнивать спрогнозированное распределение дозы из модели нейронной сети с ожидаемым распределением дозы и регулировать весовые коэффициенты и смещения нейронной сети, чтобы снижать разности между спрогнозированным распределением дозы и ожидаемым распределением дозы;

итеративно повторять этапы (c)-(d) до тех пор, пока разности между спрогнозированным распределением дозы и ожидаемым распределением дозы не достигнут заданного порогового значения; и

сохранять обученную нейронную сеть на невременном машиночитаемом носителе данных.

18. Способ по п. 17, причем обучающие данные содержат второй набор обучающих данных, содержащий обновленный набор новых изображений пациентов, соответствующих конкретному пациенту.

19. Способ по п. 17, причем обучающие данные содержат по меньшей мере одно из распределения дозы, набора параметров машины для управления устройством лучевой терапии, показателя качества на основе гистограммы «доза-объем», контура изображения, контурной поверхности в пространстве, функциональной анатомии и карты расстояний и их комбинации, чтобы обучать инициализированную модель нейронной сети.

20. Способ по п. 17, причем обучающие данные содержат функцию распределения дозы, при этом функция представляет собой по меньшей мере квадратичную, экспоненциальную и обратимую математическую функцию.

21. Способ по п. 17, причем тестирование модели обученной нейронной сети содержит выполнение устройства обработки изображений, чтобы:

принимать обученную нейронную сеть, сохраненную на невременном машиночитаемом носителе данных;

вводить тестовые данные в обученную нейронную сеть, причем тестовые данные содержат истории болезни от совокупности пациентов, которые включают в себя медицинские изображения, конкретные анатомические структуры и ожидаемые распределения дозы;

получать спрогнозированное распределение дозы из обученной нейронной сети; и

определять фактор ошибки посредством сравнения ожидаемого распределения дозы со спрогнозированным распределением дозы.

22. Способ по п. 17, причем нейронная сеть содержит глубокую сверточную нейронную сеть (DCNN).