Способ трехмерной визуализации в реальном времени
Владельцы патента RU 2681700:
Общество с ограниченной ответственностью "Биомедицинские технологии" (RU)
Изобретение относится к области вычислительной техники. Технический результат заключается в расширении арсенала средств визуализации трехмерного массива. Способ содержит этапы, на которых: осуществляют равномерное перемещение сканирующего зонда вдоль исследуемого объекта; ракурс наблюдения фиксируют таким образом, чтобы котангенс угла между горизонталью и отрезком, являющимся ортогональной проекцией правого нижнего ребра прямоугольного параллелепипеда, ограничивающего воксельный массив, был целым числом k больше 0; рассчитывают изображение, соответствующее новому В-скану, для этого используют: предыдущее изображение, увеличенное по вертикали в k раз; проекцию нового В-скана, которую формируют, используя заранее рассчитанную таблицу, содержащую координаты пикселей на плоскости визуализации, при этом в упомянутые пиксели проецируют соответствующие воксели нового В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения; каждый воксель нового В-скана умножают на соответствующее ему заранее рассчитанное значение первого весового коэффициента; полученное изображение, соответствующее новому В-скану, «сжимают» в k раз по вертикали; значение интенсивности визуализируемого пикселя округляют до целого значения. 2 ил.
Изобретение относится к обработке данных изображения, а именно к визуализации трехмерного массива скалярных данных, и может быть использовано для решения задачи визуализации в реальном времени внутренней структуры «мутных» сред в процессе ручного сканирования.
Известны два основных способа трехмерной визуализации по статье «Some techniques for shading machine renderings of solids», Proceeding AFIPS (Spring) April 30-May 2, 1968, spring joint computer conference, Pages 37-45, автор Arthur Appel. Данные способы принято называть: «rау tracing)) и «rау casting)). Оба этих метода основываются на замерах расстояния до пересечения лучей с визуализируемой поверхностью. Недостатком этих методов для решения предложенной задачи является следующее. Эти методы являются способами трехмерной визуализации векторных объектов, они требуют сложного дополнительного преобразования. Данные методы предназначены для визуализации поверхностей и плохо подходят для визуализации сложной внутренней структуры объекта. Для реализации данных методов в реальном времени требуется большая вычислительная мощность. Чаще всего для реализации данных методов используют специализированное многопроцессорное вычислительное устройство (графический процессор (GPU)).
В качестве прототипа выбран способ трехмерной визуализации, основанный на методе «проекции максимальной интенсивности» (maximum intensity projection (MIP)), известный по патенту RU 2533055 (МПК G06T 15/08, G06T 19/20 от 27.09.2013 г.), который включает сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива, на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для изображения пиксельного массива. Значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего воксельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на весовой коэффициент.
Недостатком данного способа является то, что визуализация трехмерного массива возможна лишь после проведения сканирования исследуемого объекта и дальнейшей обработки полученных данных, то есть не обеспечивается интерактивность действий пользователя.
Задачей, на решение которой направлено данное изобретение, является разработка способа трехмерной визуализации в реальном времени, который позволяет получить трехмерное изображение в процессе ручного сканирования исследуемого объекта и предоставляет в реальном времени полную информацию о манипуляциях пользователя, обеспечивая интерактивность его действий. Кроме того, предполагается, что данная задача должна быть решена без привлечения дополнительных вычислительных средств, в то время, когда основная вычислительная мощность системы задействована в реальном времени для синтеза визуализируемых данных.
Технический результат достигается благодаря тому, что разработанный способ трехмерной визуализации в реальном времени так же, как и способ, который является ближайшим аналогом, включает сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для отображения пиксельного массива, значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на первый весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего воксельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на первый весовой коэффициент.
Новым в разработанном способе является то, что осуществляют равномерное перемещение сканирующего зонда вдоль исследуемого объекта в направлении, ортогональном плоскости получаемых В-сканов, при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют таким образом, чтобы котангенс угла между горизонталью и отрезком, являющимся ортогональной проекцией правого нижнего ребра прямоугольного параллелепипеда, ограничивающего воксельный массив, был целым числом k больше 0, при этом границы задней торцевой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, не визуализируют, вначале визуализируют первый В-скан в виде ортогональной проекции передней торцевой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, затем определяют новый В-скан, соответствующий смещению сканирующего зонда, после чего рассчитывают изображение, соответствующее новому В-скану, для этого используют, во-первых, предыдущее изображение, увеличенное по вертикали в k раз и состоящее из вещественных значений, все пиксели которого перемещают на один столбец вправо и на одну строку вверх, и умножают на второй весовой коэффициент, меньший единицы и соответствующий «затемнению» при смещении вокселей на один шаг в глубину, и, во-вторых, проекцию нового В-скана, которую формируют, используя заранее рассчитанную таблицу, содержащую координаты пикселей на плоскости визуализации, при этом в упомянутые пиксели проецируют соответствующие воксели нового В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения, к тому же каждый воксель нового В-скана соответствует k пикселям изображения, увеличенного в k раз по вертикали, при этом каждый воксель нового В-скана умножают на соответствующее ему заранее рассчитанное значение первого весового коэффициента, при визуализации полученное изображение, соответствующее новому В-скану, «сжимают» в k раз по вертикали методом определения максимального значения интенсивности среди k вертикальных пикселей, значение интенсивности визуализируемого пикселя округляют до целого значения.
На фиг. 1 представлена проекция границ визуализируемого массива в заранее выбранном фиксированном ракурсе.
На фиг. 2 представлено трехмерное изображение исследуемого объекта, полученное с помощью оптической когерентной томографии (ОКТ).
В разработанном способе трехмерное изображение формируют за счет равномерного перемещения сканирующего зонда вдоль исследуемого объекта в направлении, ортогональном плоскости получаемых В-сканов с последующей обработкой информации, полученной методом ОКТ. В результате имеют непрерывный поток двумерных изображений - В-сканов. Вначале фиксируют первый В-скан. Затем по превышению заданного порога коэффициента корреляции между текущим В-сканом (вначале это первый В-скан) и вновь полученным В-сканом из потока В-сканов выделяют новый В-скан, соответствующий смещению сканирующего зонда.
При формировании изображения используют прямую ортогональную проекцию, при этом ракурс наблюдения фиксируют таким образом, чтобы котангенс угла между горизонталью и отрезком, являющимся ортогональной проекцией правого нижнего ребра границы воксельного массива, был целым числом к больше 0.
На фиг. 1 представлена проекция границ визуализируемого массива в заранее выбранном фиксированном ракурсе.
Основной критерий выбора ракурса наблюдения:
ctgγ=k,
где γ - угол между горизонталью и отрезком, являющимся ортогональной проекцией правого нижнего ребра прямоугольного параллелепипеда, ограничивающего воксельный массив,
k - целое число большее 0.
При этом лучи АЕ, BF, CG и DH ограничены справа размерами окна визуализации. Параллелограмм ABCD - это границы ортогональной проекции нового В-скана. Отрезки AD и ВС расположены параллельно вертикальным границам окна визуализации. В данном случае угловые координаты визуализируемого объекта в воображаемом полупространстве за плоскостью окна визуализации удовлетворяют следующим условиям:
где α - координата нутации (по Эйлеру),
β - координата собственного вращения.
- целое число больше k,
Эти ограничения позволяют использовать для визуализации изображения не весь трехмерный массив данных, а двумерный результат визуализации предыдущего изображения и ортогональную проекцию нового В-скана. А это сокращает количество вычислений на несколько порядков. Кроме того, такой ракурс визуализации позволяет избежать артефактов при применении прямой ортогональной проекции.
При вычислении изображения, соответствующего новому В-скану, используют предыдущее изображение и проекцию нового В-скана. При этом используют предыдущее изображение (двумерный массив), размер которого увеличен по вертикали по сравнению с размером окна визуализации в k раз. Это массив вещественных чисел (тип FLOAT). Перед отображением изображения, соответствующего новому В-скану, все пиксели предыдущего изображения перемещают на один столбец вправо и на одну строку вверх и умножают на второй весовой коэффициент, меньший единицы и соответствующий «затемнению» при смещении вокселей на один шаг в глубину. Левый столбец и нижнюю строку заполняют нулевыми значениями.
где d - второй весовой коэффициент, меньший единицы и соответствующий «затемнению» при смещении вокселей на один шаг в глубину,
Z - количество вокселей от плоскости визуализации до дальней границы визуализируемого объема при выбранном ракурсе наблюдения.
Для формирования проекции нового В-скана используют заранее рассчитанную таблицу соответствия каждого вокселя нового В-скана координатам пикселей окна визуализации внутри параллелограмма ABCD.
Данная таблица содержит координаты пикселей на плоскости визуализации, в которые проецируют соответствующие воксели нового В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения.
При этом значения интенсивности каждого вокселя нового В-скана умножают на соответствующее им заранее рассчитанное значение первого весового коэффициента, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1:
где di - первый весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1,
zi - количество вокселей от плоскости визуализации до соответствующего вокселя В-скана, повернутого на углы α и β в визуализируемом объеме при выбранном ракурсе наблюдения.
То есть значения di - это, также таблица величин вычисленных заранее.
Каждое полученное значение интенсивности пикселей ортогональной проекции нового В-скана сравнивают с соответствующими значениями интенсивности пикселей предыдущего изображения, смещенного на один столбец вправо и на одну строку вверх и умноженного на второй весовой коэффициент, (то есть значение интенсивности каждого пикселя ортогональной проекции нового В-скана сравнивают со значениями интенсивности k пикселей по вертикали предыдущего изображения). И если новое значение интенсивности больше старого, то его присваивают k пикселям изображения, соответствующего новому В-скану. Таким образом, соблюдают принцип модифицированной MIP (maximum intensity projection).
Для визуализации полученные данные «сжимают» соответственно в k раз по вертикали с соблюдением принципа MIP. То есть из каждых k значений интенсивности по вертикали отображают максимальное.
Таким образом, каждый новый В-скан, соответствующий смещению сканирующего зонда, отображают с левой стороны (ортогональная проекция передней торцевой грани прямоугольного параллелепипеда, ограничивающего воксельный массив), а предыдущее изображение смещают вправо и вверх (рис. 2).
На последнем этапе на полученное изображение накладывают проекцию границ визуализации, также с соблюдением принципов модифицированной MIP (с затемнением в глубину).
Для осуществления описанных манипуляций величина дополнительной загрузки CPU достаточно мала, чтобы не мешать параллельным вычислениям томографических алгоритмов. То есть в предложенном способе трехмерной визуализации в реальном времени была решена задача минимизации дополнительной загрузки центрального процессора ОКТ-системы, непрерывно занятого расчетами ОКТ.
При практическом применении данного способа визуализации были достигнуты следующие результаты. При использовании центрального процессора (CPU) аналогичного Intel Core i3 (-2.8 GHz 4-threads) время расчета, затраченное для визуализации объема с сечением 256×256 точек (В-скан), составило менее 100 микросекунд. Тогда как, при использовании метода принятого в качестве ближайшего аналога, в тех же условиях (за исключением параллельного решения задачи синтеза визуализируемых данных) среднее время расчета составляет 60-70 миллисекунд. При этом для реализации способа - прототипа на все время расчета показатель загрузки CPU приближается к 100%, тогда как в случае использования предложенного метода среднее увеличение показателя загрузки CPU на фоне решения задачи синтеза визуализируемых данных менее 1%.
Разработанный способ может применяться для визуализации результатов ручного сканирования при получении трехмерных изображений с использованием эндоскопической системы оптической когерентной томографии (ОКТ). Кроме того, этот способ может быть применен для визуализации результатов ручного сканирования при ультразвуковых биомедицинских исследованиях или при ультразвуковой технической дефектоскопии и тому подобном.
Таким образом, разработанный способ трехмерной визуализации в реальном времени позволяет получать трехмерное изображение в процессе сканирования исследуемого объекта, то есть предоставляет в реальном времени полную информацию о манипуляциях пользователя и обеспечивает интерактивность его действий.
Способ трехмерной визуализации в реальном времени, включающий сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для отображения пиксельного массива, значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на первый весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего воксельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на первый весовой коэффициент, отличающийся тем, что осуществляют равномерное перемещение сканирующего зонда вдоль исследуемого объекта в направлении, ортогональном плоскости получаемых В-сканов, при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют таким образом, чтобы котангенс угла между горизонталью и отрезком, являющимся ортогональной проекцией правого нижнего ребра прямоугольного параллелепипеда, ограничивающего воксельный массив, был целым числом k больше 0, при этом границы задней торцевой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, не визуализируют, вначале визуализируют первый В-скан в виде ортогональной проекции передней торцевой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, затем определяют новый В-скан, соответствующий смещению сканирующего зонда, после чего рассчитывают изображение, соответствующее новому В-скану, для этого используют, во-первых, предыдущее изображение, увеличенное по вертикали в k раз и состоящее из вещественных значений, все пиксели которого перемещают на один столбец вправо и на одну строку вверх, и умножают на второй весовой коэффициент, меньший единицы и соответствующий «затемнению» при смещении вокселей на один шаг в глубину, и, во-вторых, проекцию нового В-скана, которую формируют, используя заранее рассчитанную таблицу, содержащую координаты пикселей на плоскости визуализации, при этом в упомянутые пиксели проецируют соответствующие воксели нового В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения, к тому же каждый воксель нового В-скана соответствует k пикселям изображения, увеличенного в k раз по вертикали, при этом каждый воксель нового В-скана умножают на соответствующее ему заранее рассчитанное значение первого весового коэффициента, при визуализации полученное изображение, соответствующее новому В-скану, «сжимают» в k раз по вертикали методом определения максимального значения интенсивности среди k вертикальных пикселей, значение интенсивности визуализируемого пикселя округляют до целого значения.
