Способ и система выравнивания изображений слоёв образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком
Изобретение относится к способам обработки изображений и предназначено для выравнивания изображений слоев, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком, для последующего построения трехмерной модели образца. Техническим результатом является осуществление выравнивания изображений слоев образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком без существенных геометрических искажений. Предложен способ выравнивания изображений слоев образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком. В соответствии со способом посредством растрового электронного микроскопа с фокусированным ионным пучком получают последовательность изображений слоев, составляющих трехмерное изображение образца. Последовательно отображают на устройстве отображения полученные изображения слоев и определяют характер смещения изображений слоев друг относительно друга. На основе характера смещения изображений слоев выбирают тип преобразования одного из изображений соседних слоев, обеспечивающего выравнивание изображений соседних слоев. 2 н. и 4 з.п. ф-лы, 6 ил.
Настоящее изобретение относится к способам обработки изображений, а точнее к способам выравнивания изображений слоев, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком, для последующего построения трехмерной модели образца без значительных геометрических искажений.
В ряде областей науки и техники для получения трехмерных изображений образцов с разрешением в несколько нанометров используют растровый электронный микроскоп (РЭМ) с фокусированным ионным пучком (ФИЛ). Подобные приборы называют ФИП-РЭМ (FIB-SEM, Focused Ion Beam - Scanning Electron Microscope). Примерами задач, решаемых с помощью ФИП-РЭМ, являются: в нефтегазовой отрасли построение цифровой модели керна (горной породы) на нанометровом масштабе для расчета фильтрационно-емкостных свойств; анализ характеристик пористых электродов для аккумуляторов; исследование биологических тканей, в частности, нервов.
Кратко получение изображения ФИП-РЭМ можно описать следующим образом: тонкий слой образца в его поперечном сечении удаляется (испаряется) ионным пучком, затем плоскость поперечного сечения образца сканируют растровым электронным микроскопом, в результате чего получают двумерное изображение лежащего ниже слоя; многократное повторение операций удаления слоя и сканирования следующего слоя приводит к получению последовательности изображений слоев, из которых может быть построено трехмерное изображение образца.
Однако задача построения трехмерной модели образца из последовательности двумерных изображений слоев сопряжена с рядом проблем. В частности, в процессе сканирования из-за ряда случайных факторов, таких как накопление заряда на исследуемой поверхности, механических и термических нестабильностей, происходит смещение изображений слоев друг относительно друга. При проведении сканирования стремятся настроить параметры так, чтобы подобные смещения были ограничены только сдвигами влево-вправо и вверх-вниз. Тем не менее, при длительной выдержке (времени на сканирование) возможен скос (на случайный небольшой угол) одного слоя относительно другого, а при автоматической или ручной подстройке прибора во время эксперимента (например, если произошла расфокусировка) может происходить скачкообразное изменение масштаба. Таким образом, для выравнивания изображений двух соседних слоев в общем случае может потребоваться произвольное аффинное преобразование.
Создаваемая из изображений слоев трехмерная модель должна быть достаточно точной и не содержать значительных геометрических искажений. Для этого требуется способ выравнивания слоев, который позволит получать корректные результаты за ограниченное время, например, не более чем за час.
Из уровня техники известно, что выравнивание слоев можно сделать по специальным реперным меткам-вырезам. Например, такая возможность описана в описании к патенту США 7750293, где метки используют для контроля толщины слоя, но также отмечено, что по меткам можно выравнивать слои. Однако необходимость сканировать область большего размера, включающую метки, ведет к уменьшению пространственного разрешения в области интереса на образце, что может быть неприемлемо. В патенте РФ 2610216 (он же патент США 9064328) отмечается, что "выравнивание может быть основано на способах обработки, которые идентифицируют правильное латеральное положение одного среза относительно следующего", но не уточняется, что это за способы. Очевидно, что по латеральным изображениям (точнее по продольным горизонтальному и вертикальному сечениям) оператор может осуществить выравнивание вручную, но это требует значительных временных затрат.
Для автоматического выравнивания изображений слоев FIB-SEM в публикациях (например, в статье Prill Т. et al. Morphological segmentation of FIB-SEM data of highly porous media //Journal of microscopy. - 2013. - T. 250. - №. 2. - C. 77-87), как правило, упоминается один из следующих подключаемых модулей (plug-in) к проекту с открытым кодом ImageJ (http://imagej.net):
• StackReg (http://bigwww.epfl.ch/thevenaz/stackreg/);
• JavaSIFT (https://imagej.net/Linear_Stack_Alignment_with_SIFT);
• Stabilizer (http://www.cs.cmu.edu/~kangli/code/Image_Stabilizer.html).
В StackReg реализован итеративный пирамидальный алгоритм совмещения изображений, обеспечивающий нахождение субпиксельных сдвигов. На каждой итерации, начиная с низкого разрешения и до полного, совмещаемые изображения аппроксимируются сплайнами, смещение между которыми находится с помощью нелинейного метода наименьших квадратов. В JavaSIFT на изображениях детектируются ключевые точки (дескрипторы) с помощью масштабно-инвариантной трансформации признаков (Scale-Invariant Feature Transform, SIFT), затем алгоритм RANSAC (RANdom SAmple Consensus) применяется для нахождения матрицы преобразования (трансформации) одного изображения в другое. Stabilizer для совмещения изображений использует вычисление оптического потока Лукаса-Канаде.
Одним из наиболее часто упоминаемых коммерческих программных продуктов для работы с FIB-SEM изображениями является Avizo (компания Thermo Scientific). Данная программа может, в частности, использоваться и для выравнивания изображений слоев с помощью минимизации суммы квадрата разностей между соседними слоями.
Таким образом, существующие подходы для автоматического выравнивания изображений слоев ФИП-РЭМ изображения основаны на предположении о похожести соседних слоев, данные подходы стремятся минимизировать разницу между слоями, или максимизировать корреляцию между ними, или совместить ключевые точки (дескрипторы). Данные подходы позволяют получить в продольных сечениях выровненного изображения более-менее гладкие границы между различными отличающимися интенсивностью веществами образца (или между веществами и пустотами), но они часто вносят значительные геометрические искажения в результирующее трехмерное изображение. Это объясняется тем, что границы в изображении, как правило, имеют преимущественную ориентацию в пространстве, если не для целого трехмерного изображения, то по крайней мере, в пределах нескольких десятков соседних слоев. Алгоритмы, основанные на похожести соседних слоев, стремятся не только компенсировать небольшие случайные смещения (произвольные аффинные искажения в общем случае), но и изменить ориентацию границ в продольных сечениях на перпендикулярную к плоскости поперечного сечения. Этот факт легко проиллюстрировать с помощью трехмерного изображения, содержащего цилиндры, ось симметрии которых ориентирована вдоль произвольной оси (за исключением, ориентации оси перпендикулярно плоскости поперечного сечения). После применения способа, основанного, например, на минимизации суммы квадрата разностей между слоями, ось для всех цилиндров будет ориентирована перпендикулярно плоскости поперечного сечения, что очевидно некорректно.
Также следует отметить, что ни один из существующих способов не является универсальным даже с точки зрения получения в продольных сечениях выровненного изображения с более-менее гладкими границами между областями разной интенсивности, всегда можно найти тип изображения, для которого он окажется неработоспособным. Например, комбинация SIFT-RANSAC неработоспособна для изображения, содержащего ориентированные в одном направлении цилиндры. С другой стороны, для любого изображения можно выбрать способ из числа перечисленных, который в результате выравнивания обеспечит более-менее гладкие границы между областями разной интенсивности.
Техническим результатом заявленного изобретения является обеспечение возможности выравнивания изображений слоев образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком, без существенных геометрических искажений за время, которое незначительно превышает выравнивание с помощью существующих автоматических способов, но значительно меньше времени, требуемого для выравнивания слоев вручную. Технический результат достигается за счет предоставления оператору возможности оценить характер смещения между слоями, а также задать ограничения на вид аффинного преобразования и величину изменения ориентации границ на продольных сечениях.
Указанный технический результат достигается тем, что в соответствии с предлагаемым способом выравнивания изображений слоев образца, полученных посредством растрового электронного микроскопа с фокусированным ионным пучком, получают последовательность изображений слоев, составляющих трехмерное изображение образца. Последовательно отображают на устройстве отображения полученные изображения слоев и определяют характер смещения изображений слоев друг относительно друга. На основе характера смещения изображений слоев выбирают тип преобразования одного из изображений соседних слоев, обеспечивающего выравнивание изображений соседних слоев, и выбирают способ поиска соответствия изображений соседних слоев для выравнивания изображений слоев. Детектируют в трехмерном изображении образца примерное положение контрастных границ между областями изображения разной интенсивности. Выбирают и отображают на устройстве отображения горизонтальное продольное сечение трехмерного изображения образца, в котором контрастная граница пересекает наибольшее количество изображений слоев, на выбранном горизонтальном продольном сечении обозначают окрестность данной контрастной границы и отмечают с помощью интерфейса пользователя точное положение контрастной границы. Затем выбирают и последовательно отображают на устройстве отображения такие горизонтальные продольные сечения трехмерного изображения образца, в которых контрастная граница пересекает наибольшее количество оставшихся изображений слоев, на которых еще не отмечено точное положение контрастной границы, на каждом выбранном горизонтальном продольном сечении обозначают окрестность данной контрастной границы и отмечают с помощью интерфейса пользователя точное положение данной границы. Выбирают и отображают на устройстве отображения вертикальное продольное сечение трехмерного изображения образца, в котором контрастная граница пересекает наибольшее количество изображений слоев, на выбранном вертикальном продольном сечении обозначают окрестность данной контрастной границы и отмечают точное положение границы. Затем выбирают и последовательно отображают на устройстве отображения такие вертикальные продольные сечения трехмерного изображения образца, в которых контрастная граница пересекает наибольшее количество оставшихся изображений слоев, на которых еще не отмечено точное положение контрастной границы. На каждом выбранном вертикальном продольном сечении обозначают окрестность данной контрастной границы и отмечают с помощью интерфейса пользователя точное положение границы. Выравнивают изображения слоев с помощью выбранного способа поиска соответствия изображений соседних слоев для выбранного типа преобразования с учетом наименьшего искажения положения отмеченных границ на вертикальных и горизонтальных продольных сечениях и отображают на устройстве отображения вертикальное и горизонтальное продольные сечения изображения с выровненными изображениями слоев.
Тип преобразования, обеспечивающего выравнивание изображений соседних слоев, выбирают из группы, содержащей произвольное аффинное преобразование, параллельные сдвиги, параллельные сдвиги совместно с масштабированием.
Способ поиска соответствия изображений соседних слоев выбирают из группы, содержащей перебор параметров матрицы преобразований одного из слоев с целью минимизации суммы абсолютных разностей точек слоев, перебор параметров матрицы преобразований одного из слоев с целью минимизации суммы квадратов разностей точек слоев, перебор параметров матрицы преобразований одного из слоев с целью максимизации коэффициента корреляции между слоями, нахождение соответствия между ключевыми точками слоев.
Примерное положение контрастных границ в трехмерном изображении детектируют с помощью фильтра разность гауссиан и последующего сравнения с предопределенным значением.
Система выравнивания слоев изображения, полученного с помощью растрового электронного микроскопа с фокусированным ионным пучком, содержит по меньшей мере один процессор, сконфигурированный с возможностью выравнивания соседних изображений слоев и обеспечения вывода на устройстве отображения изображений слоев поперечного сечения образца, списка доступных для выбора типов преобразования и способов поиска соответствия изображений слоев, горизонтальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, горизонтальных продольных сечений выровненного изображения, вертикальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, вертикальных продольных сечений выровненного изображения. Система содержит также память, предназначенную для хранения исходных изображений слоев, выровненных изображений слоев, трехмерного изображения образца, содержащего примерное положение контрастных границ между областями разной интенсивности, выбранных типа преобразования и способа поиска соответствия соседних слоев для их выравнивания, а также программы с инструкциями, сконфигурированными для выравнивания изображений соседних слоев и обеспечения вывода на устройстве отображения слоев поперечного сечения образца, списка доступных для выбора типов преобразования и способов поиска соответствия слоев, горизонтальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, горизонтальных продольных сечений выровненного изображения, вертикальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, вертикальных продольных сечений выровненного изображения. Система выравнивания слоев изображения сожержит также интерфейс пользователя, сетевой интерфейс обмена данными, устройство отображения с по меньшей мере одним экраном и канал обмена данными.
Интерфейс пользователя выполнен в виде по меньшей мере одного устройства, выбранного из группы: сенсорный экран, мышь, джойстик, тачпэд, клавиатура, микрофон для голосового управления, датчики для управление жестами.
Изобретение поясняется чертежами, где на Фиг. 1 схематично показана процедура получения изображения устройством ФИП-РЭМ и вводится используемая в описании система координат; на Фиг. 2 показан пример продольного среза без выравнивания, с выравниванием с помощью известных способов и с помощью заявляемого способа; на Фиг. 3 представлена блок-схема системы выравнивания изображений слоев образца, полученных с помощью ФИП-РЭМ; на Фиг. 4 представлена блок-схема способа выравнивания изображений слоев образца, полученных с помощью ФИП-РЭМ; на Фиг. 5 представлен вариант выполнения отображаемых элементов и элемента управления в процессе выравнивания слоев модельного изображения цилиндров; на Фиг. 6 представлен вариант выполнения отображаемых элементов и элемента управления в процессе выравнивания слоев ФИП-РЭМ изображения горной породы.
На Фиг. 1 схематично показана процедура получения изображения устройством ФИП-РЭМ. Тонкий слой образца в его поперечном сечении (плоскость XY) удаляется ионным пучком, затем образец в плоскости XY сканируется растровым электронным микроскопом, направленным обычно под углом 52 градуса к направлению ионного пучка, в результате чего получается двумерное изображение следующего слоя. Многократное повторение операций удаления слоя и сканирования лежащего ниже слоя приводит к получению последовательности изображений слоев, которые и составляют трехмерное изображение образца.
Поскольку ФИП не удаляет слой абсолютно ровно, на изображении слоя, как правило, присутствуют нежелательные помехи в виде вертикальных полос параллельных оси Y (в англоязычной литературе они носят название «curtaining», от англ. "curtain" - штора, занавес). Для функционирования заявленного способа предпочтительно, чтобы вертикальные полосы были подавлены до применения способа. Это можно сделать, например, с помощью подхода, описанного в статье Munch В. et al. Stripe and ring artifact removal with combined wavelet-Fourier filtering (Optics express. - 2009. - T. 17. - №. 10. - C. 8567-8591).
Кроме того, из-за расположения РЭМ под углом, отличным от 90 градусов к продольному сечению образца, слои образца будут смещаться друг относительно друга равномерно вдоль оси Y. Поскольку при большом количестве слоев образец может выйти за пределы поля зрения электронного микроскопа, то на практике данное искажение обычно корректируют еще на этапе эксперимента, например, механическим перемещением образца. В противном случае коррекция этого искажения выполняется исходя из простых геометрических соображений. Для функционирования заявленного способа предпочтительно, что подобная коррекция была выполнена до применения заявленного способа.
В силу стохастических процессов изображения слоев случайным образом смещены друг относительно друга. Смещения легко увидеть на продольных горизонтальном (XZ) и вертикальном (YZ) сечениях изображения. Размеры продольных сечений определяются количеством и размером слоев. Смещения выглядят как "дрожание строк" ("эффект гребенки") на контрастных границах между областями разной интенсивности.
Фиг. 2а демонстрирует пример того, как выглядят смещения слоев на горизонтальном продольном сечении изображения ФИП-РЭМ. На фиг. 2b показано горизонтальное продольное сечение результата выравнивания способом, известным из уровня техники, а именно комбинацией способов SIFT-RANSAC. Дрожание строк почти устранено, и границы выглядят почти гладкими, но, поскольку границы в данном изображении имеют преимущественное направление, происходят геометрические искажения. Окружностями показаны места, где в исходном не выровненном изображении расположены поры (темные участки). После выравнивания участки этих пор смещены правее. На фиг. 2 с показано горизонтальное продольное сечение результата выравнивания заявляемым способом. Границы между участками различной интенсивности выглядят гладкими, и смещение положения пор не происходит.
На Фиг. 3 показана схема системы выравнивания изображений слоев, полученных с помощью ФИП-РЭМ. Система содержит по меньшей мере один процессор 1, память 2, причем память может быть разного типа (статическая и динамическая) и может быть распределена между несколькими процессорами, интерфейс 3 пользователя, сетевой интерфейс 4 обмена данными и устройство 5 отображения с по меньшей мере одним экраном. Все перечисленные компоненты 1-5 соединены каналом 6 обмена данными.
Память 2 предназначена для хранения слоев исходного изображения, выровненных изображений слоев, трехмерного изображения, содержащего примерное положение контрастных границ между областями разной интенсивности, выбранного типа преобразования, обеспечивающего выравнивание изображений соседних слоев, и способа поиска соответствия соседних слоев для их выравнивания. Она также содержит программы 7 с инструкциями, сконфигурированными для выравнивания изображений соседних слоев и обеспечения вывода на устройстве 5 отображения изображений слоев 8 поперечного сечения образца, списка 9 доступных для выбора типов преобразования и способов поиска соответствия слоев, горизонтальные продольные сечения 10 исходного изображения с отмеченной окрестностью 11 примерного положения контрастной границы, горизонтальные продольные сечения 12 выровненного изображения, вертикальные продольные сечения 13 исходного изображения с отмеченной окрестностью 14 примерного положения контрастной границы, вертикальные продольные сечения 15 выровненного изображения.
Процессор 1 сконфигурирован с возможностью выравнивания изображений соседних слоев и обеспечения вывода на устройстве 5 отображения слоев 8 поперечного сечения образца, списка 9 доступных для выбора типов преобразования и способов поиска соответствия слоев, горизонтальных продольных сечений 10 исходного изображения с отмеченной окрестностью 11 примерного положения контрастной границы, горизонтальных продольных сечений 12 выровненного изображения, вертикальные продольных сечений 13 исходного изображения с отмеченной окрестностью 14 примерного положения контрастной границы, вертикальных продольных сечений 15 выровненного изображения, путем исполнения программ с инструкциями, содержащихся в памяти 2 системы выравнивания изображений слоев.
Система может быть выполнена на основе одного компьютерного или микропроцессорного устройства, в том числе мобильного, тогда канал 6 обмена данными является шиной данных. Также система может быть выполнена в виде нескольких компьютерных и микропроцессорных устройств, часть из которых может быть мобильными, тогда канал 6 обмена данными является проводной или беспроводной сетью обмена данными. Нахождение соответствия между изображениями соседних слоев и хранение изображений может осуществляться несколькими устройствами в облачной среде или локальной сети. В этом случае используют интерфейс обмена данными, являющийся интерфейсом проводной или беспроводной сети. Также обработка и хранение изображений может осуществляться на единственном устройстве. В этом случае обмен данными происходит в оперативной памяти. В качестве интерфейса 3 пользователя может использоваться любое из перечисленных устройств или их комбинация: сенсорный экран, мышь, джойстик, тачпэд, клавиатура, микрофон для голосового управления, датчики для управление жестами или иные способы ввода информации в компьютерную систему.
Устройство 5 отображения выполнено с возможностью отображения слоев 8 поперечного сечения образца, списка 9 доступных для выбора типов преобразования и способов поиска соответствия слоев, горизонтальных продольных сечений 10 исходного изображения с отмеченной окрестностью 11 примерного положения контрастной границы, горизонтальных продольных сечений 12 выровненного изображения, вертикальных продольных сечений 13 исходного изображения с отмеченной окрестностью 14 примерного положения контрастной границы, вертикальных продольных сечений 15 выровненного изображения.
Также процессор 1 может быть выполнен с возможностью обеспечения отображения на устройстве 5 отображения кнопок 16 для изменения отображаемых слоев 8 в поперечном сечении образца, кнопок 17 для изменения отображаемых горизонтальных продольных сечений 10 и 12, кнопок 18 для изменения отображаемых вертикальных продольных сечений 13 и 15, указатель 19, который выполнен с возможностью перемещения с помощью интерфейса 3 пользователя по горизонтальному продольному сечению 10 и отметки точного положения границы внутри окрестности 11, а также с возможностью перемещения с помощью интерфейса 3 пользователя по вертикальному продольному сечению 13 и отметки точного положения границы внутри окрестности 14.
На Фиг. 4 представлена блок-схема способа выравнивания изображений слоев, содержащего несколько этапов. На первом этапе (поз. 20 на Фиг. 4) посредством растрового электронного микроскопа с фокусированным ионным пучком получают последовательность изображений слоев, составляющих трехмерное изображение образца. Далее (поз. 21 на Фиг. 4) последовательно отображают на устройстве 5 отображения слои (в плоскости XY) с целью определить характер их смещения. Слои могут отображаться как кадры видео с заданной частотой смены кадров или пролистываться путем нажатия кнопок 16 для изменения изображения отображаемого слоя с помощью интерфейса 3 пользователя. В ходе пролистывания оператор должен определить характер смещений: ограничены ли они только сдвигами вдоль осей X и Y, или также присутствует скос некоторого слоя относительно соседнего и резкое изменение масштаба.
На следующем этапе (поз. 22, на Фиг. 4), основываясь на характере смещений, выбирают тип преобразования одного из изображений соседних слоев, обеспечивающего выравнивание изображений соседних слоев, из группы, содержащей: произвольное аффинное преобразование, только параллельные сдвиги, параллельные сдвиги и масштабирование. Далее (поз. 23, на Фиг. 4), по виду изображений слоев оператор должен определить подходящий способ поиска соответствия соседних слоев для их выравнивания. Для большинства изображений можно найти соответствие между ключевыми точками (дескрипторами) слоев, а по ключевым точкам определить матрицу преобразования одного слоя в другой, например, с помощью RANSAC. Ключевые точки могут быть найдены, например, с помощью масштабно-инвариантной трансформации признаков (SIFT), или с помощью SURF, или с помощью KAZE. Если на изображении слоя присутствуют одинаковые структуры повторяющиеся по полю изображения слоя (такое имеет место, например, для изображений изделий микроэлектроники), то выравнивание с помощью нахождения соответствия ключевых точек (дескрипторов) невозможно. В этом случае следует выбрать способ поиска соответствия соседних слоев из группы: перебор параметров матрицы преобразования одного из слоев с целью минимизации суммы абсолютных разностей точек слоев, перебор параметров матрицы преобразований одного из слоев с целью минимизации суммы квадратов разностей точек слоев, перебор параметров матрицы преобразований одного из слоев с целью максимизации коэффициента корреляции между слоями.
Детектируют (поз. 24 на Фиг. 4) в трехмерном изображении ФИП-РЭМ примерное положение контрастных границ между областями разной интенсивности. Это можно сделать путем применения фильтров лапласиан гауссиана (Laplacian of Gaussian, LoG) или разность гауссиан (Difference of Gaussian, DoG) с трехмерным ядром свертки. Если результат фильтрации в некотором вокселе превышает заданный порог, то считается, что данный воксель относится к контрастной границе.
Выбирают и отображают (поз. 25 на Фиг. 4) на устройстве 5 отображения горизонтальное продольное сечение 10 трехмерного изображения образца, в котором контрастная граница пересекает наибольшее количество изображений слоев, на выбранном горизонтальном продольном сечении обозначают окрестность данной контрастной границы 11 и отмечают с помощью интерфейса 3 пользователя точное положение границы.
Выбирают и последовательно отображают (поз. 26 на Фиг. 4) на устройстве 5 отображения такие горизонтальные продольные сечения 10 трехмерного изображения образца, в которых контрастная граница пересекает наибольшее количество оставшихся изображений слоев и на которых еще не отмечено точное положение контрастной границы, на каждом выбранном горизонтальном продольном сечении обозначают окрестность данной контрастной границы 11 и отмечают с помощью интерфейса 3 пользователя точное положение границы.
Выбирают и отображают (поз. 27 на Фиг. 4) на устройстве 5 отображения вертикальное продольное сечение 13 трехмерного изображения образца, в котором контрастная граница пересекает наибольшее количество изображений слоев, на выбранном вертикальном продольном сечении обозначают окрестность данной контрастной границы 14 и отмечают с помощью интерфейса 3 пользователя точное положение границы
Выбирают и последовательно отображают (поз. 28 на Фиг. 4) на устройстве 5 отображения такие вертикальные продольные сечения 13 трехмерного изображения образца, в которых контрастная граница пересекает наибольшее количество оставшихся изображений слоев и на которых еще не отмечено точное положение контрастной границы, на каждом выбранном вертикальном продольном сечении обозначают окрестность данной контрастной границы 14 и отмечают с помощью интерфейса 3 пользователя точное положение границы.
На заключительном этапе (поз. 29 на Фиг. 4) выравнивают слои с помощью выбранного способа поиска соответствия соседних слоев для выбранного типа преобразования с учетом наименьшего искажения положения отмеченных границ на вертикальных и горизонтальных продольных сечениях и отображают на устройстве 5 отображения вертикальное 12 и горизонтальное 15 продольные сечения ФИП-РЭМ изображения с выровненными слоями.
На Фиг. 5 представлен вариант выполнения отображаемых элементов и элемента управления в процессе выравнивания слоев модельного изображения ориентированных одинаковым образом цилиндров в случае случайных сдвигов параллельно осям X и Y. Последовательно пролистывая с помощью кнопок 16 на устройстве 5 отображения изображения слоев образца 8 (А на Фиг. 5), оператор убеждается, что в изображении присутствуют только сдвиги вдоль X и Y. После этого оператор в списке доступных для выбора типов преобразования и способов поиска соответствия слоев 9 выбирает "Параллельный перенос" как "Тип преобразования" и SAD (Sum of absolute differences - сумма абсолютных разностей) как "Способ совмещения". После этого на устройстве 5 отображения выводится такое горизонтальное продольное сечение XZ изображения 10 (Б на Фиг. 5), в котором контрастная граница пересекает наибольшее количество еще не отмеченных слоев. На данном сечении окрестность 11 примерного положения данной контрастной границы обозначается в виде прямоугольника. В пределах этого прямоугольника оператор, перемещая с помощью интерфейса 3 пользователя указатель 15, отмечает точное положение границы. После этого, в общем случае, выводится другое горизонтальное продольное сечение (Б на Фиг. 5) с контрастной границей, чтобы пользователь отметил точное положение границы. Это повторяется до тех пор, пока для всех слоев не будет отмечен по крайней мере один пиксел как точное положение границы для сечения XZ. Далее аналогичные действия производятся для вертикальных продольных сечений YZ (Г на Фиг. 5). После того как точные положения границы указаны для всех слоев как в горизонтальных, так и в вертикальных продольных сечениях, выполняется попарное выравнивание слоев с помощью способа SAD (минимизация суммы абсолютных разностей) и преобразования "Параллельный перенос" с учетом наименьшего искажения положения отмеченных границ. Результаты выравнивания выводятся на устройство 5 отображения в виде горизонтальных 12 (В на Фиг. 5) и вертикальных 15 (Д на Фиг. 5) продольных сечений. Причем горизонтальное продольное сечение 12 для результата выравнивания приблизительно соответствует сечению 10 для невыровненного изображения, а вертикальное продольное сечение 15 результата выравнивания приблизительно соответствует сечению 13 для невыровненного изображения. С помощью кнопок 17 оператор последовательно изменяет горизонтальные продольные сечения 10 и 12. С помощью кнопок 18 оператор последовательно изменяет вертикальные продольные сечения 13 и 15.
На Фиг. 6 представлен вариант выполнения отображаемых элементов и элемента управления в процессе выравнивания слоев реального изображения ФИП-РЭМ песчаника. В изображении присутствуют искажения типа скос, изменение масштаба и параллельный перенос. Последовательно пролистывая с помощью кнопок 16 на устройстве 5 отображения изображения слоев образца 8 (А на Фиг. 6), оператор убеждается, что между изображениями слоев существуют разнообразные искажения. После этого оператор в списке доступных для выбора типов преобразования и способов поиска соответствия изображений слоев 9 выбирает "Произвольное аффинное" как "Тип преобразования" и SIFT-RANSAC как "Способ совмещения". После этого на устройстве 5 отображения выводится такое горизонтальное продольное сечение XZ изображения 10 (Б на Фиг. 6), в котором контрастная граница пересекает наибольшее количество еще не отмеченных слоев. На данном сечении окрестность 11 примерного положения данной контрастной границы обозначается в виде прямоугольника. В пределах этого прямоугольника оператор, перемещая с помощью интерфейса 3 пользователя указатель 15, отмечает точное положение границы. После этого выводится в общем случае другое горизонтальное продольное сечение (Б на Фиг. 6) с контрастной границей, чтобы пользователь отметил точное положение границы. Это повторяется до тех пор, пока для всех изображений слоев не будет отмечен по крайней мере один пиксел как точное положение границы для сечения XZ. Далее аналогичные действия производятся для вертикальных продольных сечений YZ (Г на Фиг. 6). После того как точные положения границы указаны для всех слоев как в горизонтальных, так и в вертикальных продольных сечениях, выполняется попарное выравнивание изображений слоев с помощью поиска ключевых точек SIFT с последующим определением матрицы преобразования с помощью RANSAC для произвольного аффинного преобразования с учетом наименьшего искажения положения отмеченных границ. Результаты выравнивания выводятся на устройство 5 отображения в виде горизонтальных 12 (В на Фиг. 6) и вертикальных 15 (Д на Фиг. 6) продольных сечений. Причем горизонтальное продольное сечение 12 для результата выравнивания приблизительно соответствует сечению 10 для невыровненного изображения, а вертикальное продольное сечение 15 результата выравнивания приблизительно соответствует сечению 13 для невыровненного изображения. С помощью кнопок 17 оператор последовательно изменяет горизонтальные продольные сечения 10 и 12. С помощью кнопок 18 оператор последовательно изменяет вертикальные продольные сечения 13 и 15.
Хотя указанные выше варианты выполнения изобретения были изложены с целью иллюстрации, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.
1. Способ выравнивания изображений слоев образца, полученных с помощью растрового электронного микроскопа с фокусированным ионным пучком, в соответствии с которым:
- посредством растрового электронного микроскопа с фокусированным ионным пучком получают последовательность изображений слоев, составляющих трехмерное изображение образца;
- последовательно отображают на устройстве отображения полученные изображения слоев и определяют характер смещения изображений слоев друг относительно друга;
- на основе характера смещения изображений слоев выбирают тип преобразования одного из изображений соседних слоев, обеспечивающего выравнивание изображений соседних слоев,
- выбирают способ поиска соответствия изображений соседних слоев для выравнивания изображений слоев;
- детектируют в трехмерном изображении образца примерное положение контрастных границ между областями изображения разной интенсивности;
- выбирают и отображают на устройстве отображения горизонтальное продольное сечение трехмерного изображения образца, в котором контрастная граница пересекает наибольшее количество изображений слоев, на выбранном горизонтальном продольном сечении обозначают окрестность данной контрастной границы и отмечают с помощью интерфейса пользователя точное положение контрастной границы;
- выбирают и последовательно отображают на устройстве отображения такие горизонтальные продольные сечения трехмерного изображения образца, в которых контрастная граница пересекает наибольшее количество оставшихся изображений слоев, на которых еще не отмечено точное положение контрастной границы, на каждом выбранном горизонтальном продольном сечении обозначают окрестность данной контрастной границы и отмечают с помощью интерфейса пользователя точное положение данной границы;
- выбирают и отображают на устройстве отображения вертикальное продольное сечение трехмерного изображения образца, в котором контрастная граница пересекает наибольшее количество изображений слоев, на выбранном вертикальном продольном сечении обозначают окрестность данной контрастной границы и отмечают точное положение границы;
- выбирают и последовательно отображают на устройстве отображения такие вертикальные продольные сечения трехмерного изображения образца, в которых контрастная граница пересекает наибольшее количество оставшихся изображений слоев, на которых еще не отмечено точное положение контрастной границы, на каждом выбранном вертикальном продольном сечении обозначают окрестность данной контрастной границы и отмечают с помощью интерфейса пользователя точное положение границы;
- выравнивают изображения слоев с помощью выбранного способа поиска соответствия изображений соседних слоев для выбранного типа преобразования с учетом наименьшего искажения положения отмеченных границ на вертикальных и горизонтальных продольных сечениях и отображают на устройстве отображения вертикальное и горизонтальное продольные сечения изображения с выровненными изображениями слоев.
2. Способ по п. 1, в соответствии с которым тип преобразования, обеспечивающего выравнивание изображений соседних слоев, выбирают из группы, содержащей произвольное аффинное преобразование, параллельные сдвиги, параллельные сдвиги совместно с масштабированием.
3. Способ по п. 1, в соответствии с которым способ поиска соответствия изображений соседних слоев выбирают из группы, содержащей перебор параметров матрицы преобразований одного из слоев с целью минимизации суммы абсолютных разностей точек слоев, перебор параметров матрицы преобразований одного из слоев с целью минимизации суммы квадратов разностей точек слоев, перебор параметров матрицы преобразований одного из слоев с целью максимизации коэффициента корреляции между слоями, нахождение соответствия между ключевыми точками слоев.
4. Способ по п. 1, в соответствии с которым примерное положение контрастных границ в трехмерном изображении детектируют с помощью фильтра разность гауссиан и последующего сравнения с предопределенным значением.
5. Система выравнивания слоев изображения, полученного с помощью растрового электронного микроскопа с фокусированным ионным пучком, содержащая:
- по меньшей мере один процессор, сконфигурированный с возможностью выравнивания соседних изображений слоев и обеспечения вывода на устройстве отображения изображений слоев поперечного сечения образца, списка доступных для выбора типов преобразования и способов поиска соответствия изображений слоев, горизонтальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, горизонтальных продольных сечений выровненного изображения, вертикальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, вертикальных продольных сечений выровненного изображения;
- память, предназначенную для хранения исходных изображений слоев, выровненных изображений слоев, трехмерного изображения образца, содержащего примерное положение контрастных границ между областями разной интенсивности, выбранных типа преобразования и способа поиска соответствия соседних слоев для их выравнивания, а также программы с инструкциями, сконфигурированными для выравнивания изображений соседних слоев и обеспечения вывода на устройстве отображения слоев поперечного сечения образца, списка доступных для выбора типов преобразования и способов поиска соответствия слоев, горизонтальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, горизонтальных продольных сечений выровненного изображения, вертикальных продольных сечений исходного изображения с отмеченной окрестностью примерного положения контрастной границы, вертикальных продольных сечений выровненного изображения;
- интерфейс пользователя;
- сетевой интерфейс обмена данными;
- устройство отображения с по меньшей мере одним экраном;
- канал обмена данными.
6. Система по п. 5, отличающаяся тем, что интерфейс пользователя выполнен в виде по меньшей мере одного устройства, выбранного из группы: сенсорный экран, мышь, джойстик, тачпэд, клавиатура, микрофон для голосового управления, датчики для управления жестами.
