Способ повышения точности геометрических измерений, проводимых с помощью стереоскопического устройства на основе призменно-линзовой оптической системы
Владельцы патента RU 2693532:
федеральное государственное бюджетное образовательное учреждение высшего образования "Национальный исследовательский университет "МЭИ" (ФГБОУ ВО "НИУ "МЭИ") (RU)
Изобретение относится к технологиям визуально-измерительного контроля. Способ повышения точности геометрических измерений, проводимых с помощью стереоскопического устройства на основе призменно-линзовой оптической системы, включает предварительную калибровку устройства на основе совместной обработки набора изображений тест-объекта, зарегистрированных при различных положениях тест-объекта относительно оптической системы, и вычисление калибровочных параметров математической модели оптической системы и матричного приемника излучения, регистрацию изображения исследуемого объекта и обработку этого изображения, вычисление координат точек поверхности исследуемого объекта в трехмерном пространстве и расчет геометрических параметров исследуемого объекта с использованием калибровочных параметров. Калибровку устройства осуществляют совместно по нескольким наборам изображений тест-объекта, полученных в узких с шириной по уровню половины максимума менее 1/10 ширины рабочего спектрального диапазона устройства диапазонах длин волн в пределах рабочего спектрального диапазона устройства. Изображение исследуемого объекта регистрируют в узком диапазоне длин волн в пределах рабочего спектрального диапазона устройства. По вычисленным значениям калибровочных параметров, соответствующим узким спектральным интервалам, осуществляют расчет приведенных калибровочных параметров, соответствующих диапазону, в котором зарегистрировано изображение исследуемого объекта, с помощью интерполяции спектрально-зависимых калибровочных параметров. Техническим результатом является повышение эффективности применения призменно-линзовых систем за счет увеличения контраста регистрируемых изображений в узких спектральных интервалах и снижения систематической погрешности измерений геометрических параметров объектов, вызванной неоптимальными методами калибровки. 2 ил.
Изобретение относится к технологиям визуально-измерительного контроля (ВИК), позволяющим по зарегистрированным изображениям осуществить измерение геометрических параметров объектов, находящихся в труднодоступных внутренних полостях технических устройств и сооружений.
В ряде случаев, например, при контроле авиационных и ракетных двигателей, трубопроводов, теплообменников и других промышленных объектов, в ходе визуально-измерительного контроля (ВИК) возникает необходимость не только выявить дефекты, но и измерить их геометрические характеристики. [Клюев В.В., Соснин Ф.Р. Неразрушающий контроль. Справочник. Т. 1. Книга 1. Визуальный и измерительный контроль. // М.: Машиностроение, 2008. 324 с.]. Допустимость или недопустимость обнаруженных дефектов определяется требованиями нормативной документации к их геометрическим параметрам: поперечным размерам, глубине/высоте, площади и др.
Для измерения геометрических характеристик объекта может применяться пассивный стереоскопический метод, использующий сопоставление изображений, полученных одновременно с разных ракурсов при помощи нескольких устройств регистрации (УР), с учетом информации о взаимном расположении этих устройств [Pears N., Liu Y. and Bunting P. 3D imaging, analysis and applications. London, UK: Springer Verlag, 2012. 500 p. Chapter 2, pp. 35-94]. Для реализации этих методов может использоваться составная оптическая система (ОС), содержащая несколько пространственно разнесенных частей, а изображения, полученные синхронно с разных ракурсов, могут регистрироваться на разные части одного матричного приемника излучения (МПИ). Наиболее распространенной реализацией данного метода является получение двух изображений на МПИ при помощи призменно-линзовой системы. Применение такой системы позволяет сократить поперечные размеры устройства, что позволяет создавать на ее основе стереонасадки для видеоэндоскопов, используемых при проведении ВИК труднодоступных полостей различных объектов [Lafleur F. Videoscope Trends: Improvements and New Developments. https://www.qualitymag.com/articles/93455-videoscope-trends-improvements-and-new-developments; Hubben E. and Jervis D., "Advances in Three Dimensional Measurement in Remote Visual Inspection", Proc. of 18th World Conference on Nondestructive Testing (2012); Batshev V., Machikhin A. and Kachurin Y., "Stereoscopic tip for a video endoscope: problems in design", Proc. SPIE, 10466. 104664D (2017)].
Известны методы калибровки стереоскопических систем регистрации, использующие проективную (pinhole) математическую модель (ММ) с дополнительным полиномиальным описанием дисторсии, вносимой ОС [Sturm Р, Ramalingam S, Tardif J-P, Gasparini S, Barreto J. Camera models and fundamental concepts used in geometric computer vision. Foundations and Trends in Computer Graphics and Vision 2011; 6: 1-183. DOI: 10.1561/0600000023; Kannala J, Brandt SS. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses. IEEE Trans Pattern Analysis and Machine Intelligence 2006; 28(8): 1335-40. DOI: 10.1109/TPAMI.2006.153; Zhang Z. Flexible camera calibration by viewing a plane from unknown orientations. Proc International Conference on Computer Vision 1999; 666-673. DOI: 10.1109/ICCV.1999.791289]. Калибровка проводится при помощи плоских или трехмерных тест-объектов известной конфигурации, на поверхности которых присутствуют контрастные маркеры, расстояние между которыми известно с высокой точностью. В зависимости от метода и типа тест-объекта регистрируются его изображения в одном положении, нескольких произвольных положениях или нескольких строго контролируемых положениях. Для калибровки призменно-линзовых стереоскопических систем могут применяться методы, использующие как проективную модель [Lim KB, Xiao Y. Virtual stereovision system: new understanding on single-lens stereovision using a biprism. Journal of Electronic Imaging 2005; 14: 043020-043020-11], так и трассировочную модель, учитывающую реальный ход луча через призму [Cui X., Lim К.В., Guo Q. and Wang D., "Accurate geometrical optics model for single-lens stereovision system using a prism", JOSA A, 29, 1828-1837 (2012); Wu L., Zhu J. and Xie H., "Single-lens 3D digital image correlation system based on a bilateral telecentric lens and a biprism: validation and application", Applied Optics, 54, 7842-7850 (2015); Lim K.B. and Qian В., "Biprism distortion modeling and calibration for a single-lens stereovision system", JOSA A, 33, 2213-2224 (2016); Gorevoy A. and Machikhin A., "Optimal calibration of a prism-based videoendoscopic system for precise 3D measurements", Computer Optics, 41(4), 536-546 (2017)]. Наиболее близким к заявляемому методу является метод, описанный авторами патента №US 20100079598 A1 (США, 2008), включающий предварительную калибровку устройства на основе совместной обработки набора изображений тест-объекта, зарегистрированных при различных положениях тест-объекта относительно ОС, и вычислении калибровочных параметров ОС и МПИ, регистрацию изображения исследуемого объекта и обработку этого изображения, вычисление координат точек поверхности исследуемого объекта в трехмерном пространстве и расчет геометрических параметров исследуемого объекта с использованием калибровочных параметров.
К недостаткам данного метода калибровки, ограничивающим его область применения, относится то, что он предназначен для калибровки систем, работающих в широком спектральном диапазоне, ограниченном только спектром излучения источника и спектральной чувствительностью МПИ. Использование данного метода для калибровки призменно-линзовых систем не оптимально при работе в узких спектральных диапазонах и приводит к возрастанию погрешности измерений из-за неизбежной хроматической аберрации [Sasian J., "Introduction to Aberrations in Optical Imaging Systems", Cambridge University Press (2013)]. Такие аберрации приводят к спектральной зависимости фокусного расстояния, коэффициентов дисторсии и других параметров ММ, используемой при калибровке, что не учитывается известным методом.
Использование параметров ММ, полученных указанным методом при калибровке в широком спектральном диапазоне, приведет к заметной погрешности измерений в узких спектральных диапазонах, центральная длина волны которых заметно отличается от средней длины волны широкого диапазона. Так, при калибровке в белом свете погрешность будет возрастать по мере приближения центральной длины волны узкого диапазона к красной или синей границе видимого диапазона. Использование известного метода калибровки в каждом используемом узком спектральном диапазоне ввиду трудоемкости рационально применять на практике только при небольшом числе таких диапазонов.
Задачей изобретения является усовершенствование методов калибровки призменно-линзовых систем для проведения измерений геометрических параметров объектов по стереоскопическим изображениям, полученных в узких спектральных интервалах.
Техническим результатом изобретения является повышение эффективности применения призменно-линзовых систем за счет увеличения контраста регистрируемых изображений в узких спектральных интервалах и снижения систематической погрешности измерений геометрических параметров объектов, вызванной неоптимальными методами калибровки.
Указанный технический результат достигается тем, что в известном способе повышения точности геометрических измерений, проводимых с помощью стереоскопического устройства на основе призменно-линзовой оптической системы, заключающемся в последовательно осуществляемых действиях: предварительной калибровке устройства на основе совместной обработки набора изображений тест-объекта, зарегистрированных при различных положениях тест-объекта относительно оптической системы, и вычислении калибровочных параметров математической модели оптической системы и матричного приемника излучения; регистрации изображения исследуемого объекта и обработки этого изображения; вычислении координат точек поверхности исследуемого объекта в трехмерном пространстве и расчете геометрических параметров исследуемого объекта с использованием калибровочных параметров, согласно изобретению калибровку устройства осуществляют совместно по нескольким наборам изображений тест-объекта, полученных в узких (с шириной по уровню половины максимума менее 1/10 ширины рабочего спектрального диапазона устройства) диапазонах длин волн в пределах рабочего спектрального диапазона устройства; изображение исследуемого объекта регистрируют в узком диапазоне длин волн в пределах рабочего спектрального диапазона устройства; по вычисленным значениям калибровочных параметров, соответствующим узким спектральным интервалам, осуществляют расчет приведенных калибровочных параметров, соответствующих диапазону, в котором зарегистрировано изображение исследуемого объекта, с помощью интерполяции спектрально-зависимых параметров.
На рисунке 1 представлена последовательность действий в случае, если зависимость калибровочных параметров от длины волны известна.
На рисунке 2 представлена последовательность действий в случае, если зависимость калибровочных параметров от длины волны неизвестна.
В зависимости от используемой математической модели калибровочные параметры можно разделить на две группы: спектрально-независимые и спектрально-зависимые; при расчете приведенных калибровочных параметров спектрально-независимые полагаются постоянными, а интерполяции подлежат только спектрально-зависимые.
Количество и положения узких диапазонов длин волн в пределах рабочего спектрального диапазона устройства, используемых при калибровке, определяются из условия достижения требуемой точности вычисления координат точек поверхности исследуемого объекта в трехмерном пространстве и геометрических измерений для всех узких диапазонов длин волн в пределах рабочего спектрального диапазона устройства. Для этого используется метод на основе математического моделирования процесса калибровки с использованием оптической схемы устройства.
Целью процедуры калибровки является вычисление вектора k параметров ММ призменно-линзовой системы, используя полученный набор изображений тест-объекта. При этом используется плоский или трехмерный тест-объект известной конфигурации, на поверхности которых нанесены четко различимые маркеры (шахматные клетки, круги, решетка из линий и другие картины из геометрических фигур).
При одновременной калибровке системы регистрации для L узких спектральных интервалов будут зарегистрировано L наборов изображений тест-объекта и вычислены координаты проекций точек тест-объекта для каждого интервала 
В зависимости от выбранного алгоритма калибровки и особенностей реализации переключения между узкими спектральными интервалами количество положений R тест-объекта может быть одинаковым или разным для всех интервалов.
Если количество используемых спектральных интервалов велико, то проводить одновременную калибровку для всех интервалов затруднительно, поскольку это требует регистрации очень большого числа изображений тест-объекта. В таком случае следует выбрать некоторое количество интервалов для проведения совместной калибровки и интерполировать спектрально-зависимые параметры в зависимости от диапазона длин волн используемого в данный момент спектрального интервала. Количество интервалов для проведения совместной калибровки и метод интерполяции определяются предполагаемым характером зависимости значений параметров от длины волны. В частности, применительно к трассировочной ММ, использованной в работе [Gorevoy A. and Machikhin А., "Optimal calibration of a prism-based videoendoscopic system for precise 3D measurements", Computer Optics, 41(4), 536-546 (2017)] в качестве спектрально-зависимых были приняты два параметра: фокусное расстояние и показатель преломления призмы. Поскольку эти параметры, как правило, являются непрерывными и плавно изменяющимися функциями от длины волны, проведения совместной калибровки для трех правильно выбранных интервалов (расположенных в начале, середине и конце видимого диапазона) и последующей интерполяции по формуле Конради [Conrady А.Е., "Applied Optics and Optical Design", Dover Publications (2011)] оказывается достаточно для последующих измерений в узких спектральных интервалах в пределах видимого диапазона.. Последовательность действий в случае, если зависимость калибровочных параметров от длины волны известна, кратко иллюстрируется на рисунке 1.
Для других ММ калибровочные параметры могут не иметь столь ярко выраженного физического смысла и их зависимость от длины волны может быть заранее неизвестна. В таком случае для определения оптимального количества и положения интервалов для совместной калибровки требуется дополнительный анализ. При наличии оптической схемы системы регистрации такой анализ может быть проведен при помощи математического моделирования, при котором имитируется процесс калибровки.
Проведение такого математического моделирования требует наличия программного обеспечения, осуществляющего трассировку лучей через все поверхности ОС, заданной ее оптической схемой. В таком случае становится возможным вычислить координаты проекций 
каждой точки тест-объекта j=1…М при каждом положении k=1…R тест-объекта и для каждого интервала 
Положения тест-объекта и их количество задаются в соответствии с используемым алгоритмом калибровки. В целях сокращения времени вычислений проводится трассировка только главного луча на центральной длине волны интервала. Полученный набор координат точек 
используется в качестве входных данных для процедуры калибровки.
Для первичного анализа следует задать количество интервалов L порядка 10, равномерно распределенных в пределах рабочего диапазона, провести моделирование совместной калибровки для всех интервалов и оценить полученный характер зависимости значений калибровочных параметров от длины волны. В зависимости от величины изменений параметры можно разделить на спектрально-зависимые и спектрально-независимые. Для спектрально-зависимых параметров далее следует провести сравнительный анализ различных методов интерполяции и оптимальным образом выбрать из L интервалов минимально необходимое количество интервалов для выбранного метода интерполяции. Так, для линейной интерполяции необходимо выбрать 2 интервала таким образом, чтобы для остальных (L-2) интервалов обеспечить для каждого спектрально-зависимого параметра минимальное расхождение интерполированных значений со значениями, полученными при калибровке. Выбрав количество и положение интервалов для совместной калибровки, следует повторить для них калибровку и затем провести проверочный расчет.
Для проведения проверочного расчета требуется аналогично моделированию калибровки для каждого интервала 
вычислить координаты проекций точек, равномерно распределенных в пределах рабочего объема системы регистрации. Это соответствует моделированию съемки проверочной серии и позволяет оценить систематическую погрешность измерения 3D координат точек и геометрических параметров, например, длин ориентированных различным образом отрезков как в работе [Gorevoy A. and Machikhin A., "Optimal calibration of a prism-based videoendoscopic system for precise 3D measurements", Computer Optics, 41(4), 536-546 (2017)]. Если полученные значения погрешности не являются допустимыми, следует вернуться на предыдущий этап и рассмотреть возможность увеличения количества интервалов. Если это представляется нецелесообразным, следует рассмотреть использование другой ММ. Последовательность действий в случае, если зависимость калибровочных параметров от длины волны неизвестна, кратко иллюстрируется на рисунке 2.
Следует отметить, что как при проведении калибровки, так и при проверочном расчете требуется один раз провести вычисление набора данных, который впоследствии может многократно использоваться для проведения калибровки с различными ММ и различным количеством интервалов. Этим обеспечивается возможность сравнения различных вариантов непосредственно по величине систематической погрешности измерений и сразу делать вывод об их применимости.
Способ повышения точности геометрических измерений, проводимых с помощью стереоскопического устройства на основе призменно-линзовой оптической системы, включающий предварительную калибровку устройства на основе совместной обработки набора изображений тест-объекта, зарегистрированных при различных положениях тест-объекта относительно оптической системы, и вычисление калибровочных параметров математической модели оптической системы и матричного приемника излучения, регистрацию изображения исследуемого объекта и обработку этого изображения, вычисление координат точек поверхности исследуемого объекта в трехмерном пространстве и расчет геометрических параметров исследуемого объекта с использованием калибровочных параметров,
отличающийся тем, что калибровку устройства осуществляют совместно по нескольким наборам изображений тест-объекта, полученных в узких, с шириной по уровню половины максимума менее 1/10 ширины рабочего спектрального диапазона устройства, диапазонах длин волн, в пределах рабочего спектрального диапазона устройства,
изображение исследуемого объекта регистрируют в узком диапазоне длин волн в пределах рабочего спектрального диапазона устройства,
по вычисленным значениям калибровочных параметров, соответствующим узким спектральным интервалам, осуществляют расчет приведенных калибровочных параметров, соответствующих диапазону, в котором зарегистрировано изображение исследуемого объекта, с помощью интерполяции спектрально-зависимых калибровочных параметров.
