Система и способ виртуального прототипирования улыбки на базе тактильного компьютерного устройства

Группа изобретений относится к медицине, а именно к стоматологии, и может быть использована при протезировании пациента с полными или частичными дефектами зубов и зубных рядов, видимых при улыбке. Способ виртуального прототипирования улыбки включает отображение лица субъекта в режиме реального времени в статическом или динамическом состоянии на дисплее тактильного компьютерного устройства. Причем лицо субъекта при отображении размещается с учетом перемещаемых меток, представляющих собой пересекающиеся в центре кадра горизонтальную и вертикальную линии, линии зрачков и линии улыбки. Компьютерное устройство содержит программное обеспечение, сконфигурированное для: подбора положения, формы, размера и цвета зубов с помощью виртуальных библиотек зубов. Для сопоставления выбранных зубов с изображением лица субъекта с возможностью изменения, по меньшей мере, одного из формы, размера и цвета выбранных зубов. Для получения прототипа улыбки и согласования выбора с субъектом, записи видеоизображения субъекта с прототипом улыбки и передачи прототипа улыбки в зуботехническое отделение для последующего изготовления зубных протезов. Система виртуального прототипирования улыбки на базе тактильного компьютерного устройства включает в себя: базу виртуальных библиотек зубов, платформу подбора положения, формы, размера и цвета зубов в виртуальных библиотеках зубов, аналитическую платформу для сопоставления выбранных зубов с изображением лица субъекта, платформу формирования и сохранения в базе данных субъекта прототипа улыбки, модуль передачи визуальной информации на внешний носитель. Группа изобретений позволяет просто, быстро и точно создать виртуальный прототип улыбки пациента, в том числе динамически изменяющийся, интегрированный в изображение пациента, а также позволяет пациенту в режиме реального времени ее оценить с функциональной и эстетической сторон за счет использования тактильного компьютерного устройства, позиционирования с помощью перемещаемых меток, а также совмещения в одном устройстве фото- и видеокамеры и программы для моделирования улыбки. 3 н. и 15 з.п. ф-лы.

 

Группа изобретений относится к медицине, а именно к стоматологии, и может быть использована при протезировании пациента (здесь и далее пациент и субъект – это одно и то же лицо) с полными или частичными дефектами зубов и зубных рядов, видимых при улыбке.

Цифровые технологии являются сегодня важным современным инструментом для улучшения качества стоматологического лечения. Самым главным этапом при протезировании пациента с полным или частичным отсутствием зубов является планирование. Используя традиционные методы лечения и планирования стоматологического лечения, не всегда можно в полной мере предугадать исход лечения и спрогнозировать адаптацию пациента к новой ортопедической конструкции. При помощи виртуального прототипирования улыбки у доктора появится возможность заблаговременно согласовать с пациентом форму, размер и цвет зубов. А также, используя согласованные параметры, передать информацию в зуботехническую лабораторию для начала изготовления ортопедической конструкции.

Зачастую пациент видит окончательный вид конструкции, когда уже приходит готовая работа из зуботехнической лаборатории. В такие моменты часто возникают конфликтные ситуации вследствие неудовлетворенности пациента формой, размером или цветом окончательной работы. Цифровое планирование улыбки позволит минимизировать подобные проблемы, т.к. пациент изначально сможет посмотреть, как будет выглядеть его будущая улыбка.

Для подбора индивидуальных параметров, характеристик имплантируемых зубов в настоящее время используются как компьютерные, так и цифровые технологии.

Так, известна технология подбора ортодонтических параметров с помощью использования цифровой камеры (US 5882192, 16.03.1999). Согласно данному изобретению устройство содержит наружный корпус, пользовательский интерфейс, расположенный на наружном корпусе и выполненный с возможностью снабжения информацией диагностической аппаратной части, расположенной в наружном корпусе, включая, по меньшей мере, одну цифровую камеру, выполненную с возможностью получения изображений зубов и полости рта пациента под множеством углов, электронный блок, запрограммированный с использованием статистических данных, представляющих образцы ортодонтических состояний, для сравнения с фактическими данными, собранными диагностическим программным обеспечением и представляющими ортодонтические состояния пациента, которые переданы указанному электронному блоку, который выполнен с возможностью диагностирования того, поддаются ли коррекции ортодонтические состояния пациента, и средства для выдачи инструкций через пользовательский интерфейс пациенту для информирования его о результатах диагностирования и для инструктирования о том, как скорректировать ортодонтические состояния. Причем одна цифровая камера установлена на наружном корпусе и выполнена перемещаемой до заранее запрограммированных положений относительно наружного корпуса для получения множества изображений. Пользовательский интерфейс содержит дисплей для передачи информации пациенту. Дисплей выполнен в виде экрана с сенсорным управлением с возможностью передачи информации пациенту и получения информации от пациента.

Известны также способ и система для моделирования и подбора характеристик имплантируемых зубов с использованием фотографирования пациента с помощью телефона с цифровой камерой (US 2009/0067695, 12.03.2009, абзац [0448], [0450]-[0454], формула).

Известны методики цифровой обработки данных о зубном ряде пациента, включающие формирование трехмерной модели челюсти, подбор зубов из виртуальных библиотек, определение подходящих размеров, положения, ориентации и конфигурации потенциального импланта, формирование плана имплантата, сравнение плана имплантата между собой или с заданными критериями (RU 2416364, 20.04.2011).

В практическом использовании цифровые технологии по моделированию улыбки реализованы, например, в компьютерной программе Digital Smile Design (http://www.denta-style.com/uslugi/digital-smile-design). При помощи обработанных цифровых фотографий в данной программе можно увидеть на мониторе изображения до и после протезирования зубов. Предсказать результаты лечения и обсудить их с пациентом. Другой важный момент - инновационная методика эстетического и клинического планирования в эстетической стоматологии, ортопедической стоматологии, имеющая большое значение для анализа и проектирования в зуботехнической лаборатории. Эту методику можно использовать также для диагностики и планирования в пластической и челюстно-лицевой хирургии. В первую очередь, протокол предусматривает получение изображений пациента посредством цифровых фотографий и цифровой съемки видео full frame (полнокадровых). Видео особенно важно, так как с его помощью можно увидеть динамические фазы улыбки, связанные с физиологическими особенностями (мимика, фонетика, соотношение зубных рядов и губ). Внесение этой важной информации в цифровую эстетическую карточку пациента дополняет анамнез, поскольку является неотъемлемой частью объективного внутриротового и внеротового осмотра, а также эстетического анализа.

Кроме того, при подборе параметров имплантируемого зуба, учитываются характеристики лица пациента. Так, например, известен способ восстановления зубов, при котором измеряют ширину основания носа. Данный показатель используют для определения общей ширины шести фронтальных зубов от вершины одного клыка до вершины другого клыка. Изготавливают несколько снимков лица. Снимок переворачивают на 180°. По очертанию лица определят форму и режущий край переднего зуба. Второй передний зуб определяют посредством зеркального отражения первого зуба по вертикальной линии. Ширину второго бокового резца определяют делением значения общей ширины лица на снимке на частное от деления ширины основания носа на ширину переносицы. Ширину клыка восстанавливают по 80% значения ширины второго бокового резца при виде спереди. При этом боковую внешнюю форму клыка восстанавливают за счет определения контура находящейся на той же половине лица щеки, причем ограничение вверх, определяющее высоту зуба, образовано находящейся на той же стороне бровью. Для восстановления зубов на более развитой стороне пациента определяют расстояние между линией, проходящей через зрачки, и линией, проходящей через углы рта. Способ позволяет восстановить оригинальные формы отсутствующих, разрушенных и/или стертых зубов за счет анализа лица пациента (Патент РФ 2448647 от 27.04.2012).

Известна и система, позволяющая осуществить цифровую обработку характеристик лица пациента и на основании полученных данных создать виртуальный шаблон челюсти человека (US 2013/0158958, 20.06.2013).

Как следует из уровня техники, в т.ч. из вышеуказанных технологий, на сегодняшний день известны различные методики цифрового планирования стоматологического лечения.

Однако все они несколько отличаются от нашей технологии, а также имеют ряд недостатков.

Одним из недостатков известных систем является то, что процедура подбора новых зубов достаточно длительна и утомительна для пациента. Пациенту следует соблюдать ряд условий в процессе съемки, чтобы стало возможным интегрировать полученные изображения в компьютерную программу и построить адекватную модель зубного ряда. Это зачастую приводит к тому, что пациент из-за усталости, снижения внимательности не может осуществить правильный выбор зубов (увидеть себя с новой улыбкой, в том числе при выполнении мимических или артикуляционных движений), наиболее точно соответствующий его эстетическим требованиям, из-за чего в дальнейшем или приходится переделывать зубной ряд или пациент остается неудовлетворенным.

Кроме того, процедура выполнения известных приемов моделирования является весьма сложной технологически и дорогостоящей. Это связано с необходимостью использования большого количества аппаратуры (в т.ч. и осветительных приборов), а также необходимостью совмещения изображений, полученных в процессе съемки, для построения виртуальной модели. В известных системах доктору необходимо интегрировать фотографии, полученные с помощью цифровой фотокамеры, в компьютерную программу по моделированию или же использовать лицевой сканер, который позволяет получать изображение и сразу же моделировать улыбку. Но использование лицевого сканера часто затруднительно ввиду большой стоимости оборудования.

На практике нередки случаи, когда доктор экспортирует фотографии в компьютер и программа не распознает эти фотографии или же качество фотографий низкое, в этом случае весь процесс необходимо начинать сначала.

Задачей, на решение которой направленно изобретение, является формирование и согласование с пациентом до зубного протезирование прототипа улыбки.

Техническим результатом изобретения является создание при зубном протезировании виртуального прототипа улыбки пациента (в том числе динамически изменяющегося) интегрированного в изображение пациента, что позволяет пациенту в режиме реального времени ее оценить с функциональной и эстетической сторон.

Создание виртуального прототипа улыбки позволяет врачу в режиме реального времени сделать большое количество фотографий (или осуществить видеосъемку) и сразу же «примерить» виртуальные зубы (зубные ряды).

Совмещение в одном устройстве и фото-, видеокамеры и программы для моделирования улыбки, позволит значительно ускорить и упростить процесс виртуального планирования улыбки.

Это связано с тем, что наличие в одном устройстве и камеры, и программы для планирования позволит сразу делать неограниченное количество фотографий и сразу же проводить виртуальное планирование. В отличие от цифрового фотоаппарата, где каждую новую фотографию необходимо экспортировать в компьютер.

Еще одним из преимуществ разработанной группы изобретений является то, что решение позволяет отображать лицо пациента в реальном времени с новой виртуальной улыбкой в движении (в динамике).

Известные программы позволяют создать цифровую улыбку пациента исключительно на фотографии. В нашем же случае, пациент сможет наблюдать цифровую виртуальную улыбку «в движении» (при изменении мимики, разговоре, улыбке и т.д.). Это позволит врачу наиболее точно оценить анатомическую правильность выбора зубов, при необходимости скорректировав недочеты, а пациенту оценить эстетическую составляющую новой улыбки, заранее уточнив врачу свое видение новой улыбки.

Разработанной системой для виртуального планирования улыбки помимо докторов, могут также пользоваться и пациенты. Пациент будет иметь возможность до или в период походов к стоматологу самостоятельно в комфортных для себя условиях, используя разработанную систему, подобрать форму и цвет зубов, ознакомиться с различными вариантами зубов, осуществить моделирование будущей улыбки. Это позволит избежать часто возникающих конфликтных ситуаций, касающихся различных аспектов готовых зубов и улыбки в целом.

Одной из особенностей разработанной системы также является прием фотографирования пациента. Согласно нашей системе для получения адекватного для последующего моделирования изображения необходимо при съемке на телефон расположить лицо пациента строго по заданным меткам. Экспериментально было выявлено, что оптимальными для последующего подбора зубов являются следующие метки - пересекающиеся в центре кадра горизонтальная и вертикальная линии, линия зрачков и линия улыбки. Причем метки выполнены перемещаемыми.

Именно данное сочетание меток позволит получить такой ракурс изображения, который в дальнейшем при подборе зубов из библиотек исключит риск искажения построения прототипа улыбки.

Кроме того, для повышения точности получения данных о пациенте система в качестве дополнительного функционала, реализует возможность учета характеристик лица субъекта, а именно - форма лица, уровень прикрепления десны, высота и ширина губ.

Способ осуществляется следующим образом

Осуществляют отображение лица субъекта в режиме реального времени в статическом или динамическом состоянии на дисплее тактильного компьютерного устройства. Причем лицо субъекта при отображении размещается с учетом перемещаемых меток: пересекающихся в центре кадра горизонтальной и вертикальной линий, линии зрачков и линии улыбки.

Указанное компьютерное устройство содержит программное обеспечение, сконфигурированное для подбора положения, формы, размера и цвета зубов с помощью виртуальных библиотек зубов.

Выполняют сопоставление выбранных зубов с изображением лица субъекта с возможностью изменения, по меньшей мере, одного из формы, размера и цвета выбранных зубов для получения прототипа улыбки и согласования выбора с субъектом.

Дополнительно, но необязательно, при подборе зубов из виртуальных библиотек зубов, для повышения точности подбора возможно учитывать характеристики лица субъекта, включающие в себя, по меньшей мере, одно из: уровень прикрепления десны, высота и ширина губ.

Записывают видеоизображения субъекта с прототипом улыбки и передают прототип улыбки в зуботехническое отделение для последующего изготовления зубных протезов.

При получении фотографии пациента получается 2D-изображение. Для более правильного планирования необходимо 3D-изображение пациента и зубов. Видеосъемка, производимая с помощью компьютерного устройства (смартфон, планшет и т.п.), позволяет со всех ракурсов смотреть на виртуальные реставрации и создает эффект 3D-изображения, что также исключает необходимость использования дополнительных приборов.

Способ, как и система ее реализующая, позволяет изменить размер зуба вручную или автоматически. В систему загружены виртуальные библиотеки зубов известных фирм. Если необходима некая индивидуализация, то ручная коррекция позволит этого добиться.

При согласовании выбора зубов с субъектом используют функцию программного обеспечения «бегунок прозрачности» - наложение изображений прежних и новых зубов.

Согласование выбора зубов с субъектом проводят, используя функцию программного обеспечения по добавлению элемента прозрачности режущих краев.

При согласовании выбора зубов с субъектом используют функцию программного обеспечения - отображения новой улыбки без лица.

Прототип улыбки субъекта сохраняют в виртуальной базе данных.

В качестве тактильного компьютерного устройства может быть использован планшет, смартфон, мобильный телефон.

Разработанная система виртуального прототипирования улыбки на базе тактильного компьютерного устройства (девайса) реализована следующим образом.

Система содержит:

базу виртуальных библиотек зубов,

платформу подбора положения, формы, размера и цвета зубов в виртуальных библиотеках зубов,

причем платформа подбора выполнена с возможностью задания перемещаемых меток для размещения лица субъекта: пересекающихся в центре кадра горизонтальной и вертикальной линий, линии зрачков и линии улыбки,

аналитическую платформу, выполненную с возможностью сопоставления выбранных зубов с изображением лица субъекта,

платформу формирования и сохранения в базе данных субъекта прототипа улыбки,

модуль передачи визуальной информации на внешний носитель.

Задание системы меток позволит создать «контур лица», куда нужно будет «поместить» лицо пациента. Метки выполнены с возможностью ручного перемещения в зависимости от анатомии пациента.

Виртуальная библиотека зубов - это виртуальное 3D-изображение зуба или зубных рядов. Многие CAD/САМ компании имеют свои виртуальные библиотеки и при 3D-моделировании зубов как раз и используются эти библиотеки. В этих библиотеках содержатся различные по форме и размеру зубы.

Прототип улыбки - это виртуальная модель будущей улыбки. Т.е. пациент заранее сможет посмотреть как будут выглядеть в конце лечения его зубы.

Информацию на внешний носитель возможно перенести с целью передачи информации с параметрами, например, в зуботехническую лабораторию.

Платформа подбора дополнительно может быть выполнена с возможностью подбора данных характеристик в соответствии с характеристиками лица субъекта, включающими в себя, по меньшей мере, одно из: уровень прикрепления десны, высота и ширина губ.

Аналитическая платформа дополнительно включает возможность использования функции наложения изображений прежних и новых зубов, а также использования функции добавления элемента прозрачности режущих краев.

В системе реализован функционал - «бегунок прозрачности». После получения модели новой улыбки с помощью бегунка посредством его постепенного передвижения, возможно изменить прозрачность зубов на виртуальной реставрации. В том числе, возможно добиться получения изображения прежних зубов, т.е. исходного зубного ряда или отдельного зуба. Процедуру возможно выполнить и в обратном порядке.

Платформа формирования прототипа улыбки дополнительно включает возможность использования функции отображения новой улыбки без лица. Возможность получения виртуальной улыбки (зубные ряды) без лица необходима, например, для зуботехнической лаборатории, т.к. позволяет зубному технику использовать все заданные параметры для более точного изготовления запланированной конструкции.

Кроме того, разработанная система дополнительно содержит базу данных субъектов. Данный функционал позволяет каждому доктору вести свою картотеку пациентов. Это своего рода портфолио. За каждым пациентом будет закреплена отдельная папка, где можно будет хранить фотографии до и после лечения, заметки и виртуальные модели.

Платформа формирования и сохранения в базе данных субъекта прототипа улыбки дополнительно выполнена с возможностью сохранения визуальной информации о каждом субъекте в базу данных субъектов на внешнем носителе. Эта возможность также позволяет осуществить создание своей картотеки и при необходимости передавать информацию в зуботехническую лабораторию.

Еще одним объектом изобретения является машиночитаемое устройство хранения данных, хранящих команды, исполняемые устройством обработки для выполнения операций, реализующих разработанный нами способ (детально описан выше).

1. Способ виртуального прототипирования улыбки, включающий в себя:

отображение лица субъекта в режиме реального времени в статическом или динамическом состоянии на дисплее тактильного компьютерного устройства,

причем лицо субъекта при отображении размещается с учетом перемещаемых меток, представляющих собой пересекающиеся в центре кадра горизонтальную и вертикальную линии, линии зрачков и линии улыбки, и

указанное компьютерное устройство содержит программное обеспечение, сконфигурированное для:

подбора положения, формы, размера и цвета зубов с помощью виртуальных библиотек зубов,

сопоставления выбранных зубов с изображением лица субъекта с возможностью изменения, по меньшей мере, одного из формы, размера и цвета выбранных зубов для получения прототипа улыбки и согласования выбора с субъектом,

записи видеоизображения субъекта с прототипом улыбки и передачи прототипа улыбки в зуботехническое отделение для последующего изготовления зубных протезов.

2. Способ по п. 1, отличающийся тем, что дополнительно размер зуба может быть изменен вручную или автоматически.

3. Способ по п. 1, отличающийся тем, что при согласовании выбора зубов с субъектом используют функцию программного обеспечения «бегунок прозрачности» - наложение изображений прежних и новых зубов.

4. Способ по п. 1, отличающийся тем, что согласование выбора зубов с субъектом проводят, используя функцию программного обеспечения по добавлению элемента прозрачности режущих краев.

5. Способ по п. 1, отличающийся тем, что при согласовании выбора зубов с субъектом используют функцию программного обеспечения - отображения новой улыбки без лица.

6. Способ по п. 1, отличающийся тем, что прототип улыбки субъекта сохраняют в виртуальной базе данных.

7. Способ по п. 1, отличающийся тем, что в качестве тактильного компьютерного устройства может быть использован планшет, смартфон, мобильный телефон.

8. Способ по п. 1, отличающийся тем, что дополнительно при подборе зубов из виртуальных библиотек зубов учитывают характеристики лица субъекта, включающие в себя, по меньшей мере, одно из: уровень прикрепления десны, высота и ширина губ.

9. Система виртуального прототипирования улыбки на базе тактильного компьютерного устройства, включающая в себя:

базу виртуальных библиотек зубов,

платформу подбора положения, формы, размера и цвета зубов в виртуальных библиотеках зубов,

причем платформа подбора выполнена с возможностью задания перемещаемых меток для размещения лица субъекта: пересекающихся в центре кадра горизонтальной и вертикальной линий, линии зрачков и линии улыбки,

аналитическую платформу, выполненную с возможностью сопоставления выбранных зубов с изображением лица субъекта,

платформу формирования и сохранения в базе данных субъекта прототипа улыбки,

модуль передачи визуальной информации на внешний носитель.

10. Система по п. 9, отличающаяся тем, что платформа подбора выполнена с возможностью автоматического или ручного подбора.

11. Система по п. 9, отличающаяся тем, что аналитическая платформа дополнительно включает возможность использования функции наложения изображений прежних и новых зубов.

12. Система по п. 9, отличающаяся тем, что аналитическая платформа дополнительно включает возможность использования функции добавления элемента прозрачности режущих краев.

13. Система по п. 9, отличающаяся тем, что платформа формирования прототипа улыбки дополнительно включает возможность использования функции отображения новой улыбки без лица.

14. Система по п. 9, отличающаяся тем, что дополнительно содержит базу данных субъектов.

15. Система по п. 9, отличающаяся тем, что платформа формирования и сохранения в базе данных субъекта прототипа улыбки дополнительно выполнена с возможностью сохранения визуальной информации о каждом субъекте в базу данных субъектов на внешнем носителе.

16. Система по п. 9, отличающаяся тем, что система установлена в качестве мобильного приложения в планшет, смартфон или мобильный телефон.

17. Система по п. 9, отличающаяся тем, что платформу подбора дополнительно выполнена с возможностью подбора данных характеристик в соответствии с характеристиками лица субъекта, включающими в себя, по меньшей мере, одно из: уровень прикрепления десны, высота и ширина губ.

18. Машиночитаемое устройство хранения данных, хранящих команды, исполняемые устройством обработки для выполнения операций, реализующих способ по пп. 1-8.