Способ определения состояния готовности и качества продуктов питания

Изобретение относится к области определения состояния продуктов питания и касается компьютерно-реализуемого способа определения состояния готовности и качества продуктов питания. Способ содержит этапы, на которых на вычислительное устройство получают профиль запаха продуктов питания посредством обработки сигнала, полученного от по меньшей мере трех датчиков. Кроме того, на вычислительное устройство получают данные изображений с камеры для отслеживания спектральных характеристик продуктов питания. Данные, полученные с по меньшей мере трех датчиков и от камеры, объединяются и обрабатываются с использованием алгоритмов распознавания образов и машинного обучения для определения состояния готовности продуктов и/или порчи продуктов. Технический результат заключается в повышении точности определения состояния готовности и/или качества продуктов питания. 7 з.п. ф-лы, 4 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области контроля за состоянием процесса приготовления и качества продуктов питания, в частности к способам определения состояния готовности и качества продуктов питания.

УРОВЕНЬ ТЕХНИКИ

Подходы к контролю за состоянием процесса приготовления пищи, с применением компьютерного зрения и методов анализа состава газовой среды, мало разработаны, однако, могут оказаться очень полезными для автоматизации процесса приготовления пищи.

Существует теория, что в зависимости от времени приготовления продукт питания, например, курица гриль, имеет разный профиль запаха и цвет. Совместное применение методов анализа газовой среды и методов компьютерного зрения может помочь в определении состояния готовности и качества продуктов питания.

Существуют различные подходы контроля за состоянием процесса приготовления пищи, использующие только методы анализа газовой среды или только методы компьютерного зрения.

Так, например, из уровня техники известен источник информации US 2020/0183925 A1, опубликованный 11.06.2020, раскрывающий устройство для определения запахов, в котором могут быть идентифицированы внешние данные, связанные с запахами - c находящимися в воздухе химическими веществами. Посредством работы устройства создается модель (объект, который может являться источником запаха). Определение запаха может быть получено на основе поиска и совпадений данных запаха с моделью.

Из источника информации CN103592227 B, опубликованного 03.02.2016, известна система определения внешнего вида и соответствия требованиям продуктов питания. Заявленная система включает в себя сенсорный экран контроля цвета продуктов питания на универсальной панели управления печи, кнопку выбора режима приготовления, систему управления процессом приготовления, систему сбора видеоизображений в печи и систему обработки приготовленных продуктов питания. Система видеонаблюдения содержит камеру и светодиодную лампу, которая расположена прямо под камерой. Заявленное изобретение может контролировать в реальном времени внешний вид и цвет продуктов питания.

Предлагаемое решение основано на объединении двух подходов, использования системы анализа газовой среды и анализа изображений, которые посредством обработки методами распознавания образов и/или машинного обучения, например, линейного дискриминантного анализа (ЛДА), определяют состояния готовности и качества продуктов питания.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное техническое решение, является создание способа определения состояния готовности и качества продуктов питания, который охарактеризован в независимом пункте формулы. Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения.

Технический результат заключается в повышении точности определения состояния готовности и/или качества продуктов питания. Дополнительно технический результат заключается в реализации назначения.

Заявленный результат достигается за счет осуществления способа определения состояния готовности и качества продуктов питания, содержащий этапы, на которых:

получают профиль запаха продуктов питания посредством обработки сигнала, полученного от по меньшей мере трех датчиков;

получают данные изображений с камеры, для отслеживания спектральных характеристик продуктов питания;

полученные данные с по меньшей мере трех датчиков и с камеры объединяются и обрабатываются с использованием алгоритмов распознавания образов и/или машинного обучения, для определения состояния готовности продуктов и/или порчи продуктов.

В частном варианте реализации предлагаемого способа, по меньшей мере три датчика представляют собой хеморезистивные датчики.

В другом частном варианте реализации предлагаемого способа, камера является мультиспектральной камерой.

В другом частном варианте реализации предлагаемого способа, данные изображений представлены в ИК диапазоне.

В другом частном варианте реализации предлагаемого способа, данные изображений представлены виде переменных цветовых моделей RGB и/или LAB.

В другом частном варианте реализации предлагаемого способа, состояние готовности/испорченности продуктов питания определяется согласно мониторингу выделяемых газов и изменения цвета продуктов питания во времени.

В другом частном варианте реализации предлагаемого способа, дополнительно состояние готовности или испорченности продуктов питания может определяться согласно времени температурной обработки.

В другом частном варианте реализации предлагаемого способа, при обработке полученных данных, посредством методов распознавания образов и/или машинного обучения используют Линейный дискриминантный анализ (ЛДА).

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи.

Фиг. 1 иллюстрирует анализ состояния приготовления курицы-гриль посредством метода анализа газовой среды.

Фиг. 2 иллюстрирует анализ состояния приготовления курицы-гриль посредством метода компьютерного зрения.

Фиг. 3 иллюстрирует график распознавания степени прожарки курицы-гриль посредством предлагаемого способа.

Фиг. 4 иллюстрирует общую схему работы вычислительного устройства.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Предлагаемый способ определения состояния готовности и качества продуктов питания выполняются на вычислительном устройстве.

В предлагаемом способе используются следующие устройства: по меньшей мере три хеморезистивных датчика, которые в совокупности представляют газоаналитическую систему, камера и вычислительное устройство.

Газоаналитическая система представляет собой совокупность хеморезистивных датчиков, которые установлены в металлическом корпусе для обеспечения постоянного потока воздуха, поддерживаемого вентилятором. Питание системы анализа состава газовой среды осуществлялось через USB-интерфейс или другой интерфейс, известный из уровня техники, подключенный к вычислительному устройству, который используется для сбора данных с датчиков.

Хеморезистивные датчики как правило, работают при относительно высоких температурах (250-450°C), имеют температурную зависимость чувствительности с ярко выраженным максимумом, крайне низкую селективность и приемлемую стабильность.

Хеморезистивные датчики, могут быть представлены, по меньшей мере, но не ограничиваясь, следующими датчиками: датчик широкого спектра газов (MQ-2), датчик паров спирта (MQ-3), датчик природного газа (метан, природный газ) (MQ-4), датчик горючих газов (MQ-5), датчик угарного газа (MQ-7), датчик водорода (MQ-8), датчик горючих и угарного газов (MQ-9), датчик углекислого газа (MQ-135), а также датчик температуры и датчик влажности.

Специалисту в данной области техники должно быть известно, что использование других датчиков также возможно в рамках реализации предлагаемого решения.

С каждого датчика получают сигналы, а именно изменение сопротивления датчика во времени. Совокупность данных сигналов представляет собой профиль запаха, и далее нормируется и обрабатывается методом ЛДА или другими методами, известными из уровня техники, с введением классов в зависимости от степени готовности/испорченности продуктов питания.

В материалах настоящей заявки, под классами понимается время от начала процесса приготовления продукта питания.

Передают на вычислительное устройство данные изображений с камеры, для отслеживания изменения цвета внешнего вида продуктов питания во времени. Данные изображений представлены в виде переменных цветовых моделей RGB (R - красный, G - зеленый, B - синий) и/или LAB (L - освещенность, A - положение цвета от зеленого до красного, B - положение цвета от синего до желтого). Например, на цвет курицы-гриль влияют химический состав, содержание воды, температура гриля и время приготовления. В предлагаемом способе также может быть использована мультиспектральная камера. С мультиспектральных камер могут получать данные изображений по меньшей мере 2-х различных длинах волн в течение заранее заданного времени, а также данные в ИК - диапазоне.

Например, состояние испорченности мяса, можно определить с помощью анализа изображений, полученных мультиспектральной камерой в 8ми различных длинах волн от 500 до 830 нм. (559, 595, 632, 672, 714, 751, 790 и 828 нм). Полученные изображения передаются на компьютер через USB- интерфейс или другой интерфейс, известный из уровня техники.

Общие характеристики спектра мультиспектральных камер показывают изменения отражения в области длин волн, соответствующих конкретному цвету. Это уменьшение отражательной способности может свидетельствовать о происходящих с продуктом изменениях (степень готовности, испорченность).

Полученные данные изображения с камер объединяются с профилем запаха, посредством объединения, любым известным из уровня техники способом, временных рядов изменения сопротивления каждого датчика с временными рядами изменения данных RGB или Lab, или данных изображений в разных диапазонах длин волн в один массив данных. Объединение происходит посредством добавления к колонкам с изменением сопротивления во времени для каждого датчика колонок с изменением во времени каждой характеристики (L, a, b, R, G, B). Данный этап может осуществляться в режиме реального времени.

В материалах заявки описано низкоуровневое объединение данных, когда данные объединяются из нескольких источников необработанных данных для создания новых необработанных данных. Стоит отметить, что предлагаемый способ также может осуществлять высокоуровневое объединение данных, когда объединяются уже обработанные (классифицированные/распознанные) данные изображений с камер и данные с датчиков.

Объединенные данные изображения с камер и профиль запаха обрабатываются посредством алгоритмов распознавания образов / машинного обучения, для определения состояния готовности и/или испорченности продуктов питания. Для определения состояния готовности и/или испорченности продуктов питания использовался метод ЛДА, данный метод позволяет классифицировать характерные паттерны за счет уменьшения размерности пространства многомерного пространства данных в пространстве образов (например, N-датчиков и до 7-и сигналов с камеры, RGB&L*a*b*R) в таком виде, чтобы получить максимальное соотношение между разбросом точек внутри между классами и внутри классов. При объединении данных изображений с камеры и данных, полученных от по меньшей мере трех датчиков наблюдается более точная классификация состояния готовности и/или испорченности продуктов питания с использованием метод ЛДА. Стоит отметить, что также могут быть использованы и другие методы, известные из уровня техники, для определения состояния готовности и/или испорченности продуктов питания. Данный этап может осуществляться в режиме реального времени.

При определении состояния готовности продукта использовались рекомендации Министерства сельского хозяйства США (USDA) по которым выбиралось время температурной обработки продуктов питания и согласно которым «обучали» алгоритм. Определение испорченности продукта, т.е. отнесения данных к классу испорченному, определялись, связано с изменением в цвете и запахе продукта питания, так при процессах, связанных с порчей продукта (гниением), выделяется значительное количество газов, например, такие как аммиак, углекислый газ и т.д. Мониторинг сигналов датчиков ведется по отношению ко всей смеси газов, исходящей из продуктов питания, во времени.

Так, например, для приготовления курицы-гриль USDA рекомендует готовить 10-15 минут с каждой стороны. Было сделано предположение и установлены следующие предполагаемые классы для приготовления курицы-гриль: 10 минут - это еще недожаренная курица, 20 - 30 минут - хорошо приготовленная курица, 40 минут - пережаренная курица.

При анализе предполагаемые классы по времени разделялись при выбранном времени в пространстве первых двух LDA компонент. Так происходило обучение датчика. Далее, в ходе тестов, устройство относило данные к какому-либо выбранному классу. Степень готовности и испорченности продукта питания определяется на основе отнесения полученного массива данных для продукта с тем массивом, на который была «обучена» система. Обучение датчика может происходить в режиме реального времени.

Далее будет представлен пример анализа состояния приготовления курицы-гриль посредством метода анализа газовой среды, метода компьютерного зрения, и посредством совмещения метода анализа газовой среды и метода компьютерного зрения.

Фиг. 1 иллюстрирует пример анализ состояния приготовления курицы-гриль посредством метода анализа газовой среды.

Были получены данные с восьми датчиков датчик широкого спектра газов (MQ-2 (smoke)), датчик паров спирта (MQ-3 (alcohol)), датчик природного газа (метан, природный газ) (MQ-4 (CH₄)), датчик горючих газов (MQ-5 (LPG)), датчик угарного газа (MQ-7 (CO)), датчик водорода (MQ-8 (H₂)), датчик горючих и угарного газов (MQ-9 (CO-II (включающий CO, CH₄, LPG)), датчик углекислого газа (MQ-135 (NH₃, CO₂, NOx)), а также датчик температуры (temperature) и датчик влажности (humidity).

a. Представлены типичные транзиенты сопротивления датчиков во время приготовления курицы-гриль, представленные в виде нормализованного сопротивления. Цвета, обозначающие разницу во времени приготовления с зеленой зоной, показывают сенсорный отклик при времени до 10 мин, синий и красный цвета представляют 20-30 мин, а желтая зона соответствует 40 мин времени приготовления.

b. Отображены сигналы с датчиков анализа газовой среды, обработанные ЛДА и проецируемые в систему координат первых двух компонентов ЛДА.

с. Проиллюстрирован вклад датчиков в массиве в селективное распознавание смеси газов, распределенный по времени приготовления курицы-гриль.

d. Отображена чувствительность каждого датчика при различных периодах приготовления курицы-гриль, представленная как ΔR/R0, где ΔR - это сопротивление датчика при воздействии летучих соединений в смеси с воздухом, а R0 - это сопротивление в воздухе (в отсутствие летучих веществ).

e. Обзор используемых датчиков.

Фиг. 2 иллюстрирует пример анализа состояния приготовления курицы-гриль посредством метода компьютерного зрения, на котором отражены данные изображений с камер, обработанные ЛДА и проецируемые в систему координат первых двух компонентов ЛДА. Фиг. 3 иллюстрирует пример работы предлагаемого способа при распознавании степени прожарки курицы-гриль.

Были получены данные с пяти датчиков, которые дают наибольший вклад в селективное определение степени готовности (датчик паров спирта (MQ-3), датчик горючих газов (MQ-5), датчик угарного газа (MQ-7), датчик водорода (MQ-8), датчик углекислого газа (MQ-135)) и данные изображений цветовой модели RGB в разное время приготовления. Полученные данные были объединены и направлены на обработку алгоритмом ЛДА.

На Фиг. 3 показано, что все стадии приготовления разделены на различные кластеры: хорошо приготовлена, недожарена и пережарена. Каждому кластеру соответствует время приготовления. Время приготовления от 10 до 40 минут.

Стоит отметить, что объединение метода анализа газовой среды и метода компьютерного зрения повышает точность определения состояния готовности и/или качества продуктов питания. Так комбинация системы анализа состава газовой среды и компьютерного зрения обеспечивает большую избирательность, проявляющуюся в увеличенном расстоянии Махаланобиса между кластерами на графике ЛДА.

Фиг. 4 иллюстрирует общую схему вычислительного устройства (400), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

В общем случае устройство (400) содержит такие компоненты, как: один или более процессоров (401), по меньшей мере одну память (402), средство хранения данных (403), интерфейсы ввода/вывода (404), средство В/В (405), средства сетевого взаимодействия (406).

Процессор (401) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (400) или функциональности одного или более его компонентов. Процессор (401) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (402).

Память (402), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.

Средство хранения данных (403) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (403) позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.

Интерфейсы (404) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.

Выбор интерфейсов (404) зависит от конкретного исполнения устройства (400), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств В/В данных (405) в любом воплощении системы, реализующей описываемый способ, должна использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (406) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (405) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты устройства (400) сопряжены посредством общей шины передачи данных (410).

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

1. Компьютерно-реализуемый способ определения состояния готовности и качества продуктов питания, содержащий этапы, на которых:

на вычислительное устройство получают профиль запаха продуктов питания посредством обработки сигнала, полученного от по меньшей мере трех датчиков;

на вычислительное устройство получают данные изображений с камеры для отслеживания спектральных характеристик продуктов питания;

на вычислительном устройстве полученные данные с по меньшей мере трех датчиков и с камеры объединяют и обрабатывают с использованием алгоритмов распознавания образов и машинного обучения для определения состояния готовности продуктов и/или порчи продуктов.

2. Способ по п. 1, отличающийся тем, что по меньшей мере три датчика представляют собой хеморезистивные датчики.

3. Способ по п. 1, отличающийся тем, что камера является мультиспектральной камерой.

4. Способ по п. 1, отличающийся тем, что данные изображений представлены в ИК диапазоне.

5. Способ по п. 1, отличающийся тем, что данные изображений представлены в виде переменных цветовых моделей RGB и/или LAB.

6. Способ по п. 1, отличающийся тем, что состояние испорченности продуктов питания определяют согласно мониторингу изменения профиля запаха или цвета продуктов питания во времени.

7. Способ по п. 1, отличающийся тем, что дополнительно состояние готовности продуктов питания определяют согласно времени температурной обработки.

8. Способ по п. 1, отличающийся тем, что при обработке полученных данных используют линейный дискриминантный анализ.