Сегментация и прогнозирование временных паттернов шлейфов низкого уровня

Изобретение относится к системе и способу обнаружения шлейфа газа на основании данных изображений. Технический результат заключается в повышении точности детектирования утечки для шлейфа газа на основании данных изображений. В способе выполняют прием данных изображений, связанных со шлейфом газа, причем данные изображений включают в себя множество кадров изображения; определение данных анализа шлейфов с использованием принятых данных изображений и первой прогнозной модели, обученной принимать данные изображений, и генерирование данных анализа шлейфов, связанных со шлейфом газа, в ответ на прием, причем данные анализа шлейфов включают в себя маску прогнозируемой сегментации шлейфа, связанную со шлейфом газа и прогнозируемую по отношению к последовательности кадров изображения, включенных в данные изображений, причем указанная маска прогнозируемой сегментации шлейфа включает в себя попиксельную сегментацию, устанавливающую границу шлейфа газа, прогнозируемую посредством первой прогнозной модели, которая наложена на попиксельное представление эталонной маски сегментации, включающей данные аннотации, связанные с последовательностью кадров изображения и обеспеченные посредством обучения пользователем первой прогнозной модели; определение по меньшей мере одного из оценки размера утечки, оценки источника утечки и оценки объемной скорости утечки для шлейфа газа; обеспечение оценки размера утечки, оценки источника утечки, оценки объемной скорости утечки и данных анализа шлейфов, причем данные анализа шлейфов представлены в виде наложения на данные изображений; и передачу данных анализа шлейфов, наложенных на данные изображений, причем по меньшей мере одно из приема, определения, обеспечения и передачи выполняет по меньшей мере один процессор обработки данных, составляющий часть по меньшей мере одной компьютерной системы. 2 н. и 16 з.п. ф-лы, 15 ил., 1 табл.

 

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

[0001] Теплотехнический контроль и проверка производственного оборудования, такого как оборудование, сконфигурированное в средах нефтегазодобычи, можно выполнять для обеспечения эксплуатационной безопасности оборудования и определения наличия утечек газа. Утечки газа в этих средах могут создавать опасные рабочие условия для персонала, которому поручены эксплуатация, техническое обслуживание и ремонт производственного оборудования, и могут приводить к снижению темпа добычи. Для контроля и проверки производственного оборудования на наличие утечек можно вести наблюдение с использованием тепловизионных приборов с применением таких видов излучения, как длинноволновое инфракрасное излучение (LWIR) и средневолновое инфракрасное излучение (MWIR). Утечки газа образуют газовые шлейфы, которые можно обнаруживать посредством наблюдения с использованием тепловизионных приборов.

[0002] Технология глубокого обучения представляет собой результат применения искусственного интеллекта и машинного обучения для автоматизации разработки аналитической модели на основании искусственной нейронной сети, которая итерационно изучает паттерны по имеющимся данным с использованием иерархического каскада множества слоев блоков нелинейной обработки для извлечения и преобразования признаков данных. Аналитическую модель можно обучать, чтобы контролировать ее обучение, и можно обучать, чтобы научить ее множеству уровней представлений в данных, которые соответствуют различным уровням абстракции и формируют иерархию концепций. Глубокое обучение обычно используют для распознавания паттернов, машинного распознавания образов, обработки языка и оптического распознавания символов, при этом оно позволяет создавать алгоритмы, которые способны надежно обучаться на данных для прогнозирования выходных данных модели, и таким образом обеспечивает прогнозирование или принятие решений на основе данных. Глубокое обучение можно использовать для разработки прогнозных моделей, способных определять и осуществлять анализ шлейфа на основании данных изображений, связанных со шлейфом газа, испускаемым из производственного оборудования.

ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

[0003] В одном аспекте предложены способы обнаружения и количественного определения шлейфа газа на основании данных изображений. В одном варианте осуществления способ может включать в себя прием данных изображений, связанных со шлейфом газа. Данные изображений включают в себя множество кадров изображения. Способ может также включать в себя определение данных анализа шлейфа с использованием принятых данных изображений и первой прогнозной модели, обученной принимать данные изображений, и в ответ на прием данных генерировать данные анализа шлейфа, связанные со шлейфом газа. Данные анализа шлейфа включают в себя маску прогнозируемой сегментации шлейфа, связанную со шлейфом газа и прогнозируемую по отношению к последовательности кадров изображения, включенных в данные изображений. Способ может дополнительно включать в себя определение по меньшей мере одного из оценки размера утечки, оценки источника утечки и оценки объемной скорости утечки для шлейфа газа. Способ может также включать в себя обеспечение оценки размера утечки, оценки источника утечки, оценки объемной скорости утечки и данных анализа шлейфа. Данные анализа шлейфа могут быть обеспечены в форме наложения на данные изображений. Способ может также включать в себя передачу данных анализа шлейфа, наложенных на данные изображений. Способ может также включать в себя выполнение по меньшей мере одного из приема, определения, обеспечения и передачи с помощью по меньшей мере одного процессора обработки данных, образующего часть по меньшей мере одной компьютерной системы.

[0004] Кроме того, описаны нетранзиторные компьютерные программные продукты (т. е. физически реализованные компьютерные программные продукты), содержащие команды, при исполнении которых одним или более процессорами обработки данных одной или более компьютерных систем по меньшей мере один процессор обработки данных выполняет описанные в настоящем документе операции для обнаружения и количественного определения шлейфа газа на основании данных изображений. Аналогичным образом также описаны компьютерные системы, которые могут включать в себя один или более процессоров обработки данных и запоминающее устройство, соединенное с одним или более процессорами обработки данных. В запоминающем устройстве могут временно или постоянно храниться команды, за счет которых по меньшей мере один процессор выполняет одну или более из описанных в настоящем документе операций для обнаружения и количественного определения шлейфа газа на основании данных изображений. Кроме того, способы могут быть реализованы одним или более процессорами обработки данных либо в рамках одной компьютерной системы, либо в рамках системы, распределенной между двумя или более компьютерными системами. Такие компьютерные системы могут быть соединены и могут обмениваться данными и/или командами или другими инструкциями или т. п. посредством одного или более соединений, включая соединение по сети (например, сети Интернет, беспроводной глобальной сети, локальной сети, глобальной сети, проводной сети и т. д.), посредством прямого соединения между одной или более из множества компьютерных систем и т. д.

ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0005] Эти и иные признаки станут более понятными на примере приведенного ниже подробного описания в сочетании с сопроводительными рисунками, описанными ниже.

[0006] На ФИГ. 1 представлена блок-схема, иллюстрирующая пример архитектуры для генерации данных анализа шлейфов с использованием данных изображений и прогнозной модели.

[0007] На ФИГ. 2A-2B представлены примеры блок-схем систем для генерации данных анализа шлейфов с использованием данных изображений и прогнозной модели.

[0008] На ФИГ. 3 представлена блок-схема, иллюстрирующая один пример осуществления архитектуры для обучения модели генерированию данных анализа шлейфов на основании данных изображений, принятых в качестве входных данных.

[0009] На ФИГ. 4 представлена блок-схема, иллюстрирующая один пример осуществления способа для генерации данных анализа шлейфов с использованием данных изображений и прогнозной модели с использованием клиент-серверной архитектуры, изображенной на ФИГ. 1.

[0010] На ФИГ. 5 представлена схема, иллюстрирующая пространственно-временную сеть кодеров-декодеров в соответствии с примером осуществления, описанным в настоящем документе.

[0011] На ФИГ. 6 представлена схема, иллюстрирующая входной слой пространственной архитектуры U-образной сети, расширенный за счет использования пространственно-временной сети кодеров-декодеров, описанной со ссылкой на ФИГ. 5, в соответствии с примером осуществления, описанным в настоящем документе.

[0012] На ФИГ. 7 представлена схема, иллюстрирующая 3D-свертку с одним слоем, способным захватывать различия между паттернами линейных профилей изменения температуры в соответствии с примером осуществления, описанным в настоящем документе.

[0013] На ФИГ. 8 представлена схема, иллюстрирующая 2-ступенчатую 3D-свертку, используемую при обработке сложных нелинейных изменений температурных профилей, связанных с пятнами шлейфов, с течением времени в соответствии с примером осуществления, описанным в настоящем документе.

[0014] На ФИГ. 9 представлена схема, иллюстрирующая 3D-сверточный блок, используемый в пространственно-временной сети кодеров-декодеров, в соответствии с примером осуществления, описанным в настоящем документе.

[0015] На ФИГ. 10 представлена схема, иллюстрирующая полную сетевую архитектуру пространственно-временной сети кодеров-декодеров в соответствии с примером осуществления, описанным в настоящем документе.

[0016] На ФИГ. 11 представлена схема, иллюстрирующая операции этапа декодирования пространственно-временной сети кодеров-декодеров в соответствии с примером осуществления, описанным в настоящем документе.

[0017] На ФИГ. 12 представлена схема, иллюстрирующая набор видеоданных потока
ИК-излучения, собранных в качестве экспериментальных результатов, в соответствии с примером осуществления, описанным в настоящем документе.

[0018] На ФИГ. 13 представлена схема, иллюстрирующая результаты прогнозирования шлейфа для выбранных кадров с использованием сети ST-U-Net-Full в соответствии с примером осуществления, описанным в настоящем документе.

[0019] На ФИГ. 14 представлена схема маски прогнозируемой сегментации шлейфа, которая определяет протяженность шлейфа в одном кадре последовательности кадров изображения, включенных в принятые данные изображений, в соответствии с примером осуществления, описанным в настоящем документе.

[0020] Следует отметить, что графические материалы не обязательно представлены в масштабе. На рисунках, как правило, представлены лишь типичные аспекты описанного в настоящем документе объекта изобретения, и поэтому они не должны рассматриваться как ограничивающие объем описания.

ПОДРОБНОЕ ОПИСАНИЕ

[0021] Среда нефтегазодобычи включает в себя сети трубопроводов, соединяющих производственное оборудование, такое как двигатели, компрессоры и накопительные резервуары, используемые для хранения, переработки и распределения энергоносителей в газообразной форме во всей производственной среде. Операторы этих сред выполняют мониторинг и проверку трубопроводов и производственного оборудования с использованием тепловизионных приборов для обнаружения утечек, из-за которых могут возникать опасные рабочие условия, снижаться качество атмосферного воздуха или снижаться темп добычи. Наблюдение с использованием тепловизионных приборов можно вести с применением инфракрасных камер, способных захватывать изображения в длинноволновом инфракрасном (LWIR) и средневолновом инфракрасном (MWIR) спектрах излучения. Инфракрасные (ИК) камеры могут оказаться предпочтительными по сравнению с камерами, работающими в спектре видимого света, такими как камеры, выполненные с возможностью получения изображений на основе цветовых моделей «красный, зеленый, синий» (RGB), поскольку ИК-камеры более устойчивы к изменениям освещенности, теням и имеют преимущества в случаях, когда наблюдаемые явления имеют четкую тепловую сигнатуру и/или требуют непрерывного контроля в течение 24 часов в сутки.

[0022] Утечки газа, возникающие в среде нефтегазодобычи, могут образовывать шлейфы газообразных паров, которые могут иметь различимый паттерн с хорошим тепловым контрастом относительно фоновых объектов в зависимости от скорости утечки. Хотя обнаружение шлейфа могут выполнять ИК-камеры и даже - для некоторых форм газа, таких как пар, - камеры, работающие в спектре видимого излучения, для выполнения ручного анализа полученных данных изображений, чтобы определить и подтвердить наличие утечки, оценить количество утекающего газа и определить пространственно-временную динамику шлейфа газа на основании полученных данных изображений, требуются люди-операторы. Сегментация изображения представляет собой процесс разделения цифрового изображения на множество сегментов для разграничения границ и форм уникальных признаков, присутствующих на изображениях, таких как шлейфы газа. Наблюдение за каждым потоком изображений для идентификации последовательностей со шлейфом, количественная оценка, а иногда сегментирование шлейфов газа на данных изображений в ручном режиме представляет собой требующую внимательного отношения к деталям, подверженную ошибкам и трудоемкую процедуру, требующую привлечения персонала с узкой специализацией, и в результате может возрасти стоимость операций мониторинга и проверки, а могут также повыситься производственные затраты, связанные со средой нефтегазодобычи. Успешность выполнения операций идентификации шлейфа, количественного определения и ручной сегментации данных изображений шлейфа может также быть ограничена опытом оператора, выполняющего сегментацию, а также количеством признаков на переднем и заднем планах, которые могут закрывать собой или иным образом снижать способность операторов точно определять форму и перемещение результирующего шлейфа газа, и, следовательно, человек-оператор, как правило, может совершать ошибки. Например, ручная идентификация газовых шлейфов может оказаться сложной в среде, в которой люди и/или транспортные средства могут мешать наблюдению визуализируемого шлейфа газа, или когда скорость утечки мала, и, таким образом, контраст шлейфа на данных изображений является слабым. Ручная идентификация газовых шлейфов может также быть затруднена при наличии других форм пространственно-временного движения, таких как температурные флуктуации фона, обусловленные растительностью, ветром, рефлексами солнца или облаков и т. п.

[0023] Улучшенная система прогнозирования шлейфа может быть выполнена с возможностью приема данных изображений от ИК-камеры или камеры, работающей в спектре видимого излучения, и автоматического определения пространственных и временных характеристик изменения формы пятен газовых шлейфов, присутствующих на данных изображений. Пространственные и временные характеристики могут быть выведены в виде высокоточных масок сегментации, которые могут быть применены к полученным данным изображений на покадровой основе. Таким образом, улучшенная система прогнозирования шлейфов может автоматизировать процедуры идентификации шлейфа, количественного определения и/или сегментации, которые в ином случае пришлось бы выполнять вручную, и может быть обучена обнаружению характеристик нового шлейфа на основании ранее собранных данных изображений. Благодаря такой улучшенной системе прогнозирования шлейфа операторы нефтегазодобывающего оборудования могут получать более полное представление о текущих рабочих условиях производственного оборудования, сконфигурированного в среде нефтегазодобычи, а могут также более успешно прогнозировать будущие операции по техническому обслуживанию и ремонту на основании раннего обнаружения утечек и способствовать сокращению выбросов парниковых газов в атмосферу. Улучшенная система прогнозирования шлейфа может автоматически генерировать данные анализа шлейфов, что поможет операторам при планировании конфигураций производственного оборудования и развертывании персонала или оборудования для мониторинга, проверки и ремонта, и при этом можно поддерживать добычу на приемлемом и рентабельном уровне.

[0024] Таким образом, системы и способы для автоматического определения и генерирования данных анализа шлейфа на основании полученных данных изображений могут значительно улучшать эксплуатационные характеристики и увеличивать срок службы производственного оборудования, развернутого в среде нефтегазодобычи, а также способствовать сокращению выбросов парниковых газов в атмосферу из оборудования. Кроме того, улучшенная система прогнозирования шлейфа позволяет сократить число квалифицированных ресурсов, необходимых для обнаружения и определения характеристик данных изображений при определении наличия утечек или определении скоростей утечки. Например, улучшенная система прогнозирования шлейфа может принимать и обрабатывать данные изображений, полученные с фиксированных камер или камер, установленных на подвижных платформах, наблюдающих за частью трубопровода, клапаном или компрессором, а результаты могут быть предоставлены в графическом интерфейсе пользователя (ГИП) или в отчете о проверке, выполненном с возможностью отображения данных анализа шлейфа, таких как прогнозируемая сегментация шлейфа, наложенных на один или более кадров данных изображений, полученных камерой, наблюдающей за конкретным оборудованием. Без улучшенной системы, как будет дополнительно описано в настоящем документе, для сбора данных изображений от целевого оборудования, за которым ведется наблюдение для обнаружения утечек, и обработки данных изображений для определения в ручном режиме пространственных и временных характеристик шлейфов газа, утечку которого отслеживают, потребуются значительные людские и вычислительные ресурсы.

[0025] В настоящем документе предложена система прогнозирования шлейфов, включающая в себя системы, способы и машиночитаемые носители для определения и генерирования данных анализа шлейфов для производственного оборудования на основании данных изображений, собранных с камеры, наблюдающей за оборудованием. Данные анализа шлейфов генерирует прогнозная модель, которая была обучена в процессе глубокого обучения в автономном режиме с использованием ранее собранных данных, полученных в аналогичных условиях, и с помощью аналогичного датчика, и при визуализации аналогичных геометрических форм. Персонал вручную снабжает аннотациями эти обучающие данные в автономном режиме для создания эталонных масок шлейфов. На стадии прогнозирования принимают данные изображений, на которых может наблюдаться или не наблюдаться фактический шлейф газа, и генерируют данные анализа шлейфов, включая данные маски прогнозируемой сегментации шлейфа (если в данных действительно содержится шлейф), которые можно использовать для обеспечения данных анализа шлейфов в форме наложения на полученные данные изображений. Система прогнозирования шлейфа может также включать в себя ГИП для представления данных анализа шлейфов, связанных со шлейфом или утечкой газа из производственного оборудования, на дисплее, который может быть сконфигурирован в соответствии с пользовательскими предпочтениями. ГИП может быть выполнен с возможностью обеспечения взаимодействия пользователей с данными анализа шлейфов, например путем фильтрации, сортировки, геопозиционирования или применения функциональных возможностей определения скорости утечки и анализа к данным. ГИП может также быть выполнен с возможностью исполнения функциональных возможностей, относящихся к запуску предупреждений и/или процедурам технического обслуживания и ремонта в связи с утечкой, обнаруженной в результате взаимодействия пользователя с ГИП.

[0026] В настоящем документе обсуждаются варианты осуществления систем и соответствующих способов для генерирования данных анализа шлейфов на основании данных изображений, связанных со шлейфом газа, истекающего из производственного оборудования. Однако варианты осуществления описания можно без ограничений использовать для генерации данных анализа шлейфов на основании данных изображений, связанных с другими типами оборудования или источников газа.

[0027] На ФИГ. 1 представлена блок-схема, иллюстрирующая пример архитектуры 100 для генерации данных анализа шлейфов для шлейфа газа, истекающего из производственного оборудования, с использованием данных изображений и прогнозной модели. Архитектура 100 включает в себя клиентов 105, базу 110 данных и сервер 115 прогнозирования, которые могут быть соединены друг с другом с возможностью осуществления связи посредством сети. В некоторых вариантах осуществления клиенты 105 могут передавать данные изображений непосредственно на сервер 115 прогнозирования без использования сети.

[0028] Согласно ФИГ. 1 архитектура 100 включает в себя клиентов 105, например клиентов 105A-105D. Клиенты 105, такие как клиенты 105A-105C, могут быть выполнены с возможностью получения, генерации и/или хранения данных изображений. Например, данные изображений можно передавать с ИК-камеры 105, такой как LWIR- или MWIR-камера, выполненной с возможностью наблюдения за шлейфом газа. В некоторых вариантах осуществления клиент 105 может включать в себя камеру, работающую в спектре видимого света, выполненную с возможностью получения изображений в спектре видимого света с использованием цветовой модели RGB. В некоторых вариантах осуществления клиент 105 может включать в себя одно или более вычислительных устройств, выполненных с возможностью хранения данных изображений, ранее загруженных с ИК-камеры или камеры, работающей в спектре видимого излучения, выполненной с возможностью наблюдения за шлейфом газа. В некоторых вариантах осуществления клиент 105 может передавать данные изображений в виде потоковых данных, таких как потоковые видеоданные, которые собирают и передают в режиме реального времени или в режиме, близком к режиму реального времени.

[0029] Клиенты 105 могут включать в себя полноформатное вычислительное устройство или любое другое полнофункциональное вычислительное устройство, такое как настольный компьютер или ноутбук, которое может передавать данные изображений на сервер 115 прогнозирования. В дополнительном или альтернативном варианте осуществления другие вычислительные устройства, такие как малоформатные вычислительные устройства 105, могут также быть выполнены с возможностью передачи данных изображений на сервер 115 прогнозирования. Малоформатные вычислительные устройства 105 могут включать в себя планшет, смартфон, карманный персональный компьютер (PDA) или любое другое вычислительное устройство, которое может иметь более ограниченные функциональные возможности по сравнению с полноформатными вычислительными устройствами. Например, клиент 105A может включать в себя ноутбук, сконфигурированный с веб-браузером, для обеспечения приложения управления датчиками, выполненного с возможностью сбора данных изображений от ряда фиксированных или мобильных камер, размещенных в среде нефтегазодобычи. Клиент 105B может включать в себя ИК-камеру, выполненную с возможностью наблюдения за газовым компрессором и передачи данных изображений, связанных с местом, в котором присутствует компрессор. Клиент 105C может включать в себя сбор ретроспективных данных изображений, хранящихся в запоминающем устройстве, которые можно использовать для обеспечения данных изображений от прошедших утечек в качестве обучающих данных. Кроме того, клиент 105D может включать в себя вычислительное устройство, выполненное с возможностью отображения данных анализа шлейфов, связанных с данными изображений, принятыми от клиентов 105A-105C.

[0030] Архитектура 100 также включает в себя базу 110 данных, в которой могут храниться данные изображений, принятые от клиентов 105 или от других вычислительных устройств или камер посредством сети. В некоторых вариантах осуществления в базе 110 данных могут храниться ретроспективные данные изображений, связанные с прошлыми подозреваемыми или подтвержденными утечками, произошедшими на одном или более производственных оборудованиях, а также данные шлейфов, собранные посредством контролируемых выбросов газа с известными скоростями утечки в подходящих условиях испытаний. В базе 110 данных могут также храниться данные изображений, которые можно использовать в качестве обучающих данных в процессе машинного обучения для обучения одной или более прогнозных моделей. В некоторых вариантах осуществления в базе 110 данных могут также храниться данные изображений, которые можно использовать в качестве данных для прогнозирования, которые могут быть приняты сервером 115 прогнозирования для определения и генерирования данных анализа шлейфов, например в виде данных 125 для прогнозирования последовательности кадров и/или данных 135 для прогнозирования кадра. В базе 110 данных могут дополнительно храниться данные анализа шлейфов, сгенерированные сервером 115 прогнозирования.

[0031] Как дополнительно показано на ФИГ. 1, данные изображений могут быть переданы от клиентов 105 и/или из базы 110 данных на сервер 115 прогнозирования. В некоторых вариантах осуществления данные изображений, обеспечиваемые в виде данных для прогнозирования, можно предоставлять серверу 115 прогнозирования в качестве входных данных для одной или более прогнозных моделей, разработанных с использованием способов контролируемого глубокого обучения. Данные изображений могут включать в себя кадры данных изображений, включая последовательные и непоследовательные кадры данных изображений, которые могут быть приняты с конкретной камеры, и/или с множества камер, которые могут быть выполнены с возможностью получения кадров изображений в ИК-спектре или спектре видимого света, а также любых связанных метаданных изображений, таких как наименование камеры, положение кадра в системе GPS и т. п.

[0032] Согласно ФИГ. 1, архитектура 100 включает в себя сервер 115 прогнозирования, выполненный с возможностью приема данных изображений и генерирования данных анализа шлейфов, таких как данные 125 для прогнозирования последовательности кадров, прогнозируемые для последовательности кадров изображения, и данные 135 для прогнозирования кадров, прогнозируемые для отдельных кадров изображения. Сервер 115 прогнозирования включает в себя обученную модель 120 прогнозирования последовательности кадров. Модель 120 прогнозирования последовательности кадров может включать в себя сеть или алгоритм, сгенерированные в результате обучения модели, выполненного в рамках обучения в виде процесса глубокого обучения. После обучения модель 120 прогнозирования последовательности кадров может работать вне процесса глубокого обучения для приема данных изображений в качестве данных для прогнозирования и генерации данных анализа шлейфов для последовательностей кадров изображения, связанных со шлейфом газа. Например, модель 120 прогнозирования последовательности кадров генерирует данные анализа шлейфов в виде данных 125 для прогнозирования последовательности кадров на основании обработки множества последовательных кадров изображения, организованных в виде последовательности кадров изображения. Данные 125 для прогнозирования последовательности кадров могут включать в себя маски прогнозирования шлейфов, сгенерированные для последовательности кадров изображения. В некоторых вариантах осуществления модель 120 прогнозирования последовательности кадров может быть развернута на сервере 115 прогнозирования или может быть развернута в конфигурации, которая расположена удаленно по отношению к серверу 115 прогнозирования, но соединена с сервером с возможностью обмена данными. Например, модель 120 прогнозирования последовательности кадров может находиться в удаленной облачной вычислительной среде, которая соединена с клиентами 105 посредством сети.

[0033] На ФИГ. 2A представлен пример блок-схемы системы 200a для генерирования данных анализа шлейфов на основании данных изображений с использованием глубокого обучения в соответствии с некоторыми вариантами осуществления. Система 200a включает в себя устройство 205 ввода и устройство 210 вывода, связанные с клиентом 105, например любым из клиентов 105, описанных со ссылкой на ФИГ. 1.

[0034] Согласно ФИГ. 2A клиент 105 включает в себя процессор 215 и запоминающее устройство 220, на котором хранится приложение 225. Клиент 105 также включает в себя модуль 230 связи, соединенный с сетью 235. Система 200a также включает в себя сервер 115, такой как сервер 115 прогнозирования, описанный со ссылкой на ФИГ. 1. Сервер 115 включает в себя модуль 240 связи, процессор 245 и запоминающее устройство 250. Сервер 115 также включает в себя систему 255 обучения модели. Система 255 обучения модели включает в себя селектор 260 данных, блок 265 обучения модели и одну или более обучающихся моделей 270. Сервер 115 также включает в себя одну или более обученных моделей 120 прогнозирования последовательности кадров, обученных посредством процесса контролируемого глубокого обучения, и одну или более обученных моделей 130 прогнозирования кадров, которые также были обучены посредством процесса контролируемого глубокого обучения. Модели 120 прогнозирования последовательности кадров и модели 130 прогнозирования кадров показаны пунктирными линиями, обозначающими, что обучающиеся модели 270, которые были выведены во время обучения, выполняемого в одном из процессов глубокого обучения, могут представлять собой одну или более обученных прогнозных моделей, таких как одна или более моделей 120 прогнозирования последовательности кадров и модели 130 прогнозирования кадров.

[0035] Согласно ФИГ. 2A система 200a включает в себя устройство 205 ввода. Устройство 205 ввода принимает данные пользовательского ввода и предоставляет данные пользовательского ввода клиенту 105. Устройство 205 ввода может включать в себя клавиатуру, мышь, микрофон, стилус, игровой контроллер, джойстик, рукоятку и/или любое другое устройство или механизм, используемые для ввода данных изображений в приложение или пользовательский интерфейс на клиенте, таком как клиент 105. В некоторых вариантах осуществления устройство 205 ввода может включать в себя сенсорный, тактильный или голосовой интерфейс распознавания для приема данных пользовательского ввода, например, на малоформатном устройстве. На этапе обучения ввод пользовательских данных может быть обеспечен посредством устройства 205 ввода для аннотирования эталонных масок сегментации на данных изображений для использования в качестве обучающих данных. На этапе прогнозирования устройство 205 ввода может представлять собой камеру, выполненную с возможностью получения изображений в ИК-спектре. В некоторых вариантах осуществления устройство 205 ввода может включать в себя камеру, выполненную с возможностью получения и генерирования данных изображений в спектре видимого света. В некоторых вариантах осуществления камера 205 может быть установлена в фиксированном положении относительно шлейфа газа, например, камера может быть закреплена на стационарной стойке. В некоторых вариантах осуществления камера 205 может быть расположена на подвижной платформе, которая находится в движении относительно шлейфа газа. Например, камера 205 может быть установлена на подвижной платформе, такой как управляемое наземное транспортное средство, неуправляемое наземное транспортное средство, управляемый летательный аппарат, неуправляемый летательный аппарат, управляемое транспортное средство на воздушной подушке, неуправляемое транспортное средство на воздушной подушке, управляемое подводное транспортное средство, неуправляемое подводное транспортное средство, робот, беспилотный радиоуправляемый летательный аппарат или т. п. В некоторых вариантах осуществления оператор может переносить камеру 205 в фиксированное положение относительно шлейфа газа и работать в этом положении. В некоторых вариантах осуществления камера 205 может быть прикреплена к оператору.

[0036] Система 200a также включает в себя клиент 105. Клиент 105 обменивается данными с сервером 115 по сети 235. Клиент 105 принимает входные данные от устройства 205 ввода. Клиент 105 может представлять собой, например, полноформатное вычислительное устройство, такое как полноформатное вычислительное устройство 105, описанное со ссылкой на ФИГ. 1, малоформатное вычислительное устройство (например, смартфон или планшет), такое как малоформатное вычислительное устройство 105, или любое другое аналогичное устройство, имеющее соответствующий процессор, запоминающее устройство и выполненное с возможностью обмена данными для передачи данных изображений. Клиент 105 может быть выполнен с возможностью приема, передачи и хранения данных изображений, связанных с генерацией данных анализа шлейфов, на основании данных изображений, принятых от клиента 105. На клиенте 105 может быть установлено одно или более программных приложений. Программные приложения могут включать в себя веб-приложения, а также приложения, которые могут быть непосредственно размещены или сконфигурированы на клиенте 105. Например, программные приложения могут включать в себя приложения для технических вычислений, приложения для моделирования и имитации, приложения для мониторинга и конфигурирования камер, приложения для обработки изображений и приложения для управления производственным оборудованием или т. п. В некоторых вариантах осуществления клиент 105 может включать в себя камеру, такую как ИК-камера или камера, работающая в спектре видимого света, которая может быть сконфигурирована с соответствующими интерфейсами проводной или беспроводной связи, необходимыми для передачи данных изображений на сервер 115.

[0037] Как дополнительно показано на ФИГ. 2A, клиент 105 включает в себя процессор 215 и запоминающее устройство 220. Процессор 215 выполнен с возможностью исполнения машиночитаемых команд и/или обработки данных, хранящихся в запоминающем устройстве 220, и передачи машиночитаемых команд и/или данных посредством модуля 230 связи. В запоминающем устройстве 220 могут храниться машиночитаемые команды и/или данные, связанные с данными анализа шлейфов, сгенерированными на основании принятых данных изображений. Например, запоминающее устройство 220 может включать в себя базу данных из данных изображений, принятых клиентом 105, такую как база 110 данных, показанная на ФИГ. 1. Запоминающее устройство 220 включает в себя приложение 225. Приложение 225 может представлять собой, например, приложение для мониторинга камеры, выполненное с возможностью приема данных изображений с одной или более камер, связанных с производственным оборудованием, клиентом 105 для применения в определении наличия шлейфа газа или утечки, связанной с производственным оборудованием.

[0038] Согласно ФИГ. 2A клиент 105 включает в себя модуль 230 связи. Модуль 230 связи передает машиночитаемые команды и/или данные изображений, хранимые или принятые клиентом 105, по сети 235. Сеть 235 соединяет клиента 105 с сервером 115. Сеть 235 может включать в себя, например, любую одну или более из персональной сети (PAN), локальной сети (LAN), кампусной сети (CAN), городской сети (MAN), глобальной сети (WAN), широкополосной сети (BBN), Интернета и т. п. Кроме того, сеть 235 может иметь, без ограничений, одну или более из следующих сетевых топологий, включающих в себя сеть с шинной архитектурой, сеть типа «звезда», кольцевую сеть, узловую сеть, сеть типа «звезда-шина», древовидную или иерархическую сеть и т. п.

[0039] Как дополнительно показано на ФИГ. 2A, сервер 115 выполнен с возможностью приема, хранения и обработки машиночитаемых команд и/или данных изображений, сгенерированных и принятых клиентом 105. В некоторых вариантах осуществления сервер 115 может принимать данные изображений непосредственно от одного или более клиентов 105. Сервер 115 может представлять собой любое устройство, имеющее соответствующий процессор, запоминающее устройство и возможности обмена данными для реализации процесса глубокого обучения. В определенных аспектах один или более серверов 115 могут быть размещены в одной в локальной среде с клиентом 105, или сервер 115 может быть расположен удаленно относительно клиента 105, например в центре облачных вычислений или удаленном центре обработки данных. Сервер 115 включает в себя модуль 240 связи для приема машиночитаемых команд и/или данных изображений, переданных по сети 235. Сервер 115 также включает в себя один или более процессоров 245, выполненных с возможностью исполнения команд, в результате исполнения которых процессоры проводят обучение прогнозной модели или сети на этапе обучения в процессе глубокого обучения, а также определяют данные анализа шлейфов на основании принятых данных изображений на этапе прогнозирования в процессе глубокого обучения. В некоторых вариантах осуществления процессор 245 может представлять собой графический процессор (GPU). Улучшенная система прогнозирования шлейфов, описанная в настоящем документе, может использовать вычислительные возможности процессоров GPU для сокращения времени обучения модели и увеличения времени выполнения прогнозирования. В некоторых вариантах осуществления сервер 115 и/или один или более процессоров 245 могут быть сконфигурированы на подвижной платформе, такой как управляемое наземное транспортное средство, неуправляемое наземное транспортное средство, управляемый летательный аппарат, неуправляемый летательный аппарат, управляемое транспортное средство на воздушной подушке, неуправляемое транспортное средство на воздушной подушке, управляемое подводное транспортное средство, неуправляемое подводное транспортное средство, на роботе, на беспилотном радиоуправляемом летательном аппарате, на подвижной платформе, закрепленной на движущемся операторе, или т. п. Таким образом, данные изображений с камеры 205 можно предоставлять непосредственно одному или более процессорам 245, которые могут быть сконфигурированы на различных подвижных платформах для приема данных изображений и определения, обеспечения и/или передачи данных анализа шлейфов.

[0040] Сервер 115 также включает в себя запоминающее устройство 250, выполненное с возможностью хранения машиночитаемых команд и/или данных изображений, связанных с данными анализа шлейфов, сгенерированными на основании принятых данных изображений. В некоторых вариантах осуществления на запоминающем устройстве 250 могут храниться данные, которые можно использовать на этапе обучения в процессе глубокого обучения. Например, в запоминающем устройстве 250 могут храниться наборы данных изображений временного ряда, такие как наборы данных, включающие в себя отдельные файлы, последовательности или файлы видеопотоков, связанные со шлейфом газа, наблюдаемым с течением времени. В дополнительном или альтернативном варианте осуществления в запоминающем устройстве 250 могут храниться данные изображений, принятые от заказчиков в режиме реального времени или режиме, близком к режиму реального времени, а также ранее обеспеченные данные изображений. В некоторых вариантах осуществления в запоминающем устройстве 250 могут храниться одна или более обучающихся моделей, таких как обучающиеся модели 270, используемые во время обучения в процессе глубокого обучения для генерации обученных прогнозных моделей, таких как модели 120 прогнозирования последовательности кадров и модели 130 прогнозирования кадров, выполненные с возможностью генерирования данных 155 для прогнозирования последовательности кадров и данных 165 для прогнозирования кадров соответственно, как показано на ФИГ. 1, который соответствует данным изображений, обеспеченным посредством приложения 225. В некоторых вариантах осуществления в запоминающем устройстве 250 могут храниться одна или более обученных моделей, таких как модель 120 прогнозирования последовательности кадров и модель 130 прогнозирования кадров, которые были аналогичным образом сгенерированы в процессе глубокого обучения и были обучены генерировать данные анализа шлейфов для разных типов камер, производственного оборудования, типов газов, форм шлейфов и/или конфигураций платформ для камер. В некоторых вариантах осуществления в запоминающем устройстве 250 могут храниться один или более алгоритмов или сетей глубокого обучения, используемых для генерации одной или более обучающихся моделей 270. В некоторых вариантах осуществления в запоминающем устройстве 250 могут храниться данные изображений, которые могут быть приняты от клиента 105 за некоторый период времени и которые можно использовать в качестве набора обучающих данных в процессе глубокого обучения для обучения прогнозной модели. В некоторых вариантах осуществления в запоминающем устройстве 250 могут храниться одна или более обученных прогнозных моделей, таких как варианты моделей 120 прогнозирования последовательности кадров и/или моделей 130 прогнозирования кадров, которые можно использовать для генерирования данных анализа шлейфов, включая эталонные маски сегментации шлейфов и маски прогнозируемой сегментации шлейфа, включенные в данные анализа шлейфов соответственно на основании данных изображений.

[0041] Согласно ФИГ. 2A сервер 115 включает в себя систему 255 обучения модели. Система 255 обучения модели в процессе глубокого обучения выполняет прием данных изображений в качестве входных обучающих данных, например обучающих данных, и обрабатывает эти входные данные для обучения одной или более обучающихся моделей. В некоторых вариантах осуществления обучающие данные могут также включать в себя эталонные маски сегментации, которые были сгенерированы для конкретной последовательности кадров изображения, например для последовательности из 8 кадров, а также эталонные маски сегментации, которые были сгенерированы для отдельных кадров изображения. В некоторых вариантах осуществления эталонные маски сегментации для последовательностей кадров изображения или для отдельных кадров изображения могут быть сгенерированы одной или более прогнозными моделями, такими как обученные прогнозные модели 120 и/или 130. Эталонные маски сегментации, генерируемые одной или более прогнозными моделями, можно просматривать вручную для определения точности прогнозируемых эталонных масок сегментации. В некоторых вариантах осуществления эталонные маски сегментации для последовательностей кадров изображения или для отдельных кадров изображения можно генерировать вручную посредством операторов, взаимодействующих с ГИП. Обучающие данные используют для обучения алгоритма или сети глубокого обучения в процессе глубокого обучения для генерации модели, способной прогнозировать пространственные и временные характеристики шлейфа в виде данных анализа шлейфов, таких как данные 125 для прогнозирования последовательности кадров и данные 135 для прогнозирования кадров на основании различных принятых данных изображений.

[0042] Система 255 обучения модели включает в себя селектор 260 данных, блок 265 обучения модели и одну или более обучающихся моделей 270. В некоторых вариантах осуществления обучающиеся модели 270, генерируемые и выводимые в результате выполнения процессов глубокого обучения, конфигурируют на сервере 115 в виде отдельных компонентов на сервере 115. Например, обученные модели 120 прогнозирования последовательности кадров и модели 130 прогнозирования кадров, могут быть сконфигурированы на сервере 115 с возможностью обработки данных изображений и генерирования данных анализа шлейфов для последовательности кадров изображения или отдельных кадров изображения соответственно. В некоторых вариантах осуществления обученные модели 120 прогнозирования последовательности кадров и модели 130 прогнозирования кадров хранятся в запоминающем устройстве 250 на сервере 115.

[0043] Система 255 обучения модели выполнена с возможностью реализации процесса контролируемого глубокого обучения, который принимает данные изображений в качестве входных обучающих данных и генерирует обучающуюся модель, которую впоследствии можно использовать для прогнозирования данных анализа шлейфов на основании данных изображений, которые могут быть приняты одним или более клиентами 105. Компоненты процесса глубокого обучения выполнены с возможностью приема данных изображений в качестве входных обучающих данных, выбора уникальных подмножеств элементов в пределах данных изображений, использования алгоритма глубокого обучения для обучения модели на основании подмножества данных во входных обучающих данных и генерации обучающейся модели, которая может быть выведена в качестве обученной прогнозной модели и использована впоследствии для прогнозирования на основании различных принятых данных изображений.

[0044] Система 255 обучения модели может также быть выполнена с возможностью приема данных аннотации, таких как эталонные маски сегментации, которые были сгенерированы операторами вручную. В некоторых вариантах осуществления операторы просматривают каждую последовательность кадров изображения и определяют границы шлейфа в каждом кадре или определяют границы последнего кадра в последовательностях, состоящих из 8 кадров. Данные аннотации могут также включать в себя данные количественного определения, такие как обозначение размера выброса (например, незначительный, средний или значительный выброс). Данные аннотации могут также включать в себя прогнозирование скорости утечки, например 10 стандартных кубических футов в час (станд. куб. футов в час) или 20 станд. куб. футов в час и т. п. В некоторых вариантах осуществления операторы могут просматривать видеозаписи контролируемых утечек с известными скоростями утечки, чтобы определить, как выглядят шлейфы при различных скоростях утечки. В калибровочные библиотеки могут быть включены видеозаписи, включающие в себя контролируемые утечки с известными скоростями утечки. В некоторых вариантах осуществления калибровочные библиотеки можно использовать для генерирования обучающих данных для прогнозирования скорости утечки.

[0045] Согласно ФИГ. 2A система 255 обучения модели включает в себя селектор 260 данных. Селектор 260 данных выполнен с возможностью приема данных изображений и выбора подмножества данных из входных данных, которые будут обеспечены в качестве входных обучающих данных алгоритма глубокого обучения, в процессе контролируемого глубокого обучения. В некоторых вариантах осуществления селектор 260 данных может выбирать подмножество данных, соответствующих различным типам камер, ориентациям камер или конфигурациям платформ для камер, используемым для генерирования и обеспечения данных изображений таким образом, чтобы обучить алгоритм или сеть глубокого обучения генерировать данные анализа шлейфов, такие как маски прогнозируемой сегментации шлейфа, на основании выбранного подмножества данных. В некоторых вариантах осуществления селектор 260 данных может выбирать подмножество данных или элементов, соответствующих типу данных изображений, предоставляемых клиентам 105 в качестве входных данных, таких как данные, которые могут быть связаны с отдельными кадрами, последовательностями кадров, файлами потокового видео, а также конфигурациями производственного оборудования, отслеживаемого или проверяемого на наличие утечек.

[0046] В процессе контролируемого глубокого обучения селектор 255 данных обеспечивает выбранное подмножество данных в блок 265 обучения модели в качестве входных данных для алгоритма или сети глубокого обучения для генерации одной или более обучающихся моделей. В аспекте обучения процесса контролируемого глубокого обучения блок 265 обучения модели может принимать входные обучающие данные, включающие в себя выбранные подмножества данных из данных изображений, от селектора 260 данных и может итерационно применять подмножества элементов к ранее выбранному алгоритму или сети глубокого обучения для оценки эффективности работы алгоритма или сети. По мере обработки контролируемым алгоритмом глубокого обучения входных обучающих данных блок 265 обучения модели изучает паттерны во входных обучающих данных, в которых переменные алгоритма глубокого обучения сопоставлены с целевыми выходными данными (например, данными 125 для прогнозирования последовательности кадров и данными 135 для прогнозирования кадров), и генерирует обучающуюся модель 270, которая выявляет эти взаимосвязи. Во время обучения модели конфигурацию камеры (например, тип камеры, ориентацию, местоположение и тип платформы) можно использовать для создания новых моделей, обученных применительно к одной или более конфигурациям камеры 205.

[0047] Для использования можно выбирать широкий спектр алгоритмов глубокого обучения, включая алгоритмы или сети, такие как пространственно-временные сети U-Net и пространственно-временные сети U-Net-Full. Пространственные сети U-Net представляют собой алгоритмы глубокого обучения, которые могут быть выполнены с возможностью семантического сегментирования данных изображений. Пространственные сети U-Net представляют собой сети для попиксельной сегментации на основании полностью сверточных сетей. Сети U-Net дополняют традиционные сети сжатия посредством последовательных слоев расширения, в которых операции создания пулов заменяют операциями повышения частоты дискретизации, что приводит к пошаговому увеличению разрешения выходных данных по слоям, где конечный выходной слой соответствует разрешению входного изображения. Каналы признаков на участке повышения частоты дискретизации симметричны по отношению к сжимающей части и копируют признаки из соответствующей сжимающей части таким образом, что слой с повышенной частотой дискретизации использует контекст и детализацию каждого сжимающего слоя. Используют только сверточные слои без каких-либо полностью соединенных слоев. Это позволяет прогнозировать маски сегментации шлейфов с любым разрешением, которые соответствуют входным данным изображений с любым разрешением. Целью расширения выходных данных является генерирование детализированной попиксельной маски прогнозирования, которая хорошо сегментирует мелкие детали форм интересующих паттернов на входных изображениях. Пространственно-временная сеть U-Net (ST-U-Net) и пространственно-временная сеть U-Net-Full, описанные в настоящем документе, включают в себя новые алгоритмы глубокого обучения, неизвестные ранее.

[0048] Согласно ФИГ. 2A обученные модели 120 прогнозирования последовательности кадров, сгенерированные в результате выполнения процесса контролируемого глубокого обучения, могут принимать данные изображений и обрабатывать входные данные для вывода данных анализа шлейфов, которые могут быть оптимизированы на основании последовательностей кадров изображения, включенных в принятые данные изображений, и/или клиентов 105, на которых были приняты или сохранены данные изображений. Например, обученные модели 120 прогнозирования последовательности кадров, полученные в процессе контролируемого глубокого обучения, могут быть впоследствии включены в систему искусственного интеллекта или приложение, выполненное с возможностью приема последовательностей данных изображений, например потокового видео, в качестве входных данных прогнозирования и обработки данных для вывода прогнозируемых измерений шлейфов в виде масок сегментации, которые характеризуют пространственные и временные характеристики наблюдаемого шлейфа. В некоторых вариантах осуществления процессор 245 может хранить данные анализа шлейфов, выведенные из обученных моделей 120 прогнозирования последовательности кадров, в запоминающем устройстве 250. В других вариантах осуществления выходные данные шлейфов могут быть переданы в модуль 240 связи для передачи клиенту 105 по сети 235. После их получения клиентом 105 выходные данные анализа шлейфов, связанные с последовательностью кадров изображения, могут быть переданы на устройство 210 вывода, такое как монитор, принтер, переносной жесткий диск или другое устройство хранения данных.

[0049] Модели 120 прогнозирования последовательности кадров, реализованные в виде пространственно-временных сетей U-Net, могут выводить маску прогнозирования для каждой последовательности, состоящей из 8 кадров, отделяющей паттерн шлейфа от всех остальных явлений. В некоторых вариантах осуществления при наблюдении за точкой проверки шлейфа камера 205 может собирать 15-30 кадров в секунду. Модели 120 прогнозирования последовательности кадров могут генерировать прогнозы из множества последовательностей, состоящих из 8 кадров. Можно объединять результаты или можно выбирать результат из одной из этих последовательностей на основании различных критериев в качестве выходной маски прогнозирования. На этапе обучения эталонную маску последнего кадра в последовательности, состоящей из 8 кадров, используют для обучения пространственно-временной сети U-Net. На этапе обучения процесса глубокого обучения используют энергетическую функцию сети U-Net, причем многопеременную логистическую функцию (softmax) на основе пикселов на конечной карте признаков объединяют с функцией потерь на основе перекрестной энтропии. Поскольку это относительно неглубокая сеть, для нее не используют схемы инициализации весов с другими задачами, такими как компрессия-декомпрессия данных, а все веса инициализируют случайным образом. Преимущество потребности в одной эталонной маске сегментации на каждую последовательность из 8 кадров состоит в уменьшении количества аннотаций, необходимых для создания наборов обучающих данных.

[0050] В некоторых вариантах осуществления пространственно-временная сеть U-Net выполнена с возможностью количественного анализа выявленного шлейфа с помощью множества выходных каналов в выходной маске прогнозируемой сегментации шлейфа. Если имеется только один выходной канал, маска прогнозируемой сегментации шлейфа может быть выполнена с возможностью назначения каждому пикселу двоичной классификации для наличия шлейфа и отсутствия шлейфа. Пикселы с параметром «1» в выходном канале, можно классифицировать как соответствующие наличию шлейфа, а пикселы с параметром «0» в выходном канале, можно классифицировать как соответствующие отсутствию шлейфа. Если в маске прогнозируемой сегментации шлейфа имеются три канала, маска прогнозируемой сегментации шлейфа может быть выполнена с возможностью назначения пикселов одной из категорий размера утечки (малая, средняя и большая) или категории отсутствия шлейфа. Пикселы с параметром «1» в первом канале могут быть отнесены к категории незначительно утечки. Пикселы с параметром «1» во втором канале могут быть отнесены к категории средней утечки. Пикселы с параметром «1» в третьем канале могут быть отнесены к категории значительной утечки. Пикселы с параметром «0» во всех выходных каналах могут быть отнесены к категории отсутствия шлейфа. В задачах семантической сегментации для каждого пиксела можно использовать целевой вектор, закодированный по схеме прямого кодирования. Таким образом можно сконфигурировать несколько групп или категорий размера утечки для обеспечения еще более детального распределения по уровням количественного определения. Пространственно-временная сеть U-Net может быть настроена для обучения и прогнозирования каждой группы из обучающих данных, которые включают в себя такую эталонную информацию о распределении размеров утечек по категориям. Эталонные данные о размерах утечек могут быть оценены и аннотированы специалистами или могут быть измерены посредством контролируемых экспериментов по сбору данных о выбросах газа. После настройки с использованием множества выходных каналов пространственно-временные сети U-Net могут обеспечивать обнаружение и количественное определение шлейфов посредством распределения утечек по размерам во время фазы прогнозирования. Обнаруженному шлейфу может быть назначен один атрибут, соответствующий оценке размера утечки, такой как незначительный, средний или значительный размер утечки, путем анализа выходных каналов масок прогнозируемой сегментации шлейфа в одном или более кадрах данных изображений.

[0051] Согласно ФИГ. 2A сервер 115 может также включать в себя одну или более обученных моделей 130 прогнозирования кадров. Модели 130 прогнозирования кадров могут быть обучены в процессе контролируемого глубокого обучения, сконфигурированном на сервере 115. В процессе контролируемого глубокого обучения модели 130 прогнозирования кадров могут быть обучены принимать отдельные кадры данных изображений в качестве входных данных для прогнозной модели, обученной генерировать данные анализа шлейфов, включающие в себя маски сегментации, которые характеризуют пространственные и временные характеристики наблюдаемого шлейфа для отдельных кадров изображения. Модели 130 прогнозирования кадров могут быть реализованы с использованием альтернативной пространственно-временной сети U-Net, называемой пространственно-временной сетью U-Net-Full. Эта сеть вносит незначительное изменение в сетевую архитектуру декодера пространственно-временной сети U-Net, в которой сеть выводит по одной маске для каждого кадра в заданной входной последовательности из 8 кадров. В этом варианте все 8 эталонных масок используются функцией потерь для обучения сети и могут повышать попиксельную точность по сравнению с сетью ST-U-Net, используемой для реализации моделей 120 прогнозирования последовательности кадров.

[0052] На ФИГ. 2B представлен пример блок-схемы системы 200b с использованием процесса глубокого обучения, сконфигурированного на сервере 115A обучения модели. Отдельные компоненты и функциональные возможности каждого компонента, показанные и описанные в отношении сервера 115A обучения модели, показанного на ФИГ. 2B, идентичны компонентам и соответствующим функциональным возможностям, показанным и описанным в отношении сервера 115, изображенного на ФИГ. 2A, за исключением того, что сервер 115A обучения модели, показанный на ФИГ. 2B, не включает в себя одну или более обученных моделей 120 прогнозирования последовательности кадров или одну или более обученных моделей 130 прогнозирования кадров, как показано на ФИГ. 2A.

[0053] Вместо этого, как показано на ФИГ. 2B, система 200b включает в себя сервер 115A обучения, который сконфигурирован отдельно от обученных прогнозных моделей, например моделей 120 прогнозирования последовательности кадров, которые в данном случае сконфигурированы на сервере 115B прогнозирования. Сервер 115B прогнозирования включает в себя такие же компоненты и функциональные возможности, что и сервер 115, показанный на ФИГ. 2A, за исключением того, что сервер 115B прогнозирования, показанный на ФИГ. 2B, не включает в себя системы обучения модели, такой как система 255 обучения модели, показанная на ФИГ. 2A. Сервер 115B прогнозирования, показанный на ФИГ. 2B, включает в себя одну или более обученных прогнозных моделей. Обученные прогнозные модели, сконфигурированные на сервере 115B прогнозирования, включают в себя модели 120 прогнозирования последовательности кадров и могут дополнительно включать в себя модели 130 прогнозирования кадров, алгоритмы, сети или т. п., которые были сгенерированы в процессе глубокого обучения, такие как обучающиеся модели 270, и были обучены в процессе глубокого обучения для генерации данных анализов шлейфов на основании данных изображений, предоставленных клиенту 105 или сохраненных на нем. Например, при приеме данных изображений от клиента, например клиента 105, модели 120 прогнозирования последовательности кадров могут быть использованы для генерации одного или более прогнозируемых измерений, связанных с пространственной и временной характеристикой шлейфа, отслеживаемого, проверяемого или наблюдаемого иным образом на основании последовательностей кадров изображения в принятых данных изображений. Аналогичным образом модели 130 прогнозирования кадров могут также быть сконфигурированы на сервере 115B прогнозирования, хотя они не показаны на сервере 115B прогнозирования. Модели прогнозирования кадров можно использовать для генерирования одного или более прогнозируемых измерений, связанных с пространственной и временной характеристикой шлейфа, отслеживаемого, проверяемого или наблюдаемого иным образом на основании отдельных кадров изображения в принятых данных изображений. В некоторых вариантах осуществления каждая из моделей 120 прогнозирования последовательности кадров и модели 130 прогнозирования кадров может генерировать данные анализа шлейфов на основании конкретного входного формата данных изображений, такого как привязанные ко времени анимации эталонных масок сегментации шлейфов и масок прогнозируемой сегментации шлейфа в течение некоторого периода времени, включая минуту, час, 12 часов, сутки, множество суток, неделю, месяц или год.

[0054] Согласно ФИГ. 2B система 200b также включает в себя сервер 115A обучения. Сервер 115A обучения включает в себя систему 255 обучения модели, которая реализует процесс контролируемого глубокого обучения и включает в себя селектор 260 данных, блок 265 обучения модели и одну или более обучающихся моделей 270. В некоторых вариантах осуществления сервер 115A обучения может находиться в том же местоположении, что и сервер 115B прогнозирования. В других вариантах осуществления сервер 115A обучения может находиться в удаленном местоположении, например во втором центре обработки данных, который расположен отдельно от первого центра обработки данных или местоположения клиента, где расположен сервер 115B прогнозирования. В некоторых вариантах осуществления систему 255 обучения, сконфигурированную на сервере 115A обучения, можно использовать для оценки различных алгоритмов глубокого обучения и генерации одной или более альтернативных обучающихся моделей 270. Например, на основании использования различных подмножеств элементов в принятых данных изображений в качестве входных данных для обучения для другого алгоритма и процесса глубокого обучения система 120 обучения модели способна обучать и выводить другую обучающуюся модель 270, отличную от обученных моделей 120 прогнозирования последовательности кадров и/или моделей 130 прогнозирования кадров, сконфигурованных на сервере 115B прогнозирования, которые были обучены с применением отдельного алгоритма и процесса глубокого обучения.

[0055] Система 255 обучения может также быть выполнена с возможностью обучения и вывода в процессе глубокого обучения одной или более моделей 120 прогнозирования последовательности кадров и/или моделей 130 прогнозирования кадров, выполненных с возможностью генерации данных анализа шлейфов, основанных на ретроспективных данных изображений, которые могли быть ранее обеспечены пользователем и могут храниться в запоминающем устройстве 220 или запоминающем устройстве 250. В некоторых вариантах осуществления система 255 обучения может генерировать модель, такую как обученные модели 120 прогнозирования последовательности кадров и модели 130 прогнозирования кадров, которые могут быть выполнены с возможностью генерации данных анализа шлейфов, когда отсутствуют один или более признаков данных изображений, которые традиционно используют для определения конкретного аспекта данных анализа шлейфов для последовательностей кадров изображения или отдельных кадров изображения. Например, данные анализа шлейфов, сгенерированные для конкретного шлейфа газа или производственного оборудования, испускающего шлейф газа, могут быть оптимизированы на основании данных изображений, которые могут лишь частично идентифицировать признаки изображений, используемые для генерирования эталонной маски сегментации или маски прогнозируемой сегментации шлейфа, например посредством части кадров изображения, включенных в последовательность кадров изображения или одного кадра изображения, включающих в себя мешающие просмотру элементы на переднем или заднем плане, соответствующие определенному шлейфу газа, в отличие от более полного набора данных изображений, принятых для полной последовательности кадров изображения или более хорошо видимого отдельного кадра изображения, не содержащего помех.

[0056] Система 255 обучения может также быть выполнена с возможностью обучения и вывода в процессе контролируемого глубокого обучения множества моделей или сетей, таких как модели 120 прогнозирования последовательности кадров и модели 130 прогнозирования кадров, которые были обучены в процессе глубокого обучения, на основании неперекрывающихся или частично перекрывающихся наборов обучающих данных. В некоторых вариантах осуществления различные наборы обучающих данных, которые связаны со множеством моделей или сетей, могут быть реализованы на сервере 115B прогнозирования для создания более надежной системы, которая включает в себя группу или собрание моделей или сетей. В таких вариантах осуществления сервер 115B прогнозирования может генерировать данные анализа шлейфов для последовательностей кадров изображения или отдельных кадров изображения на основании данных изображений, полученных в разные сезоны, разные времена года и через предварительно заданные интервалы. В дополнительном или альтернативном варианте осуществления сервер 115B прогнозирования может генерировать данные анализа шлейфов для последовательностей кадров изображения или отдельных кадров изображения на основании данных изображений, связанных с различными форматами данных изображений, типами файлов данных изображений, операторами производственной среды, заказчиками, типами газов, формами шлейфов, типами камер, конфигурациями платформ для камер, тепловыми профилями, условиями окружающей среды, географическими местоположениями, производственным оборудованием или другими статистически коррелированными паттернами, наблюдаемыми на принятых данных изображений. Таким образом, модель или собрание моделей могут быть обучены генерированию данных для прогнозирования шлейфов в виде выходных данных в ситуациях, когда определенные данные изображений, используемые в данной прогнозной модели, могут отсутствовать или быть неполными.

[0057] На Фиг. 3 представлена блок-схема, иллюстрирующая пример клиента и сервера из архитектуры, показанной на Фиг. 1, в примере развернутой системы 300 прогнозирования шлейфа. Блок-схема развернутой системы 300 прогнозирования шлейфа включает в себя пример клиента 105, аналогичного клиенту, описанному в связи с архитектурой 100, показанной на Фиг. 1. Развернутая система 300 прогнозирования шлейфа также включает в себя сервер 315A прогнозирования, сконфигурированный с одной или более обученными моделями 120 прогнозирования последовательности кадров, и второй сервер 315B прогнозирования, развернутый удаленно или отдельно от сервера 315A прогнозирования. Например, сервер 315A прогнозирования может быть сконфигурирован в среде облачных вычислений, связанной с основным центром обработки данных операторов нефтегазодобывающего оборудования. Сервер 315B прогнозирования может быть сконфигурирован в вычислительной среде, расположенной на газораспределительном предприятии, которая может быть связана с производственным оборудованием, за которым ведется наблюдение с целью обнаружения утечек. Сервер 315B прогнозирования может быть сконфигурирован с помощью модели 130 прогнозирования кадров. Серверы 315A и 315B прогнозирования аналогичны серверу 115B прогнозирования, описанному в связи с системой 200b, изображенной на Фиг. 2B, в соответствии с определенными аспектами описания.

[0058] Согласно ФИГ. 3 клиент 105, база 110 данных и серверы 315A и 315B соединены посредством сети 235. Клиент 105 и каждый из серверов 315A и 315B могут быть сконфигурированы с возможностью обмена данными, которые можно использовать для определения данных анализа шлейфов, связанных со шлейфом газа, за которым ведется наблюдение с помощью камеры. Данные анализа шлейфов, сгенерированные сервером 315A прогнозирования, могут включать в себя эталонные маски сегментации шлейфов и маски прогнозируемой сегментации шлейфа, устанавливающие наблюдаемые и прогнозируемые пространственные характеристики шлейфа на последовательности кадров изображения в зависимости от времени. Сгенерированные данные анализа шлейфов могут быть наложены на последовательности изображений принятых данных изображений для использования при визуализации пространственных деформаций газового шлейфа в последовательности кадров изображения. В некоторых вариантах осуществления данные анализа шлейфов также можно использовать для генерации предупреждений или уведомлений на основании определения аномальных состояний шлейфов, присутствующих на принятых данных изображений. Кроме того, клиент 105 и серверы 315A и 315B могут совместно использовать данные изображений, хранящиеся в базе 110 данных, которые можно использовать в развернутой системе 300 прогнозирования, чтобы генерировать данные анализа шлейфов на основании сохраненных данных изображений. Данные изображений, хранящиеся в базе 110 данных, могут включать в себя предоставленные клиентом данные изображений, ретроспективные данные изображений, а также данные изображений, связанные с разными конфигурациями камер, платформами для установки камер, типами газов, характеристиками погоды или окружающей среды, тепловыми моделями, производственным оборудованием или их конфигурациями или т. п.

[0059] Каждый из серверов 315A и 315B включает в себя модуль 240 связи, процессор 245 и запоминающее устройство 250, которое включает в себя один или более машиночитаемых носителей данных, содержащих программные команды, которые вызывают генерацию компьютером данных анализа шлейфов, основанных на данных изображений. Процессоры 245 серверов 315A и 315B выполнены с возможностью исполнения команд, таких как команды, физически закодированные в процессоре 245, команды, полученные из программного обеспечения в запоминающем устройстве 250, или их комбинации. Например, процессор 245 сервера 315A может исполнять команды для генерирования данных анализа шлейфов на основании данных изображений, которые могут быть выведены на клиента 105. Аналогичным образом процессор 245 сервера 315B может исполнять команды для генерирования данных анализа шлейфов на основании данных изображений, которые могут быть выведены на клиент 105.

[0060] Технологии, описанные в настоящем документе, также могут быть реализованы в виде способа (-ов), выполняемого (-ых) физическим (-ими) вычислительным (-ыми) устройством (-ами); в виде одного или более машиночитаемых носителей, предназначенных для долговременного хранения данных, где хранятся команды, при исполнении которых вычислительным (-ыми) устройством (-ами) инициируется выполнение способа (-ов); или в виде физического (-их) вычислительного (-ых) устройства (устройств), которое (-ые) специально выполнено (-ы) в виде комбинации аппаратного и программного обеспечения, которое обеспечивает выполнение способа (­ов).

[0061] На ФИГ. 4 представлена блок-схема, иллюстрирующая пример осуществления способа 400 для генерации данных анализа шлейфов на основании данных изображений с использованием архитектуры клиент/сервер, описанной со ссылкой на ФИГ. 1, 2A и 2B, а также обученные модели 150 прогнозирования последовательности кадров и/или обученные модели 160 прогнозирования кадров, сгенерированные в процессе глубокого обучения с использованием системы 200a и 200b обучения, как показано и описано со ссылкой на ФИГ. 2A и 2B. В определенных аспектах варианты осуществления способа 400 могут включать в себя большее или меньшее количество операций, чем показано на ФИГ. 4, и операции можно выполнять в порядке, отличном от порядка, показанного на ФИГ. 4.

[0062] Например, в ходе операции 405 клиент 105 принимает входные данные, включающие множество данных изображений. Данные изображений могут включать в себя один или более кадров изображений, захваченных с помощью ИК-камеры, камеры, работающей в спектре видимого излучения, или конфигурации ИК-камеры и камеры, работающей в спектре видимого излучения. Используя данные с ИК-изображений, система прогнозирования шлейфа может отделять низкоуровневые пространственные паттерны с когерентностью по времени от других перемещений или признаков, которые могут присутствовать на фоне или на переднем плане полученного изображения. Для данных изображений, принятых как изображения в спектре видимого света (RGB-изображения), изображения можно преобразовать в черно-белые полутоновые изображения с использованием стандартных методик обработки изображений, а затем направлять непосредственно в обученные прогнозные модели.

[0063] Данные изображений могут быть связаны со шлейфом газа, который может испускаться производственным оборудованием в среде нефтегазодобычи или в любой другой среде переработки и распределения газа. Данные изображений могут быть приняты клиентом 105 в связи с ранее обнаруженной утечкой или в связи с инициированием процедуры проверки на участке с предполагаемой утечкой газа. Клиент 105 может принимать данные изображений, следя за участком, на котором присутствует шлейф газа, непосредственно с фиксированной камеры или с камеры, установленной на подвижной платформе. Для данных изображений, полученных с камеры, установленной на подвижной платформе, поток входных кадров изображения стабилизируют с использованием стандартных методик машинного зрения перед предоставлением в качестве входных данных в обученные прогнозные модели. Это возможно, поскольку глубина шлейфа будет оставаться приблизительно одинаковой относительно камеры, в результате чего артефакты стабилизации на шлейфе будут минимальными. Кроме того, камера перемещается достаточно медленно, чтобы генерировать 8 кадров в последовательности и, соответственно, следить за шлейфом. При наличии артефактов стабилизации с достаточным количеством обучающих данных с камер на подвижных платформах процесс глубокого обучения может обучаться разделению шлейфов, несмотря на наличие этих артефактов на шлейфе и/или на других частях отслеживаемых сцен.

[0064] В некоторых вариантах осуществления клиент 105 может принимать данные изображений из базы данных, такой как база 110 данных. Данные изображений могут представлять собой ретроспективные данные изображений или могут быть данными в режиме реального времени, потоковыми данными изображений, которые принимает клиент в режиме реального времени или в режиме, близком к режиму реального времени.

[0065] После приема данных изображений клиент 105 может передавать данные изображений на сервер, такой как сервер 115. В некоторых вариантах осуществления данные изображений можно передавать на сервер 115 в виде обучающих данных. В других вариантах осуществления данные изображений можно передавать на сервер 115 в виде данных для прогнозирования. На этапе обучения в процессе глубокого обучения клиент 105 и/или база 110 данных могут передавать входные данные в качестве обучающих данных на сервер 115A обучения модели, изображенный на ФИГ. 2B. На этапе прогнозирования в процессе глубокого обучения клиент 105 и/или база 110 данных могут передавать данные для прогнозирования на сервер 115B прогнозирования, изображенный на ФИГ. 2B. Входные данные можно передавать от клиента 105 и/или базы 110 данных на сервер 115 по сети 235.

[0066] При выполнении операции 410 сервер 115 определяет данные анализа шлейфов. Сервер 115 определяет данные анализа шлейфов на основании данных изображений посредством моделей 120 прогнозирования последовательности кадров и/или моделей 130 прогнозирования кадров. Когда сервер 115 принимает данные 125 для прогнозирования, сервер 115 может применять обученную модель 120 прогнозирования последовательности кадров, сгенерированную в результате стадии обучения в процессе глубокого обучения, к переданным входным данным и может генерировать данные анализа шлейфов для последовательности кадров изображения. Модель 120 прогнозирования последовательности кадров

[0067] В альтернативном варианте осуществления сервер 115 может применять обученную модель 130 прогнозирования кадров, сгенерированную в результате стадии обучения в процессе глубокого обучения, к переданным входным данным и может генерировать данные анализа шлейфов для отдельных кадров изображения. Данные анализа шлейфов могут включать в себя данные 125 для прогнозирования последовательности кадров и/или данные 135 для прогнозирования кадров, каждый из которых может включать в себя эталонные маски сегментации и маски прогнозируемой сегментации шлейфа, попиксельно устанавливающие границы наблюдаемых и прогнозируемых деформаций шлейфа газа во времени для последовательности кадров изображения или для отдельных кадров изображения.

[0068] Модель 120 прогнозирования последовательности кадров может включать в себя пространственно-временную сеть U-Net, состоящую из кодера, за которым следует блок декодирования, который может включать в себя пространственные и временные свертки на этапе кодирования и обратные свертки на этапе декодирования. Как более подробно описано ниже в разделе «Экспериментальные результаты», для последовательности из 8 кадров, обеспеченной в качестве входных данных, входной слой может включать в себя пространственные свертки, генерирующие восемь карт активации с общими весами, применяемыми к каждому из восьми кадров. Если паттерны шлейфов демонстрировали линейные температурные профили, шлейфы можно отделять от других явлений, просто вычислив угол наклона по приведенной ниже формуле (1).

(1)

[0069] При использовании любого оптимизатора градиентного спуска существуют веса , которые после обучения могут представлять в качестве паттерна теплопередачи шлейфа. Одиночный 3D-сверточный слой сможет представлять эту сумму и выучить необходимые углы наклона во временном измерении. Однако с течением времени возникают более сложные нелинейные изменения в температурном профиле пятен шлейфов. Для уменьшения этого эффекта можно добавлять скрытый слой для введения нелинейности с использованием нелинейных функций активации, таких как сигмоидная функция или блок линейной ректификации (например, ReLU).

[0070] В моделях 120 прогнозирования последовательности кадров используют 3-мерный (3D) сверточный блок со скрытым слоем. Первый этап состоит из 16 фильтров с ядром размером 3 x 1 x 1 и шагом 2 x 1 x 1. Второй 3D-сверточный слой состоит из 16 фильтров, каждый из которых имеет ядро размером 3 x 1 x 1 и шаг 2 x 1 x 1. Далее все 2-мерные (2D) сверточные слои имеют размер ядра 3 x 3 и шаг 2 x 2, что позволяет вдвое уменьшать разрешение, и после каждого этапа число фильтров удваивается.

[0071] Для этапа декодирования имеются карты признаков с 6 этапов кодирования. Каждая из этих карт признаков отличается по параметрам текстуры и контекста, которые они захватывают. Начиная с карты признаков 4 x 4 x 512 этапа 6, которая захватывает наивысший контекст (наибольшее рецепторное поле), разрешение карты сегментации постепенно увеличивается за счет включения более высокого контекста с i-го этапа с текстурой с (i-1)-го этапа. На стадии декодирования 2D обратный сверточный слой имеет размер ядра 3 x 3 и шаг 2 x 2, что позволяет удвоить разрешение, а 2D-сверточный слой имеет размер ядра 1 x 1 и шаг 1 x 1.

[0072] На основании прогнозирования данных анализа шлейфов система прогнозирования шлейфов может быть дополнительно выполнена с возможностью определения наличия утечки, а также оценки размера утечки. Модели 120 прогнозирования последовательности кадров и/или модели 130 прогнозирования кадров могут дополнительно сегментировать шлейфы утечки газа с разными размерами утечки. Обучающие данные из утечек газа с разными размерами утечки могут быть обеспечены на этапе обучения в процессе глубокого обучения таким образом, чтобы каждый кадр изображения имел мультиклассовую эталонную маску сегментации, которая идентифицирует пикселы с разными размерами утечки, кодируя их различными цветами. В некоторых вариантах осуществления цветовое кодирование может включать в себя векторы, закодированные по схеме прямого кодирования. Каждое кодирование может быть единственным образом назначено другому цвету и может быть визуализировано как отдельный цвет при наложении на исходную последовательность кадров данных изображений. Например, при наличии трех категорий размера утечки можно использовать три цвета (красный, зеленый и синий), соответствующие категориям значительной, средней и незначительной утечки. В вариантах осуществления с большим количеством категорий для назначенных категорий можно использовать условные обозначения красного цвета. В некоторых вариантах осуществления модели 120 прогнозирования последовательности кадров и/или модели 130 прогнозирования кадров могут быть выполнены с возможностью генерирования масок прогнозирования шлейфов в виде двоичных черных и белых масок. В этом примере белый цвет можно использовать для указания пикселов, связанных со шлейфом, а черный цвет можно использовать для указания пикселов, связанных с фоном. В некоторых вариантах осуществления модели 120 прогнозирования последовательности кадров и/или модели 120 прогнозирования кадров могут быть выполнены с возможностью генерирования масок прогнозирования шлейфов в виде многоцветных масок сегментации, где каждый цвет может соответствовать отдельной категории размера утечки, такой как незначительный, средний или значительный.

[0073] При выполнении операции 415 сервер 115 определяет по меньшей мере одно из оценки размера утечки, оценки источника утечки и оценки объемной скорости утечки по шлейфу газа. Маски прогнозируемой сегментации шлейфа в пространственно-временной сети U-Net можно использовать для оценки объемной скорости утечки в куб. пикселах в секунду по шлейфу путем оценки других характеристик шлейфа. Скорость частиц на визуализированном шлейфе можно определять как скорость и направление частиц, которые проходят через одно из поперечных сечений маски прогнозируемой сегментации шлейфа. Скорость частиц на визуализируемом шлейфе можно определять с использованием методик машинного зрения, таких как оптический поток, который создает плотные поля скоростей в виде выходных данных на основании двух или более последовательных кадров. Эти плотные поля скоростей регистрируют скорость в пикселах в секунду и направление потока для каждого пиксела. На основании такой оценки скорости можно идентифицировать поперечное сечение шлейфа и измерять диаметр шлейфа в пикселах. Если предположить, что газ распределяется по кругу в 3D-пространстве вокруг этого 2D-поперечного сечения шлейфа, площадь поперечного сечения можно оценивать по диаметру поперечного сечения в квадратных пикселах. На основании оценок площади и скорости объемную скорость утечки можно рассчитывать в куб. пикселах в секунду как объем газа, выходящий за одну секунду через это поперечное сечение шлейфа. Используя оценку скорости и маску прогнозируемой сегментации шлейфа, также можно оценивать исходный пиксел или область исходных пикселов. Оценка источника утечки может быть полезной для идентификации компонентов, из которых может быть утечка. Оценку объемной скорости утечки в куб. пикселах в секунду можно калибровать в кубических футах в секунду путем приведения пикселов изображения к физическому размеру, выраженному в футах.

[0074] При выполнении операции 420 сервер 115 обеспечивает оценку размера утечки, оценку источника утечки, оценку объемной скорости утечки в виде рассчитанных выходных данных, которые могут храниться в запоминающем устройстве в виде атрибутов данных анализа шлейфов. Маска прогнозирования в данных анализа шлейфов может быть обеспечена в форме наложения на данные изображений. Сервер 115 определяет данные анализа шлейфов на основании данных изображений посредством моделей 120 прогнозирования последовательности кадров и/или моделей 130 прогнозирования кадров и генерирует наложение, которое помещается поверх данных изображений таким образом, что последовательности данных кадров изображения или отдельных кадров изображения последовательно включают в себя данные анализа шлейфов. В некоторых вариантах осуществления наложение может включать в себя предупреждения, графические указания или текстовые уведомления, идентифицирующие один или более рассчитанных атрибутов, таких как оценка размера утечки, оценка источника утечки и оценка объемной скорости утечки для обнаруженного шлейфа газа. Наложение может включать в себя такие предупреждения или указания на основании сервера 115, определяющие, что один или более атрибутов прогнозирования шлейфа достигли значений, которые находятся за пределами предварительно заданных значений, связанных с ожидаемыми характеристиками шлейфа газа.

[0075] При выполнении операции 425 сервер 115 передает данные анализа шлейфов, наложенные на данные изображений, а также все рассчитанные атрибуты клиенту 105 и/или базе 110 данных посредством сети 235. Клиент 105 может дополнительно предоставлять выходные данные пользователю в приложении, из которого были приняты данные изображений или в котором можно просматривать данные анализа шлейфов, наложенные на данные изображений. В некоторых вариантах осуществления клиент 105 может принимать данные анализа шлейфов, наложенные на данные изображений, и дополнительно передавать выходные данные в базу 110 данных для хранения, что позволяет сократить объем ресурсов запоминающего устройства, необходимых для клиента 105. Таким образом, база 110 данных может включать в себя вновь сгенерированные выходные данные анализа шлейфов, которые могут быть добавлены в базу данных проверки и мониторинга операторов нефтегазодобывающего оборудования, которая может храниться в базе 110 данных и быть связана с одним или более единицами производственного оборудования, на которых был обнаружен шлейф газа.

ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ

[0076] Предложенная в настоящем документе платформа сквозного глубокого обучения может обрабатывать последовательность ИК-изображений, захваченных с фиксированной или подвижной камеры, которая отделяет низкоуровневые пространственные паттерны с когерентностью по времени от типов перемещения или от фона.

[0077] На ФИГ. 5 представлена схема, иллюстрирующая пространственно-временную сеть 500 кодера-декодера, включающую в себя кодер 505, за которым следует декодер 510, которая включает в себя пространственные и временные свертки на этапе кодирования и обратные свертки на этапе декодирования. Согласно ФИГ. 5 пространственно-временная сеть 500 кодера-декодера может создавать маску 515 на уровне пикселов для каждого кадра во входной последовательности 520 из 8 кадров. Выходные маски 505 могут отличаться в каждом кадре и захватывать деформацию шлейфа во входной последовательности. В данном примере шлейф может представлять собой водяной пар, который едва различим человеческим глазом во входной последовательности 520. Выходная маска 515 может включать в себя пикселы 525, связанные с аннотацией эталонного шлейфа, и пикселы 530, связанные с прогнозированием шлейфа. Пространственно-временная сеть 500 кодера-декодера может быть использована для сегментации шлейфов из газов или паров различных типов на видео, полученном в LWIR- или MWIR-спектре, в сценариях с горячей областью на переднем плане и с холодной областью на переднем плане. Пространственно-временная сеть 500 кодера-декодера может представлять собой управляемую методику, для работы которой требуются покадровые эталонные аннотации в наборе обучающих последовательностей.

[0078] И наоборот, сетевая архитектура может ограничивать декодирование и кодирование пространственной области и одновременно захватывать временную сигнатуру в кодируемом пространстве. Такая архитектура может быть реализована в виде комбинации стандартных сетей LSTM с декодерами, применяемыми в задачах семантической сегментации, таких как DeConvNet и SegNet. При наличии такой архитектуры сеть LSTM может быть ограничена захватом временных соотношений в конечном пространстве кодирования высокого уровня. Такая сеть может быть использована в тех случаях, когда характер временных явлений строится на основе понятий высокоуровневой абстракции. Например, такие концепции высокоуровневой абстракции могут включать в себя головы, конечности и т. п., которые наблюдаются в пространстве позы человека для целей распознавания и сегментации действий человека на покадровой основе. Однако форма шлейфа может не быть семантически значимой или может включать в себя низкоуровневую абстракцию, высокую текстуру и изменения между кадрами, не обладающие единообразными признаками между различными примерами шлейфов. Таким образом, использование пространственно-временной схемы кодера-декодера, описанной в настоящем документе, позволяет захватывать и изолировать паттерны более низкого уровня. Описанная в настоящем документе пространственно-временная схема кодера-декодера обеспечивает преимущества расширения пространственной архитектуры сети U-Net на временную область для создания попиксельных масок сегментации из последовательностей, состоящих из 8 кадров, которые захватывают низкоуровневые временные явления, такие как деформирование шлейфов газа/пара.

[0079] На ФИГ. 6 представлена схема 600, иллюстрирующая входной уровень пространственной архитектуры сети U-Net, расширенной с использованием пространственно-временной сети 500 кодера-декодера, описанной со ссылкой на ФИГ. 5. Согласно ФИГ. 6 сеть может включать в себя 8 одноканальных кадров размером 128 x 128, причем ко всем кадрам применены пространственные свертки с размером ядра 3 x 3 и шагом 1 x 1. Ядра свертки, применяемые ко всем восьми кадрам, имеют общие веса, но существует 16 наборов ядер, которые формируют выходной тензор размера 128 x 128 x 8 x 16. Хотя в описание и фигуры включены входные кадры размером 128 на 128, размер входных слоев может быть расширен до любого размера, поскольку сеть включает в себя только свертки или обратные свертки и не включает полностью подключенные сети.

[0080] На ФИГ. 7 представлена схема 700, иллюстрирующая 3D-свертку с одним слоем, способным захватывать различия между паттернами линейных профилей изменения температуры. Входной слой, показанный на ФИГ. 6, может состоять из пространственных сверток и может генерировать восемь карт активации, A1, A2, … A8, как показано на ФИГ. 7. Сгенерированные карты активации могут включать в себя общие веса, применяемые к каждому из восьми кадров. Если шлейф демонстрирует линейные температурные профили, как показано на ФИГ. 7, шлейф можно отделять от других явлений путем вычисления угла наклона по приведенной ниже формуле (1):

[0081] При использовании оптимизатора градиентного спуска после обучения веса могут представлять в качестве паттерна теплопередачи шлейфа. Одиночный 3D-сверточный слой, показанный на ФИГ. 7, сможет представить эту сумму и выучить необходимые углы наклона во временном измерении.

[0082] На ФИГ. 8 представлена схема 800, иллюстрирующая 2-ступенчатую 3D-свертку, используемую при обработке сложных нелинейных изменений температурных профилей, связанных с пятнами шлейфов, с течением времени. Для ослабления этого эффекта добавляют скрытый слой и вводят нелинейность с использованием нелинейных функций активации, таких как сигмоидная функция, ReLu или т. п. Согласно ФИГ. 8 ни целевые паттерны шлейфов, ни другие фоновые явления не следуют в обязательном порядке линейным временным температурным профилям. Для захвата нелинейных паттернов во временном измерении применяют 2-ступенчатую 3D-свертку.

[0083] На ФИГ. 9 представлена схема 900, иллюстрирующая 3D-сверточный блок, используемый в пространственно-временной сети кодера-декодера, описанной в настоящем документе. 3D-свертки можно применять в два этапа для извлечения 16 карт временных признаков с конечным размером тензора 128 x 128 x 1 x 16. Первый этап, операция 905 пространственной свертки, может включать в себя 16 фильтров с размером ядра 3 x 1 x 1 и шагом 2 x 1 x 1. Второй слой 3D-свертки, операция 910 временной свертки, может состоять из 16 фильтров, каждый из которых имеет размер ядра 3 x 1 x 1 и шаг 2 x 1 x 1.

[0084] На ФИГ. 10 представлена схема 1000, иллюстрирующая полную сетевую архитектуру пространственно-временной сети кодера-декодера, описанной в настоящем документе. Согласно ФИГ. 10 левая сторона схемы представляет собой сеть кодера, а правая сторона схемы представляет собой сеть декодера. Стрелки обозначают операции пространственной, временной и обратной свертки. Все 2D-сверточные слои имеют размер ядра 3 x 3 и шаг 2 x 2, что позволяет вдвое уменьшить разрешение, и после каждого этапа число фильтров удваивается. Операции пространственной свертки показаны ссылками 1005, операции временной свертки показаны ссылками 1010, а операции обратной свертки показаны ссылками 1015.

[0085] Согласно ФИГ. 10 выходные данные 1020 могут представлять собой двоичную маску для каждой последовательности из 8 кадров, отделяющей шлейф от всех остальных явлений. Эталонную маску последнего кадра в последовательности, состоящей из 8 кадров, используют для обучения сети. Во время обучения используют энергетическую функцию сети U-Net, причем многопеременная логистическая функция (softmax) на основе пикселов на конечной карте признаков может быть объединена с функцией потерь на основе перекрестной энтропии. Поскольку это может быть относительно неглубокая сеть, для нее не могут потребоваться или не используют схемы инициализации весов с другими задачами, такими как компрессия-декомпрессия данных, а все веса инициализируют случайным образом.

[0086] Преимущество потребности в одной эталонной маске на каждую последовательность из 8 кадров в уменьшении количества аннотаций, необходимых для создания наборов обучающих данных. Однако альтернативная сеть ST-U-net-Full может также быть реализована с небольшими изменениями в сетевой архитектуре декодера, в которой сеть выводит по одной маске для каждого кадра в данной последовательности из 8 кадров. В этом варианте для обучения сети функция потерь может использовать все 8 эталонных масок. Хотя это изменение может значительно увеличивать размер сети, экспериментальные результаты показывают, что попиксельная точность при этом повышается.

[0087] На ФИГ. 11 представлена схема 1100, иллюстрирующая операции этапа декодирования пространственно-временной сети кодера-декодера, описанной в настоящем документе. Операции этапа декодирования на данном слое, в которых размер карты признаков из предыдущего слоя удвоен посредством обратных сверток, и временная карта признаков кодирующего слоя конкатенируют в карту признаков текущего слоя. Согласно ФИГ. 11 карты признаков с 6 этапов могут варьироваться по параметрам текстуры и контексту, которые они захватывают. Начиная с карты признаков 4 x 4 x 512 этапа 6 на ФИГ. 10, который захватывает наивысший контекст (наибольшее рецепторное поле), разрешение карты сегментации можно постепенно увеличивать за счет включения более высокого контекста с i-го этапа с текстурой с (i-1)-го этапа посредством операций, показанных на ФИГ. 11. На стадии декодирования 2D обратный сверточный слой имеет размер ядра 3 x 3 и шаг 2 x 2, что позволяет удвоить разрешение, а 2D-сверточный слой имеет размер ядра 1 x 1 и шаг 1 x 1.

[0088] На ФИГ. 12 представлена схема 1200, иллюстрирующая набор видеоданных потока ИК-излучения, собранных в качестве экспериментальных результатов. Всего было собрано 12 наборов данных. Для генерирования шлейфа пара 1205 использовали увлажнитель, работающий с различными скоростями. В качестве помехи использовали человека 1210, ходящего перед увлажнителем. Контролируемая среда может быть выполнена с возможностью сбора ряда ИК-видеозаписей с помощью камеры FLIR T640 с объективом. имеющим фокусное расстояние 41 мм. Для генерирования различных скоростей и плотностей паровых шлейфов можно использовать увлажнитель с регулируемыми скоростями. Для введения различных условий переднего плана на некоторых из видеозаписей перед источником пара может ходить человек. Всего можно получить 12 видеозаписей с 3 настройками увлажнителя: очень медленное, медленное и среднее значение, при этом для каждой настройки получают 4 видеозаписи. Для каждой настройки на двух видеозаписях был показан человек, ходящий перед камерой и закрывающий собой увлажнитель и шлейф. На ФИГ. 12 названия видеозаписей показаны как Set 1, 2, 3,... 12 и комбинации условий окружающей среды. Видеоклипы продолжительностью 20-30 секунд были получены со скоростью 30 кадров в секунду. Видеозаписи масштабировали и повышали контрастность с помощью технологии FLIR SDK, при этом коэффициент излучения измеряемой поверхности составлял 0,95, а отраженная температура - 77 °F. Для обучения и анализа рабочих характеристик в общей сложности на 900 кадров вручную помещали аннотации контура пара в наборах Set 1, 3, 4, 5, 6, 7, 9, 10 и 11. Всего аннотации контура парового шлейфа вручную помещали на 450 кадров в наборах Set 2, 8 и 12, которые выделяли в качестве отдельного испытательного набора.

[0089] На ФИГ. 13 представлена схема 1300, иллюстрирующая результаты прогнозирования шлейфа для выбранных кадров с использованием сети ST-U-net-Full, описанной в настоящем документе. Ссылки 1305 иллюстрируют контуры аннотаций эталонного шлейфа, а ссылки 1310 иллюстрируют контуры прогнозируемых шлейфов, сгенерированных сетью, описанной в настоящем документе.

[0090] Эффективность предложенной пространственно-временной сети U-Net применительно к базе данных ИК-видеозаписей для пара проверяли следующим образом. Пространственно-временную сеть U-Net, пространственно-временную сеть U-Net-Full и сеть на основе LSTM обучали с использованием аннотированных обучающих кадров путем генерации случайных примеров последовательностей из 8 кадров. Для тестовых последовательностей из 8 кадров рассчитывали стандартные показатели точности и возврата на уровне пикселов путем сравнения эталонных ручных аннотаций с сетевыми прогнозами. Для чистоты эксперимента с прогнозами последнего кадра для всех трех сетей сравнивали только эталонную маску последнего кадра, хотя пространственно-временная сеть U-Net-Full генерировала маску для всех восьми кадров в последовательности. На ФИГ. 12 проиллюстрированы результаты прогнозирования, наложенные на аннотации эталонного шлейфа для пространственно-временной сети U-Net-Full. В представленной ниже таблице 1 обобщена эффективность попиксельной маски прогнозирования для всех трех сетей в испытательных последовательностях из трех наборов ИК-видеозаписей.

Способ Set12 Set8 Set2
Точность Возврат Точность Возврат Точность Возврат
LSTM 0,70 0,62 0,73 0,76 0,60 0,57
ST-U-NET 0,63 0,68 0,72 0,85 0,67 0,86
ST-U-NET-Full 0,82 0,62 0,84 0,77 0,83 0,71

ТАБЛИЦА 1

[0091] Вариации пространственно-временной сети U-Net явно превосходят сеть на основе LSTM, особенно в терминах точности. Даже если шлейф сегментирован не полностью (возврат около 70%), пространственно-временная сеть U-Net (ST-U-NET) лучше работает при перекрытии с эталонными многоугольниками (точность лучше 80%). Сеть на основе LSTM, по-видимому, более подвержена некоторым случайным воздействиям в тепловых паттернах фона, генерирующих ложные предупреждения в несвязанных частях кадров. Результаты особенно заметны для набора Set2, где шлейф едва различим человеческим глазом. Таким образом, вариации пространственно-временной сети U-Net, описанные в настоящем документе, успешно отделяют паттерны шлейфов низкого уровня от паттернов шлейфов высокого уровня и превосходят сегментацию, выполненную сетью на основе LSTM.

[0092] На Фиг. 14 представлена схема 1400 маски 1405 прогнозируемой сегментации шлейфа, которая устанавливает протяженность шлейфа в одном кадре 1410 последовательности кадров изображения, включенных в данные изображений. Скорость частиц на визуализированном шлейфе можно определять как скорость и направление частиц, которые проходят через одно из поперечных сечений маски прогнозируемой сегментации шлейфа. Скорость частиц на визуализируемом шлейфе можно определять с использованием методик машинного зрения, таких как оптический поток, который создает плотные поля скоростей в виде выходных данных на основании двух или более последовательных кадров. Эти плотные поля скоростей регистрируют скорость в пикселах в секунду и направление потока для каждого пиксела. Частота кадров последовательности кадров может быть известна из технических характеристик камеры, например 15 Гц или 30 Гц. На основании такой оценки скорости можно идентифицировать поперечное сечение шлейфа и измерять диаметр шлейфа в пикселах. Если предположить, что газ распределяется по кругу в 3D-пространстве вокруг этого 2D-поперечного сечения шлейфа, площадь поперечного сечения можно оценивать по диаметру поперечного сечения в квадратных пикселах. На основании оценок площади поперечного сечения и скорости в поперечном сечении объемную скорость утечки можно рассчитывать в куб. пикселах в секунду в виде объема исходящего газа, проходящего за одну секунду через это поперечное сечение шлейфа. Используя оценку скорости и маску прогнозируемой сегментации шлейфа, также можно оценивать пиксел 1415 источника. Оценка источника может быть полезной для идентификации компонентов, из которых может быть утечка. Оценку объемной скорости утечки в куб. пикселах в секунду можно калибровать в кубических футах в секунду путем приведения пикселов изображения к физическому размеру, выраженному в футах.

[0093] Улучшенная система прогнозирования шлейфа, описанная в настоящем документе, решает техническую проблему эффективного генерирования данных анализа шлейфов для шлейфа газа на основании данных изображений. Решение задачи определения и генерирования точных детализированных эталонных масок и масок прогнозируемой сегментации для шлейфа газа может быть сложной и трудоемкой, требующей существенных человеческих и вычислительных ресурсов для генерирования и хранения множества баз данных, содержащих большие библиотеки эталонных данных шлейфов, которые должны быть соответствующим образом каталогизированы и индексированы. Примеры технических эффектов способов, систем и устройств, описанных в настоящем документе, включают в себя в качестве не имеющего ограничительного характера примера генерирование наблюдаемых и прогнозируемых пространственных и временных характеристик газовых шлейфов на основании данных изображений с использованием прогнозной модели, обученной в процессе глубокого обучения. Прогнозная модель снижает потребность в значительных вычислительных ресурсах, на которых хранятся большие базы данных из данных изображений, и необходимость в ручном определении характеристик газообразного шлейфа, который может быть связан с утечкой из производственного оборудования. Прогнозная модель также обеспечивает пример технического эффекта, выражающегося в сокращении времени вычислений, улучшении генерирования параметров, связанных со шлейфом газа, таких как обнаружение утечек и определение размера утечки, и улучшении визуализации сгенерированных данных анализа шлейфов в виде наложения на данные изображений. Таким образом, система улучшает функциональные возможности компьютера, который обрабатывает данные изображений и генерирует данные анализа шлейфов, соответствующие одному или более целевым шлейфам газа, который может утекать или не утекать из производственного оборудования или другого источника, такого как земная или водная геологическая формация. Кроме того, клиенты 105 могут включать в себя улучшенный дисплей или графический интерфейс пользователя (ГИП), который обеспечивает более эффективную визуализацию и исполнение данных анализа шлейфов, например при визуализации эталонных масок и масок прогнозируемой сегментации шлейфа в виде наложения поверх отдельных кадров изображения, конкретных последовательностей кадров изображения или потоковых видеокадров изображения. Улучшенный ГИП может также обеспечивать улучшенные визуализации для ответа на предупреждения или уведомления о нештатных состояниях шлейфа, планирования процедур ремонта производственного оборудования, в котором шлейф газа может проявляться в виде утечки, или управления темпами добычи в среде нефтегазодобычи в пределах желаемых диапазонов. Существующие приложения или системы проверки и мониторинга шлейфов, как правило, не включают в себя таких надежных интерфейсов для обеспечения данных анализа шлейфов, сгенерированных обученной прогнозной моделью. Существующие приложения ограничены интерфейсами, которые могут обеспечивать текущие или ретроспективные данные изображений для шлейфа газа, но не содержать данных анализа шлейфов, сгенерированных на основании принятых данных изображений и отображаемых в режиме реального времени или в режиме, близком к режиму реального времени. Улучшенная система прогнозирования шлейфов обеспечивает автоматизированную прогнозную систему обнаружения шлейфов, выполненную с возможностью конфигурирования пользователем, и систему прогнозирования размера утечки, выполненную с возможностью генерирования пространственно-временных данных анализа шлейфов на основании входных данных, которые включают в себя минимальную информацию о таких характеристиках в данные изображений, используемые в качестве входных данных.

[0094] Для обеспечения общего понимания принципов конструкции, функционирования, производства и использования систем, устройств и способов, описанных в настоящем документе, было приведено описание определенных примеров осуществления. Один или более примеров таких вариантов осуществления проиллюстрированы на сопроводительных рисунках. Специалисту в данной области будет понятно, что системы, устройства и способы, конкретно описанные в настоящем документе и проиллюстрированные на сопроводительных рисунках, являются примерами осуществления, не имеющими ограничительного характера, а объем настоящего изобретения определяется только формулой изобретения. Признаки, проиллюстрированные или описанные в связи с одним примером осуществления, можно комбинировать с признаками других вариантов осуществления. Предполагается, что объем настоящего изобретения включает в себя такие модификации и варианты. Кроме того, в настоящем описании имеющие аналогичные названия компоненты вариантов осуществления имеют по существу аналогичные признаки, и, таким образом, в рамках конкретного варианта осуществления нет необходимости в обязательном полном описании каждого признака каждого из имеющих аналогичные названия компонентов.

[0095] Описываемый в настоящем документе объект изобретения может быть реализован в виде аналоговой электронной схемы, цифровой электронной схемы и/или в виде компьютерного программного обеспечения, программно-аппаратного обеспечения или аппаратного обеспечения, включая описанные в настоящем описании структурные средства и их структурные эквиваленты, или их комбинации. Описанный в настоящем документе объект изобретения может быть реализован в виде одного или более компьютерных программных продуктов, таких как одна или более компьютерных программ, практически реализованных на носителе информации (например, на машиночитаемом устройстве хранения данных), или реализован в виде распространяющегося сигнала для исполнения устройством обработки данных или для управления его работой (например, программируемого процессора, компьютера или множества компьютеров). Компьютерная программа (также называемая программой, программным обеспечением, приложением или кодом) может быть написана на языке программирования любого типа, включая компилируемые или интерпретируемые языки, и может устанавливаться в любой форме, включая автономную программу или модуль, компонент, подпрограмму или другой элемент, пригодный для использования в вычислительной среде. Компьютерная программа не обязательно соответствует файлу. Программа может храниться в части файла, который содержит другие программы или данные, в одном файле, предназначенном для рассматриваемой программы, или во множестве согласованных файлов (например, файлов, которые содержат один или более модулей, подпрограмм или частей кода). Компьютерную программу можно устанавливать для исполнения на одном компьютере или на множестве компьютеров в одном месте или распределять во множестве мест, объединенных сетью связи.

[0096] Процессы и логические потоки, представленные в настоящем описании, включая этапы способов в соответствии с объектом изобретения, описанным в настоящем документе, может выполнять один или более программируемых процессоров, исполняющих одну или более компьютерных программ для выполнения функций в соответствии с объектом изобретения, описанным в настоящем документе, путем использования входных данных и генерации выходных данных. Процессы и логические потоки также можно выполнять на специальной логической электронной схеме, например графическом процессоре (GPU), программируемой пользователем вентильной матрице (FPGA) или специализированной интегральной схеме (ASIC), и устройство описанного в настоящем документе объекта изобретения может быть реализовано в таком виде.

[0097] Пригодные для исполнения компьютерной программы процессоры в качестве примера включают процессоры как общего, так и специального назначения, а также любой один или более процессоров цифрового компьютера любого типа. В целом процессор будет принимать инструкции и данные от постоянного запоминающего устройства, оперативного запоминающего устройства или обоих. Существенными элементами компьютера являются процессор для исполнения команд и одно или более запоминающих устройств для хранения команд и данных. В целом компьютер также будет включать в себя одно или более устройств хранения данных, например магнитный, магнитооптический или оптический диски, или будет функционально соединен с возможностью получения данных от них, или передачи данных на них, или для обеих целей. Носители информации, пригодные для хранения команд и данных компьютерных программ, включают в себя все формы энергонезависимой памяти, включая в качестве примера полупроводниковые запоминающие устройства (например, EPROM, EEPROM и флеш-накопители); магнитные диски (например, внутренние жесткие диски или съемные диски); магнитооптические диски и оптические диски (например, CD- и DVD-диски). Процессор и запоминающее устройство могут быть дополнены специализированной логической электронной схемой или встроены в нее.

[0098] Для обеспечения взаимодействия с пользователем описанный в настоящем документе объект изобретения может быть реализован на компьютере с устройством отображения, например катодно-лучевой трубкой (КЛТ) или жидкокристаллическим (ЖК) монитором, для отображения информации для пользователя, а также клавиатурой и указывающим устройством, (например, мышью или трекболом), с помощью которых пользователь может вводить в компьютер входные данные. Для обеспечения взаимодействия с пользователем также можно использовать и другие типы устройств. Например, предоставляемая пользователю обратная связь может принимать форму любой сенсорной обратной связи (например, визуальной обратной связи, слуховой обратной связи или тактильной обратной связи), и входные данные от пользователя тоже могут поступать в любой форме, включая звуковые, речевые или тактильные входные данные.

[0099] Описанные в настоящем документе технологии можно реализовать с использованием одного или более модулей. В настоящем документе термин «модуль» относится к компьютерному программному обеспечению, программно-аппаратному обеспечению, аппаратному обеспечению и/или их различным комбинациям. Однако модули как минимум не следует интерпретировать как программное обеспечение, которое не реализовано в аппаратном или программно-аппаратном виде или не записано на нетранзиторные машиночитаемые носители (т. е. модули сами по себе не являются программным обеспечением). Фактически «модуль» следует интерпретировать как нечто, всегда включающее в себя по меньшей мере некоторое физическое нетранзиторное аппаратное обеспечение, такое как часть процессора или компьютера. Два разных модуля могут совместно использовать одно и то же физическое аппаратное обеспечение (например, два разных модуля могут использовать один и тот же процессор и сетевой интерфейс). Описанные в настоящем документе модули можно комбинировать, интегрировать, разделять и/или дублировать для поддержки различных приложений. Кроме того, функция, которая в настоящем документе описана как выполняемая конкретным модулем, может выполняться в одном или более других модулях и/или одним или более другими устройствами вместо или в дополнение к функции, выполняемой в конкретном модуле. Более того, модули могут быть реализованы распределенными по множеству устройств и/или других компонентов, локальных или удаленных друг от друга. Дополнительно модули можно перемещать с одного устройства и добавлять на другое устройство и/или можно включать в состав обоих устройств.

[0100] Описанный в настоящем документе объект изобретения может быть реализован на компьютерной системе, которая включает в себя внутренний компонент (например, сервер данных), средний компонент (например, сервер приложений) или интерфейсный компонент (например, компьютер-клиент с графическим интерфейсом пользователя или сетевой браузер, с помощью которых пользователь может взаимодействовать с реализацией описанного в настоящем документе объекта изобретения) либо любую комбинацию таких внутренних, средних и интерфейсных компонентов. Компоненты системы могут быть связаны между собой любой формой или средой цифрового обмена данными, например сетью связи. К примерам сетей связи относятся локальная вычислительная сеть (LAN) и глобальная сеть (WAN), например Интернет.

[0101] Используемые в настоящем описании и пунктах формулы изобретения приблизительные формулировки можно применять для модификации любого количественного представления, которое можно изменять, без изменения основной функции, к которой оно относится. Соответственно, значение, модифицированное с помощью термина или терминов, таких как «приблизительно», «около» или «по существу», не ограничено точным указанным значением. В по меньшей мере некоторых случаях приблизительные формулировки могут соответствовать точности прибора, используемого для измерения значения. Используемые в настоящем описании и пунктах формулы изобретения ограничения на диапазоны значений можно комбинировать и/или заменять, и такие диапазоны указывают и включают все содержащиеся в них поддиапазоны, если только контекст или формулировки не указывают на иное.

[0102] Специалисту в данной области техники будут понятны особенности и преимущества изобретения на основании описанных выше вариантов осуществления. Соответственно, настоящая заявка не ограничивается представленными на рисунках и описанными вариантами осуществления, за исключением случаев, которые оговорены в прилагаемой формуле изобретения. Все публикации и материалы, цитируемые в настоящем документе, полностью и в явной форме включены в него путем ссылки.

1. Способ обнаружения шлейфа газа на основании данных изображений, включающий:

прием данных изображений, связанных со шлейфом газа, причем данные изображений включают в себя множество кадров изображения;

определение данных анализа шлейфов с использованием принятых данных изображений и первой прогнозной модели, обученной принимать данные изображений, и

генерирование данных анализа шлейфов, связанных со шлейфом газа, в ответ на прием, причем данные анализа шлейфов включают в себя маску прогнозируемой сегментации шлейфа, связанную со шлейфом газа и прогнозируемую по отношению к последовательности кадров изображения, включенных в данные изображений, причем указанная маска прогнозируемой сегментации шлейфа включает в себя попиксельную сегментацию, устанавливающую границу шлейфа газа, прогнозируемую посредством первой прогнозной модели, которая наложена на попиксельное представление эталонной маски сегментации, включающей данные аннотации, связанные с последовательностью кадров изображения и обеспеченные посредством обучения пользователем первой прогнозной модели;

определение по меньшей мере одного из оценки размера утечки, оценки источника утечки и оценки объемной скорости утечки для шлейфа газа;

обеспечение оценки размера утечки, оценки источника утечки, оценки объемной скорости утечки и данных анализа шлейфов, причем данные анализа шлейфов представлены в виде наложения на данные изображений; и

передачу данных анализа шлейфов, наложенных на данные изображений, причем по меньшей мере одно из приема, определения, обеспечения и передачи выполняет по меньшей мере один процессор обработки данных, составляющий часть по меньшей мере одной компьютерной системы.

2. Способ по п. 1, в котором шлейф газа включает в себя шлейф дыма, шлейф пара, шлейф газа или шлейф газовой смеси.

3. Способ по п. 1, в котором данные изображений получают с помощью камеры, выполненной с возможностью захвата каждого кадра изображения с использованием инфракрасного света или видимого света.

4. Способ по п. 3, в котором оценка размера утечки включает в себя попиксельную классификацию предварительно заданных размеров утечки, устанавливающих границу шлейфа газа, согласно прогнозу на основании последовательности кадров изображения.

5. Способ по п. 3, в котором камера выполнена с возможностью получения каждого кадра изображения из фиксированного местоположения или с подвижной платформы.

6. Способ по п. 5, в котором подвижная платформа включает в себя управляемое наземное транспортное средство, неуправляемое наземное транспортное средство, управляемый летательный аппарат, неуправляемый летательный аппарат, управляемое транспортное средство на воздушной подушке, неуправляемое транспортное средство на воздушной подушке, управляемое подводное транспортное средство, неуправляемое подводное транспортное средство, робота или подвижную платформу, закрепленную на движущемся операторе.

7. Способ по п. 1, в котором определение оценки источника утечки дополнительно включает в себя

определение одного или более пикселов шлейфа в одном или более кадрах последовательности кадров изображения на основании оценки скорости потока частиц в пределах области шлейфа.

8. Способ по п. 7, в котором определение объемной скорости утечки дополнительно включает в себя

определение площади поперечного сечения маски прогнозируемой сегментации шлейфа; и

определение оценки скорости потока частиц по мере их пересечения области поперечного сечения маски прогнозируемой сегментации шлейфа.

9. Способ по п. 1, дополнительно включающий в себя

определение данных анализа шлейфов с использованием принятых данных изображений и второй прогнозной модели, обученной приему данных изображений; и

генерирование данных анализа шлейфов, связанных со шлейфом газа, с использованием второй прогнозной модели в ответ на прием, причем данные анализа шлейфов включают в себя маску прогнозируемой сегментации шлейфа, связанную со шлейфом газа и прогнозируемую по отношению к каждому кадру изображения в последовательности кадров изображения, включенных в данные изображений.

10. Система для обнаружения шлейфа газа на основании данных изображений, содержащая:

первое вычислительное устройство, включающее в себя процессор данных и запоминающее устройство, в котором хранятся машиночитаемые команды и множество прогнозных моделей, причем процессор выполнен с возможностью исполнения машиночитаемых команд, исполнение которых инициирует выполнение процессором операций, включая

прием данных изображений, связанных со шлейфом газа, причем данные изображений включают в себя множество кадров изображения,

определение данных анализа шлейфов с использованием принятых данных изображений и первой прогнозной модели, обученной принимать данные изображений, и

генерирование данных анализа шлейфов, связанных со шлейфом газа, в ответ на прием, причем данные анализа шлейфов включают в себя маску прогнозируемой сегментации шлейфа, связанную со шлейфом газа и прогнозируемую по отношению к последовательности кадров изображения, включенных в данные изображений, причем маска прогнозируемой сегментации шлейфа включает в себя попиксельную сегментацию, устанавливающую границу шлейфа газа, прогнозируемую посредством первой прогнозной модели, которая наложена на попиксельное представление эталонной маски сегментации, включающей данные аннотации, связанные с последовательностью кадров изображения и обеспеченные посредством обучения пользователем первой прогнозной модели;

определение по меньшей мере одного из оценки размера утечки, оценки источника утечки и оценки объемной скорости утечки для шлейфа газа;

обеспечение оценки размера утечки, оценки источника утечки, оценки объемной скорости утечки в виде рассчитанных атрибутов и данных анализа шлейфов, причем данные анализа шлейфов представлены в виде наложения на данные изображений, и

передачу данных анализа шлейфов, наложенных поверх данных изображений; и

второе вычислительное устройство, связанное с первым вычислительным устройством посредством сети, причем второе вычислительное устройство включает в себя дисплей, выполненный с возможностью представления переданных данных анализа шлейфов посредством дисплея.

11. Система по п. 10, в которой шлейф газа включает в себя шлейф дыма, шлейф пара, шлейф газа или шлейф газовой смеси.

12. Система по п. 10, дополнительно содержащая камеру, выполненную с возможностью захвата каждого кадра изображения с использованием инфракрасного света или видимого света.

13. Система по п. 12, в которой оценка размера утечки включает в себя попиксельную классификацию предварительно заданных размеров утечки, устанавливающих границу шлейфа газа, согласно прогнозу на основании последовательности кадров изображения.

14. Система по п. 12, в которой камера выполнена с возможностью получения каждого кадра изображения из фиксированного местоположения или с подвижной платформы.

15. Система по п. 14, в которой подвижная платформа включает в себя управляемое наземное транспортное средство, неуправляемое наземное транспортное средство, управляемый летательный аппарат, неуправляемый летательный аппарат, управляемое транспортное средство на воздушной подушке, неуправляемое транспортное средство на воздушной подушке, управляемое подводное транспортное средство, неуправляемое подводное транспортное средство, робота или подвижную платформу, закрепленную на движущемся операторе.

16. Система по п. 10, в которой за счет машиночитаемых команд процессор дополнительно определяет оценку источника утечки путем

определения одного или более пикселов шлейфа в одном или более кадрах последовательности кадров изображения на основании оценки скорости потока частиц в пределах области шлейфа.

17. Система по п. 16, в которой за счет машиночитаемых команд процессор дополнительно определяет объемную скорость утечки путем

определения площади поперечного сечения маски прогнозируемой сегментации шлейфа в одном или более кадрах последовательности кадров изображения; и

определения оценки скорости потока частиц по мере их пересечения области поперечного сечения маски прогнозируемой сегментации шлейфа.

18. Система по п. 10, в которой за счет машиночитаемых команд процессор дополнительно

определяет данные анализа шлейфов с использованием принятых данных изображений и второй прогнозной модели, обученной приему данных изображений; и

генерирует данные анализа шлейфов, связанные со шлейфом газа, с использованием второй прогнозной модели в ответ на прием, причем данные анализа шлейфов включают в себя маску прогнозируемой сегментации шлейфа, связанную со шлейфом газа и прогнозируемую по отношению к каждому кадру изображения в последовательности кадров изображения, включенных в данные изображений.



 

Похожие патенты:

Изобретение относится к области обработки медицинских изображений. Технический результат заключается в повышении точности медицинского изображения и получении сегментированного виртуального изображения органов дыхания человека.

Изобретение относится к определению и детализации вектора движения, а также к определению предиктора для компенсации движения, который может использоваться во время кодирования и декодирования видеоинформации. Техническим результатом является повышение эффективности кодирования/декодирования.

Настоящее техническое решение относится к области вычислительной техники. Технический результат заключается в повышении точности при определении контура сельскохозяйственного (с/х) поля.

Изобретение относится к области компьютерной техники, в частности, к методам построения навигационных маршрутов для пользователя в виртуальной среде. Техническим результатом является повышение точности построения навигационных маршрутов на основе окружающего пространства для пользователя в трехмерной модели виртуального тура.

Изобретение относится к области компьютерной техники, в частности к методам управления взаимодействия пользователей в виртуальных турах. Технический результат заключается в повышении точности обработки окружающего пространства для получения виртуальной сцены.

Изобретение относится к области обработки изображений, в частности, к способу и устройству для детектирования линии взгляда и обработки видеоданных. Техническим результатом является детектирование изображения лица и направления взгляда в видеокадре, а также повышение эффективности детектирования и точности определения направления взгляда.

Изобретение относится к области обработки изображений. Технический результат заключается в повышении точности спектрального разделения объектов на гиперспектральных изображениях по панхроматическим изображениям высокого пространственного разрешения.

Изобретение относится к системе и способу выбора параметра получения изображений для системы формирования изображений. Техническим результатом является повышение эффективности и точности выбора параметра получения изображений для системы формирования изображений.

Изобретение относится к способу калибровки внешних параметров оптических видеокамер. Техническим результатом является повышение точности калибровки внешних параметров видеокамер.

Изобретение относится к устройствам и способам обработки изображений. Технический результат заключается в повышении точности сегментации медицинского изображения.

Изобретение относится к области обработки медицинских изображений. Технический результат заключается в повышении точности медицинского изображения и получении сегментированного виртуального изображения органов дыхания человека.
Наверх