Система помощи в настройке режима работы установки, обучающее устройство и устройство помощи в настройке режима работы
Система 1 поддержки настройки режима работы установки для поддержки настройки режима работы установки, которая выполняет процесс, сформированный посредством множества устройств, включает в себя: множество устройств 20 управления, которые воздействуют на управляемые устройства 10 для управления с обратной связью, соответственно; и устройство 30 поддержки настройки режима работы, которое предоставляет объединенную поддержку для настройки множества устройств 20 управления, которые выполняют множество задач управления с обратной связью соответственно и независимо. Устройство 30 поддержки настройки режима работы включает в себя: блок получения множества измеренных значений, который получает множество измеренных значений, указывающих состояния множества управляемых устройств 10, управляемых посредством множества устройств 20 управления, соответственно; и блок определения параметра регулировки устройства управления, который определяет, на основе множества измеренных значений, полученных посредством блока получения множества измеренных значений, множество параметров регулировки устройства управления, используемых каждым из множества устройств 20 управления для определения манипуляционных переменных для управления, которые должны быть введены во множество управляемых устройств, согласно политике, изученной посредством глубокого обучения с подкреплением. 2 н. и 9 з.п. ф-лы, 8 ил.
Область техники, к которой относится изобретение
[0001] Настоящее изобретение относится к системе поддержки настройки режима работы установки для поддержки настройки режима работы установки и к обучающему устройству и устройству поддержки настройки режима работы, которые могут быть использованы в системе настройки режима работы установки.
Уровень техники
[0002] В установках для производства химических продуктов и промышленных изделий последовательность процессов выполняется посредством большого числа устройств, таких как реактор и нагревательная печь. Большое число манипуляционных переменных для управления большим числом устройств соответственно изменяют состояние процесса. В установках, в которых выполняется многоэтапный процесс, большое число манипуляционных переменных могут взаимодействовать друг с другом сложным образом. Следовательно, нелегко прогнозировать влияние от изменения манипуляционной переменной, и параметр регулировки устройства управления для определения манипуляционной переменной задается опытным оператором, чтобы эксплуатировать установку.
[0003] Например, патентный документ 1 и патентный документ 2 предлагают технологию управления установкой типа этой, которая включает в себя множество систем управления, которые могут взаимно мешать друг другу.
[0004] Патентный документ 1 описывает технологию предоставления, между тремя или более системами контуров управления, элемента невмешательства, который отменяет взаимные помехи между контурами управления. Элемент невмешательства вычисляется посредством аппроксимации передаточной функции каждого контура управления и передаточной функции вмешивающегося элемента, вмешивающегося из другого контура управления, к форме реакции системы запаздывания первого порядка, которая включает в себя пустую трату времени.
[0005] Патентный документ 2 описывает технологию построения соотношения между позицией клапана для клапана управления и переменной, представляющей состояние процесса, которое изменяется в зависимости от позиции клапана, в форме уравнения в устойчивом состоянии, вычисления CV-значения, указывающего целевую позицию клапана для клапана управления на основе выражения аналитического решения, полученного для каждого клапана управления согласно уравнению, вычисления CV-значения, указывающего текущую позицию клапана для клапана управления, определенную посредством обнаруженного значения, и вычисления отклонения e между двумя CV-значениями и воздействие на состояние процесса для управления с обратной связью на основе отклонения e.
[0006] [патентный документ 1] JP2007-11866
[патентный документ 2] JP2010-97254
Проблема, которая должна быть решена изобретением
[0007] Трудно аппроксимировать математически поведение значения процесса в каждой из множества систем управления с высокой точностью. Более трудным является прогноз поведения значения установки на основе математически аппроксимированного представления множества систем управления с высокой точностью при наличии непрогнозируемого нарушения работы во множестве систем управления, которые могут взаимодействовать сложным образом. Требуется технология, которая предоставляет возможность устойчивой работы установки, даже когда нарушение работы, которое может дестабилизировать характер работы установки, случается.
[0008] На этом фоне, общей целью настоящего изобретения является предоставление технологии для реализации устойчивой работы установки.
Средство решения проблемы
[0009] Система поддержки настройки режима работы установки согласно варианту осуществления настоящего изобретения является системой поддержки настройки режима работы установки для поддержки настройки режима работы установки, которая выполняет процесс, сформированный посредством множества устройств, система включает в себя: множество устройств управления, которые воздействуют на одно или более управляемых устройств во множестве устройств для управления с обратной связью соответственно; и устройство поддержки настройки режима работы, который обеспечивает объединенную поддержку для настройки множества устройств управления, которые выполняют множество задач управления с обратной связью соответственно и независимо. Каждое из множества устройств управления включает в себя: блок получения измеренного значения, который получает измеренное значение, указывающее состояние управляемого устройства; блок получения параметра регулировки устройства управления, который получает параметр регулировки устройства управления для определения манипуляционной переменной для управления, вводимой в управляемое устройство; блок определения манипуляционной переменной для управления, который определяет манипуляционную переменную для управления на основе измеренного значения, полученного посредством блока получения измеренного значения, и параметра регулировки устройства управления, полученного посредством блока получения параметра регулировки устройства управления; и блок ввода манипуляционной переменной для управления, который вводит манипуляционную переменную для управления, определенную посредством блока определения манипуляционной переменной для управления, в управляемое устройство. Устройство поддержки настройки режима работы включает в себя: блок получения множества измеренных значений, который получает множество измеренных значений, указывающих состояния множества управляемых устройств, управляемых посредством множества устройств управления, соответственно; и блок определения параметра регулировки устройства управления, который определяет, на основе множества измеренных значений, полученных посредством блока получения множества измеренных значений, множество параметров регулировки устройства управления, используемых каждым из множества устройств управления для определения манипуляционных переменных для управления, которые должны быть введены во множество управляемых устройств, согласно политике, изученной посредством глубокого обучения с подкреплением.
[0010] Блок определения параметра регулировки устройства управления может определять множество параметров регулировки устройства управления согласно политике, изученной посредством глубокого обучения с подкреплением для изучения политики для определения множества параметров регулировки устройства управления, политика основывается на измеренном значении управляемого устройства, целевом значении управления и манипуляционной переменной для управления, возникающей, когда установка работает, на значении вознаграждения, которое представляет индекс устойчивости, указывающий оценку измеренного значения, целевое значение управления и манипуляционную переменную для управления в числовых выражениях, и на параметре регулировки устройства управления, использованном для определения манипуляционной переменной для управления.
[0011] Система поддержки настройки режима работы установки может дополнительно включать в себя: обучающее устройство, которое выполняет глубокое обучение с подкреплением. Обучающее устройство может включать в себя: блок определения действия, который получает множество измеренных значений, указывающих состояния множества управляемых устройств, и выводит множество параметров регулировки устройства управления, используемых каждым из множества устройств управления; и блок функции оценки, который вычисляет оценку для набора из i) множества измеренных значений, указывающих состояния множества управляемых устройств, возникающие, когда множество устройств управления управляют множеством управляемых устройств с помощью параметров регулировки устройства управления, выведенных блоком определения действия, и ii) используемых параметров регулировки устройства управления. Блок функции оценки может быть обучен таким образом, чтобы уменьшать погрешность между i) ожидаемым значением для значения вознаграждения, которое будет получено, когда блок определения параметра регулировки устройства управления определяет параметры регулировки устройства управления, которые вводятся в управляемые устройства, в то время как множество управляемых устройств находятся в состояниях, указанных посредством множества измеренных значений, манипуляционные переменные для управления, определенные посредством множества устройств управления с помощью определенных параметров регулировки устройства управления, вводятся во множество управляемых устройств, чтобы обновлять состояния множества управляемых устройств, и оптимальные параметры регулировки устройства управления продолжают выбираться впоследствии, и ii) оценкой, вычисленной посредством блока функции оценки.
[0012] Значение вознаграждения может представлять индекс устойчивости, указывающий правильность состояния процесса в числовых выражениях.
[0013] Значение вознаграждения может представлять индекс устойчивости, указывающий правильность состояния процесса в числовых выражениях согласно одному или более следующим критериям: (1) разница между множеством измеренных значений и целевыми значениями управления является небольшой; (2) множество измеренных значений не колеблются; или (3) время, требуемое для стабилизации множества измеренных значений, является коротким.
[0014] Блок определения параметра регулировки устройства управления может определять множество параметров регулировки устройства управления, используемых, когда работа установки начинается или приводится к остановке, согласно политике, изученной посредством глубокого обучения с подкреплением, которое использует измеренные значения и манипуляционные переменные для управления, возникающие, когда работа установки начинается или приводится к остановке, и параметры регулировки устройства управления.
[0015] Блок определения параметра регулировки устройства управления может определять множество параметров регулировки устройства управления, когда нарушение возникает, или когда режим работы изменяется во время работы установки, согласно политике, изученной посредством глубокого обучения с подкреплением, которое использует измеренные значения и манипуляционные переменные для управления, возникающие, когда нарушение происходит, или когда режим работы изменяется во время работы установки, и параметр регулировки устройства управления.
[0016] Устройство поддержки настройки режима работы может дополнительно включать в себя блок переключения режима, который указывает, на основе политики, изученной посредством глубокого обучения с подкреплением, устройству управления, следует ли осуществлять управление в автоматическом режиме, в котором устройство управления автоматически вводит манипуляционную переменную для управления в управляемое устройство, или в ручном режиме, в котором устройство управления вводит манипуляционную переменную для управления в управляемое устройство в ответ на инструкцию по манипуляционной переменной для управления от оператора.
[0017] Устройство поддержки настройки режима работы может сообщать множество параметров регулировки устройства управления, определенных посредством блока определения параметра регулировки устройства управления, соответствующим устройствам управления, и устройство управления может получать параметр регулировки устройства управления, сообщенный от устройства поддержки настройки режима работы, с помощью блока получения параметра регулировки устройства управления.
[0018] Устройство поддержки настройки режима работы может представлять множество параметров регулировки устройства управления, определенных посредством блока определения параметра регулировки устройства управления, оператору, и устройство управления может получать параметр регулировки устройства управления, введенный оператором, с помощью блока получения параметра регулировки устройства управления.
[0019] Другой вариант осуществления настоящего изобретения относится к устройству поддержки настройки режима работы. Устройство является устройством поддержки настройки режима работы для обеспечения объединенной поддержки для настройки множества устройств управления для воздействия на одно или более управляемых устройств, которые существуют среди множества устройств, формирующих процесс, выполняемый в установке, для управления с обратной связью соответственно, устройство включает в себя: блок получения множества измеренных значений, который получает множество измеренных значений, указывающих состояния множества управляемых устройств, управляемых посредством множества устройств управления, соответственно; и блок определения параметра регулировки устройства управления, который определяет, на основе множества измеренных значений, полученных посредством блока получения множества измеренных значений, множество параметров регулировки устройства управления, используемых каждым из множества устройств управления для определения манипуляционных переменных для управления, которые должны быть введены во множество управляемых устройств, согласно политике, изученной посредством глубокого обучения с подкреплением.
[0020] Другой вариант осуществления настоящего изобретения относится к обучающему устройству. Обучающее устройство включает в себя: блок определения действия, который получает множество измеренных значений, указывающих состояния множества управляемых устройств, формирующих процесс, выполняемый в установке, и выводит множество параметров регулировки устройства управления, используемых каждым из множества устройств управления для воздействия на множество управляемых устройств для автоматического управления с обратной связью, соответственно; и блок функции оценки, который вычисляет оценку для набора из i) множества измеренных значений, указывающих состояния множества управляемых устройств, возникающих, когда множество устройств управления управляют множеством управляемых устройств с помощью параметров регулировки устройства управления, выводимых посредством блока определения действия, и ii) используемых параметров регулировки устройства управления. Блок функции оценки может быть обучен таким образом, чтобы уменьшать погрешность между i) ожидаемым значением для значения вознаграждения, которое будет получено, когда блок определения параметра регулировки устройства управления определяет параметры регулировки устройства управления, которые вводятся в управляемые устройства, в то время как множество управляемых устройств находятся в состояниях, указанных посредством множества измеренных значений, манипуляционные переменные для управления, определенные посредством множества устройств управления с помощью определенных параметров регулировки устройства управления, вводятся во множество управляемых устройств, чтобы обновлять состояния множества управляемых устройств, и оптимальные параметры регулировки устройства управления продолжают выбираться впоследствии, и ii) оценкой, вычисленной посредством блока функции оценки.
[0021] Необязательные сочетания вышеупомянутых составляющих элементов, и реализации изобретения в форме способов, устройств, систем, носителей записи и компьютерных программ могут также быть применены на практике в качестве дополнительных режимов осуществления настоящего изобретения.
Преимущество изобретения
[0022] Настоящее изобретение способно предоставлять технологию для реализации устойчивой работы установки.
Краткое описание чертежей
[0023] Фиг. 1 показывает общую конфигурацию системы поддержки настройки режима работы установки согласно варианту осуществления;
Фиг. 2 показывает примерную конфигурацию компрессорной системы, которая представляется в качестве примера процесса, подвергаемого управлению;
Фиг. 3 схематично показывает способ управления в установке предшествующего уровня техники;
Фиг. 4 схематично показывает конфигурацию устройства поддержки настройки режима работы согласно варианту осуществления;
Фиг. 5 показывает конфигурацию устройства поддержки настройки режима работы и устройства управления согласно варианту осуществления;
Фиг. 6 схематично показывает конфигурацию обучающего устройства согласно варианту осуществления;
Фиг. 7 показывает конфигурацию обучающего устройства согласно варианту осуществления; и
Фиг. 8 показывает пример вида экрана, отображаемого на устройстве отображения пользовательской операционной панели.
Режим осуществления изобретения
[0024] Фиг. 1 показывает общую конфигурацию системы поддержки настройки режима работы установки согласно варианту осуществления. Система 1 поддержки настройки режима работы установки для поддержки настройки режима работы установки 3 снабжается установкой 3 для производства химических продуктов, промышленных изделий и т.д. и обучающим устройством 2 для обеспечения глубокого обучения с подкреплением для изучения политики для определения множества параметров регулировки устройства управления, используемых для задания режима работы установки 3. Установка 3 включает в себя управляемое устройство 10, которое формирует процесс, выполняемый в установке 3, множество устройств 20 управления для воздействия на одно или более управляемых устройств 10 для управления с обратной связью соответственно, и устройство 30 поддержки настройки режима работы для предоставления объединенной поддержки для настройки множества устройств 20 управления, которые выполняют множество задач управления с обратной связью соответственно и независимо. Устройство 30 поддержки настройки режима работы определяет множество параметров регулировки устройства управления, используемых для определения манипуляционных переменных для управления, предоставляемых каждым из множества устройств 20 управления множеству управляемых устройств 10 согласно политике, изученной посредством глубокого обучения с подкреплением, выполняемого в обучающем устройстве 2.
[0025] Фиг. 2 показывает примерную конфигурацию компрессорной системы, которая представляется в качестве примера процесса, подвергаемого управлению. Компрессорная система, показанная на чертеже, включает в себя, в качестве множества управляемых устройств 10, которые формируют процесс, теплообменник для охлаждения субъекта охлаждения с помощью пропанового хладагента, пропановый компрессор для сжатия газообразного пропана, испарившегося в теплообменнике, и т.д. Компрессорная система дополнительно включает в себя, в качестве устройств 20 управления, которые управляют каждым из множества управляемых устройств 10 независимо и автоматически, PID-контроллеры, такие как контроллер LC уровня жидкости, контроллер PC давления, контроллер SC скорости вращения и контроллер ASC противопомпажного регулирования.
[0026] Контроллер LC уровня жидкости управляет открытием подающего клапана для подачи пропанового хладагента в соответствии с уровнем жидкости пропанового хладагента для того, чтобы поддерживать уровень жидкости пропанового хладагента в теплообменнике постоянным. Контроллер PC давления управляет контроллером SC скорости вращения в соответствии с давлением газообразного пропана, испарившегося из теплообменника, для того, чтобы поддерживать давление газообразного пропана, вводимого в пропановый компрессор, постоянным. Контроллер SC скорости вращения управляет скоростью вращения газовой турбины GT для регулировки давления газообразного пропана, введенного в пропановый компрессор, в ответ на команду от контроллера PC давления. Контроллер ASC противопомпажного регулирования управляет открытием противопомпажного клапана в соответствии с давлением газообразного пропана на выходе пропанового компрессора для того, чтобы препятствовать помпажу в пропановом компрессоре. Из этих PID-контроллеров контроллер SC скорости вращения работает в ответ на команду от контроллера PC давления. Другие три PID-контроллера автоматически управляют управляемыми устройствами 10 соответственно и независимо.
[0027] Когда величина субъекта охлаждения уменьшается быстро в этой компрессорной системе, например, вследствие нарушения, величина холодопроизводительности уменьшается, так что количество пропана, испарившегося в теплообменнике, уменьшается, и уровень жидкости пропанового хладагента увеличивается. Когда это происходит, контроллер LC уровня жидкости уменьшает открытие клапана с тем, чтобы уменьшать количество втекающего пропанового хладагента и поддерживать уровень жидкости пропанового хладагента постоянным. Когда количество испарившегося пропана уменьшается, измеренное значение давления, вводимое в контроллер PC давления, уменьшается. В ответ, контроллер PC давления инструктирует контроллеру SC скорости вращения уменьшать скорость вращения газовой турбины GT.
[0028] Однако, когда давление пропанового газа, вводимого в пропановый компрессор, уменьшается в результате уменьшения в скорости вращения газовой турбины GT, измеренное значение давления, вводимое в контроллер ASC противопомпажного регулирования, уменьшается, так что контроллер ASC противопомпажного регулирования увеличивает открытие противопомпажного клапана для того, чтобы избегать помпажа в пропановом компрессоре. Это вынуждает измеренное значение давления, вводимое в контроллер PC давления, увеличиваться, так что контроллер PC давления инструктирует контроллеру SC скорости вращения увеличивать скорость вращения газовой турбины GT.
[0029] Когда давление пропанового газа, вводимого в пропановый компрессор, увеличивается в результате увеличения в скорости вращения газовой турбины GT, измеренное значение давления, вводимое в контроллер ASC противопомпажного регулирования, увеличивается, так что контроллер ASC противопомпажного регулирования уменьшает открытие противопомпажного клапана. Это уменьшает измеренное значение давления, вводимое в контроллер PC давления, так что контроллер PC давления инструктирует контроллеру SC скорости вращения уменьшать скорость вращения газовой турбины GT снова.
[0030] Таким образом, при наличии взаимных помех между воздействиями от автоматических задач управления с обратной связью в процессе, включающем в себя множество систем управления, подвергаемых автоматическому и независимому управлению с обратной связью посредством множества устройств 20 управления, соответственно, характер работы может становиться неустойчивым. Например, управление происходит в противоположных направлениях периодически, чтобы приводить в результате к колебанию регулируемой величины. Даже в таком случае, система, как ожидается, должна сводиться к устойчивой работе в конечном счете, если правильные PID-параметры заданы в соответствующих PID-контроллерах. Если нарушение, которое индуцировало колебание или отклонение, вызванное изменением в режиме работы, является серьезным или скачкообразным, однако, оно может занять длительное время, прежде чем система сведется к устойчивой работе, или колебание регулируемой величины может оставаться.
[0031] Фиг. 3 схематично показывает способ управления в установке предшествующего уровня техники. Процесс 12, выполняемый в установке, формируется посредством множества управляемых устройств 10a, 10b, …, 10n. Множество управляемых устройств 10a, 10b, …, 10n управляются посредством устройств 20a, 20b, …, 20n управления, соответственно. В случае примера, показанного на фиг. 2, множество управляемых устройств 10a, 10b, …, 10n являются теплообменником, пропановым компрессором и т.д. Множество устройств 20a, 20b, …, 20n управления являются контроллером LC уровня жидкости, контроллером PC давления, контроллером SC скорости вращения, контроллером ASC противопомпажного регулирования и т.д.
[0032] В установке предшествующего уровня техники трудно прогнозировать влияние от изменения трех типов параметров регулировки устройства управления (далее в данном документе называемых "PID-параметрами"), включающих в себя пропорциональный коэффициент усиления (P-коэффициент усиления), интегральный коэффициент усиления (I-коэффициент усиления) и дифференциальный коэффициент усиления (D-коэффициент усиления), которые используются множеством устройств 20 управления для PID-регулирования. Следовательно, PID-параметры являются едва ли изменяемыми. Если изменение необходимо, оператор вводит параметр в соответствующее устройство 20 управления вручную. Следовательно, если состояние процесса 12 становится неустойчивым, например, вследствие нарушения, автоматическое управление посредством взаимно мешающих устройств 20a, 20b, …, 20n управления необходимо стабилизировать посредством ввода оператором соответствующих PID-параметров в соответствующие устройства 20 управления. Время, требуемое для сведения к устойчивой работе, зависело от опыта и квалификации оператора.
[0033] Фиг. 4 схематично показывает конфигурацию устройства поддержки настройки режима работы согласно варианту осуществления. Устройство 30 поддержки настройки режима работы определяет PID-параметры, которые должны быть введены во множество устройств 20 управления в соответствии с политикой, изученной посредством глубокого обучения с подкреплением в обучающем устройстве 2, как описано ниже. Политика определяет PID-параметры, которые максимизируют оценку, на основе функции действие-значение для вычисления оценки сочетания множества значений, которые могут быть заданы в качестве PID-параметров, из множества измеренных значений, указывающих состояние множества управляемых устройств 10, целевых значений для значений, подвергаемых регулированию во множестве управляемых устройств 10, и значений манипуляционных переменных для управления, вводимых во множество управляемых устройств 10. Функция действие-значение изучается посредством обучающего устройства 2 таким образом, чтобы вычислять высокую оценку для PID-параметра, который предоставляет возможность значениям, подвергаемым регулированию, приближаться к целевым значениям в короткий срок, в то же время также управляя процессом в целом, чтобы он был устойчивым. В альтернативном примере функция действие-значение, используемая для определения PID-параметров, может использовать значения других параметров в дополнение к или вместо измеренных значений, целевых значений для значений, подвергаемых регулированию, и значений манипуляционных переменных для управления, с целью вычисления оценки сочетания множества значений, которые могут быть заданы в качестве PID-параметров. Например, значение текущего или прошлого PID-параметра, значение параметра, указывающего фактор нарушения, и т.д., могут быть использованы. Альтернативно, степень изменения или величина изменения таких параметров может быть использована в дополнение к или вместо абсолютных значений параметров.
[0034] Множество PID-параметров, определенных посредством устройства 30 поддержки настройки режима работы, могут быть представлены оператору, чтобы предоставлять возможность оператору вводить PID-параметр в устройство 20 управления, обращаясь к множеству представленных PID-параметров. Альтернативно, устройство 30 поддержки настройки режима работы может вводить PID-параметр непосредственно в устройство 20 управления. Это уменьшает работу оператора значительно и предоставляет возможность установке 3 работать устойчивым образом независимо от опыта и квалификации оператора.
[0035] Фиг. 5 показывает конфигурацию устройства поддержки настройки режима работы и устройства управления согласно варианту осуществления. Устройство 20 управления снабжается блоком 21 управления и пользовательской операционной панелью 22.
[0036] Пользовательская операционная панель 22 отображает на устройстве отображения множество измеренных значений, указывающих состояние множества управляемых устройств 10, содержащихся в установке 3, значения манипуляционных переменных для управления, заданных посредством устройств 20 управления в управляемых устройствах 10, значения PID-параметров, заданных в устройствах 20 управления, и измеренные значения выходных данных, указывающих результат работы установки 3. Пользовательская операционная панель 22 также подтверждает ввод значения PID-параметра от оператора.
[0037] Устройство 20 управления снабжается блоком 23 получения измеренного значения, блоком 24 получения целевого значения, блоком 25 получения PID-параметра, блоком 26 определения манипуляционной переменной для управления и блоком 27 ввода манипуляционной переменной для управления. Функции реализуются в компонентах аппаратных средств, таких как CPU и память в произвольном компьютере, программе, загруженной в память, и т.д. Чертеж изображает функциональные блоки, реализованные посредством взаимодействия этих элементов. Следовательно, специалистам в области техники будет понятно, что функциональные блоки могут быть реализованы множеством способов посредством только аппаратных средств, только программного обеспечения или посредством сочетания аппаратных средств и программного обеспечения.
[0038] Блок 23 получения измеренного значения получает измеренное значение, указывающее состояние управляемого устройства 10. В случае, когда целевое значение для значений, подвергаемых регулированию в управляемом устройстве 10, является переменным, блок 24 получения целевого значения получает целевое значение. В примере, показанном на фиг. 2, например, целевое значение уровня жидкости пропанового хладагента в теплообменнике является фиксированным значением, но целевое значение скорости вращения газовой турбины регулируется переменным образом посредством контроллера LC давления. Следовательно, блок 24 получения целевого значения получает целевое значение скорости вращения газовой турбины от контроллера LC давления.
[0039] Блок 25 получения PID-параметра получает PID-параметр, используемый для определения манипуляционных переменных для управления, вводимых в управляемое устройство 10. В автоматическом режиме, в котором устройство 30 поддержки настроек режима работы автоматически вводит PID-параметр в устройство 20 управления, устройство 30 поддержки настройки режима работы сообщает множество определенных PID-параметров соответствующим устройствам 20 управления. Устройство 20 управления непосредственно получает PID-параметр, сообщенный из устройства 30 поддержки настройки режима работы, с помощью блока 25 получения PID-параметра. В ручном режиме, в котором оператор вводит PID-параметр в устройство 20 управления, устройство 30 поддержки настройки режима работы представляет множество определенных PID-параметров оператору через пользовательскую операционную панель 22. Устройство 20 управления получает PID-параметр, введенный оператором, с помощью блока 25 получения PID-параметра.
[0040] Блок 26 определения манипуляционной переменной для управления определяет манипуляционные переменные для управления, которые должны быть заданы в управляемом устройстве 10, на основе измеренного значения, полученного посредством блока 23 получения измеренного значения, целевого значения, полученного посредством блока 24 получения целевого значения, и PID-параметра, полученного посредством блока 25 получения PID-параметра. Блок 26 определения манипуляционной переменной для управления может определять манипуляционные переменные для управления с помощью произвольной публично известной технологии PID-регулирования. Блок 27 ввода манипуляционной переменной для управления вводит манипуляционные переменные для управления, определенные посредством блока 26 определения манипуляционной переменной для управления, в управляемое устройство 10.
[0041] Устройство 30 поддержки настройки режима работы снабжается блоком 31 управления. Блок 31 управления снабжается блоком 32 получения множества измеренных значений, блоком 33 определения PID-параметра, блоком 34 вывода PID-параметра, блоком 35 переключения режима и блоком 36 обновления политики. Эти функции могут также быть реализованы множеством способов посредством только аппаратных средств, только программного обеспечения или посредством сочетания аппаратных средств и программного обеспечения.
[0042] Блок 32 получения множества измеренных значений получает множество измеренных значений, указывающих состояния множества управляемых устройств 10, управляемых посредством множества устройств 20 управления, соответственно. Блок 32 получения множества измеренных значений получает все измеренные значения, указывающие состояния всех управляемых устройств 10, управляемых посредством множества устройств 20 управления, обеспечиваемых объединенной поддержкой посредством устройства 30 поддержки настройки режима работы.
[0043] Блок 33 определения PID-параметра определяет, на основе множества измеренных значений, полученных посредством блока 32 получения множества измеренных значений, множество PID-параметров, используемых для определения манипуляционных переменных для управления, которые множество устройств 20 управления должны, соответственно, вводить во множество управляемых устройств 10. Из PID-параметров, которые могут быть выбраны в состоянии, определенном по измеренным значениям, полученным посредством блока 32 получения множества измеренных значений, блок 33 определения PID-параметра определяет PID-параметр, который максимизирует оценку, на основе функции действие-значение, изученной посредством обучающего устройства 2. Как описано ниже, функция действие-значение является нейронной сетью, которая выводит оценку для каждого из множества PID-параметров, которые могут быть выбраны, в ответ на ввод множества измеренных значений, указывающих состояния множества управляемых устройств 10. Функция действие-значение изучается посредством глубокого обучения с подкреплением в обучающем устройстве 2.
[0044] Блок 35 переключения режима указывает, на основе политики, изученной посредством глубокого обучения с подкреплением, устройству 20 управления, следует ли осуществлять управление в автоматическом режиме, в котором устройство 20 управления автоматически вводит манипуляционную переменную для управления в управляемое устройство 10, или в ручном режиме, в котором устройство 20 управления вводит манипуляционную переменную для управления в управляемое устройство 10 в ответ на инструкцию по манипуляционной переменной для управления от оператора.
[0045] Блок 36 обновления политики получает, в качестве политики, обученную нейронную сеть от обучающего устройства 2 и обновляет блок 33 определения PID-параметра. Это делает возможным получение нейронной сети с ее точностью, улучшенной посредством обучающего устройства 2, даже во время работы установки 3 и обновление функции действие-значение для определения действия. Следовательно, более подходящий PID-параметр выбирается по сравнению с иным случаем.
[0046] Фиг. 6 схематично показывает конфигурацию обучающего устройства согласно варианту осуществления. Обучающее устройство 2 использует симулятор 40, чтобы выполнять глубокое обучение с подкреплением для изучения политики для объединенного управления поведением всех управляемых устройств 10, формирующих процесс 12, выполняемый в установке 3. Симулятор 40 включает в себя симулятор 42 процесса для симулирования процесса 12, выполняемого в установке 3, и симуляторы 43 устройств управления, которые симулируют каждое из устройств 20 управления, которые управляют множеством управляемых устройств 10, соответственно. Симулятор 42 процесса включает в себя симуляторы 41 управляемых устройств, которые, соответственно, симулируют множество управляемых устройств 10, формирующих процесс 12. Обучающее устройство 2 определяет PID-параметр, который каждый симулятор 43 устройства управления использует для определения манипуляционной переменной для управления, и вводит определенный PID-параметр в симулятор 40. Обучающее устройство 2 повторяет этап получения множества измеренных значений, указывающих результат управления, осуществленного с помощью введенного PID-параметра, множество раз во временной последовательности, чтобы изучать характер работы установки 3. Обучающее устройство 2 изучает политику для объединенного определения PID-параметра, который предоставляет возможность множеству устройств 20 управления работать согласованно, чтобы осуществлять работу установки 3 устойчивым образом.
[0047] Фиг. 7 показывает конфигурацию обучающего устройства 2 согласно варианту осуществления. Обучающее устройство 2 снабжается блоком 4 определения действия, блоком 5 получения значения вознаграждения, блоком 6 обновления функции действие-значение, нейронной сетью 7, блоком 8 управления обучением и блоком 9 получения множества измеренных значений. Эти функции могут также быть реализованы множеством способов посредством только аппаратных средств, только программного обеспечения или посредством сочетания аппаратных средств и программного обеспечения.
[0048] Обучающее устройство 2 изучает, посредством глубокого обучения с подкреплением, политику, посредством которой блок 33 определения PID-параметра устройства 30 поддержки настройки режима работы определяет значения PID-параметров, которые должны быть заданы в соответствующих устройствах 20 управления.
[0049] Обучение с подкреплением определяет политику, которая максимизирует поощрение, получаемое посредством действия агента в заданном окружении, предпринятого, исходя из окружения. Этапы, на которых агент предпринимает действие, исходя из окружения, и окружение обновляет состояние, оценивает действие и уведомляет агента о состоянии и вознаграждает, повторяются во временной последовательности. Функция действие-значение и политика оптимизируются, чтобы максимизировать ожидаемое значение полученной суммы вознаграждения.
[0050] В этом варианте осуществления число сочетаний вариантов для состояния s установки 3, определенного по измеренным значениям множества управляемых устройств 10, и действия a ввода PID-параметров во множество устройств 20 управления в состоянии s будет огромным. Следовательно, глубокое обучение с подкреплением, в котором функция действие-значение аппроксимируется посредством нейронной сети 7, выполняется. Алгоритм глубокого обучения с подкреплением может быть сетью глубокого Q-обучения (DQN) или двойной DQN или любым другим произвольным алгоритмом. Нейронная сеть 7 может быть нейронной сетью с прямой связью, такой как многослойная персептронная нейронная сеть, простая персептронная нейронная сеть и сверточная нейронная сеть. Альтернативно, нейронная сеть любой из других произвольных форм может быть использована. Входными данными для входного слоя нейронной сети 7 являются все измеренные значения PVn, указывающие состояния всех управляемых устройств 10, целевые значения SVn для значений, подвергаемых регулированию во всех управляемых устройствах 10, и значения MVn манипуляционных переменных для управления, введенных из всех устройств 20 управления во все управляемые устройства 10. Значения PID-параметра, который может быть задан в устройстве 20 управления, являются выходными данными с выходного слоя. В случае, когда функция действие-значение, используемая для определения PID-параметра, использует значения других параметров в дополнение к или вместо измеренных значений PVn, целевых значений SVn для значений, подвергаемых регулированию, и значений MVn манипуляционных переменных для управления, значения других используемых параметров в равной степени вводятся во входной слой нейронной сети 7.
[0051] Блок 8 управления обучением определяет политику и детали обучения и выполняет глубокое обучение с подкреплением. Блок 8 управления обучением задает первоначальное условие в симуляторе 40 для запуска испытания и повторяет предварительно определенное число раз ввод PID-параметра в симулятор 40 и получение множества измеренных значений, указывающих состояние установки 3, которая управляется посредством введенного PID-параметра, которое возникает после предварительно определенного периода времени. Когда предварительно определенное число этапов завершается, блок 8 управления обучением заканчивает первое испытание и задает первоначальное условие снова, чтобы начинать следующее испытание. Например, в случае, когда характер работы установки 3, возникающий, когда нарушение или изменение в режиме работы происходит во время устойчивой работы установки 3, должен быть изучен, блок 8 управления обучением инструктирует симулятору 11 управляемого устройства и симулятору 43 устройства управления, формирующим симулятор 40, начинать обучение, с помощью измеренных значений, целевых значений и значений манипуляционных переменных для управления во время устойчивой работы, задаваемых в качестве первоначальных значений. Блок 8 управления обучением формирует нарушение или изменение в режиме работы в определенный случайным образом момент времени и вводит значение, соответствующее нарушению или изменению в режиме работы, в симулятор 40. Когда характер работы установки 3 при запуске установки 3 должен быть изучен, блок 8 управления обучением инструктирует симулятору 40 начинать обучение, с помощью значений, возникающих, когда работа останавливается, задаваемых в качестве первоначальных значений. Блок 8 управления обучением инструктирует симулятору 40 изучать характер работы установки 3, возникающий до тех пор, пока система не сведется к постоянной работе. Когда характер работы установки 3, возникающий, когда установка 3 приводится в остановленное состояние, должен быть изучен, блок 8 управления обучением инструктирует симулятору 40 начинать обучение, с помощью значений, возникающих при устойчивой работе, задаваемых в качестве первоначальных значений. Блок 8 управления обучением инструктирует симулятору 40 останавливать работу установки 3 и изучать характер работы установки 3, возникающий до тех пор, пока работа установки 3 не будет остановлена. Если предварительно определенное условие, в котором ясно, что выполняемое испытание не производит благоприятный результат, удовлетворяется, например, когда полученное значение вознаграждения меньше предварительно определенного значения, блок 8 управления обучением может прекращать испытание, прежде чем этапы завершаются предварительно определенное число раз, и начинать следующее испытание.
[0052] Блок 4 определения действия определяет множество PID-параметров, введенных в симулятор 40. Блок 4 определения действия определяет PID-параметры случайным образом или на основе функции действие-значение, представленной посредством нейронной сети 7. Блок 4 определения действия может выбирать, в соответствии с публично известным произвольным алгоритмом, таким как ε-каскадный метод, определять ли PID-параметры случайным образом или определять PID-параметры, которые максимизируют оценку, ожидаемую на основе функции действие-значение. Это обеспечивает эффективное обучение, в то же время предоставляя возможность испытать разнообразные и диверсифицированные варианты, следовательно, уменьшает время, прежде чем обучение сводится в одной точке.
[0053] Блок 9 получения множества измеренных значений получает множество измеренных значений, указывающих состояния множества симуляторов 41 управляемых устройств, из симулятора 40. Блок 5 получения значения вознаграждения получает значение вознаграждения для состояния установки 3, указанной посредством множества измеренных значений, полученных посредством блока 9 получения множества измеренных значений. Значение вознаграждения представляет индекс устойчивости, указывающий правильность состояния процесса 12, выполняемого в установке 3, в числовых выражениях. Более конкретно, значение вознаграждения представляет индекс устойчивости, указывающий правильность состояния процесса в числовых выражениях согласно одному или более следующим критериям: (1) разница между множеством измеренных значений и целевыми значениями управления является небольшой; (2) множество измеренных значений не колеблются; или (3) время, требуемое для стабилизации множества измеренных значений, является коротким. Например, значение вознаграждения определяется так, что, чем меньше разница между измеренными значениями и целевыми значениями управления, меньше колебание измеренных значений и короче время, требуемое для стабилизации измеренных значений, тем выше значение вознаграждения.
[0054] Блок 6 обновления функции действие-значение обновляет функцию действие-значение, представленную посредством нейронной сети 7, на основе значения вознаграждения, полученного посредством блока 5 получения значения вознаграждения. Блок 6 обновления функции действие-значение инструктирует изучение весовых коэффициентов в нейронной сети 7, так что выходное значение функции действие-значение для набора действий, предпринимаемых блоком 4 определения действия в данном состоянии s, приближается к ожидаемому значению суммы i) значения вознаграждения, полученного посредством блока 5 получения значения вознаграждения в результате действия, предпринятого блоком 4 определения действия в данном состоянии s, и ii) значения вознаграждения, которое будет получено, если оптимальное действие продолжится впоследствии. Другими словами, блок 6 обновления функции действие-значение регулирует весовые коэффициенты соединений в слоях нейронной сети 7, так что погрешность между i) суммой значения вознаграждения, фактически полученного посредством блока 5 получения значения вознаграждения, и значением, полученным из умножения ожидаемого значения для значения вознаграждения, которое будет получено впоследствии, на скидку по времени, и ii) выходным значением функции действие-значение уменьшается. Это предоставляет возможность обновления весовых коэффициентов и облегчает обучение, так что значение действия, вычисленное посредством нейронной сети 7, приближается к истинному значению.
[0055] Фиг. 8 показывает пример вида экрана, отображаемого на устройстве отображения пользовательской операционной панели. Экран отображает блок-схему последовательности операций процесса установки 3, текущее значение PID-параметров, заданных в соответствующих PID-контроллерах, и рекомендованные значения PID-параметров, определенные посредством устройства 30 поддержки настройки режима работы. Когда оператор вводит PID-параметр со ссылкой на рекомендованное значение, показанное на устройстве отображения, введенный PID-параметр получается блоком 25 получения PID-параметра устройства 20 управления и используется блоком 26 определения манипуляционной переменной для управления, чтобы определять манипуляционные переменные для управления. Это стабилизирует характер работы установки 3 в короткий срок, даже когда фактор, который может дестабилизировать характер работы установки 3, возникает.
[0056] Выше описано объяснение на основе примерного варианта осуществления. Вариант осуществления предполагается только как иллюстративный, и специалистам в области техники будет понятно, что различные модификации в составляющих элементах и процессах могут быть разработаны, и что такие модификации также находятся в рамках настоящего изобретения.
[0057] Технология настоящего изобретения может быть использована в установке, в которой множество устройств управления управляют множеством управляемых устройств (устройств, подвергаемых управлению). В то время как установка, которая включает в себя множество систем управления, каждая из которых подвергается PID-регулированию, описывается в варианте осуществления, технология настоящего изобретения в равной степени является применимой к установке, которая включает в себя системы управления, основанные на любой другой произвольной схеме управления, такой как P-регулирование и PI-регулирование.
Описание ссылочных символов
[0058] 1 система поддержки настройки режима работы установки, 2 обучающее устройство, 3 установка, 4 блок определения действия, 5 блок получения значения вознаграждения, 6 блок обновления функции действие-значение, 7 нейронная сеть, 8 блок управления обучением, 9 блок получения множества измеренных значений, 10 управляемое устройство, 11 симулятор управляемого устройства, 12 процесс, 20 устройство управления, 21 блок управления, 22 пользовательская операционная панель, 23 блок получения измеренного значения, 24 блок получения целевого значения, 25 блок получения PID-параметра, 26 блок определения манипуляционной переменной для управления, 27 блок ввода манипуляционной переменной для управления, 30 устройство поддержки настройки режима работы, 31 блок управления, 32 блок получения множества измеренных значений, 33 блок определения PID-параметра, 34 блок вывода PID-параметра, 35 блок переключения режима, 36 блок обновления политики, 40 симулятор, 41 симулятор управляемого устройства, 42 симулятор процесса, 43 симулятор устройства управления
Промышленная применимость
[0059] Настоящее изобретение является применимым к системе поддержки настройки режима работы установки для поддержки настройки режима работы установки.
1. Система поддержки настройки режима работы установки для поддержки настройки режима работы установки, которая выполняет процесс, сформированный посредством множества устройств, содержащая:
множество устройств управления, которые воздействуют на одно или более управляемых устройств во множестве устройств для управления с обратной связью, соответственно; и
устройство поддержки настройки режима работы, которое предоставляет объединенную поддержку для настройки множества устройств управления, которые выполняют множество задач управления с обратной связью соответственно и независимо, при этом
каждое из множества устройств управления включает в себя:
блок получения измеренного значения, реализованный посредством центрального процессора (CPU) компьютера, который получает измеренное значение, указывающее состояние управляемого устройства;
блок получения параметра регулировки устройства управления, реализованный посредством центрального процессора (CPU) компьютера, который получает параметр регулировки устройства управления для определения манипуляционной переменной для управления, вводимой в управляемое устройство;
блок определения манипуляционной переменной для управления, реализованный посредством центрального процессора (CPU) компьютера, который определяет манипуляционную переменную для управления на основе измеренного значения, полученного посредством блока получения измеренного значения, и параметра регулировки устройства управления, полученного посредством блока получения параметра регулировки устройства управления; и
блок ввода манипуляционной переменной для управления, реализованный посредством центрального процессора (CPU) компьютера, который вводит манипуляционную переменную для управления, определенную посредством блока определения манипуляционной переменной для управления, в управляемое устройство,
устройство поддержки настройки режима работы включает в себя:
блок получения множества измеренных значений, реализованный посредством центрального процессора (CPU) компьютера, который получает множество измеренных значений, указывающих состояния множества управляемых устройств, управляемых посредством множества устройств управления, соответственно; и
блок определения параметра регулировки устройства управления, реализованный посредством центрального процессора (CPU) компьютера, который определяет, на основе множества измеренных значений, полученных посредством блока получения множества измеренных значений, множество параметров регулировки устройства управления, используемых каждым из множества устройств управления, чтобы определять манипуляционные переменные для управления, которые должны быть введены во множество управляемых устройств, согласно политике, изученной посредством глубокого обучения с подкреплением.
2. Система поддержки настройки режима работы установки по п. 1, при этом
блок определения параметра регулировки устройства управления определяет множество параметров регулировки устройства управления согласно политике, изученной посредством глубокого обучения с подкреплением для изучения политики для определения множества параметров регулировки устройства управления, политика основывается на измеренном значении управляемого устройства, целевом значении управления и манипуляционной переменной для управления, возникающей, когда установка работает, на значении вознаграждения, которое представляет индекс устойчивости, указывающий оценку измеренного значения, целевого значения управления и манипуляционной переменной для управления в числовых выражениях, и на параметре регулировки устройства управления, использованном для определения манипуляционной переменной для управления.
3. Система поддержки настройки режима работы установки по п. 2, дополнительно содержащая:
обучающее устройство, которое выполняет глубокое обучение с подкреплением, при этом
обучающее устройство включает в себя:
блок определения действия, реализованный посредством центрального процессора (CPU) компьютера, который получает множество измеренных значений, указывающих состояния множества управляемых устройств, и выводит множество параметров регулировки устройства управления, используемых каждым из множества устройств управления; и
блок функции оценки, реализованный посредством центрального процессора (CPU) компьютера, который вычисляет оценку для набора из i) множества измеренных значений, указывающих состояния множества управляемых устройств, возникающие, когда множество устройств управления управляют множеством управляемых устройств с помощью параметров регулировки устройства управления, выводимого посредством блока определения действия, и ii) используемых параметров регулировки устройства управления, при этом
блок функции оценки обучается таким образом, чтобы уменьшать погрешность между i) ожидаемым значением для значения вознаграждения, которое будет получено, когда блок определения параметра регулировки устройства управления определяет параметры регулировки устройства управления, которые вводятся в управляемые устройства, в то время как множество управляемых устройств находятся в состояниях, указанных посредством множества измеренных значений, манипуляционные переменные для управления, определенные посредством множества устройств управления с помощью определенных параметров регулировки устройства управления, вводятся во множество управляемых устройств, чтобы обновлять состояния множества управляемых устройств, и оптимальные параметры регулировки устройства управления продолжают выбираться впоследствии, и ii) оценкой, вычисленной посредством блока функции оценки.
4. Система поддержки настройки режима работы установки по п. 2 или 3, при этом
значение вознаграждения может представлять индекс устойчивости, указывающий правильность состояния процесса в числовых выражениях.
5. Система поддержки настройки режима работы установки по п. 2 или 3, при этом
значение вознаграждения представляет индекс устойчивости, указывающий правильность состояния процесса в числовых выражениях согласно одному или более следующим критериям: (1) разница между множеством измеренных значений и целевыми значениями управления является небольшой; (2) множество измеренных значений не колеблются; или (3) время, требуемое для стабилизации множества измеренных значений, является коротким.
6. Система поддержки настройки режима работы установки по п. 2 или 3, при этом
блок определения параметра регулировки устройства управления определяет множество параметров регулировки устройства управления, используемых, когда работа установки начинается или приводится к остановке, согласно политике, изученной посредством глубокого обучения с подкреплением, которое использует измеренные значения и манипуляционные переменные для управления, возникающие, когда работа установки начинается или приводится к остановке, и параметры регулировки устройства управления.
7. Система поддержки настройки режима работы установки по п. 2 или 3, при этом
блок определения параметра регулировки устройства управления определяет множество параметров регулировки устройства управления, когда нарушение возникает, или когда режим работы изменяется во время работы установки, согласно политике, изученной посредством глубокого обучения с подкреплением, которое использует измеренные значения и манипуляционные переменные для управления, возникающие, когда нарушение происходит, или когда режим работы изменяется во время работы установки, и параметр регулировки устройства управления.
8. Система поддержки настройки режима работы установки по п. 2 или 3, при этом
устройство поддержки настройки режима работы дополнительно включает в себя блок переключения режима, который указывает, на основе политики, изученной посредством глубокого обучения с подкреплением, устройству управления, следует ли осуществлять управление в автоматическом режиме, в котором устройство управления автоматически вводит манипуляционную переменную для управления в управляемое устройство, или в ручном режиме, в котором устройство управления вводит манипуляционную переменную для управления в управляемое устройство в ответ на инструкцию по манипуляционной переменной для управления от оператора.
9. Система поддержки настройки режима работы установки по пп. 1-3, при этом
устройство поддержки настройки режима работы сообщает множество параметров регулировки устройства управления, определенных посредством блока определения параметра регулировки устройства управления, соответствующим устройствам управления, и
устройство управления получает параметр регулировки устройства управления, сообщенный от устройства поддержки настройки режима работы, с помощью блока получения параметра регулировки устройства управления.
10. Система поддержки настройки режима работы установки по пп. 1-3, при этом
устройство поддержки настройки режима работы представляет множество параметров регулировки устройства управления, определенных посредством блока определения параметра регулировки устройства управления, оператору, и
устройство управления получает параметр регулировки устройства управления, введенный оператором, с помощью блока получения параметра регулировки устройства управления.
11. Устройство поддержки настройки режима работы для предоставления объединенной поддержки для настройки множества устройств управления для воздействия на одно или более управляемых устройств, которые существуют среди множества устройств, формирующих процесс, выполняемый в установке, для управления с обратной связью, соответственно, устройство содержит:
блок получения множества измеренных значений, реализованный посредством центрального процессора (CPU) компьютера, который получает множество измеренных значений, указывающих состояния множества управляемых устройств, управляемых посредством множества устройств управления, соответственно; и
блок определения параметра регулировки устройства управления, реализованный посредством центрального процессора (CPU) компьютера, который определяет, на основе множества измеренных значений, полученных посредством блока получения множества измеренных значений, множество параметров регулировки устройства управления, используемых каждым из множества устройств управления, чтобы определять манипуляционные переменные для управления, которые должны быть введены во множество управляемых устройств, согласно политике, изученной посредством глубокого обучения с подкреплением.
