Модифицированный интеллектуальный контроллер

Авторы патента:

G06F15/18 - с модификацией программ, осуществляемой самой машиной в соответствии с опытом, накопленным машиной за время полного цикла работы; самообучающиеся машины (самонастраивающиеся системы управления G05B 13/00)

Владельцы патента RU 2458390:

Государственное образовательное учреждение высшего профессионального образования "Кубанский государственный технологический университет" (ГОУ ВПО "КубГТУ") (RU)

Изобретение относится к классу интеллектуальных контроллеров и может быть использовано для создания систем управления объектами, работающими в недетерминированной среде. Техническим результатом является повышение быстродействия работы устройства. Модифицированный интеллектуальный контроллер содержит объект управления, решатель, выход объекта управления связан с первым входом решателя, блок расчета подкрепления, блок действий, фильтр Калмана, память фильтра Калмана, блок выбора действий. 1 ил.

Изобретение относится к классу интеллектуальных контроллеров, использующих принцип обучения с подкреплением, и может использоваться для создания систем управления объектами, работающими в недетерминированной среде.

Известен патент США МПК G06F 15/18 6532454 «Stable adaptive control using critic designs», который реализует обучение с подкреплением с использованием нейронных сетей. Устройство по данному патенту состоит из решателя, моделирующей нейронной сети, блока критики, а также блока вычисления ошибки прогнозирования и связей между блоками.

Принцип работы устройства по патенту США МПК G06F 15/18 6532454 следующий - решатель (в его качестве выступает нейронная сеть) получает значение подкрепления, вычисляет действие на данной итерации и передает его на моделирующую нейронную сеть, которая вычисляет прогнозное значение рабочего параметра системы. После выполнения действия система получает реальное значение рабочего параметра, критик вычисляет новое значение подкрепления и корректируется работа моделирующей нейронной сети.

Известен также интеллектуальный контроллер на основе сетей адаптивной критики - патент США МПК G06F 15/18 5448681. Данное устройство состоит из объекта управления, блок критика и решателя на базе нейронной сети. Выходы объекта управления связаны с входами блока критика, а также входами решающей нейронной сети, выход решающей нейронной сети связан с объектом управления и блоком критика, выход сети критика связан с входом решающей нейронной сети.

Принцип работы устройства по патенту МПК G06F 15/18 5448681 следующий - объект управления выдает сигнал о своем состоянии, блок критика прогнозирует качество выбираемого действия на основе данных текущей временной итерации и состояния объекта, решатель вычисляет управляющее воздействие.

Недостатками устройств по патенту МПК G06F 15/18 6532454 является то, что в них не запоминается история работы системы и критик работает по первоначально настроенным параметрам.

Недостатками устройств по патенту МПК G06F 15/18 5448681 являются - нет блока запоминания истории работы системы и низкие адаптационные свойства в связи с жестко заданным принципом работы блока критика.

Общим недостатком двух вышеописанных устройств является недостаточное быстродействие за счет использования нейронных сетей.

Техническим результатом предлагаемого устройства является повышение скоростных параметров работы.

Задача - разработка модифицированного интеллектуального контроллера с высокими скоростными характеристиками быстродействия.

Технический результат достигается тем, что в модифицированный интеллектуальный контроллер, содержащий объект управления, решатель, выход объекта управления связан с первым входом решателя, введены блок расчета подкрепления, блок действий, фильтр Калмана, память фильтра Калмана, блок выбора действий, при этом выход объекта управления также связан с входом блока расчета подкрепления и первым входом блока действий, первый выход блока действий связан со вторым входом решателя, второй выход блока действий связан с третьим входом фильтра Калмана и первым входом блока выбора действий, выход блока расчета подкрепления связан со вторым входом блока действий и вторым входом фильтра Калмана, выход решателя связан с первым входом фильтра Калмана, первый выход фильтра Калмана связан со вторым входом блока выбора действий, второй выход фильтра Калмана связан с первым входом памяти фильтра Калмана, выход памяти фильтра Калмана связан с четвертым входом фильтра Калмана, первый выход блока выбора действий связан с входом объекта управления и третьим входом блока действий, второй выход блока выбора действий связан со вторым входом памяти фильтра Калмана.

Повышение скоростных параметров работы устройства достигается за счет того, что в устройство вместо нейронных сетей введен фильтр Калмана для прогнозирования подкрепления. При этом используется память фильтра Калмана, которая сохраняет параметры фильтра Калмана для выбранного действия с последующим восстановлением параметров самого фильтра Калмана без дополнительных вычислений. Выделение блока действий в отдельную компоненту также приводит к повышению скоростных характеристик, так как в нем накапливается история работы объекта управления для последующего использования.

Таким образом, совокупность существующих признаков, изложенных в формуле изобретения, позволяет достичь желаемый технический результат.

На чертеже изображена схема модифицированного интеллектуального контроллера с фильтром Калмана.

Система состоит из нескольких структурных компонент: объекта управления 1, решателя 2, блока расчета подкрепления 3, блока действий 4, фильтра Калмана 5, памяти фильтра Калмана 6 и блока выбора действий 7.

Также в системе присутствуют следующие связи: выход 8 объекта управления связан с первым входом 8.1 решателя, первым входом 8.2 блока выбора действий, входом 8.3 блока расчета подкрепления; выход 9 блока расчета подкрепления соединен по 9.1 с блоком действий и по 9.2 с фильтром Калмана, выход 10 блока действий связан с решателем, выход решателя соединен с фильтром Калмана по связи 11, выход 12 блока действий связан 12.1 с блоком выбора действий и по связи 12.2 с фильтром Калмана, выход 13 фильтра Калмана соединен с памятью фильтра Калмана, память фильтра Калмана по 14 соединена с фильтром Калмана, фильтр Калмана по 15 соединен с блоком выбора действий, блок выбора действий соединен по 16 с памятью фильтра Калмана, выход 17 блока выбора действий соединен по 17.1 с блоком действий и по 17.2 с объектом управления.

Решатель 2 - это устройство, которое реализует математическую формулу (или несколько формул), описывающую те переменные объекта управления, которые можно непосредственно вычислить.

Блок расчета подкрепления 3 реализует математическую формулу, рассчитывающую реальное значение подкрепления после того, как сигнал действия (управления) 17.2 отработан объектом управления 1.

Блок действий 4 хранит таблицу возможных действий в конкретных ситуациях.

Фильтр Калмана 5 предназначен для вычисления ненаблюдаемой величины. Фильтр Калмана выполняется в стандартном исполнении, например, по патенту США МПК G06F 15/20 №5115391.

Память фильтра Калмана 6 предназначена для временного хранения параметров блока фильтра Калмана 5. Блок хранит столько наборов параметров фильтра Калмана, сколько выбрано возможных действий в блоке действий 4.

Блок выбора действий 7 предназначен для выбора действия из возможных в данной ситуации на базе "жадного правила".

Принцип работы интеллектуального контроллера следующий. Объект управления 1 выполняет действие и образует на выходе сигнал состояния 8. Далее сигнал состояния поступает на блок действий 4, блок расчета подкрепления 3 и решатель 2. Блок расчета подкрепления 3 рассчитывает реальное получившееся подкрепление 9 и подает его на блок действий 4 и фильтр Калмана 5. Решатель 2 в свою очередь обрабатывает сигнал с объекта управления и на выходе формирует наблюдаемый сигнал 11. Получив сигнал состояния, блок действий 4 выбирает возможные действия в данной ситуации с учетом реального подкрепления на последней итерации и выдает их последовательно на фильтр Калмана 5, при этом он подает синхронизирующий сигнал 10 на решатель 2, чтобы он одновременно с блоком действий выдавал значение наблюдаемой величины 11 на фильтр Калмана 5. Фильтр Калмана 5 последовательно получает пары значений {наблюдаемый сигнал 11; возможное действие 12.2} и рассчитывает возможное подкрепление 15 для каждого возможного действия. После расчета подкрепления фильтр Калмана выдает значение подкрепления 15 на блок выбора действий 7, на который также идет действие 12.1 от блока действий 4, которое учитывалось при расчете ненаблюдаемого сигнала (подкрепления) фильтром Калмана 5. Также в памяти фильтра Калмана 6 сохраняются текущие параметры фильтра Калмана 5. Блок выбора действий 7 выбирает действие на основе "жадного" правила, которое можно записать как: с вероятностью (1-ε) выбирается то действие, которому соответствует максимальное значение подкрепления , при этом 0<ε<<1 (Sutton R., Barto A. Reinforcement Learning: An Introducion. - Cambridge: MIT Press, 1998). После выбора действия сигнал 17 идет на объект управления 1 и записывается в блок действий 4, а также на память фильтра Калмана 6, которая восстанавливает параметры фильтра Калмана 5 для выбранного действия.

Таким образом, алгоритм работы устройства следующий (цифрами указаны только сигналы):

1. Объект управления вычисляет сигнал своего состояния 8 (как на базе информации о внешней среде, так и по собственным показателям) и подает его 8.1 - на решатель, 8.2 - на блок действий и 8.3 - на блок расчета подкрепления.

2. Решатель вычисляет наблюдаемый параметр 11 системы.

3. Блок расчета подкрепления рассчитывает получившееся (реальное) подкрепление 9 и подает его значение на 9.1 - блок действий и 9.2 - фильтр Калмана.

4. Блок действий, учитывая последнее поступившее подкрепление 9.1, выбирает возможные действия в данной конкретной ситуации 12.

5. Блок действий последовательно подает выбранные действия на 12.2 - фильтр Калмана и синхронизирующий сигнал 10 на решатель, по которому решатель синхронно подает наблюдаемый параметр 11 на фильтр Калмана.

6. При первом поданном сигнале на вычисление 12.2, перед тем как начать работу, фильтр Калмана сохраняет свои параметры по 13 в памяти фильтра Калмана.

7. Фильтр Калмана последовательно получает пары значений {наблюдаемый сигнал 11; возможное действие 12.2} и вычисляет прогноз подкрепления (ненаблюдаемый сигнал) 15. Фильтр Калмана работает стандартным образом.

8. После вычисления прогноза подкрепления для каждого возможного действия 12.2 фильтр Калмана сохраняет свои параметры в памяти фильтра Калмана по 13 и выдает значение прогнозируемого подкрепления 15 на блок выбора действий.

9. Блок выбора действий накапливает пары значений {возможное действие 12.1; прогнозируемое подкрепление 15}.

10. После того как рассчитаны подкрепления для всех возможных действий, от блока действий идет сигнал 12.1 на блок выбора действий об окончании прогнозирования. После получения этого сигнала блок выбора действий выбирает действие на основе "жадного правила" и подает его по 17.1 на объект управления, по 17.2 на блок действий, а также по 16 на память фильтра Калмана. На блок действий также подается по 17.2 прогнозируемое подкрепление для выбранного действия.

11. Блок действий сохраняет выбранный сигнал 17.1, возможное подкрепление 17.1, состояние объекта управления 8.2, реальное подкрепление 9.1, тем самым накапливая историю для дальнейшего выбора действий в возможных ситуациях.

12. Память фильтра Калмана восстанавливает по 14 параметры фильтра Калмана для выбранного действия.

13. Объект управления отрабатывает поданное действие 17.2. Далее цикл на шаг 1.

Модифицированный интеллектуальный контроллер, содержащий объект управления, решатель, выход объекта управления связан с первым входом решателя, отличающийся тем, что в него введены блок расчета подкрепления, блок действий, фильтр Калмана, память фильтра Калмана, блок выбора действий, при этом выход объекта управления также связан с входом блока расчета подкрепления и первым входом блока действий, первый выход блока действий связан со вторым входом решателя, второй выход блока действий связан с третьим входом фильтра Калмана и первым входом блока выбора действий, выход блока расчета подкрепления связан со вторым входом блока действий и вторым входом фильтра Калмана, выход решателя связан с первым входом фильтра Калмана, первый выход фильтра Калмана связан со вторым входом блока выбора действий, второй выход фильтра Калмана связан с первым входом памяти фильтра Калмана, выход памяти фильтра Калмана связан с четвертым входом фильтра Калмана, первый выход блока выбора действий связан с входом объекта управления и третьим входом блока действий, второй выход блока выбора действий связан со вторым входом памяти фильтра Калмана.

Изобретение относится к интеллектуальным контроллерам, использующим принцип обучения с подкреплением, и может использоваться для управления сложными системами в недетерминированной среде.

Обучение сверточных нейронных сетей на графических процессорах // 2424561

Охлаждаемая плата и самоорганизующийся суперкомпьютер // 2367125

Изобретение относится к соединению устройств ввода-вывода или устройств центрального процессора или передаче информации или других сигналов между этими устройствами.

Системная архитектура и связанные с ней способы динамического добавления программных компонентов для расширения функциональных возможностей системных процессов // 2353968

Изобретение относится к вычислительной технике и может быть использовано в операционных системах для автоматического добавления программных компонентов в системные процессы.

Способ оптимизации регулируемых параметров машины // 2350999

Изобретение относится к способу оптимизации регулируемых параметров машины. .

Проактивный интерфейс пользователя, содержащий эволюционирующий агент // 2331918

Изобретение относится к проактивному интерфейсу пользователя, установленному на любом виде вычислительного устройства. .

Способ распределения ключей в большой территориально разнесенной системе // 2273877

Изобретение относится к технике секретной связи и может быть использовано для передачи, распределения и смены криптографических ключей для пользователей в территориально разнесенной системе.

Открытая система для автоматизации обработки, анализа и распознавания изображений // 2242047

Изобретение относится к информатике и вычислительной технике. .

Способ глаз-процессорной обработки изображений и оптико- электрическое устройство для его реализации // 2178915

Способ идентификации личности по особенностям подписи // 2148274

Изобретение относится к вычислительной технике и предназначено для ограничения доступа к информации путем биометрической идентификации личности по индивидуальным особенностям почерка, выявляемым при воспроизведении пользователем заранее известной парольной фразы или подписи.

Динамическая экспертная система // 2462752

Изобретение относится к области вычислительной техники и может использоваться для обработки сигналов систем искусственного интеллекта, в вычислительных машинах, решающих комбинаторные задачи перебора сочетаний

Система распознавания поведения // 2475853

Изобретение относится к видеоанализу и к анализу и изучению поведения на основе данных потокового видео

Модифицированный интеллектуальный контроллер с нечеткими правилами // 2504002

Изобретение относится к интеллектуальным контроллерам, использующим принцип обучения с подкреплением и нечеткую логику, и может быть использовано для создания систем управления объектами, работающими в недетерминированной среде. Техническим результатом является повышение адаптационных свойств системы управления. Устройство содержит объект управления, блок коэффициента эффективности, блок правил самообучения управляющей нейросети, блок истории работы системы, управляющую нейросеть, блок фаззификации, блок нечеткого вывода, блок дефаззификации. 5 ил., 1 табл.

Устройство для моделирования процесса принятия решения в условиях неопределенности // 2517243

Изобретение относится к автоматике и вычислительной технике. Техническим результатом является повышение точности при моделировании процесса принятия решения в условиях неопределенности. Устройство содержит матрицу m*n первых регистров lij (i=l,…,m, j=l,…,n), матрицу m*n первых блоков умножения 2ij (i=l,…,m, j=l,…,n), группу из n вторых 3j регистров, третий регистр 14, четвертый регистр 10, группу из m первых сумматоров 6i, группу из m вторых сумматоров 7i, группу из m третьих сумматоров 9i, группу из n четвертых сумматоров 15j, пятый сумматор 11, группу вторых блоков умножения 8i (i=l,…,m), третий блок умножения 20, шестой сумматор 18, группу из n первых элементов задержки 16j, группу из n элементов И 17j, второй элемент задержки 22, блок выбора максимального кода 21. 1 ил.

Модифицированный интеллектуальный контроллер с адаптивным критиком // 2523218

Изобретение относится к интеллектуальному контроллеру с адаптивным критиком. Технический результат заключается в повышении адаптационных свойств системы управления на базе интеллектуального контроллера и повышении его быстродействия. Система содержит связанные между собой объект управления, блок критика, решающую нейронную сеть, блок действий, блок расчета подкрепления, блок расчета временной разности, блок выбора действия, блок отбора действий, блок обучения критика и блок занесения действий. 1 ил.

Модифицированный интеллектуальный контроллер // 2527212

Изобретение относится к классу интеллектуальных контроллеров, использующих принцип обучения с подкреплением, фильтр Калмана, и может использоваться для создания систем управления объектами, работающими в недетерминированной среде. Технический результат заключается в повышении скоростных и адаптационных параметров работы за счет введения в устройство блока корректировки фильтра Калмана. Технический результат достигается благодаря модифицированному интеллектуальному контроллеру, который содержит объект управления, решатель, блок расчета подкрепления, блок корректировки фильтра Калмана, блок действий, блок выбора действий, блок отбора действий, фильтр Калмана, память фильтра Калмана и блок занесения действий. 1 ил.

Адаптивное дистанционное обслуживание подвижных составов // 2540830

Изобретение относится к области адаптивного дистанционного обслуживания подвижных составов с помощью машинного обучения правилам. Техническим результатом является обеспечение автоматического обновления правил, применяемых для группировки диагностической информации, для более точной группировки диагностической информации. Правила могут заменяться, обобщаться или иным образом адаптироваться на основе взаимодействия диспетчеров с результатами действующих правил. Принятие или исключение события диспетчером используются в качестве наземного контроля данных для управляемого машинного обучения новому правилу. При машинном обучении используется обратная связь с пользователем для обновления набора правил. 3 н. и 17 з.п. ф-лы, 2 ил.

Сетевая вычислительная система (варианты) и способ для вычислительной задачи // 2541105

Изобретение относится к сетевым вычислительным системам. Техническим результатом является повышение эффективности обработки данных за счет использования обучающих данных. Система, содержит: первый клиентский компьютер, который содержит: запоминающее устройство, обеспечивающее хранение N генов, каждый из которых характеризуется множеством условий и по меньшей мере одним действием, причем N - целое число, превышающее 1; коммуникационный порт, через который первый клиентский компьютер периодически принимает данные, связанные с "N генами; и процессор, обеспечивающий оценку характеристики эффективности каждого из N генов путем сравнения решения, обеспечиваемого каждым геном, с периодически получаемыми данными, связанными с этим геном, причем характеристика эффективности каждого гена корректируется каждый раз при получении данных и определяет приспособленность гена. 4 н. и 25 з.п. ф-лы, 5 ил.

Способ интеллектуального анализа оценки устойчивости инфокоммуникационной системы к деструктивному воздействию электромагнитного излучения // 2560803

Изобретение относится к области радиотехники и может быть использовано для интеллектуального анализа оценки устойчивости инфокоммуникационной системы. Техническим результатом является повышение устойчивости функционирования системы связи при воздействии деструктивных электромагнитных излучений на ее структурные элементы за счет оперативной реконфигурации и обработки характера деструктивных воздействий. Систему связи приводят в рабочее состояние, фиксируют деструктивные воздействия на ее структурные элементы, формируют имитационную модель системы связи, моделируют на ней деструктивные воздействия, по результатам моделирования реконфигурируют имитационную модель системы связи и представляют математическую модель функционирования системы, определяют параметры электромагнитных полей, воздействующих на подсистемы инфрокоммуникационной системы, и осуществляют оценку воздействия этих электромагнитных полей на работоспособность отдельных элементов и узлов системы, а также системы в целом, формируют сценарии электромагнитных воздействий на узлы инфокоммуникационной системы, учитывая модели электромагнитных излучений во всем диапазоне частот, проводят анализ информационного потока, обрабатываемого инфокоммуникационными узлами, и выявляют закономерности появления искаженных пакетов информации, периодичность и кратность частоты появления которых определяют на частоте формирования импульсов известными источниками электромагнитного излучения, при обнаружении факта воздействия известных источников электромагнитных излучений блокируют искаженную информацию и реконфигурируют систему, проводят сравнительный анализ соответствия данных требованиям используемого телекоммуникационного протокола, дополнительно проводят анализ сценариев поведения инфокоммуникационной системы при действии на ее элементы и узлы электромагнитных воздействий, с учетом моделей электромагнитного излучения на всем диапазоне частот, осуществляют расчет целевых показателей, характеризующих устойчивость системы в целом и его отдельных подсистем к воздействию электромагнитных излучений. 1 ил.

Способ и устройство технической диагностки сложного технологического оборудования на основе нейронных сетей // 2563161

Изобретение относится к области автоматики и вычислительной техники и может быть использовано для контроля и технической диагностики сложного технологического оборудования, в том числе - станочного оборудования и гибких производственных систем. Техническим результатом является обеспечение автоматического выбора значимых параметров из всего множества входных и выходных параметров за счет дополнительного обучения нейронной сети в процессе работы, за счет увеличения-уменьшения количества активных нейронов, не приводящего к ухудшению качества технической диагностики, а также за счет выбора избыточных нейронов и их активации при переобучении или при отказе нейронов сети. Устройство содержит датчики, вычислительную систему и устройства отображения сигналов диагностики. Вычислительная система содержит модуль, реализованный с возможностью интеллектуального анализа и содержащий динамическую модель, которая реализована на обученной нейронной сети, и модуль, реализованный с возможностью дополнительного обучения нейронной сети и выбора активных и избыточных нейронов. 2 н. и 3 з.п. ф-лы, 5 ил.