Нейроподобный элемент

Авторы патента:

G06N3/06 - материальная реализация, т.е. техническое выполнение нейтронных сетей, нейронов или частей нейронов

Владельцы патента RU 2295769:

Захаров Евгений Николаевич (RU)

Изобретение относится к кибернетике и может быть использовано в качестве ячейки нейронных сетей. Техническим результатом является создание нейроподобного элемента для реализации на его основе нейросети для решения класса задач оценки функционирования открытых сложных систем, оценки степени оптимальности различных решений путем обеспечения возможности построения модели исследуемой системы, как иерархической, так и рекуррентной, с учетом различного исходного и рабочего состояния ее элементов и вариантов их функционирования, учитывая при моделировании уровень самодостаточности нейроподобных элементов, подверженность воздействию внешних сигналов, тип и погрешности задания их параметров и параметров входных сигналов, а также обеспечение заданной точности самообучения нейросети. Устройство содержит блок входа, блок установки и нормировки весовых коэффициентов, блок расчета параметров входных сигналов, сумматор, ограничитель доли сигналов, блок расчета входной части состояния, блок задания внутреннего состояния, блок расчета внутренней части состояния, блок расчета состояния, блок памяти, анализатор величины изменения состояния, блок установки точности самообучения нейросети, блок детерминированных зависимостей, переключателя, блок выхода, блок управления, генераторы случайных чисел. 1 з.п. ф-лы, 1 ил.

Изобретение относится к кибернетике и может быть использовано в качестве ячейки нейронных сетей при создании устройств оценки функционирования различных систем, в том числе открытых сложных систем, оценки степени оптимальности различных решений в адаптивных информационно-управляющих системах.

Известен нейроподобный элемент (НПЭ), содержащий блок для суммирования входных сигналов, блок установки входным сигналам весовых коэффициентов, сумматор входных сигналов, блок преобразования входных сигналов, выход [1]. Указанное устройство позволяет создавать нейронные сети (НС) для решения тех или иных задач, связанных с обобщением полученной информации на основе обучения НС определению связей между известными входными значениями и неизвестными выходами. Для этого пользователь должен подготовить набор обучающих данных, представляющих собой примеры входных воздействий и соответствующих им выходов. Как известно [2], число наблюдений для включения в процесс обучения должно быть на порядок больше числа связей в сети, при этом с ростом количества входных сигналов количество требуемых наблюдений растет нелинейно.

Недостатком такого НПЭ является то, что для класса задач оценки функционирования открытых сложных систем (ОСС), оценки степени оптимальности различных решений, когда выделенные в результате формализации ОСС элементы системы требуют (при классическом подходе) отдельного моделирования, в том числе и с помощью НС, когда число связей между элементами велико, а вариантов для классического обучения НС нет, нейросети на основе существующих схем нейронов непригодны.

Техническим результатом изобретения является создание НПЭ, позволяющего реализовать на их основе нейросети для решения класса задач оценки функционирования открытых сложных систем (ОСС), оценки степени оптимальности различных решений путем обеспечения возможности построения модели исследуемой системы, как иерархической, так и рекуррентной, с учетом различного исходного и рабочего состояния ее элементов и вариантов их функционирования, учитывая при моделировании нейроподобными элементами отдельных элементов системы как уровень их самодостаточности, так и подверженность воздействию внешних сигналов, при этом предлагаемый НПЭ позволяет учесть погрешности задания его параметров и параметров входных сигналов, а также обеспечить заданную точность самообучения нейросети. Построенная на основе таких НПЭ нейросеть позволяет реализовывать и различные варианты оценки функционирования ОСС и степени оптимальности различных решений.

На чертеже изображена блок-схема НПЭ, отображающая изобретение.

НПЭ состоит из блока входа 1, содержащего первый генератор случайных чисел 2, работающий по команде блока управления 3, блока установки и нормировки весовых коэффициентов 4, содержащего также второй генератор случайных чисел 5, работающий по команде блока управления 3, блока расчета параметров входных сигналов 6, сумматора параметров входных сигналов 7, ограничителя доли сигналов 8 со своим одноканальным генератором случайных чисел 9, блока расчета входной части состояния НПЭ 10, блока задания внутреннего состояния НПЭ 11, второго одноканального генератора случайных чисел 12, блока расчета внутренней части состояния НПЭ 13, блока расчета состояния НПЭ 14, блока памяти 15, анализатора величины изменения состояния НПЭ 16, блока установки точности самообучения нейросети 17, блока детерминированных зависимостей 18, переключателя 19, блока выхода 20 и генератора тактовых импульсов 21.

Сущность изобретения заключается в том, что нейроподобный элемент содержит блок входа, включающий первый генератор случайных чисел, число выходов которого равно числу входов блока входа, сигнал с каждого выхода первого генератора случайных чисел определяет изменение величины соответствующего входного сигнала по закону и в пределах, определяемых видом и погрешностью его задания, блок установки и нормирования весовых коэффициентов, число элементов веса которого равно числу входов блока входа, установка веса в элементах веса осуществляется посредством второго генератора случайных чисел по закону и в пределах, определяемых видом и погрешностью его задания, нормирование каждого весового коэффициента осуществляют путем деления каждого веса на сумму всех весов элементов веса, а каждый нормированный весовой коэффициент задает соответствующую синаптическую связь выходов блока входа и входов блока расчета параметров сигналов, выходы которого соединены со входами сумматора параметров сигналов, выход которого соединен с первым входом блока расчета входной части состояния НПЭ, второй вход которого соединен с ограничителем доли сигналов, одноканальный генератор случайных чисел, определяющий величину сигнала ограничителя доли сигналов по закону и в пределах, определяемых видом и погрешностью задания этой величины, блок задания внутреннего состояния НПЭ, второй одноканальный генератор случайных чисел, определяющий величину сигнала блока задания внутреннего состояния нейроподобного элемента по закону и в пределах, определяемых видом и погрешностью его задания, выход которого соединен с входом блока расчета внутренней части состояния НПЭ, осуществляющего перемножение сигнала с выхода блока задания внутреннего состояния НПЭ на разность между единицей и величиной сигнала ограничителя доли сигналов, выход блока расчета внутренней части состояния НПЭ соединен с первым входом блока расчета состояния НПЭ, осуществляющего сложение сигнала с выхода блока расчета входной части состояния НПЭ с сигналом, поступающим с выхода блока расчета внутренней части состояния НПЭ, выход блока расчета состояния НПЭ соединен с блоком выхода, с первым входом анализатора величины изменения состояния НПЭ непосредственно, а со вторым его входом через блок памяти, блок установки точности обучения нейросети, выход которого соединен с третьим входом анализатора величины изменения состояния НПЭ, который осуществляет сравнение величины точности самообучения с величиной, равной разности между предыдущим значением расчета состояния НПЭ и текущим, блок управления, осуществляющий управление генераторами случайных чисел и генератором тактовых импульсов.

Кроме того, введен переключатель, установленный между выходом блока расчета входной части состояния НПЭ и входом блока расчета состояния НПЭ, второй выход переключателя соединен с входом введенного блока детерминированных зависимостей, выход которого соединен с первым выходом переключателя, причем величина формируемого им сигнала определяется известной функциональной зависимостью сигнала, определяющего входную часть состояния НПЭ, от входных сигналов.

Первый генератор случайных чисел (ГСЧ1) 2, работающий по команде блока управления (БУ) 3 и выдающий величины Кгсч1_i, перемножение на которые значений амплитуд входных аналоговых сигналов позволяет варьировать их амплитудами по заданному закону (например, нормальному, равномерному и др.) и в заданных границах в интервале от 0 до 1.

Закон распределения и границы изменения амплитуд, задаваемые генераторами случайных чисел, определяются видом и погрешностями задания величин. Например, задан закон изменения значения и/или веса какого-либо входного сигнала, т.е. определен вид задания сигнала и/или его веса. Или, например, при получении числовой детерминированной оценки тех или иных величин (входных сигналов, их весов, ограничителя доли, внутреннего состояния) это определяется погрешностью измерения, расчета и т.п., а диапазон может быть определен возможными минимальным и максимальным значениями этих величин. При получении числовой экспертной оценки закон распределения может определяться, например, законом распределения мнений экспертов и др., а амплитуда - минимальной и максимальной оценками, полученными при экспертизе.

Второй генератор случайных чисел (ГСЧ2) 5 также работает по команде БУ 3 и выдает величины Кгсч2_i, перемножение на которые значений весов элементов веса позволяет варьировать их амплитудой по заданному закону и в заданных границах в интервале от 0 до 1. Расчет для каждого нормированного веса, W^* _i, осуществляется путем деления веса данного сигнала на сумму весов всех элементов веса.

Блок расчета параметров входных сигналов 6 (БРП ВС) осуществляет перемножение каждого сигнала с выхода блока входа 1 на соответствующий нормированный вес W^* _i:Пвх_i=x_i·W^* _i.

После БРП ВС 6 сигналы поступают на сумматор параметров входных сигналов (СП ВС) 7, где рассчитывается суммарный параметр входных сигналов: Пвх_∑=∑Пвх_i.

Ограничитель доли сигналов в состоянии НПЭ (ОД) 8 со своим одноканальным ГСЧЗ 9, работающим аналогично ГСЧ1 и ГСЧ2 и выдающим величину Кгсч3, перемножение на которую значения К_од, заданного в интервале от 0 до 1, позволяет варьировать амплитудой К_од по заданному закону и в заданных границах также в интервале от 0 до 1.

Блок расчета входной части состояния НПЭ 10 осуществляет перемножение сигнала, несущего информацию о величине суммарного параметра сигналов, на величину доли входных сигналов: Свх=Пвх_∑·К_од.

Блок задания внутреннего состояния НПЭ 11, со своим одноканальным ГСЧ4 12, определяет величину, соответствующую внутреннему состоянию НПЭ, С_соб. При этом ГСЧ4 12 выдает величину Кгсч4, перемножение на которую значения амплитуды величины собственного состояния НПЭ позволяет варьировать амплитудой С_соб по заданному закону и в заданных границах в интервале от 0 до 1.

Блок расчета внутренней части состояния НПЭ 13 осуществляет перемножение величины оценки собственного состояния НПЭ на ее долю в общем состоянии НПЭ, т.е. на разность между единицей и величиной сигнала ограничителя доли сигналов (1-К_од):Свн=С_соб·(1-К_од).

Блок расчета состояния НПЭ 14 (БРС) осуществляет сложение части этого состояния, зависящей непосредственно или посредством детерминированных зависимостей от входных сигналов, Свх (или Свх^дз), и внутренней части состояния НПЭ, Свн: Снпэ=Свх (или Свх^дз)+Свн.

Блок установки точности самообучения нейросети (БУТ) 17 осуществляет задание величины точности самообучения нейросети ε, позволяющей после начала хотя бы в одном из НПЭ нейросети, где они функционируют, переходных процессов, вызванных собственным состоянием НПЭ или изменениями параметров входных сигналов, других параметров НПЭ (К_од, БДЗ), а также совокупностью таких изменений, завершить на определенном заданном ε этапе прохождение в нейросети импульсов, тем самым завершив в микроцикле процесс самообучения НС и зафиксировать на выходе текущее значение состояния НПЭ.

Блок детерминированных зависимостей (БДЗ) 18, на вход которого поступает сигнал Свх, формирует на выходе сигнал Свх^дз, рассчитываемый посредством детерминированной функции от входа: Свх^дз=f(Свх.), задаваемой БУ. Сигнал с выхода БД 3 поступает на блок расчета состояния НПЭ (БРС) 14.

Анализатор величины изменения состояния НПЭ (АС) 16, на который подается сигнал с блока памяти 15 о предыдущем значении состояния НПЭ, Снпэ^(к-1), и сигнал с БРС 14 о текущем состоянии НПЭ, Снпэ^к, анализирует абсолютное значение разницы между этими сигналами и сравнивает со значением точности самообучения нейросети ε, поступающим на АС 16 с БУТ 17:|ΔСнпэ|≤ε. При выполнении этого условия подается сигнал на БУ 3, который по этой команде завершает прохождение в нейросети импульсов, тем самым завершая в микроцикле процесс самообучения НС. На выходе фиксируется текущее значение состояния НПЭ.

НПЭ работает следующим образом.

В исходном состоянии задают числовую детерминированную или экспертную оценку:

- внутреннего состояния НПЭ (величина в интервале от 0 до 1);

- весов входных сигналов W_i (величины в интервале от 0 до 1);

- доли входных сигналов в состоянии НПЭ, K₁ (величина в интервале от 0 до 1);

- значение точности самообучения НС, ε (величина, как правило, 10^-1...10^-5);

- порядок работы (закон распределения, диапазон изменения выдаваемых чисел) необходимых для работы НПЭ генераторов случайных чисел.

Подключение хотя бы одного ГСЧ производится по команде от БУ. При этом включенные ГСЧ выдают и фиксируют по одному случайному сигналу (в соответствии с установленным порядком работы). В нефункционирующем, т.е. отключенном состоянии, на выход ГСЧ выдается сигнал, равный 1. Далее входные сигналы поступают на блок входа, сигналы (сигнал) проходят по блокам НПЭ и, в соответствии с установленным алгоритмом (вариантом) работы НПЭ, производится их преобразование с выдачей, в конечном счете, на выход выходного сигнала Y, являющегося либо входным сигналом для других НПЭ, либо окончательным сигналом нейросети.

Принято, что в нейросети НПЭ, не имеющие синаптических связей с другими НПЭ по входу, являются входными НПЭ, имеющие синаптические связи с другими НПЭ как по входу, так и по выходу, являются промежуточными НПЭ, при этом промежуточные НПЭ с собственным состоянием НПЭ являются промежуточно-входными НПЭ, а НПЭ, имеющий синаптические связи с другими НПЭ только по входу, является выходным НПЭ.

Работа НПЭ возможна по двенадцати основным вариантам.

Первый вариант соответствует работе НПЭ в режиме взвешивания, нормировки и простого суммирования входных сигналов (воздействий). Значение К_од=1. В этом случае БУ 3 подает команды на многоканальные генераторы случайных чисел 2 и 5 и на одноканальные генераторы случайных чисел 9 и 12 и устанавливает на их выходах значение сигнала, равное 1, т.е. исходное состояние НПЭ задается равным 0. На выходе блока расчета состояния НПЭ (БРС):

Снпэ=Свх или Снпэ=Свх^дз, когда подключен БЗД 18.

В этом варианте работы состояние НПЭ определяется как сумма параметров входных сигналов (воздействий), а соответствующий состоянию НПЭ сигнал Y подается на вход блока выхода 20:

Y=Снпэ=Пвх_∑=∑Пвх_i=∑(xi·W_i*).

Вариант соответствует случаю работы НПЭ в качестве промежуточного или выходного НПЭ в нейросети (НС), в структуре которой он состоит.

Второй вариант работы НПЭ отличается от первого функционированием ГСЧ1 2 и/или ГСЧ2 5. Соответственно, с выхода БВ 1 поступает сигнал x_i ^гсч1=x_i·Kгсч1_i, в БВК формируются сигналы весов W_i ^гсч2i=W_i·Кгсч2; и сигналы нормированных весов W_i ^*гсч2i=W_i ^гсч2/∑(W_i ^гcч2i).

Этот вариант, также как и первый вариант, соответствует работе НПЭ в режиме взвешивания и простого суммирования входных сигналов (воздействий), но с учетом возможных разбросов по заданным законам распределения и в заданном диапазоне значения и/или веса хотя бы одного входного сигнала:

Y=∑(x_i ^гсч1i·W_i*^гсч2i).

Вариант соответствует случаю работы НПЭ в качестве промежуточного или выходного НПЭ в нейросети.

Третий вариант работы НПЭ предполагает задание исходного собственного состояния НПЭ при отсутствии входных сигналов. Значение К_од=0, т.е. доля входных сигналов в состоянии НПЭ равна 0. Сигнал, соответствующий величине исходного собственного состояния НПЭ, С_соб, поступает на вход блока выхода 20.

В этом варианте НПЭ выступает в роли не сумматора, а непосредственного источника сигналов, т.е. в роли входного НПЭ нейросети:

Y=C_соб.

Четвертый вариант отличается от первого и третьего варианта тем, что предполагает их совмещение. В этом случае БУ 3 подает команды на генераторы случайных чисел 2 и 5 и на одноканальные генераторы случайных чисел 9 и 12 и устанавливает на их выходах значение сигнала, равное 1.

Y=Снпэ=Свх+Свн=...=∑(x_i·W_i ^*)·K_од+С_соб·(1-К_од).