Способ осуществления операции скалярного умножения произвольного вектора на загружаемый в устройство векторный коэффициент и опционального сложения со скалярным коэффициентом

Авторы патента:

Скрибцов Павел Вячеславович (RU)

G06F17/16 - матричные или векторные вычисления

Владельцы патента RU 2609745:

Общество с ограниченной ответственностью "ПАВЛИН Технологии" (RU)

Изобретение относится к вычислительной технике и может использоваться для быстрого выполнения математических вычислений в нейронных сетях типа Multilayer Perceptron (MLP). Техническим результатом является уменьшение сложности устройства. Устройство содержит два блока, осуществляющих расчет суммы квадратов разниц компонент входного вектора и предварительно рассчитанных векторов, блок изменения знака результата и блок суммирования. 2 ил.

Изобретение относится к вычислительной технике и может использоваться для быстрого выполнения математических вычислений, встречающихся при реализации различных устройств обработки сигналов и, в частности, при аппаратной реализации нейронных сетей типа многослойного персептрона (Multilayer Perceptron, MLP).

На момент подачи заявки применение массива умножителей для аппаратной реализации операции скалярного умножения является сложным и дорогостоящим решением, поскольку для аппаратной реализации каждой процедуры умножения, входящих в состав скалярного умножения, требуется применение сложных архитектур, как правило, состоящих из сдвиговых регистров, сумматоров и т.п. Различным способам осуществления операции умножения посвящается большое количество изобретений [US 4622650, РФ №2485574]. Тем не менее на настоящий момент простых решений, сопоставимых по простоте, например, с сумматорами, не существует. Это становится особенно актуально для векторов больших размерностей, когда для быстрого (параллельного) вычисления скалярного умножения требуется применение множества умножителей. В связи с этим, например, разработчики аппаратного обеспечения концентрируют усилия на реализации нейронных сетей типа RBF (Radial Basis Function Network), в которых вычисление скалярного произведения не требуется, а требуются только вычисления разниц векторов [US 5359700]. Однако такое решение не может использоваться для реализации скалярного умножения.

Настоящее изобретение использует возможность провести эквивалентные вычисления меньшей сложности, для получения результата скалярного умножения входного вектора на постоянный векторный множитель и опционального сложения с константой.

Целью изобретения является достижение следующего технического результата: уменьшение сложности аппаратной реализации процедуры вычисления скалярного произведения векторов и опционального сложения, а также возможность применения устройств, осуществляющих операции вычисления квадрата евклидовых расстояний между векторами для реализации скалярного умножения.

Технический результат способа заключается в следующем:

- упрощение схемы устройств, производящих вычисления скалярного произведения входного вектора на вектор параметров и опционального сложения (уменьшение необходимого числа вентилей для реализации);

- возможности использования существующих устройств для аппаратного параллельного вычисления суммы квадратов разниц компонент векторов для аппаратного параллельного вычисления скалярного произведения.

На Фиг. 1 представлен классический способ вычисления скалярного произведения входного вектора на вектор параметров , называемый «весовым вектором», и сложения со скалярным параметром w₀, называемым «смещением». Каждая компонента входного вектора подается на вход умножителя на константу, далее все операнды складываются и прибавляется смещение. Если сложение со скаляром не требуется, без ограничения общности можно считать, что он равен нулю. Математическая запись данной операции представлена выражением

На Фиг. 2 представлен альтернативный способ, являющийся предметом данной заявки. Значения компонент входного вектора одновременно подаются на два одинаковых блока 1 и 2, осуществляющих расчет суммы квадратов разниц компонент входного вектора с компонентами предварительно рассчитанных и загруженных векторов В и С. Затем модуль 3 осуществляет изменение знака результата, полученного в блоке 1. Суммирующий модуль 4 осуществляет сложение цифровых сигналов, полученных из модулей 2 и 3, а также складывает этот результат с предварительно рассчитанным и загруженным в устройство 4 весовым коэффициентом q. Для того чтобы способ, указанный на Фиг. 2, реализовывал вычисления, эквивалентные устройству, указанному на Фиг. 1, то есть выполнял вычисления по формуле 1, но без применения умножителей, необходимо заранее рассчитать значения загружаемых векторных коэффициентов В и С, а также скалярного коэффициента q по следующим формулам:

Устройство, предложенное в данной заявке (см. Фиг. 2), фактически реализует вычисления, описываемые следующим выражением:

где N - количество компонент входного вектора . Для реализации операции возведения в квадрат возможно применение универсальных просмотровых таблиц. Универсальны они в том смысле, что не требуется изменять значения этих таблиц при изменении входного сигнала, весового вектора и смещения. Что касается операции умножения на (-1), то из уровня техники следует, что такая операция фактически сводится только к установке одного знакового бита. Таким образом, предлагаемый способ не требует применения умножителей. Эквивалентность (3) выражению (1) при условии (2) показывается ниже.

Если осуществить раскрытие скобок в выражении (3)

становится видно, что существует множество способов выбора значений векторов В, С и скаляра q, при которых выражение (3) эквивалентно выражению (1). Для этого должны выполняться следующие условия:

C,-5,=-w,/2

В частности, предложенные в выражении (2) значения предварительно рассчитанных значений векторов В, С и скаляра q удовлетворяют условиям (5).

Можно предложить и другие значения B, C, q, удовлетворяющие (5).

Например: ; ; и т.п.

Компьютерное моделирование предложенного способа также показывает эквивалентность вычислений с точностью до ошибок округления. Например, при 10 млн попыток расчетов со случайно (диапазон -1…+1) инициализированными весами и смещениями и случайном входном векторе размерности 10 показывает среднее отклонение в расчетах классического и предлагаемого способа с одинарной точностью (плавающая точка, 32 bit) менее 10^-4, а максимальное отклонение менее 10^-3. Максимальная ошибка округления возникает в редких случаях при малых значениях модуля вектора весового коэффициента при большом абсолютном значении смещения. Для нейронных сетей, как правило, такие случаи означают, что нейрон работает в насыщении, и его выход слабо зависит от входа, а в этом случае незначительные отклонения не принципиальны, так как в этой точке функции активации имеют практически нулевую производную.

Данное изобретение позволяет применять устройства для параллельного расчета сигнала выхода нейронных сетей типа RBF для аппаратного ускорения расчета нейронных сетей типа MLP, применяющих скалярное умножение. В зависимости от гибкости устройств - либо в текущем состоянии, либо после несложной доработки или пост-процессинга. Например, аппаратно реализованный нейрочип Cognimem CM1K позволяет одновременно рассчитывать до 1024 расстояний между 256-мерными векторами и позволяет таким образом ускорять расчет сетей типа RBF. Предлагаемое изобретение позволяет расширить возможности подобных архитектур для применения их для реализации чрезвычайно популярного класса нейронных сетей типа MLP (использующих скалярное умножение).

Способ осуществления операции скалярного умножения произвольного вектора на загружаемый в устройство векторный коэффициент и опционального сложения со скалярным коэффициентом w₀ при помощи цифровой техники, отличающийся тем, что предварительно рассчитывают векторы В, С и весовой коэффициент q по формулам

В=0,

загружают вектор В в блок 1, загружают вектор С в блок 2, загружают весовой коэффициент q в суммирующий модуль 4, значения компонент входного вектора одновременно подают на блоки 1 и 2, в блоке 1 осуществляют расчет суммы квадратов разниц компонент произвольного вектора с компонентами вектора В, в блоке 2 осуществляют расчет суммы квадратов разниц компонентов произвольного вектора с компонентами вектора С, в модуле 3 осуществляют изменение знака результата, полученного в блоке 1, в суммирующем модуле 4 осуществляют сложение цифровых сигналов, полученных из модулей 2 и 3, и весового коэффициента q.

Изобретение относится к методам цифровых вычислений, предназначенных для специфических функций, а именно к комплексным математическим операциям для матричных или векторных вычислений.

Устройство обращения ковариационной матрицы помеховых сигналов // 2562389

Изобретение относится к вычислительной технике и может быть использовано в высокопроизводительных специализированных вычислительных машинах и устройствах обработки сигналов для обращения ковариационных матриц помеховых сигналов.

Способ и система для определения границ защиты с полной экстраполяцией на протяжении заданного временного горизонта // 2552160

Изобретение относится к вычислительной технике. Технический результат заключается в упрощении определения пределов защиты при помощи полной экстраполяции пределов защиты.

Способ организации арифметического ускорителя для решения больших систем линейных уравнений // 2547618

Изобретение относится к вычислительной технике и может быть использовано для создания арифметического ускорителя для решения больших систем линейных уравнений. Техническим результатом является уменьшение числа арифметических операций.

Устройство для моделирования процесса принятия решения в условиях неопределенности // 2534924

Изобретение относится к устройствам принятия решения в условиях неопределенности. Техническим результатом является расширение функциональных возможностей устройства за счет обеспечения возможности ранжирования вариантов принятия решения.

Способ оптимизации алгоритма управления конкретным объектом и/или процессом // 2479864

Изобретение относится к области управления и может быть использовано для оптимизации эксплуатационных расходов при работе автоматизированных систем управления различными реальными процессами, систем поддержки принятия решений, моделирования реальных объектов.

Устройство вращения вектора // 2475830

Изобретение относится к вычислительной технике и может быть использовано:1) в высокопроизводительных вычислительных системах, в частности в системах цифровой обработки сигналов, работающих в режиме реального времени, 2) в системах управления скоротечными процессами, 3) в качестве средства повышения производительности персональных компьютеров при решении задач, связанных с упрощением вида матриц систем линейных уравнений (алгебраических и дифференциальных), реализуемого как подсхема в составе арифметического процессора или же в составе отдельного устройства (спецпроцессора).

Устройство нормировки вектора // 2473961

Изобретение относится к вычислительной технике и предназначено для использования в высокопроизводительных вычислительных системах, в частности в системах цифровой обработки сигналов, работающих в режиме реального времени, в системах управления быстро протекающими процессами, в персональных компьютерах в качестве средства повышения их производительности, реализуемого как подсхема в составе арифметического процессора или же в составе отдельного устройства (спецпроцессора).

Устройство для моделирования процесса принятия решения в условиях неопределенности // 2468423

Изобретение относится к автоматике и вычислительной технике. .

Ячейка однородной вычислительной среды и устройство для сжатия двоичных векторов на базе ячеек однородной вычислительной среды // 2450327

Изобретение относится к вычислительной технике и предназначено для построения однородных вычислительных сред, выполняющих сжатие массивов двоичных векторов в конвейерном режиме.

Способы для аппроксимации операции умножения гессиана на вектор в полной инверсии волнового поля // 2613216

Изобретение относится к области геофизической разведки и, более конкретно, к обработке сейсмических данных. Техническим результатом является повышение скорости оценки величины, известной как умножение гессиана на вектор, которая возникает в некоторых способах для численного решения дифференциальных уравнений в частных производных. Способ определения дискретной модели физических свойств области недр, представляющей собой модель или модель недр, посредством итеративного инвертирования измеренных геофизических данных, полученных из области недр, содержащий: аппроксимирование матрицы Гессе целевой функции, которая затем умножается на вектор, характеризующее умножение гессиана на вектор с использованием компьютера, с помощью одиночного смоделированного распространения прямой волны и одиночного вычисления градиента целевой функции, в модифицированной модели недр, причем необходимо использование только трех распространений прямой волны или обратной волны, причем это аппроксимирование основано на уравнении приближения для Борновского рассеянного поля давления , где умножение гессиана на вектор аппроксимируют посредством вычисления градиента с использованием в качестве искусственного остатка, затем вычисление направления в пространстве параметров модели для обновления до текущей модели посредством умножения обращения матрицы Гессе на градиент целевой функции, причем обращение матрицы Гессе вычисляют итеративно с использованием метода сопряженных градиентов, в котором приближение умножения гессиана на вектор используется для оценки умножения матрицы Гессе на вектор возмущения среды, выполнение линейного поиска для определения амплитуды обновления модели с использованием вычисленного направления, добавление обновления модели к текущей модели для формирования обновленной модели и использование обновленной модели для геофизического исследования. 3 н. и 11 з.п. ф-лы, 4 ил.

Устройство оптимизации алгоритмов адаптации и стабилизации летательного аппарата операторным методом // 2620280

Устройство оптимизации алгоритмов адаптации и стабилизации летательного аппарата операторным методом содержит блоки ввода данных продольного канала, бокового канала и канала крена, систему стабилизации, содержащую продольный канал, боковой канал и канал крена, модуль расчета перекрестных связей, модуль оптимизации системы стабилизации, модуль формирования критериев, модуль формирования результатов, модуль хранения данных, соединенные определенным образом. Обеспечивается высокая точность управляющего сигнала для стабилизации летательного аппарата с учетом компенсации действия внешних возмущений. 2 ил.

Способ автоматической реконструкции фотопортретов из скетчей и система для его осуществления // 2628125

Изобретение относится к автоматике и вычислительной технике. Технический результат – повышение быстродействия реконструкции фотопортретов из скетчей. Способ автоматической реконструкции фотопортретов из скетчей заключается в вычислении по исходным выборкам скетчей S и фотографий Р средних значений mS и mP; центрировании относительно средних исходных выборок S и Р, в результате чего они преобразуются в и ; выполнении анализа главных компонент по , в результате чего вычисляются собственные числа и соответствующие им собственные векторы для матрицы Грама, которые пересчитываются в собственные векторы ковариационной матрицы; вычислении для заданного скетча спектра в базисе, образованном собственными векторами ковариационной матрицы, с помощью прямого преобразования Карунена-Лоэва; причем вычисляют базис взаимной трансформации скетча в фотографию, используя собственные числа, собственные векторы для матрицы Грама и центрированную выборку исходных фотографий , модифицируют спектр заданного скетча L раз путем добавления случайного шума к каждой его компоненте, получая L модифицированных спектров, из которых формируют популяцию из L фотографий, соответствующих заданному скетчу. 2 н.п. ф-лы, 7 ил.