Реконфигурируемая вычислительная система с многоуровневой подсистемой мониторинга и управления

Изобретение относится к области вычислительной техники. Технический результат заключается в повышении отказоустойчивости вычислительной системы. Вычислительная система содержит: сетевой коммутатор Ethernet управления, ведущий сервер, сетевой коммутатор Ethernet мониторинга, коммутатор PCI-Express, блок контроля и управления питанием и группу из К вычислительных узлов, каждый из которых содержит вычислитель общего назначения, коммутатор PCI-Express, коммутатор PCI-Express вычислительных модулей, блок мониторинга и управления, блок контроля и управления вентиляторами охлаждения, блок контроля и управления питанием вычислительных модулей; группу из N вычислительных модулей, каждый из которых содержит коммутатор PCI-Express, группу из М вычислительных ПЛИС; системную ПЛИС, блок управления режимом коммутатора PCI-Express и память стартовой конфигураций системной ПЛИС. 1 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области вычислительной техники, в частности, реконфигурируемым вычислительным системам кластерного типа, предназначенных для решения вычислительно сложных, трудоемких задач и высокоскоростной обработки больших информационных массивов.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Известен патент US 9037833, G06F 15/80, G06F 9/50, опубл. 19.05.2015 г. (ЕР 1814029, US 20050235092), в котором вычислительная система содержит множество объединенных вычислительных узлов. Каждый вычислительный узел состоит из вычислителя общего назначения, включающего в свой состав процессоры общего назначения для выполнения высокопроизводительных вычислений, оперативные памяти и коммутатор, предназначенный для связи вычислительных узлов вычислительной системы между собой. Процессоры общего назначения попарно соединены между собой посредством интерфейса Hyper Transport. Каждый из процессоров общего назначения в вычислителе общего назначения соединен через мост HYPERTRANSPORT™/PCI с адаптером НСА (Host Channel Adapter), который, в свою очередь, связан с коммутатором. Вычислительные узлы высокопроизводительной системы связаны между собой в единую сеть. Для управления работой вычислительной системы в кластере один узел является управляющим, в его задачи входит мониторинг состояния системы (обнаружение неисправных узлов), планирование задач между узлами кластера, управление правами доступа пользователей. Между управляющим узлом и вычислительными узлами системы может использоваться коммуникационная сеть Ethernet.

Недостатком данной вычислительной системы является невысокая оперативность работы подсистемы мониторинга и управления состоянием компонент.

Причиной, препятствующей достижению технического результата, является высокая загрузка управляющего узла, при большом количестве объектов для мониторинга и управления внутри кластера вычислительной системы. Это обусловлено необходимостью обработки узлом управления большого потока данных мониторинга состояния контролируемых объектов в вычислительных узлах и последовательным алгоритмом работы системы мониторинга.

Наиболее близким устройством того же назначения, к заявленному изобретению, по совокупности признаков, принятой за прототип, является реконфигурируемая вычислительная система (RU №156778 U1, МПК G06F 15/16, заявлено 10.04.2015, опубликовано 20.11.2015 Бюл. №32), содержащая сетевой коммутатор Ethernet 1 управления, ведущий сервер 2, сетевой коммутатор Ethernet 5 мониторинга, группу из К ведомых вычислительных узлов 4₁, …, 4_K, каждый из которых содержит компьютер 8, коммутатор PCI-Express 11 и группу из N реконфигурируемых вычислительных устройств 13₁, …, 13_N, каждое из которых содержит коммутатор PCI-Express 19, группу из М вычислительных ПЛИС 20₁, …, 20M, интерфейсную ПЛИС 22, блок 30 управления режимом коммутатора PCI-Express 19 и память 24 конфигураций ПЛИС, причем ведущий сервер 2 соединен сетевым интерфейсом Ethernet 6 с сетевым коммутатором Ethernet 5 мониторинга и сетевым интерфейсом Ethernet 3 с сетевым коммутатором Ethernet 1 управления, который соединен по соответствующим сетевым интерфейсам Ethernet 7₁, …, 7_K с компьютерами 8 вычислительных узлов 4₁, …, 4_K, в которых коммутатор PCI-Express 11, соединен соответствующими высокоскоростными последовательными интерфейсами PCI-Express 16₁, …, 16_N с коммутаторами PCI-Express 19 в соответствующих реконфигурируемых вычислительных устройствах 13₁, …, 13_N, в которых интерфейсная ПЛИС 22 соединена с памятью 24 конфигураций ПЛИС, а коммутатор PCI-Express 19 соединен с блоком 30 управления режимом коммутатора PCI-Express 19, с интерфейсной ПЛИС 22 по высокоскоростному последовательному интерфейсу PCI-Express 17 и с вычислительными ПЛИС 20₁, …, 20_M по соответствующим высокоскоростным последовательным интерфейсам 21₁, …, 21_M.

Недостатком данной реконфигурируемой вычислительной системы является невысокая отказоустойчивость и высокие энергетические затраты при решении вычислительно сложных и трудоемких задач.

Причиной, препятствующей достижению технического результата, являются большое время опроса при мониторинге и управлении компонентами, связанное с последовательным опросом ведущим сервером 2 по сетевому интерфейсу 6 через коммутатор мониторинга Ethernet 5 данных мониторинга от каждого из вычислительных узлов 4₁, …, 4_К.

ЗАДАЧА ИЗОБРЕТЕНИЯ

Задача, на решение которой направлено предлагаемое изобретение, заключается в создании реконфигурируемой вычислительной системы с эффективной системой мониторинга и управления.

Техническим результатом предлагаемого изобретения является повышение отказоустойчивости и снижение мощности потребления реконфигурируемой вычислительной системы.

КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Указанный технический результат при осуществлении изобретения достигается тем, что в реконфигурируемую вычислительную систему с многоуровневой подсистемой мониторинга и управления содержащую сетевой коммутатор Ethernet 1 управления, ведущий сервер 2, сетевой коммутатор Ethernet 24 мониторинга, группу из К вычислительных узлов 4₁, …, 4_K, каждый из которых содержит вычислитель общего назначения 6, коммутатор PCI-Express 7 и группу из N вычислительных модулей 8₁, …, 8_N, каждый из которых содержит коммутатор PCI-Express 10, группу из М вычислительных ПЛИС 13₁, …, 13_M, системную ПЛИС 18, блок 15 управления режимом коммутатора PCI-Express 10 и память 17 стартовой конфигураций системной ПЛИС 18,

причем ведущий сервер 2 соединен сетевым интерфейсом Ethernet 57 с сетевым коммутатором Ethernet 24 мониторинга и сетевым интерфейсом Ethernet 25 с сетевым коммутатором Ethernet 1 управления, который соединен по соответствующим сетевым интерфейсам Ethernet 26₁, …, 26_K с вычислителями общего назначения 6 вычислительных узлов 4₁, …, 4_K,

в которых коммутатор PCI-Express 7 соединен соответствующими высокоскоростными последовательными интерфейсами PCI-Express 31, …, 31_N с коммутаторами PCI-Express 10 в соответствующих вычислительных модулях 8₁, …, 8_N,

в которых системная ПЛИС 18 соединена с памятью 17 стартовой конфигурации системной ПЛИС 18 шиной 45 конфигурирования системной ПЛИС 18, а коммутатор PCI-Express 10 соединен с блоком 15 управления режимом коммутатора PCI-Express 10 по шине 36 режима коммутатора PCI-Express 10, с системной ПЛИС 18 по высокоскоростному последовательному интерфейсу PCI-Express 48 и с вычислительными ПЛИС 13₁, …, 13 м по соответствующим высокоскоростным последовательным интерфейсам PCI-Express 33₁, …, 33_M,

дополнительно введены коммутатор PCI-Express 3 и блок 23 контроля и управления питанием вычислительных узлов 4₁, …, 4_K,

в каждый из которых дополнительно введены коммутатор PCI-Express 9 вычислительных модулей, блок 21 мониторинга и управления, блок 22 контроля и управления вентиляторами охлаждения, блок 20 контроля и управления питанием вычислительных модулей и группа из N памятей 5₁, …, 5_N состояния вычислительных модулей 8₁, …, 8_N,

в каждый из которых дополнительно введены группа из М памятей 11₁, …, 11_M стартовых конфигураций вычислительных ПЛИС 13₁, …, 13_M, группа из М совычислителей 14₁, …, 14_M с индивидуальным питанием, группа из М блоков 12₁, …, 12_M управления режимом совычислителей 14₁, …, 14_M, блок 16 мониторинга и управления и блок 19 конфигурирования вычислительных ПЛИС 13₁, …, 13_M и их памятей 11₁, …, 11_M стартовых конфигураций,

причем ведущий сервер 2 также соединен высокоскоростным последовательным интерфейсом PCI-Express 27 с коммутатором PCI-Express 3 вычислительных узлов, который соединен с коммутаторами PCI-Express 9 вычислительных модулей вычислительных узлов 4₁, …, 4_K, по соответствующим высокоскоростным последовательным интерфейсам PCI-Express 28₁, …, 28_K, а сетевой коммутатор Ethernet 24 мониторинга соединен сетевым интерфейсом 56 управления питанием вычислительных узлов с блоком 23 контроля и управления питанием и соответствующими сетевыми интерфейсами Ethernet 55₁, …, 55_K мониторинга с блоками 21 мониторинга и управления вычислительных узлов 4₁, …, 4_K,

в каждом из которых памяти 5₁, …, 5_N состояния вычислительных модулей 8₁, …, 8_N соединены с вычислителем общего назначения 6 по общей шине взаимодействия 29, который соединен высокоскоростным последовательным интерфейсом PCI-Express 30 с коммутатором PCI-Express 7, коммутатор PCI-Express 9 вычислительных модулей также соединен с коммутаторами PCI-Express 10 в соответствующих вычислительных модулях 8₁, …, 8_N по соответствующим высокоскоростным последовательным интерфейсам PCI-Express 32₁, …, 32_N, а блок 21 мониторинга и управления соединен с блоком 22 контроля и управления вентиляторами охлаждения шиной 54 контроля и управления вентиляторами охлаждения, с блоком 20 контроля и управления питанием шиной 53 контроля и управления питанием и соответствующими шинами 52₁, …, 52_N мониторинга и управления состоянием с блоками 16 мониторинга и управления в соответствующих вычислительных модулях 8₁, …, 8_N,

в каждом из которых системная ПЛИС 18 также соединена с блоком 19 конфигурирования вычислительных ПЛИС 13₁, …, 13_M и их памятей 11₁, …, 11_M стартовых конфигураций шиной 49 управления записью, с блоком 16 мониторинга и управления шиной 47 локального мониторинга и управления состоянием и с памятью 17 стартовой конфигурации шиной 46 оперативной записи,

кроме того вычислительные ПЛИС 13₁, …, 13_M также соединены шинами 38₁, …, 38_M управления режимом с соответствующими блоками 12₁, …, 12_M управления режимом совычислителей 14₁, …, 14_M, индивидуальными шинами 34₁, …, 34_M записи и индивидуальными шинами 35₁, …, 35_M оперативной реконфигурации с соответствующими памятями 11₁, …, 11_M стартовых конфигураций, шинами 37₁, …, 37_M локального управления индивидуальным питанием и шинами 39₁, …, 39_M взаимодействия с соответствующими совычислителями 14₁, …, 14_M

кроме того блок 16 мониторинга и управления в вычислительных модулях 8₁, …, 8_N соединен шиной 42 управления режимом с блоком 15 управления режимом коммутатора PCI-Express 10, шинами 41₁, …, 41_M локального управления индивидуальным питанием с соответствующими вычислительными ПЛИС 13₁, …, 13_M, а также соединен шиной 43 первичной записи с памятью 17 стартовой конфигурации системной ПЛИС 18 и шиной 44 управления первичной записью с блоком 19 конфигурирования вычислительных ПЛИС 13₁, …, 13_M и их памятей 11₁, …, 11_M стартовых конфигураций,

причем блок конфигурирования 19 в вычислительных модулях 8₁, …, 8_N также соединен общей шиной конфигурирования 50 с вычислительными ПЛИС 13₁, …, 13_M и общей шиной 51 записи с памятями 11₁, …, 11_M стартовых конфигураций вычислительных ПЛИС 13₁, …, 13_M, а блоки 12₁, …, 12_M управления режимом совычислителей соединены шинами 40₁, …, 40_M режима с соответствующими совычислителями 14₁, …, 14_M.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На фиг. 1 приведена функциональная схема реконфигурируемой вычислительной системы с многоуровневой подсистемой мониторинга и управления.

На фиг. 1 и в тексте приняты следующие сокращения и обозначения:

РВС - реконфигурируемая вычислительная система;

ВУ - вычислительный узел;

ВМ - вычислительный модуль;

СВ - совычислитель;

ОС - операционная система;

K - количество вычислительных узлов в реконфигурируемой вычислительной системе;

N - количество вычислительных модулей в вычислительном узле;

М - количество вычислительных ПЛИС и совычислителей в вычислительном модуле;

1 - сетевой коммутатор Ethernet управления реконфигурируемой вычислительной системы;

2 - ведущий сервер;

3 - коммутатор PCI-Express вычислительных узлов;

4₁, …, 4_K - группа из K вычислительных узлов;

5₁, …, 5_N - группа из N памятей состояния вычислительных модулей;

6 - вычислитель общего назначения вычислительного узла;

7 - коммутатор PCI-Express вычислительного узла;

8₁, …, 8_N - группа из N вычислительных модулей;

9 - коммутатор PCI-Express вычислительных модулей вычислительного узла;

10 - коммутатор PCI-Express вычислительного модуля;

11₁, …, 11_M - группа из М памятей стартовых конфигураций вычислительных ПЛИС 13₁, …, 13_M вычислительного модуля;

12₁, …, 12_M - группа из М блоков управления режимом совычислителей 14₁, …, 14_M вычислительного модуля;

13₁, …, 13_M - группа из М вычислительных ПЛИС вычислительного модуля с индивидуальным питанием;

14₁, …, 14_M - группа из М совычислителей вычислительного модуля с индивидуальным питанием;

15 - блок управления режимом коммутатора PCI-Express 10 вычислительного модуля;

16 - блок мониторинга и управления вычислительного модуля;

17 - память стартовой конфигурации системной ПЛИС 18 вычислительного модуля;

18 - системная ПЛИС вычислительного модуля;

19 - блок конфигурирования вычислительных ПЛИС 13₁, …, 13_M и их памятей 11₁, …, 11_M стартовых конфигураций вычислительного модуля;

20 - блок контроля и управления питанием вычислительных модулей;

21 - блок мониторинга и управления вычислительного узла;

22 - блок контроля и управления вентиляторами охлаждения вычислительного узла;

23 - блок контроля и управления питанием вычислительных узлов;

24 - сетевой коммутатор Ethernet мониторинга реконфигурируемой вычислительной системы;

25 - сетевой интерфейс Ethernet между коммутатором управления Ethernet 1 и ведущим сервером 2;

26₁, …, 26_K - K сетевых интерфейсов между коммутатором управления Ethernet 1 и вычислительными узлами 4₁, …, 4_K;

27 - высокоскоростной последовательный интерфейс PCI-Express между коммутатором PCI-Express 3 и ведущим сервером 2;

28₁, …, 28_K - K высокоскоростных последовательных интерфейсов PCI-Express между коммутатором PCI-Express 3 и коммутаторами PCI-Express 9;

29 - общая шина взаимодействия вычислителя общего назначения 6 и группой из N памятей состояния вычислительных модулей 8₁, …, 8_N;

30 - высокоскоростной последовательный интерфейс PCI-Express между коммутатором PCI-Express 7 и вычислителем общего назначения 6;

31₁, …, 31_N - N высокоскоростных последовательных интерфейсов PCI-Express между коммутатором PCI-Express 7 и коммутаторами PCI-Express 10 вычислительных модулей 8₁, …, 8_N;

32₁, …, 32_N - N высокоскоростных последовательных интерфейсов PCI-Express между коммутатором PCI-Express 9 и коммутаторами PCI-Express 10 вычислительных модулей 8₁, … 8_N;

33₁, …, 33_M - М высокоскоростных последовательных интерфейсов PCI-Express вычислительных ПЛИС 13₁, …, 13_M;

34₁, …, 34_M - М индивидуальных шин записи памятей 11₁, …, 11_M стартовых конфигураций вычислительных ПЛИС 13₁, … 13_M;

35₁, …, 35_M - М индивидуальных шин оперативной реконфигурации вычислительных ПЛИС 13₁, …, 13_M;

36 - шина режима коммутатора PCI-Express 10;

37₁, …, 37_M - М шин локального управления индивидуальным питанием совычислителей 14₁, …, 14_M;

38₁, …, 38_M - М шин управления режимом совычислителей 14₁, …, 14_M;

39₁, …, 39_M - М шин взаимодействия между вычислительными ПЛИС 13₁, …, 13_M и соответствующими совычислителей 14₁, …, 14_M;

40₁, …, 40_M - М шин режима совычислителей 14₁, …, 14_M;

41₁, …, 41_M - М шин локального управления индивидуальным питанием вычислительных ПЛИС 13₁, …, 13_M;

42 - шина управления режимом коммутатора PCI-Express 10;

43 - шина первичной записи памяти 17 стартовой конфигурации системной ПЛИС 18 блоком 16 мониторинга и управления вычислительного модуля;

44 - шина управления первичной записью памятей 11₁, …, 11_M стартовых конфигураций вычислительных ПЛИС 13₁, …, 13_M блоком 16 мониторинга и управления вычислительного модуля;

45 - шина конфигурирования системной ПЛИС 18 из памяти 17 стартовой конфигурации;

46 - шина оперативной записи памяти 17 стартовой конфигурации системной ПЛИС 18;

47 - шина локального мониторинга и управления состоянием вычислительного модуля системной ПЛИС 18;

48 - высокоскоростной последовательный интерфейс PCI-Express системной ПЛИС 18;

49 - шина управления записью памятей 11₁, …, 11_M стартовых конфигураций и конфигурированием вычислительных 13₁, …, 13_M системной ПЛИС 18;

50 - общая шина конфигурирования вычислительных ПЛИС 13₁, …, 13_M;

51 - общая шина записи памятей стартовых конфигураций 11₁, …, 11_M вычислительных ПЛИС 13₁, …, 13_M;

52₁, …, 52_N - N шин мониторинга и управления состоянием вычислительных модулей 8₁, …, 8_N;

53 - шина контроля и управления питанием вычислительных модулей 8₁, …, 8_N;

54 - шина контроля и управления вентиляторами охлаждения вычислительных узлов 4₁, …, 4_K;

55₁, …, 55_K - K сетевых интерфейсов мониторинга Ethernet вычислительных узлов 4₁, …, 4_K;

56 - сетевой интерфейс Ethernet управления питанием вычислительных узлов 4₁, …, 4_K; 57 - сетевой интерфейс Ethernet между коммутатором мониторинга Ethernet 24 и ведущим сервером 2.

ПОДРОБНОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Ведущий сервер 2 реконфигурируемой вычислительной системы предназначен для организации загрузки операционных систем в вычислители общего назначения 6 ВУ 4₁, …, 4_K, организации управления потоками задач для ВУ 4₁, …, 4_K через сетевой коммутатор Ethernet 1 управления РВС, организации мониторинга состояния компонент и управления режимами реконфигурируемой вычислительной системы через сетевой коммутатор Ethernet 24 мониторинга РВС, а также для организации взаимодействия вычислительных узлов 4₁. …, 4_K между собой через коммутатор PCI-Express 3 по высокоскоростным последовательным интерфейсам PCI-Express 28₁, …, 28_K и вычислительных модулей 8₁, …, 8_N между собой через коммутатор PCI-Express 9 по высокоскоростным последовательным интерфейсам PCI-Express 32₁, …, 32_N при построении различных вычислительных структур РВС. Кроме того ведущий сервер 2 с использованием ресурсов коммутаторов PCI-Express 3 и 9, а также коммутаторов PCI-Express 10 и 7 обеспечивает прямой доступ к памятям 5₁, …, 5_N состояния вычислительных модулей. Также за счет взаимодействия с блоком 23 контроля и управления питанием ВУ через сетевой коммутатор Ethernet 24 мониторинга РВС ведущий сервер 2 осуществляет управление подачей первичного питания на соответствующие ВУ 4₁, …, 4_K, и через сетевой коммутатор Ethernet 1 управления РВС осуществляет управление включением вычислителей общего назначения 6.

Вычислительные узлы 4₁, …, 4_K предназначены для высокоскоростной обработки данных в процессе решения трудоемких вычислительных задач.

Каждый вычислитель общего назначения 6 ВУ 4₁, …, 4_K содержит процессор общего назначения, оперативную память, шину ввода-вывода PCI-Express, сетевые интерфейсы и предназначен для подготовки данных и обработки результатов вычислений от ВМ 8₁, …, 8_N, а также для анализа и передачи на ведущий сервер 2 РВС данных о состоянии компонент из памятей 5₁, …, 5_N состояния ВМ 8₁, …, 8_N с использованием сетевого коммутатора Ethernet 1 по сетевым интерфейсам 26₁, …, 26_K. Обмен данными между вычислителем общего назначения 6 и ВМ 8₁, …, 8_N осуществляется при помощи коммутатора PCI-Express 7 по высокоскоростному последовательному интерфейсу PCI-Express 30.

Вычислительные ПЛИС 13₁, …, 13_M с индивидуальным питанием, взаимодействуют с вычислителем общего назначения 6 через коммутаторы PCI-Express 7 и 10, и по шинам 39₁, …, 39_M с соответствующими СВ 14₁, …, 14_M, предназначены для осуществления обмена данными и результатами и выполнения предварительной обработки данных с последующей дообработкой результатов, получаемых от СВ 14₁, …, 14_M при решении вычислительно сложных задач различного типа. Вычислительные ПЛИС 13₁, …, 13_M осуществляют запись соответствующих памятей 11₁, …, 11_M стартовых конфигураций по индивидуальным шинам 34₁, …, 34_M записи, и таким образом выполняют оперативное самореконфигурирование необходимыми рабочими конфигурациями по соответствующим индивидуальным шинам 35₁, …, 35_M оперативной реконфигурации, используя только собственные ресурсы без использования ресурсов системной ПЛИС 18. Кроме того вычислительные ПЛИС 13₁, …, 13_M управляют индивидуальным питанием и режимами работы соответствующих СВ 14₁, …, 14_M при помощи соответствующих шин 37₁, …, 37_M локального управления индивидуальным питанием СВ и шин 38₁, …, 38_M управления режимом. Стартовые конфигурации вычислительных ПЛИС 13₁, …, 13_M предназначены для обеспечения взаимодействия по высокоскоростному последовательному интерфейсу PCI-Express и осуществления перезаписи соответствующих памятей 11₁, …, 11_M стартовых конфигураций требуемыми рабочими конфигурациями.

Совычислители 14₁, …, 14_M с индивидуальным питанием предназначены для выполнения основного объема обработки данных в процессе решения вычислительно сложных задач. В качестве СВ 14₁, …, 14_M могут использоваться ПЛИС с большим количеством конфигурируемых логических блоков, заказные СБИС с аппаратной или программной логикой, а также системы на кристалле, которые могут совмещать в своем составе универсальные программируемые вентильные матрицы и процессорные ядра. Совычислители 14₁, …, 14_M, определяют производительность РВС, обладают наиболее высокой удельной вычислительной мощностью, работают на предельно высоких частотах и, как следствие, характеризуются высокими энергопотреблением и тепловыделением.

Блок 16 мониторинга и управления ВМ предназначен для сбора данных о состоянии вычислительных ПЛИС 13₁, …, 13_M, совычислителей 14₁, …, 14_M и системной ПЛИС 18, программирования порогов срабатывания температурной защиты, управления индивидуальными питаниями вычислительных ПЛИС 13₁, …, 13_M по шинам 41₁, …, 41_M локального управления индивидуальным питанием вычислительных ПЛИС 13₁, …, 13_M ВМ, управления режимом работы коммутатора PCI-Express 10 путем взаимодействия с блоком 15 управления режимом коммутатора PCI-Express 10 по шине 42 управления режимом коммутатора PCI-Express 10. Также блок 16 мониторинга и управления ВМ осуществляет первичную запись памятей 11₁, …, 11_M стартовых конфигураций вычислительных ПЛИС 13₁, …, 13_M по шине 44 управления первичной записью через блок 19 и памяти 17 стартовой конфигурации системной ПЛИС 18 по шине 43 первичной записи памяти 17. Кроме того блок 16 мониторинга и управления ВМ по соответствующим шинам 52₁, …, 52_N осуществляет взаимодействие с блоком 21 мониторинга и управления ВУ, что обеспечивает доступ к мониторингу и управлению вычислительными модулями 8₁, …, 8_N от сервера управления 2. Первичная запись памятей 11₁, …, 11_M стартовых конфигураций вычислительных ПЛИС 13₁, …, 13_M и памяти 17 стартовой конфигурации системной ПЛИС 18 осуществляется на этапе изготовления и наладки вычислительных модулей.

Системная ПЛИС 18 вычислительных модулей предназначена для анализа информации о состоянии вычислительных ПЛИС 13₁, …, 13_M и совычислителей 14₁, …, 14_M, полученной от блока 16 мониторинга и управления ВМ по шине 47 локального мониторинга и управления состоянием ВМ, формирования текущих кадров состояния компонент ВМ и передачи этих кадров по высокоскоростному интерфейсу PCI-Express 48 через коммутаторы PCI-Express 10 и 7 в соответствующую память 5₁, …, 5_N состояния ВМ 8₁, …, 8_N. При помощи блока 19 конфигурирования вычислительных ПЛИС 13₁, …, 13_M и их памятей 11₁, …, 11_M стартовых конфигураций и шины 49 управления записью системная ПЛИС 18 осуществляет конфигурирование как вычислительных ПЛИС 13₁, …, 13_M, так и запись памятей стартовых конфигураций 11₁, …, 11_M. Кроме того системная ПЛИС 18 по шине 46 оперативной записи из памяти 17 стартовой конфигурации осуществляет запись системной ПЛИС 18, а за счет взаимодействия по шине 47 с блоком 16 мониторинга и управления ВМ осуществляет установку порогов срабатывания температурной защиты компонент ВМ. Стартовая конфигурация системной ПЛИС 18 предназначена для обеспечения всех вышеперечисленных функций, но может изменяться в процессе эксплуатации, что отражается в ее памяти 17 стартовой конфигурации путем перезаписи.

Блок 21 мониторинга и управления ВУ предназначен для мониторинга и управления вычислительными модулями 8₁, …, 8_N, питанием ВУ и вентиляторами охлаждения ВУ, за счет взаимодействия с блоками 16 мониторинга и управления ВМ, блоком 20 контроля и управления питанием ВУ и блоком 22 контроля и управления вентиляторами охлаждения ВУ по соответствующим шинам 52₁, …, 52_N мониторинга и управления состояния ВМ 8₁, …, 8_N, шине 53 контроля и управления питанием ВМ 8₁, …, 8_N и шине 54 контроля и управления вентиляторами охлаждения ВУ4₁, …, 4к и передачи данных через сетевой коммутатор Ethernet 24 мониторинга РВС на ведущий сервер 2 РВС. При этом за счет взаимодействия с блоком 20 контроля и управления питанием ВУ и блоком 22 контроля и управления вентиляторами охлаждения ВУ блок 21 мониторинга и управления ВУ осуществляет управление подачей питания на ВМ 8₁, …, 8_N и управление скоростью вращения вентиляторов охлаждения ВУ, а за счет взаимодействия с блоками 16 мониторинга и управления ВМ блок 21 мониторинга и управления ВУ осуществляет установку порогов срабатывания температурной защиты компонент ВМ 8₁, …, 8_N, и, при необходимости, может осуществлять первичную запись памятей 11₁, …, 11_M стартовых конфигураций вычислительных ПЛИС 13₁, …, 13_M и памяти 17 стартовой конфигурации системной ПЛИС 18 ВМ 8₁, …, 8_N.

Предлагаемая реконфигурируемая вычислительная система работает следующим образом.

При включении питания первыми включаются сетевой коммутатор Ethernet 1 управления РВС, сетевой коммутатор Ethernet 24 мониторинга РВС и ведущий сервер 2. После загрузки ведущего сервера 2 осуществляется включение питания на вычислительные узлы 4₁, …, 4_K уже по программе от ведущего сервера 2 через блок 23 контроля и управления питанием ВУ. Далее ведущий сервер 2 РВС через блок 21 мониторинга и управления ВУ осуществляет поочередное включение питания вычислительных модулей 8₁, …, 8_N.

После загрузки системной ПЛИС 18 из памяти 17 стартовой конфигурации системной ПЛИС 18, осуществляется включение индивидуальных питаний вычислительных ПЛИС 13₁, …, 13_M. Вычислительные ПЛИС 13₁, …, 13_M конфигурируются стартовыми конфигурациями из соответствующих памятей 11₁, …, 11_M стартовых конфигураций. Стартовые конфигурации вычислительных ПЛИС 13₁, …, 13_M используются для загрузки рабочих конфигураций в памяти 11₁, …, 11_M стартовых конфигураций вычислительных ПЛИС 13₁, …, 13_M. Одновременно блок 21 через блок 16 мониторинга и управления ВУ выполняет настройку порогов срабатывания температурной защиты системной ПЛИС 18, вычислительных ПЛИС 13₁, …, 13_M и СВ 14₁, …, 14_M.

Далее ведущий сервер 2 осуществляет включение питаний на вычислителях общего назначения 6 ВУ и загрузку операционных систем.

После загрузки ОС в вычислители общего назначения 6 ВУ, которые могут выполняться по сети Ethernet или с автономных дисков, осуществляется распределение адресного пространства между вычислительными ПЛИС 13₁, …, 13_M. Одновременно блок 21 мониторинга ВУ осуществляет проверку напряжений питания системной ПЛИС 18, вычислительных ПЛИС 13₁, …, 13_M и СВ 14₁, …, 14_M через блок 16 мониторинга и управления ВМ.

Вычислители общего назначения 6 ВУ распределяют задачи пользователей между вычислительными ПЛИС 13₁, …, 13_M и конфигурируют их рабочими программами с использованием ресурсов только самих вычислительных ПЛИС 13₁, …, 13_M. После этого вычислительные ПЛИС 13₁, …, 13_M подготовлены для решения задач пользователей. При этом вычислительные ПЛИС 13₁, …, 13_M осуществляют управление индивидуальными питаниями соответствующих СВ 14₁, …, 14_M и динамическое управление их рабочими режимами. В зависимости от используемых СВ 14₁, …, 14_M и характера задач, обрабатываемых на них и вычислительных ПЛИС 13₁, …, 13_M, управление рабочими режимами СВ 14₁, …, 14_M включает конфигурирование СВ, управление их рабочими частотами и установку требуемых режимов работы. Вычислительные ПЛИС 13₁, …, 13_M также осуществляют запись новых рабочих конфигураций в памяти 11₁, …, 11_M стартовых конфигураций вычислительных ПЛИС 13₁, …, 13_M, тем самым организуя оперативную самореконфигурацию с использованием только собственных ресурсов.

Наличие у вычислительных ПЛИС 13₁, …, 13_M возможности оперативного самореконфигурирования с использованием собственных памятей 11₁, …, 11_M стартовых конфигураций и индивидуальных шин их записи 34₁, …, 34_M и оперативной реконфигурации 35₁, …, 35_M, а также наличие у вычислительных ПЛИС 13₁, …, 13_M и СВ 14₁, …, 14_M индивидуального питания и возможности индивидуального управления питанием, позволяет проводить распределение вычислительных ресурсов для решения текущих задач пользователей с точностью до одного вычислительного ПЛИС 13₁, …, 13_M с соответствующим СВ 14₁, …, 14_M, что позволяет оптимизировать распределение задач по вычислительным модулям и узлам для повышения средней скорости обмена по каналам PCI Express и выравнивания энергопотребления и нагревания компонент ВМ. В связи с этим, если в потоке задач пользователей все задачи имеют одинаковый приоритет к исполнению, то в первую очередь из потока задач могут выбираться к исполнению те задачи, которые в комбинации приводят к уменьшению суммарного потребления и увеличению средней скорости обмена по каналам PCI Express, то есть наилучшим образом сочетающимися между собой при реализации.

В предлагаемой РВС организована многоуровневая подсистема мониторинга и управления РВС, которая осуществляет мониторинг и управление по четырем параллельно работающими уровнями.

Первый уровень подсистемы мониторинга и управления РВС отвечает за локальное управление индивидуальными питаниями СВ 14₁, …, 14_M вычислительными ПЛИС 13₁, …, 13_M, которое предполагает отключение вычислительными ПЛИС 13₁, …, 13_M индивидуальных питаний от соответствующих СВ 14₁, …, 14_M в периоды их простоя, то есть когда ресурсы СВ 14₁, …, 14_M оказываются временно невостребованными. Такие ситуации могут возникать в случаях, когда ресурсы СВ 14₁, …, 14_M не задействуются при обработке вычислительных алгоритмов. Результатом данного управления индивидуальными питаниями СВ 14₁, …, 14_M является сокращение их потребляемой мощности при решении вычислительно сложных задач.

Второй уровень подсистемы мониторинга и управления РВС отвечает за локальный мониторинг и управление состоянием отдельных ВМ 8₁, …, 8_N. На данном уровне системная ПЛИС 18 осуществляет сбор данных о текущем состоянии компонент ВМ задействованных в процессе выполнения вычислений, а именно вычислительных ПЛИС 13₁, …, 13_M и соответствующих СВ 14₁, …, 14_M. По полученным данным системная ПЛИС 18 осуществляет управление индивидуальными питаниями вычислительных ПЛИС 13₁, …, 13_M , а также путем взаимодействия с вычислительными ПЛИС 13₁, …, 13_M через блок 16 мониторинга и управления ВМ управление индивидуальными питаниями и динамическую настройку рабочих режимов СВ 14₁, …, 14_M, к которым в первую очередь относится управление рабочей частотой в зависимости от их текущей температуры. Для управления индивидуальными питаниями СВ 14₁, …, 14_M и динамической настройки их рабочих режимов в зависимости от их текущих температурных режимов и режимов питания в основном используются ресурсы системной ПЛИС 18, а вычислительные ПЛИС 13₁, …, 13_M используются для ретрансляции управляющих сигналов, формируемых системной ПЛИС 18. За счет этого обеспечивается высокая оперативность управления состоянием компонент ВМ на этапе решения задач.

Из собранных данных мониторинга системная ПЛИС 18 формирует кадры состояния вычислительных модулей 8₁, …, 8_M. Кадры состояния ВМ представляют собой пакеты данных небольшого объема, содержащие лишь минимальные сведения о состоянии компонент реконфигурируемой вычислительной системы, на основании которых проводится оценка вероятности отказов в работе компонент ВМ 8₁, …, 8_N. При помощи коммутаторов PCI-Express 7 и 10 кадры состояния ВМ транслируются в соответствующую память 5 состояния ВМ 8₁, …, 8_N, из которой посредством вычислителя общего назначения 6 ВУ и сетевого коммутатора Ethernet 1 управления РВС поступают на ведущий сервер 2 РВС. Так как оперативные данные мониторинга являются достаточно малообъемными, то их поток практически не нагружает коммуникационную среду, используемую для нужд обработки вычислительных задач. В случае, когда вычислители общего назначения 6, заняты интенсивной передачей данных и результатов задач пользователей, для передачи кадров состояния из памятей 5₁, …, 5_N могут использоваться ресурсы ведущего сервера 2 и коммутаторы PCI-Express 7, 10, 9 и 3.

Третий уровень подсистемы мониторинга и управления состоянием РВС отвечает за мониторинг и управление состоянием ВУ 4₁, …, 4_K. На этом уровне основные функции мониторинга и управления возлагаются на блоки 21 мониторинга компонент ВУ. Данные блоки осуществляют сбор и обработку расширенных данных о состоянии ВУ 4₁, …, 4_K, а именно вычислительных ПЛИС 13₁, …, 13_M, СВ 14₁, …, 14_M, системных ПЛИС 18, коммутаторов PCI-Express 9, систем питания и охлаждения ВУ 4₁, …, 4_K. Расширенные данные мониторинга представляют детальную информацию о состоянии компонент ВМ 8₁, …, 8_N. По полученным данным о состоянии компонент ВМ 8₁, …, 8_N, блок 21 мониторинга ВУ осуществляет регулирование скорости вращения вентиляторов охлаждения ВУ 4₁, …, 4_K с помощью блока 22 контроля, что приводит к сокращению потребляемой мощности ВУ 4₁, …, 4_K, а также управление питанием ВУ 4₁, …, 4_K с помощью блока 23 контроля и управления питанием ВУ. Подача питания на соответствующие ВМ 8₁, …, 8_N осуществляется поочередно, за счет чего уменьшаются выбросы в цепях питания ВМ 8₁, …, 8_N в момент их включения. Таким образом, за счет эффективной работы системы охлаждения, снижается ее энергопотребление, и, за счет наличия возможности поочередного включения и экстренного отключения питаний ВМ 8₁, …, 8_N, уменьшается вероятность выхода из строя их компонент. Обработанная информация о состоянии ВУ 4₁, …, 4_K с блоков 21 мониторинга ВУ через сетевой коммутатор Ethernet 26 мониторинга состояния РВС передается на ведущий сервер 2 РВС.

Четвертый уровень подсистемы мониторинга и управления состоянием РВС отвечает за мониторинг и управление состоянием всей РВС. На данном уровне ведущий сервер 2 осуществляет централизованный сбор информации о состоянии всех компонент РВС и по этим данным осуществляется оптимальное перераспределение задач между ВУ, в зависимости от их текущего энергопотребления и температурного режима. Анализируя информацию мониторинга, полученную с помощью средств мониторинга второго уровня, ведущий сервер 2 РВС может регулировать период запросов расширенных данных мониторинга с блоков 21 мониторинга ВУ для оперативного отслеживания текущего состояния ВУ, имеющих наиболее высокие показатели энергопотребления и температуры их компонент. Таким образом, обеспечивается высокая оперативность работы подсистемы мониторинга и управления состоянием РВС, что приводит к уменьшению вероятности перегрева компонент ВУ 4₁, …, 4_K и их аварийного отключения их питания, а также увеличивает отказоустойчивость РВС в целом. Кроме того, ведущий сервер 2 осуществляет поочередное включение питаний ВУ 4₁, …, 4_K путем взаимодействия с блоком 23 контроля и управления питанием, за счет чего уменьшаются выбросы в цепях питания ВУ 4₁, …, 4_K в момент их включения.

Подсистемы мониторинга и управления предлагаемой реконфигурируемой вычислительной системы предназначены для обслуживания только системных и вычислительных ПЛИС и СВ, так как остальные компоненты РВС имеют штатные средства мониторинга, обеспечивающие достаточный уровень отказоустойчивости.

ПРИМЕР ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Предлагаемая реконфигурируемая вычислительная система может быть реализована на следующих элементах:

В качестве ведущего сервера 2 РВС может быть использован сервер фирмы Kraftway на базе платформы Kraftway Express 200: процессор Intel(R) Xeon(R) E2620V4 2.10 GHz 8 cores; оперативная память 64 Gb; жесткий диск 1 Tb.

Вычислители общего назначения 6 ВУ: процессор Intel(R) Xeon(R) E2620V4 2.10 GHz 8 cores; оперативная память 64 Gb; жесткий диск 1 Tb; восемь вычислительных модулей 8, содержащих по четыре вычислительных ПЛИС 13₁, …, 13_M и четыре заказных СБИС в качестве СВ 14₁, …, 14_M.

Вычислительные модули 8: системная ПЛИС 18 и вычислительные ПЛИС 13₁, …, 13_M - на микросхемах фирмы Xilinx типа XC7A100T-FGG484; коммутатор PCI-Express 9 - на микросхеме коммутатора РЕХ8732 фирмы PLX Technology; блок 16 контроля состояния компонент ВМ - на микросхемах МАХ6656 фирмы Maxim Integrated, TMP461AIRUNT фирмы Texas Instruments; блоки 12 управления режимом СВ 14₁, …, 14_M - с использованием микросхем SI570; блок 21 конфигурирования вычислительных ПЛИС и их памятей стартовых конфигураций - на микросхеме CPLD ХС2С64А фирмы Xilinx; памяти стартовых конфигураций 11, 17 вычислительных и системной ПЛИС - на микросхемах SPI-памяти М25Р64 фирмы Micron Technology.

Блок 21 мониторинга и управления ВУ - на микросхеме фирмы Xilinx типа XC7Z007S-1CLG400C.

В предлагаемой реконфигурируемой вычислительной системе, в сравнении с прототипом, применение многоуровневой подсистемы мониторинга и управления состоянием РВС значительно уменьшает время опроса состояния компонентов и передачи данных на ведущий сервер 2. В прототипе время опроса и передачи данных составляет Тпрототипа = M*N*T_1O+M*N*T_1D, где T_1O и T_1D - времена опроса состояния (например, температуры и напряжения) и передачи данных для одного вычислительного ПЛИС, М -количество вычислительных ПЛИС в модуле, N -количество вычислительных модулей в вычислительном узле, при условии, что компьютеры 8 параллельно и независимо доставляют свои данные на ведущий сервер 2. В предлагаемой реконфигурируемой вычислительной системе данное время составляет Т=2*М*T_1O+2*N*M*T_1D, где коэффициент "двойка" связан с введением в вычислительные модули 8 совычислителей 14. Данное время в предлагаемом изобретении значительно меньше, чем у прототипа, за счет независимого и параллельного формирования системными ПЛИС 18 кадров состояния вычислительных модулей 8₁, …, 8_N в памятях 5₁, …, 5_N состояния в вычислительных узлах 4₁, …, 4_K через коммутаторы PCI-Express 7, 10, и независимой параллельной передачи данных кадров состояния вычислителями общего назначения 6 и формирования расширенных данных мониторинга блоками 21 мониторинга и управления ВУ соответственно через коммутаторы Ethernet 1 и 24 и соответствующие связи на ведущий сервер 2. В связи с этим также уменьшается и интервал обслуживания каждого конкретного компонента, что повышает отказоустойчивость реконфигурируемой вычислительной системы в целом.

Кроме того, в сравнении с прототипом, предлагаемая реконфигурируемая вычислительная система с многоуровневой подсистемой мониторинга и управления обладает меньшим энергопотреблением за счет эффективного управления вращением вентиляторов охлаждения вычислительных узлов 4₁, …, 4_K в зависимости от текущих температур компонент вычислительных модулей 8₁, …, 8_N и оперативного отключения индивидуальных питаний от неиспользуемых вычислительных ПЛИС 13₁, …, 13_M и совычислителей 14₁, …, 14_M.

Вышеизложенные сведения позволяют сделать вывод, что предлагаемая реконфигурируемая вычислительная система с многоуровневой подсистемой мониторинга и управления решает поставленную задачу и соответствует заявляемому техническому результату - повышение отказоустойчивости реконфигурируемой вычислительной системы и снижение мощности потребления.

Реконфигурируемая вычислительная система с многоуровневой подсистемой мониторинга и управления, содержащая сетевой коммутатор Ethernet 1 управления, ведущий сервер 2, сетевой коммутатор Ethernet 24 мониторинга, группу из K вычислительных узлов 4₁, 4_K, каждый из которых содержит вычислитель общего назначения 6, коммутатор PCI-Express 7 и группу из N вычислительных модулей 8₁, …, 8_N, каждый из которых содержит коммутатор PCI-Express 10, группу из М вычислительных ПЛИС 13_1, …, 13_М, системную ПЛИС 18, блок 15 управления режимом коммутатора PCI-Express 10 и память 17 стартовой конфигураций системной ПЛИС 18,

причем ведущий сервер 2 соединен сетевым интерфейсом Ethernet 57 с сетевым коммутатором Ethernet 24 мониторинга и сетевым интерфейсом Ethernet 25 с сетевым коммутатором Ethernet 1 управления, который соединен по соответствующим сетевым интерфейсам Ethernet 26₁, …, 26_K с вычислителями общего назначения 6 вычислительных узлов 4₁, …, 4_K,

в которых коммутатор PCI-Express 7 соединен соответствующими высокоскоростными последовательными интерфейсами PCI-Express 31, …, 31_N с коммутаторами PCI-Express 10 в соответствующих вычислительных модулях 8₁, …, 8_N,

в которых системная ПЛИС 18 соединена с памятью 17 стартовой конфигурации системной ПЛИС 18 шиной 45 конфигурирования системной ПЛИС 18, а коммутатор PCI-Express 10 соединен с блоком 15 управления режимом коммутатора PCI-Express 10 по шине 36 режима коммутатора PCI-Express 10, с системной ПЛИС 18 по высокоскоростному последовательному интерфейсу PCI-Express 48 и с вычислительными ПЛИС 13₁, …, 13_М по соответствующим высокоскоростным последовательным интерфейсам PCI-Express 33₁, …, 33_М,

дополнительно введены коммутатор PCI-Express 3 и блок 23 контроля и управления питанием вычислительных узлов 4₁, …, 4_K,

в каждый из которых дополнительно введены коммутатор PCI-Express 9 вычислительных модулей, блок 21 мониторинга и управления, блок 22 контроля и управления вентиляторами охлаждения, блок 20 контроля и управления питанием вычислительных модулей и группа из N памятей 5₁, …, 5_N состояния вычислительных модулей 8₁, …, 8_N,

в каждый из которых дополнительно введены группа из М памятей 11₁, …, 11_М стартовых конфигураций вычислительных ПЛИС 13₁, …, 13_М, группа из М совычислителей 14₁, …, 14_М с индивидуальным питанием, группа из М блоков 12₁, …, 12_М управления режимом совычислителей 14₁, …, 14_М, блок 16 мониторинга и управления и блок 19 конфигурирования вычислительных ПЛИС 13₁, …, 13_М и их памятей 11₁, …, 11_М стартовых конфигураций,

причем ведущий сервер 2 также соединен высокоскоростным последовательным интерфейсом PCI-Express 27 с коммутатором PCI-Express 3 вычислительных узлов, который соединен с коммутаторами PCI-Express 9 вычислительных модулей вычислительных узлов 4₁, …, 4_K по соответствующим высокоскоростным последовательным интерфейсам PCI-Express 28₁, …, 28_K, а сетевой коммутатор Ethernet 24 мониторинга соединен сетевым интерфейсом 56 управления питанием вычислительных узлов с блоком 23 контроля и управления питанием и соответствующими сетевыми интерфейсами Ethernet 55₁, …, 55_K мониторинга с блоками 21 мониторинга и управления вычислительных узлов 4₁, …, 4_K,

в каждом из которых памяти 5₁, …, 5_N состояния вычислительных модулей 8₁, …, 8_N соединены с вычислителем общего назначения 6 по общей шине взаимодействия 29, который соединен высокоскоростным последовательным интерфейсом PCI-Express 30 с коммутатором PCI-Express 7, коммутатор PCI-Express 9 вычислительных модулей также соединен с коммутаторами PCI-Express 10 в соответствующих вычислительных модулях 8₁, …, 8_N по соответствующим высокоскоростным последовательным интерфейсам PCI-Express 32₁, …, 32_N, а блок 21 мониторинга и управления соединен с блоком 22 контроля и управления вентиляторами охлаждения шиной 54 контроля и управления вентиляторами охлаждения, с блоком 20 контроля и управления питанием - шиной 53 контроля и управления питанием и соответствующими шинами 52₁, …, 52_N мониторинга и управления состоянием с блоками 16 мониторинга и управления в соответствующих вычислительных модулях 8₁, …, 8_N,

в каждом из которых системная ПЛИС 18 также соединена с блоком 19 конфигурирования вычислительных ПЛИС 13₁, …, 13_М и их памятей 11₁, …, 11_М стартовых конфигураций шиной 49 управления записью, с блоком 16 мониторинга и управления - шиной 47 локального мониторинга и управления состоянием и с памятью 17 стартовой конфигурации шиной 46 оперативной записи,

кроме того вычислительные ПЛИС 131, …, 13_М также соединены шинами 38₁, …, 38_М управления режимом с соответствующими блоками 12₁, …, 12_М управления режимом совычислителей 14₁, …, 14_М, индивидуальными шинами 34₁, …, 34_М записи и индивидуальными шинами 35₁, …, 35_М оперативной реконфигурации с соответствующими памятями 11₁, …, 11_М стартовых конфигураций, шинами 37₁, …, 37_М локального управления индивидуальным питанием и шинами 39₁, …, 39_М взаимодействия с соответствующими совычислителями 14₁, …, 14_М

кроме того, блок 16 мониторинга и управления в вычислительных модулях 8₁, …, 8_N соединен шиной 42 управления режимом с блоком 15 управления режимом коммутатора PCI-Express 10, шинами 41₁, …, 41_М локального управления индивидуальным питанием с соответствующими вычислительными ПЛИС 13₁, …, 13_М, а также соединен шиной 43 первичной записи с памятью 17 стартовой конфигурации системной ПЛИС 18 и шиной 44 управления первичной записью с блоком 19 конфигурирования вычислительных ПЛИС 13₁, …, 13_М и их памятей 11₁, …, 11_М стартовых конфигураций,

причем блок конфигурирования 19 в вычислительных модулях 8₁, …, 8_N также соединен общей шиной конфигурирования 50 с вычислительными ПЛИС 13₁, …, 13_М и общей шиной 51 записи с памятями 11₁, …, 11_М стартовых конфигураций вычислительных ПЛИС 13₁, …, 13_М, а блоки 12₁, …, 12_М управления режимом совычислителей соединены шинами 40₁, …, 40_М режима с соответствующими совычислителями 14₁, …, 14_М.