Способ организации оптимальных отказоустойчивых многомерных торов на основе малопортовых маршрутизаторов и разветвителей дуплексных каналов

Изобретение относится к области вычислительной техники, а именно к построению оптимальных системных сетей суперкомпьютеров с топологией многомерных торов. Технический результат заявленного решения заключается в возможности построения сети тора большой размерности с возможностью увеличения масштабируемости сети, быстродействия сети и ее канальной отказоустойчивости. Технический результат достигается тем, что предложен способ построения системной сети в виде многомерных торов с большим числом абонентов, с малой задержкой передачи данных и с канальной отказоустойчивостью из малопортовых маршрутизаторов и дуплексных разветвителей каналов с функцией мультиплексора/демультиплексора, при этом в узлах тора используют расширенные маршрутизаторы с дуплексными портами, образованные из малопортовых маршрутизаторов с дуплексными портами и дуплексных разветвителей каналов. 2 з.п. ф-лы, 19 ил.

 

Изобретение относится к области вычислительной техники, а именно, к построению оптимальных системных сетей суперкомпьютеров с топологией многомерных торов. Оптимизация в процессе построения выполняется по таким важным функциональным характеристикам сети как число ее абонентов (процессоров), задержки передачи между ними, задаваемые диаметром сети и ее канальная отказоустойчивость. Построение осуществляется в элементной базе малопортовых маршрутизаторов и разветвителей дуплексных каналов с использованием топологии квазиполных графов в качестве шаблона и с сохранением маршрутных свойств базовых маршрутизаторов и дуплексных каналов.

В работе «Подлазов B.C. Повышение характеристик многомерных торов // Управление большими системами. М: ИПУ РАН. - 2014. - Выпуск 51. - С. 60-81. [Boosting Performance of Multidimensional Tores // Automation and Remote Control. - 2017. - V. 78. - No. 1. - P. 167-179]» рассмотрен метод сокращения диаметра тора путем введения дополнительных хордовых связей - преобразования колец в мультикольца. Решается задача повышения быстродействия тора за счет сокращения диаметров измерений и повышения их пропускной способности за счет их распараллеливания. Обе эти цели достигаются только за счет изменения топологии пар колец каждого измерения без увеличения числа портов узлов, используемых для подсоединения к кольцам. Для этого каждое дуплексное кольцо заменяется на минимальное коммутируемое мультикольцо. Однако не рассмотрены вопросы построения узлов тора из доступных малопортовых маршрутизаторов, вопросы масштабирования торов и возможности при построении вводить структурную канальную избыточность для повышения отказоустойчивости торов.

В работе «Симонов А.С. и др. Высокоскоростная сеть Ангара. Архитектура и результаты применения // Вопросы кибербезопасности. - 2019. - №4(32). - С. 46-53» описано построение сети Ангара в виде многомерного тора. При создании больших сетей актуально иметь многопортовый маршрутизатор в виде БИС, однако в РФ в настоящее время нет таких маршрутизаторов. Имеется, приведенный в работе, функционально полный однокристальный маршрутизатор ЕС8430 сети «Ангара» с 8 сетевыми дуплексными портами PCI-express и одним процессорным портом PCI-express. Первоначально предполагалось его использование в одноплатном варианте для построения системной сети в виде 4-мерного тора на М=4K процессоров и с диаметром в D=16 скачков (по 8 маршрутизаторов в кольцах разных измерений). Потом было заявлено о возможности иметь на нем М=16K÷32K с диаметрами D=24÷32 скачков (до 16 маршрутизаторов в кольцах). Одноплатный вариант оказался не очень экономичным для построения малых сетей, т.к. расходовал один маршрутизатор для подсоединения к сети одного процессора.

Затем был создан однокорпусный 24-портовый маршрутизатор ЕС8433 за счет сцепления четырех 8-портовых маршрутизаторов ЕС8430 (все порты дуплексные). Использование этого маршрутизатора резко упрощает построение сетей самого разного размера - от десятков процессоров до нескольких их тысяч (в топологии 1-мерного или 2-мерного тора). В таком виде сеть «Ангара» считается базовой сетью для построения отечественных суперкомпьютеров. На фиг. 1 приведена структура однокорпусного 24-портового маршрутизатора ЕС8433, собранного из однокристальных 8-портовых маршрутизаторов ЕС8430 (индексы + и - на номерах портов указывают в частности на последовательность соединения портов маршрутизаторов в кольца тора).

На фиг. 2 приведена структура сети «Ангара», построенная на 24-портовых маршрутизаторах ЕС8433 в виде двумерного тора (кольца образованы с помощью 4-х дуплексных линий, сгруппированных как на фиг. 1, к каждому маршрутизатору тора можно подсоединить по 8 процессоров).

При этом максимальное число абонентов сети М опять достигается при размещении 16 маршрутизаторов в кольцах. Однако использование больше 8 маршрутизаторов в кольце не увеличивает его пропускную способность, но увеличивает задержки передачи по нему. Для увеличения пропускной способности сети было введено 4 дуплексных кольца в каждом измерении, что в значительной мере снижает эти задержки. Однако 3-мерный тор на базе 24-портового коммутатора уже не может быть создан подобным образом из-за недостаточного числа портов, что делает практически невозможным дальнейшее увеличения числа процессоров в сети «Ангара» без увеличения числа узлов в кольцах и задержек передачи по ним.

Способ построения сети «Ангара» выбран в качестве прототипа.

Главный недостаток способа, описанного в прототипе, заключается в невозможности дальнейшего увеличения числа процессоров в сети «Ангара» без увеличения числа узлов в кольцах и задержек передачи по ним и в отсутствии возможности уменьшения диаметра сети. Также отсутствует методика введения в структуру тора канальной избыточности для повышения отказоустойчивости.

Технической задачей изобретения является разработка такого способа построения сети или проектного управления характеристиками) тора большой размерности из малопортовых маршрутизаторов, при котором удается улучшать функционально важные ее характеристики, а именно, увеличивать число абонентов при неизменных задержках, либо уменьшать задержки посредством сокращения диаметра измерений при неизменном числе абонентов, либо повышать канальную избыточность (что, следует иметь ввиду, может привести к уменьшению числа абонентов или к увеличению числа портов базовых маршрутизаторов), либо получать варианты организации сети наилучшим образом сочетающие число процессоров, диаметр сети и канальную отказоустойчивость.

Техническим результатом изобретения является возможность построения сети тора большой размерности из малопортовых маршрутизаторов и разветвителей каналов, при котором в различных вариантах их совместного использования имеется возможность увеличения масштабируемости сети (повышения числа процессоров), быстродействия сети (сокращения ее диаметра) и ее канальной отказоустойчивости.

Технический результат достигается тем, что предложен способ построения системной сети в виде многомерных торов с большим числом абонентов, с малой задержкой передачи данных (с малым диаметром сети) и с канальной отказоустойчивостью из малопортовых маршрутизаторов и дуплексных разветвителей каналов с функцией мультиплексора/демультиплексора, характеризующийся тем, что в узлах тора используют расширенные маршрутизаторы с R дуплексными портами, образованные из N малопортовых маршрутизаторов с K дуплексными портами и R дуплексных разветвителей каналов 1×m при помощи дуплексных каналов связи, а именно,

к R портам, пронумерованным от 1 до R, расширенного маршрутизатора подсоединяют R разветвителей, m противоположных портов которых подсоединяют к K портам N малопортовых маршрутизаторов согласно соответствующей таблице соединения N×K такой, что Rm≤KN, строки которой задают разные малопортовые маршрутизаторы с номерами от 1 до N, а столбцы - разные порты малопортовых маршрутизаторов с номерами от 1 до K, и в клетках таблицы содержатся номера портов расширенного маршрутизатора, подсоединенных через дуплексные разветвители к портам малопортовых маршрутизаторов, номера которых задаются номером столбца,

причем таблицу соединения разбивают на подтаблиц, пронумерованных от 1 до t, с N строками и m столбцами в каждой подтаблице, при этом, если Rem(K/m)=0, то R=(K/m)N, если Rem(K/m)=m-σ, то -ю подтаблицу образуют N-m портов расширенного маршрутизатора и m-σ портов малопортовых маршрутизаторов,

при этом 1-ю подтаблицу получают из таблицы неполной уравновешенной симметричной блок-схемы B(N, m, σ) заменой N блоков блок-схемы на N малопортовых маршрутизаторов с m первыми портами, N элементов блок-схемы - на N первых портов расширенного маршрутизатора, а принадлежности элементов блокам - на подсоединение N первых портов расширенного маршрутизатора к m первым портам N малопортовых маршрутизаторов через дуплексные разветвители каналов 1×m, причем к каждому малопортовому маршрутизатору подсоединяют m разных портов расширенного маршрутизатора, каждый порт расширенного маршрутизатора подсоединяют к m портам разных малопортовых маршрутизаторов, а каждую пару портов расширенного маршрутизатора подсоединяют к σ малопортовым маршрутизаторам, так что N=m(m-1)/σ+1,

причем каждую следующую в порядке нумерации подтаблицу образуют из предыдущей, увеличивая номера портов малопортовых маршрутизаторов на m, а номера портов расширенного маршрутизатора на N, то есть номер порта расширенного маршрутизатора в ячейке i-ой подтаблицы равен М+iN, где М - номер порта расширенного маршрутизатора в той же ячейке первой подтаблицы, при этом последнюю подтаблицу с номером при Rem(K/m)=m-σ получают из остаточной неполной уравновешенной симметричной блок-схемы B*(N-m, m-σ, σ) аналогичной заменой N-m блоков и m-σ элементов блок-схемы соответственно на N-m последних портов расширенного маршрутизатора и m-σ последних портов малопортовых маршрутизаторов;

построенные расширенные маршрутизаторы соединяют в кольца тора традиционным образом, то есть в каждом из пронумерованных и упорядоченных от 1 до P_r маршрутизаторах каждого измерения r наряду с портами для абонентов резервируют по паре портов (назовем их левый и правый кольцевые порты, ЛК и ПК порты), которые соединяют в кольца r-ых измерений, а именно, ПК порт каждого маршрутизатора соединяют дуплексным каналом с ЛК портом следующего по номеру маршрутизатора соответствующего кольца (для последнего маршрутизатора следующим является первый),

или для сокращения задержки передачи данных (уменьшения диаметра) и повышения канальной отказоустойчивости в предлагаемой сети вместо традиционных колец используют разреженные мультикольца, образованные несколькими кольцами с помощью 2P_r дуплексных разветвителей каналов 1×m_t, следующим образом:

к ЛК и ПК портам пронумерованных и упорядоченных от 1 до P_r маршрутизаторов каждого измерения подсоединяют одиночные порты соответственно левых и правых дуплексных разветвителей каналов 1×m_t, причем m_t дуплексных портов правого разветвителя каждого маршрутизатора соединяют с m_t дуплексными портами левых разветвителей маршрутизаторов с большими номерами согласно определенной таблице соединения, в первом столбце которой задают номера образующих мультикольцо колец от 1 до N_t, а в каждой строке перечислены маршрутизаторы, образующие соответствующее строке кольцо с помощью соединения дуплексным каналом одного из портов m_t правого разветвителя каждого маршрутизатора строки с одним из портов m_t левого разветвителя маршрутизатора, следующего в порядке возрастания их номеров в строке (для последнего маршрутизатора в строке следующим является первый),

при этом, если N_t≤P_r, то P_r упорядоченных маршрутизаторов и таблицу соединения разбивают на p_r пронумерованных от 1 до p_r групп по N_t маршрутизаторов и подтаблиц с N_t строками и m_t столбцами соответственно, в каждой из которых задают подсоединение соответствующих N_t маршрутизаторов в N_t колец одноименной группы,

причем и при Rem(P_r/N_t)>0, последняя группа маршрутизаторов содержит сокращенное количество маршрутизаторов Rem(P_r/N_t)<N_t, а последняя подтаблица имеет сокращенное количество заполненных ячеек,

при этом первую подтаблицу получают из таблицы неполной уравновешенной симметричной блок-схемы B(N_t, m_t, σ_t) заменой блоков блок-схемы на N_t колец разреженного мультикольца, элементов блок-схемы на N_t расширенных маршрутизаторов первой группы упорядоченных маршрутизаторов P_r, а принадлежности элементов блокам на подсоединение маршрутизаторов первой группы в соответствующие кольца через N_t левых и N_t правых дуплексных разветвителей каналов 1×m_t, причем в каждое кольцо мультикольца подсоединяют по m_t разных маршрутизаторов из первой группы маршрутизаторов P_r, каждый маршрутизатор подсоединяют к m_t кольцам, а каждую пару маршрутизаторов подсоединяют к σ_t кольцам, так что N_t=m_t(m_t-1)/σ_t+1,

при этом каждую следующую подтаблицу в порядке возрастания p_r образуют из предыдущей, увеличивая номера маршрутизаторов на N_t, то есть номер маршрутизатора в ячейке i-ой подтаблицы (1<i≤p_r) равен L+iN_t, где L - номер маршрутизатора в той же ячейке первой подтаблицы, в последней подтаблице при Rem(P_r/N_t)>0 маршрутизаторы с номерами больше P_r исключают.

Если при построении расширенного маршрутизатора R<N и R=N-m, К=m-σ, то соответствующую таблицу соединения получают из остаточной неполной уравновешенной симметричной блок-схемы B*(N-m, m-σ, σ) заменой N-m блоков и m-σ элементов блок-схемы соответственно на R портов расширенного маршрутизатора и К портов малопортовых маршрутизаторов.

Если при получении соответствующей таблицы соединения разреженного мультикольца из таблицы неполной уравновешенной симметричной блок-схемы B(N_t, m_t, σ_t) N_t>P_r, то на расширенные маршрутизаторы заменяют только первые P_r элементов блок-схемы.

Техническая сущность предложенного способа организации оптимальных отказоустойчивых многомерных торов поясняется чертежами.

На фиг. 1 приведена структура однокорпусного 24-портового маршрутизатора ЕС8433, собранного из однокристальных 8-портовых маршрутизаторов ЕС8430.

На фиг. 2 приведена структура сети «Ангара», построенной на 24-портовых маршрутизаторах ЕС8433 в виде двумерного тора.

На фиг. 3 и фиг. 4 приведены соответственно Таблица 1, представляющая Таблицу соединения, и схема простейшего расширенного маршрутизатора ПС(7, 4, 2).

На фиг. 5 и фиг. 6 приведены соответственно Таблица 2, представляющая Таблицу соединения, и схема расширенного маршрутизатора РасМ(14, 8, 4, 2).

На фиг. 7 и фиг. 8 приведены соответственно Таблица 3, представляющая Таблицу соединения, и схема расширенного маршрутизатора РасМ(18, 8, 3, 1).

На фиг. 9 и фиг. 10 приведены соответственно Таблица 4, представляющая Таблицу соединения, и схема разреженного мультикольца РазМк(7, 4, 2).

На фиг. 11 и фиг. 12 приведены соответственно Таблица 5, представляющая Таблицу соединения, и схема разреженного мультикольца РазМк(9, 3, 2, 1).

На фиг. 13 и фиг. 14 приведены соответственно Таблица 6, представляющая Таблицу соединения, и схема разреженного мультикольца РазМк(9, 7, 3, 1).

На фиг. 15 приведена схема одномерного тора на базе РасМ(12, 8, 2, 1) и РазМк(3, 3, 2, 1) c D=5.

На фиг. 16 фиг. 17 и фиг. 18 приведены соответственно Таблица 7, Таблица 8 и Таблица 9 с характеристиками торов, построенных соответственно из следующих пар маршрутизаторов и мультиколец: РасМ(12, 8, 2, 1) и РазМк(P_r, 3, 2, 1), РасМ(18, 8, 3, 1) и РазМк(P_r, 7, 3, 1), РасМ(14, 8, 4, 2) и РазМк(7p_r, 7, 4, 2).

На фиг. 19 приведена Таблица 10 со сравнительными характеристиками сети «Ангара» и сети, построенной предложенным способом.

Опишем предложенный способ организации многомерного тора.

Предлагаемый способ включает два этапа: построение расширенного маршрутизатора из малопортовых маршрутизаторов и расширенного разреженного мультикольца из простейших мультиколец и, затем, построение многомерного тора из полученных на первом этапе расширенных маршрутизаторов с использованием расширенных разреженных мультиколец. Практически построение сводится к соединению исходных для этапа маршрутизаторов в маршрутизаторы большей размерности на первом этапе и в многомерные торы на втором некоторым оптимальным образом с сохранением их маршрутных свойств и канальной избыточности согласно соответствующей таблице соединения.

Эти таблицы получаем на основе такого математического объекта как неполная уравновешенная симметричная блок-схема B(N, m, σ) (Холл М. Комбинаторика // Главы 10-12. - Мир. М. - 1970. - 424 с. [Hall Marshall Combinatorial Theory // Blaisdell Publishing Company. Waltham. - 1967.]). Блок-схема B(N, m, σ) содержит N блоков и N элементов, которые размещены по блокам так, что каждый блок содержит точно m различных элементов, каждый элемент входит точно в m различных блоков и каждая пара элементов входит точно в σ блоков и N=m(m-1)/σ+1. При этом B(N, m, σ) задает максимальное N при заданных m и σ, и наоборот, минимальное m при заданных N и σ. Табличное представление блок схемы состоит из N строк и m+1 столбцов, в первом столбце указываются номера блоков, а в соответствующей строке перечислены номера элементов, входящих в этот блок, при этом соблюдены свойства, определяющие блок-схему. Множество таких таблиц построены и приведены в работе Каравай М.Ф., Пархоменко П.П., Подлазов B.C. Комбинаторные методы построения двудольных однородных минимальных квазиполных графов (симметричных блок-схем) // АиТ. 2009. №2. С. 153-170.

На первом этапе будем использовать таблицы соединения простейших схем расширенных маршрутизаторов ПС(N, m, σ), изоморфных блок-схемам B(N, m, σ), интерпретацией блоков как исходных базовых малопортовых маршрутизаторов, элементов - как портов расширенного маршрутизатора, а вхождения элемента в m различных блоков как соединения входного порта расширенного маршрутизатора с m портами различных малопортовых маршрутизаторов через разветвители дуплексных каналов 1×m.

Использование блок-схем при подобных схемотехнических интерпретациях позволяет утверждать, что схемы сетей, полученные с использованием описываемых таблиц соединения являются оптимальными, так как блок-схема B(N, m, σ) задает максимальное N при заданных m и σ, и наоборот, минимальное m при заданных N и σ.

В такой интерпретации полученная простейшая схема расширенного маршрутизатора, изоморфная B(N, m, σ), задается двудольным графом, одна доля которого содержит N исходных малопортовых маршрутизаторов ИсхМ(m), другая доля - N узлов (абонентов), соединяемых m ребрами (дуплексными каналами) с разными исходными малопортовыми маршрутизаторами. Между любыми абонентами имеется σ разных путей длины в 2 ребра, и любой путь проходит только через один ИсхМ(m). Этот граф мы называем квазиполным графом, в котором абонент имеет степень m за счет подключения к ИсхМ(m) через разветвитель дуплексных каналов 1×m.

Пример таблицы соединения и соответствующей простейшей схемы расширенного маршрутизатора, построенной из исходных маршрутизаторов ИсхМ(m) на основе блок-схемы B(N, m, σ) при N=7, m=4 и σ=2 приведены соответственно на фиг. 3 и фиг. 4 (для содержательной наглядности порты расширенного маршрутизатора и подсоединенные к ним абоненты в дальнейшем будем отождествлять).

В маршрутизаторах расширенных таким образом связь между любыми двумя абонентами может быть осуществлена через σ малопортовых маршрутизаторов с задержкой в один маршрутизатор. Если ИсхМ(m) является неблокируемым маршрутизатором m×m, то ПС(N, m, σ) является неблокируемым маршрутизатором N×N, составленным из маршрутизаторов m×m и разветвителей дуплексных каналов 1×m. При этом PacM(N, m, σ) имеет статическую самомаршрутизацию, при которой абоненты задают бесконфликтные маршруты независимо друг от друга. Эти маршруты прокладываются между абонентами по прямым каналам (без промежуточной буферизации пакетов). Поэтому ПС(N, m, σ) имеет диаметр D=1 и является (σ-1)-отказоустойчивой по каналам и исходным маршрутизаторам.

Может быть ситуация, когда исходные маршрутизаторы имеют число портов K>m. В этом случае таблицу соединения расширенного маршрутизатора с нужными свойствами получаем из табличного представления простейшей схемы ПС(N, m, σ) следующим образом. Таблица состоит из N+1 строк и K+1 столбцов, в первом столбце и первой строке указываются соответственно номера исходных маршрутизаторов и их портов, а в каждой строке, соответствующей исходному маршрутизатору перечислены номера портов расширенного маршрутизатора, подсоединенных к портам этого исходного маршрутизатора. Таблицу разбиваем на подтаблиц по m столбцов. Первая подтаблица N×m (в порядке возрастания номеров портов ИсхМ(K)) получается из табличного представления ПС(N, m, σ) также как было описано выше. Она задает соединение первых N портов расширенного маршрутизатора с первыми m портами исходных N в виде простейшей схемы ПС(N, m, σ). Каждую последующую подтаблицу (включающую очередную группу m столбцов) получаем копированием предыдущей с увеличением номеров портов расширенного маршрутизатора на N, то есть, если L это номер порта в какой-то ячейке первой подтаблицы (1<L≤N), то номер порта в той же ячейке i-й подтаблицы (1≤i≤t) будет равен L+(i-1)N. Таким образом i-я подтаблица задает соединения в i-й ПС(N, m, σ) между i-й группой N портов расширенного маршрутизатора и i-й группой из Nm портов исходных маршрутизаторов. Для размножения линий с N портов i-й группы расширенного маршрутизатора также используются N разветвителей дуплексных каналов 1×m. Расширенные маршрутизаторы построенные из исходных согласно такой таблице будем обозначать PacM(R, K, m, σ), где R - число портов (абонентов) расширенного маршрутизатора, K - число портов исходных малопортовых маршрутизаторов, m и σ - параметры простейшей схемы ПС(N, m, σ) (напомним, N=m(m-1)/σ+1), тиражируемой при построении расширенного маршрутизатора. Пример таблицы соединения и соответствующей схемы расширенного маршрутизатора PacM(R, K, m, σ), построенной из исходных маршрутизаторов ИсхМ(m) на основе ПС(N, m, σ) при R=14, K=8, N=7, m=4 и σ=2 приведены соответственно на фиг. 5 и фиг. 6.

По построению связь между любыми двумя абонентами, номера которых не совпадают по modN, может быть осуществлена через а исходных малопортовых маршрутизаторов с задержкой в один маршрутизатор. Наоборот, любые два абонента, номера которых совпадают по modN, соединены друг с другом параллельно через m разных исходных ИсхМ(K). Эти свойства обеспечивают сохранение в РасМ(R) маршрутных свойств ИсхМ(K). При этом образуются N подмножеств по t абонентов, с увеличенной в m раз пропускной способностью между ними. Таким образом если ИсхМ(K) имеет диаметр D, то PacM(R, K, m, σ) имеет диаметр D+1.

Однако в результате деления K на m может получиться остаток, равный m-σ, то есть K=tm+m-σ, тогда (t+1)-я подтаблица задает остаточную простейшую схему ПС*(N-m, m-σ, σ) с абонентами, номера которых задаются как tN+j (1≤j≤N-m). Эту (t+1)-ю подтаблицу получаем из остаточной блок-схемы B*(N-m, m-σ, σ) (Холл М. Комбинаторика // Глава 10, стр. 114 - Мир. М. - 1970. - 424 с.), где N-m=(m-1)(m-σ)/σ, аналогично тому как получали таблицу соединения для ПС(N, m, σ) из блок-схемы B(N, m, σ). В результате, расширенный маршрутизатор содержит либо R=tN, либо R=tN+N-m абонентов. Пример таблицы соединения и схемы расширенного маршрутизатора для такого случая при построении РасМ(18, 8, 3, 1), когда K=tm+m-σ (где t=⎣K/m⎦, то есть целая часть от деления K на m) приведены на фиг. 7 и на фиг. 8.

На втором этапе, используя построенные расширенные маршрутизаторы, организуем многомерные торы. Это можно сделать традиционным образом, поместив расширенные маршрутизаторы в узлы тора. Для включения маршрутизаторов в кольца r измерений тора необходимо для каждого измерения выделить в маршрутизаторах по паре портов, которые при обходе кольца в порядке возрастания номеров узлов будем называть левый порт и правый порт.

Для уменьшения диаметра тора, увеличения отказоустойчивости и повышения пропускной способности при организации тора в каждом его измерении будем использовать разреженные мультикольца. В разреженном мультикольце вместо одного кольца, соединяющего маршрутизаторы кольца, используют несколько более коротких колец, образующих мультикольцо, которые в описываемом способе инвариантного расширения являются исходными для мультикольца. Таблицу соединения простейшего разреженного мультикольца с N_t узлами (обозначим его РазМк(N_t, m_t, σ_t)), задающую включение маршрутизаторов в узлы исходных колец, как и на первом этапе получаем из неполной уравновешенной блок-схемы B(N_t, m_t, σ_t), в которой N_t=m_t(m_t-1)/σ_t+1, интерпретируя ее следующим образом: блоки интерпретируются как N_t исходных для расширенного разреженного мультикольца дуплексных колец из m_t пронумерованных узлов, элементы - как N_t пронумерованных маршрутизаторов расширенного разреженного дуплексного мультикольца, а вхождение каждого элемента в m_t различных блоков как включение соответствующего маршрутизатора в m_t разных исходных колец с помощью пары разветвителей дуплексных каналов 1×m_t. При этом разветвители (левый и правый) подсоединяем соответственно к левому и правому портам маршрутизатора, выделенным для его включения в кольцо, последовательность соединения маршрутизаторов в кольце совпадает с последовательностью их размещения в таблице, последний маршрутизатор соединяют с первым. В данной интерпретации σ_t это число исходных колец, через которые могут связаться любые два маршрутизатора мультикольца. Наличие в структуре мультикольца σ_t параллельных цепей между любыми узлами делает ее (σ_t-1)-отказоустойчивой по каналам. Заметим, что индекс t в параметрах блок схемы B(N_t, m_t, σ_t), указывает на возможность использования (при построении разреженных мультиколец для организации тора) блок-схем с параметрами, отличающимися от выбранных на этапе построения расширенных маршрутизаторов.

Разреженное мультикольцо РазМк(N_t, m_t, σ_t) по построению является кольцом с N_t узлами и минимальным диаметром скачков, заменяющим кольцо с N_t узлами и диаметром

Пример таблицы соединения и соответствующей схемы разреженного мультикольца РазМк(N_t, m_t, σ_t) при N_t=7, m_t=4 и σ_t=2 приведены на фиг. 9 и на фиг. 10. В строках таблицы соединений РазМк(7, 4, 2) находятся номера исходных колец ИсхК(4) и номера, подсоединенных к его узлам маршрутизаторов.

На схеме на фиг. 10 мультикольцо с 7-ю узлами, составлено из 7-и исходных дуплексных колец с 4-я узлами, 14-и дуплексных разветвителей 1×m, имеет диаметр D=2 и является 1-отказоустойчивым по параллельным кольцам, например, между узлами 1 и 6 две цепи по кольцам 1 и 3.

Однако в общем случае количество узлов P_r в измерениях тора может быть больше N_t. Таблицу соединения для таких расширенных разреженных мультиколец с P_r>N_t (которые обозначим как РазМк(P_r, N_t, m_t, σ_t)) будем строить следующим образом. В первом столбце таблицы задаем номера колец от 1 до N_t, а в каждой строке перечисляем маршрутизаторы, образующие соответствующее строке исходное кольцо с помощью соединения дуплексным каналом одного из портов m правого разветвителя каждого маршрутизатора строки с одним из портов m левого разветвителя маршрутизатора, следующего в порядке возрастания их номеров в строке (для последнего маршрутизатора в строке следующим является первый). Таблицу разбиваем на p_r пронумерованных слева направо от 1 до p_r подтаблиц N_tm_t. Первую подтаблицу получаем для первой группы N_t маршрутизаторов первых P_r узлов, также как выше была получена таблица для простейшего разреженного мультикольца РазМк(N_t, m_t, σ_t) из неполной уравновешенной блок-схемы B(N_t, m_t, σ_t). Затем каждую следующую подтаблицу в порядке возрастания ее номера образуем из предыдущей, увеличивая номера маршрутизаторов на N_t, то есть номер маршрутизатора в ячейке i-ой подтаблицы (1<i≤p_r) равен L+(i-1)N_t, где L - номер маршрутизатора в той же ячейке первой подтаблицы. В последней подтаблице при N_t>Rem(P_r/N_t)>0 маршрутизаторы с номерами больше P_r исключаем, при этом

Диаметр такого мультикольца РазМк(P_r, N_t, m_t, σ_t) по построению определяется как На фиг. 11 и фиг. 12 приведены соответственно таблица соединения и схема расширенного разреженного мультикольца РазМк(9, 3, 2, 1), построенные описанным способом из первой подтаблицы и схемы простейшего мультикольца РазМк(3, 2, 1).

На фиг. 11 хорошо виден результат описанного тиражирования первой подтаблицы, когда номера маршрутизаторов в последующей подтаблице отличаются от предыдущей на N=3, а на фиг. 12 способ объединения простейших разреженных мультиколец РазМк(3, 2, 1) из 3-х узлов, соответствующих первой подтаблице, когда исходные кольца простейшего разреженного мультикольца РазМк(3, 2, 1) из 3-х узлов разрываются и соединяются в общие исходные кольца для 9 узлов. Диаметр этого мультикольца D=3.

Таким образом процесс построения расширенного разреженного мультикольца с числом узлов P_r>N_t можно рассматривать как объединение однородных исходных колец в p_r простейших разреженных мультикольцах с N_t узлами, где (при N_t>Rem(P_r/N_t)>0 в последнем мультикольце маршрутизаторы с номерами больше P_r исключаются). При этом диаметр расширенного разреженного мультикольца задается как

Пример построения мультикольца для случая, когда P_r не кратно N_t, то есть при N_t>Rem(P_r/N_t)>0, приведен на фиг. 13 и на фиг. 14. Простейшим разреженным мультикольцом в данном примере является РазМк(7, 3, 1), таблица соединения которого задана в первой подтаблице. Если мы хотим построить из него мультикольцо РазМк(9, 7, 3, 1), то следующая подтаблица включает соединения только для 8 и 9 узла и имеет сокращенное число ячеек.

На фиг. 13 исходные кольца 1, 2, 3, 4 и 5 были расширены для подсоединения узлов 8 и 9 аналогично тому как в те же кольца были подсоединены узлы 1 и 2 в первом простейшем мультикольце. Диаметр у полученного мультикольца D=2.

Аналогичным образом могут быть построены мультикольца РазМк(16, 7, 3, 1) с p_r=3 и диаметром D=4 или РазМк(24, 7, 3, 1) с p_r=4 и диаметром D=6.

Реальный диаметр между абонентами, подключенными к маршрутизаторам узлов кроме диаметра мультикольца включает и задержки в маршрутизаторах. Например, на фиг. 15 показан одномерный тор на базе РасМ(12, 8, 2, 1) и РазМк(3, 3, 2, 1). Его диаметр с учетом 2-х скачков в расширенных маршрутизаторах (входной порт - без скачка, малопортовый маршрутизатор, выходной порт) равен 5. Например, маршрут между абонентами 7 и 23 включает входной порт, малопортовый маршрутизатор 2 и выходной порт расширенного маршрутизатора 1, исходное кольцо 3 разреженного мультикольца, входной порт, малопортовый маршрутизатор 1 и выходной порт расширенного маршрутизатора 3, то есть D=5 (счет маршрутизаторов ведется сверху вниз).

Аналогично из этих же маршрутизаторов РасМ(12, 8, 2, 1) и мультиколец РазМк(P_r, 3, 2, 1) можно построить r-мерные торы с r=2, 3, 4. Для соединения маршрутизаторов в кольцах разных измерений достаточно отсоединить от каждого маршрутизатора по два абонента для каждого измерения. Освободившиеся дуплексные порты необходимо использовать для подсоединения к соседним маршрутизаторами в направлении + и - в каждом измерении. Характеристики создаваемых торов задаются в табл. 7 на фиг. 16 (М - количество абонентов). Здесь

Характеристики создаваемых торов при использовании маршрутизаторов РасМ(18, 8, 3, 1) и мультиколец РазМк(P_r, 7, 3, 1) приведены в Таблице 8 на фиг. 17. В данном торе маршруты одинаковой длины в каждом измерении расщепляются по трем разным путям, что существенно снижает средние задержки передачи.

Несколько более слабые характеристики имеет 1-отказоустойчивые торы, которые строятся из маршрутизаторов РасМ(14, 8, 4, 2) и мультиколец РазМк(P_r, 7, 4, 2) в каждом измерении (изображенных соответственно на фиг. 6 и фиг. 10). Однако в данном торе маршруты одинаковой длины в каждом измерении расщепляются по четырем разным путям, что дополнительно снижает средние задержки передачи. Характеристики этих торов задаются в табл. 9 на фиг. 18. Значения М для табл. 9 рассчитываются по формуле М=P_r^r(14-2r).

Сравним характеристики построенных многомерных торов и торов системной сети «Ангара». На фиг. 19 в Таблице 10 приведены характеристики торов сети «Ангара» и торов, составленных из маршрутизаторов РасС(18, 8, 3, 1) и разреженных мультиколец РазМк(P_r, 7, 3, 1).

Видно, что построенный выше 1-мерный тор имеет в 1,3-2 раза меньший диаметр, чем 1-мерный тор сети «Ангара» при близком числе абонентов. Построенный 2-мерный тор имеет в 1,5-2 раза меньший диаметр, чем 2-мерный тор сети «Ангара» при несколько большем числе абонентов. В остальных случаях построенные торы имеют меньший диаметр и существенно большее число абонентов, чем может обеспечить сеть «Ангара» в любом варианте.

Отметим еще два особых случая, которые могут возникнуть при построении расширенного маршрутизатора и расширенного разреженного мультикольца.

Если при построении расширенного маршрутизатора R<N и R=N-m, К=m-σ, то соответствующую таблицу соединения получают из остаточной неполной уравновешенной симметричной блок-схемы B*(N-m, m-σ, σ) заменой N-m блоков и m-σ элементов блок-схемы соответственно на R портов расширенного маршрутизатора и К портов малопортовых маршрутизаторов. Если при получении соответствующей таблицы соединения расширенного разреженного мультикольца из таблицы неполной уравновешенной симметричной блок-схемы B(N_t, m_t, σ_t) N_t>P_r, то на расширенные маршрутизаторы заменяют только первые P_r элементов блок-схемы.

Построенные выше многомерные торы мы считаем оптимальными, т.к. они построены на базе оптимального распараллеливания сетевой структуры на основе квазиполного графа. Она позволяет строить расширенные маршрутизаторы с максимальным числом абонентов при заданных исходных маршрутизаторах. И наоборот, она позволяет иметь минимальный диаметр сети за счет использования разреженных мультиколец.

Подобное распараллеливание структур сети сопровождается, конечно, увеличением ее аппаратных и кабельных затрат. Оценим их.

Примем, что сложность маршрутизатора пропорциональна квадрату числа портов. Тогда сложность s_К однокристального маршрутизатора «Ангара» ЕС8430 составляет s_К=с64, где с - коэффициент пропорциональности. Сложность s_X одного разветвителя 1×3 можно оценить как s_X=с6 (мультиплексор + демультиплексор).

Сложность 1-одномерного тора «Ангара» с 8 корпусами маршрутизаторов ЕС8433 в кольце задается как S_A,1=с2048. Сложность 2-одномерного тора «Ангара» с 8 корпусами маршрутизаторов ЕС8433 в кольце каждого измерения задается как S_A,2=с16384. Они содержат M_A,1=128 и M_A,2=502 абонентов соответственно. Поэтому их удельная сложность составляет s_A,1=S_A,1/M_A,1=16с и s_A,2=S_A,2/M_A,2=32с.

Маршрутизатор РасМ(18, 8, 3, 1) содержит 7 маршрутизаторов ЕС8430 сложности sК и 18 разветвителей 1×3 сложности s_X. В результате сложность S_P расширенного маршрутизатора составляет S_P=7с64+18с6=556с.

1-мерный тор содержит 7 таких маршрутизаторов и еще 14 разветвителей для образования разреженных мультиколец общей сложности S_P,1=3976с. Он содержит М_Р,1=112 абонентов. Поэтому его удельная сложность составляет s_P,1=35,5с.

2-мерный тор содержит 49 таких маршрутизаторов и еще 4 разветвителя при каждом маршрутизаторе для образования разреженных мультиколец общей сложности S_P,2=28420с. Он содержит M_P,2=686 абонентов. Поэтому его удельная сложность составляет s_P,2=41,4с.

Введем комплексную характеристику торов ℵ (удельную по числу каналов и быстродействию) как произведение диаметра на удельную сложность. Тогда ℵ_A,1=128с и ℵ_P,1=177,5с, аналогично ℵ_A,2=416с и ℵ_P,2=331,2с. Отсюда можно сделать вывод, что повышенная сложность торов из расширенных маршрутизаторов обеспечивает их малые диаметры сопоставимо по размерностям. При этом одновременно обеспечивается и большее число абонентов. Однако маршрутизаторы с разреженными мультикольцами имеют в 7/4 раза больший расход кабеля.

В заключение описания изобретения отметим, что предложен метод построения оптимальных системных сетей с топологией многомерных торов в расширенном схемном базисе. При предлагаемом управляемом проектировании оптимизация осуществляется по таким важным функциональным характеристикам сети как число ее абонентов и задержки передачи, задаваемые диаметром сети. Оптимизация осуществляется в элементной базе малопортовых маршрутизаторов и разветвителей за счет построения или использования сетей с топологией квазиполных графов, которая позволяет также на этапе проектирования структуры многомерного тора задавать канальную избыточность для повышения отказоустойчивости. Используется метод инвариантного по маршрутным свойствам расширения сетей для увеличения в них числа абонентов и уменьшения их диаметра в заданной элементной базе, а также введения канальной избыточности. Оптимизация по числу абонентов и задержкам передачи сопровождается некоторым усложнением сети по схемным и кабельным затратам, мера которых (в разах) оказываются меньше меры (в разах) улучшения обеих характеристик.

1. Способ построения системной сети в виде многомерных торов с большим числом абонентов, с малой задержкой передачи данных (с малым диаметром сети) и с канальной отказоустойчивостью из малопортовых маршрутизаторов и дуплексных разветвителей каналов с функцией мультиплексора или демультиплексора, характеризующийся тем, что в узлах тора используют расширенные маршрутизаторы с R дуплексными портами, образованные из N малопортовых маршрутизаторов с K дуплексными портами и R дуплексных разветвителей каналов 1×m при помощи дуплексных каналов связи, а именно

к R портам, пронумерованным от 1 до R, расширенного маршрутизатора подсоединяют R разветвителей, m противоположных портов которых подсоединяют к K портам N малопортовых маршрутизаторов согласно соответствующей таблице соединения N×K такой, что Rm≤KN, строки которой задают разные малопортовые маршрутизаторы с номерами от 1 до N, а столбцы - разные порты малопортовых маршрутизаторов с номерами от 1 до K, и в клетках таблицы содержатся номера портов расширенного маршрутизатора, подсоединенных через дуплексные разветвители к портам малопортовых маршрутизаторов, номера которых задаются номером столбца,

причем таблицу соединения разбивают на подтаблиц, пронумерованных от 1 до t, с N строками и m столбцами в каждой подтаблице, при этом если Rem(K/m)=0, то R=(K/m)N, если Rem(K/m)=m-σ, то -ю подтаблицу образуют N-m портов расширенного маршрутизатора и m-σ портов малопортовых маршрутизаторов,

при этом 1-ю подтаблицу получают из таблицы неполной уравновешенной симметричной блок-схемы B(N, m, σ) заменой N блоков блок-схемы на N малопортовых маршрутизаторов с m первыми портами, N элементов блок-схемы - на N первых портов расширенного маршрутизатора, а принадлежности элементов блокам - на подсоединение N первых портов расширенного маршрутизатора к m первым портам N малопортовых маршрутизаторов через дуплексные разветвители каналов 1×m, причем к каждому малопортовому маршрутизатору подсоединяют m разных портов расширенного маршрутизатора, каждый порт расширенного маршрутизатора подсоединяют к m портам разных малопортовых маршрутизаторов, а каждую пару портов расширенного маршрутизатора подсоединяют к σ малопортовым маршрутизаторам, так что N=m(m-1)/σ+1,

причем каждую следующую в порядке нумерации подтаблицу образуют из предыдущей, увеличивая номера портов малопортовых маршрутизаторов на m, а номера портов расширенного маршрутизатора на N, то есть номер порта расширенного маршрутизатора в ячейке i-й подтаблицы равен М+iN, где М - номер порта расширенного маршрутизатора в той же ячейке первой подтаблицы, при этом последнюю подтаблицу с номером при Rem(K/m)=m-σ получают из остаточной неполной уравновешенной симметричной блок-схемы B*(N-m, m-σ, σ) аналогичной заменой N-m блоков и m-σ элементов блок-схемы соответственно на N-m последних портов расширенного маршрутизатора и m-σ последних портов малопортовых маршрутизаторов;

построенные расширенные маршрутизаторы соединяют в кольца тора традиционным образом, то есть в каждом из пронумерованных и упорядоченных от 1 до P_r маршрутизаторов каждого измерения г наряду с портами для абонентов резервируют по паре портов (назовем их левый и правый кольцевые порты, ЛК и ПК порты), которые соединяют в кольца r-х измерений, а именно ПК порт каждого маршрутизатора соединяют дуплексным каналом с ЛК портом следующего по номеру маршрутизатора соответствующего кольца (для последнего маршрутизатора следующим является первый),

или для сокращения задержки передачи данных (уменьшения диаметра) и повышения канальной отказоустойчивости в предлагаемой сети вместо традиционных колец используют разреженные мультикольца, образованные несколькими кольцами с помощью 2P_r дуплексных разветвителей каналов 1×m_t, следующим образом:

к ЛК и ПК портам пронумерованных и упорядоченных от 1 до P_r маршрутизаторов каждого измерения подсоединяют одиночные порты соответственно левых и правых дуплексных разветвителей каналов 1×m_t, причем m_t дуплексных портов правого разветвителя каждого маршрутизатора соединяют с m_t дуплексными портами левых разветвителей маршрутизаторов с большими номерами согласно определенной таблице соединения, в первом столбце которой задают номера образующих мультикольцо колец от 1 до N_t, а в каждой строке перечислены маршрутизаторы, образующие соответствующее строке кольцо с помощью соединения дуплексным каналом одного из портов m_t правого разветвителя каждого маршрутизатора строки с одним из портов m_t левого разветвителя маршрутизатора, следующего в порядке возрастания их номеров в строке (для последнего маршрутизатора в строке следующим является первый),

при этом если N_t≤P_r, то P_r упорядоченных маршрутизаторов и таблицу соединения разбивают на p_r пронумерованных от 1 до p_r групп по N_t маршрутизаторов и подтаблиц с N_t строками и m_t столбцами соответственно, в каждой из которых задают подсоединение соответствующих N_t маршрутизаторов в N_t колец одноименной группы,

причем и при Rem(P_r/N_t)>0 последняя группа маршрутизаторов содержит сокращенное количество маршрутизаторов Rem(P_r/N_t)<N_t, а последняя подтаблица имеет сокращенное количество заполненных ячеек,

при этом первую подтаблицу получают из таблицы неполной уравновешенной симметричной блок-схемы B(N_t, m_t, σ_t) заменой блоков блок-схемы на N_t колец разреженного мультикольца, элементов блок-схемы на N_t расширенных маршрутизаторов первой группы упорядоченных маршрутизаторов P_r, а принадлежности элементов блокам на подсоединение маршрутизаторов первой группы в соответствующие кольца через N_t левых и N_t правых дуплексных разветвителей каналов 1×m_t, причем в каждое кольцо мультикольца подсоединяют по m_t разных маршрутизаторов из первой группы маршрутизаторов P_r, каждый маршрутизатор подсоединяют к m_t кольцам, а каждую пару маршрутизаторов подсоединяют к σ_t кольцам, так что N_t=m_t(m_t-1)/σ_t+1,

при этом каждую следующую подтаблицу в порядке возрастания p_r образуют из предыдущей, увеличивая номера маршрутизаторов на N_t, то есть номер маршрутизатора в ячейке i-й подтаблицы (1<i≤p_r) равен L+iN_t, где L - номер маршрутизатора в той же ячейке первой подтаблицы, в последней подтаблице при Rem(P_r/N_t)>0 маршрутизаторы с номерами больше P_r исключают.

2. Способ по п. 1, характеризующийся тем, что если при построении расширенного маршрутизатора R<N и R=N-m, К=m-σ, то соответствующую таблицу соединения получают из остаточной неполной уравновешенной симметричной блок-схемы B*(N-m, m-σ, σ) заменой N-m блоков и m-σ элементов блок-схемы соответственно на R портов расширенного маршрутизатора и К портов малопортовых маршрутизаторов.

3. Способ по п. 1, характеризующийся тем, что если при получении соответствующей таблицы соединения разреженного мультикольца из таблицы неполной уравновешенной симметричной блок-схемы B(N_t, m_t, σ_t) N_t>P_r, то на расширенные маршрутизаторы заменяют только первые P_r элементов блок-схемы.