Способ осуществления доступа к целевому дисковому запоминающему устройству, система расширения дисковой емкости и дисковый массив

Изобретение относится к способу осуществления доступа к целевому дисковому ЗУ, системе, предназначенной для расширения дисковой емкости и дисковым массивам. Техническим результатом является снижение нагрузки на модуль управления массива мастер-диска. Процессор в составе массива мастер-диска после приема команды или данных посылает команду или данные на PCIe-модуль коммутации в составе массива мастер-диска; PCIe-блок массива мастер-диска посылает принятую команду или данные на модуль управления в соответствующем дисковом массиве в соответствии с адресом целевого дискового ЗУ, указанным в команде или данных; модуль управления в соответствующем дисковом массиве посылает принятую команду или данные на целевое дисковое ЗУ, которое непосредственно соединено с модулем управления. Настоящее изобретение раскрывает также массив мастер-диска и массив подчиненного диска. 5 н. и 13 з.п. ф-лы, 8 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к сетевым технологиям хранения данных, и более конкретно, к способу осуществления доступа к целевому дисковому запоминающему устройству, к системе, предназначенной для расширения дисковой емкости, и дисковому массиву.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Сеть устройств хранения данных (SAN) в числе традиционных сетевых технологий хранения данных является специализированной высокоскоростной подсетью, которая соединяет серверы и дисковые массивы через коммутационную сеть. Дисковые массивы основным образом используются для хранения данных значительного объема, и серверы основным образом используются для операций считывания/записи дисковых массивов, чтобы получать/хранить данные. В системе SAN каждый из серверов может осуществлять доступ к любому из дисковых массивов через коммутационную сеть, тем самым значительно повышая доступность данных.

Системы SAN могут быть классифицированы на системы SAN, использующие технологию Fibre Channel (FC), и системы SAN, использующие протокол Internet (IP). На Фиг.1 показана принципиальная схема, иллюстрирующая структуру IP-системы SAN. Что касается Фиг.1, IP-система SAN является системой SAN, которая применяет протокол Internet-интерфейса малых вычислительных систем (iSCSI), и создается поверх сети Ethernet. В IP-системе SAN серверы соединяются с контроллерами (SC) запоминающих устройств через сеть Ethernet, и контроллеры запоминающих устройств в свою очередь соединяются с дисковыми массивами через сеть Ethernet.

В настоящее время для удовлетворения потребности в запоминающем устройстве большой емкости вследствие быстрого роста количества информации емкость дисковых массивов должна быть расширяемой. На Фиг.2 показана принципиальная схема, иллюстрирующая IP-систему SAN с возможностью расширения дисковой емкости в рамках известного уровня техники. Что касается Фиг.2, в известном уровне техники для того, чтобы расширять дисковую емкость, каждый массив мастер-диска каскадно расширяется множеством массивов подчиненного диска. Массив мастер-диска соединяется с массивами подчиненного диска, и массивы подчиненного диска соединяются друг с другом через интерфейс последовательного подключения SCSI-устройств (SAS).

На Фиг.3 показана принципиальная схема, иллюстрирующая соединение между массивом мастер-диска и массивами подчиненного диска в рамках известного уровня техники. Что касается Фиг.2 и 3, в IP-системе SAN с возможностью расширения дисковой емкости массив мастер-диска включает в себя интерфейсный модуль, процессор, модуль управления, расширитель и несколько дисковых ЗУ. Каждый из массивов подчиненного диска включает в себя расширитель и несколько дисковых ЗУ. Массив мастер-диска соединяется с массивами подчиненного диска, и массивы подчиненного диска соединяются друг с другом через свои соответственные SAS-расширители.

На Фиг.4 показана блок-схема последовательности операций по доступу к целевому дисковому ЗУ с использованием показанной на Фиг.2 IP-системы SAN в рамках известного уровня техники. Что касается Фиг.2, 3 и 4, если сервер осуществляет доступ к массиву 1 подчиненного диска, например, то процедура доступа к целевому дисковому ЗУ с использованием обычной IP-системы SAN с расширяемой дисковой емкостью включает в себя этапы, как изложено ниже.

На этапе 401 сервер помещает подлежащие посылке данные или команду в пакет протокола iSCSI, формирует пакет по правилам протокола iSCSI и посылает сформированный пакет протокола iSCSI на контроллер (SC) запоминающих устройств.

На этапе 402 контроллер (SC) запоминающих устройств выполняет расформирование принятого пакета протокола iSCSI, чтобы получить команду или данные, и выполняет соответствующую обработку над полученной командой или данными, такую как зеркальное или моментальное копирование.

На этапе 403 контроллер (SC) запоминающих устройств помещает полученную команду или данные в пакет протокола iSCSI, формирует пакет протокола iSCSI и затем сформированный пакет протокола iSCSI посылает на массив мастер-диска через сеть Ethernet.

Отмечается, что контроллер (SC) запоминающих устройств может быть удален из показанной на Фиг.2 IP-системы SAN, то есть сервер может соединяться непосредственно с массивом мастер-диска через сеть Ethernet. В таком случае, этапы 401-403 в показанной на Фиг.4 процедуре могут включать стадии, на которых сервер вводит подлежащие посылке данные или команды в виде пакета протокола iSCSI, формирует пакет протокола iSCSI и посылает сформированный пакет протокола iSCSI на массив мастер-диска через сеть Ethernet.

На этапе 404 интерфейсный модуль массива мастер-диска принимает пакет протокола iSCSI и посылает пакет протокола iSCSI на процессор.

На этапе 405 процессор массива мастер-диска выполняет расформирование принятого пакета протокола iSCSI и осуществляет анализ протокола iSCSI, чтобы извлечь команду или данные, и посылает извлеченную команду или данные на модуль управления.

Описываемым в этом месте и в нижеследующем раскрытии модулем управления может быть процессор ввода-вывода (ПВВ, IOP) или контроллер, использующий последовательные интерфейсы Serial Attached SCSI/Serial Advanced Technology Attachment (SAS/SATA).

На этапе 406 модуль управления посылает команду или данные на расширитель.

При этом модуль управления является основным устройством, предназначенным для управления исполнением процедуры доступа к диску, и считывает/записывает и обслуживает дисковые ЗУ в дисковых массивах путем установления с дисковыми ЗУ каналов физического соединения посредством соответствующих расширителей. На этом этапе модуль управления исполняет процесс посылки, используя установленные низкоуровневые физические соединения.

На этапе 407 расширитель массива мастер-диска осуществляет в таблице маршрутизации, хранимой непосредственно в расширителе, поиск порта, соответствующего адресу целевого дискового ЗУ, указанному в принятой команде или данных, и посылает через порт принятую команду или данные на расширитель массива 1 подчиненного диска в следующем каскаде.

На этапе 408 расширитель массива 1 подчиненного диска осуществляет в таблице маршрутизации, хранимой непосредственно в расширителе, поиск порта, соответствующего адресу целевого дискового ЗУ, указанному в принятой команде или данных, и посылает через порт команду или данные на дисковое ЗУ (например, дисковое ЗУ 1), непосредственно соединенное с расширителем.

На этапе 409 дисковое ЗУ 1 массива 1 подчиненного диска согласно полученной команде или данным выполняет над полученной командой или данными надлежащую обработку данных, такую как считывание/запись данных или сканирование данных.

Из описания выше видно, что предшествующий уровень техники имеет нижеследующие недостатки.

1. В числе массива мастер-диска и массивов подчиненного диска, каскадно присоединяемых к массиву мастер-диска, только массив мастер-диска включает в себя модуль управления, который может управлять доступом к дисковым ЗУ. Другими словами, модуль управления массива мастер-диска должен обрабатывать команды доступа или операции считывания/записи данных для всех дисковых ЗУ. Таким образом, в течение интенсивного доступа одного или нескольких серверов к дисковым ЗУ, в модуле управления массива мастер-диска обычно происходит задержка в обработке или даже прерывание обслуживания или отказ и т.д., вследствие чрезмерной рабочей нагрузки, и, следовательно, не может обеспечиваться нормальная работа обслуживания.

2. Только массив мастер-диска включает в себя модуль управления, который может управлять доступом к дисковым массивам. Таким образом, в случае, если происходит отказ в модуле управления, серверы не могут осуществлять доступ ни к одному из дисковых массивов, приводя к останову в системе в целом.

3. Задержка межпортового обмена в расширителе является относительно длительной. Например, затрачивается 450 нс времени работы расширителя на установление соединения от одного порта на другой порт, тогда как требуется 180 нс на переключение данных от одного порта на другой порт, таким образом серьезно снижая скорость доступа к данным при доступе сервера к дисковым массивам.

4. Таблица маршрутизации хранится в каждом из расширителей, чтобы сохранять информацию относительно соответствия между адресом и портами для всех дисковых ЗУ. Расширитель пересылает команду или данные согласно поиску в таблице маршрутизации. Однако в расширителе ограничено количество элементов таблицы, которые могут храниться в таблице маршрутизации. Таким образом, максимально 64 массива подчиненного диска могут каскадно присоединяться к массиву мастер-диска, таким образом, жестко ограничивая возможность расширения дисковой емкости.

КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Ввиду этого основная задача настоящего изобретения состоит в том, чтобы обеспечить способ осуществления доступа к целевому дисковому ЗУ и систему, предназначенную для расширения дисковой емкости. Другая задача настоящего изобретения состоит в том, чтобы обеспечить массив мастер-диска и массив подчиненного диска для того, чтобы снижать рабочую нагрузку на модуль управления массива мастер-диска и обеспечивать нормальную работу обслуживания.

Для достижения вышеупомянутых целей технические решения задач настоящего изобретения осуществлены, как изложено ниже.

Вариант осуществления настоящего изобретения обеспечивает способ доступа к целевому дисковому ЗУ. В способе доступа к целевому дисковому ЗУ между процессором и модулем управления массива мастер-диска предусматривается модуль коммутации, поддерживающий стандарт скоростного межсоединения периферийных компонентов (PCI Express, PCIe), в массиве подчиненного диска обеспечиваются PCIe-модуль коммутации и модуль управления, и дисковые массивы соединяются друг с другом через свои соответственные PCIe-модули коммутации. Способ дополнительно включает в себя этапы:

A. Получения команды или данных посредством процессора в составе массива мастер-диска и посылки посредством процессора полученной команды или данных на PCIe-модуль коммутации массива мастер-диска;

B. Посылки команды или данных посредством PCIe-модуля коммутации в составе массива мастер-диска на модуль управления в соответствующем дисковом массиве в соответствии с адресом целевого дискового ЗУ, указанным в принятой команде или данных; и

C. Посылки посредством модуля управления в соответствующем дисковом массиве принятой команды или данных на целевое дисковое ЗУ, непосредственно соединенное с модулем управления в соответствующем дисковом массиве.

Способ дополнительно включает в себя стадии: отображения в каждом из дисковых массивов адресов всех дисковых ЗУ в дисковом массиве на адресное пространство и сохранения адресного пространства в первом порте PCIe-модуля коммутации в дисковом массиве, через который PCIe-модуль коммутации соединяется непосредственно с модулем управления в дисковом массиве, и отображения адресов дисковых ЗУ во всех последующих каскадно присоединяемых массивах подчиненного диска на другое адресное пространство и сохранения другого адресного пространства во втором порте PCIe-модуля коммутации в дисковом массиве, через который PCIe-модуль коммутации соединяется с PCIe-модулем коммутации в следующем каскаде.

Этап B включает в себя стадии:

B1. Посылки принятой команды или данных посредством PCIe-модуля коммутации массива мастер-диска на свой первый порт и второй порт; и

B2. Определения, соответственно, посредством первого и второго портов PCIe-модуля коммутации массива мастер-диска, находится ли адрес целевого дискового ЗУ, указанный в принятой команде или данных, в диапазоне адресного пространства, хранимого в этих соответственных первом и втором портах; если адрес находится в диапазоне адресного пространства, то принятая команда или данные посылаются непосредственно на модуль управления в соответствующем дисковом массиве, иначе принятая команда или данные не пересылаются.

Другой вариант осуществления настоящего изобретения обеспечивает систему с возможностью расширения дисковой емкости. Система включает в себя, по меньшей мере, один сервер, сеть Ethernet, по меньшей мере, один массив мастер-диска и массивы подчиненного диска, каскадно присоединяемые к массиву мастер-диска, сервер, приспосабливаемый, чтобы помещать команды или данные в пакет по протоколу Internet-интерфейса малых вычислительных систем (iSCSI), формировать пакет протокола iSCSI, и посылать сформированный по протоколу iSCSI пакет на интерфейсный модуль массива мастер-диска через сеть Ethernet. Массив мастер-диска дополнительно содержит процессор, модуль коммутации с поддержкой стандарта скоростного межсоединения периферийных компонентов (PCIe), модуль управления и, по меньшей мере, одно дисковое ЗУ; в массиве мастер-диска PCIe-модуль коммутации соединяется непосредственно с процессором и модулем управления соответственно, и модуль управления непосредственно соединяется с каждым из дисковых ЗУ; массив подчиненного диска включает в себя PCIe-модуль коммутации, модуль управления и, по меньшей мере, одно дисковое ЗУ; в массиве подчиненного диска модуль управления соединяется непосредственно с PCIe-модулем коммутации и с каждым из дисковых ЗУ; дисковые массивы непосредственно соединяются друг с другом через свои соответственные PCIe-модули коммутации.

Процессор в составе массива мастер-диска приспособлен для извлечения команды или данных из пакета по протоколу iSCSI, посланного от интерфейсного модуля массива мастер-диска, и посылки команды или данных на PCIe-модуль коммутации в составе массива мастер-диска.

PCIe-модуль коммутации в каждом из дисковых массивов приспособлен, чтобы при приеме команды или данных посылать команду или данные на свой первый порт, через который PCIe-модуль коммутации соединяется непосредственно с модулем управления в дисковом массиве, и свой второй порт, через который PCIe-модуль коммутации соединяется с PCIe-модулем коммутации в следующем каскаде, и принятая команда или данные посылаются на модуль управления в соответствующем дисковом массиве через первый порт и второй порт.

Модуль управления в любом из дисковых массивов приспособлен, чтобы при приеме команды или данных посылать команду или данные на целевое дисковое ЗУ, непосредственно соединенное с модулем управления, в соответствии с указанным в команде или данных адресом целевого дискового ЗУ.

Первый порт PCIe-модуля коммутации в каждом из дисковых массивов приспособлен для хранения адресного пространства, на которое отображаются адреса всех дисковых ЗУ в дисковом массиве, и определения при приеме команды или данных, находится ли адрес целевого дискового ЗУ, указанный в команде или данных, в диапазоне адресного пространства, хранимого в первом порте; если адрес целевого дискового ЗУ находится в диапазоне адресного пространства, хранимого в первом порте, первый порт посылает принятую команду или данные на модуль управления, которое находится в дисковом массиве и соединено непосредственно с первым портом; и

второй порт PCIe-модуля коммутации в каждом из дисковых массивов приспособлен для хранения адресного пространства, на которое отображаются адреса всех дисковых ЗУ в дисковых массивах в последующих каскадах, и определения при приеме команды или данных, находится ли адрес целевого дискового ЗУ, указанный в команде или данных, в диапазоне адресного пространства, хранимого во втором порте; если адрес целевого дискового ЗУ находится в диапазоне адресного пространства, хранимого во втором порте, второй порт посылает принятую команду или данные на PCIe-модуль коммутации, который находится в дисковом массиве в последующем каскаде и непосредственно соединен со вторым портом.

PCIe-модулем коммутации является PCIe-микросхема коммутации с наличием интерфейса PCIe и коммутационной сети, или устройство с расширенными коммутируемыми межкомпонентными соединениями (ASI) в соответствии с архитектурой ASI.

Модулем управления является процессор ввода-вывода (IOP) или контроллер, использующий последовательные интерфейсы стандартов Serial Attached SCSI/Serial Advanced Technology Attachment (SAS/SATA).

Система может дополнительно содержать, по меньшей мере, один контроллер запоминающих устройств, при этом, по меньшей мере, один сервер соединяется с одним контроллером, по меньшей мере, из одного контроллера запоминающих устройств через сеть Ethernet, и контроллер запоминающих устройств соединяется с массивом мастер-диска через сеть Ethernet.

Другой вариант осуществления настоящего изобретения обеспечивает массив мастер-диска. Массив мастер-диска включает в себя интерфейсный модуль, процессор, модуль коммутации с поддержкой скоростного межсоединения периферийных компонентов (PCIe), модуль управления и, по меньшей мере, одно дисковое ЗУ, причем PCIe-модуль коммутации соединяется непосредственно с процессором и модулем управления соответственно, и модуль управления соединяется непосредственно с каждым дисковым ЗУ, по меньшей мере, из одного дискового ЗУ; и

процессор приспособлен, чтобы при приеме команды или данных посылать команду или данные на PCIe-модуль коммутации;

PCIe-модуль коммутации приспособлен для посылки принятой команды или данных на свой первый порт, через который PCIe-модуль коммутации соединяется непосредственно с модулем управления, и свой второй порт, через который PCIe-модуль коммутации соединяется непосредственно с PCIe-модулем коммутации в последующем каскаде, и посылки принятой команды или данных через первый порт и второй порт; и

модуль управления приспособлен, чтобы при приеме команды или данных посылать команду или данные на целевое дисковое ЗУ, непосредственно соединенное с модулем управления, в соответствии с адресом целевого дискового ЗУ, указанным в команде или данных.

Первый порт PCIe-модуля коммутации приспособлен для хранения адресного пространства, на которое отображены адреса всех дисковых ЗУ массива мастер-диска, и определения при приеме команды или данных, находится ли адрес целевого дискового ЗУ, указанный в команде или данных, в диапазоне адресного пространства, хранимого в первом порте; если адрес целевого дискового ЗУ находится в диапазоне адресного пространства, хранимого в первом порте, первый порт посылает принятую команду или данные на модуль управления массива мастер-диска.

Второй порт PCIe-модуля коммутации приспособлен для хранения адресного пространства, на которое отображаются адреса всех дисковых ЗУ в массивах подчиненного диска в последующих каскадах, и определения при приеме команды или данных, находится ли адрес целевого дискового ЗУ, указанный в команде или данных, в диапазоне адресного пространства, хранимого во втором порте; если адрес целевого дискового ЗУ находится в диапазоне адресного пространства, хранимого во втором порте, второй порт посылает принятую команду или данные на PCIe-модуль коммутации, который находится во внешнем массиве подчиненного диска и непосредственно соединен со вторым портом.

PCIe-модулем коммутации является PCIe-микросхема коммутации с наличием интерфейса PCIe и коммутационной сети, или устройство с расширенными коммутируемыми межкомпонентными соединениями (ASI) в соответствии с архитектурой ASI.

Модулем управления является процессор ввода-вывода (IOP) или контроллер, использующий последовательные интерфейсы Serial Attached SCSI/Serial Advanced Technology Attachment (SAS/SATA).

Следующий вариант осуществления настоящего изобретения обеспечивает массив подчиненного диска. Массив подчиненного диска включает в себя модуль коммутации с поддержкой скоростного межсоединения периферийных компонентов (PCIe), модуль управления и, по меньшей мере, одно дисковое ЗУ, причем PCIe-модуль коммутации соединяется непосредственно с модулем управления, и модуль управления соединяется непосредственно с каждым дисковым ЗУ, по меньшей мере, из одного дискового ЗУ; и

PCIe-модуль коммутации приспособлен для посылки принятой команды или данных на свой первый порт, через который PCIe-модуль коммутации соединяется непосредственно с модулем управления, и свой второй порт, через который PCIe-модуль коммутации соединяется непосредственно с PCIe-модулем коммутации в последующем каскаде, и посылки принятой команды или данных через первый порт и второй порт; и

модуль управления приспособлен, чтобы при приеме команды или данных посылать команду или данные на целевое дисковое ЗУ, непосредственно соединенное с модулем управления, в соответствии с адресом целевого дискового ЗУ, указанным в команде или данных.

Первый порт PCIe-модуля коммутации приспособлен, чтобы хранить адресное пространство, на которое отображаются адреса всех дисковых ЗУ массива подчиненного диска, при приеме команды или данных определять, находится ли адрес целевого дискового ЗУ, указанный в команде или данных, в диапазоне адресного пространства, хранимого в первом порте, и посылать принятую команду или данные на модуль управления массива подчиненного диска, если адрес целевого дискового ЗУ находится в диапазоне адресного пространства, хранимого в первом порте.

Второй порт PCIe-модуля коммутации приспособлен, чтобы хранить адресное пространство, на которое отображены адреса всех дисковых ЗУ в массивах подчиненного диска в последующих каскадах, при приеме команды или данных определять, находится ли адрес целевого дискового ЗУ, указанный в команде или данных, в диапазоне адресного пространства, хранимого во втором порте, и посылать принятую команду или данные на PCIe-модуль коммутации, находящийся во внешнем массиве подчиненного диска и непосредственно соединенный со вторым портом, если адрес целевого дискового ЗУ находится в диапазоне адресного пространства, хранимого во втором порте.

PCIe-модулем коммутации является поддерживающая PCIe микросхема коммутации с наличием интерфейса PCIe и коммутационной сети, или устройство с расширенными коммутируемыми межкомпонентными соединениями (ASI) в соответствии с архитектурой ASI.

Модулем управления является процессор ввода-вывода (IOP) или контроллер, использующий последовательные интерфейсы Serial Attached SCSI/Serial Advanced Technology Attachment (SAS/SATA).

Очередной вариант осуществления настоящего изобретения представляет дисковый массив. Дисковый массив включает в себя расширяемый модуль коммутации, связанный с процессором, и модуль управления, связанный с модулем коммутации.

Расширяемым модулем коммутации является коммутатор, поддерживающий скоростное межсоединение периферийных компонентов (PCIe).

Из вышеупомянутых решений можно видеть, что настоящее изобретение имеет нижеследующие преимущества.

1. Массив мастер-диска и каждый из массивов подчиненного диска, последовательно каскадно присоединяемых к массиву мастер-диска, включает в себя модуль управления, которое может управлять доступом к дисковым ЗУ. Кроме того, при осуществлении доступа к диску в любом из дисковых массивов модуль управления в дисковом массиве обрабатывает команду доступа или считывает/записывает данные. Таким образом, в течение интенсивного доступа к дисковым ЗУ одного или нескольких серверов обработка команды доступа или считывания/записи данных может выполняться посредством различных модулей управления вместо лишь одного модуля управления согласно предшествующему уровню техники. Следовательно, задержка обработки или даже прерывание обслуживания или отказ и т.д., имеющие место в предшествующем уровне техники вследствие чрезмерной обслуживающей перегрузки модуля управления, могут быть устранены, и может обеспечиваться нормальная работа обслуживания.

2. Массив мастер-диска и каждый из массивов подчиненного диска, каскадно присоединяемых к массиву мастер-диска, включают в себя модуль управления, которое может управлять доступом к дисковым ЗУ. Таким образом, в случае, если происходит отказ в любом из модулей управления, то не оказывается влияние на доступ сервера к любому другому дисковому массиву, таким образом, дополнительно обеспечивая нормальную работу обслуживания.

3. Задержка межпортового обмена в PCIe-блоке коммутации является очень краткой (обычно приблизительно 15 нс), таким образом скорость доступа к данным при доступе сервера к дисковым массивам может быть значительно повышена.

4. В PCIe-блоке коммутации в каждом из портов хранению подлежит только информация соответствующего адресного пространства, так что команды или данные могут пересылаться в любом из портов согласно соответствующему адресному пространству, хранимому в порте, вместо требуемого в рамках предшествующего уровня техники хранения адресной информации для всех дисковых ЗУ. Следовательно, количество адресной информации, которая может быть записана PCIe-модулем коммутации, может быть значительно увеличено, так что массив мастер-диска может соединяться каскадно с большим количеством массивов подчиненного диска, тем самым дополнительно расширяя дисковую емкость.

5. В настоящем изобретении для пересылки команд или данных используется микросхема коммутации, поддерживающая протокол PCIe, тогда как в рамках предшествующего уровня техники для пересылки команд или данных используется расширитель. PCIe-микросхема коммутации обычно имеет более низкую стоимость по сравнению с расширителем, таким образом, снижая стоимость взятой в целом системы.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1 - принципиальная схема, иллюстрирующая структуру IP-системы SAN.

Фиг.2 - принципиальная схема, иллюстрирующая IP-систему SAN с возможностью расширения дисковой емкости, в известном уровне техники.

Фиг.3 - принципиальная схема, иллюстрирующая соединение между массивом мастер-диска и массивами подчиненного диска в известном уровне техники.

Фиг.4 - блок-схема последовательности операций доступа к целевому дисковому ЗУ с использованием показанной на Фиг.2 IP-системы SAN в известном уровне техники.

Фиг.5A - принципиальная схема, иллюстрирующая основную структуру системы расширения дисковой емкости согласно варианту осуществления настоящего изобретения.

Фиг.5B - принципиальная схема, иллюстрирующая оптимизированную структуру системы расширения дисковой емкости согласно варианту осуществления настоящего изобретения.

Фиг.6 - принципиальная схема, иллюстрирующая соединение между массивом мастер-диска и массивами подчиненного диска согласно варианту осуществления настоящего изобретения.

Фиг.7 - блок-схема последовательности операций доступа к целевому дисковому ЗУ согласно варианту осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

В рамках известного уровня техники обслуживанием зачастую невозможно управлять нормально вследствие чрезмерной рабочей нагрузки на модуль управления, и отказ, происходящий в модуле управления, может приводить к останову в системе в целом, поскольку применяется подход централизованного управления, то есть модуль управления массива мастер-диска управляет доступом ко всем дисковым массивам. Для устранения недостатков предшествующего уровня техники может использоваться подход распределенного управления вместо подхода централизованного управления, то есть доступ к различным дисковым массивам может управляться посредством различных модулей управления.

Кроме того, протокол скоростного межсоединения периферийных компонентов (PCIe) поддерживает комбинацию многих путей передачи и имеет несколько уровней обработки качества обслуживания (КО, QoS) и информации и механизмы предотвращения перегрузки. Следовательно, в передаче пакетов протокола PCIe, пакеты данных могут пересылаться в соответствии с идентификатором (ID) маршрута и адресом маршрута без поиска в таблице маршрутизации, как в известном уровне техники. Следовательно, может быть значительно уменьшена задержка передачи команды и данных. Кроме того, поскольку и процессор, и модуль управления массива мастер-диска поддерживают PCIe-интерфейс, может быть значительно повышена скорость доступа к данным, если для передачи команд или данных между дисковыми массивами используются устройства коммутации с поддержкой протокола PCIe.

С учетом вышеуказанных соображений настоящее изобретение обеспечивает систему с возможностью расширения дисковой емкости. На Фиг.5A показана принципиальная схема, иллюстрирующая основную структуру системы расширения дисковой емкости согласно варианту осуществления настоящего изобретения. Что касается Фиг.5A, система расширения дисковой емкости, представленная в настоящем изобретении, в основном включает в себя: по меньшей мере, один сервер, сеть Ethernet, по меньшей мере, один массив мастер-диска и массивы подчиненного диска, каскадно присоединяемые к массиву мастер-диска. Каждый сервер, по меньшей мере, из одного сервера соединяется с массивом мастер-диска через сеть Ethernet. На Фиг.5B показана принципиальная схема, иллюстрирующая более эффективную структуру системы расширения дисковой емкости согласно варианту осуществления настоящего изобретения. Что касается Фиг.5B, чтобы содействовать обслуживающей обработке принятых данных или команд, система расширения дисковой емкости согласно варианту осуществления настоящего изобретения также может включать в себя, по меньшей мере, один контроллер запоминающих устройств. Каждый сервер, по меньшей мере, из одного сервера соединяется с контроллером запоминающих устройств через сеть Ethernet, и контроллер запоминающих устройств соединяется с массивом мастер-диска через сеть Ethernet.

На Фиг.6 показана принципиальная схема, иллюстрирующая соединение между массивом мастер-диска и массивами подчиненного диска согласно варианту осуществления настоящего изобретения. Что касается Фиг.5A, 5B и 6, в системе согласно варианту осуществления настоящего изобретения массив мастер-диска соединяется с массивами подчиненного диска, и массивы подчиненного диска соединяются друг с другом через PCIe-модуль коммутации, соответственно.

Массив мастер-диска включает в себя интерфейсный модуль, процессор, PCIe-модуль коммутации, модуль управления, и, по меньшей мере, одно дисковое ЗУ. Интерфейсный модуль соединяется непосредственно с процессором и предоставляет стандартный интерфейс сети Ethernet. PCIe-модуль коммутации соединяется непосредственно с процессором и модулем управления соответственно. Модуль управления соединяется непосредственно, по меньшей мере, с одним дисковым ЗУ.

Массив подчиненного диска включает в себя PCIe-модуль коммутации, модуль управления, и, по меньшей мере, одно дисковое ЗУ. PCIe-модуль коммутации соединяется непосредственно с модулем управления. Модуль управления соединяется непосредственно, по меньшей мере, с одним дисковым ЗУ.

Что касается Фиг.5A, 5B и 6, в системе согласно варианту осуществления настоящего изобретения процессор в составе массива мастер-диска приспособлен для посылки команд или данных на PCIe-модуль коммутации массива мастер-диска при приеме команды или данных.

PCIe-модуль коммутации в каждом из дисковых массивов приспособлен, чтобы при приеме команды или данных посылать команду или данные на свой первый порт, через который PCIe-модуль коммутации соединен непосредственно с модулем управления в дисковом массиве, и на свой второй порт, через который PCIe-модуль коммутации соединен непосредственно с PCIe-модулем коммутации в следующем каскаде, и посылать на модуль управления в соответствующем дисковом массиве принятую команду или данные через первый порт и второй порт.

Модуль управления в любом из дисковых массивов приспособлен, чтобы при приеме команды или данных посылать команду или данные на целевое дисковое ЗУ, непосредственно соединенное с модулем управления, в соответствии с адресом целевого дискового ЗУ, указанным в команде или данных.

Каждое дисковое ЗУ в массиве мастер-диска или массивах подчиненного диска приспособлено, чтобы при приеме команды или данных выполнять в соответствии с принятой командой или данными надлежащую операцию, такую как считывание, запись или сканирование.

Соответственно, настоящее изобретение также обеспечивает способ осуществления доступа к целевому дисковому ЗУ. В способе между процессором и модулем управления массива мастер-диска предусматривается PCIe-модуль коммутации. В каждом из массивов подчиненного диска обеспечиваются PCIe-модуль коммутации и модуль управления. Дисковые массивы соединяются друг с другом через свои соответственные PCIe-модули коммутации. Процессор в составе массива мастер-диска при приеме команды или данных посылает команду или данные на PCIe-модуль коммутации массива мастер-диска. PCIe-модуль коммутации массива мастер-диска посылает принятую команду или данные на модуль управления в соответствующем дисковом массиве в соответствии с адресом целевого дискового ЗУ, указанным в принятой команде или данных. Модуль управления в дисковом массиве посылает принятую команду или данные на целевое дисковое ЗУ, соединенное непосредственно с этим модулем управления.

Для более очевидного представления задач, технических решений и преимуществ настоящего изобретения настоящее изобретение будет дополнительно подробно описано в виде вариантов осуществления вместе с сопроводительными чертежами.

Для реализации настоящего изобретения должны быть перепроектированы внутренние структуры массива мастер-диска и массивов подчиненного диска. Переделка структуры включает в себя нижеследующие четыре аспекта.

1. В массиве мастер-диска обеспечивается PCIe-модуль коммутации. PCIe-модуль коммутации соединяется с процессором и модулем управления массива мастер-диска, соответственно. Модуль управления массива мастер-диска соединяется с дисковыми ЗУ массива мастер-диска.

В примерном варианте осуществления настоящего изобретения может быть удален расширитель, традиционно предусматриваемый в массиве мастер-диска.

2. В каждом из массивов подчиненного диска обеспечиваются PCIe-модуль коммутации и модуль управления. PCIe-модуль коммутации и модуль управления в каждом из массивов подчиненного диска соединяются друг с другом. Модуль управления в каждом из массивов подчиненного диска соединяется с дисковыми ЗУ соответственного массива подчиненного диска.

В примерном варианте осуществления настоящего изобретения может быть удален расширитель, традиционно предусматриваемый в массиве подчиненного диска.

Кроме того, поскольку и традиционный процессор, и традиционный модуль управления поддерживают интерфейс PCIe, PCIe-модуль коммутации в вышеупомянутой процедуре может быть соединен с процессором или модулем управления посредством интерфейса PCIe.

3. Дисковые массивы соединяются друг с другом.

Что касается Фиг.6, различные дисковые массивы соединяются друг с другом через свои соответственные PCIe-модули коммутации. PCIe-модули коммутации в различных дисковых массивах соединяются друг с другом посредством интерфейса PCIe.

Для удобства описания в вариантах осуществления настоящего изобретения порт PCIe-модуля коммутации в каждом из дисковых массивов, подлежащий соединению с модулем управления в том же дисковом массиве, называется первым портом, и другой порт PCIe-модуля коммутации, подлежащий соединению с последующим каскадно присоединяемым PCIe-модулем коммутации, называется вторым портом.

4. В каждом из дисковых массивов, включая массив мастер-диска и массивы подчиненного диска, адреса всех дисковых ЗУ в дисковом массиве отображаются на адресные пространства и сохраняются в дисковом массиве в первом порте PCIe-модуля коммутации, и адреса дисковых ЗУ во всех последующих массивах подчиненного диска отображаются на другое адресное пространство и сохраняются в дисковом массиве во втором порте PCIe-модуля коммутации.

Из описания выше понятно, что примерный вариант осуществления настоящего изобретения может представлять дисковый массив. Дисковый массив включает в себя расширяемый модуль коммутации, связанный с процессором, и модуль управления, связанный с расширяемым модулем коммутации. Различные дисковые массивы соединяются друг с другом через свои соответственные расширяемые модули коммутации. В примерном варианте осуществления настоящего изобретения расширяемым модулем коммутации является PCIe-модуль коммутации (PCIe-коммутатор). Функции процессора и модуля управления являются теми же, как таковые вышеупомянутого процессора и модуля управления, и в этом документе не будут повторяться.

На Фиг.7 показана блок-схема последовательности операций доступа к целевому дисковому ЗУ согласно варианту осуществления настоящего изобретения. Как показано на Фиг.5A, 5B, 6 и 7, после того, как определена конфигурация внутренних структур массива мастер-диска и массивов подчиненного диска, способ осуществления доступа к целевому дисковому ЗУ согласно варианту осуществления настоящего изобретения включает в себя нижеследующие этапы.

На этапе 701 для осуществления доступа к конкретному целевому дисковому ЗУ, сервер помещает подлежащие посылке команды или данные в пакет протокола iSCSI, формирует пакет протокола iSCSI и посылает сформированный по протоколу iSCSI пакет на массив мастер-диска.

В примерном варианте осуществления настоящего изобретения адрес целевого дискового ЗУ переносится в команде или данных.

Что касается системы, как показано на Фиг.5A, посылка на массив мастер-диска сформированного по протоколу iSCSI пакета посредством сервера включает в себя этапы, на которых сервер посылает сформированный по протоколу iSCSI пакет на контроллер запоминающих устройств через сеть Ethernet; контроллер запоминающих устройств выполняет расформирование принятого пакета протокола iSCSI, чтобы получить команду или данные, и выполняет над полученной командой или данными обслуживающую обработку, такую как зеркальное или моментальное копирование; контроллер запоминающих устройств помещает полученную команду или данные в пакет iSCSI протокола, формирует пакет протокола iSCSI и посылает сформированный по протоколу iSCSI пакет на массив мастер-диска через сеть Ethernet.

Что касается системы, как показано на Фиг.5B, сервер посылает сформированный по протоколу iSCSI пакет непосредственно на массив мастер-диска через сеть Ethernet.

На этапе 702, интерфейсный модуль массива мастер-диска принимает пакет протокола iSCSI и посылает пакет протокола iSCSI на процессор в составе массива мастер-диска.

На этапе 703 процессор массива мастер-диска выполняет расформирование принятого пакета протокола iSCSI и осуществляет анализ протокола iSCSI, чтобы получить команду или данные, и посылает полученную команду или данные на PCIe-модуль коммутации массива мастер-диска через интерфейс PCIe.

На этапе 704 PCIe-модуль коммутации в массиве мастер-диска посылает принятую команду или данные на свои первый и второй порты, соответственно.

На этапе 705, первый и второй порты PCIe-модуля коммутации в составе массива мастер-диска окончательно посылают принятую команду или данные на надлежащий модуль управления согласно адресному пространству, хранимому в первом и втором портах, соответственно.

Конкретно, первый порт PCIe-модуля коммутации в составе массива мастер-диска определяет, находится ли адрес целевого дискового ЗУ, переносимый в принятой команде или данных, в диапазоне адресного пространства, хранимого в первом порте. Если адрес находится в диапазоне адресного пространства, первый порт посылает принятую команду или данные на модуль управления массива мастер-диска, и этап 705 завершается. Если адрес не находится в диапазоне адресного пространства, первый порт не пересылает команду или данные.

Кроме того, второй порт PCIe-модуля коммутации в составе массива мастер-диска определяет, находится ли адрес целевого дискового ЗУ, переносимый в принятой команде или данных, в диапазоне адресного пространства, хранимого во втором порте. Если адрес не находится в диапазоне адресного пространства, второй порт PCIe-модуля коммутации массива мастер-диска не пересылает команду или данные. Если адрес находится в диапазоне адресного пространства, второй порт PCIe-модуля коммутации массива мастер-диска посылает команду или данные на PCIe-модуль коммутации в массиве 1 подчиненного диска, который находится в следующем каскаде и непосредственно соединен со вторым портом. PCIe-модуль коммутации в массиве 1 подчиненного диска одновременно посылает принятую команду или данные на свои первый и второй порты. На основе вышеупомянутой обработки согласно этому этапу принятая команда или данные окончательно посылаются на устройство управления в соответствующем дисковом массиве, будучи пересылаемыми через первый порт или второй порт PCIe-модуля коммутации в массиве 1 подчиненного диска.

На этапе 706 модуль управления, которое принимает команду или данные, посылает команду или данные на целевое дисковое ЗУ, непосредственно соединенное с ним, в соответствии с адресом целевого дискового ЗУ из команды или данных.

На этапе 707 целевое дисковое ЗУ в соответствии с принятой командой или данными выполняет надлежащую обработку данных, такую как считывание/запись данных или сканирование данных.

В примерном варианте осуществления настоящего изобретения модулем управления может быть процессор ввода-вывода (IOP) или контроллер с поддержкой SAS/SATA. Если модулем управления является IOP, то стратегиями обработки в настоящем изобретении могут быть заданные в конфигурации относительно IOP, такие как стратегии для массива (RAID) дисковых накопителей с избыточностью или стратегии для резервных копий. Таким образом, при приеме команды или данных от PCIe-модуля коммутации IOP может дополнительно выполнять надлежащую обработку, такую как зеркальное копирование или резервное копирование, команды или данных в соответствии с заранее заданными в конфигурации стратегиями обработки. Затем IOP посылает команду или данные на надлежащее дисковое ЗУ.

В примерном варианте осуществления настоящего изобретения PCIe-модулем коммутации может быть поддерживающая протокол PCIe-микросхема коммутации, обеспечивающая интерфейс PCIe и состоящая из коммутационной сети PCIe. Кроме того, в другом примерном варианте осуществления настоящего изобретения, PCIe-модулем коммутации может быть ASI-устройство в соответствии с архитектурой расширенных межкомпонентных соединений (ASI), поскольку архитектура ASI поддерживает протокол PCIe, то есть ASI-устройство включает в себя интерфейс PCIe и коммутационную сеть ASI, и коммутационная сеть ASI может поддерживать протокол PCIe непосредственно, используя интерфейс протокола с тем, чтобы непосредственно посылать команду или данные.

Описанными выше являются лишь предпочтительные варианты осуществления настоящего изобретения, и к тому же они не предназначены для ограничения объема настоящего изобретения. Любая модификация, изменение или усовершенствование без выхода за рамки объема настоящего изобретения должны подпадать под рамки объема настоящего изобретения.

1. Способ осуществления доступа к целевому дисковому ЗУ, в котором между процессором и модулем управления массива мастер-диска обеспечивается поддерживающий скоростное межсоединение периферийных компонентов (PCI Express, PCIe) модуль коммутации, в массиве подчиненного диска обеспечиваются PCIe-модуль коммутации и модуль управления и дисковые массивы соединяются друг с другом через свои соответствующие PCIe-модули коммутации, способ дополнительно содержит этапы, на которых:
А. посредством процессора в составе массива мастер-диска получают команду или данные и посредством процессора посылают принятую команду или данные на PCIe-модуль коммутации массива мастер-диска;
В. посредством PCIe-модуля коммутации массива мастер-диска посылают команду или данные на модуль управления в соответствующем дисковом массиве в соответствии с адресом целевого дискового запоминающего устройства (ЗУ), указанным в принятой команде или данных; и
С. посредством модуля управления в соответствующем дисковом массиве посылают принятую команду или данные на целевое дисковое ЗУ, непосредственно соединенное с модулем управления в соответствующем дисковом массиве.

2. Способ по п.1, в котором способ дополнительно содержит этап, на котором в каждом из дисковых массивов отображают адреса всех дисковых ЗУ в дисковом массиве на адресное пространство и сохраняют адресное пространство в дисковом массиве в первом порте PCIe-модуля коммутации, через который PCIe-модуль коммутации соединяется непосредственно с модулем управления в дисковом массиве, и отображают адреса дисковых ЗУ во всех последующих каскадно присоединяемых массивах подчиненного диска на другое адресное пространство и сохраняют другое адресное пространство в дисковом массиве во втором порте PCIe-модуля коммутации, через который PCIe-модуль коммутации соединяется с PCIe-модулем коммутации на следующем каскаде; и
этап В содержит стадии, на которых:
B1. посредством PCIe-модуля коммутации массива мастер-диска посылают принятую команду или данные на его первый порт и второй порт и
B2. посредством первого и второго портов PCIe-модуля коммутации массива мастер-диска соответственно определяют, находится ли адрес целевого дискового ЗУ, указанный в принятой команде или данных, в диапазоне адресного пространства, хранимого в его соответственных первом и втором портах; если адрес находится в диапазоне адресного пространства, посылают принятую команду или данные непосредственно на модуль управления в соответствующем дисковом массиве, иначе принятую команду или данные не пересылают.

3. Система расширения дисковой емкости, содержащая, по меньшей мере, один сервер, сеть Ethernet, по меньшей мере, один массив мастер-диска и массивы подчиненного диска, каскадно присоединяемые к массиву мастер-диска, сервер, выполненный с возможностью помещать команду или данные в пакет протокола Internet-интерфейса малых вычислительных систем (iSCSI), формировать пакет протокола iSCSI и посылать сформированный пакет протокола iSCSI на интерфейсный модуль массива мастер-диска через сеть Ethernet, при этом
массив мастер-диска дополнительно содержит процессор, модуль коммутации с поддержкой скоростного межсоединения периферийных компонентов (PCIe), модуль управления и, по меньшей мере, одно дисковое ЗУ; в массиве мастер-диска PCIe-модуль коммутации соединяется непосредственно с процессором и модулем управления соответственно и модуль управления непосредственно соединяется с каждым из дисковых ЗУ; массив подчиненного диска включает в себя PCIe-модуль коммутации, модуль управления и, по меньшей мере, одно дисковое ЗУ; в массиве подчиненного диска модуль управления соединяется непосредственно с PCIe-модулем коммутации и каждым из дисковых ЗУ; дисковые массивы непосредственно соединяются друг с другом через свои соответственные PCIe-модули коммутации;
процессор массива мастер-диска выполнен с возможностью получать команду или данные из пакета протокола iSCSI, посланного от интерфейсного модуля массива мастер-диска, и посылать команду или данные на PCIe-модуль коммутации массива мастер-диска;
PCIe-модуль коммутации в каждом из дисковых массивов выполнен с возможностью при приеме команды или данных посылать команду или данные на свой первый порт, через который PCIe-модуль коммутации соединяется непосредственно с модулем управления в дисковом массиве, и на свой второй порт, через который PCIe-модуль коммутации соединяется с PCIe-модулем коммутации в следующем каскаде, и посылать принятую команду или данные на модуль управления в соответствующем дисковом массиве через первый порт и второй порт; и
модуль управления в любом из дисковых массивов выполнен с возможностью при приеме команды или данных посылать команду или данные на целевое дисковое ЗУ, непосредственно соединенное с модулем управления, в соответствии с адресом целевого дискового ЗУ, указанным в команде или данных.

4. Система по п.3, в которой первый порт PCIe-модуля коммутации в каждом из дисковых массивов выполнен с возможностью хранить адресное пространство, на которое отображаются адреса всех дисковых ЗУ в дисковом массиве, и при приеме команды или данных определять, находится ли указанный в команде или данных адрес целевого дискового ЗУ в диапазоне адресного пространства, хранимого в первом порте; если адрес целевого дискового ЗУ находится в диапазоне адресного пространства, хранимого в первом порте, первый порт посылает принятую команду или данные на модуль управления, которое находится в дисковом массиве и соединено непосредственно с первым портом; и
второй порт PCIe-модуля коммутации в каждом из дисковых массивов выполнен с возможностью хранить адресное пространство, на которое отображаются адреса всех дисковых ЗУ в дисковых массивах в последующих каскадах, и при приеме команды или данных определять, находится ли указанный в команде или данных адрес целевого дискового ЗУ в диапазоне адресного пространства, хранимого во втором порте; если адрес целевого дискового ЗУ находится в диапазоне адресного пространства, хранимого во втором порте, второй порт посылает принятую команду или данные на PCIe-модуль коммутации, который находится в дисковом массиве в последующем каскаде и непосредственно соединен со вторым портом.

5. Система по п.3 или 4, в которой PCIe-модулем коммутации является PCIe-микросхема коммутации с наличием PCIe-интерфейса и коммутационной сети или поддерживающее расширенные межкомпонентные соединения (ASI) устройство в соответствии с архитектурой ASI.

6. Система по п.3 или 4, в которой модуль управления является процессором ввода-вывода (IOР) или контроллером, использующим последовательные интерфейсы Serial Attached SCSI/Serial Advanced Technology Attachment (SAS/SATA).

7. Система по п.3, в которой система дополнительно содержит, по меньшей мере, один контроллер запоминающих устройств, при этом, по меньшей мере, один сервер соединяется с одним контроллером, по меньшей мере, из одного контроллера запоминающих устройств через сеть Ethernet и контроллер запоминающих устройств соединяется с массивом мастер-диска через сеть Ethernet.

8. Массив мастер-диска, содержащий интерфейсный модуль, процессор, модуль коммутации с поддержкой скоростного межсоединения периферийных компонентов (PCIe), модуль управления и, по меньшей мере, одно дисковое ЗУ, при этом PCIe-модуль коммутации соединяется непосредственно с процессором и модулем управления соответственно и модуль управления соединяется непосредственно с каждым дисковым ЗУ, по меньшей мере, из одного дискового ЗУ; и
процессор выполнен с возможностью посылать команду или данные на PCIe-модуль коммутации при приеме команды или данных;
PCIe-модуль коммутации выполнен с возможностью посылать принятую команду или данные на свой первый порт, через который PCIe-модуль коммутации соединен непосредственно с модулем управления, и свой второй порт, через который PCIe-модуль коммутации соединен непосредственно с PCIe-модулем коммутации в последующем каскаде, и посылать принятую команду или данные через первый порт и второй порт; и
модуль управления выполнен с возможностью при приеме команды или данных посылать команду или данные на целевое дисковое ЗУ, непосредственно соединенное с модулем управления, в соответствии с адресом целевого дискового ЗУ, указанным в команде или данных.

9. Массив мастер-диска по п.8, в котором первый порт PCIe-модуля коммутации выполнен с возможностью хранить адресное пространство, на которое отображены адреса всех дисковых ЗУ массива мастер-диска, и определять при приеме команды или данных, находится ли указанный в команде или данных адрес целевого дискового ЗУ в диапазоне адресного пространства, хранимого в первом порте; если адрес целевого дискового ЗУ находится в диапазоне адресного пространства, хранимого в первом порте, первый порт посылает принятую команду или данные на модуль управления в составе массива мастер-диска.

10. Массив мастер-диска по п.8, в котором второй порт PCIe-модуля коммутации выполнен с возможностью хранить адресное пространство, на которое отображены адреса всех дисковых ЗУ в массивах подчиненного диска в последующих каскадах, и определять при приеме команды или данных, находится ли указанный в команде или данных адрес целевого дискового ЗУ в диапазоне адресного пространства, хранимого во втором порте; если адрес целевого дискового ЗУ находится в диапазоне адресного пространства, хранимого во втором порте, второй порт посылает принятую команду или данные на PCIe-модуль коммутации, который находится во внешнем массиве подчиненного диска, и непосредственно соединен со вторым портом.

11. Массив мастер-диска по пп.8, 9 или 10, в котором PCIe-модулем коммутации является PCIe-микросхема коммутации с наличием интерфейса PCIe и коммутационной сети или устройство с расширенными коммутируемыми межкомпонентными соединениями (ASI) в соответствии с ASI-архитектурой.

12. Массив мастер-диска по пп.8, 9 или 10, в котором модулем управления является процессор ввода-вывода (IOP) или контроллер, использующий последовательные интерфейсы Serial Attached SCSI/Serial Advanced Technology Attachment (SAS/SATA).

13. Массив подчиненного диска, содержащий модуль коммутации с поддержкой скоростного межсоединения периферийных компонентов (PCIe), модуль управления и, по меньшей мере, одно дисковое ЗУ, при этом PCIe-модуль коммутации соединяется непосредственно с модулем управления и модуль управления соединяется непосредственно с каждым дисковым ЗУ, по меньшей мере, из одного дискового ЗУ; и
PCIe-модуль коммутации выполнен с возможностью посылать принятую команду или данные на свой первый порт, через который PCIe-модуль коммутации соединяется непосредственно с модулем управления, и свой второй порт, через который PCIe-модуль коммутации соединяется непосредственно с PCIe-модулем коммутации в последующем каскаде, и посылать принятую команду или данные через первый порт и второй порт; и
модуль управления выполнен с возможностью при приеме команды или данных посылать команду или данные на целевое дисковое ЗУ, которое непосредственно соединено с модулем управления, в соответствии с адресом целевого дискового ЗУ, указанным в команде или данных.

14. Массив подчиненного диска по п.13, в котором первый порт PCIe-модуля коммутации выполнен с возможностью хранить адресное пространство, на которое отображаются адреса всех дисковых ЗУ массива подчиненного диска, определять при приеме команды или данных, находится ли указанный в команде или данных адрес целевого дискового ЗУ в диапазоне адресного пространства, хранимого в первом порте, и посылать принятую команду или данные на модуль управления массива подчиненного диска, если адрес целевого дискового ЗУ находится в диапазоне адресного пространства, хранимого в первом порте.

15. Массив подчиненного диска по п.13, в котором второй порт PCIe-модуля коммутации выполнен с возможностью хранить адресное пространство, на которое отображены адреса всех дисковых ЗУ в массивах подчиненного диска в последующих каскадах, определять при приеме команды или данных, находится ли указанный в команде или данных адрес целевого дискового ЗУ в диапазоне адресного пространства, хранимого во втором порте, и посылать принятую команду или данные на PCIe-модуль коммутации, находящийся во внешнем массиве подчиненного диска и непосредственно соединенный со вторым портом, если адрес целевого дискового ЗУ находится в диапазоне адресного пространства, хранимого во втором порте.

16. Массив подчиненного диска по пп.13, 14 или 15, в котором PCIe-модулем коммутации является PCIe-микросхема коммутации с наличием интерфейса PCIe и коммутационной сети или устройство с расширенными коммутируемыми межкомпонентными соединениями (ASI) в соответствии с архитектурой ASI.

17. Массив подчиненного диска по пп.13, 14 или 15, в котором модуль управления является процессором ввода-вывода (IOР) или контроллером, использующим последовательные интерфейсы Serial Attached SCSI/Serial Advanced Technology Attachment (SAS/SATA).

18. Дисковый массив, содержащий:
интерфейсный модуль, осуществляющий прием извне команды или данных для целевого дискового ЗУ и посылку команды или данных на модуль коммутации;
модуль управления, осуществляющий при приеме команды или данных посылку команды или данных в соответствии с адресом целевого дискового ЗУ, указанным в команде или данных; и
модуль коммутации, соединяемый с модулем управления и вторым модулем коммутации второго дискового массива соответственно и переключающий принятую команду или данные на модуль управления или второй модуль коммутации в соответствии с адресом целевого дискового ЗУ, указанным в команде или данных.