Система распределенного хранения данных

Изобретение относится к вычислительным модулярным системам и предназначено для выполнения подготовки исходных файлов для надежного распределенного хранения посредством перевода в систему остаточных классов и для восстановления полученных файлов, принятых из распределенной среды в случае ошибки или неполучения одной из частей файла. Техническим результатом является снижение аппаратных и временных издержек коррекции ошибок модулярных чисел, полученных из систем распределенного хранения данных. Система содержит n+1 регистров хранения остатков по модулю p_i, где n - количество рабочих модулей p_i системы остаточных классов, n+1 блоков умножения на k_i, сумматор произведений, блок коррекции ошибки, а блок коррекции ошибки содержит блок сравнения и n+2 мультиплексора, n+1 блок нахождения остатков по модулю p_i, распределенное хранилище, блок нахождения остатка по модулю и n+1 блок нахождения остатков по модулю , где - рабочий диапазон, - полный диапазон системы остаточных классов, , в блоках умножения на k_i происходит умножение на , а на модули накладываются ограничения p₁<p₂<p₃<…<p_n<p_n+1 и p_n+1>p_n⋅p_n-1, при этом в блок коррекции ошибки введен n+1 блок сравнения с рабочим диапазоном. 2 ил.

 

Изобретение относится к вычислительным модулярным системам и предназначено для выполнения подготовки исходных файлов для надежного распределенного хранения, посредством перевода в систему остаточных классов и для восстановления полученных файлов, принятых из распределенной среды в случае ошибки или неполучения одной из частей файла.

Известна система и способ безопасного хранения электронных материалов (заявка WO2019199288, опубл. 17.10.2019), в которых цифровой файл разбивается на фрагменты файла, и один или несколько фрагментов (#1, #2, #N) хранятся в распределенном реестре или распределенных реестрах (234A, 316A, 444A), а остальные (один или несколько) фрагментов хранятся в распределенном реестре (234B, 316B, 444B), например, на защищенном сервере или серверах и / или на пользовательском устройстве или устройствах. Сохраняемые файлы могут быть биометрическими или частичными биометрическими файлами. Файлы могут быть зашифрованы или хешированы. Фрагменты файлов предпочтительно неразборчивы, кроме тех случаев, когда они расшифрованы и полностью собраны. Например, кража, копирование или взлом одного фрагмента файла не будет эффективным для кражи или копирования внятной, полезной информации. В некоторых вариантах осуществления преимущества хранения в распределенном реестре или распределенных реестрах сочетаются с преимуществами хранения на защищенном сервере или серверах (и / или на устройстве или устройствах пользователя) или на обоих.

Недостатком данного изобретения является отсутствие информации о корректирующих способностях восстановления файла из фрагментов.

Известна защищенная система хранения распределенных данных (заявка US2013173916, опубл. 04.07.2013), которая относится к системе распределенного хранения данных, обеспечивающей безопасность пользовательских данных. В частности, система по данному изобретению предусматривает, что данные, хранящиеся в службе облачного хранилища, зашифрованы, а их криптографические ключи созданы с удаленного устройства. В контексте данного изобретения облако - это набор серверов, которые образуют онлайн-сервис через Интернет, эти серверы невидимы для пользователя сервиса, делая вид, что они образуют только один сервер, таким образом формируя «облачные серверы». Эти ключи будут разделены и сохранены в облачном хранилище, часть и часть на других устройствах.

Недостатком данного изобретения является отсутствие информации о корректирующих способностях восстановления файла из фрагментов.

Известна система и способ взаимодействия пользователей с облачными объектными хранилищами данных (патент RU2656836, опубл. 06.06.2018), в которой шлюз содержит: три последовательно соединенных блока, где каждый блок содержит в себе один или более модулей, где: первый блок предназначен для осуществления взаимодействия шлюза с пользовательским терминалом, в котором модули являются одним или более вариантами из: программного web-сервера; интерфейса взаимодействия с web-сервером; второй блок предназначен для обработки запросов и данных, поступающих от пользовательского терминала в первый блок, в котором модули являются одним или более вариантами из: шифрования данных; дешифрования данных; сжатия данных; восстановления данных; кеширования данных; дедупликации и данных; кодирования данных; расщепления данных по n,k-схеме; восстановления данных по n,k-схеме; третий блок, состоящий из модулей взаимодействия с облачными хранилищами, предназначенный для реализации взаимодействия с облачными службами хранения данных через интерфейс взаимодействия с облачным хранилищем.

Недостатком данного изобретения является отсутствие информации о корректирующих способностях восстановления файла из фрагментов.

Известна распределенная система хранения больших данных, допускающая отказ N-5 носителей информации (патент CN103957264, опубл. 30.07.2014). В системе приняты технологии кодирования и декодирования расширенного квадратного остаточного кода и абстрактная технология хеш-функции, возможен отказ любых носителей данных с числом, меньшим или равным пяти, что допускает отказ N-5 носителей информации, решена проблема оптимизации баланса между емкостью хранилища, отказоустойчивой пропускной способностью и расширяемостью системы облачного хранения больших данных, гарантируется безопасность данных, что данные являются частными и полными до в определенной степени, и, таким образом, ускоряется строительство и развитие облачной системы хранения больших данных.

Недостатком данного изобретения является отсутствие информации о корректирующих способностях восстановления файла из фрагментов.

Известна нейронная сеть для обнаружения, локализации и исправления ошибок в системе остаточных классов (патент RU2301442, опубл. 20.06.2007), которая может быть использована в модулярных нейрокомпьютерных системах. Техническим результатом является повышение скорости коррекции ошибок, сокращение оборудования, а также расширение функциональных возможностей. Для этого нейронная сеть содержит входной слой, нейронные сети конечного кольца для определения синдрома ошибок, блок памяти для хранения констант, нейронные сети для вычисления правильного результата и элемент ИЛИ для определения наличия ошибки. Коррекция ошибок сводится к расширению оснований по рабочим основаниям и сравнением с полученным значением.

Недостатком данного изобретения является сложность расширения оснований и локализации и исправления ошибки.

Известно устройство для перевода чисел из системы остаточных классов и расширения оснований (патент RU2744815, опубл. 16.03.2021), которое может быть использовано в системах связи и обработки информации, функционирующих в системе остаточных классов (СОК). Техническим результатом заявляемого изобретения является расширение функциональных возможностей, а именно возможность получить остаток от деления по произвольному дополнительному модулю, а также восстановленное число в позиционной системе счисления. Данный технический результат достигается тем, что в устройство для перевода чисел из системы остаточных классов и расширения оснований с модулями содержащее n входов остатков, выход остатка по расширенному основанию, n регистров хранения остатков, (n-1) модулярный сумматор по модулю, треугольную матрицу из умножителей, где умножители производят умножение на коэффициенты ортогональных базисов системы остаточных классов (СОК), где - мультипликативная инверсия, - рабочий диапазон СОК, представленных в обобщенной позиционной системе счисления (ОПСС) с основаниями дополнительно ввели модулярный сумматор по модулю , n умножителей на основания ОПСС , , сумматор с выходом восстановленного числа и модулярный сумматор с входом расширенного основания.

Недостатком данного изобретения является отсутствие информации о корректирующих способностях восстановления файла из фрагментов.

Известно устройство для преобразования числа из системы остаточных классов в позиционный код (патент RU2235423, опубл. 27.08.2004), которое предназначено для использования в вычислительных устройствах, функционирующих в системе остаточных классов (СОК), а также технике связи для передачи информации кодами СОК. Техническим результатом является уменьшение временных затрат при преобразовании числа из СОК в позиционный код. Технический результат достигается за счет того, что устройство содержит три группы постоянных запоминающих устройств, группу сдвиговых регистров, группу параллельных сумматоров, разрядно-параллельный сумматор по модулю.

Недостатком данного изобретения является отсутствие информации о корректирующих способностях восстановления файла из фрагментов и использование для восстановления числа индексы и антииндексы.

Известно устройство для обнаружения переполнения динамического диапазона, определения ошибки и локализации неисправности вычислительного канала в ЭВМ, функционирующих в системе остаточных классов (патент RU2483346, опубл. 27.05.2013), которое может быть использовано при диагностике вычислительных систем для обнаружения переполнения динамического диапазона, определения ошибки и локализации неисправного канала в ЭВМ, функционирующих в системе остаточных классов. Техническим результатом является повышение скорости определения функциональных характеристик и сокращения аппаратурных затрат. Устройство содержит входные регистры, схемы формирования проекций, блоки памяти, сумматоры, схему анализа, логические элементы «И», триггер, счетчик проекций.

Недостатком данного изобретения является высокая аппаратурная и алгоритмическая избыточность.

Наиболее близким по технической сути является устройство обнаружения и коррекции ошибки модулярного кода (патент RU2653257, опубл. 07.05.2018), выбранное в качестве прототипа. Техническим результатом является обеспечение возможности коррекции ошибки модулярных чисел. Устройство содержит n+2 входа остатка α_i (где i=1, …, n+2), n+2 регистров хранения остатка α_i, 2 регистра хранения остатков m_n+1 и m_n+2, блок формирования проекций, n+2 блока храпения произведений k_iα_i, 2 блока хранения произведений k_n+1m_n+1 и k_n+2m_n+2, сумматор произведений k_iα_i, сумматор произведений k_n+1m_n+1 и k_n+2m_n+2, блок управления, n+2 регистра хранения скорректированного остатка α_i, n+2 выхода скорректированного остатка α_i.

Недостатком данного изобретения является высокая аппаратурная и алгоритмическая избыточность, связанная с необходимостью вычисления n+2 проекций числа, что приводит к длительному выполнению вычислений.

Техническим результатом данного изобретения является снижение аппаратных и временных издержек коррекции ошибок модулярных чисел, полученных из систем распределенного хранения данных.

Технический результат достигается тем, что в систему распределенного хранения данных, включающую n+1 регистров хранения остатков по модулю p_i, где n – количество рабочих модулей p_i системы остаточных классов, n+1 блоков умножения на k_i, сумматор произведений, блок коррекции ошибки, при этом выходы блоков умножения на k_i соединены со входами сумматора произведений, а блок коррекции ошибки содержит блок сравнения и n+2 мультиплексора, введены n+1 блок нахождения остатков по модулю p_i, распределенное хранилище, блок нахождения остатка по модулю и n+1 блок нахождения остатков по модулю , где - рабочий диапазон, - полный диапазон системы остаточных классов, , в блоках умножения на k_i происходит умножение на , а на модули накладываются ограничения p₁<p₂<p₃<…<p_n<p_n+1 и p_n+1>p_n⋅p_n-1, при этом входы блоков нахождения остатков по модулю p_i соединены со входом устройства, а выходы с входами распределенного хранилище, выходы которого соединены с регистрами хранения остатков по модулю p_i, выходы которых соединены со входами соответствующих блоков умножения на k_i, выход сумматора произведений, соединен с блоком нахождения остатка по модулю и блоками нахождения остатков по модулю , выходы которых подключены ко входам блока коррекции ошибки, выход которого является выходом устройства, при этом в блок коррекции ошибки введен n+1 блок сравнения с рабочим диапазоном, входы блока коррекции ошибки соединены со входами блоков сравнения и с рабочим диапазоном и первыми информационными входами мультиплексоров, управляющие входы которых соединены с соответствующими выходами блоков сравнения и с рабочим диапазоном, выход n+2-го блока сравнения с рабочим диапазоном дополнительно соединен с первым информационным входом n+2-го мультиплексора, выход j+1-го мультиплексора подключен к второму информационному входу j-го мультиплексора, j∈[1, n+1], выход первого мультиплексора является выходом блока коррекции ошибки.

Сущность изобретения основана на следующем математическом аппарате. Пусть задана система остаточных классов с модулями p₁, p₂, …, p_n+1, при этом накладывается условие p_n+1>p_n⋅p_n-1. В данной системе n рабочих модулей p₁, p₂, …, p_n и один контрольный p_n+1. Для данной системы остаточных классов - рабочий диапазон, - полный диапазон СОК, - вес базиса, где , для всех i∈[1, n+1]. Обозначим

Для передачи для распределенного хранения исходное значение X разбивается на n+1 часть

После получения из распределенного хранилища части объединяются по формуле

Для определения ошибки необходимо найти значение и сравнить с рабочим диапазоном P, и если , то ошибки нет, иначе находят значения и сравнивают с P.

Отличием от прототипа является отсутствие необходимости вычисления для каждой проекции , T вычисляется один раз, и в дальнейшем используется только остаток от деления.

Изобретение поясняется фигурами 1 и 2.

На фигуре 1 изображена общая схема системы распределенного хранения данных. Исходное значение X поступает на входы блоков 1.i нахождения остатков по модулю p_i, i∈[1, n+1], которые могут быть выполнены как с использованием вычислительных устройств, например, интегральных схем или FPGA, так и в виде памяти, которая в ответ на значение исходного числа X подает на выход блока 1.i нахождения остатков по модулю p_i остаток x_i от деления на модуль p_i. При этом модули удовлетворяют условиям p₁<p₂<p₃<…<p_n<p_n+1 и p_n+1>p_n⋅p_n-1.

Данные с выходов блоков 1.i нахождения остатков по модулю p_i передаются в распределенное хранилище 2, которая может быть использована как для хранения, так и обработки данных, поскольку особенностью системы остаточных классов является возможность выполнения арифметических операций сложения и умножения независимо по каждому модулю. При этом распределенное хранилище может быть представлено одним или несколькими облачными провайдерами, или внутренними частными облаками/хранилищами, что позволит распределить данные при хранении, тем самым повысить надежность восстановления данных в случае выхода из строя одного или нескольких хранилищ за счет избыточной структуры системы остаточных классов.

После хранения данные поступают из распределенного хранилища 2 на входы регистров 3.i хранения остатков по модулю p_i, выходы которых соединены со входами соответствующих блоков 4.i умножения на k_i, выходы которых подключены к входами сумматора произведений 5, значение суммы поступает на входы блока 6 нахождения остатков по модулю и блоков 7.i нахождения остатков по модулю , результаты с которых поступают на вход блока коррекции ошибки 8, выход которого является выходом устройства.

На фигуре 2 показана структурная схема блока коррекции ошибки 8. Значение поступает на блок 9.1 сравнения с рабочим диапазоном, в котором проверяется логическое выражение , если оно истинно, то сигнал с выхода блок 9.1 сравнения с рабочим диапазоном поступает на управляющий вход мультиплексора 10.1 , пропуская корректное значение через первый информационный вход на выход блока коррекции ошибки 8. Второй информационный вход мультиплексора 10.1 подключен к выходу мультиплексора 10.2

Значения с выходов блоков 7.i нахождения остатков по модулю поступают на входы соответствующих блоков 9.i+1 сравнения с рабочим диапазоном, в которых проверяются логические выражения если оно не выполняется, т.е. равно 0, то сигнал 0 с выхода блок 9.i+1 сравнения с рабочим диапазоном поступает на управляющий вход мультиплексора 10.i+1 , на первый информационный вход которого подается значения с выхода блока 7.i нахождения остатков по модулю . Выход мультиплексора 10.i+1 подключен ко второму информационному входу мультиплексора 10.i . Второй информационный вход мультиплексора 10.n+2 подключен к выходу блок 9.n+2 сравнения .

Блок коррекции ошибки 8 осуществляет вывод первого значения или , которое меньше рабочего диапазона.

Рассмотрим работу данного устройства на примере. Пусть задана система остаточных классов p₁=2, p₂=3, p₃=5, p₄=7, p₅=37, удовлетворяющая условиям p₁<p₂<p₃<…<p_n<p_n+1 и p_n+1>p_n⋅p_n-1. Получим 4 рабочих модуля, 1 контрольный.

Для данной системы P= p₁⋅p₂⋅p₃⋅p₄=210,

Таким образом коэффициенты равны k₁=3885, k₂=2590, k₃=6216, k₄=2220, k₅=630.

Пусть на вход подается значение X=53, которое поступает в блоки 1.i нахождения остатков по модулю p_i, i∈[1,5], на выходах которых формируются значения 1,2,3,4,16, которые поступают в распределенное хранилище 2.

Рассмотрим случай возникновения ошибки, при котором из распределенного хранилища 2 в регистры 3.i хранения остатков по модулю p_i поступили значения 1,2,4,4,16, которые затем поступают на входы соответствующих блоков 4.i умножения на k_i, в которых вычисляются значения В сумматоре произведений 5 данные значения складываются и результат T= 52889 поступает на вход блока 6 нахождения остатков по модулю и блоков 7.i нахождения остатков по модулю на выходах которых сформируются соответственно 6269, 2384, 1089, 53, 719, 179, и поступают на входы блока коррекции ошибки 8.

В блоке коррекции ошибки 8 в блок 9.1 сравнения с рабочим диапазоном происходит сравнение 6269 с 210 и поскольку 6269>210, то на управляющий вход мультиплексора 10.1 подается 0 и на выход мультиплексора 10.1 подается сигнал со второго информационного входа, соединенного с выходом мультиплексора 10.2 . На управляющий вход мультиплексора 10.2 поступает результат сравнения 2384 и 210 с выхода блок 9.2 сравнения с рабочим диапазоном, и на выход подается сигнал со второго информационного входа, соединенного с выходом мультиплексора 10.3 . На управляющий вход мультиплексора 10.3 поступает результат сравнения 1089 и 210 с выхода блок 9.3 сравнения с рабочим диапазоном, и на выход подается сигнал со второго информационного входа, соединенного с выходом мультиплексора 10.4 . На управляющий вход мультиплексора 10.4 поступает результат сравнения 53 и 210 с выхода блок 9.4 сравнения с рабочим диапазоном, и на выход подается сигнал с первого информационного входа, соединенного с выходом блока 7.3 нахождения остатка по модулю Таким образом на выходе устройства будет числе 53, совпадающего с исходным, переданным в систему распределенного хранения, но полученного с ошибкой.

Преимуществом данного устройства является снижение аппаратных и временных издержек коррекции ошибок модулярных чисел, полученных из систем распределенного хранения данных, что связано с отсутствием необходимости вычисления для каждой проекции T вычисляется один раз, и в дальнейшем необходимо вычисления только остатка от деления.

Реализация всего устройства возможна с использованием программируемых логических интегральных схем (ПЛИС), специализированных интегральных схем, а также в виде алгоритма работы ЭВМ и может использоваться как отдельное устройство, так и как сопроцессор для выполнения подготовки файлов к надежному распределенному хранению данных.

Система распределенного хранения данных, включающая n+1 регистров хранения остатков по модулю p_i, где n - количество рабочих модулей p_i системы остаточных классов, n+1 блоков умножения на k_i, сумматор произведений, блок коррекции ошибки, при этом выходы блоков умножения на k_i соединены со входами сумматора произведений, а блок коррекции ошибки содержит блок сравнения и n+2 мультиплексора, отличающаяся тем, что в неё введены n+1 блок нахождения остатков по модулю p_i, распределенное хранилище, блок нахождения остатка по модулю и n+1 блок нахождения остатков по модулю , i∈[1, n+1], где - рабочий диапазон, - полный диапазон системы остаточных классов, , в блоках умножения на k_i происходит умножение на , а на модули накладываются ограничения p₁<p₂<p₃<…<p_n<p_n+1 и p_n+1>p_n⋅p_n-1, при этом входы блоков нахождения остатков по модулю p_i соединены с входом системы, а выходы с входами распределенного хранилища, выходы которого соединены с регистрами хранения остатков по модулю p_i, выходы которых соединены с входами соответствующих блоков умножения на k_i, выход сумматора произведений соединен с блоком нахождения остатка по модулю и блоками нахождения остатков по модулю , выходы которых подключены к входам блока коррекции ошибки, выход которого является выходом системы, при этом в блок коррекции ошибки введен n+1 блок сравнения с рабочим диапазоном, входы блока коррекции ошибки соединены с входами блоков сравнения и с рабочим диапазоном и первыми информационными входами мультиплексоров, управляющие входы которых соединены с соответствующими выходами блоков сравнения и с рабочим диапазоном, выход (n+2)-го блока сравнения с рабочим диапазоном дополнительно соединен с первым информационным входом (n+2)-го мультиплексора, выход (j+1)-го мультиплексора подключен к второму информационному входу j-го мультиплексора, j∈[1, n+1], выход первого мультиплексора является выходом блока коррекции ошибки.